JP2004135067A

JP2004135067A - 動画像再生処理方法、動画像再生装置および動画像再生処理プログラム

Info

Publication number: JP2004135067A
Application number: JP2002297588A
Authority: JP
Inventors: Shoji Hoshina; 保科　彰治
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-10-10
Filing date: 2002-10-10
Publication date: 2004-04-30

Abstract

【課題】動画像の伸長・再生処理を効率的に行うこと。
【解決手段】動画像再生装置１は、（２３）〜（２８）式に基づく条件判定を行い、動画像のストリームデータをデコード処理する際のフレームバッファ量および処理能力を適切な範囲に調整する。したがって、デコード処理および動画像の再生のいずれもが連続的に行なわれることとなり、過剰なフレームバッファを割り当てたり、デコード処理能力に対してフレームバッファが不足し、動画像の再生が円滑に行なわれない事態を避けることができる。即ち、記憶容量や処理能力を効率的に使用することができ、消費電力あるいは不要輻射の低減、また、実装コストの削減等の効果を得ることができるため、動画像の伸長・再生処理を効率的に行うことが可能となる。
【選択図】　　　　図５

Description

【０００１】
【発明の属する技術分野】
本発明は、圧縮された動画像データの伸長および再生処理を行なう動画像再生処理方法、動画像再生装置および動画像再生処理プログラムに関する。
【０００２】
【従来の技術】
従来、携帯電話あるいは携帯情報端末等の情報処理装置において、動画像の再生が行なわれている。
このような情報処理装置において再生される動画像は、一般に、圧縮された状態で格納され、伸長された上で再生されている。
【０００３】
ところが、動画像の伸長および再生の処理は、一定のメモリや処理能力を要するものであり、そのため、消費電力が増大する場合がある。
一方、携帯電話や携帯情報端末といった情報処理装置の中には、十分なメモリや処理能力を備えていないものも多く、動画像の伸長および再生の処理を如何に行うかが問題となる。
【０００４】
このような事情に鑑み、動画像の伸長あるいは再生の処理を効率的に行うための技術が種々提案されている。
例えば、特開２００２−９１７８２号公報には、非同期に実行すべきタスクが多数存在する場合に、それらのタスクを効率的に実行するプロセッサに関する技術が開示されている。
【０００５】
本号公報に記載された技術においては、緊急度の高くなったタスクを他のタスクに優先して実行することで、処理の効率化を図っている。
また、特許第３１５９５９１号公報には、動画像の圧縮伸長処理の際、事前にＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）から必要なコマンド列を与えられ、フレーム毎に、その垂直同期信号に従って、前記コマンドが実行されるように制御する技術が開示されている。
【０００６】
本号公報に記載された技術によれば、ＣＰＵの負担を軽減し、効率的に動画像の圧縮伸長処理を行なうことが可能である。
また、特開平７−１４２０７号公報には、入力バッファメモリを持ち、外部からのコマンドの発行に応じて実行を指示し、入力バッファメモリに格納されたデータを復号対象とする技術が開示されている。
【０００７】
また、特許第３０１３８２６号公報には、メインシステムおよびサブシステムを備え、サブシステムで生成した表示タイミング情報に基づいて、表示装置における映像表示を制御する技術が開示されている。
【０００８】
【特許文献１】
特開２００２−９１７８２号公報
【特許文献２】
特許第３１５９５９１号公報
【特許文献３】
特開平７−１４２０７号公報
【特許文献４】
特許第３０１３８２６号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、特開２００２−９１７８２号公報に記載された技術は、タスクの優先度を変化させ、動作クロック数を際下限値に設定する制御機構を有するものの、バッファ容量と連動して制御するといったことは行なわれていない。また、タスク分割を複数行なうことにより、タスク制御部において複雑な処理を要し、開発コストが上昇する原因となる。
【００１０】
また、上述した他の公報に記載された技術においては、伸長処理の負荷がフレーム毎に変動する場合に、処理時間にも変化があるものであるが、この処理時間の変動を吸収する目的で入力バッファおよび出力フレームバッファを使用することとしている。
しかし、これらの公報に記載された技術によっては、そのフレームバッファ量を低減することや、また、処理能力を変動させて、消費電力を低減するといったことを実現することはできない。
【００１１】
本発明の課題は、動画像の伸長・再生処理を効率的に行うことである。
【００１２】
【課題を解決するための手段】
以上の課題を解決するため、請求項１記載の発明は、
複数のフレームを含む符号化された動画像のストリームデータを復号化して再生するための動画像再生処理方法であって、処理対象である動画像のストリームデータに含まれる各フレームの処理負荷を所定の閾値（例えば、（２０）式に示す全フレームの負荷平均Ｗ_{Ａｖｅｒａｇｅ}）に基づいて分類し、該閾値より処理負荷の大きいフレーム群（例えば、発明の実施の形態中のグループＧ１に属するフレーム）のフレーム処理負荷に基づく第１の要素と、該閾値より処理負荷の小さいフレーム群のフレーム処理負荷に基づく第２の要素（例えば、図４に示すＰ，Ｂフレームの負荷平均“Ｗ_Ｂ”）と、動画像のストリームデータを復号化する処理および動画像の再生処理のいずれもが連続的に行なわれるための所定条件（例えば、（２３）式あるいは（２４）式に基づく条件）とに基づいて、動画像再生処理のためのフレームバッファ量と、処理能力とを決定することを特徴としている。
【００１３】
請求項２記載の発明は、
請求項１記載の動画像再生処理方法であって、
前記閾値は、処理対象である全フレームそれぞれの平均処理負荷あるいは前記閾値より処理負荷の大きいフレーム群の負荷平均と前記閾値より処理負荷の小さいフレーム群の負荷平均との中間値の少なくともいずれかに基づいて決定されることを特徴としている。
【００１４】
請求項３記載の発明は、
請求項１または２記載の動画像再生処理方法であって、
前記第１の要素は、該閾値より処理負荷の大きいフレーム（例えば、Ｉフレーム）の負荷平均であり、前記第２の要素は、該閾値より処理負荷の小さいフレーム（例えば、Ｐ，Ｂフレーム）の負荷平均であることを特徴としている。
【００１５】
請求項４記載の発明は、
請求項１〜３のいずれかに記載の動画像再生処理方法であって、
動画像のストリームデータを復号化する処理および動画像の再生処理のいずれもが連続的に行なわれるための前記所定条件を、以下の式に基づいて判定することを特徴としている。
【００１６】
【数１９】

【００１７】
請求項５記載の発明は、
請求項１〜４のいずれかに記載の動画像再生処理方法であって、
前記閾値より処理負荷が大きいフレーム間における処理（例えば、１ＧＯＰの処理）について、前記所定条件を、以下の式に基づいて判定することを特徴としている。
【００１８】
【数２０】

【００１９】
請求項６記載の発明は、
請求項１〜５のいずれかに記載の動画像再生処理方法であって、
前記第１の要素あるいは第２の要素の少なくともいずれかを、処理対象に含まれるフレームの処理負荷の分布状態（例えば、分散の平方根等）に基づいて補正することを特徴としている。
【００２０】
請求項７記載の発明は、
請求項４または５記載の動画像再生処理方法であって、
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正することを特徴としている。
【００２１】
【数２１】

【００２２】
請求項８記載の発明は、
請求項４または５記載の動画像再生処理方法であって、
前記閾値より処理負荷が小さいフレームの平均処理時間を、以下の式によって補正することを特徴としている。
【００２３】
【数２２】

【００２４】
請求項９記載の発明は、
請求項１〜８のいずれかに記載の動画像再生処理方法であって、
前記第１の要素あるいは第２の要素の少なくともいずれかを、処理対象である動画像の再生におけるフレームレートの変動に基づいて補正することを特徴としている。
【００２５】
請求項１０記載の発明は、
請求項４、請求項５、請求項７または請求項８のいずれかに記載の動画像再生処理方法であって、
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正することを特徴としている。
【００２６】
【数２３】

【００２７】
請求項１１記載の発明は、
請求項４、請求項５、請求項７または請求項８のいずれかに記載の動画像再生処理方法であって、
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正することを特徴としている。
【００２８】
【数２４】

【００２９】
請求項１２記載の発明は、
請求項１〜１１のいずれかに記載の動画像再生処理方法であって、
処理対象である前記ストリームデータの再生処理実行前に把握可能な属性（例えば、図６に示す各要素に相当する属性）に基づいて、予め設定された所定値（例えば、図６に示す特定のストリームデータについての各種パラメータ）を選択し、選択した値に基づいて、前記第１あるいは第２の要素、前記所定条件の少なくともいずれかを決定することを特徴としている。
【００３０】
請求項１３記載の発明は、
請求項１〜１２のいずれかに記載の動画像再生処理方法であって、
処理対象である前記ストリームデータの再生処理を実行することによって取得される属性に基づいて、前記第１あるいは第２の要素、前記所定条件の少なくともいずれかを決定することを特徴としている。
【００３１】
請求項１４記載の発明は、
複数のフレームを含む符号化された動画像のストリームデータを復号化して再生するための動画像再生装置であって、処理対象である動画像のストリームデータに含まれる各フレームの処理負荷を所定の閾値に基づいて分類し、該閾値より処理負荷の大きいフレーム群のフレーム処理負荷に基づく第１の要素と、該閾値より処理負荷の小さいフレーム群のフレーム処理負荷に基づく第２の要素と、動画像のストリームデータを復号化する処理および動画像の再生処理のいずれもが連続的に行なわれるための所定条件とに基づいて、動画像再生処理のためのフレームバッファ量と、処理能力とを決定することを特徴としている。
【００３２】
請求項１５記載の発明は、
請求項１４記載の動画像再生装置であって、
前記閾値は、処理対象である全フレームそれぞれの平均処理負荷あるいは前記閾値より処理負荷の大きいフレーム群の負荷平均と前記閾値より処理負荷の小さいフレーム群の負荷平均との中間値の少なくともいずれかに基づいて決定されることを特徴としている。
【００３３】
請求項１６記載の発明は、
請求項１４または１５記載の動画像再生装置であって、
前記第１の要素は、該閾値より処理負荷の大きいフレームの負荷平均であり、前記第２の要素は、該閾値より処理負荷の小さいフレームの負荷平均であることを特徴としている。
【００３４】
請求項１７記載の発明は、
請求項１４〜１６のいずれかに記載の動画像再生装置であって、
動画像のストリームデータを復号化する処理および動画像の再生処理のいずれもが連続的に行なわれるための前記所定条件を、以下の式に基づいて判定することを特徴としている。
【００３５】
【数２５】

【００３６】
請求項１８記載の発明は、
請求項１４〜１７のいずれかに記載の動画像再生装置であって、
前記閾値より処理負荷が大きいフレーム間における処理について、前記所定条件を、以下の式に基づいて判定することを特徴としている。
【００３７】
【数２６】

【００３８】
請求項１９記載の発明は、
請求項１４〜１８のいずれかに記載の動画像再生装置であって、
前記第１の要素あるいは第２の要素の少なくともいずれかを、処理対象に含まれるフレームの処理負荷の分布状態に基づいて補正することを特徴としている。
請求項２０記載の発明は、
請求項１７または１８記載の動画像再生装置であって、
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正することを特徴としている。
【００３９】
【数２７】

【００４０】
請求項２１記載の発明は、
請求項１７または１８記載の動画像再生装置であって、
前記閾値より処理負荷が小さいフレームの平均処理時間を、以下の式によって補正することを特徴としている。
【００４１】
【数２８】

【００４２】
請求項２２記載の発明は、
請求項１４〜２１のいずれかに記載の動画像再生装置であって、
前記第１の要素あるいは第２の要素の少なくともいずれかを、処理対象である動画像の再生におけるフレームレートの変動に基づいて補正することを特徴としている。
【００４３】
請求項２３記載の発明は、
請求項１７、請求項１８、請求項２０または請求項２１のいずれかに記載の動画像再生装置であって、
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正することを特徴としている。
【００４４】
【数２９】

【００４５】
請求項２４記載の発明は、
請求項１７、請求項１８、請求項２０または請求項２１のいずれかに記載の動画像再生装置であって、
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正することを特徴としている。
【００４６】
【数３０】

【００４７】
請求項２５記載の発明は、
請求項１４〜２４のいずれかに記載の動画像再生装置であって、
処理対象である前記ストリームデータの再生処理実行前に把握可能な属性に基づいて、予め設定された所定値を選択し、選択した値に基づいて、前記第１あるいは第２の要素、前記所定条件の少なくともいずれかを決定することを特徴としている。
【００４８】
請求項２６記載の発明は、
請求項１４〜２５のいずれかに記載の動画像再生装置であって、
処理対象である前記ストリームデータの再生処理を実行することによって取得される属性に基づいて、前記第１あるいは第２の要素、前記所定条件の少なくともいずれかを決定することを特徴としている。
【００４９】
請求項２７記載の発明は、
複数のフレームを含む符号化された動画像のストリームデータを復号化して再生するための動画像再生処理プログラムであって、処理対象である動画像のストリームデータに含まれる各フレームの処理負荷を所定の閾値に基づいて分類し、該閾値より処理負荷の大きいフレーム群のフレーム処理負荷に基づく第１の要素と、該閾値より処理負荷の小さいフレーム群のフレーム処理負荷に基づく第２の要素と、動画像のストリームデータを復号化する処理および動画像の再生処理のいずれもが連続的に行なわれるための所定条件とに基づいて、動画像再生処理のためのフレームバッファ量と、処理能力とを決定する機能をコンピュータに実現させることを特徴としている。
【００５０】
請求項２８記載の発明は、
請求項２７記載の動画像再生処理プログラムであって、
前記閾値は、処理対象である全フレームそれぞれの平均処理負荷あるいは前記閾値より処理負荷の大きいフレーム群の負荷平均と前記閾値より処理負荷の小さいフレーム群の負荷平均との中間値の少なくともいずれかに基づいて決定されることを特徴としている。
【００５１】
請求項２９記載の発明は、
請求項２７または２８記載の動画像再生処理プログラムであって、
前記第１の要素は、該閾値より処理負荷の大きいフレームの負荷平均であり、前記第２の要素は、該閾値より処理負荷の小さいフレームの負荷平均であることを特徴としている。
【００５２】
請求項３０記載の発明は、
請求項２７〜２９のいずれかに記載の動画像再生処理プログラムであって、
動画像のストリームデータを復号化する処理および動画像の再生処理のいずれもが連続的に行なわれるための前記所定条件を、以下の式に基づいて判定する機能をコンピュータに実現させることを特徴としている。
【００５３】
【数３１】

【００５４】
請求項３１記載の発明は、
請求項２７〜３０のいずれかに記載の動画像再生処理プログラムであって、
前記閾値より処理負荷が大きいフレーム間における処理について、前記所定条件を、以下の式に基づいて判定する機能をコンピュータに実現させることを特徴としている。
【００５５】
【数３２】

【００５６】
請求項３２記載の発明は、
請求項２７〜３１のいずれかに記載の動画像再生処理プログラムであって、
前記第１の要素あるいは第２の要素の少なくともいずれかを、処理対象に含まれるフレームの処理負荷の分布状態に基づいて補正する機能をコンピュータに実現させることを特徴としている。
【００５７】
請求項３３記載の発明は、
請求項３０または３１記載の動画像再生処理プログラムであって、
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正する機能をコンピュータに実現させることを特徴としている。
【００５８】
【数３３】

【００５９】
請求項３４記載の発明は、
請求項３０または３１記載の動画像再生処理プログラムであって、
前記閾値より処理負荷が小さいフレームの平均処理時間を、以下の式によって補正する機能をコンピュータに実現させることを特徴としている。
【００６０】
【数３４】

【００６１】
請求項３５記載の発明は、
請求項２７〜３４のいずれかに記載の動画像再生処理プログラムであって、
前記第１の要素あるいは第２の要素の少なくともいずれかを、処理対象である動画像の再生におけるフレームレートの変動に基づいて補正する機能をコンピュータに実現させることを特徴としている。
【００６２】
請求項３６記載の発明は、
請求項３０、請求項３１、請求項３３または請求項３４のいずれかに記載の動画像再生処理プログラムであって、
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正する機能をコンピュータに実現させることを特徴としている。
【００６３】
【数３５】

【００６４】
請求項３７記載の発明は、
請求項３０、請求項３１、請求項３３または請求項３４のいずれかに記載の動画像再生処理プログラムであって、
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正する機能をコンピュータに実現させることを特徴としている。
【００６５】
【数３６】

【００６６】
請求項３８記載の発明は、
請求項２７〜３７のいずれかに記載の動画像再生処理プログラムであって、
処理対象である前記ストリームデータの再生処理実行前に把握可能な属性に基づいて、予め設定された所定値を選択し、選択した値に基づいて、前記第１あるいは第２の要素、前記所定条件の少なくともいずれかを決定する機能をコンピュータに実現させることを特徴としている。
【００６７】
請求項３９記載の発明は、
請求項２７〜３８のいずれかに記載の動画像再生処理プログラムであって、
処理対象である前記ストリームデータの再生処理を実行することによって取得される属性に基づいて、前記第１あるいは第２の要素、前記所定条件の少なくともいずれかを決定する機能をコンピュータに実現させることを特徴としている。
【００６８】
本発明によれば、所定式に基づく条件判定を行い、動画像のストリームデータを復号・再生処理する際のフレームバッファ量および処理能力を適切な範囲に調整する。
したがって、動画像の復号処理および再生処理のいずれもが連続的に行なわれることとなり、過剰なフレームバッファを割り当てたり、デコード処理能力に対してフレームバッファが不足し、動画像の再生が円滑に行なわれないという事態を避けることができる。
【００６９】
即ち、記憶容量や処理能力を効率的に使用することができ、消費電力あるいは不要輻射の低減、また、実装コストの削減等の効果を得ることができるため、動画像の伸長・再生処理を効率的に行うことが可能となる。
【００７０】
【発明の実施の形態】
以下、図を参照して本発明に係る動画像再生装置の実施の形態を詳細に説明する。
動画像再生装置は、圧縮された動画像のストリームデータを伸長・再生処理（以下、適宜「デコード処理」と言う。）する装置である。ここで、処理対象となる動画像のストリームデータは、一般に、ストリームデータ毎に、また、フレーム毎に処理量（処理時間）が異なるものである。
【００７１】
そのため、ストリームデータのデコード処理において、動画像の再生が円滑に行われる一方、動画像のデコード処理が連続的に行われる処理能力を割り当てることが望ましい。即ち、動画像を連続して再生可能としつつ、そのストリームデータのデコード処理に割り当てる処理能力をより低く抑えることにより、低消費電力、低コスト化といった効果を生ずるものとなる。
【００７２】
したがって、初めに、このような効果を得るための動画像伸長・再生方法について説明する。
図１は、動画像のストリームデータにおいて、各フレームを伸長処理するために要する処理負荷の一例を示す図である。
図１において、ストリームデータに含まれる各フレームは、それぞれ異なる処理負荷を要しているが、大別すると、例えば図１中の閾値Ｗ_Ｔを基準として、処理負荷の比較的大きい（処理時間が比較的長い）フレームと、処理負荷の比較的小さい（処理時間の比較的短い）フレームとに分けられる。
【００７３】
そして、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）に準拠した動画像においては、処理時間の比較的長いフレームは、いわゆるＩフレームであり、処理時間の比較的短いフレームは、いわゆるＰフレームあるいはＢフレームである。
このように処理時間にばらつきのあるストリームデータをデコード処理する場合、デコード処理の条件によっては、フレームの再生までにそのフレームのデコード処理が終了しない場合が発生し得る。
【００７４】
図２は、各フレームの再生タイミングと、デコード処理時間帯との関係を示す図である。なお、図２において、（ａ）は、各フレーム（ｆ１〜ｆ６）の再生タイミングを示し、（ｂ）は、フレームバッファを１フレーム分用意してデコード処理した場合の各フレームのデコード処理時間帯を示し、（ｃ）は、フレームバッファを２フレーム分用意してデコード処理した場合の各フレームのデコード処理時間帯を示している。
【００７５】
図２（ｂ）のデコード処理においては、前フレームの再生が開始され、フレームバッファが使用可能な状態となるまで、次のフレームのデコード処理は待機する必要がある。
そのため、フレームｆ２，ｆ３のように、処理時間の短いフレームのデコード処理が終了した場合であっても、そのフレームの再生が開始されるまで、デコード処理は停止状態となる。
【００７６】
このようにデコード処理が停止状態となる場合、その間の処理能力を他の処理に割り当てたり、クロックおよび電源の停止等の処理を行うといったことにより、不要な電力の消費を防ぐことが可能である。
しかしながら、他の処理に切り替えるためのオーバーヘッドが生ずることから、処理効率が低下したり、処理の停止状態が発生することにより、システム全体として処理が均一化されず、必要となる最大クロック周波数の増大をもたらし、それによる電力消費あるいは不要輻射（クロック信号による不要電波の発生）等の不利益が発生したりする。
【００７７】
一方、デコード処理時間の長いフレームｆ６に注目すると、フレームｆ５の再生開始後にデコード処理を開始した場合には、フレームｆ６の再生タイミングにデコード処理が終了しておらず（図２（ｂ）の斜線部分参照）、再生が断続的となる、あるいは、フレームｆ６がコマ落ちするといった事態が発生する。なお、同様の事態が、フレームｆ４についても発生している。
【００７８】
これに対し、図２（ｃ）に示すように、フレームバッファを２フレーム分用意してデコード処理した場合、ほとんどのフレームについて、再生タイミングにデコード処理が終了している。ただし、この場合にも、デコード処理時間の長いフレームｆ６については、再生タイミングにデコード処理が終了していない。
次に、図３は、デコード処理能力を１０％向上させた場合を示している。なお、図２と同様に、（ａ）は、各フレーム（ｆ１〜ｆ６）の再生タイミングを示し、（ｂ）は、フレームバッファを１フレーム分用意してデコード処理した場合の各フレームのデコード処理時間帯を示し、（ｃ）は、フレームバッファを２フレーム分用意してデコード処理した場合の各フレームのデコード処理時間帯を示している。
【００７９】
図３（ｂ）のデコード処理おいては、フレームｆ４について、再生タイミングまでにデコード処理が終了していない事態が回避されているが、フレームｆ６については、依然として再生タイミングまでにデコード処理が終了していない。
一方、図３（ｃ）のデコード処理においては、フレームｆ６を含む全てのフレームについて、再生タイミングまでにデコード処理が終了している。
【００８０】
このように、フレームバッファの量やデコーダの処理能力によって、ストリームデータを処理した場合の処理結果に差異が生じ、フレームバッファの量が不足している場合およびデコーダの処理能力が過小である場合には、デコード処理が間に合わず、動画像の円滑な再生が妨げられることとなる。一方、フレームバッファの量あるいはデコーダの処理能力が過大である場合には、ほぼ使用されないフレームバッファを備えることとなったり、フレームバッファに空きがないため、デコード処理を一時的に停止せざるを得ないといった事態となる。
【００８１】
即ち、フレームバッファの量と、デコーダの処理能力とが適切なバランスを有することが必要である。
上述した事項に鑑みると、各フレームの処理時間とフレームバッファの量とが満たすべき条件は、以下の通りである。
【００８２】
【数３７】

【００８３】
ただし、（１９）式において、“ｎ”は対象フレームの番号、“ｍ”は、連続処理を開始するフレーム番号、“Ｘ_ｉ”は、第ｉ番目のフレームの処理時間、“Ｎ_Ｂ”は、フレームバッファ量であり、１フレームを処理する時間が“１”となるように正規化されている。なお、以下の式においても同様である。
（１９）式の左辺は、各フレームのデコード処理が再生タイミングまでに終了しているための条件を示し、右辺は、デコード処理が連続的に行われる条件、即ち、処理能力に対してフレームバッファが不足しない条件を示している。
【００８４】
次に、デコーダの処理能力において満たすべき条件について考察する。
図４は、図１に示すヒストグラムに設定した各種パラメータを示す図である。
図４において、“Ｔ”は、代表的なＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅ）間隔（Ｉフレーム間隔）、“Ｗ_Ａ”は、Ｉフレームの負荷平均、“Ｗ_Ｂ”は、Ｐ，Ｂフレームの負荷平均、“ΔＷ_Ａ”は、各Ｉフレームの処理負荷の負荷平均“Ｗ_Ａ”との差分、“ΔＷ_Ｂ”は、各Ｐ，Ｂフレームの処理負荷の負荷平均“Ｗ_Ｂ”との差分を示している。
【００８５】
図４に示す各パラメータを用いると、全フレームの負荷平均Ｗ_{Ａｖｅｒａｇｅ}は、以下の式により表される。
【００８６】
【数３８】

【００８７】
各フレームの処理負荷それぞれが全フレームの負荷平均Ｗ_{Ａｖｅｒａｇｅ}となることは、理想的なストリームデータであることを意味し、この場合には、デコード処理は連続的に行われることとなる。したがって、全フレームの負荷平均Ｗ_{Ａｖｅｒａｇｅ}を図１に示す閾値Ｗ_Ｔとすることが可能である。
一方、実際のストリームデータにおいて、Ｉフレームのグループ（以下、「グループＧ１」と言う。）に属する１フレームの平均処理時間ｘ_Ａは、以下の式で表される。
【００８８】
【数３９】

【００８９】
また、実際のストリームデータにおいて、Ｐ，Ｂフレームのグループ（以下、「グループＧ２」と言う。）に属する１フレームの平均処理時間ｘ_Ｂは、以下の式で表される。
【００９０】
【数４０】

【００９１】
すると、（１９）式、（２１）式および（２２）式より、以下の式が導かれる。
【００９２】
【数４１】

【００９３】
ただし、“ｌ_Ａ”は、連続的に処理されているストリームデータにおけるグループＧ１に属するフレームの数である。
さらに、１ＧＯＰ（特定のＩフレームから次のＩフレームまでの間のストリームデータ）において考えると、以下の式が導かれる。
【００９４】
【数４２】

【００９５】
以上のように、フレームバッファの量と、デコーダの処理能力との関係は、（２３）式あるいは（２４）式から求めることができる。
ここで、デコード処理の開始前においては、予め統計的に求められた各種パラメータ（後述する「負荷係数初期化テーブル」の各値）を（２４）式に代入して、フレームバッファの量を決定することができる。
【００９６】
また、デコード処理の開始後においては、予め統計的に求められた各種パラメータ（負荷係数初期化テーブルの各値）および実際のデコード処理において測定された値が格納された処理時間テーブル（後述）の各値を（２３）式に代入しつつ、動的にフレームバッファの量を決定することができる。
なお、負荷係数初期化テーブルに想定されていないストリームデータが入力された場合には、近似値あるいは近傍の既定値を用いることとする。
【００９７】
そして、（２３）式あるいは（２４）式の左辺に基づいて、処理能力の過不足を判定し、不足している場合には能力を上昇させるといった処理を行なう。
また、（２３）式あるいは（２４）式の右辺に基づいて、フレームバッファ量の過不足を判定し、不足している場合には割り当てるフレームバッファ量を増加するといった処理を行なう。
【００９８】
ここで、処理能力あるいはフレームバッファ量が許容される最大値を超えて必要となっている場合、警告を発する処理や、必要に応じてフレームを間引く処理等を行なうことが可能である。
続いて、上述のＩフレームの負荷平均Ｗ_ＡおよびＰ，Ｂフレームの負荷平均Ｗ_Ｂのばらつきを加味した場合の判定条件について説明する。
【００９９】
上述した“ΔＷ_Ａ”および“ΔＷ_Ｂ”の分散の平方根をそれぞれ“Δｕ_Ａ”　“Δｕ_Ｂ”とし、さらに、その寄与度をそれぞれ“λ_Ａ”、“λ_Ｂ”とすると、（２１）式および（２２）式より、以下の式が導かれる。
【０１００】
【数４３】

【０１０１】
【数４４】

【０１０２】
（２５）式および（２６）式において、寄与度“λ_Ａ”、“λ_Ｂ”を上昇させると、動画像のデコード処理において、コマ落ち等が発生する確率を低下させることができる。
ここで、上述の判定条件は、固定フレームレートに適する条件を想定しているが、可変フレームレートの場合、（２１）式および（２２）式より、以下のような判定条件が導かれる。
【０１０３】
【数４５】

【０１０４】
【数４６】

【０１０５】
ただし、（２７）式および（２８）式において、“Δｕ_Ｔ”は、平均フレームレートに対する実際のフレームレートの分散の平方根、“λ_Ｔ”は、その寄与度である。
（２７）式および（２８）式の判定条件を用い、フレームバッファの量および処理能力を動的に変化させることにより、可変フレームレートの場合にも、適切なデコード処理を行なうことが可能となる。
【０１０６】
次に、上述の動画像伸長・再生方法を利用した動画像再生装置について説明する。
図５は、本発明を適用した動画像再生装置１の機能構成を示すブロック図である。図５において、動画像再生装置１は、メインシステム１０と、サブシステム２０と、音声出力部３０とを含んで構成され、これらの各機能部分は、バス４０を介してそれぞれ接続されている。
【０１０７】
メインシステム１０は、メインプロセッサ１１と、ホストドライバ１２とを含んで構成される。
メインプロセッサ１１は、動画像再生装置１全体を制御し、動画像のデコード処理以外の各種処理を実行する。
具体的には、動画像再生装置１が携帯電話である場合、ユーザからの入力を受け付ける処理や、通信制御処理等を行う。
【０１０８】
また、メインプロセッサ１１は、ホストドライバ１２を介して、サブシステム２０に対し、動画像のデコード処理を指示する。このとき、メインプロセッサ１１は、フレーム単位でデコード処理を指示したり、ストリーム単位でデコード処理を指示したりすることが可能である。なお、フレームとは、ビデオ信号においては、１コマに相当し、オーディオ信号においては、１グラニュラ単位に相当する。
【０１０９】
ホストドライバ１２は、メインプロセッサ１１からの指示に応じて、サブシステム２０のホストインターフェース２２あるいは共有メモリ２７にコマンドやデコード処理対象となるストリームデータを書き込んだり、共有メモリ２７に記憶されたデコード処理結果を読み出したりする。
なお、サブシステム２０のホストインターフェース２２および共有メモリ２７は、メインシステム１０およびサブシステム２０の双方から書き込みおよび読み出しが可能な記憶領域を有する。
【０１１０】
次に、サブシステム２０は、デコーダ２１と、ホストインターフェース２２と、画像入力部２３と、描画部２４と、タイマ２５と、サブプロセッサ２６と、共有メモリ２７と、動画処理制御部２８とを含んで構成され、これらの各機能部分は、バス２９を介してそれぞれ接続されている。
デコーダ２１は、動画処理制御部２８の制御に従いつつ、ホストインターフェース２２の共有メモリ２２ｂ等に記憶された動画像について、伸長処理を含む復号化処理に関する演算を行い、処理結果を共有メモリ２７のフレームバッファ２７ａ等に記憶する。
【０１１１】
ホストインターフェース２２は、メインシステム１０から入力されるコマンドおよびそれに付随する少量のデータを記憶するレジスタ２２ａと、コマンドに付随して送信される多量のデータ（ストリームデータ等）を記憶する共有メモリ２２ｂとを含んで構成される。
なお、ホストインターフェース２２のレジスタ２２ａにコマンドが入力されると、サブプロセッサ２６は、それを割り込みとして処理し、共有メモリ２２ｂの内容を読み込む。
【０１１２】
画像入力部２３は、外部装置から画像データの入力を受け付けるインターフェースである。
描画部２４は、共有メモリ２７のフレームバッファ２７ａ等に記憶された動画像のデータ（デコード後のデータ）を読み出し、映像として再生する。
タイマ２５は、システムクロックに基づいて時間の管理を行い、サブプロセッサ２６に時間信号を供給する。
【０１１３】
サブプロセッサ２６は、サブシステム２０全体を制御するものであり、メインシステム１０からホストインターフェースにコマンドが入力されたことに対応して、動画像のデコード処理の実行を指示する。このとき、サブプロセッサ２６は、サブシステム２０が、直ちにデコード処理を実行可能である場合、動画像のデコード処理を開始し、直ちにはデコード処理を実行可能でない場合、命令キュー２８ｂにコマンドおよびそれに付随するデータを記憶する。
【０１１４】
そして、サブプロセッサ２６は、デコード処理を実行可能となった後、命令キュー２８ｂに記憶されたコマンドを実行する。
なお、サブプロセッサ２６は、その他、動画像のデコード処理あるいは再生処理に関する各種管理のための処理を実行する。
共有メモリ２７は、デコード処理結果であるフレームデータを１フレーム分記憶するフレームバッファ２７ａを含んで構成される。なお、共有メモリ２７は、所定容量のメモリによって構成されており、必要に応じて、フレームバッファを所定フレーム分形成することが可能である。
【０１１５】
また、共有メモリ２７には、メインシステム１０から入力されるストリームデータを記憶する入力リングバッファ２８ｉが含まれ、入力リングバッファ２８ｉは、同時に動画処理制御部２８の構成要素にもなっている。
動画処理制御部２８は、命令キュー管理部２８ａと、命令キュー２８ｂと、フレームバッファ管理部２８ｃと、処理時間テーブル部２８ｄと、負荷係数初期値テーブル部２８ｅと、負荷係数解析部２８ｆと、処理能力管理部２８ｇと、リングバッファ管理部２８ｈとを含んで構成される。
【０１１６】
命令キュー管理部２８ａは、サブプロセッサ２６の指示に基づいて、命令キュー２８ｂへのデータの記憶および命令キュー２８ｂからのデータの読み出しを管理する。
命令キュー２８ｂは、メインシステム１０からサブシステム２０に入力されたコマンドおよびそれに付随するデータのうち、直ちに実行されないものを一時的に記憶する。
【０１１７】
フレームバッファ管理部２８ｃは、負荷係数解析部２８ｆの解析結果に基づいて、共有メモリ２７内に形成するフレームバッファの量（フレームの記憶可能枚数）を増減させる。
処理時間テーブル部２８ｄは、動画像のストリームデータに含まれる各フレームについて、デコード処理に要した時間の実測値をテーブル形式のデータ（処理時間テーブル）として記憶する。
【０１１８】
また、処理時間テーブル部２８ｄは、記憶しているフレームの処理時間を負荷係数解析部２８ｆに出力する。
負荷係数初期値テーブル部２８ｅは、動画像のストリームデータとして入力され得る種々のデータについて、その属性の代表的な要素（符号化または伸長方式、画像サイズ、ビットレートあるいはフレームレート等）が予め記憶された負荷係数初期値テーブルを記憶する。
【０１１９】
図６は、負荷係数初期値テーブルに格納される要素を示す図である。図６において、負荷係数初期値テーブルには、代表的な複数のストリームデータについて、符号化または伸長方式、画像サイズ（ＷＸ）、ビットレート（ＢＰＳ）、フレームレート（ＦＰＳ）、代表的なＧＯＰ間隔（Ｔ）および（２３）〜（２８）式に基づく判定に必要な各種パラメータが格納されている。
【０１２０】
そして、負荷係数初期値テーブル部２８ｅは、負荷係数初期値テーブルに格納されている要素を負荷係数解析部２８ｆに出力する。
負荷係数解析部２８ｆは、処理時間テーブル部２８ｄから入力されるフレーム処理時間あるいは負荷係数初期値テーブル部２８ｅから入力される各要素に基づいて、処理対象であるストリームデータに関する（２３）〜（２８）式のいずれかに基づく判定処理を行い、判定結果をフレームバッファ管理部２８ｃおよび処理能力管理部２８ｇに出力する。
【０１２１】
処理能力管理部２８ｇは、負荷係数解析部２８ｆの判定結果に基づいて、動画像のデコード処理に割り当てる処理能力を増減させる。
リングバッファ管理部２８ｈは、メインシステム１０によって入力されたストリームデータの入力リングバッファ２８ｉへの記憶および読み出しを管理する。
入力リングバッファ２８ｉは、メインシステム１０から入力されるストリームデータを記憶する。
【０１２２】
なお、上述の機能部のうち、サブシステム２０に備えることとしたリングバッファ管理部２８ｈおよび負荷係数初期値テーブル部２８ｅは、メインシステム１０のホストドライバ１２に備えることとしてもよい。
次に、音声出力部３０は、サブシステム２０においてデコード処理された音声等を発声する。
【０１２３】
続いて、動画像再生装置１の動作を説明する。
上述の構成の下、まず、メインシステム１０が、ホストドライバ１２を介して、サブシステム２０に動画像のデコード処理を出力する。
サブシステム２０は、ホストインターフェース２２に書き込まれたコマンドを読み込み、コマンドが直ちに実行可能である場合には実行し、直ちには実行できない場合、一旦、命令キュー２８ｂに書き込み、実行可能な状態となった後にコマンドを実行する。
【０１２４】
このとき、メインシステム１０は、初めに、初期化コマンドを送信し、引き続き、伸長処理コマンドを出力する。この初期化コマンドには、処理対象であるストリームデータについて、負荷係数初期値テーブルのいずれの値を用いるべきかについての指示が含まれている。
また、メインシステム１０は、ストリームデータを１フレーム分ずつデコード処理させるように、伸長処理コマンドを順次出力する。
【０１２５】
サブシステム２０は、初期化コマンドに含まれる負荷係数初期値テーブルの値を参照して、フレームバッファの量および処理能力を設定し、伸長処理を開始する。
そして、伸長処理におけるフレーム処理時間の実測値を処理時間テーブルに順次格納していく。
【０１２６】
さらに、サブシステム２０は、伸長処理の実行後においては、処理時間テーブルに格納されているフレームの処理時間も参照し、（２５）式あるいは（２６）式等において用いる分散等を適宜算出しながら、（２３）式および（２４）式（または、（２５）式および（２６）式、または、（２７）式および（２８）式）に基づく条件判定を行い、フレームバッファの量と処理能力とを動的に変化させながら、デコード処理を実行する。
【０１２７】
このとき、サブシステム２０は、フレームバッファの量あるいは処理能力が、許容される最大値を超えて必要となった場合、警告を発したり、必要に応じて、フレームを間引く処理を行なったりする。
以上のように、本実施の形態に係る動画像再生装置１は、（２３）〜（２８）式に基づく条件判定を行い、動画像のストリームデータをデコード処理する際のフレームバッファ量および処理能力を適切な範囲に調整する。
【０１２８】
したがって、デコード処理および動画像の再生のいずれもが連続的に行なわれることとなり、過剰なフレームバッファを割り当てたり、デコード処理能力に対してフレームバッファが不足し、動画像の再生が円滑に行なわれない事態を避けることができる。
即ち、記憶容量や処理能力を効率的に使用することができ、消費電力あるいは不要輻射の低減、また、実装コストの削減等の効果を得ることができるため、動画像の伸長・再生処理を効率的に行うことが可能となる。
【０１２９】
なお、本実施の形態において、処理負荷の比較的大きいものと処理負荷の比較的小さいものとにフレームを分ける閾値として、全フレームの負荷平均Ｗ_{Ａｖｅｒａｇｅ}が採用可能であることについて述べたが、その他にも、処理負荷の比較的大きいフレームの負荷平均（例えば、“Ｗ_Ａ”）と処理負荷の比較的小さいフレームの負荷平均（例えば、“Ｗ_Ｂ”）との中間値とすることも可能である。
【０１３０】
【発明の効果】
本発明によれば、所定式に基づく条件判定を行い、動画像のストリームデータを復号・再生処理する際のフレームバッファ量および処理能力を適切な範囲に調整する。
したがって、動画像の復号処理および再生処理のいずれもが連続的に行なわれることとなり、過剰なフレームバッファを割り当てたり、デコード処理能力に対してフレームバッファが不足し、動画像の再生が円滑に行なわれないという事態を避けることができる。
【０１３１】
即ち、記憶容量や処理能力を効率的に使用することができ、消費電力あるいは不要輻射の低減、また、実装コストの削減等の効果を得ることができるため、動画像の伸長・再生処理を効率的に行うことが可能となる。
【図面の簡単な説明】
【図１】動画像のストリームデータにおいて、各フレームを伸長処理するために要する処理負荷の一例を示す図である。
【図２】各フレームの再生タイミングと、デコード処理時間帯との関係を示す図である。
【図３】図２の場合に比べ、デコード処理能力を１０％向上させた場合を示している。
【図４】図１に示すヒストグラムに設定した各種パラメータを示す図である。
【図５】本発明を適用した動画像再生装置１の機能構成を示すブロック図である。
【図６】負荷係数初期値テーブルに格納される要素を示す図である。
【符号の説明】
１　動画像再生装置，１０　メインシステム，１１　メインプロセッサ，１２　ホストドライバ，２０　サブシステム，２１　デコーダ，２２　ホストインターフェース，２２ａ　レジスタ，２２ｂ　共有メモリ，２３　画像入力部，２４　描画部，２５　タイマ，２６　サブプロセッサ，２７　共有メモリ，２７ａ　フレームバッファ，２８　動画処理制御部，２８ａ　命令キュー管理部，２８ｂ　命令キュー，２８ｃ　フレームバッファ管理部，２８ｄ　処理時間テーブル部，２８ｅ　負荷係数初期値テーブル部，２８ｆ　負荷係数解析部，２８ｇ　処理能力管理部，２８ｈ　リングバッファ管理部，２８ｉ　入力リングバッファ，２９バス，３０　音声出力部，４０　バス

Claims

複数のフレームを含む符号化された動画像のストリームデータを復号化して再生するための動画像再生処理方法であって、
処理対象である動画像のストリームデータに含まれる各フレームの処理負荷を所定の閾値に基づいて分類し、該閾値より処理負荷の大きいフレーム群のフレーム処理負荷に基づく第１の要素と、該閾値より処理負荷の小さいフレーム群のフレーム処理負荷に基づく第２の要素と、動画像のストリームデータを復号化する処理および動画像の再生処理のいずれもが連続的に行なわれるための所定条件とに基づいて、動画像再生処理のためのフレームバッファ量と、処理能力とを決定することを特徴とする動画像再生処理方法。
前記閾値は、処理対象である全フレームそれぞれの平均処理負荷あるいは前記閾値より処理負荷の大きいフレーム群の負荷平均と前記閾値より処理負荷の小さいフレーム群の負荷平均との中間値の少なくともいずれかに基づいて決定されることを特徴とする請求項１記載の動画像再生処理方法。
前記第１の要素は、該閾値より処理負荷の大きいフレームの負荷平均であり、前記第２の要素は、該閾値より処理負荷の小さいフレームの負荷平均であることを特徴とする請求項１または２記載の動画像再生処理方法。
動画像のストリームデータを復号化する処理および動画像の再生処理のいずれもが連続的に行なわれるための前記所定条件を、以下の式に基づいて判定することを特徴とする請求項１〜３のいずれかに記載の動画像再生処理方法。
前記閾値より処理負荷が大きいフレーム間における処理について、前記所定条件を、以下の式に基づいて判定することを特徴とする請求項１〜４のいずれかに記載の動画像再生処理方法。
前記第１の要素あるいは第２の要素の少なくともいずれかを、処理対象に含まれるフレームの処理負荷の分布状態に基づいて補正することを特徴とする請求項１〜５のいずれかに記載の動画像再生処理方法。
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正することを特徴とする請求項４または５記載の動画像再生処理方法。
前記閾値より処理負荷が小さいフレームの平均処理時間を、以下の式によって補正することを特徴とする請求項４または５記載の動画像再生処理方法。
前記第１の要素あるいは第２の要素の少なくともいずれかを、処理対象である動画像の再生におけるフレームレートの変動に基づいて補正することを特徴とする請求項１〜８のいずれかに記載の動画像再生処理方法。
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正することを特徴とする請求項４、請求項５、請求項７または請求項８のいずれかに記載の動画像再生処理方法。
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正することを特徴とする請求項４、請求項５、請求項７または請求項８のいずれかに記載の動画像再生処理方法。
処理対象である前記ストリームデータの再生処理実行前に把握可能な属性に基づいて、予め設定された所定値を選択し、選択した値に基づいて、前記第１あるいは第２の要素、前記所定条件の少なくともいずれかを決定することを特徴とする請求項１〜１１のいずれかに記載の動画像再生処理方法。
処理対象である前記ストリームデータの再生処理を実行することによって取得される属性に基づいて、前記第１あるいは第２の要素、前記所定条件の少なくともいずれかを決定することを特徴とする請求項１〜１２のいずれかに記載の動画像再生処理方法。
複数のフレームを含む符号化された動画像のストリームデータを復号化して再生するための動画像再生装置であって、
処理対象である動画像のストリームデータに含まれる各フレームの処理負荷を所定の閾値に基づいて分類し、該閾値より処理負荷の大きいフレーム群のフレーム処理負荷に基づく第１の要素と、該閾値より処理負荷の小さいフレーム群のフレーム処理負荷に基づく第２の要素と、動画像のストリームデータを復号化する処理および動画像の再生処理のいずれもが連続的に行なわれるための所定条件とに基づいて、動画像再生処理のためのフレームバッファ量と、処理能力とを決定することを特徴とする動画像再生装置。
前記閾値は、処理対象である全フレームそれぞれの平均処理負荷あるいは前記閾値より処理負荷の大きいフレーム群の負荷平均と前記閾値より処理負荷の小さいフレーム群の負荷平均との中間値の少なくともいずれかに基づいて決定されることを特徴とする請求項１４記載の動画像再生装置。
前記第１の要素は、該閾値より処理負荷の大きいフレームの負荷平均であり、前記第２の要素は、該閾値より処理負荷の小さいフレームの負荷平均であることを特徴とする請求項１４または１５記載の動画像再生装置。
動画像のストリームデータを復号化する処理および動画像の再生処理のいずれもが連続的に行なわれるための前記所定条件を、以下の式に基づいて判定することを特徴とする請求項１４〜１６のいずれかに記載の動画像再生装置。
前記閾値より処理負荷が大きいフレーム間における処理について、前記所定条件を、以下の式に基づいて判定することを特徴とする請求項１４〜１７のいずれかに記載の動画像再生装置。
前記第１の要素あるいは第２の要素の少なくともいずれかを、処理対象に含まれるフレームの処理負荷の分布状態に基づいて補正することを特徴とする請求項１４〜１８のいずれかに記載の動画像再生装置。
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正することを特徴とする請求項１７または１８記載の動画像再生装置。
前記閾値より処理負荷が小さいフレームの平均処理時間を、以下の式によって補正することを特徴とする請求項１７または１８記載の動画像再生装置。
前記第１の要素あるいは第２の要素の少なくともいずれかを、処理対象である動画像の再生におけるフレームレートの変動に基づいて補正することを特徴とする請求項１４〜２１のいずれかに記載の動画像再生装置。
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正することを特徴とする請求項１７、請求項１８、請求項２０または請求項２１のいずれかに記載の動画像再生装置。
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正することを特徴とする請求項１７、請求項１８、請求項２０または請求項２１のいずれかに記載の動画像再生装置。
処理対象である前記ストリームデータの再生処理実行前に把握可能な属性に基づいて、予め設定された所定値を選択し、選択した値に基づいて、前記第１あるいは第２の要素、前記所定条件の少なくともいずれかを決定することを特徴とする請求項１４〜２４のいずれかに記載の動画像再生装置。
処理対象である前記ストリームデータの再生処理を実行することによって取得される属性に基づいて、前記第１あるいは第２の要素、前記所定条件の少なくともいずれかを決定することを特徴とする請求項１４〜２５のいずれかに記載の動画像再生装置。
複数のフレームを含む符号化された動画像のストリームデータを復号化して再生するための動画像再生処理プログラムであって、
処理対象である動画像のストリームデータに含まれる各フレームの処理負荷を所定の閾値に基づいて分類し、該閾値より処理負荷の大きいフレーム群のフレーム処理負荷に基づく第１の要素と、該閾値より処理負荷の小さいフレーム群のフレーム処理負荷に基づく第２の要素と、動画像のストリームデータを復号化する処理および動画像の再生処理のいずれもが連続的に行なわれるための所定条件とに基づいて、動画像再生処理のためのフレームバッファ量と、処理能力とを決定する機能をコンピュータに実現させることを特徴とする動画像再生処理プログラム。
前記閾値は、処理対象である全フレームそれぞれの平均処理負荷あるいは前記閾値より処理負荷の大きいフレーム群の負荷平均と前記閾値より処理負荷の小さいフレーム群の負荷平均との中間値の少なくともいずれかに基づいて決定されることを特徴とする請求項２７記載の動画像再生処理プログラム。
前記第１の要素は、該閾値より処理負荷の大きいフレームの負荷平均であり、前記第２の要素は、該閾値より処理負荷の小さいフレームの負荷平均であることを特徴とする請求項２７または２８記載の動画像再生処理プログラム。
動画像のストリームデータを復号化する処理および動画像の再生処理のいずれもが連続的に行なわれるための前記所定条件を、以下の式に基づいて判定する機能をコンピュータに実現させることを特徴とする請求項２７〜２９のいずれかに記載の動画像再生処理プログラム。
前記閾値より処理負荷が大きいフレーム間における処理について、前記所定条件を、以下の式に基づいて判定する機能をコンピュータに実現させることを特徴とする請求項２７〜３０のいずれかに記載の動画像再生処理プログラム。
前記第１の要素あるいは第２の要素の少なくともいずれかを、処理対象に含まれるフレームの処理負荷の分布状態に基づいて補正する機能をコンピュータに実現させることを特徴とする請求項２７〜３１のいずれかに記載の動画像再生処理プログラム。
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正する機能をコンピュータに実現させることを特徴とする請求項３０または３１記載の動画像再生処理プログラム。
前記閾値より処理負荷が小さいフレームの平均処理時間を、以下の式によって補正する機能をコンピュータに実現させることを特徴とする請求項３０または３１記載の動画像再生処理プログラム。
前記第１の要素あるいは第２の要素の少なくともいずれかを、処理対象である動画像の再生におけるフレームレートの変動に基づいて補正する機能をコンピュータに実現させることを特徴とする請求項２７〜３４のいずれかに記載の動画像再生処理プログラム。
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正する機能をコンピュータに実現させることを特徴とする請求項３０、請求項３１、請求項３３または請求項３４のいずれかに記載の動画像再生処理プログラム。
前記閾値より処理負荷が大きいフレームの平均処理時間を、以下の式によって補正する機能をコンピュータに実現させることを特徴とする請求項３０、請求項３１、請求項３３または請求項３４のいずれかに記載の動画像再生処理プログラム。
処理対象である前記ストリームデータの再生処理実行前に把握可能な属性に基づいて、予め設定された所定値を選択し、選択した値に基づいて、前記第１あるいは第２の要素、前記所定条件の少なくともいずれかを決定する機能をコンピュータに実現させることを特徴とする請求項２７〜３７のいずれかに記載の動画像再生処理プログラム。
処理対象である前記ストリームデータの再生処理を実行することによって取得される属性に基づいて、前記第１あるいは第２の要素、前記所定条件の少なくともいずれかを決定する機能をコンピュータに実現させることを特徴とする請求項２７〜３８のいずれかに記載の動画像再生処理プログラム。