JP2005101818A - 復号再生装置、復号再生用プログラムおよび復号再生方法 - Google Patents

Abstract

【課題】 出力される音声および／または画像への処理遅延の変化による影響を抑える。
【解決手段】 タイミング制御部１０は、復号処理４０の完了通知４２を受け取った後に、フレーム毎に付されたタイムスタンプが示す出力開始時間Ｐから画像出力部６の処理遅延ｙについての予測値だけ早い時間ｔ２に、出力処理６０の開始の指示６１を画像出力部６へ伝える。時間計測部７は、フレームごとの処理遅延ｙを計測するとともに、最新に計測した複数の処理遅延ｙの平均値を処理遅延の予測値に反映させる。
【選択図】 図９

Description

本発明は、復号再生装置、復号再生用プログラムおよび復号再生方法に関し、特に出力音声および／または出力画像への処理遅延の影響を抑えるための技術に関する。

従来の音声画像復号再生装置は、別個の機器で圧縮符号化された音声データと画像データとが、定められたフォーマットに従って多重化され伝送または蓄積されたものを多重分離し、分離された音声データおよび画像データを別個の復号器で再生した上で出力していた。このため、復号化された音声データおよび画像データの間で同期を実現する技術として、音声および画像の圧縮符号化データを多重化する時のフォーマットに、再生用のタイムスタンプを用意しておき、再生時には、そのタイムスタンプを用いて同期を取る技術、あるいは、タイムスタンプは使用せず、音声および画像データの再生時に、音声または画像データのいずれかの再生時間軸を音声画像復号再生装置全体の時間軸とし、時間軸ではない側がタイミングの修正を行うことにより（例えば、音声を再生時間軸とした場合、画像再生においてタイミングの修正を行う）、同期を取る技術が用いられていた。

タイムスタンプを使用する従来技術の例として、特許文献１に開示される「多重化データ蓄積再生装置」が挙げられる。この装置は、テレビ電話システムにおいて蓄積データの再生を行うもので、音声データおよび画像データに分離され、かつタイムスタンプが付加されたパケットの形式で蓄積された音声画像多重化データを再生するものである。この装置は、蓄積データを再生する際に、パケットに付加されたタイムスタンプにより同期を取るように構成されている。

タイムスタンプを使用しない従来技術の例として、特許文献２に開示される「映像音声同期システム」が挙げられる。このシステムは、音声データの再生時間軸をシステム全体の時間軸とし、画像データの再生タイミングを修正することにより音声と画像との間で同期をとる技術を採用している。このシステムは、再生すべき音声データをある決められた時間分入力し、その時間内に再生すべき画像データを対応づけすることにより、音声データと画像データとの間の再生時間のずれを監視するように構成されている。ずれを修正するために、音声データと画像データのずれの状態に応じて、画像データの表示時間の短縮、延長、および表示の取り止めが選択的に行われる。
特開平７−１８４１７８号公報 特開平６−２３３２６９号公報

これらの従来技術では、同期化のための制御をソフトウェアで行う場合には、ある時間に再生データを出力すべく制御を行っているにもかかわらず、実際に出力されるまでには処理に要する時間分の遅延、すなわち処理遅延が生じる。例えば、出力指示の通知がなされた場合、ＯＳ（オペレーティングシステム）によって出力処理部が起動され、出力処理として、分析、データ転送、拡大縮小、および表示エリア展開等が行われることにより、再生データが出力される。これらの処理に要する時間の合計が処理遅延となる。

処理遅延は再生データの出力時には必ず発生するものであるので、音声および画像の圧縮符号化データに含まれるタイムスタンプから、固定された値としての処理遅延を補償すべき時間を算出し、その時間に出力指示を行うことにより、処理遅延の影響を排除することも可能である。しかしながら近年において、モバイル機器に代表される省電力モード機能を持つ機器では、ＣＰＵクロック、動作タスク、ＬＣＤ処理等を使用状況に応じて変化させることにより省電力が実現されているため、これらの内部処理時間は、もはや固定されたものではなく随時に変化することとなる。

動作モードを省電力モードへ移行させることより動作クロックの速度を低くする場合を例に挙げると、動作クロックを低速にすることは、ソフトウェアにとっては単位時間当たりの動作ステップ数が減ることを意味する。その結果、処理能力が低下し、上記に例示した各処理の内部処理時間が増大するので、処理遅延が増大することとなる。このようにソフトウェアの動作環境を変化させる機能を持つ機器では、内部処理時間が変化することにより、ソフトウェアが予定している出力時間とは異なった時間に、再生データが出力される。その結果、出力される音声および画像が間延びするという現象、あるいは逆に速くなるという現象が発生し、連続して出力される音声および画像を知覚する視聴者に違和感を与えることとなる。

また、ソフトウェアの動作環境が変わらない機器においても、上記のように処理遅延は再生データの出力時には必ず発生するものである。したがって、処理遅延を固定値としてその影響を補償する機器においては、ソフトウェアを機器のメモリに書き込む際、あるいはソフトウェアが書き込まれたメモリを機器に搭載する際に、処理遅延に対するチューニング作業が必要となる。このことは、機器の出荷前等における作業工数の増大をもたらすこととなる。

本発明は上記の問題点に鑑みてなされたもので、出力される音声および／または画像への処理遅延の変化による影響を抑えることができるとともに、装置出荷前等における作業工数を低減しつつ処理遅延の影響を抑えることのできる復号再生装置、復号再生用プログラム、および復号再生方法を提供することを目的とする。

上記課題を解決し上記目的を達成するために請求項１に記載の発明は、音声データと画像データとの少なくとも一方を含み、かつ圧縮符号化されたデータを復号化して出力する復号再生装置であって、入力される前記データを、あるデータ単位ごとに復号化する復号化手段と、復号化されたデータを前記データ単位ごとに出力する出力手段と、前記データ単位毎に付されたタイムスタンプが示す出力開始時間よりも、前記出力手段が前記データ単位の前記データの出力処理を開始した後に当該データの出力が開始されるまでの処理遅延の予測値だけ早く、前記出力処理の開始を前記出力手段へ指示するタイミング制御手段と、前記処理遅延を計測するとともに、計測した過去の処理遅延にもとづいて処理遅延の前記予測値を算出する時間計測手段と、を備えるものである。

また、請求項２に記載の発明は、請求項１に記載の復号再生装置であって、前記時間計測手段が、最新に計測した処理遅延を前記予測値に反映させるものである。

請求項３に記載の発明は、請求項１または２に記載の復号再生装置であって、前記時間計測手段が、最新に計測した複数の処理遅延の平均値を算出し、当該平均値を前記予測値に反映させるものである。

請求項４に記載の発明は、請求項１ないし３のいずれかに記載の復号再生装置であって、前記時間計測手段が、最新に計測した処理遅延がある範囲を超えた場合に限り、処理遅延の前記予測値を更新するものである。

請求項５に記載の発明は、請求項１ないし４のいずれかに記載の復号再生装置であって、前記時間計測手段は、前記復号化手段が前記データ単位ごとに前記データを復号化するのに要する時間である復号処理時間をも計測するとともに、計測した過去の復号処理時間の最大値を算出し、前記タイミング制御手段は、前記復号処理時間として前記最大値を要するとしたならば前記出力処理の開始を指示すべき時間より前に前記復号処理が終了しないと予測される場合に、前記復号化手段に、１データ単位をスキップしてつぎのデータ単位の前記データを復号化させるものである。

請求項６に記載の発明は、復号再生用プログラムであって、音声データと画像データとの少なくとも一方を含み、かつ圧縮符号化されたデータを復号化して出力する復号再生装置を、入力される前記データを、あるデータ単位ごとに復号化する復号化手段と、復号化されたデータを前記データ単位ごとに出力する出力手段と、前記データ単位毎に付されたタイムスタンプが示す出力開始時間よりも、前記出力手段が前記データ単位の前記データの出力処理を開始した後に当該データの出力が開始されるまでの処理遅延の予測値だけ早く、前記出力処理の開始を前記出力手段へ指示するタイミング制御手段と、前記処理遅延を計測するとともに、計測した過去の処理遅延にもとづいて処理遅延の前記予測値を算出する時間計測手段として機能させるものである。

請求項７に記載の発明は、音声データと画像データとの少なくとも一方を含み、かつ圧縮符号化されたデータを復号化して出力する復号再生方法であって、入力される前記データを、あるデータ単位ごとに復号化する復号化工程と、復号化されたデータを前記データ単位ごとに出力する出力工程と、前記データ単位毎に付されたタイムスタンプが示す出力開始時間よりも、前記出力工程が前記データ単位の前記データの出力処理を開始した後に当該データの出力が開始されるまでの処理遅延の予測値だけ早く、前記出力処理を開始するよう前記出力工程の時期を指示するタイミング制御工程と、前記処理遅延を計測するとともに、計測した過去の処理遅延にもとづいて処理遅延の前記予測値を算出する時間計測工程と、を備えるものである。

請求項１に記載の発明によれば、計測された過去の処理遅延にもとづいて処理遅延の予測値が算出されるので、処理遅延にその予測値が自己適合的に追随する。また、タイムスタンプが示す出力開始時間よりも処理遅延の予測値だけ早く、出力手段による出力処理の開始が指示されるので、復号化後のデータが出力手段から出力される時間が、タイムスタンプが示す時間に自己適合的に追随する。したがって、処理遅延に変動があっても、出力される音声および／または画像への違和感等の影響を抑えることができる。また、自己適合性のために処理遅延の予測値の初期値として任意の値を付与することができるので、当該初期値に対するチューニング作業を要することなく処理遅延の影響を抑えることができる。

請求項２に記載の発明によれば、最新に計測された処理遅延が処理遅延の予測値に反映されるので、処理遅延への予測値の追随を早めることができる。

請求項３に記載の発明によれば、最新に計測した複数の処理遅延の平均値、すなわち処理遅延に関する一種の移動平均値がその予測値に反映されるので、一時的な処理遅延の変動に起因して不必要に予測値が変動するのを防ぎつつ、処理遅延にその予測値を追随させることができる。

請求項４に記載の発明によれば、時間計測手段が、最新に計測した処理遅延がある範囲を超えた場合に限り、処理遅延の予測値を更新するので、一時的な処理遅延の変動に起因して不必要に予測値が変動するのを効果的に防ぐことができる。

請求項５に記載の発明によれば、復号処理時間の最大値をいわば復号処理時間の予測値として、復号処理が出力処理の開始指示よりも前に終了しないと予測される場合には、復号化手段が１データ単位をスキップしてつぎのデータ単位のデータを復号化するので、復号処理が出力処理の開始指示よりも前に終了しないという現象が複数のデータ単位について継続して発生した場合においても、１データ単位おきに復号化が行われて出力されるので、復号処理されたデータ単位のデータが継続して出力されないという不都合を防止することができる。

請求項６に記載の発明によれば、復号再生装置が上記各手段として機能するので、処理遅延に変動があっても、出力される音声および／または画像への違和感等の影響を抑えることができる。また、処理遅延の予測値の初期値に対するチューニング作業を要することなく処理遅延の影響を抑えることができる。

請求項７に記載の発明によれば、復号再生方法が上記各工程を備えるので、処理遅延に変動があっても、出力される音声および／または画像への違和感等の影響を抑えることができる。また、処理遅延の予測値の初期値に対するチューニング作業を要することなく処理遅延の影響を抑えることができる。

以下に、本発明の実施の形態について図面を参照して説明する。
（復号再生装置の構成）
図１は、本発明の実施の形態による復号再生装置のハードウェア構成を示すブロック図である。この復号再生装置は、音声と画像との双方を復号再生する音声画像復号再生装置１００として構成されており、ＣＰＵ（中央演算処理部）１、入力バッファ部２、音声復号化部３、画像復号化部４、音声出力部５、画像出力部６および時間計測部７を備えている。これら各部は、バスライン１５によって相互に接続されている。ＣＰＵ１は、装置各部を制御するためのものであり、図示しないメモリに書き込まれたプログラムにしたがって動作する。なお、ＣＰＵ１は図示しないメモリ等の周辺装置をも含めたコンピュータを代表している。入力バッファ部２は、入力される圧縮音声画像データ２０を一時的に保持する。圧縮音声画像データ２０は、圧縮符号化された音声データと画像データとを含むとともに、タイムスタンプ（出力時間情報）すなわち出力すべき時間を記した情報をも含んでいる。

音声復号化部３は、ＣＰＵ１の制御にもとづいて、入力バッファ部２から１フレーム分の圧縮音声データを受け取り、受け取った圧縮音声データを復号化する。同様に、画像復号化部４は、ＣＰＵ１の制御にもとづいて、入力バッファ部２から１フレーム分の圧縮画像データを受け取り、受け取った圧縮画像データを復号化する。ＣＰＵ１は、音声復号化部３および画像復号化部４から復号処理完了の通知を受け取ると、音声出力部５および画像出力部６へ出力開始を指示する。音声出力部５は、ＣＰＵ１から出力開始の指示を受けると、音声復号化部３で得られた１フレーム分の復号音声データを出力する。同様に、画像出力部６は、ＣＰＵ１から出力開始の指示を受けると、画像復号化部４で得られた１フレーム分の復号画像データを出力する。このように、音声復号化部３および画像復号化部４は、ＣＰＵ１の制御にもとづいて１フレーム毎に入力データの復号化を行い、音声出力部５および画像出力部６は、ＣＰＵ１の制御にもとづいて１フレーム毎に復号データの出力を行う。出力される復号音声データは、スピーカ等の音声変換器１８により音声へと変換され、出力される復号画像データは、ＬＣＤパネル等の画像表示器１９により画像として表示される。

時間計測部７には、ＣＰＵ１から音声復号化部３および画像復号化部４へ伝えられる復号処理開始契機、逆に音声復号化部３および画像復号化部４からＣＰＵ１へ伝えられる復号処理完了契機、ＣＰＵ１から音声出力部５および画像出力部６へ伝えられる出力処理開始契機、および、逆に音声出力部５および画像出力部６からＣＰＵ１へ伝えられる出力処理完了契機が通知される。時間計測部７は、これらの契機にもとづいて、音声復号処理時間、画像復号処理時間、音声出力処理時間、および画像出力処理時間を計測する。

図２は、ＣＰＵ１の内部構成をプログラムにもとづく機能に着目して展開して描いた音声画像復号再生装置１００のブロック図である。図２が示すように、ＣＰＵ１は、データ転送部９およびタイミング制御部１０を等価的に備えている。データ転送部９は、入力バッファ部２から圧縮音声データを読み出し、音声復号化部３へ転送するとともに、入力バッファ部２から圧縮画像データを読み出し、画像復号化部４へ転送する。

タイミング制御部１０は、圧縮音声データに含まれるタイムスタンプが示す出力開始時間と時間計測部７から通知される処理遅延その他の時間情報とにもとづいて、音声復号化部３および音声出力部５の制御を行う。タイミング制御部１０は、同様に、圧縮画像データに含まれるタイムスタンプが示す出力開始時間と時間計測部７から通知される処理遅延その他の情報とにもとづいて、画像復号化部４および画像出力部６の制御を行う。また、タイミング制御部１０は、データ転送部９の制御をも行っている。

なお、図１に示したＣＰＵ１以外の各要素は、ソフトウェア（プログラム）を必要としないハードウェアで構成してもよいが、ソフトウェアにしたがって動作するＣＰＵにより等価的に構成してもよい。以下の説明では、いずれの要素もソフトウェアにしたがって動作するものとする。この場合のＣＰＵは、ＣＰＵ１とは別個であってもよく、あるいはＣＰＵ１が各要素を等価的に実現するものであってもよい。後者の場合には、図２の機能ブロック図に描かれる各要素はいずれもＣＰＵ１により等価的に構成されることとなる。ＣＰＵ１（コンピュータ）の動作を規定するソフトウェアは、通信ネットワーク等の伝送媒体を通じて提供することも、ＲＯＭ、ＣＤ−ＲＯＭ等の記録媒体を通じて提供することも可能である。ＣＰＵ１は、例えば外付けのＣＤ−ＲＯＭ読み取り装置等（不図示）を用いて、記録媒体に記録されたソフトウェアを読み取ることができる。

（復号化部と出力部の動作の概略）
図３は、画像復号化部４および画像出力部６の動作と、タイミング制御部１０によるそれらの制御動作の時間に沿った流れを示すタイミングチャートである。なお、図３および以下に示す各タイミングチャートにおいて、画像復号化部４および画像出力部６は、そのまま音声復号化部３および音声出力部５へ置き換えることができる。処理時間について、音声復号化部３の方が画像復号化部４よりも通常は短く、音声出力部５の方が画像出力部６よりも通常は短い点で、双方のタイミングチャートは相違するに過ぎない。すなわち、画像の処理に関する図３以下のタイミングチャートは、音声の処理に関するタイミングチャートをも代表するものである。

図３が示すように、タイミング制御部１０からの復号処理開始指示４１により、画像復号化部４は復号処理４０を開始し、復号処理４０が終了すると、復号処理完了通知４２をタイミング制御部１０に伝える。同様に、タイミング制御部１０からの出力処理開始指示６１により、画像出力部６は出力処理６０を開始し、出力処理６０が終了すると、出力処理完了通知６２をタイミング制御部１０に伝える。なお、図３以下の図において、説明の便宜のために、復号処理４０、復号処理開始指示４１のように、処理内容あるいは信号にも符号を付している。また、復号処理４０をはじめとする各処理を示す帯の中に付されたｋ、ｋ＋１，ｋ＋２等の符号は、処理対象とされるフレームを識別する番号であり、入力順に付されている。復号処理４０と出力処理６０との間など、異なる処理の間で同一符号が付されたものは、同一フレームに対する処理を表している。

タイミング制御部１０は、復号処理完了通知４２を受けた時間ｔ１、圧縮画像データに付加されているタイムスタンプが示す出力開始時間Ｐ（以下において簡単のために、タイムスタンプが示す出力開始時間ＰをタイムスタンプＰと略記する）、および画像出力部６における処理遅延ｙの予測値にもとづいて、画像出力部６に出力処理開始指示６１を伝える時間ｔ２を算出し、その後、その時間ｔ２が到来すると画像出力部６に出力処理開始指示６１を伝える。処理遅延ｙの予測値は、時間計測部７によって算出される。処理遅延ｙの予測値の算出、およびタイミング制御部１０による時間ｔ２の演算については、後に詳述する。

処理遅延ｙは、時刻ｔ２に伝えられる出力処理開始指示６１により画像出力部６が出力処理６０を開始した後、出力８０を始める（出力開始６３）時間ｔ３までに要する画像出力部６の処理時間、すなわち出力処理時間である。図４は、処理遅延ｙを構成する要素を示す説明図である。タイミング制御部１０から画像出力部６へ出力処理開始指示６１が伝えられると、まずＯＳ（オペレーティングシステム）によりタスク処理６４が行われ、画像出力部６内の要素である画像出力処理部が起動される。画像出力処理部での処理は、起動された事象の分析処理６５、出力データの内部取り込み（出力データの転送）６６、取り込んだデータの拡大縮小６７、そのデータの表示エリアへの展開（例えば、画像ＲＡＭへの展開）６８という過程を経て出力開始６３へ至る。つまり、タイミング制御部１０による出力処理開始指示６１がなされる時間ｔ２から、画像表示器１９への出力８０が開始される（出力開始６３）時間ｔ３までの期間である遅延時間ｙは、各処理に要する時間α，ｕ，ｖ，ｗ，ｘの和であり、ｙ＝α＋ｕ＋ｖ＋ｗ＋ｘで表される。

図５は、動作モードが通常モードから省電力モードへ遷移したときの、画像復号化部４および画像出力部６の動作とタイミング制御部１０によるそれらの制御動作の時間に沿った流れを示すタイミングチャートである。先に示した図３は、通常モードにおける同様のタイミングチャートに該当するので、図５と対比して参照することができる。省電力モードでは、通常モードに比べて動作クロックの速度が低下するので、ソフトウェアの単位時間当たりの処理ステップ数が減少する。その結果、各処理に要する時間が延びることとなる。すなわち図５が示すように、復号処理４０に要する時間が増加分Ｓだけ長くなり、出力処理６０に要する時間が増加分Ｔだけ長くなる。それにより、ｋ＋１番目のフレームについて例示するように、画像復号化データの実際の出力開始時間ｔ３が、予測された出力開始時間ｔ３に比べて出力処理増加分Ｔだけ遅れることとなる。なお、画像復号化部４および画像出力部６がソフトウェアを必要としないハードウェアによって構成される場合においても、それらはクロックパルスに同期して動作するものであり、処理に要する時間は同様に延びることとなる。

図６は、動作モードが通常モードから省電力モードへ遷移したときの、処理遅延を構成する要素を示す説明図である。先に示した図４は、通常モードにおける同様の説明図に該当するので、図６と対比して参照することができる。ＯＳによるタスク処理６４に要する時間がαからβへ延び、出力処理部による分析処理６５に要する時間がｕからＵへ延び、出力データの内部取り込みに要する時間がｖからＶへ延び、取り込んだデータの拡大縮小に要する時間がｗからＷへ延び、そのデータの表示エリアへの展開に要する時間がｘからＸへ延びる。つまり、画像出力部６の動作を規定するソフトウェアの動作環境の変更により、処理遅延の変化分Ｔは、変更後の遅延時間Ｙ−変更前の遅延時間ｙであり、Ｔ＝Ｙ−ｙ＝(β＋Ｕ＋Ｖ＋Ｗ＋Ｘ)−(α＋ｕ＋ｖ＋ｗ＋ｘ)で与えられる。

（時間計測部を含めた装置全体の動作）
つぎに、時間計測部７を含めた音声画像復号再生装置１００全体の動作について詳細に説明する。図７は、タイミング制御部１０による処理の手順を示すフローチャートである。また図８は、時間計測部７による処理の手順を示すフローチャートである。さらに図９は、図７および図８の処理手順にもとづく時間計測部７、タイミング制御部１０、画像復号化部４および画像出力部６の動作の時間に沿った流れを示すタイミングチャートである。なお、図７および図８のフローチャートにおいても、画像データに関する処理は音声データに関する処理をも代表する。

図７が示すように、処理が始まると、タイミング制御部１０は、データ転送部９に、圧縮画像データを画像復号化部４へ転送させる（Ｓ１）。つぎに、タイミング制御部１０は、復号処理開始通知７１（図９）を時間計測部７へ送る（Ｓ２）。図８が示すように、時間計測部７は復号処理開始通知７１を受け取ると、ステップＴ２の処理を行う。すなわち、時間計測部７は、復号処理開始通知７１を受信した時間Ａを、自身が持つ時計により抽出し、さらに保持する（Ｓ２１）。つぎに時間計測部７は、時間Ａとともに、それまでの復号処理時間ｍの最大値Ｍｍａｘをタイミング制御部１０へ通知する（Ｓ２２）。最大値Ｍｍａｘは、後述するように、ステップＴ２の時点では、すでに算出され保持されている（図８；Ｓ２５）。

図７のステップＳ２が終了すると、タイミング制御部１０は、入力される圧縮音声画像データ２０からタイムスタンプＰを抽出する（Ｓ３）。タイムスタンプＰは、それが付される画面を表示すべき時間を記述している。つぎにタイミング制御部１０は、時間Ａおよび最大値Ｍｍａｘから、復号処理の完了について予測される時間、すなわち復号処理完了予測時間（Ａ＋Ｍｍａｘ）を算出する（Ｓ４）。

つぎにタイミング制御部１０は、現時点での処理遅延ＺとタイムスタンプＰとから、出力処理開始時間（Ｐ−Ｚ）を算出し、これを復号処理完了予測時間（Ａ＋Ｍｍａｘ）と比較する（Ｓ５）。処理遅延Ｚは、後述するように処理遅延ｙ（またはＹ）についての予測値であり、ステップＳ５の時点ではすでに通知されている（図８；Ｓ２６）。出力処理開始時間（Ｐ−Ｚ）＞復号処理完了予測時間（Ａ＋Ｍｍａｘ）であれば、そのフレームを復号化した後に出力するだけの時間的余裕があることを意味することから、タイミング制御部１０は、復号処理開始指示４１を画像復号化部４へ伝える（Ｓ６）。それにより、画像復号化部４は復号処理４０を開始する。

一方、出力処理開始時間（Ｐ−Ｚ）≦復号処理完了予測時間（Ａ＋Ｍｍａｘ）であれば、そのフレームを復号化した後に出力することは不可能であると予測されるので、１フレーム分をスキップして、その次のフレームの画像圧縮データを復号化するために、ステップＳ１と同一の処理を再度行う（Ｓ１３）。これにより、本来の復号化対象となるフレームのつぎのフレームの画像圧縮データが画像復号化部４へ転送される。そして、つづくステップＳ６により、転送されたフレームの画像圧縮データに対する復号処理開始の指示４１が画像復号化部４へ送られる。ステップＳ１３の処理については、後に詳述する。

ステップＳ６の処理が終了すると、処理はステップＳ７へ移行する。ステップＳ７では、タイミング制御部１０は、画像復号化部４からの復号完了通知４２、画像出力部６からの出力処理完了通知６２、および出力処理開始時間ｔ２の到来のいずれかを待つ。

タイミング制御部１０は、ステップＳ７の待機中に画像復号化部４から復号処理完了通知４２を受け取ると、時間計測部７に復号処理完了通知７２を伝える（Ｓ８）。図８が示すように、時間計測部７は復号処理完了通知７２を受け取ると、ステップＴ８の処理を行う。すなわち、時間計測部７は、復号処理完了通知７２を受信した時間Ｂを、自身が持つ時計により抽出し、さらに保持する（Ｓ２３）。つぎに時間計測部７は、時間Ａと時間Ｂとによって、今回の復号処理時間ｍ＝Ｂ−Ａを算出するとともに（Ｓ２４）、今回までの復号処理時間ｍの最大値Ｍａｘを算出し、さらに保持する（Ｓ２５）。時間計測部７は、つづいて、時間Ｂとともに、処理遅延Ｚをタイミング制御部１０へ通知する（Ｓ２６）。処理遅延Ｚは、後述するようにステップＴ２の時点では、すでに算出され保持されている（図８；Ｓ３１）。

図７のステップＳ８が終了すると、タイミング制御部１０は、タイムスタンプＰ、および時間計測部７から通知された時間Ｂと処理遅延Ｚから、出力処理開始時間ｔ２を算出し、この出力処理開始時間ｔ２をタイマーにセットする（Ｓ９）。その後、タイミング制御部１０の処理はステップＳ７に戻る。

タイミング制御部１０は、ステップＳ７の待機中に出力処理開始時間ｔ２が到来すると（すなわち、タイマー割り込みが発生すると）、出力処理開始通知７３を時間計測部７へ伝える（Ｓ１１）とともに、出力処理開始指示６１を画像出力部６へ伝える（Ｓ１２）。これにより、画像出力部６は出力処理６０を開始する。その後、処理はステップＳ１へ戻る。一方、図８が示すように、時間計測部７は出力処理開始通知７３を受け取ると、ステップＴ１１の処理を行う。すなわち、時間計測部７は、出力処理開始通知７３を受信した時間Ｃを、自身が持つ時計により抽出し、さらに保持する（Ｓ２７）。

タイミング制御部１０は、ステップＳ７（図７）の待機中に画像出力部６から送られる出力処理完了通知６２を受け取ると、出力処理完了通知７４を時間計測部７へ伝える（Ｓ１０）。その後、タイミング制御部１０の処理はステップＳ７へ戻る。図８が示すように、時間計測部７は出力処理完了通知７４を受け取ると、ステップＴ１０の処理を行う。すなわち時間計測部７は、出力処理完了通知７４を受信した時間Ｄを、自身が持つ時計により抽出し、さらに保持する（Ｓ２８）。

つぎに時間計測部７は、時間Ｃと時間Ｄとによって、今回の出力処理時間ｎ＝Ｄ−Ｃを算出するとともに（Ｓ２９）、すでに算出されている前回までの出力処理時間ｎの平均値Ｎと今回の出力処理時間ｎとの差（ｎ−Ｎ）を算出する（Ｓ３０）。出力処理時間ｎは、処理遅延ｙ（またはＹ）の計測値に相当する。平均値Ｎは、現在を起点として過去へ遡ったある個数のフレームに関する出力処理時間ｎの平均値、すなわち一種の移動平均値である。例えば、直前に出力処理６０が終了したフレームがｋ番目のフレームであるとすれば、ｋ−Ｋ番目、ｋ−Ｋ＋１番目、ｋ−Ｋ＋２番目、・・・、およびｋ番目のフレームについての出力処理時間ｎの平均値が平均値Ｎへ付与される。ここで、Ｋは整数であって１≦Ｋである。整数Ｋは任意に定めることができる。

時間計測部７は、つづいて、ステップＳ３０で算出した差（ｎ−Ｎ）にもとづいて、処理遅延Ｚを更新する（Ｓ３１）。更新は、例えばつぎの（ｉ）〜（ｉｉｉ）のいずれかによって行われる。

（ｉ）差（ｎ−Ｎ）を平均値Ｎに加算した値、すなわちＮ＋（ｎ−Ｎ）＝ｎを新たな処理遅延Ｚとする。この場合には、今回の出力処理時間ｎそのものが新たな処理遅延Ｚとなるので、ステップＳ３０の処理は省いても良い。

（ｉｉ）差（ｎ−Ｎ）のある割合ｑ（０＜ｑ＜１）を乗じたｑ・（ｎ−Ｎ）を平均値Ｎに加算した値、すなわち、Ｎ＋ｑ・（ｎ−Ｎ）を新たな処理遅延Ｚとする。言い換えると、新たな処理遅延Ｚは、Ｚ＝（１−ｑ）・Ｎ＋ｑ・ｎであり、出力処理時間ｎと平均値Ｎとをｑ：（１−ｑ）の比率で混合した値（加重平均）となる。割合ｑは、例えば予め定められた値であり、例えば図示しないメモリに予め記憶される。上記（ｉ）は、この数式においてｑ＝１の場合に相当し、以下に述べる（ｉｉｉ）は、ｑ＝０の場合に該当する。

（ｉｉｉ）平均値Ｎを新たな処理遅延Ｚとする。

上記（ｉ）では、演算が簡素であるという利点に加えて、現実の処理遅延ｙ（またはＹ）の変動があった場合に、これに素早く追随して処理遅延ｙを補償する出力処理開始時間ｔ２を設定できるという利点がある。一方、上記（ｉｉ）及び（ｉｉｉ）では、処理遅延Ｚに平均値Ｎが反映されるので、一時的な処理遅延ｙの変動に過敏に追随することにより、予測値としての処理遅延Ｚが、望ましい値から却ってずれてしまうことを防止することができる。

より詳細に（ｉ）〜（ｉｉｉ）について追随の早さを比較すると、（ｉ）が最も追随が早く、（ｉｉｉ）が最も遅くなる。（ｉｉ）は、それらの中間の早さとなる。また、（ｉｉ）及び（ｉｉｉ）において、平均値Ｎのもとになる現在及び過去の処理時間ｎの個数（Ｋ＋１）が大きいほど追随が遅くなる。追随が早いほど、遅延時間ｙ（またはＹ）の変動があっても、出力処理を開始する時間ｔ３のタイムスタンプＰからの一時的なずれが小さく、かつより早急にずれが解消されるという利点が得られる。一方、追随が遅いほど、一時的な処理遅延ｙ（またはＹ）の変動に起因して不必要に処理遅延Ｚが変動するのを防ぎ、時間ｔ３のタイムスタンプＰからの不用意なずれを抑えることができるという利点が得られる。

時間計測部７は、ステップＳ３１において、今回の出力処理時間ｎがある範囲を超えた場合にのみ、上記（ｉｉ）又は（ｉｉｉ）に基づいて処理遅延Ｚを更新することも可能である。例えば、時間計測部７は、ステップＳ３１において、ある基準値ｒ（０＜ｒ）に対して、閾値Ｚ１＝（１−ｑ）・（Ｎ＋ｒ）＋ｑ・ｎ及び閾値Ｚ２＝（１−ｑ）・（Ｎ−ｒ）＋ｑ・ｎを算出し、今回の出力処理時間ｎが、ｎ≧Ｚ１又はｎ≦Ｚ２の何れかである場合に限り、処理遅延ＺをＺ＝（１−ｑ）・Ｎ＋ｑ・ｎで更新してもよい。ここで、割合ｑは、０≦ｑ＜１の範囲の値であり、例えば予め定められている。また、基準値ｒは、例えば予め適度な値に定めれられた値であり、例えば図示しないメモリに予め記憶されている。このように、更新を行うための条件を付加することにより、予測値としての処理遅延Ｚが一時的な処理遅延ｙの変動へ過敏に追随することを効果的に抑制することができる。

ステップＳ３１の後、時間計測部７は、今回のものを含めた出力処理時間ｎの平均値Ｎを算出し、保持する（Ｓ３２）。

図１０は、動作モードが通常モードから省電力モードへ移行する前後における装置各部の動作を示すタイミングチャートである。また図１１は、動作モードが省電力モードへ移行した後における装置各部の動作を示すタイミングチャートである。上記のように、時間計測部７は、復号処理時間ｍを計測する（Ｓ２４）とともに出力処理時間ｎを計測し（Ｓ２９）、出力処理時間ｎから処理遅延Ｚを算出する（Ｓ３１）。図１０に例示する時間ｔｓで動作モードが通常モードから省電力モードへ移行すると、画像復号化部４による処理時間である復号処理時間ｍは、ｋ＋２番目のフレームに対する処理から延び、画像出力部６による処理時間である出力処理時間ｎは、ｋ＋１番目のフレームに対する処理から延びることとなる。図１０には、各処理時間の増加分が描かれている。

タイミング制御部１０がｋ＋１番目のフレームの出力開始指示６１を画像出力部６へ伝える時間は、タイムスタンプＰと、ｋ＋１番目のフレームに対する復号処理完了通知４２を送った時間Ｂと、ｋ番目のフレームおよびそれ以前のフレームに対する出力処理時間ｎにもとづいて算出された処理遅延Ｚとにもとづいて決定されるので（図７のＳ９）、ｋ＋１番目のフレームに対する出力処理時間ｎの増加により、ｋ＋１番目のフレームの出力開始６３が遅延することとなる。

しかしながら、ｋ＋１番目のフレームに対する出力処理時間ｎの増加は、その後に行われるステップＳ３１（図８）による処理遅延Ｚの更新により、新たな処理遅延Ｚの値に反映される。時間計測部７は、その後の最初にタイミング制御部１０から送られるｋ＋２番目のフレームに対する復号処理完了通知４２（図７のＳ８）を契機として、更新された処理遅延Ｚをタイミング制御部１０へ通知する（図８のＳ２６）。タイミング制御部１０は、タイムスタンプＰと、ｋ＋２番目のフレームに対する復号処理完了通知４２を送った時間Ｂと、更新された処理遅延Ｚとにもとづいてｋ＋２番目のフレームの出力処理開始指示６１を画像出力部６へ伝える時間ｔ２を決定する（図７のＳ９）。したがって、処理遅延Ｚが更新により長くなった分だけ、出力処理開始指示６１を伝える時間ｔ２が早まる。それにより、ｋ＋２番目のフレームの出力開始６３の時間ｔ３（≒出力処理完了通知７４を伝える時間Ｄ）は、タイムスタンプＰに追随することとなる。

上記（ｉｉ）又は（ｉｉｉ）の要領で処理遅延Ｚの更新を行う場合には、ｋ＋１番目のフレームに対する出力処理時間ｎの増加分のすべてが処理遅延Ｚに反映されるわけではない。したがって、ｋ＋２番目のフレームの出力開始６３の時間Ｄは、タイムスタンプＰに接近はしても一致しない場合がある。しかしながら、ｋ＋３番目，ｋ＋４番目、・・・と後のフレームへ処理対象が進むほど、平均値Ｎが省電力モードにおける処理遅延Ｙに収束するので、出力開始６３の時間ｔ３はタイムスタンプＰへ収束する。特に上記（ｉｉ）の場合には、処理遅延Ｚは、平均値Ｎにｑ・（ｎ−Ｎ）を加算した値となるので、出力開始６３の時間ｔ３はタイムスタンプＰへより速やかに収束する。更に、基準値ｒを用いて処理遅延Ｚの更新を行うか否かを判断する場合には、基準値ｒは、通常モードにおける処理遅延ｙと省電力モードにおける処理遅延Ｙとの差（Ｙ−ｙ）が（１−ｑ）・ｒを十分に超えるように設定すると良い。

図示を略するが、動作モードが省電力モードから通常モードへ復帰した場合には、処理遅延Ｚが短縮されるように更新され（図８のＳ３１）、現実の処理遅延Ｙがｙへと短くなった分を補償するように出力処理開始指示６１の時間ｔ２が遅れるので、上記と同様に出力開始６３の時間ｔ３はタイムスタンプＰに追随することとなる。

このように、本実施の形態の音声画像復号再生装置１００は、クロックの速度を変更する等のソフトウェアの動作環境を変化させる機能が組み込まれた場合においても、処理遅延ｙ（またはＹ）を補償して出力開始６３の時間ｔ３をタイムスタンプＰに自己適合的に追随させる。また、処理遅延Ｚが自己適合的に現実の処理遅延ｙ（またはＹ）へ追随するので、処理遅延Ｚの初期値として、任意の値を付与することができる。すなわち、ソフトウェアの動作環境が変化しない場合であっても、ソフトウェアを装置のメモリに書き込む際、あるいはソフトウェアが書き込まれたメモリを装置に搭載する際に、処理遅延Ｚに対するチューニング作業を必要としない。

（ステップＳ１３の処理）
ここで、図７に示したステップＳ１３の処理について、さらに詳述する。図１２は、対比のために図７のステップＳ４、Ｓ５およびＳ１３がないと仮定した場合の各部の動作を示すタイミングチャートである。ｋ番目のフレームに関しては、その復号処理４０が終了した時間Ｂ（時間Ｂは正しくは復号処理完了通知７２を時間計測部７が受け取った時間であるが、その差は微小であるため時間Ｂで表す）の後に出力処理６０を開始すべき時間ｔ２が到来するので、出力処理が順調に行われる。しかし、ｋ＋１番目のフレームに関しては、その復号処理４０が終了した時間Ｂにおいて、すでに出力処理６０を開始すべき時間ｔ２が経過している。したがって、復号化後のｋ＋１番目のフレームは、出力処理６０および出力８０の対象とはされない。

つづくｋ＋２番目のフレームについても、その復号処理４０が終了した時間Ｂにおいて、すでに出力処理６０を開始すべき時間ｔ２が経過しているものとすると、復号化後のｋ＋２番目のフレームも、出力処理６０および出力８０の対象とはされない。その結果、ｋ＋１番目のフレームに引き続き、ｋ＋２番目のフレームも出力されないままとなる。このように、復号処理４０の終了時間Ｂと出力処理６０を開始すべき時間ｔ２との前後関係が本来の順序から逆転するフレームがつづくと、復号化されたフレームの画像データがその期間にわたって出力されず、画像表示器１９に表示されないという不都合が生じる。復号処理４０の終了時間Ｂと出力処理６０を開始すべき時間ｔ２とが逆転する事態は、復号処理４０の対象とされるフレームのデータ量が異常に大きい場合に、希に発生する現象である。

図１３は、図７のステップＳ４，Ｓ５およびＳ１３がある場合の装置各部の動作を示すタイミングチャートである。タイミング制御部１０は、ｋ番目のフレームの出力処理開始通知７３を時間計測部７へ伝え、出力処理開始指示６１を画像出力部６へ伝えた（図７のＳ１１およびＳ１２）後に、時間計測部７に復号処理開始通知７１を伝える（図７のＳ２）。ステップＳ２で復号処理開始通知７１が時間計測部７へ伝えられる時間Ａと、ステップＳ６で復号処理開始指示４１が画像復号化部４へ伝えられる時間との間には、微小な期間９０があって（期間９０は微小であるため、図５、図９〜図１２では、復号処理開始通知７１と復号処理開始指示４１とは同時として描いている）、この微小期間９０にステップＳ３〜Ｓ５の処理が行われる。ステップＳ５の判定において、出力処理開始時間≦復号処理完了予測時間、であれば、タイミング制御部１０の指示により、データ転送部９は画像復号化部４に圧縮画像データを新たに転送する。これにより、画像復号化部４は、予定されていたｋ＋１番目のフレームの代わりに、１フレームをスキップして、ｋ＋２番目のフレームを復号処理４０の対象とする。ｋ＋２番目のフレームの復号処理４０が行われている期間に、ｋ番目のフレームの出力処理６０および出力８０が行われる。

ｋ＋２番目のフレームの復号処理４０が完了すると、復号処理完了通知４２が画像復号化部４からタイミング制御部１０へ送られる（図７のＳ８）。タイミング制御部１０は、復号処理が完了したフレーム、すなわちｋ＋２番目のフレームについてのタイムスタンプＰ、ｋ＋２番目のフレームの復号処理完了通知７２がなされた時間Ｂ、および処理遅延Ｚから、出力処理開始時間ｔ２を算出し、この出力処理開始時間ｔ２をタイマーにセットする（Ｓ９）。その後、タイミング制御部１０はタイマーが告知する出力処理開始時間ｔ２の到来を待つ（Ｓ７）。その後、出力処理開始時間ｔ２が到来すると、タイミング制御部１０は、出力処理開始通知７３を時間計測部７へ伝える（Ｓ１１）とともに、出力処理開始指示６１を画像出力部６へ伝える（Ｓ１２）。その結果、出力８０の対象として、ｋ番目のフレームの後に、１フレームをスキップして、ｋ＋２番目のフレームが出力される。

ｋ＋２番目のフレームにつづくｋ＋３番目のフレームについて、ステップＳ７（図７）の判定が、出力処理開始時間≦復号処理完了予測時間、であれば、同様にして、ｋ＋２番目のフレームの後には１フレームを置いてｋ＋４番目のフレームが復号処理４０、出力処理６０および出力８０の対象となる。このように、音声画像復号再生装置１００は、復号処理４０の終了時間Ｂと出力処理６０を開始すべき時間ｔ２とが逆転する現象を事前に予測し、１フレームをスキップして復号処理４０等の処理を行うので、逆転現象が複数のフレームについて連続して発生した場合においても、１フレームおきに復号処理４０等が行われる。それにり、画像表示器１７に表示される画像が止まってしまうという不都合が解消される。

（変形例）
（１）上記の実施形態による複合再生装置は、フレーム毎に復号化、出力等の処理を行ったが、本発明の複合再生装置は、フレーム毎に限らず、フィールド毎、複数フレーム毎、その他何らかのデータ単位毎に処理を行うことも可能である。

（２）本発明は、圧縮音声画像データ２０が入力される音声画像復号再生装置のみでなく、タイムスタンプをデータの一部として含む圧縮音声データのみが入力される音声再生装置、およびタイムスタンプをデータの一部として含む圧縮画像データのみが入力される画像再生装置へも適用可能である。

本発明によれば、処理遅延に変動があっても、出力される音声および／または画像への違和感等の影響を抑えることができる。また、処理遅延の予測値の初期値に対するチューニング作業を要することなく処理遅延の影響を抑えることができる。

本発明の実施の形態による復号再生装置のブロック図である。 図１のＣＰＵの内部構成をも展開した復号再生装置のブロック図である。 図１のタイミング制御部、画像復号化部および画像出力部の動作を示すタイミングチャートである。 図１の画像出力部における処理遅延の構成要素を示す説明図である。 省電力モードにおける図１のタイミング制御部、画像復号化部および画像出力部の動作を示すタイミングチャートである。 通常モードから省電力モードへの遷移の図１の画像出力部における処理遅延の各構成要素への影響を示す説明図である。 図２のタイミング制御部による処理の手順を示すフローチャートである。 図１の時間計測部による処理の手順を示すフローチャートである。 図１の装置各部の動作を示すタイミングチャートである。 動作モードが通常モードから省電力モードへ移行する前後における図１の装置各部の動作を示すタイミングチャートである。 動作モードが省電力モードへ移行した後における図１の装置各部の動作を示すタイミングチャートである。 図１の各部の動作を示す図１３と対比すべき参照図としてのタイミングチャートである。 復号処理すべきフレームのデータ量が過大である場合の図１の装置各部の動作を示すタイミングチャートである。

符号の説明

３ 音声復号化部（復号化手段）
４ 画像復号化部（復号化手段）
５ 音声出力部（出力手段）
６ 画像出力部（出力手段）
７ 時間計測部（時間計測手段）
１０ タイミング制御部（タイミング制御手段）
２０ 圧縮音声画像データ
４０ 復号処理
６１ 出力処理開始指示
１００ 音声画像復号再生装置（復号再生装置）
ｍ 復号処理時間
Ｍｍａｘ 最大値
Ｎ 平均値
ｔ３，Ｐ 出力開始時間
ｙ，Ｙ 処理遅延
Ｚ 予測値

Claims (7)

1. 音声データと画像データとの少なくとも一方を含み、かつ圧縮符号化されたデータを復号化して出力する復号再生装置であって、
   入力される前記データを、あるデータ単位ごとに復号化する復号化手段と、
   復号化されたデータを前記データ単位ごとに出力する出力手段と、
   前記データ単位毎に付されたタイムスタンプが示す出力開始時間よりも、前記出力手段が前記データ単位の前記データの出力処理を開始した後に当該データの出力が開始されるまでの処理遅延の予測値だけ早く、前記出力処理の開始を前記出力手段へ指示するタイミング制御手段と、
   前記処理遅延を計測するとともに、計測した過去の処理遅延にもとづいて処理遅延の前記予測値を算出する時間計測手段と、を備える復号再生装置。
2. 前記時間計測手段は、最新に計測した処理遅延を前記予測値に反映させる請求項１に記載の復号再生装置。
3. 前記時間計測手段は、最新に計測した複数の処理遅延の平均値を算出し、当該平均値を前記予測値に反映させる請求項１または２に記載の復号再生装置。
4. 前記時間計測手段は、最新に計測した処理遅延がある範囲を超えた場合に限り、処理遅延の前記予測値を更新する請求項１ないし３のいずれかに記載の復号再生装置。
5. 前記時間計測手段は、前記復号化手段が前記データ単位ごとに前記データを復号化するのに要する時間である復号処理時間をも計測するとともに、計測した過去の復号処理時間の最大値を算出し、
   前記タイミング制御手段は、前記復号処理時間として前記最大値を要するとしたならば前記出力処理の開始を指示すべき時間より前に前記復号処理が終了しないと予測される場合に、前記復号化手段に、１データ単位をスキップしてつぎのデータ単位の前記データを復号化させる請求項１ないし４のいずれかに記載の復号再生装置。
6. 音声データと画像データとの少なくとも一方を含み、かつ圧縮符号化されたデータを復号化して出力する復号再生装置を、
   入力される前記データを、あるデータ単位ごとに復号化する復号化手段と、
   復号化されたデータを前記データ単位ごとに出力する出力手段と、
   前記データ単位毎に付されたタイムスタンプが示す出力開始時間よりも、前記出力手段が前記データ単位の前記データの出力処理を開始した後に当該データの出力が開始されるまでの処理遅延の予測値だけ早く、前記出力処理の開始を前記出力手段へ指示するタイミング制御手段と、
   前記処理遅延を計測するとともに、計測した過去の処理遅延にもとづいて処理遅延の前記予測値を算出する時間計測手段として機能させる復号再生用プログラム。
7. 音声データと画像データとの少なくとも一方を含み、かつ圧縮符号化されたデータを復号化して出力する復号再生方法であって、
   入力される前記データを、あるデータ単位ごとに復号化する復号化工程と、
   復号化されたデータを前記データ単位ごとに出力する出力工程と、
   前記データ単位毎に付されたタイムスタンプが示す出力開始時間よりも、前記出力工程が前記データ単位の前記データの出力処理を開始した後に当該データの出力が開始されるまでの処理遅延の予測値だけ早く、前記出力処理を開始するよう前記出力工程の時期を指示するタイミング制御工程と、
   前記処理遅延を計測するとともに、計測した過去の処理遅延にもとづいて処理遅延の前記予測値を算出する時間計測工程と、を備える復号再生方法。

Images