JP2005033732A

JP2005033732A - 信号処理装置、信号処理方法、プログラム、及び記録媒体

Info

Publication number: JP2005033732A
Application number: JP2003273661A
Authority: JP
Inventors: Toshihiko Tsukuma; 利彦津熊; Takashi Katayama; 崇片山
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-07-11
Filing date: 2003-07-11
Publication date: 2005-02-03

Abstract

【課題】高速再生中の再生速度を、音切れが起きないようにストリームに応じて動的に調整する。
【解決手段】オーディオストリームバッファ３はオーディオ信号を、ビデオストリームバッファ４はビデオ信号を一時的に蓄積する。制御手段６が高速再生を指示すると、オーディオプロセッサ７はＡｓフレーム分のスキップとＡｐフレーム分のデコードを繰り返してオーディオ出力信号に変換し、ビデオプロセッサ８は所定倍率のビデオ出力信号に変換し、オーディオスキップ制御手段５は、スキップフレーム数Ａｓ及び再生フレーム数Ａｐを、オーディオストリームバッファ３に供給できる残量、オーディオストリームバッファ３の残量、ビデオストリームバッファ４の残量、入力ストリームのビットレート、ビデオの高速再生中のストリーム消費速度、及び入力ストリームの入力転送速度を用いて制御する。
【選択図】図１

Description

本発明は、信号処理装置、及び信号処理方法、プログラム、及び記録媒体に関し、特に、ＡＶ（オーディオ、ビジュアル）機器において、映像の再生速度に合わせて音声の再生速度を制御する信号処理を行う信号処理装置、及び信号処理方法、プログラム、及び記録媒体に関するものである。

近年、ＤＶＤ等のように、ビデオデータとオーディオデータが圧縮されたメディアを再生するシステムが急増している。これらのシステムでは、ビデオ及びオーディオの入力データはパケットに分割されてマルチプレックスされている。このような入力データからビデオデータ（ビデオ信号とも言う）及びオーディオデータ（オーディオ信号とも言う）を分離し、これらのデータをデコードすることによってビデオ及びオーディオを再生する。ここで、デジタルビデオディスクを例にとり、従来技術について述べる。

ビデオデータはＭＰＥＧ２の規格で圧縮されており、Ｉピクチャ、Ｂピクチャ、Ｐピクチャの３種類のピクチャデータから構成されている。ＮＴＳＣ規格において、フィールドストラクチャの場合は各ピクチャが1/60秒、フレームストラクチャの場合は各ピクチャが1/30秒単位で圧縮されて記録されている。

また、ＤＶＤにおけるオーディオ規格の1つとして、ＡＣ―３（Audio Code number 3）や、ＭＰＥＧ―２ＭＣ（Multichannel）などがある。ここでは、オーディオデータが1536オーディオサンプルを１フレームとして構成されており、標本化周波数を48kHzとし、32ms単位で圧縮されて記録されている。

上記のように、オーディオデータやビデオデータを構成する単位時間が異なる場合にこれらのデータを再生するためには、同期を取る必要がある。ＤＶＤでは、ビデオ及びオーディオの出力の同期は、各パケットについているプログラム・タイム・スタンプ（ＰＴＳ）の管理により実行される。即ち、ビデオデータ、オーディオデータの再生タイミングを独立に調整することによって同期が確立される。

このようなシステムにおいて高速再生を行う場合について考える。ビデオを高速再生する手法は、一般に以下の手法が用いられている。
（１−１）；Ｉピクチャのみ再生する（通常再生の約６倍〜７倍）
（１−２）；Ｉ及びＰピクチャのみ再生する（通常再生の約１.５倍〜３倍）
（１−３）；Ｉ及びＰピクチャ、及びＢピクチャの一部のみ再生する（通常再生の約１倍〜１.５倍）

各ピクチャの枚数は、エンコードの方法、ビットレート等によって変化するため、上記（１−１）〜（１−３）の手法では、高速再生時に再生速度が一定倍率にならず、約１.５倍から約７倍くらいの幅を持つ可能性がある。

オーディオの場合、従来より高速再生を実現する手法として、以下の装置を用いる方法が考えられている（例えば、特許文献１参照。）

この装置は、高速再生を指示する制御手段と、オーディオ信号とビデオ信号が多重化された入力信号を処理してオーディオ信号とビデオ信号を出力する入力信号処理手段と、前記入力信号手段の出力するオーディオ信号を一時的に蓄積するオーディオストリームバッファと、前記入力信号手段の出力するビデオ信号を一時的に蓄積するビデオストリームバッファと、前記オーディオストリームバッファからオーディオ信号を取り出して信号処理を行い、オーディオ出力信号を生成するオーディオプロセッサと、前記ビデオストリームバッファからビデオ信号を取り出して信号処理を行い、前記制御手段から高速再生の指示を受けた場合に、ビデオ出力信号を生成するビデオプロセッサと、前記オーディオストリームバッファ及び前記ビデオストリームバッファの状態を監視し、前記オーディオストリームバッファの空き容量が所定量Ａより少なくなったとき、又は前記ビデオストリームバッファの残量が所定値Ｖより少なくなったときに、前記オーディオプロセッサがオーディオ信号の高速再生を行なうようにデータの入出力を制御するバッファコントローラと、を具備することを特徴とする音響信号処理装置である。

この音響信号処理装置によれば、ビデオの高速再生の速度を変えることなく、ビデオの再生速度に合った音切れの少ないオーディオの高速再生を実現することができる。
特開平１１−２２５３０９号公報（第１１頁、第１図）

しかしながら、この手法は、オーディオの高速再生に関して、以下に示す２つの課題を有する。

１）オーディオストリームバッファのサイズが大きくなると、高速再生中にオーディオストリームバッファに残っているオーディオデータのデータ量も多くなるため、ビデオ出力とオーディオ出力の同期状態が大きく変化し、ビデオ出力に対するオーディオ出力の遅れが大きくなる。

２）高速再生によるストリームの消費速度はビデオ信号の高速再生処理方法によって決まるが、ビデオ信号の高速再生処理方法を切り替える手段を持たないため、高速再生によるストリームの消費速度よりもストリームの転送速度が低い場合はオーディオ出力が途切れる。

上記の１）、及び２）、の課題を解決するため、オーディオの場合、従来より高速再生を実現する手法として、以下の装置を用いる方法が考えられている。

すなわち、高速再生指示にあわせて再生フレーム数、及びスキップフレーム数を指示する制御手段と、オーディオ信号とビデオ信号が多重化された入力信号を処理してオーディオ信号とビデオ信号を出力する入力信号処理手段と、前記入力信号処理手段の出力するオーディオ信号を一時的に蓄積するオーディオストリームバッファと、前記入力信号処理手段の出力するビデオ信号を一時的に蓄積するビデオストリームバッファと、前記オーディオストリームバッファからオーディオ信号を取り出して信号処理を行い、オーディオ出力信号を生成するオーディオプロセッサと、前記ビデオストリームバッファからビデオ信号を取り出して信号処理を行い、前記制御手段から高速再生の指示を受けた場合に、ビデオ信号を高速再生してビデオ出力信号を生成するビデオプロセッサと、前記オーディオストリームバッファ及び前記ビデオストリームバッファの状態を監視し、前記オーディオストリームバッファに供給できる残量が所定値Ａｅより少なくなったとき、又は、前記オーディオストリームバッファの残量が所定量Ａｒより多くなったとき、又は前記ビデオストリームバッファの残量が所定値Ｖより少なくなったときに、前記オーディオプロセッサがオーディオ信号の高速再生を行なうようにデータの入出力を制御するオーディオスキップ制御手段と、を具備することを特徴とする信号処理装置である。

この従来装置は、オーディオストリームバッファの空き容量が少ない場合や、オーディオストリームバッファの残量が多い場合や、ビデオストリームバッファの残量は少ないがオーディオストリームバッファの残量が多くビデオストリームバッファにデータを供給しようとしてオーディオストリームバッファのデータがあふれるのを防ぐ場合には、オーディオ信号の高速再生を行ない、それ以外は通常再生を行うことで、オーディオバッファに残量がなくなり、音切れが生じるのを抑えるようにしている。

しかしながら、この手法は、オーディオの高速再生に関して、以下に示す課題を有している。

３）高速再生中の速さの倍率は、一般に、高速再生倍率が最も遅いストリームと同じ倍率に設定されるため、大半のストリームがこの設定による速さよりも速く再生できるにもかかわらず、最も遅い倍率のストリームの再生速度で再生されてしまう。

本発明は、このような課題に鑑みてなされたものであって、信号処理が簡単であり、ビデオの再生速度に合わせてオーディオの高速再生を行い、高速再生速度をストリームの高速再生可能な最大の速さに設定することが可能な信号処理装置、信号処理方法、プログラム、及び記録媒体を提供することを目的としている。

上記の課題を解決するため、本願の請求項１にかかる信号処理装置は、オーディオ・ビジュアル機器における、映像の再生速度に合わせて音声の再生速度を制御する信号処理装置において、再生速度、及び転送レートを指示する制御手段と、オーディオ信号とビデオ信号とが多重化された入力信号を処理して、オーディオ信号およびビデオ信号を出力する入力信号処理手段と、前記入力信号処理手段より出力されたオーディオ信号を一時的に蓄積するオーディオストリームバッファと、前記入力信号処理手段より出力されたビデオ信号を一時的に蓄積するビデオストリームバッファと、前記オーディオストリームバッファからオーディオ信号を取り出して信号処理を行い、前記制御手段から高速再生の指示を受けたとき、オーディオ信号に対し、オーディオの処理単位であるフレーム単位でスキップと、信号処理とを繰り返すことで高速再生を行って、オーディオ出力信号を生成するオーディオプロセッサと、前記ビデオストリームバッファからビデオ信号を取り出して信号処理を行い、前記制御手段から高速再生の指示を受けたとき、ビデオ信号を高速再生してビデオ出力信号を生成するビデオプロセッサと、前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を監視し、前記オーディオストリームバッファに供給できる残量が所定値Ａｅより少なくなったとき、又は前記オーディオストリームバッファの残量が所定量Ａｒより多くなったとき、又は前記ビデオストリームバッファの残量Ｖが所定値より少なくなったときに、前記オーディオプロセッサへのデータの入出力を制御して、該オーディオプロセッサをしてオーディオ信号の高速再生を行なわせるオーディオスキップ制御手段と、を備え、前記オーディオプロセッサは、オーディオ信号に対し、オーディオの処理単位であるフレーム単位でＡｓフレーム分のスキップとＡｐフレーム分の信号処理とを繰り返すことで高速再生を行って、オーディオ出力信号を生成し、前記オーディオスキップ制御手段は、前記スキップフレーム数Ａｓ、及び前記再生フレーム数Ａｐを、前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を用いて決定する、ことを特徴とするものである。

本願の請求項２にかかる信号処理装置は、請求項１に記載の信号処理装置において、前記オーディオスキップ制御手段は、前記スキップフレーム数Ａｓ、及び前記再生フレーム数Ａｐを、ストリームのビットレートＲｂ、ビデオの高速再生中のストリーム消費速度Ｒｃ、及びストリームの入力転送速度Ｒｔの少なくともいずれか１つを用いて動的に決定する、ことを特徴とするものである。

本願の請求項３にかかる信号処理装置は、請求項１に記載の信号処理装置において、前記オーディオスキップ制御手段は、前記再生フレーム数Ａｐを、前記オーディオストリームバッファの残量が所定値Ａｒより小さくならないように決定し、前記所定値Ａｒを、ストリームのビットレートＲｂ、ビデオの高速再生中のストリーム消費速度Ｒｃ、及びストリームの入力転送速度Ｒｔの少なくともいずれか１つを用いて決定する、ことを特徴とする。

本願の請求項４にかかる信号処理方法は、オーディオ・ビジュアル機器における、映像の再生速度に合わせて音声の再生速度を制御する信号処理方法において、再生速度、及び転送レートを指示する指示ステップと、オーディオ信号とビデオ信号とが多重化された入力信号を処理して、オーディオ信号およびビデオ信号を出力する入力信号処理ステップと、前記入力信号処理ステップより出力されたオーディオ信号を一時的にオーディオストリームバッファに蓄積するオーディオバッファ蓄積ステップと、前記入力信号処理ステップより出力されたビデオ信号を一時的にビデオストリームバッファに蓄積するビデオバッファ蓄積ステップと、前記オーディオストリームバッファからオーディオ信号を取り出して信号処理を行い、前記指示ステップから高速再生の指示を受けたとき、オーディオ信号を高速再生してオーディオ出力信号を生成するオーディオ出力信号生成ステップと、前記ビデオストリームバッファからビデオ信号を取り出して信号処理を行い、前記指示ステップから高速再生の指示を受けたとき、ビデオ信号を高速再生してビデオ出力信号を生成するビデオ出力信号生成ステップと、前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を監視し、前記オーディオストリームバッファに供給できる残量が所定値Ａｅより少なくなったとき、又は、前記オーディオストリームバッファの残量が所定量Ａｒより多くなったとき、又は前記ビデオストリームバッファの残量が所定値Ｖより少なくなったときに、前記オーディオプロセッサがオーディオ信号の高速再生を行なうようにデータの入出力を制御するデータ入出力制御ステップと、を含み、前記オーディオ出力信号生成ステップは、オーディオ信号に対し、オーディオの処理単位であるフレーム単位でＡｓフレーム分のスキップとＡｐフレーム分の信号処理とを繰り返すことで高速再生を行って、オーディオ出力信号を生成し、前記データ入出力制御ステップは、前記スキップフレーム数Ａｓ、及び前記再生フレーム数Ａｐを、前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を用いて決定する、ことを特徴とするものである。

本願の請求項５にかかるプログラムは、オーディオ・ビジュアル機器における、映像の再生速度に合わせて音声の再生速度を制御する信号処理をコンピュータに実行させるためのプログラムにおいて、前記信号処理は、再生速度、及び転送レートを指示する指示ステップと、オーディオ信号とビデオ信号とが多重化された入力信号を処理して、オーディオ信号およびビデオ信号を出力する入力信号処理ステップと、前記入力信号処理ステップより出力されたオーディオ信号を一時的にオーディオストリームバッファに蓄積するオーディオバッファ蓄積ステップと、前記入力信号処理ステップより出力されたビデオ信号を一時的にビデオストリームバッファに蓄積するビデオバッファ蓄積ステップと、前記オーディオストリームバッファからオーディオ信号を取り出して信号処理を行い、前記指示ステップから高速再生の指示を受けたとき、オーディオ信号を高速再生してオーディオ出力信号を生成するオーディオ出力信号生成ステップと、前記ビデオストリームバッファからビデオ信号を取り出して信号処理を行い、前記指示ステップから高速再生の指示を受けたとき、ビデオ信号を高速再生してビデオ出力信号を生成するビデオ出力信号生成ステップと、前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を監視し、前記オーディオストリームバッファに供給できる残量が所定値Ａｅより少なくなったとき、又は、前記オーディオストリームバッファの残量が所定量Ａｒより多くなったとき、又は前記ビデオストリームバッファの残量が所定値Ｖより少なくなったときに、前記オーディオプロセッサがオーディオ信号の高速再生を行なうようにデータの入出力を制御するデータ入出力制御ステップと、を含み、前記オーディオ出力信号生成ステップは、オーディオ信号に対し、オーディオの処理単位であるフレーム単位でＡｓフレーム分のスキップとＡｐフレーム分の信号処理とを繰り返すことで高速再生を行って、オーディオ出力信号を生成し、前記データ入出力制御ステップは、前記スキップフレーム数Ａｓ、及び前記再生フレーム数Ａｐを、前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を用いて決定する、ことを特徴とするものである。

本願の請求項６にかかる記録媒体は、オーディオ・ビジュアル機器において、映像の再生速度に合わせて音声の再生速度を制御する信号処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記信号処理は、再生速度、及び転送レートを指示する指示ステップと、オーディオ信号とビデオ信号とが多重化された入力信号を処理して、オーディオ信号およびビデオ信号を出力する入力信号処理ステップと、前記入力信号処理ステップより出力されたオーディオ信号を一時的にオーディオストリームバッファに蓄積するオーディオバッファ蓄積ステップと、前記入力信号処理ステップより出力されたビデオ信号を一時的にビデオストリームバッファに蓄積するビデオバッファ蓄積ステップと、前記オーディオストリームバッファからオーディオ信号を取り出して信号処理を行い、前記指示ステップから高速再生の指示を受けたとき、オーディオ信号を高速再生してオーディオ出力信号を生成するオーディオ出力信号生成ステップと、前記ビデオストリームバッファからビデオ信号を取り出して信号処理を行い、前記指示ステップから高速再生の指示を受けたとき、ビデオ信号を高速再生してビデオ出力信号を生成するビデオ出力信号生成ステップと、前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を監視し、前記オーディオストリームバッファに供給できる残量が所定値Ａｅより少なくなったとき、又は、前記オーディオストリームバッファの残量が所定量Ａｒより多くなったとき、又は前記ビデオストリームバッファの残量が所定値Ｖより少なくなったときに、前記オーディオプロセッサがオーディオ信号の高速再生を行なうようにデータの入出力を制御するデータ入出力制御ステップと、を含み、前記オーディオ出力信号生成ステップは、オーディオ信号に対し、オーディオの処理単位であるフレーム単位でＡｓフレーム分のスキップとＡｐフレーム分の信号処理とを繰り返すことで高速再生を行って、オーディオ出力信号を生成し、前記データ入出力制御ステップは、前記スキップフレーム数Ａｓ、及び前記再生フレーム数Ａｐを、前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を用いて決定する、ことを特徴とするものである。

本発明の請求項１にかかる信号処理装置によれば、制御手段で転送レートを指示することにより、高速再生中の再生速度の倍率をストリームの転送レートに合わせることができ、ビデオの再生速度に合わせた音切れの少ないオーディオの高速再生を実現することができるとともに、オーディオスキップ制御手段で、転送レートを元に、オーディオデータをスキップさせるサイズと、その頻度を変化させることにより、高速再生中のオーディオの高速再生速度を、ストリームの転送レートに合わせて自動的に変化させることができる。

また、請求項２にかかる信号処理装置によれば、オーディオスキップ制御手段で、転送レートを元に、オーディオデータをスキップさせるサイズと、その頻度を変化させることにより、高速再生中のオーディオの高速再生速度を、ストリームの転送レートに合わせて自動的に変化させることができる。

また、請求項３にかかる信号処理装置によれば、オーディオスキップ制御手段で、転送レートを元に、オーディオデータをスキップさせるサイズと、その頻度を変化させることにより、高速再生中のオーディオの高速再生速度を、ストリームの転送レートに合わせて自動的に変化させることができる。

また、請求項４にかかる信号処理方法によれば、転送レートを指示することにより、高速再生中の再生速度の倍率をストリームの転送レートに合わせることができ、ビデオの再生速度に合わせた音切れの少ないオーディオの高速再生を実現することができる。

また、請求項５にかかるプログラムによれば、転送レートを指示することにより、高速再生中の再生速度の倍率をストリームの転送レートに合わせることができ、ビデオの再生速度に合わせた音切れの少ないオーディオの高速再生を実現することができる。

また、請求項６にかかるコンピュータ読み取り可能な記録媒体によれば、高速再生中の再生速度の倍率をストリームの転送レートに合わせることができ、ビデオの再生速度に合わせた音切れの少ないオーディオの高速再生を実現することができる。

（実施の形態１）
以下、本発明の実施の形態における信号処理装置について、図面を参照しながら説明する。
図１は、本実施の形態１による信号処理装置の構成を示すブロック図である。この信号処理装置は、入力信号（ストリーム）処理手段２、オーディオストリームバッファ３、ビデオストリームバッファ４、オーディオスキップ制御手段５、制御手段６、オーディオプロセッサ７、および、ビデオプロセッサ８、を含んで構成される。

入力信号処理手段２に入力される入力ストリーム１は、ＤＶＤの出力データ、又はこれと同等のデータである。即ち、入力ストリームデータは、ビデオ信号及びオーディオ信号が圧縮されてマルチプレックスされたデータである。
本発明の実施の形態１では、説明の簡略化のため、入力ストリーム１をＤＶＤのストリームデータとし、ビデオデータがＭＰＥＧ２に準拠し、オーディオデータがＡＣ−３に準拠するものとして説明する。しかしこの他のストリーム形式でも、同様である。

入力ストリーム１が入力されると、入力信号処理手段２は、入力ストリームから再生すべきビデオデータ、及びオーディオデータを取り出し、ビデオデータをビデオストリームバッファ４に格納し、オーディオデータをオーディオストリームバッファ３に格納する。但し、ビデオストリームバッファ４、及びオーディオストリームバッファ３のいずれかのバッファの空き容量が“０”である場合は、バッファに格納することが出来ないので、入力信号処理手段２はいずれのバッファにもデータを格納しない。このとき、オーディオストリームバッファ３に供給できる残量、オーディオストリームバッファ３の残量、及びビデオストリームバッファ４の残量は、オーディオスキップ制御手段５によって監視される。

通常再生時には、ビデオデータがビデオプロセッサ８に入力されると、ビデオプロセッサ８はデコード処理を行い、ビデオ出力信号１０に変換する。また、オーディオデータがオーディオプロセッサ７に入力されると、オーディオプロセッサ７はデコード処理を行い、オーディオ出力信号９に変換する。

高速再生時には、まずビデオプロセッサ８は制御手段６からの指示に従い、所定倍率の高速再生を行なう。このときのオーディオプロセッサ７は、音のピッチを通常再生時と同一にして、オーディオデータをフレーム単位でスキップすることによりオーディオデータの高速再生を行なう（図２参照）。所定倍率の高速再生は、ＭＰＥＧ２ビデオの場合、以下の手法を用いる。
（１−１）；Ｉピクチャのみ再生する（約６倍〜７倍）
（１−２）；Ｉ及びＰピクチャのみ再生する（約１.５倍〜３倍）
（１−３）；Ｉ及びＰピクチャ、及びＢピクチャの一部のみ再生する（約１倍〜１.５倍）
なお、前記所定倍率の高速再生は、上記（１−１）〜（１−３）以外の高速再生を用いてもよい。

これと同時に、オーディオスキップ制御手段５は、オーディオストリームバッファ３に供給できる残量、オーディオストリームバッファ３の残量、及びビデオストリームバッファ４の残量、を監視し、オーディオストリームバッファ３に供給できる残量、即ちオーディオストリームバッファ３の空き容量が所定量Ａｅより少ない、又はオーディオストリームバッファ３の残量が所定量Ａｒより多い、又はビデオストリームバッファ４の残量が所定量Ｖより少ない場合は、オーディオプロセッサ７に対し、スキップ動作の開始と、再生フレーム数Ａｐ、及びスキップフレーム数Ａｓ、とを指示する。

オーディオプロセッサ７は、オーディオの処理単位であるフレーム単位で、Ａｓフレーム分のスキップ、およびＡｐフレーム分の信号処理、を繰り返すことでオーディオ信号の高速再生を行う。但しオーディオプロセッサ７は、Ａｐフレーム分を再生した後に、オーディオスキップ制御手段５がスキップ動作の開始を指示しているかどうかを確認し、指示している場合は、Ａｓフレーム分スキップし、指示していない場合は、指示されるまで再生を繰り返す。

上記所定値Ｖ、及びＡｅはシステムによって様々に設定が可能であるが、本実施の形態１では、上記所定値Ｖ、及びＡｅが“０”の場合について述べる。もちろん“０”以外の値を用いて制御を行なっても同様である。また、前記所定値Ａｒは、オーディオストリームバッファ３のサイズが大きくなることで、高速再生中のオーディオストリームバッファ３内のデータ量が変化することを防ぐための上限値であり、所定値Ａｒを小さくすると、音切れが発生しやすくなり、所定値Ａｒを大きくすると、オーディオ信号とビデオ信号との同期のずれが大きくなる。従って、オーディオスキップ制御手段５は、ストリームのビットレートＲｂ、ビデオの高速再生中のストリーム消費速度Ｒｃ、及びストリームの入力転送速度Ｒｔのいずれか、の少なくとも１つを用いて、所定値Ａｒとして、音切れが発生しない最低限のデータ量を、動的に決定するようにする。

オーディオプロセッサ７がスキップしてからＡｐフレーム分以上再生した状態で、オーディオストリームバッファ３に供給できる残量が“０”になった場合、又はオーディオストリームバッファ３の残量がＡｒになった場合、又はビデオストリームバッファ４の残量が“０”になった場合は、オーディオデータをフレーム単位でスキップすることによりオーディオの高速再生を行なう。

これを、図３、図４、及び図５を用いて説明を行なう。図３、図４、及び図５は、再生中のオーディストリームバッファ３と、ビデオストリームバッファ４、のデータの残存状態を示す説明図である。これらの図において、データ残量を網点部で示し、空き領域を非網点部で示す。また、状態１は高速再生を行う状態、状態２は通常再生を行う状態を示す。

オーディオプロセッサ７がスキップしてからＡｐフレーム分再生した状態で、オーディオストリームバッファ３に供給できる残量が“０”でなく、オーディオストリームバッファ３の残量が所定値Ａｒより少なく、ビデオストリームバッファ４に供給できる残量が“０”でない場合、図３、図４、及び図５に示す状態２のようになる。

このとき、オーディオストリームバッファ３に供給できる残量、及びビデオストリームバッファ４の残量は、“０”でなく、かつ、オーディオストリームバッファ３の残量は、Ａｒより少ないので、ビデオプロセッサ８によりビデオのみを高速再生する。このビデオの再生速度に合わせて、オーディオストリームがオーディオストリームバッファ３に入力されるため、通常再生しているオーディオデータのデコード量が入力データ量より少なくなる。そのため、やがて図３に示す状態１のように、オーディオストリームバッファ３に供給できる残量が、所定量Ａｅより少なく、例えば“０”になる。又は、図４に示す状態１のように、オーディオストリームバッファ３の残量が、Ａｒより多くなる。又は、図５に示す状態１のように、ビデオストリームバッファ４の残量が“０”になる。

オーディオストリームバッファ３に供給できる残量が“０”、またはビデオストリームバッファ４の残量が“０”、またはオーディオストリームバッファ３の残量が所定値Ａｒより多いのであれば、オーディオスキップ制御手段５は、オーディオプロセッサ７に対し、スキップ動作の開始と、再生フレーム数Ａｐ、及びスキップフレーム数Ａｓ、を指示する。オーディオプロセッサ７は、Ａｓフレーム分を読み飛ばし、Ａｐフレーム分を再生する。その後、再度オーディオスキップ制御手段５がスキップを指示するまで、通常再生を繰り返す。オーディオスキップ制御手段５は、オーディオストリームバッファ３に供給できる残量、オーディオストリームバッファ３の残量、及びビデオストリームバッファ４の残量、の監視を続ける。

この方法により、オーディオスキップ制御手段５で、再生フレーム数を、Ａｐからオーディオストリームバッファ３、及びビデオストリームバッファ４の状態に合わせて調整することができ、音切れの少ないオーディオの高速再生を行うことが出来る。また、再生フレーム数Ａｐの値を変化させることで、オーディオの再生速度を音切れの少ない条件の上で制御することが出来る。

このときのスキップフレーム数Ａｓの値は、高速再生中のオーディオ信号の音質に大きな影響を与えるので、システムに応じて最適な値を決めることが必要である。また、再生フレーム数Ａｐは、スキップフレーム数Ａｓ、ストリームのビットレートＲｂ、ビデオの高速再生中のストリーム消費速度Ｒｃ、及びストリームの入力転送速度Ｒｔ、の値から、例えば以下の式を満たすように導出する。
Ａｐ／（Ａｓ + Ａｐ )＝Ｒｂ／Ｒｔ

上式は、スキップフレーム数Ａｓと再生フレーム数Ａｐとの和と、再生フレーム数Ａｐとの比率を、ストリームの入力転送速度Ｒｔと、ビットレートＲｂとの比率に合わせることを意味している。このようにスキップフレーム数Ａｓ、及び再生フレーム数Ａｐ、の値を導出することにより、ストリームの転送速度にあわせた高速再生速度で、オーディオ出力を途切れることなく高速再生することが出来る。

以上のように、本実施の形態１の信号処理装置によれば、映像の再生速度に合わせて音声の再生速度を制御する信号処理装置において、再生速度、及び転送レートを制御する制御手段と、入力信号処理手段と、オーディオストリームバッファと、ビデオストリームバッファと、オーディオプロセッサと、ビデオプロセッサとを備え、さらに、オーディオストリームバッファ、及びビデオストリームバッファの状態を監視し、オーディオストリームバッファに供給できる残量が所定値Ａｅより少なくなったとき、又はオーディオストリームバッファの残量が所定量Ａｒより多くなったとき、又はビデオストリームバッファの残量が所定値Ｖより少なくなったときに、オーディオプロセッサへのオーディオ信号の入力をスキップ制御するオーディオスキップ制御手段とを備えた構成とするとともに、制御手段から高速再生の指示を受けたとき、オーディオ信号に対し、オーディオの処理単位であるフレーム単位でＡｓフレーム分のスキップとＡｐフレーム分の信号処理を繰り返すことで高速再生を行ってオーディオ出力信号を生成するようにし、さらにこの際の、スキップフレーム数Ａｓ、及び再生フレーム数Ａｐを、オーディオストリームバッファ、及びビデオストリームバッファの状態を用いて決定するようにしたので、高速再生速度が、最も遅いストリームの倍率によって制限されてしまうことがなくなり、ストリームの転送速度にあわせた高速再生速度で、オーディオ出力を途切れることなく、高速再生を行うことが出来る。

（実施の形態２）
次に、本発明の実施の形態２によるプログラム、および記録媒体について説明する。
上述した本発明の実施の形態１における信号処理装置における信号処理方法は、
i) 図１の制御手段６に対応する指示ステップにおいて、再生速度、及び転送レートを指示する。

ii) 入力ストリーム処理手段１に対応する入力信号処理ステップにおいて、オーディオ信号とビデオ信号とが多重化された入力信号を処理して、オーディオ信号およびビデオ信号を出力する。

iii) オーディオバッファ蓄積ステップにおいて、前記入力ストリーム処理手段１から出力されたオーディオ信号を一時的にオーディオストリームバッファ３に蓄積する。

iv) ビデオストリームバッファ蓄積ステップにおいて、前記入力ストリーム処理手段１から出力されたビデオ信号を一時的にビデオストリームバッファ４に蓄積する。

v) オーディオプロセッサ７に対応するオーディオ出力信号生成ステップにおいて、前記オーディオストリームバッファ３からオーディオ信号を取り出して信号処理を行い、前記指示ステップから高速再生の指示を受けたとき、オーディオ信号を高速再生してオーディオ出力信号を生成する。

vi) ビデオプロセッサ８に対応するビデオ出力信号生成ステップにおいて、前記ビデオストリームバッファ４からビデオ信号を取り出して信号処理を行い、前記再生速度、及び転送レートを指示するステップから高速再生の指示を受けたとき、ビデオ信号を高速再生してビデオ出力信号を生成する。

vii) オーディオスキップ制御手段５に対応するデータ入出力制御ステップにおいて、前記オーディオストリームバッファ３、及び前記ビデオストリームバッファ４の状態を監視し、前記オーディオストリームバッファ３に供給できる残量が所定値Ａｅより少なくなったとき、又は、前記オーディオストリームバッファ３の残量が所定量Ａｒより多くなったとき、又は前記ビデオストリームバッファ４の残量が所定値Ｖより少なくなったときに、前記オーディオプロセッサがオーディオ信号の高速再生を行なうようにデータの入出力を制御する、とともに、

viii) 前記オーディオ出力信号生成ステップは、オーディオ信号に対し、オーディオの処理単位であるフレーム単位でＡｓフレーム分のスキップとＡｐフレーム分の信号処理とを繰り返すことで高速再生を行って、オーディオ出力信号を生成し、

ix) 前記データ入出力制御ステップは、前記スキップフレーム数Ａｓ、及び前記再生フレーム数Ａｐを、前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を用いて決定する、
というものである。

この信号処理方法は、プログラムの形式で記録媒体に記録され得る。記録媒体としては、フレキシブルディスクや、ＣＤ−ＲＯＭ等のコンピュータによって読み取り可能な任意のタイプの記録媒体を使用することが出来る。デジタルオーディオ信号、及びアナログオーディオ信号を出力することのできる任意のコンピュータに、記録媒体から読み出された信号処理プログラムをインストールすることにより、そのコンピュータを信号処理装置として機能させることが出来る。この場合の信号処理は、コンピュータに内蔵、または接続される信号処理手段により実行されてもよいし、信号処理の少なくとも一部を、コンピュータがソフトウェア上で実行してもよい。

このような信号処理を実行するコンピュータの１つの実施の形態である実施の形態２を、図６に示す。図６において、コンピュータ１１は、ＣＰＵ１２と、コンピュータ１１に信号処理を実行させるためのプログラムを格納する記録ディスク１５からそのプログラムを読み出すディスクドライブ装置１４と、ディスクドライブ装置１４により読み出されたプログラムを格納するメモリ１３と、ストリーム入力端子１７、ビデオ出力端子１８、及びオーディオ出力端子１９を有する入出力部９４と、バス１６とを備える。コンピュータ１１において、本発明の実施の形態２における信号処理は、ストリーム入力端子１７から送られる入力ストリームに対して、ＣＰＵ１２、およびメモリ１３により実行される。このメモリ１３はハードディスク等でもよい。

なお、このプログラムは、記録ディスク１５等の記録媒体によって提供されてもよいし、インターネット等のデータ配信によって提供されてもよい。

また、入力ストリームも、ＤＶＤディスク、ハードディスク等の記録媒体によって提供されてもよいし、デジタル放送、およびインターネット等のデータ配信によって提供されてもよい。

以上のように、本発明は、オーディオ・ビジュアル機器において、ビデオの高速再生に合わせて音声の高速再生を行う際に、その音切れを抑えつつより高速再生を行うのに用いて好適なものである。

本発明の実施の形態1における信号処理装置の構成図である。本発明の実施の形態1による信号処理装置において、オーディオストリームを読み飛ばす方法を示す説明図である。本発明の実施の形態１による信号処理装置における、オーディオストリームバッファ、及びビデオストリームバッファのデータの残存状態を示す説明図である。本発明の実施の形態１による信号処理装置における、オーディオストリームバッファ、及びビデオストリームバッファの残存状態を示す説明図である。本発明の実施の形態１による信号処理装置における、オーディオストリームバッファ、及びビデオストリームバッファのデータの残存状態を示す説明図である。本発明の実施の形態２による信号処理方法を実行するコンピュータを示す図である。

符号の説明

１入力ストリーム
２入力ストリーム処理手段
３オーディオストリームバッファ
４ビデオストリームバッファ
５オーディオスキップ制御手段
６制御手段
７オーディオプロセッサ
８ビデオプロセッサ
９オーディオ出力信号
１０ビデオ出力信号

Claims

オーディオ・ビジュアル機器における、映像の再生速度に合わせて音声の再生速度を制御する信号処理装置において、
再生速度、及び転送レートを指示する制御手段と、
オーディオ信号とビデオ信号とが多重化された入力信号を処理して、オーディオ信号およびビデオ信号を出力する入力信号処理手段と、
前記入力信号処理手段より出力されたオーディオ信号を一時的に蓄積するオーディオストリームバッファと、
前記入力信号処理手段より出力されたビデオ信号を一時的に蓄積するビデオストリームバッファと、
前記オーディオストリームバッファからオーディオ信号を取り出して信号処理を行い、前記制御手段から高速再生の指示を受けたとき、オーディオ信号に対し、オーディオの処理単位であるフレーム単位でスキップと、信号処理とを繰り返すことで高速再生を行って、オーディオ出力信号を生成するオーディオプロセッサと、
前記ビデオストリームバッファからビデオ信号を取り出して信号処理を行い、前記制御手段から高速再生の指示を受けたとき、ビデオ信号を高速再生してビデオ出力信号を生成するビデオプロセッサと、
前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を監視し、前記オーディオストリームバッファに供給できる残量が所定値Ａｅより少なくなったとき、又は前記オーディオストリームバッファの残量が所定量Ａｒより多くなったとき、又は前記ビデオストリームバッファの残量Ｖが所定値より少なくなったときに、前記オーディオプロセッサへのデータの入出力を制御して、該オーディオプロセッサをしてオーディオ信号の高速再生を行なわせるオーディオスキップ制御手段と、
を備え、
前記オーディオプロセッサは、オーディオ信号に対し、オーディオの処理単位であるフレーム単位でＡｓフレーム分のスキップとＡｐフレーム分の信号処理とを繰り返すことで高速再生を行って、オーディオ出力信号を生成し、
前記オーディオスキップ制御手段は、前記スキップフレーム数Ａｓ、及び前記再生フレーム数Ａｐを、前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を用いて決定する、
ことを特徴とする信号処理装置。
請求項１に記載の信号処理装置において、
前記オーディオスキップ制御手段は、前記スキップフレーム数Ａｓ、及び前記再生フレーム数Ａｐを、ストリームのビットレートＲｂ、ビデオの高速再生中のストリーム消費速度Ｒｃ、及びストリームの入力転送速度Ｒｔの少なくともいずれか１つを用いて動的に決定する、
ことを特徴とする信号処理装置。
請求項１に記載の信号処理装置において、
前記オーディオスキップ制御手段は、前記再生フレーム数Ａｐを、前記オーディオストリームバッファの残量が所定値Ａｒより小さくならないように決定し、前記所定値Ａｒを、ストリームのビットレートＲｂ、ビデオの高速再生中のストリーム消費速度Ｒｃ、及びストリームの入力転送速度Ｒｔの少なくともいずれか１つを用いて決定する、
ことを特徴とする信号処理装置。
オーディオ・ビジュアル機器における、映像の再生速度に合わせて音声の再生速度を制御する信号処理方法において、
再生速度、及び転送レートを指示する指示ステップと、
オーディオ信号とビデオ信号とが多重化された入力信号を処理して、オーディオ信号およびビデオ信号を出力する入力信号処理ステップと、
前記入力信号処理ステップより出力されたオーディオ信号を一時的にオーディオストリームバッファに蓄積するオーディオバッファ蓄積ステップと、
前記入力信号処理ステップより出力されたビデオ信号を一時的にビデオストリームバッファに蓄積するビデオバッファ蓄積ステップと、
前記オーディオストリームバッファからオーディオ信号を取り出して信号処理を行い、前記指示ステップから高速再生の指示を受けたとき、オーディオ信号を高速再生してオーディオ出力信号を生成するオーディオ出力信号生成ステップと、
前記ビデオストリームバッファからビデオ信号を取り出して信号処理を行い、前記指示ステップから高速再生の指示を受けたとき、ビデオ信号を高速再生してビデオ出力信号を生成するビデオ出力信号生成ステップと、
前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を監視し、前記オーディオストリームバッファに供給できる残量が所定値Ａｅより少なくなったとき、又は、前記オーディオストリームバッファの残量が所定量Ａｒより多くなったとき、又は前記ビデオストリームバッファの残量が所定値Ｖより少なくなったときに、前記オーディオプロセッサがオーディオ信号の高速再生を行なうようにデータの入出力を制御するデータ入出力制御ステップと、
を含み、
前記オーディオ出力信号生成ステップは、オーディオ信号に対し、オーディオの処理単位であるフレーム単位でＡｓフレーム分のスキップとＡｐフレーム分の信号処理とを繰り返すことで高速再生を行って、オーディオ出力信号を生成し、
前記データ入出力制御ステップは、前記スキップフレーム数Ａｓ、及び前記再生フレーム数Ａｐを、前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を用いて決定する、
ことを特徴とする信号処理方法。
オーディオ・ビジュアル機器における、映像の再生速度に合わせて音声の再生速度を制御する信号処理をコンピュータに実行させるためのプログラムにおいて、
前記信号処理は、
再生速度、及び転送レートを指示する指示ステップと、
オーディオ信号とビデオ信号とが多重化された入力信号を処理して、オーディオ信号およびビデオ信号を出力する入力信号処理ステップと、
前記入力信号処理ステップより出力されたオーディオ信号を一時的にオーディオストリームバッファに蓄積するオーディオバッファ蓄積ステップと、
前記入力信号処理ステップより出力されたビデオ信号を一時的にビデオストリームバッファに蓄積するビデオバッファ蓄積ステップと、
前記オーディオストリームバッファからオーディオ信号を取り出して信号処理を行い、前記指示ステップから高速再生の指示を受けたとき、オーディオ信号を高速再生してオーディオ出力信号を生成するオーディオ出力信号生成ステップと、
前記ビデオストリームバッファからビデオ信号を取り出して信号処理を行い、前記指示ステップから高速再生の指示を受けたとき、ビデオ信号を高速再生してビデオ出力信号を生成するビデオ出力信号生成ステップと、
前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を監視し、前記オーディオストリームバッファに供給できる残量が所定値Ａｅより少なくなったとき、又は、前記オーディオストリームバッファの残量が所定量Ａｒより多くなったとき、又は前記ビデオストリームバッファの残量が所定値Ｖより少なくなったときに、前記オーディオプロセッサがオーディオ信号の高速再生を行なうようにデータの入出力を制御するデータ入出力制御ステップと、
を含み、
前記オーディオ出力信号生成ステップは、オーディオ信号に対し、オーディオの処理単位であるフレーム単位でＡｓフレーム分のスキップとＡｐフレーム分の信号処理とを繰り返すことで高速再生を行って、オーディオ出力信号を生成し、
前記データ入出力制御ステップは、前記スキップフレーム数Ａｓ、及び前記再生フレーム数Ａｐを、前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を用いて決定する、
ことを特徴とするプログラム。
オーディオ・ビジュアル機器において、映像の再生速度に合わせて音声の再生速度を制御する信号処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記信号処理は、
再生速度、及び転送レートを指示する指示ステップと、
オーディオ信号とビデオ信号とが多重化された入力信号を処理して、オーディオ信号およびビデオ信号を出力する入力信号処理ステップと、
前記入力信号処理ステップより出力されたオーディオ信号を一時的にオーディオストリームバッファに蓄積するオーディオバッファ蓄積ステップと、
前記入力信号処理ステップより出力されたビデオ信号を一時的にビデオストリームバッファに蓄積するビデオバッファ蓄積ステップと、
前記オーディオストリームバッファからオーディオ信号を取り出して信号処理を行い、前記指示ステップから高速再生の指示を受けたとき、オーディオ信号を高速再生してオーディオ出力信号を生成するオーディオ出力信号生成ステップと、
前記ビデオストリームバッファからビデオ信号を取り出して信号処理を行い、前記指示ステップから高速再生の指示を受けたとき、ビデオ信号を高速再生してビデオ出力信号を生成するビデオ出力信号生成ステップと、
前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を監視し、前記オーディオストリームバッファに供給できる残量が所定値Ａｅより少なくなったとき、又は、前記オーディオストリームバッファの残量が所定量Ａｒより多くなったとき、又は前記ビデオストリームバッファの残量が所定値Ｖより少なくなったときに、前記オーディオプロセッサがオーディオ信号の高速再生を行なうようにデータの入出力を制御するデータ入出力制御ステップと、
を含み、
前記オーディオ出力信号生成ステップは、オーディオ信号に対し、オーディオの処理単位であるフレーム単位でＡｓフレーム分のスキップとＡｐフレーム分の信号処理とを繰り返すことで高速再生を行って、オーディオ出力信号を生成し、
前記データ入出力制御ステップは、前記スキップフレーム数Ａｓ、及び前記再生フレーム数Ａｐを、前記オーディオストリームバッファ、及び前記ビデオストリームバッファの状態を用いて決定する、
ことを特徴とする記録媒体。