JP2000032397A - 音声画像同期再生装置 - Google Patents

音声画像同期再生装置

Info

Publication number
JP2000032397A
JP2000032397A JP19200298A JP19200298A JP2000032397A JP 2000032397 A JP2000032397 A JP 2000032397A JP 19200298 A JP19200298 A JP 19200298A JP 19200298 A JP19200298 A JP 19200298A JP 2000032397 A JP2000032397 A JP 2000032397A
Authority
JP
Japan
Prior art keywords
audio
unit
time
image
time information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP19200298A
Other languages
English (en)
Inventor
Shinji Tokunaga
真志 徳永
Koichi Hotta
浩市 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP19200298A priority Critical patent/JP2000032397A/ja
Publication of JP2000032397A publication Critical patent/JP2000032397A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 オーディオデータをビデオと独立に時間基準
に同期させる。 【解決手段】 同期検出部１１３が時間情報抽出部１１
０の出力とタイマー部１０６の出力より同期ずれを検出
し、音声ブロック操作部１１４に音声データをブロック
単位に間引きまたは繰り返すように指示することによっ
て、音声を時間情報に同期させ、音声出力部１１５より
同期した音声を出力する。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、ディジタル符号化され
た音声と画像のストリームを同期再生する音声画像同期
再生装置に関するものである。
【０００２】
【従来の技術】近年、記録メディアや伝送系のディジタ
ル化が進み、画像と音声のストリームに時間情報を付加
して記録・伝送し、再生側で画像と音声を同期再生する
機器が増加している。
【０００３】以下、図２を参照しながら、上述した従来
の音声画像同期再生装置の一例について説明する。
【０００４】図２は、従来の音声画像同期再生装置の構
成を示すブロック図である。
【０００５】図２において、画像ストリーム２０１は入
力部２０３より本再生装置に入力され、復号部２０４で
復号されて画像データ系列となる。それとともに、時間
情報抽出部２０５は、画像ストリーム２０１から画像用
時間情報を抽出し、同期部２０７は、タイマー部２０６
出力の基準時刻と前記画像用時間情報との照合を行い、
その結果に応じて前記画像データ系列を時間軸圧縮伸張
することによって、前記画像データ系列を前記基準時刻
に同期させて、表示部２０８に出力する。
【０００６】画像データ系列（動画）は例えば秒３０コ
マなどの静止画画像フレームの連続であり、１フレーム
程度であれば同じ画像フレームを２度繰り返し表示した
り、間引いてもあまり違和感を感じないため、時間軸圧
縮伸長は、１フレーム以上同期がずれたときに画像フレ
ームの繰り返しや間引きをするのが一般的に行われてい
る。
【０００７】一方、音声ストリーム２０２も画像ストリ
ーム同様、入力部２０９より本再生装置に入力され、復
号部２１１で復号されて音声データ系列となり、音声出
力部２１２で音声として出力される。
【０００８】しかし、音声を画像と同様に時間軸圧縮伸
長すると視聴者に与える違和感が大きいため、音声と画
像との同期は、画像側で行うのが一般的になっている。
すなわち、画像側の同期部２０７に音声側の時間情報抽
出部２１０で抽出された音声用時間情報を入力し、同期
部２０７は、前記音声用時間情報と、前記基準時刻およ
び前記画像用時間情報との照合を行い、その結果に応じ
て前記画像データ系列を時間軸圧縮伸張することによっ
て、前記画像データ系列を前記基準時刻および前記音声
データ系列に同期させている。
【０００９】
【発明が解決しようとする課題】しかしながら、上述し
た従来の音声画像同期再生装置においては、同期をとる
手段が画像再生部のみで音声再生部にないため、基準時
刻と画像データ系列との間の同期ずれと、基準時刻と音
声データ系列との間の同期ずれが異なっている場合、す
べての同期を正確なものにすることができないという課
題を有している。
【００１０】また、音声出力部において、ディジタルの
音声信号をアナログに変換する変換器のクロックの周波
数が狂っている場合、出力される音声が、画像データ系
列との同期に用いられた音声用時間情報に対応するもの
でなくなっているため、同期部２０７での同期が問題な
く行われていても、出力される音声と表示される画像と
の同期がとれていないという課題を有している。
【００１１】本発明は、このような従来の音声画像同期
再生装置が有する上述した課題を考慮して、出力される
音声と表示される画像との同期を、より正確に行うこと
ができる音声画像同期再生装置を提供することを目的と
するものである。さらに、本発明は、出力される音声と
表示される画像との同期を、より正確に、かつ、視聴者
にとって違和感が少ないように、行うことができる音声
画像同期再生装置を提供することを目的とするものであ
る。
【００１２】
【課題を解決するための手段】上述した課題を解決する
ため、第１の本発明（請求項１に記載の本発明に対応）
は、ディジタル符号化され、フレーム化またはブロック
化されて、個々のフレームまたはブロックに再生時の時
間情報を付加された画像ストリームおよび音声ストリー
ムを同期再生する音声画像同期再生装置において、前記
画像ストリームを復号して、複数の画像フレームによっ
て構成される画像データ系列を出力する第１の復号部
と、前記画像ストリームから画像用時間情報を抽出する
第１の時間情報抽出部と、前記音声ストリームを復号し
て、複数の音声ブロックによって構成される音声データ
系列を出力する第２の復号部と、前記音声ストリームか
ら音声用時間情報を抽出する第２の時間情報抽出部と、
再生時の基準時刻を出力するタイマー部と、前記画像用
時間情報と前記基準時刻とを照合し、その結果に応じて
前記画像データ系列を時間軸圧縮伸張することによっ
て、前記画像データ系列を前記基準時刻に同期させる第
１の同期部と、前記音声データ系列を前記基準時刻に同
期させる第２の同期部とを備え、前記第２の同期部が、
前記音声用時間情報と前記基準時刻とを照合する同期検
出部と、前記同期検出部の照合結果に応じて前記音声デ
ータ系列中の前記音声ブロックの一部を、繰り返すもし
くは間引くことによって、前記音声データ系列を前記基
準時刻に同期させる音声ブロック操作部とを有すること
を特徴とする音声画像同期再生装置である。
【００１３】第２の本発明（請求項２に記載の本発明に
対応）は、前記同期検出部が、前記基準時刻と前記各音
声ブロックに対応する前記音声用時間情報中の時刻との
時間差を求める引き算器と、前記時間差とそれに対応す
る前記音声ブロックのブロック時間長とを比較する比較
器とを有し、前記音声ブロック操作部が、前記時間差が
前記ブロック時間長より大きい場合に、前記音声データ
系列中の前記音声ブロックの一部を、繰り返すもしくは
間引くことを特徴とする第１の本発明の音声画像同期再
生装置である。
【００１４】第３の本発明（請求項３に記載の本発明に
対応）は、前記音声ブロック操作部が、音声レベルによ
って前記音声ブロックを有音と無音とに分類する第１の
有音無音検出手段を有し、前記音声ブロック操作部が、
前記第１の有音無音検出手段によって無音と分類された
前記音声ブロックを、前記繰り返しもしくは前記間引き
の対象とすることを特徴とする第１または第２の本発明
の音声画像同期再生装置である。
【００１５】第４の本発明（請求項４に記載の本発明に
対応）は、前記音声ブロック操作部が、前記各音声ブロ
ックの音声の周期性を判別する第１の周期性検出手段を
有し、前記音声ブロック操作部が、前記第１の周期性検
出手段によって周期性が高いと判別された前記音声ブロ
ックを、前記繰り返しもしくは前記間引きの対象とし、
前記第１の周期性検出手段によって周期性が高くないと
判別された前記音声ブロックは、前記繰り返しもしくは
前記間引きの対象としないことを特徴とする第１〜第３
のいずれかの本発明の音声画像同期再生装置である。
【００１６】第５の本発明（請求項５に記載の本発明に
対応）は、ディジタル符号化され、フレーム化またはブ
ロック化されて、個々のフレームまたはブロックに再生
時の時間情報を付加された画像ストリームおよび音声ス
トリームを同期再生する音声画像同期再生装置におい
て、前記画像ストリームを復号して、複数の画像フレー
ムによって構成される画像データ系列を出力する第１の
復号部と、前記画像ストリームから画像用時間情報を抽
出する第１の時間情報抽出部と、前記音声ストリームを
復号して、複数の音声ブロックによって構成される音声
データ系列を出力する第２の復号部と、前記音声ストリ
ームから音声用時間情報を抽出する第２の時間情報抽出
部と、再生時の基準時刻を出力するタイマー部と、前記
画像用時間情報と前記基準時刻とを照合し、その結果に
応じて前記画像データ系列を時間軸圧縮伸張することに
よって、前記画像データ系列を前記基準時刻に同期させ
る第１の同期部と、前記音声データ系列中の個々の音声
データもしくは音声データ群を一時記憶して出力する複
数のバッファと、前記複数のバッファ毎の入出力を制御
することによってスプーリングを行うスプーリング制御
部とを有するスプーリング部を備え、前記スプーリング
制御部が、バッファアンダーフローまたはバッファオー
バーフローが発生したと判断した場合、前記複数のバッ
ファの全部もしくは一部を調整用バッファとして選択
し、前記調整用バッファに一時記憶されている前記個々
の音声データもしくは前記音声データ群を、繰り返して
出力する、または、出力せずに消去することを特徴とす
る音声画像同期再生装置である。
【００１７】第６の本発明（請求項６に記載の本発明に
対応）は、ディジタル符号化され、フレーム化またはブ
ロック化されて、個々のフレームまたはブロックに再生
時の時間情報を付加された画像ストリームおよび音声ス
トリームを同期再生する音声画像同期再生装置におい
て、前記画像ストリームを復号して、複数の画像フレー
ムによって構成される画像データ系列を出力する第１の
復号部と、前記画像ストリームから画像用時間情報を抽
出する第１の時間情報抽出部と、前記音声ストリームを
復号して、複数の音声ブロックによって構成される音声
データ系列を出力する第２の復号部と、前記音声ストリ
ームから音声用時間情報を抽出する第２の時間情報抽出
部と、再生時の基準時刻を出力するタイマー部と、前記
画像用時間情報と前記基準時刻とを照合し、その結果に
応じて前記画像データ系列を時間軸圧縮伸張することに
よって、前記画像データ系列を前記基準時刻に同期させ
る第１の同期部と、前記音声データ系列中の個々の音声
データもしくは音声データ群を一時記憶して出力する複
数のバッファと、前記複数のバッファ毎の入出力を制御
することによってスプーリングを行うスプーリング制御
部とを有するスプーリング部と、ディジタルアナログ変
換器および前記ディジタルアナログ変換器にクロックを
供給するクロック発生器を有し、前記音声データ系列を
音声として出力する音声出力部と、所定の時刻からの前
記クロックを積算して経過実時間を求めるクロック積算
手段と、前記音声用時間情報から得られる前記所定の時
刻からの経過時間と前記経過実時間とを比較する比較手
段と、前記経過時間と前記経過実時間との差である経過
時間差が所定の値を超えた場合に、前記経過時間差を少
なくするように、スプーリングを行うことを前記スプー
リング制御部に指示するクロックずれ補正手段とを備
え、前記スプーリング制御部が、前記クロックずれ補正
手段の指示にしたがって、前記複数のバッファの全部も
しくは一部を調整用バッファとして選択し、前記調整用
バッファに一時記憶されている前記個々の音声データも
しくは前記音声データ群を、繰り返して出力する、また
は、出力せずに消去することを特徴とする音声画像同期
再生装置である。
【００１８】第７の本発明（請求項７に記載の本発明に
対応）は、前記スプーリング部が、前記バッファ毎に一
時記憶される前記個々の音声データもしくは前記音声デ
ータ群を、音声レベルによって有音と無音とに分類する
第２の有音無音検出手段を有し、前記スプーリング制御
部が、前記調整用バッファを選択する際、前記第２の有
音無音検出手段によって無音と分類された前記個々の音
声データもしくは前記音声データ群が一時記憶されてい
る前記バッファがあれば、それを前記調整用バッファと
することを特徴とする第５または第６の本発明の音声画
像同期再生装置である。
【００１９】第８の本発明（請求項８に記載の本発明に
対応）は、前記スプーリング部が、前記バッファ毎に一
時記憶される前記音声データ群の音声の周期性を判別す
る第２の周期性検出手段を有し、前記スプーリング制御
部が、前記調整用バッファを選択する際、前記第２の周
期性検出手段によって周期性が高いと判別された前記音
声データ群が一時記憶されている前記バッファがあれ
ば、それを前記調整用バッファとすることを特徴とする
第５または第６の本発明の音声画像同期再生装置であ
る。
【００２０】第９の本発明（請求項９に記載の本発明に
対応）は、ディジタル符号化され、フレーム化またはブ
ロック化されて、個々のフレームまたはブロックに再生
時の時間情報を付加された画像ストリームおよび音声ス
トリームを同期再生する音声画像同期再生装置におい
て、前記画像ストリームを復号して、複数の画像フレー
ムによって構成される画像データ系列を出力する第１の
復号部と、前記画像ストリームから画像用時間情報を抽
出する第１の時間情報抽出部と、前記音声ストリームを
復号して、複数の音声ブロックによって構成される音声
データ系列を出力する第２の復号部と、前記音声ストリ
ームから音声用時間情報を抽出する第２の時間情報抽出
部と、再生時の基準時刻を出力するタイマー部と、前記
画像用時間情報と前記基準時刻とを照合し、その結果に
応じて前記画像データ系列を時間軸圧縮伸張することに
よって、前記画像データ系列を前記基準時刻に同期させ
る第１の同期部と、前記画像データ系列中の個々の画像
データもしくは画像データ群を一時記憶して出力する複
数のバッファと、前記複数のバッファ毎の入出力を制御
することによってスプーリングを行うスプーリング制御
部とを有するスプーリング部と、ディジタルアナログ変
換器および前記ディジタルアナログ変換器にクロックを
供給するクロック発生器を有し、前記画像データ系列を
画像として表示する表示部と、所定の時刻からの前記ク
ロックを積算して経過実時間を求めるクロック積算手段
と、前記画像用時間情報から得られる前記所定の時刻か
らの経過時間と前記経過実時間とを比較する比較手段
と、前記経過時間と前記経過実時間との差である経過時
間差が所定の値を超えた場合に、前記経過時間差を少な
くするように、スプーリングを行うことを前記スプーリ
ング制御部に指示するクロックずれ補正手段とを備え、
前記スプーリング制御部は、前記クロックずれ補正手段
の指示にしたがって、前記複数のバッファの全部もしく
は一部を調整用バッファとして選択し、前記調整用バッ
ファに一時記憶されている前記個々の画像データもしく
は前記画像データ群を、繰り返して出力する、または、
出力せずに消去することを特徴とする音声画像同期再生
装置である。
【００２１】第１０の本発明（請求項１０に記載の本発
明に対応）は、ディジタル符号化され、フレーム化また
はブロック化されて、個々のフレームまたはブロックに
再生時の時間情報を付加された画像ストリームおよび音
声ストリームを同期再生する音声画像同期再生装置にお
いて、前記画像ストリームを復号して、複数の画像フレ
ームによって構成される画像データ系列を出力する第１
の復号部と、前記画像ストリームから画像用時間情報を
抽出する第１の時間情報抽出部と、前記音声ストリーム
を復号して、複数の音声ブロックによって構成される音
声データ系列を出力する第２の復号部と、前記音声スト
リームから音声用時間情報を抽出する第２の時間情報抽
出部と、再生時の基準時刻を出力するタイマー部と、前
記画像用時間情報と前記基準時刻とを照合し、その結果
に応じて前記画像データ系列を時間軸圧縮伸張すること
によって、前記画像データ系列を前記基準時刻に同期さ
せる第１の同期部と、ディジタルアナログ変換器および
前記ディジタルアナログ変換器にクロックを供給するク
ロック発生器を有し、前記音声データ系列を音声として
出力する音声出力部と、所定の時刻からの前記クロック
を積算して経過実時間を求めるクロック積算手段と、前
記経過実時間と、前記音声用時間情報から得られる前記
所定の時刻からの経過時間とを比較して、前記音声出力
部へ入力される前記音声データ系列のディジタル音声信
号のサンプリングのずれを検出するサンプリングずれ検
出手段と、前記サンプリングのずれを補正するように、
前記サンプリングのサンプリング周波数の変換を行った
後、前記音声出力部へ前記音声データ系列を出力するサ
ンプリング変換手段とを備えることを特徴とする音声画
像同期再生装置である。
【００２２】第１１の本発明（請求項１１に記載の本発
明に対応）は、ディジタル符号化され、フレーム化また
はブロック化されて、個々のフレームまたはブロックに
再生時の時間情報を付加された画像ストリームおよび音
声ストリームを同期再生する音声画像同期再生装置にお
いて、前記画像ストリームを復号して、複数の画像フレ
ームによって構成される画像データ系列を出力する第１
の復号部と、前記画像ストリームから画像用時間情報を
抽出する第１の時間情報抽出部と、前記音声ストリーム
を復号して、複数の音声ブロックによって構成される音
声データ系列を出力する第２の復号部と、前記音声スト
リームから音声用時間情報を抽出する第２の時間情報抽
出部と、再生時の基準時刻を出力するタイマー部と、前
記画像用時間情報と前記基準時刻とを照合し、その結果
に応じて前記画像データ系列を時間軸圧縮伸張すること
によって、前記画像データ系列を前記基準時刻に同期さ
せる第１の同期部と、ディジタルアナログ変換器および
前記ディジタルアナログ変換器にクロックを供給するク
ロック発生器を有し、前記画像データ系列を画像として
表示する表示部と、所定の時刻からの前記クロックを積
算して経過実時間を求めるクロック積算手段と、前記経
過実時間と、前記音声用時間情報から得られる前記所定
の時刻からの経過時間とを比較して、前記表示部へ入力
される前記画像データ系列のディジタル画像信号のサン
プリングのずれを検出するサンプリングずれ検出手段
と、前記サンプリングのずれを補正するように、前記サ
ンプリングのサンプリング周波数の変換を行った後、前
記表示部へ前記画像データ系列を出力するサンプリング
変換手段とを備えることを特徴とする音声画像同期再生
装置である。
【００２３】
【発明の実施の形態】以下に、本発明の実施の形態を図
面を参照して説明する。
【００２４】（第１の実施の形態）まず、本発明の第１
の実施の形態を図面を参照して説明する。
【００２５】図１は、本発明の第１の実施の形態におけ
る音声画像同期再生装置の構成を示すブロック図であ
る。
【００２６】図１において、画像ストリーム１０１は第
１の入力部１０３より本再生装置に入力され、第１の復
号部１０４で復号されて画像データ系列となる。それと
ともに、第１の時間情報抽出部１０５は、画像ストリー
ム１０１から画像用時間情報を抽出し、第１の同期部１
０７は、タイマー部１０６出力の基準時刻と前記画像用
時間情報との照合を行い、その結果に応じて前記画像デ
ータ系列を時間軸圧縮伸張することによって、前記画像
データ系列を前記基準時刻に同期させて、表示部１０８
に出力する。
【００２７】一方、音声ストリーム１０２も画像ストリ
ーム１０１同様、第２の入力部１０９より本再生装置に
入力され、第２の復号部１１１で復号されて音声データ
系列となる。それとともに、第２の時間情報抽出部１１
０は、音声ストリーム１０２から音声用時間情報を抽出
し、第２の同期部１１２は、タイマー部１０６出力の基
準時刻と前記音声用時間情報との照合を行い、その結果
に応じて前記音声データ系列を時間軸圧縮伸張すること
によって、前記音声データ系列を前記基準時刻に同期さ
せて、音声出力部１１５に出力する。
【００２８】以上のように構成された本実施の形態にお
ける音声画像同期再生装置について、以下に、図１及び
図３を参照して、その動作を説明する。
【００２９】画像データ系列（動画）については、図２
で示した従来の音声画像同期再生装置と同様に、例えば
秒３０コマなどの静止画画像フレームの連続であり、１
フレーム程度であれば同じ画像フレームを２度繰り返し
表示したり、間引いてもあまり違和感を感じないため、
１フレーム以上同期がずれたときに画像フレームの繰り
返しや間引きをすることによって、時間軸圧縮伸長が行
われている。
【００３０】音声データ系列については、図１に示すよ
うに、同期検出部１１３は、第２の時間情報抽出部１１
０の出力である音声用時間情報とタイマー部１０６の出
力である基準時刻とを照合する。同期検出部１１３が、
照合の結果、同期がずれていると判断した場合、音声ブ
ロック操作部１１４は、第２の復号部１１１の出力であ
る音声データ系列中の音声ブロックの一部を、繰り返す
もしくは間引くことによって、同期の修正を行う。ここ
で、前記音声用時間情報中の時刻が前記基準時刻より進
んでいる場合は、前記音声ブロックの一部を繰り返すこ
とによって、前記音声用時間情報中の時刻が前記基準時
刻より遅れている場合は、前記音声ブロックの一部を間
引くことによって、同期の修正を行うものである。
【００３１】図３は、Dolby Digital（参考文献： "DIG
ITAL AUDIO COMPRESSION STANDARD(AC-3)" ATSC STANDA
RD A/52）の音声ストリームの構造図である。図３にお
いて、列１は音声ストリームの時系列であり、ストリー
ムを構成するブロック（、、、‥）は列２に示す
ように、時間的に５０％のオーバーラップを持って、元
の音声データをブロック化している。そして各ブロック
をデコードして音声を再合成する時には、列３に示す両
端減衰型の窓をかけて、ブロックのつなぎ目がスムーズ
になるようにしている。
【００３２】このような場合には、音声を時間軸圧縮伸
長するためにブロック単位に繰り返しまたは間引きを行
っても、両端減衰型の窓をかけるため違和感は少なくて
すむ。
【００３３】なお、上記構成においては、入力信号が伝
送系であるとして説明したが、記録系の入力信号であっ
ても、同様の構成で同じ効果を得ることができる。
【００３４】次に、本実施の形態における音声画像同期
再生装置の同期検出部１１３の詳細構成および動作につ
いて説明する。
【００３５】図４は、本発明の第１の実施の形態におけ
る音声画像同期再生装置の同期検出部１１３の構成を示
すブロック図である。
【００３６】図４において、タイマー部１０６の出力で
ある基準時刻と第２の時間情報検出部１１０の出力であ
る音声用時間情報中の時刻との時間差が引き算器４０２
で求められ、比較器４０３に入力されて、音声ストリー
ムを構成する音声ブロックのブロック時間長と比較され
る。比較器４０３は、前記時間差が音声ブロックのブロ
ック時間長より大きい場合、同期がずれていると判断し
て、音声データ系列中の音声ブロックの一部を、繰り返
すもしくは間引くことによって、同期を修正するように
音声ブロック操作部１１４に指示する。ここで、前記時
間差がマイナスの場合は、前記音声ブロックの一部を繰
り返すことによって、前記時間差がプラスの場合は、前
記音声ブロックの一部を間引くことによって、同期を修
正するように指示するものである。
【００３７】なお、上記説明においては、同期検出部１
１３は、各音声ブロック毎の前記時間差にしたがって、
音声ブロック操作部１１４に同期を修正するように指示
するとして説明したが、所定の期間中の前記時間差の平
均値をもとめ、この平均値にしたがって、音声ブロック
操作部１１４に同期を修正するように指示するとしても
よい。
【００３８】次に、本実施の形態における音声画像同期
再生装置の音声ブロック操作部１１４の詳細構成および
動作について説明する。
【００３９】図５は、本発明の第１の実施の形態におけ
る音声画像同期再生装置の音声ブロック操作部１１４の
構成を示すブロック図である。
【００４０】図５に示すように、音声ブロック操作部１
１４は、第２の復号部１１１の出力である音声データ系
列を構成する各音声ブロックを、音声レベルによって有
音と無音とに分類する有音無音検出手段５０２と、同期
検出部１１３および有音無音検出手段５０２の出力にし
たがって、前記音声データ系列の音声ブロックの一部を
間引くまたは繰り返す間引き・繰り返し操作部５０３と
で構成されている。
【００４１】有音無音検出手段５０２は、第２の復号部
１１１の出力である音声データ系列を構成する各音声ブ
ロックを、各音声ブロックの音声データの音声レベルに
よって、有音ブロックと無音ブロックとに分類する。間
引き・繰り返し操作部５０３は、同期検出部１１３から
同期の修正を指示されると、無音ブロックと分類された
音声ブロックに対してのみ、間引きまたは繰り返しを行
う。
【００４２】このように構成すれば、無音ブロックと分
類された、音声レベルの小さいブロックを、間引きまた
は繰り返しすることは、視聴者の耳につきにくいので、
違和感なく音声の同期修正を行うことができる。
【００４３】図６は、本発明の第１の実施の形態におけ
る音声画像同期再生装置の音声ブロック操作部１１４の
変形例の構成を示すブロック図である。
【００４４】図６に示す変形例は、図５に示した音声ブ
ロック操作部１１４において、有音無音検出手段５０２
を周期性検出手段６０２に置き換えたものである。
【００４５】周期性検出手段６０２は、第２の復号部１
１１の出力である音声データ系列を構成する各音声ブロ
ックの周期性を検出して、周期性の高いブロックと過渡
的なブロックに分類する。周期性の検出は自己相関など
の演算を用いて行う。間引き・繰り返し操作部５０３
は、同期検出部１１３から同期の修正を指示されると、
周期性の高いブロックと分類された音声ブロックに対し
てのみ、間引きまたは繰り返しを行う。
【００４６】このように構成すれば、過渡的に音声が変
化する音声ブロックを避けて、周期性の高いブロックで
のみ音声ブロックの間引きまたは繰り返しによって、同
期修正を行うため、視聴者の違和感を少なくすることが
できる。
【００４７】なお、本変形例の周期性検出手段６０２
と、図５の有音無音検出手段５０２とを併設して、間引
き・繰り返し操作部５０３は、同期検出部１１３から同
期の修正を指示されると、無音ブロックと分類された音
声ブロックおよび／または周期性の高いブロックと分類
された音声ブロックに対してのみ、間引きまたは繰り返
しを行うとしてもよい。両者の機能を併用しても互いに
動作を妨げることなく、同期修正時の音声の違和感を少
なくし、同期検出部から同期の修正を指示された後、な
るべく早いタイミングで同期修正を行うという効果が高
まる。
【００４８】以上の説明から明らかなように、本実施の
形態における音声画像同期再生装置およびその変形例
は、出力される音声と表示される画像との同期を、より
正確に、かつ、視聴者にとって違和感が少ないように、
行うことができる。
【００４９】（第２の実施の形態）次に、本発明の第２
の実施の形態を図面を参照して説明する。本実施の形態
における音声画像同期再生装置は、本発明のスプーリン
グ部を備えることに関する点以外は、上述した第１の実
施の形態における音声画像同期再生装置と同様である。
したがって、本実施の形態において、第１の実施の形態
と基本的に同様のものについては、同一符号を付与し、
説明を省略する。また、特に説明のないものについて
は、第１の実施の形態と同じとする。さらに、特に断ら
ない限り、第１の実施の形態において説明した変形例に
ついても、本実施の形態における音声画像同期再生装置
に適用されるものとする。
【００５０】図７は、本発明の第２の実施の形態におけ
る音声画像同期再生装置のスプーリング部の構成を示す
ブロック図である。
【００５１】本実施の形態における音声画像同期再生装
置は、図１で示した第１の実施の形態における音声画像
同期再生装置の第２の同期部１１３から音声出力部１１
５への入出力間にスプーリング部７０１を挿入設置した
ものである。したがって、本実施の形態における音声画
像同期再生装置の構成は、スプーリング部７０１に関す
るもの以外は、第１の実施の形態における音声画像同期
再生装置の構成と同じであるので、全体構成の図示を省
略する。
【００５２】スプーリング部７０１は、第２の同期部の
出力である音声データ系列中の個々の音声データもしく
は音声データ群を一時記憶して出力するスプーリング用
の複数のバッファ７０４〜７０６と、前記個々の音声デ
ータもしくは前記音声データ群を、音声レベルによって
有音と無音とに分類する第２の有音無音検出手段７０３
と、複数のバッファ７０４〜７０６毎の入出力を制御す
ることによってスプーリングを行うスプーリング制御部
７０２とで構成されている。
【００５３】以上のように構成された本実施の形態にお
ける音声画像同期再生装置のスプーリング部７０１につ
いて、以下にその動作を説明する 図７において、スプーリング制御部７０２は第２の同期
部から入力された音声データ系列中の個々の音声データ
もしくは音声データ群をバッファ１、バッファ２、‥
バッファＮに順に満たし、音声出力部１１５に同じ順に
音声データを出力する。出力されて空になったバッファ
は再び入力データを取り込むのに使われる。
【００５４】出力の転送レートが入力より遅い場合、バ
ッファにデータがどんどん蓄積され、最後には入力に使
用可能なバッファがなくなりとりこぼしが発生する。こ
れをバッファオーバーフローと言う。また出力の転送レ
ートが入力より速い場合、バッファに蓄積されたデータ
はどんどん減っていって、入力が追いつかなくなり出力
に欠けが生じる。これがバッファアンダーフローであ
る。
【００５５】これらのことが起きた場合、スプーリング
制御部７０２は、適切なタイミングでバッファをリセッ
トして、スプーリング動作の破たんを目立たないように
する必要がある。
【００５６】本実施の形態においては、スプーリング制
御部７０２は、例えば、バッファ毎に一時記憶される予
定の音声データもしくは音声データ群に対して、とりこ
ぼしが発生した、または、出力に欠けが生じた場合に、
バッファオーバーフローまたはバッファアンダーフロー
が発生したと判断し、そのとき、第２の有音無音検出手
段７０３によって無音と分類された個々の音声データも
しくは音声データ群が一時記憶されているバッファがあ
れば、当該バッファを調整用バッファとして選択し、そ
れに一時記憶されている音声データもしくは音声データ
群をとばしたり、繰り返すようにスプーリング制御部７
０２がバッファ７０４〜７０６を制御する。無音と分類
された音声データもしくは音声データ群に対して、間引
きまたは繰り返しを行うため、スプーリング動作の破た
んを目立たなくすることができる。
【００５７】なお、図７のスプーリング部７０１におい
て、第２の有音無音検出手段７０３のかわりに、バッフ
ァ毎に一時記憶される音声データ群の音声の周期性を判
別する第２の周期性検出手段を備え、スプーリング制御
部７０２が、第２の周期性検出手段７０３によって周期
性が高いと判別された音声データ群が一時記憶されてい
るバッファがあれば、それを調整用バッファとして選択
し、それに一時記憶されている個々の音声データもしく
は音声データ群をとばしたり、繰り返すように、バッフ
ァ７０４〜７０６を制御するとしてもよい。
【００５８】また、第２の有音無音検出手段７０３と上
述した第２の周期性検出手段とを併設して、無音と分類
された音声データもしくは音声データ群および／または
周期性の高いと判別された音声データ群が一時記憶され
ているバッファがあれば、それを調整用バッファとして
選択し、それに一時記憶されている個々の音声データも
しくは音声データ群をとばしたり、繰り返すように、バ
ッファ７０４〜７０６を制御するとしてもよい。両者の
機能を併用しても互いに動作を妨げることなく、なるべ
く早いタイミングでスプーリング動作の破たんを救済す
る効果が高まる。
【００５９】以上の説明から明らかなように、本実施の
形態における音声画像同期再生装置および上述したその
変形例は、出力される音声と表示される画像との同期
を、より正確に、かつ、視聴者にとって違和感が少ない
ように、行うことができる。
【００６０】また、スプーリング部７０１が、第２の有
音無音検出手段および第２の周期性検出手段を有するこ
となく、ランダムにもしくは別の基準に従って調整用バ
ッファの選択を行うとしても、少なくとも、従来の音声
画像同期再生装置に比べて、出力される音声と表示され
る画像との同期を、より正確に行うことができる。
【００６１】なお、本実施の形態における音声画像同期
再生装置は、図１で示した第１の実施の形態における音
声画像同期再生装置の第２の同期部１１３から音声出力
部１１５への入出力間にスプーリング部７０１を挿入設
置したものであるとして説明したが、図２で示した従来
の音声画像同期再生装置の第２の復号部２１１から音声
出力部２１２への入出力間にスプーリング部７０１を挿
入設置するとしても、本実施の形態における音声画像同
期再生装置と比較すると定量的には効果が薄れるもの
の、従来の音声画像同期再生装置と比較すると、出力さ
れる音声と表示される画像との同期を、より正確に、か
つ、視聴者にとって違和感が少ないように、行うことが
できる。
【００６２】（第３の実施の形態）次に、本発明の第３
の実施の形態を図面を参照して説明する。本実施の形態
における音声画像同期再生装置は、本発明のクロックず
れ補正手段等を音声再生側に備えることに関する点以外
は、上述した第２の実施の形態における音声画像同期再
生装置と同様である。したがって、本実施の形態におい
て、第２の実施の形態と基本的に同様のものについて
は、同一符号を付与し、説明を省略する。また、特に説
明のないものについては、第２の実施の形態と同じとす
る。さらに、特に断らない限り、第２の実施の形態にお
いて説明した変形例についても、本実施の形態における
音声画像同期再生装置に適用されるものとする。
【００６３】図８は、本発明の第３の実施の形態におけ
る音声画像同期再生装置の構成を示すブロック図であ
る。
【００６４】本実施の形態における音声画像同期再生装
置は、図１で示した第１の実施の形態における音声画像
同期再生装置の構成に加えて、スプーリング部７０１、
クロック積算手段８０３、比較器８０４およびクロック
ずれ補正手段８０５を備えるものである。新たに備えた
部材については、音声関係の入出力にのみ関連するもの
であり、画像関係の構成については、第１の実施の形態
における音声画像同期再生装置の構成とまったく同じも
のである。したがって、図８においては、音声に関する
構成のみを図示し、画像に関する構成の図示は省略して
いる。
【００６５】図８において、タイマー部１０６、第２の
入力部１０９、第２の時間情報抽出部１１０、第２の復
号部１１１、第２の同期部１１２および音声出力部１１
５は、図１における対応する部材と同様の機能を有して
いるものであり、スプーリング部７０１は、図７に示し
たものと同様なものである。
【００６６】図１と異なるのは、音声出力部１１５の内
部をディジタルアナログ変換器８０１とクロックを供給
するクロック発生器８０２とに分けて示している点、お
よび、スプーリング部７０１と、クロック発生器８０２
の出力を積算して所定の時刻からの経過実時間を求める
クロック積算手段８０３と、第２の時間情報抽出部１１
０の出力である音声用時間情報から得られる前記所定の
時刻からの経過時間と前記経過実時間とを比較する比較
器８０４と、前記経過時間と前記経過実時間との差であ
る経過時間差が所定の値を超えた場合に、前記経過時間
差を少なくするように、スプーリングを行うことをスプ
ーリング部７０１のスプーリング制御部７０２に指示す
るクロックずれ補正手段８０５とを備えている点であ
る。
【００６７】以上のように構成された本実施の形態にお
ける音声画像同期再生装置について、以下にその動作を
説明する。
【００６８】クロック積算手段８０３は、音声出力部１
１５のクロック発生器８０２のクロックを積算すること
によって出力される音声の所定の時刻からの経過実時間
を得る。それを第２の時間情報抽出部１１０の出力であ
る音声用時間情報から得られる前記所定の時刻からの経
過時間と比較することによって、前記経過時間と前記経
過実時間との差である経過時間差を得る。クロックずれ
補正手段８０５は、前記経過時間差を少なくするよう
に、スプーリングを行うことをスプーリング制御部７０
２に指示する。スプーリング部７０１のスプーリング制
御部７０２は、クロックずれ補正手段８０５の指示にし
たがって、複数のバッファの全部もしくは一部を調整用
バッファとして選択し、前記調整用バッファに一時記憶
されている個々の音声データもしくは音声データ群を、
繰り返して出力する、または、出力せずに消去すること
によって、前記経過時間差を少なくする。
【００６９】以上の説明から明らかなように、本実施の
形態における音声画像同期再生装置は、音声出力部のデ
ィジタルアナログ変換器にクロックを供給するクロック
発生器の発振周波数がずれていた場合の誤差をスプーリ
ング部で吸収することができるので、第２の実施の形態
における音声画像同期再生装置より、さらに正確に、出
力される音声と表示される画像との同期を行うことがで
きる。
【００７０】また、第２の実施の形態における音声画像
同期再生装置の変形例に、本実施の形態で新たに加えた
構成に対応するものを適用することによって、各変形例
より、さらに正確に、出力される音声と表示される画像
との同期を行うことができる。例えば、図２で示した従
来の音声画像同期再生装置の構成に加えて、スプーリン
グ部７０１、クロック積算手段８０３、比較器８０４お
よびクロックずれ補正手段８０５を備える構成の音声画
像同期再生装置は、第２の実施の形態において説明し
た、図２の音声画像同期再生装置にスプーリング部７０
１のみを加えた構成の変形例より、さらに正確に、出力
される音声と表示される画像との同期を行うことができ
る。
【００７１】（第４の実施の形態）次に、本発明の第４
の実施の形態を図面を参照して説明する。本実施の形態
における音声画像同期再生装置は、本発明のサンプリン
グ変換手段等を音声再生側に備えることに関する点以外
は、上述した第１の実施の形態における音声画像同期再
生装置と同様である。したがって、本実施の形態におい
て、第１の実施の形態と基本的に同様のものについて
は、同一符号を付与し、説明を省略する。また、特に説
明のないものについては、第１の実施の形態と同じとす
る。さらに、特に断らない限り、第１の実施の形態にお
いて説明した変形例についても、本実施の形態における
音声画像同期再生装置に適用されるものとする。
【００７２】図９は、本発明の第４の実施の形態におけ
る音声画像同期再生装置の構成を示すブロック図であ
る。
【００７３】本実施の形態における音声画像同期再生装
置は、図１で示した第１の実施の形態における音声画像
同期再生装置の構成に加えて、サンプリング変換手段９
０２、クロック積算手段８０３およびクサンプリングず
れ検出手段９０１を備えるものである。新たに備えた部
材については、音声関係の入出力にのみ関連するもので
あり、画像関係の構成については、第１の実施の形態に
おける音声画像同期再生装置の構成とまったく同じもの
である。したがって、図９においては、音声に関する構
成のみを図示し、画像に関する構成の図示は省略してい
る。
【００７４】図９において、タイマー部１０６、第２の
入力部１０９、第２の時間情報抽出部１１０、第２の復
号部１１１、第２の同期部１１２および音声出力部１１
５は、図１における対応する部材と同様の機能を有して
いるものである。
【００７５】図１と異なるのは、音声出力部１１５の内
部をディジタルアナログ変換器８０１とクロックを供給
するクロック発生器８０２とに分けて示している点、お
よび、クロック発生器８０２の出力を積算して所定の時
刻からの経過実時間を求めるクロック積算手段８０３
と、第２の時間情報抽出部１１０の出力である音声用時
間情報から得られる前記所定の時刻からの経過時間と前
記経過実時間とを比較して、音声出力部１１５へ入力さ
れる音声データ系列のディジタル音声信号のサンプリン
グのずれを検出するサンプリングずれ検出手段９０１
と、前記サンプリングのずれを補正するように、前記サ
ンプリングのサンプリング周波数の変換を行った後、音
声出力部１１５へ前記音声データ系列を出力するサンプ
リング変換手段９０２とを備えている点である。
【００７６】以上のように構成された本実施の形態にお
ける音声画像同期再生装置について、以下にその動作を
説明する。
【００７７】クロック積算手段８０３は、音声出力部１
１５のクロック発生器８０２のクロックを積算すること
によって出力される音声の所定の時刻からの経過実時間
を得る。サンプリングずれ検出手段９０１は、所定の時
間間隔ごとに、第２の時間情報抽出部１１０の出力であ
る音声用時間情報から得られる前記所定の時刻からの経
過時間で前記経過実時間を割り算した値を求めて、この
値を音声出力部１１５へ入力される音声データ系列のデ
ィジタル音声信号のサンプリングのずれとして出力す
る。
【００７８】サンプリング変換手段９０２は、第２の同
期部１１２から入力される音声データ系列のディジタル
音声信号に対して、サンプリングずれ検出手段９０１の
出力に基づいて、前記サンプリングのずれを補正するよ
うに、前記サンプリングのサンプリング周波数の変換を
行った後、音声出力部１１５へ前記音声データ系列を出
力する。サンプリング周波数変換は、オーバーサンプリ
ングとフィルタリングなど既知の技術があるため、ここ
では説明を省略する。
【００７９】図１０にサンプリングの置き換え例を示
す。図１０において、横軸方向は、時間の経過を、縦軸
方向は、音声データ系列の音声レベルを表す。第２の同
期部１１２から入力された音声データ系列のサンプリン
グ点が○印で、サンプリングずれ検出手段で検出された
ずれ量（前記経過時間で前記経過実時間を割り算した
値）が ８０％の場合、サンプリング変換手段で、サン
プリング点を×印に置き換えて、音声出力部に出力す
る。
【００８０】以上の説明から明らかなように、本実施の
形態における音声画像同期再生装置は、音声出力部のデ
ィジタルアナログ変換器にクロックを供給するクロック
発生器の発振周波数がずれている場合、同期部出力の音
声データ系列のサンプリング周波数を変換して、音声出
力部に音声データ系列を供給し、音声出力部のディジタ
ルアナログ変換器のクロックの誤差を補正することがで
きるので、第１の実施の形態における音声画像同期再生
装置より、さらに正確に、出力される音声と表示される
画像との同期を行うことができる。
【００８１】また、第１の実施の形態における音声画像
同期再生装置の変形例に、本実施の形態で新たに加えた
構成に対応するものを適用することによって、各変形例
より、さらに正確に、出力される音声と表示される画像
との同期を行うことができる。
【００８２】（第５の実施の形態）次に、本発明の第５
の実施の形態を図面を参照して説明する。本実施の形態
における音声画像同期再生装置は、本発明のスプーリン
グ部、クロックずれ補正手段等を、音声再生側の替わり
に、画像再生側に備えることに関する点以外は、上述し
た第３の実施の形態における音声画像同期再生装置と同
様である。したがって、本実施の形態において、第３の
実施の形態と基本的に同様のものについては、同一符号
を付与し、説明を省略する。また、特に説明のないもの
については、第２の実施の形態と同じとする。さらに、
特に断らない限り、第３の実施の形態において説明した
変形例についても、本実施の形態における音声画像同期
再生装置に適用されるものとする。
【００８３】図１１は、本発明の第５の実施の形態にお
ける音声画像同期再生装置の構成を示すブロック図であ
る。図８と同様な理由から、画像に関する構成のみを図
示し、音声に関する構成の図示は省略している。
【００８４】図１１において、第１の入力部１０３、第
１の時間情報抽出部１０５、第１の復号部１０４、タイ
マー部１０６、第１の同期部１０７および表示部１０８
は、図１における対応する部材と同様の機能を有してい
るものであり、ディジタルアナログ変換器１１０１、ク
ロック発生器１１０２、クロック積算手段１１０３、比
較器１１０４およびクロックずれ補正手段１１０５は、
それぞれ、第３の実施の形態における音声画像同期再生
装置の同一名称の部材の機能と、対象が音声データ系列
ではなく、画像データ系列であること以外は、同様の機
能を有しているものである。スプーリング部１１０６
は、スプーリング対象が画像データ系列であること以外
は、第２の実施の形態において説明した、第２の有音無
音検出手段および第２の周期性検出手段を有することな
く、ランダムにもしくは別の基準に従って調整用バッフ
ァの選択を行う変形例と同様なものである。
【００８５】以上のように構成された本実施の形態にお
ける音声画像同期再生装置について、以下にその動作を
説明する。
【００８６】クロック積算手段１１０３は、表示部１０
８のクロック発生器１１０２のクロックを積算すること
によって出力される画像の所定の時刻からの経過実時間
を得る。それを第１の時間情報抽出部１０５の出力であ
る画像用時間情報から得られる前記所定の時刻からの経
過時間と比較することによって、前記経過時間と前記経
過実時間との差である経過時間差を得る。クロックずれ
補正手段１１０５は、前記経過時間差を少なくするよう
に、スプーリングを行うことをスプーリング部１１０６
のスプーリング制御部に指示する。スプーリング部１１
０６のスプーリング制御部は、クロックずれ補正手段１
１０５の指示にしたがって、複数のバッファの全部もし
くは一部を調整用バッファとして選択し、前記調整用バ
ッファに一時記憶されている個々の画像データもしくは
画像データ群を、繰り返して出力する、または、出力せ
ずに消去することによって、前記経過時間差を少なくす
る。
【００８７】以上の説明から明らかなように、本実施の
形態における音声画像同期再生装置は、表示部のディジ
タルアナログ変換器にクロックを供給するクロック発生
器の発振周波数がずれていた場合の誤差をスプーリング
部で吸収することができるので、従来の音声画像同期再
生装置より、正確に、出力される音声と表示される画像
との同期を行うことができる。
【００８８】なお、第３の実施の形態における音声画像
同期再生装置に、本実施の形態で新たに加えた構成に対
応するものを適用することによって、音声出力部および
表示部双方のディジタルアナログ変換器にクロックを供
給するクロック発生器の発振周波数がずれていた場合の
誤差をスプーリング部で吸収することができるので、さ
らに正確に、出力される音声と表示される画像との同期
を行うことができる。
【００８９】（第６の実施の形態）次に、本発明の第６
の実施の形態を図面を参照して説明する。本実施の形態
における音声画像同期再生装置は、本発明のサンプリン
グ変換手段等を、音声再生側の替わりに、画像再生側に
備えることに関する点以外は、上述した第４の実施の形
態における音声画像同期再生装置と同様である。したが
って、本実施の形態において、第４の実施の形態と基本
的に同様のものについては、同一符号を付与し、説明を
省略する。また、特に説明のないものについては、第４
の実施の形態と同じとする。さらに、特に断らない限
り、第４の実施の形態において説明した変形例について
も、本実施の形態における音声画像同期再生装置に適用
されるものとする。
【００９０】図１２は、本発明の第６の実施の形態にお
ける音声画像同期再生装置の構成を示すブロック図であ
る。図９と同様な理由から、画像に関する構成のみを図
示し、音声に関する構成の図示は省略している。
【００９１】図１２において、第１の入力部１０３、第
１の時間情報抽出部１０５、第１の復号部１０４、タイ
マー部１０６、第１の同期部１０７および表示部１０８
は、図１における対応する部材と同様の機能を有してい
るものであり、ディジタルアナログ変換器１１０１、ク
ロック発生器１１０２、クロック積算手段１１０３、サ
ンプリングずれ検出手段１２０１およびサンプリング変
換手段１２０２は、それぞれ、第４の実施の形態におけ
る音声画像同期再生装置の同一名称の部材の機能と、対
象が音声データ系列ではなく、画像データ系列であるこ
と以外は、同様の機能を有しているものである。
【００９２】以上のように構成された本実施の形態にお
ける音声画像同期再生装置について、以下にその動作を
説明する。
【００９３】クロック積算手段１１０３は、表示部１０
８のクロック発生器１１０２のクロックを積算すること
によって出力される画像の所定の時刻からの経過実時間
を得る。サンプリングずれ検出手段１２０１は、所定の
時間間隔ごとに、第１の時間情報抽出部１０５の出力で
ある画像用時間情報から得られる前記所定の時刻からの
経過時間で前記経過実時間を割り算した値を求めて、こ
の値を表示部１０８へ入力される画像データ系列のディ
ジタル画像信号のサンプリングのずれとして出力する。
【００９４】サンプリング変換手段１１２０２は、第１
の同期部１０４から入力される画像データ系列のディジ
タル画像信号に対して、サンプリングずれ検出手段１２
０１の出力に基づいて、前記サンプリングのずれを補正
するように、前記サンプリングのサンプリング周波数の
変換を行った後、表示部１０８へ前記画像データ系列を
出力する。サンプリング周波数変換およびサンプリング
の置き換え例については、第４の実施の形態における説
明に倣うものとして、ここでは説明を省略する。
【００９５】以上の説明から明らかなように、本実施の
形態における音声画像同期再生装置は、表示部のディジ
タルアナログ変換器にクロックを供給するクロック発生
器の発振周波数がずれていた場合、同期部出力の画像デ
ータ系列のサンプリング周波数を変換して、表示部に画
像データ系列を供給し、表示部のディジタルアナログ変
換器のクロックの誤差を補正することができるので、第
１の実施の形態における音声画像同期再生装置より、さ
らに正確に、出力される音声と表示される画像との同期
を行うことができる。
【００９６】なお、第４の実施の形態における音声画像
同期再生装置に、本実施の形態で新たに加えた構成に対
応するものを適用することによって、音声出力部および
表示部双方のディジタルアナログ変換器のクロックの誤
差を補正することができるので、さらに正確に、出力さ
れる音声と表示される画像との同期を行うことができ
る。
【００９７】
【発明の効果】以上説明したところから明らかなよう
に、請求項１〜１１の本発明は、出力される音声と表示
される画像との同期を、より正確に行うことができる音
声画像同期再生装置を提供することができる。
【００９８】また、請求項３、４、７、８の本発明は、
出力される音声と表示される画像との同期を、より正確
に、かつ、視聴者にとって違和感が少ないように、行う
ことができる音声画像同期再生装置を提供することがで
きる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における音声画像同
期再生装置の構成を示すブロック図である。
【図２】従来の音声画像同期再生装置の構成を示すブロ
ック図である。
【図３】Dolby Digitalの音声ストリームの構造図であ
る。
【図４】本発明の第１の実施の形態における音声画像同
期再生装置の同期検出部１１３の構成を示すブロック図
である。
【図５】本発明の第１の実施の形態における音声画像同
期再生装置の音声ブロック操作部１１４の構成を示すブ
ロック図である。
【図６】本発明の第１の実施の形態における音声画像同
期再生装置の音声ブロック操作部１１４の変形例の構成
を示すブロック図である。
【図７】本発明の第２の実施の形態における音声画像同
期再生装置のスプーリング部の構成を示すブロック図で
ある。
【図８】本発明の第３の実施の形態における音声画像同
期再生装置の構成を示すブロック図である。
【図９】本発明の第４の実施の形態における音声画像同
期再生装置の構成を示すブロック図である。
【図１０】本発明の第４の実施の形態における音声画像
同期再生装置によるサンプリングの置き換え例を示す図
である。
【図１１】本発明の第５の実施の形態における音声画像
同期再生装置の構成を示すブロック図である。
【図１２】本発明の第６の実施の形態における音声画像
同期再生装置の構成を示すブロック図である。
【符号の説明】
１０１ 画像ストリーム １０２ 音声ストリーム １０３ 第１の入力部 １０４ 第１の復号部 １０５ 第１の時間情報抽出部 １０６ タイマー部 １０７ 第１の同期部 １０８ 表示部 １０９ 第２の入力部 １１１ 第２の復号部 １１０ 第２の時間情報抽出部 １１２ 第２の同期部 １１３ 同期検出部 １１４ 音声ブロック操作部 １１５ 音声出力部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/24 Ｆターム(参考） 5C053 GB06 GB07 GB10 GB11 GB21 JA12 JA22 JA23 KA05 KA08 KA18 KA22 KA25 LA06 LA20 5C059 KK35 LA01 LB07 LB13 RC04 RC32 RE03 SS11 SS30 UA05 UA34 5C063 AB03 AB07 AC01 AC05 CA09 CA12 CA20 CA38 DA07 DA13 5D077 BA11 GA03 HC03

Claims (11)

    【特許請求の範囲】
  1. 【請求項１】 ディジタル符号化され、フレーム化また
    はブロック化されて、個々のフレームまたはブロックに
    再生時の時間情報を付加された画像ストリームおよび音
    声ストリームを同期再生する音声画像同期再生装置にお
    いて、 前記画像ストリームを復号して、複数の画像フレームに
    よって構成される画像データ系列を出力する第１の復号
    部と、 前記画像ストリームから画像用時間情報を抽出する第１
    の時間情報抽出部と、 前記音声ストリームを復号して、複数の音声ブロックに
    よって構成される音声データ系列を出力する第２の復号
    部と、 前記音声ストリームから音声用時間情報を抽出する第２
    の時間情報抽出部と、 再生時の基準時刻を出力するタイマー部と、 前記画像用時間情報と前記基準時刻とを照合し、その結
    果に応じて前記画像データ系列を時間軸圧縮伸張するこ
    とによって、前記画像データ系列を前記基準時刻に同期
    させる第１の同期部と、 前記音声データ系列を前記基準時刻に同期させる第２の
    同期部とを備え、 前記第２の同期部は、前記音声用時間情報と前記基準時
    刻とを照合する同期検出部と、前記同期検出部の照合結
    果に応じて前記音声データ系列中の前記音声ブロックの
    一部を、繰り返すもしくは間引くことによって、前記音
    声データ系列を前記基準時刻に同期させる音声ブロック
    操作部とを有することを特徴とする音声画像同期再生装
    置。
  2. 【請求項２】 前記同期検出部は、前記基準時刻と前記
    各音声ブロックに対応する前記音声用時間情報中の時刻
    との時間差を求める引き算器と、前記時間差とそれに対
    応する前記音声ブロックのブロック時間長とを比較する
    比較器とを有し、 前記音声ブロック操作部は、前記時間差が前記ブロック
    時間長より大きい場合に、前記音声データ系列中の前記
    音声ブロックの一部を、繰り返すもしくは間引くことを
    特徴とする請求項１に記載の音声画像同期再生装置。
  3. 【請求項３】 前記音声ブロック操作部は、音声レベル
    によって前記音声ブロックを有音と無音とに分類する第
    １の有音無音検出手段を有し、 前記音声ブロック操作部は、前記第１の有音無音検出手
    段によって無音と分類された前記音声ブロックを、前記
    繰り返しもしくは前記間引きの対象とすることを特徴と
    する請求項１または２に記載の音声画像同期再生装置。
  4. 【請求項４】 前記音声ブロック操作部は、前記各音声
    ブロックの音声の周期性を判別する第１の周期性検出手
    段を有し、 前記音声ブロック操作部は、前記第１の周期性検出手段
    によって周期性が高いと判別された前記音声ブロック
    を、前記繰り返しもしくは前記間引きの対象とし、前記
    第１の周期性検出手段によって周期性が高くないと判別
    された前記音声ブロックは、前記繰り返しもしくは前記
    間引きの対象としないことを特徴とする請求項１〜３の
    いずれかに記載の音声画像同期再生装置。
  5. 【請求項５】 ディジタル符号化され、フレーム化また
    はブロック化されて、個々のフレームまたはブロックに
    再生時の時間情報を付加された画像ストリームおよび音
    声ストリームを同期再生する音声画像同期再生装置にお
    いて、 前記画像ストリームを復号して、複数の画像フレームに
    よって構成される画像データ系列を出力する第１の復号
    部と、 前記画像ストリームから画像用時間情報を抽出する第１
    の時間情報抽出部と、 前記音声ストリームを復号して、複数の音声ブロックに
    よって構成される音声データ系列を出力する第２の復号
    部と、 前記音声ストリームから音声用時間情報を抽出する第２
    の時間情報抽出部と、 再生時の基準時刻を出力するタイマー部と、 前記画像用時間情報と前記基準時刻とを照合し、その結
    果に応じて前記画像データ系列を時間軸圧縮伸張するこ
    とによって、前記画像データ系列を前記基準時刻に同期
    させる第１の同期部と、 前記音声データ系列中の個々の音声データもしくは音声
    データ群を一時記憶して出力する複数のバッファと、前
    記複数のバッファ毎の入出力を制御することによってス
    プーリングを行うスプーリング制御部とを有するスプー
    リング部を備え、 前記スプーリング制御部は、バッファアンダーフローま
    たはバッファオーバーフローが発生したと判断した場
    合、前記複数のバッファの全部もしくは一部を調整用バ
    ッファとして選択し、前記調整用バッファに一時記憶さ
    れている前記個々の音声データもしくは前記音声データ
    群を、繰り返して出力する、または、出力せずに消去す
    ることを特徴とする音声画像同期再生装置。
  6. 【請求項６】 ディジタル符号化され、フレーム化また
    はブロック化されて、個々のフレームまたはブロックに
    再生時の時間情報を付加された画像ストリームおよび音
    声ストリームを同期再生する音声画像同期再生装置にお
    いて、 前記画像ストリームを復号して、複数の画像フレームに
    よって構成される画像データ系列を出力する第１の復号
    部と、 前記画像ストリームから画像用時間情報を抽出する第１
    の時間情報抽出部と、 前記音声ストリームを復号して、複数の音声ブロックに
    よって構成される音声データ系列を出力する第２の復号
    部と、 前記音声ストリームから音声用時間情報を抽出する第２
    の時間情報抽出部と、 再生時の基準時刻を出力するタイマー部と、 前記画像用時間情報と前記基準時刻とを照合し、その結
    果に応じて前記画像データ系列を時間軸圧縮伸張するこ
    とによって、前記画像データ系列を前記基準時刻に同期
    させる第１の同期部と、 前記音声データ系列中の個々の音声データもしくは音声
    データ群を一時記憶して出力する複数のバッファと、前
    記複数のバッファ毎の入出力を制御することによってス
    プーリングを行うスプーリング制御部とを有するスプー
    リング部と、 ディジタルアナログ変換器および前記ディジタルアナロ
    グ変換器にクロックを供給するクロック発生器を有し、
    前記音声データ系列を音声として出力する音声出力部
    と、 所定の時刻からの前記クロックを積算して経過実時間を
    求めるクロック積算手段と、 前記音声用時間情報から得られる前記所定の時刻からの
    経過時間と前記経過実時間とを比較する比較手段と、 前記経過時間と前記経過実時間との差である経過時間差
    が所定の値を超えた場合に、前記経過時間差を少なくす
    るように、スプーリングを行うことを前記スプーリング
    制御部に指示するクロックずれ補正手段とを備え、 前記スプーリング制御部は、前記クロックずれ補正手段
    の指示にしたがって、前記複数のバッファの全部もしく
    は一部を調整用バッファとして選択し、前記調整用バッ
    ファに一時記憶されている前記個々の音声データもしく
    は前記音声データ群を、繰り返して出力する、または、
    出力せずに消去することを特徴とする音声画像同期再生
    装置。
  7. 【請求項７】 前記スプーリング部は、前記バッファ毎
    に一時記憶される前記個々の音声データもしくは前記音
    声データ群を、音声レベルによって有音と無音とに分類
    する第２の有音無音検出手段を有し、 前記スプーリング制御部は、前記調整用バッファを選択
    する際、前記第２の有音無音検出手段によって無音と分
    類された前記個々の音声データもしくは前記音声データ
    群が一時記憶されている前記バッファがあれば、それを
    前記調整用バッファとすることを特徴とする請求項５ま
    たは６に記載の音声画像同期再生装置。
  8. 【請求項８】 前記スプーリング部は、前記バッファ毎
    に一時記憶される前記音声データ群の音声の周期性を判
    別する第２の周期性検出手段を有し、 前記スプーリング制御部は、前記調整用バッファを選択
    する際、前記第２の周期性検出手段によって周期性が高
    いと判別された前記音声データ群が一時記憶されている
    前記バッファがあれば、それを前記調整用バッファとす
    ることを特徴とする請求項５または６に記載の音声画像
    同期再生装置。
  9. 【請求項９】 ディジタル符号化され、フレーム化また
    はブロック化されて、個々のフレームまたはブロックに
    再生時の時間情報を付加された画像ストリームおよび音
    声ストリームを同期再生する音声画像同期再生装置にお
    いて、 前記画像ストリームを復号して、複数の画像フレームに
    よって構成される画像データ系列を出力する第１の復号
    部と、 前記画像ストリームから画像用時間情報を抽出する第１
    の時間情報抽出部と、 前記音声ストリームを復号して、複数の音声ブロックに
    よって構成される音声データ系列を出力する第２の復号
    部と、 前記音声ストリームから音声用時間情報を抽出する第２
    の時間情報抽出部と、 再生時の基準時刻を出力するタイマー部と、 前記画像用時間情報と前記基準時刻とを照合し、その結
    果に応じて前記画像データ系列を時間軸圧縮伸張するこ
    とによって、前記画像データ系列を前記基準時刻に同期
    させる第１の同期部と、 前記画像データ系列中の個々の画像データもしくは画像
    データ群を一時記憶して出力する複数のバッファと、前
    記複数のバッファ毎の入出力を制御することによってス
    プーリングを行うスプーリング制御部とを有するスプー
    リング部と、 ディジタルアナログ変換器および前記ディジタルアナロ
    グ変換器にクロックを供給するクロック発生器を有し、
    前記画像データ系列を画像として表示する表示部と、 所定の時刻からの前記クロックを積算して経過実時間を
    求めるクロック積算手段と、 前記画像用時間情報から得られる前記所定の時刻からの
    経過時間と前記経過実時間とを比較する比較手段と、 前記経過時間と前記経過実時間との差である経過時間差
    が所定の値を超えた場合に、前記経過時間差を少なくす
    るように、スプーリングを行うことを前記スプーリング
    制御部に指示するクロックずれ補正手段とを備え、 前記スプーリング制御部は、前記クロックずれ補正手段
    の指示にしたがって、前記複数のバッファの全部もしく
    は一部を調整用バッファとして選択し、前記調整用バッ
    ファに一時記憶されている前記個々の画像データもしく
    は前記画像データ群を、繰り返して出力する、または、
    出力せずに消去することを特徴とする音声画像同期再生
    装置。
  10. 【請求項１０】 ディジタル符号化され、フレーム化ま
    たはブロック化されて、個々のフレームまたはブロック
    に再生時の時間情報を付加された画像ストリームおよび
    音声ストリームを同期再生する音声画像同期再生装置に
    おいて、 前記画像ストリームを復号して、複数の画像フレームに
    よって構成される画像データ系列を出力する第１の復号
    部と、 前記画像ストリームから画像用時間情報を抽出する第１
    の時間情報抽出部と、 前記音声ストリームを復号して、複数の音声ブロックに
    よって構成される音声データ系列を出力する第２の復号
    部と、 前記音声ストリームから音声用時間情報を抽出する第２
    の時間情報抽出部と、 再生時の基準時刻を出力するタイマー部と、 前記画像用時間情報と前記基準時刻とを照合し、その結
    果に応じて前記画像データ系列を時間軸圧縮伸張するこ
    とによって、前記画像データ系列を前記基準時刻に同期
    させる第１の同期部と、 ディジタルアナログ変換器および前記ディジタルアナロ
    グ変換器にクロックを供給するクロック発生器を有し、
    前記音声データ系列を音声として出力する音声出力部
    と、 所定の時刻からの前記クロックを積算して経過実時間を
    求めるクロック積算手段と、 前記経過実時間と、前記音声用時間情報から得られる前
    記所定の時刻からの経過時間とを比較して、前記音声出
    力部へ入力される前記音声データ系列のディジタル音声
    信号のサンプリングのずれを検出するサンプリングずれ
    検出手段と、 前記サンプリングのずれを補正するように、前記サンプ
    リングのサンプリング周波数の変換を行った後、前記音
    声出力部へ前記音声データ系列を出力するサンプリング
    変換手段とを備えることを特徴とする音声画像同期再生
    装置。
  11. 【請求項１１】 ディジタル符号化され、フレーム化ま
    たはブロック化されて、個々のフレームまたはブロック
    に再生時の時間情報を付加された画像ストリームおよび
    音声ストリームを同期再生する音声画像同期再生装置に
    おいて、 前記画像ストリームを復号して、複数の画像フレームに
    よって構成される画像データ系列を出力する第１の復号
    部と、 前記画像ストリームから画像用時間情報を抽出する第１
    の時間情報抽出部と、 前記音声ストリームを復号して、複数の音声ブロックに
    よって構成される音声データ系列を出力する第２の復号
    部と、 前記音声ストリームから音声用時間情報を抽出する第２
    の時間情報抽出部と、 再生時の基準時刻を出力するタイマー部と、 前記画像用時間情報と前記基準時刻とを照合し、その結
    果に応じて前記画像データ系列を時間軸圧縮伸張するこ
    とによって、前記画像データ系列を前記基準時刻に同期
    させる第１の同期部と、 ディジタルアナログ変換器および前記ディジタルアナロ
    グ変換器にクロックを供給するクロック発生器を有し、
    前記画像データ系列を画像として表示する表示部と、 所定の時刻からの前記クロックを積算して経過実時間を
    求めるクロック積算手段と、 前記経過実時間と、前記音声用時間情報から得られる前
    記所定の時刻からの経過時間とを比較して、前記表示部
    へ入力される前記画像データ系列のディジタル画像信号
    のサンプリングのずれを検出するサンプリングずれ検出
    手段と、 前記サンプリングのずれを補正するように、前記サンプ
    リングのサンプリング周波数の変換を行った後、前記表
    示部へ前記画像データ系列を出力するサンプリング変換
    手段とを備えることを特徴とする音声画像同期再生装
    置。
JP19200298A 1998-07-07 1998-07-07 音声画像同期再生装置 Pending JP2000032397A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19200298A JP2000032397A (ja) 1998-07-07 1998-07-07 音声画像同期再生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19200298A JP2000032397A (ja) 1998-07-07 1998-07-07 音声画像同期再生装置

Publications (1)

Publication Number Publication Date
JP2000032397A true JP2000032397A (ja) 2000-01-28

Family

ID=16283981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19200298A Pending JP2000032397A (ja) 1998-07-07 1998-07-07 音声画像同期再生装置

Country Status (1)

Country Link
JP (1) JP2000032397A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005253056A (ja) * 2004-02-06 2005-09-15 Canon Inc 撮像装置
CN100452859C (zh) * 2004-06-01 2009-01-14 扬智科技股份有限公司 快速影音同步调整的方法
JP2009100066A (ja) * 2007-10-15 2009-05-07 Nec Electronics Corp 同期再生装置、及び、同期処理装置
CN100495524C (zh) * 2004-12-27 2009-06-03 株式会社东芝 用于中继流数据的信息处理装置
US8301018B2 (en) 2007-10-24 2012-10-30 Panasonic Corporation Audio/video synchronous playback device
JP2015156584A (ja) * 2014-02-20 2015-08-27 富士通株式会社 動画像音声同期装置、動画像音声同期方法及び動画像音声同期用コンピュータプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005253056A (ja) * 2004-02-06 2005-09-15 Canon Inc 撮像装置
JP4500694B2 (ja) * 2004-02-06 2010-07-14 キヤノン株式会社 撮像装置
CN100452859C (zh) * 2004-06-01 2009-01-14 扬智科技股份有限公司 快速影音同步调整的方法
CN100495524C (zh) * 2004-12-27 2009-06-03 株式会社东芝 用于中继流数据的信息处理装置
JP2009100066A (ja) * 2007-10-15 2009-05-07 Nec Electronics Corp 同期再生装置、及び、同期処理装置
US8301018B2 (en) 2007-10-24 2012-10-30 Panasonic Corporation Audio/video synchronous playback device
JP2015156584A (ja) * 2014-02-20 2015-08-27 富士通株式会社 動画像音声同期装置、動画像音声同期方法及び動画像音声同期用コンピュータプログラム
KR20150098563A (ko) * 2014-02-20 2015-08-28 후지쯔 가부시끼가이샤 동화상 음성 동기 장치, 동화상 음성 동기 방법 및 동화상 음성 동기용 컴퓨터 프로그램
KR101642642B1 (ko) * 2014-02-20 2016-07-25 후지쯔 가부시끼가이샤 동화상 음성 동기 장치, 동화상 음성 동기 방법 및 동화상 음성 동기용 컴퓨터 프로그램
US9489980B2 (en) 2014-02-20 2016-11-08 Fujitsu Limited Video/audio synchronization apparatus and video/audio synchronization method

Similar Documents

Publication Publication Date Title
US6512884B1 (en) Method and apparatus for synchronized play back of audio-video signals
JP3932059B2 (ja) 信号処理装置
JP3976759B2 (ja) 音声信号と映像信号を同期させる装置
EP0920219B1 (en) Audio/video synchronous reproducer enabling accurate synchronization between audio and video data and a method of audio/video synchronous reproduction
JP3629253B2 (ja) 音声再生装置および同装置で用いられる音声再生制御方法
JP3063838B2 (ja) オーディオ・ビデオ同期再生装置および方法
JPH07303240A (ja) デジタル記録音声及びビデオの同期式可変速度再生
EP0840528A2 (en) An apparatus for a synchronized playback of audio-video signals
US7158187B2 (en) Audio video reproduction apparatus, audio video reproduction method, program, and medium
US7240013B2 (en) Method and apparatus for controlling buffering of audio stream
JP2000032397A (ja) 音声画像同期再生装置
JP4903930B2 (ja) 信号処理装置
JPH09135424A (ja) デジタルｖｔｒの伝送ビットストリーム記録／再生装置及びその制御方法
US6043851A (en) Image and sound synchronizing reproduction apparatus and method of the same
JP5310189B2 (ja) ビデオエンコーダ装置及び該ビデオエンコーダ装置に用いられる符号化データ出力方法
JP2008054159A (ja) 映像音声多重化装置
JP2624538B2 (ja) テレビジョン方式変換に伴う音声同期方法
JP2003339023A (ja) 動画再生装置
KR20070056547A (ko) 신호의 처리방법 및 장치
JP2000004423A (ja) 情報再生装置及び方法
JP2020145585A (ja) 同期化装置、同期化方法及びプログラム
JP4167415B2 (ja) 同期処理装置及び同期処理方法
JP4894251B2 (ja) 音声切替方法及び音声切替装置
JPH04324777A (ja) 画像音声同期システム
JP2005101818A (ja) 復号再生装置、復号再生用プログラムおよび復号再生方法