JP2005303816A

JP2005303816A - 動画再生装置

Info

Publication number: JP2005303816A
Application number: JP2004119191A
Authority: JP
Inventors: Yasuo Yomogida; 康雄蓬田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-04-14
Filing date: 2004-04-14
Publication date: 2005-10-27

Abstract

【課題】再生時に加工を加えても、音声と画像とが同期した映像出力を行うことのできる動画再生装置を提供する。
【解決手段】音声データ復号化部２５と、動画像データ復号化部２６と、復号化された音声データを加工して加工音声データを出力する音声データ加工部２８と、加工音声データの再生が終了する終了時刻と、加工前の音声データの再生終了予定時刻とにより、時刻調整情報を生成する同期信号調整部２９と、前記時刻調整情報にしたがって時刻同期信号を調整し、音声データ復号化部２５と動画像データ復号化部２６とに与える音声動画像同期部２７とを備え、調整された時刻によって音声データの復号化再生と動画像データの復号化再生とを行い、再生時に加工を加えても、大きなバッファを設けずに、音声と画像とが同期した映像出力を行うことができる。
【選択図】図１

Description

本発明は、音声データおよび動画像データが多重化された多重化データを再生する動画再生装置に関する。

従来の動画再生装置は、図９に示すように、記録メディア１からの信号を読み出すデータ読み出し手段２と、データ読み出し手段２がデータを読み出すための読み出しクロックを生成する読み出しクロック生成手段３と、読み出されたデータを圧縮音声データと圧縮画像データとに分離するデータ分離手段４と、圧縮音声データを復号化し出力する圧縮音声データデコード手段５と、圧縮画像データを復号化し出力する圧縮画像データデコード手段６と、復号化された圧縮音声データと圧縮画像データを出力する際に音声と画像を同期させるためのクロックを読み出しクロックから生成する同期クロック生成手段１７とを備えている。記録メディア１は、圧縮動画が記録された記録ディスクである。

このような従来の動画再生装置は、読み出しクロック生成手段３が生成する読み出しクロックにしたがって記録ディスク１からデータ読み出し手段２によってデータが読み出される。読み出されたデータは、データ分離手段４によって圧縮音声データと圧縮画像データとに分離され、圧縮音声データは圧縮音声データデコード手段５へ、圧縮画像データは圧縮画像データデコード手段６へ送られてそれぞれ復号化される。復号化された音声および画像データは読み出しクロック生成手段３が生成する読み出しクロックをもとに同期クロック生成手段１７で生成された同期クロックにしたがって音声と画像が同期して出力される（例えば特許文献１参照）。

ところで、このような従来の動画再生装置において、動画像の再生速度を変更したり、効果音を付けたりすると言う要求がある。この場合、復号化後の音声に加工を加え、再生速度の変更や効果音を付ける。そして、このまま音声と、画像とを出力してしまうと、音声の出力タイミングと画像の出力タイミングが合わず、映像と音声とが合わない、いわゆるリップシンクがとれていない状態で出力される。このため、復号化および加工後の音声と、画像とを一時的にためるバッファを設けて、出力タイミングを合わせるということが考えられる。
特開平０７−１５３１９４号公報（第３頁、第１図）

しかしながら、このような従来の動画再生装置においては、復号化後の音声および動画像を蓄積するため、大きなバッファが必要になるという問題、あるいは、バッファを設けないと音声と画像との同期がとれないという問題があった。

本発明は、このような従来の問題を解決するためになされたもので、再生時に加工を加えても、大きなバッファを設けずに、音声と画像とが同期した映像出力を行うことのできる動画再生装置を提供するものである。

本発明の動画再生装置は、音声データおよび動画像データが多重化された多重化データを読み出す多重化データ読み出し手段と、前記多重化データ読み出し手段が読み出した多重化データを、前記音声データと、前記動画像データとに、分離する多重化データ分離手段と、前記多重化データ分離手段に分離された音声データを復号化する音声データ復号化手段と、前記多重化データ分離手段に分離された動画像データを復号化する動画像データ復号化手段と、前記復号化した音声データと、前記復号化した動画像データとの再生を同期させるため、前記音声データ復号化手段と前記動画像データ復号化手段とに時刻同期信号を与える音声動画像同期手段と、前記音声データ復号化手段に復号化された音声データを加工して加工音声データを出力する音声データ加工手段と、前記音声データ加工手段に加工された加工音声データの再生が終了する終了時刻と、加工前の音声データの再生終了予定時刻とにより、時刻調整情報を生成し、前記音声動画像同期手段に与える同期信号調整手段とを備え、前記音声動画像同期手段が、前記同期信号調整手段に与えられた音声データの時刻調整情報にしたがって前記時刻同期信号を、前記加工音声データの再生が終了する終了時刻を前記加工前の音声データの再生終了予定時刻に調整し、前記音声データ復号化手段と前記動画像データ復号化手段とに与えることを特徴とした構成を有している。

この構成により、加工後の音声データの再生が終了する終了時刻を、加工前の音声データの再生終了予定時刻に調整して、音声データの復号化再生と動画像データの復号化再生とを行うことができ、再生時に加工を加えても、大きなバッファを設けずに、音声と画像とが同期した映像出力を行うことができる。

また、本発明の動画再生装置は、前記音声データ加工手段は、前記音声データ復号化手段に復号化された音声データを、再生時の速度が変わるように前記加工音声データを生成することを特徴とした構成を有している。

この構成により、再生速度の変更を行っても、大きなバッファを設けずに、音声と画像とが同期した映像出力を行うことができる。

さらに、本発明の動画再生装置は、前記音声データ加工手段は、前記音声データ復号化手段に復号化された音声データに、音声効果を施して前記加工音声データを生成することを特徴とした構成を有している。

この構成により、再生時に効果音を付ける等の加工を加えても、大きなバッファを設けずに、音声と画像とが同期した映像出力を行うことができる。

さらに、本発明の動画再生装置は、前記動画像データ復号化手段は、１つの前記音声データの加工前の再生時間のみ前記動画像データの復号化再生を行い、前記音声動画像同期手段から与えられる調整後の時刻同期信号が与えられるまで前記動画像データの復号化再生を保留することを特徴とした構成を有している。

この構成により、次の音声データの再生が始まる前に、この期間内の画像の再生が行われないので、映像が逆戻りすることが無く、スムーズな映像再生を行うことができることとなる。

本発明は、音声データ復号化手段と、動画像データ復号化手段と、復号化された音声データを加工して加工音声データを出力する音声データ加工手段と、加工音声データの再生が終了する終了時刻と、加工前の音声データの再生終了予定時刻とにより、時刻調整情報を生成する同期信号調整手段と、前記時刻調整情報にしたがって時刻同期信号を調整し、前記音声データ復号化手段と前記動画像データ復号化手段とに与える音声動画像同期手段とを設けることにより、加工後の音声データの再生が終了する終了時刻を、加工前の音声データの再生終了予定時刻に調整して、音声データの復号化再生と動画像データの復号化再生とを行うことができ、再生時に加工を加えても、大きなバッファを設けずに、音声と画像とが同期した映像出力を行うことができるという効果を有する動画再生装置を提供することができるものである。

以下、本発明の実施の形態の動画再生装置について、図面を用いて説明する。

本発明の実施の形態の動画再生装置を図１に示す。図１において、動画再生装置２０は、音声データおよび動画像データが多重化され記録された記録メディア１から多重化データを読み出す多重化データ読み出し部２２と、この多重化データ読み出し部２２が記録メディア１から多重化データを読み出すための読み出しクロックを生成する読み出しクロック生成部２３と、多重化データ読み出し部２２が読み出した多重化データを、音声データと動画像データとに分離する多重化データ分離部２４と、多重化データ分離部２４に分離された音声データを復号化する音声データ復号化部２５と、多重化データ分離部２４に分離された動画像データを復号化する動画像データ復号化部２６と、前記復号化した音声データと、前記復号化した動画像データとの再生を同期させるため、音声データ復号化部２５と動画像データ復号化部２６とに同期クロックを与える音声動画像同期部２７と、音声データ復号化部２５に復号化された音声データを加工して加工音声データを出力する音声データ加工部２８と、音声データ加工部２８に加工された加工音声データの再生が終了する終了時刻と、加工前の音声データの再生終了予定時刻とにより、時刻調整情報を生成し、音声動画像同期部２７に与える同期信号調整部２９とを備えている。

また、音声動画像同期部２７は、同期信号調整部２９に与えられた音声データの時刻調整情報にしたがって前記同期クロックを、前記加工音声データの再生が終了する終了時刻を前記加工前の音声データの再生終了予定時刻に調整し、音声データ復号化部２５と動画像データ復号化部２６とに与えるものである。

以上のように構成された動画再生装置について、その動作を説明する。

まず、読み出しクロック生成部２３が生成する読み出しクロックにしたがって記録メディア１から多重化データ読み出し部２２によって多重化データが読み出される。読み出された多重化データは、多重化データ分離部２４によって音声データと動画像データとに分離され、音声データは音声データ復号化部２５へ、動画像データは動画像データ復号化部２６へそれぞれ送られる。

音声データ復号化部２５および動画像データ復号化部２６には、読み出しクロック生成部２３が生成する読み出しクロックをもとに音声動画像同期部２７で生成された同期クロックが入力され、音声データおよび動画像データが復号化され、音声と動画像が同期して出力される。

音声データ復号化部２５から出力された復号化済みの音声データは、音声データ加工部２８に入力され、再生スピードの変更や効果音等が付けられて出力される。このとき、加工された加工音声データの再生が終了する終了時刻と、加工前の音声データの再生終了予定時刻とが、同期信号調整部２９に出力される。

同期信号調整部２９では、加工された加工音声データの再生が終了する終了時刻と、加工前の音声データの再生終了予定時刻とにより、時刻調整情報が生成され、音声動画像同期部２７に出力される。音声動画像同期部２７では、加工された加工音声データの再生が終了する終了時刻を、加工前の音声データの再生終了予定時刻に調整して、音声データ復号化部２５と動画像データ復号化部２６とに調整した同期クロックを与え、音声と動画像の同期をとる。

ここで、時刻調整の詳細説明に先立ち、上記多重化データ（音声データおよび動画像データ）についてＭＰＥＧを例に説明する。

ＭＰＥＧにおいては、音声データや動画像データ等の個々のデータ列であるエレメンタリーストリームを、複数多重化して１本のシステムストリームとすることができる。したがって、図２に示すように、システムストリーム（ＡＶ）は、映像用のエレメンタリーストリーム（Ｖ）と音声用のエレメンタリーストリーム（Ａ）を持つことができる。上記動画再生装置２０では、多重化データ分離部２４において、システムストリーム（ＡＶ）がエレメンタリーストリーム（Ａ）とエレメンタリーストリーム（Ｖ）に分離される。

また、図３に示すように、システムストリームは、それぞれのエレメンタリーストリームが符号化されて、複数のパケットで記録される。動画像データと音声データとが多重化されたシステムストリームの各パケットは、動画像データか音声データかに分けられ、パケットのヘッダ情報で区別することができる。

また、動画像とは、静止画像を連続して表示出力するものであるので、１つの音声用パケットのデータを再生中に、他の動画像用パケットから複数の画像データを復号化して表示することにより、音声と映像とを同時に再生する。

また、図４に示すように、音声データと画像データには、それぞれ復号再生処理の時刻管理情報（以下、タイムスタンプという）が付けられ、このタイムスタンプにより音声と映像とを同期して再生することができる。

ここで、動画像は、１秒間に約３０枚（実際には、２９．９７枚）の静止画像（フレーム）からなるものが一般的であり、音声データは、７８ｍｓ単位程度に分割されるものが一般的である。したがって、以下の説明では、動画像データは、１秒間に３０枚の静止画像（フレーム）を出力するもの、音声データは７８ｍｓごとに区切られているものとして、説明する。

図５に示すように、動画像および音声の区切りを上記のように行うと、動画像データは約３３ｍｓごとに出力され、音声データは７８ｍｓごとに出力される。したがって、映像タイムスタンプは、約３３ｍｓごとに、音声タイムスタンプは、７８ｍｓごとに付けられる。このような動画像データと音声データをそのまま出力すると、映像と音声が同期して出力される。

ところが、再生スピードの変更を行う場合、上記のように、音声データ加工部２８において、音声データ復号化部２５により復号化された音声データを加工して、音声データを伸ばして再生時間を長くしたり、縮めて再生時間を短くしたりする。ここで、音声データの加工技術としては、例えば、ＴＳＭ（Time Scale Modification）というピッチを変更せずに音声データの伸縮を行う加工技術を使用する。この場合、図６に示すように、音声データは、７８ｍｓより長くなったり、短くなったりする。したがって、このような状態のまま再生を続けると、音声と映像がずれていってしまう。また、効果音等を付ける場合には、音声データ加工部２８で効果音処理のための時間が音声データを出力する前に必要となり、この場合にも、音声と映像がずれてしまう。

そこで、このような音声と映像のずれを補正するため、音声データ加工部２８によって音声データに加工を行った場合には、元の音声データの終了時刻または次の音声データのタイムスタンプを同期信号調整部２９に出力する。同期信号調整部２９は、このタイムスタンプを音声動画像同期部２７に出力し、再生時刻に変動があったことを伝え、音声動画像同期部２７から出力される音声動画像同期クロックを調整する。調整された音声動画像同期クロックは、音声動画像同期部２７から動画像データ復号化部２６に入力され、動画像データ復号化部２６における動画像データの復号再生時刻が調整される。これにより、動画像データ復号化部２６から出力される動画像と、音声データ加工部２８から出力される音声とが同期されて、再生スピードを変更した場合においても、効果音処理等を行った場合においても、映像と音声が一致した再生を行うことができる。

また、図７に再生スピードを遅くした場合のタイミングチャートを示し、音声データと動画像データの出力タイミングについて、説明する。

まず、動画像データ復号化部２６に入力された画像データは、０ｍｓ、３３ｍｓ、３６ｍｓのタイミングで復号化再生される。一方、音声データは、音声データ復号化部２５で復号化され、音声データ加工部２８に出力される。音声データ加工部２８では、復号化された音声データを再生スピードが遅くなるように引き伸ばす。したがって、７８ｍｓの１つの音声データは、再生に７８ｍｓより長くかかる（例えば、２０％伸ばした場合には、９４ｍｓ）。この復号化済み音声データの再生終了時刻（９４ｍｓ）に合わせて、元の音声データの終了時刻（７８ｍｓ）または次の音声データのタイムスタンプを同期信号調整部２９に出力する。

同期信号調整部２９では、音声データ加工部２８から入力した元の音声データの終了時刻（７８ｍｓ）を、音声動画像同期部２７に通知し、音声動画像同期部２７から動画像データ復号化部２６および音声データ復号化部２５に出力される同期クロックを調整する。そして、動画像データ復号化部２６および音声データ復号化部２５では、引き伸ばされた音声データの終了時刻（９４ｍｓ）が、元の音声データの終了時刻（７８ｍｓ）に修正される。

この時刻修正により、動画像データ復号化部２６では、時刻修正前の次の動画像データの復号再生予定の時刻（実際の時刻は１００ｍｓ）になっても、まだ再生時刻にはなっていない（修正された時刻では８４ｍｓ）と判定され、修正された時刻の画像データ復号再生時刻（修正された時刻では１００ｍｓ：実際には１１６ｍｓ）に復号化再生が行われる。

以下、動画像データ復号化部２６および音声データ復号化部２５では、この修正された時刻により処理を行う。したがって、動画像データ復号化部２６における次の動画像データの復号化再生は、修正された時刻が１３３ｍｓ（実際の時刻は１４９ｍｓ）になったときに行われる。

さらに、次の音声データ（７８ｍｓ〜１５６ｍｓのデータ）は、音声データ復号化部２５で復号化され、音声データ加工部２８に出力される。音声データ加工部２８では、上記同様に、音声データを引き伸ばし、再生するとともに、この復号化済み音声データの再生終了時刻（１７２ｍｓ）に合わせて、元の音声データの終了時刻（１５６ｍｓ）または次の音声データのタイムスタンプを同期信号調整部２９に出力する。

以下、上記と同様に時刻修正を行って、修正された時刻の１６７ｍｓ（実際の時刻は１９８ｍｓ）、２００ｍｓ（実際の時刻は２３１ｍｓ）、２３３ｍｓ（実際の時刻は２６４ｍｓ）と順に画像データの復号化再生が行われる。

このように、音声データを引き伸ばし、時刻の修正を行って動画像データの復号再生時刻を調整することにより、音声データおよび動画像データを実際より長い時間をかけて再生する（７８ｍｓの音声を９２ｍｓで、３０枚の画像を１．２ｓかけて再生する）ことにより、再生スピードを遅くするとともに、音声と映像が同期した再生を行うことができる。

さらに、図８に再生スピードを速くした場合のタイミングチャートを示し、音声データと動画像データの出力タイミングについて、説明する。

まず、動画像データ復号化部２６に入力された画像データは、０ｍｓ、３３ｍｓのタイミングで復号化再生される。一方、音声データは、音声データ復号化部２５で復号化され、音声データ加工部２８に出力される。音声データ加工部２８では、復号化された音声データを再生スピードが速くなるように縮める。したがって、７８ｍｓの１つの音声データは、再生するのに７８ｍｓより短くなる（例えば、２０％縮めた場合には、６２ｍｓ）。この復号化済み音声データの再生終了時刻（６２ｍｓ）に合わせて、元の音声データの終了時刻（７８ｍｓ）または次の音声データのタイムスタンプを同期信号調整部２９に出力する。

同期信号調整部２９では、音声データ加工部２８から入力した元の音声データの終了時刻（７８ｍｓ）を、音声動画像同期部２７に通知し、音声動画像同期部２７から動画像データ復号化部２６および音声データ復号化部２５に出力される同期クロックを調整する。そして、動画像データ復号化部２６および音声データ復号化部２５では、縮めた音声データの終了時刻（６２ｍｓ）が、元の音声データの終了時刻（７８ｍｓ）に修正される。

この時刻修正により、動画像データ復号化部２６では、縮めた音声データの終了時刻（６２ｍｓ）と、元の音声データの終了時刻（７８ｍｓ）との間に、動画像データの表示予定の時刻（６７ｍｓ）が入っていたら、すぐに表示を行う。以下、動画像データ復号化部２６および音声データ復号化部２５では、この修正された時刻により処理を行う。したがって、動画像データ復号化部２６における次の動画像データの復号化再生は、修正前の復号再生予定時刻よりも速く、修正された時刻が１００ｍｓ（実際の時刻は８４ｍｓ）、１３３ｍｓ（実際の時刻は１１７ｍｓ）になったときに行われる。

さらに、次の音声データ（７８ｍｓ〜１５６ｍｓのデータ）は、音声データ復号化部２５で復号化され、音声データ加工部２８に出力される。音声データ加工部２８では、上記同様に、音声データを縮めて、再生するとともに、この復号化済み音声データの再生終了時刻（１２５ｍｓ）に合わせて、元の音声データの終了時刻（１５６ｍｓ）または次の音声データのタイムスタンプを同期信号調整部２９に出力する。

以下、上記と同様に時刻修正を行って、修正された時刻の１６７ｍｓ（実際の時刻は１３６ｍｓ）、２００ｍｓ（実際の時刻は１６９ｍｓ）と順に画像データの復号化再生が行われる。

このように、音声データを縮めて、時刻の修正を行って動画像データの復号再生時刻を調整することにより、音声データおよび動画像データを実際より短い時間で再生する（７８ｍｓの音声を６２ｍｓで、３０枚の画像を０．８ｓで再生する）ことにより、再生スピードを速くするとともに、音声と映像が同期した再生を行うことができる。

また、効果音処理等を行った場合においても、再生スピードに変更を行ったときと同様に、音声データ加工部２８からタイムスタンプを出力し、動画像データ復号化部２６および音声データ復号化部２５の時刻調整を行うことにより、音声と映像が同期した再生を行うことができる。

以上のように、本発明にかかる動画再生装置は、加工後の音声データの再生が終了する終了時刻を、加工前の音声データの再生終了予定時刻に調整して、音声データの復号化再生と動画像データの復号化再生とを行うことができ、再生時に加工を加えても、大きなバッファを設けずに、音声と画像とが同期した映像出力を行うことができるという効果を有し、音声データおよび動画像データが多重化された多重化データを再生する動画再生装置等として有用である。

本発明の実施の形態における動画再生装置のブロック図システムストリームとエレメンタリーストリームの関係を示す図画像データと音声データの再生イメージを示す図画像データと音声データに付けられるタイムスタンプを模式的に示す図画像データと音声データの復号化再生タイミングを示すタイミングチャート音声データ加工時の再生データ長イメージを示す図再生速度を遅くした場合の画像データと音声データの復号化再生タイミングを示すタイミングチャート再生速度を速くした場合の画像データと音声データの復号化再生タイミングを示すタイミングチャート従来の動画再生装置のブロック図

符号の説明

１記録メディア
２データ読み出し手段
３読み出しクロック生成手段
４データ分離手段
５圧縮音声データデコード手段
６圧縮画像データデコード手段
１７同期クロック生成手段
２０動画再生装置
２２多重化データ読み出し部
２３読み出しクロック生成部
２４多重化データ分離部
２５音声データ復号化部
２６動画像データ復号化部
２７音声動画像同期部
２８音声データ加工部
２９同期信号調整部

Claims

音声データおよび動画像データが多重化された多重化データを読み出す多重化データ読み出し手段と、
前記多重化データ読み出し手段が読み出した多重化データを、前記音声データと、前記動画像データとに、分離する多重化データ分離手段と、
前記多重化データ分離手段に分離された音声データを復号化する音声データ復号化手段と、
前記多重化データ分離手段に分離された動画像データを復号化する動画像データ復号化手段と、
前記復号化した音声データと、前記復号化した動画像データとの再生を同期させるため、前記音声データ復号化手段と前記動画像データ復号化手段とに時刻同期信号を与える音声動画像同期手段と、
前記音声データ復号化手段に復号化された音声データを加工して加工音声データを出力する音声データ加工手段と、
前記音声データ加工手段に加工された加工音声データの再生が終了する終了時刻と、加工前の音声データの再生終了予定時刻とにより、時刻調整情報を生成し、前記音声動画像同期手段に与える同期信号調整手段とを備え、
前記音声動画像同期手段が、前記同期信号調整手段に与えられた音声データの時刻調整情報にしたがって前記時刻同期信号を、前記加工音声データの再生が終了する終了時刻を前記加工前の音声データの再生終了予定時刻に調整し、前記音声データ復号化手段と前記動画像データ復号化手段とに与えることを特徴とする動画再生装置。
前記音声データ加工手段は、前記音声データ復号化手段に復号化された音声データを、再生時の速度が変わるように前記加工音声データを生成することを特徴とする請求項１に記載の動画再生装置。
前記音声データ加工手段は、前記音声データ復号化手段に復号化された音声データに、音声効果を施して前記加工音声データを生成することを特徴とする請求項１または請求項２に記載の動画再生装置。
前記動画像データ復号化手段は、１つの前記音声データの加工前の再生時間のみ前記動画像データの復号化再生を行い、前記音声動画像同期手段から与えられる調整後の時刻同期信号が与えられるまで前記動画像データの復号化再生を保留することを特徴とする請求項１から請求項３までのいずれか１項に記載の動画再生装置。