JP2004007140A - 音声再生装置および同装置で用いられる音声再生制御方法 - Google Patents
音声再生装置および同装置で用いられる音声再生制御方法 Download PDFInfo
- Publication number
- JP2004007140A JP2004007140A JP2002158898A JP2002158898A JP2004007140A JP 2004007140 A JP2004007140 A JP 2004007140A JP 2002158898 A JP2002158898 A JP 2002158898A JP 2002158898 A JP2002158898 A JP 2002158898A JP 2004007140 A JP2004007140 A JP 2004007140A
- Authority
- JP
- Japan
- Prior art keywords
- audio data
- audio
- reproduction
- volume level
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4112—Peripherals receiving signals from specially adapted client devices having fewer capabilities than the client, e.g. thin client having less processing power or no tuning capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4392—Processing of audio elementary streams involving audio buffer management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】視聴者に不自然な印象を与えることなく、他の装置で再生される映像データとの間の同期のずれに応じて音声データの再生速度を変更することが可能な音声再生装置を実現する。
【解決手段】音声再生装置２０においては、映像再生装置１０との通信を利用して、映像再生装置１０における映像データの再生位置と音声再生装置２０における音声データの再生位置との間のずれ量が検出される。さらに、再生すべき音声データの中から音量レベルが特定値よりも低い音声データ区間が検出される。再生位置のずれ量に基づく音声データの再生速度の変更は、検出された音声データ区間内で実行される。これにより、視聴者に不自然な印象を与えることなく、他の装置で再生される映像データとの間の同期のずれに応じて音声データの再生速度を変更することが可能となる。
【選択図】 図１
【解決手段】音声再生装置２０においては、映像再生装置１０との通信を利用して、映像再生装置１０における映像データの再生位置と音声再生装置２０における音声データの再生位置との間のずれ量が検出される。さらに、再生すべき音声データの中から音量レベルが特定値よりも低い音声データ区間が検出される。再生位置のずれ量に基づく音声データの再生速度の変更は、検出された音声データ区間内で実行される。これにより、視聴者に不自然な印象を与えることなく、他の装置で再生される映像データとの間の同期のずれに応じて音声データの再生速度を変更することが可能となる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は映像データと同期して再生すべき音声データを再生する音声再生装置および同装置で用いられる音声再生制御方法に関する。
【０００２】
【従来の技術】
近年、動画、音声などのマルチメディアデータの再生速度を変更するための技術が開発されている。
【０００３】
特開平９−２６１６１３号公報には、マルチメディアデータを受信および再生する装置において再生速度を可変にする再生方法が開示されている。この方法は、受信バッファ内のデータ残量に応じて再生速度を変更する。すなわち、この方法では、受信バッファ内のデータ残量が多い場合には再生速度を上げ、受信バッファ内のデータ残量が少ない場合には再生速度を下げるという制御が実行され、これにより受信バッファのオーバーフロー／アンダーフローの発生を防いでいる。
【０００４】
特開平５−１３５２２８号公報には、音声信号の無音期間を拡大させたり縮小させたりすることで、高音質を維持しつつ遅き聴き再生や早聴き再生を実現する技術が開示されている。
【０００５】
【発明が解決しようとする課題】
ところで、最近では、互いに同期して再生すべき映像データと音声データとをそれぞれ別個の装置で再生する技術の実現が要求されている。
【０００６】
映像と音声のような同期したメディアをそれぞれ異なる装置で再生する場合には、映像の再生タイミング制御のために参照するクロックと音声の再生タイミング制御のために参照するクロックとが異なり、これが映像と音声との同期のずれが生じる原因となる。また同期のずれを解消するために映像データまたは音声データの再生速度を変更すると、視聴者に不自然な印象を与えてしまうことになる。
【０００７】
本発明は上述の事情を考慮してなされたものであり、視聴者に不自然な印象を与えることなく、他の装置で再生される映像データとの間の同期のずれに応じて音声データの再生速度を変更することが可能な音声再生装置および同装置で用いられる音声再生制御方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、映像データと同期して再生すべき音声データを再生する音声再生装置において、前記映像データを再生する他の装置との間の通信を実行する通信装置と、前記通信装置による前記他の装置との通信を利用して、前記他の装置における映像データの再生位置と前記音声再生装置における音声データの再生位置との間のずれ量を検出する手段と、再生すべき音声データの中から音量レベルが特定値よりも低い音声データ区間を検出する手段と、前記検出された再生位置のずれ量に基づき、前記検出された音声データ区間内で前記音声データの再生速度を変更する再生速度制御手段とを具備することを特徴とする。
【０００９】
この音声再生装置においては、通信装置による他の装置との通信を利用して、他の装置における映像データの再生位置と前記音声再生装置における音声データの再生位置との間のずれ量が検出される。さらに、再生すべき音声データの中から音量レベルが特定値よりも低い音声データ区間が検出される。再生位置のずれ量に基づく音声データの再生速度の変更は、検出された音声データ区間内で実行される。これにより、視聴者に不自然な印象を与えることなく、他の装置で再生される映像データとの間の同期のずれに応じて音声データの再生速度を変更することが可能となる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１には、本発明の一実施形態に係る音声再生装置が示されている。この音声再生装置２０は、映像再生装置１０による動画などの映像データの再生と同期して音声データを再生するように構成されている。例えば、映像データとそれと同期して再生すべき音声データとを含むオーディオ・ビデオコンテントを再生する場合、映像データの再生は映像再生装置１０によって行われ、音声データの再生は音声再生装置２０によって行われる。
【００１１】
音声再生装置２０は、再生すべき音声データを有線または無線の通信路を介して外部機器から受信しながら、その受信した音声データを再生する。音声再生装置２０への音声データの送信には、映像再生装置１０から音声再生装置２０に音声データを送信する方法、または外部のコンテンツサーバから映像データおよび音声データをそれぞれ映像再生装置１０および音声再生装置２０に同時に送信する方法が用いられる。以下では、前者の方法を用いる場合を想定することとする。
【００１２】
オーディオ・ビデオコンテントを再生する場合、映像再生装置１０は、オーディオ・ビデオコンテントを映像データと音声データに分離し、音声データを音声再生装置２０に送信しながら、映像データの再生を行う。音声データの送信には、例えばｂｌｕｅｔｏｏｔｈ（Ｒ）、などに代表される近距離無線通信規格の無線通信が用いられる。この場合、映像再生装置１０は、音声データをアンテナ１０１から無線信号によって送信し、音声再生装置２０は映像再生装置１０から送信される音声データをアンテナ２０１を介して受信する。
【００１３】
音声再生装置２０は映像再生装置１０から送信される音声データを受信しながら、その受信した音声データの再生を行う。音声データの再生期間中は、音声再生装置２０は、映像再生装置１０との間で定期的に通信して、映像再生装置１０における映像データの再生位置と音声再生装置２０における音声データの再生位置との間のずれ量（映像と音声の同期のずれ量）を検出する。音声再生装置２０は、映像と音声の同期再生を実現するために、検出したずれ量に応じて音声データの再生速度を変更する。ここで、音声データの再生速度の変更は、音声データの音量レベルが予め決められた特定値よりも低い音声データ区間内で実行される。
【００１４】
次に、図３および図４を参照して、映像再生装置１０および音声再生装置２０それぞれの構成を説明する。
【００１５】
図３には、映像再生装置１０のシステム構成が示されている。映像再生装置１０は、例えばＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔｓ）、ポータブルパーソナルコンピュータ、移動電話機、のような携帯型電子機器として実現されている。この映像再生装置１０は、図示のように、ＣＰＵ１１、時刻管理部１２、記憶装置１３、無線通信デバイス１４、映像／音声分離部１５、復号部１６、映像再生部１７、およびディスプレイ１８を備えている。
【００１６】
ＣＰＵ１１は映像再生装置１０の動作を制御するために設けられたプロセッサである。このＣＰＵ１１はバス１００を介して映像再生装置１０の他のコンポーネントと接続されており、それら各コンポーネントと連携して動作する。時刻管理部１２は時刻を計時する時計デバイスから構成されており、映像データの再生動作の基準となる時刻情報を提供する。
【００１７】
記憶装置１３は例えば不揮発性メモリデバイスから構成されており、ここには、再生対象のオーディオ・ビデオコンテントが格納される。このオーディオ・ビデオコンテントは、符号化された映像データのストリームとそれと同期して再生すべき符号化された音声データのストリームとから構成されている。これら映像データストリームと音声データストリームは多重化されている。オーディオ・ビデオコンテントのデータフォーマットとしては、例えばＡＶＩ形式（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ Ｆｏｒｍａｔ）を使用することが出来る。ＡＶＩ形式のコンテントデータにおいては、映像および音声のメディア毎にそれに対応するサンプリングレートが記録されている。
【００１８】
映像／音声分離部１５は再生対象のコンテントデータを映像データと音声データに分離する。コンテントデータから分離された映像データは復号部１６に送られ、またコンテントデータから分離された音声データは無線通信デバイス１４に送られる。
【００１９】
無線通信デバイス１４は音声再生装置２０との間の無線接続を確立して、音声再生装置２０との間の無線通信を実行する。無線通信は、例えばＢｌｕｅｔｏｏｔｈ（Ｒ）の規格に準拠した手順で実行される。無線通信デバイス１４は、ＣＰＵ１１の制御に従い、符号化された音声データを無線信号によって音声再生装置２０に送信する。
【００２０】
復号部１６は符号化された映像データを復号して、圧縮形式の映像データを表示可能な形式に変換する。映像再生部１７はディスプレイ１８を制御し、復号部１６によって復号された映像データをディスプレイ１８上に表示するための再生動作を実行する。この場合、映像データの再生速度は、時刻管理部１２によって管理される時刻情報と映像データのサンプリングレートとに従って制御される。
【００２１】
映像再生部１７による映像データの再生は、例えば音声データの無線送信を開始してから一定時間経過した時点で開始される。この時間の値は、例えば、音声データの無線送信を開始してから、音声再生装置２０がその音声データの再生が可能になるまでに要する時間に基づいて予め決定されている。これにより、音声再生装置２０による音声データの再生と映像再生部１７による映像データの再生とを同時に開始させることが可能となる。
【００２２】
図４には、音声再生装置２０のシステム構成が示されている。音声再生装置２０は、上述したようにワイヤレスヘッドフォンとして実現されている。この音声再生装置２０は、図示のように、ＣＰＵ２１、時刻管理部２２、無線通信デバイス２３、復号部２４、バッファメモリ２５、音声再生部２６、音声出力装置２７、映像再生位置取得部２８、同期ずれ量検出部２９、音出力レベル検出部３０、および音声再生速度制御部３１を備えている。
【００２３】
ＣＰＵ２１は音声再生装置２０の動作を制御するために設けられたプロセッサである。このＣＰＵ２１はバス２００を介して音声再生装置２０の他のコンポーネントと接続されており、それら各コンポーネントと連携して動作する。時刻管理部２２は時刻を計時する時計デバイスから構成されており、音声データの再生動作の基準となる時刻情報を提供する。
【００２４】
無線通信デバイス２３は映像再生装置１０との間の無線接続を確立して、映像再生装置１０との間の無線通信を実行する。無線通信は、例えばＢｌｕｅｔｏｏｔｈ（Ｒ）の規格に準拠した手順で実行される。無線通信デバイス２３は、ＣＰＵ２１の制御に従い、映像再生装置１０から送信される符号化された音声データを受信する。
【００２５】
復号部２４は無線通信デバイス２３によって受信された符号化された音声データを復号して、圧縮形式の音声データを再生可能な形式に変換する。復号された音声データはバッファメモリ２５に格納される。このバッファメモリ２５は、再生すべき音声データを一時的に保持するための記憶装置である。このバッファメモリ２５には、例えば、５０ｍｓｅｃ〜６００ｍｓｅｃ程度の再生時間に相当する音声データが蓄積される。
【００２６】
音声再生部２６は、バッファメモリ２５に蓄積されている音声データをスピーカ又はベッドフォンからなる音声出力部２７を通じて音として再生出力する。この音声再生動作においては、バッファメモリ２５に蓄積されている音声データをデジタル形式からアナログ形式に変換する処理などが行われる。音声データの再生速度は、基本的には、時刻管理部２２によって管理される時刻情報と音声データのサンプリングレートとに従って決定されるが、音声再生速度制御部３１の制御によって変更することが出来る。
【００２７】
映像再生装置１０における映像再生タイミングの制御は音声再生装置２０で行われる音声再生タイミングの制御とは異なるクロック（時刻情報）が参照されているため、音声と映像の同期にずれが生じることが考えられる。もし映像の再生タイミング制御と音声の再生タイミング制御とで同一のクロックを参照することが出来れば、音声と映像の同期再生を容易に実現できる。しかし、本実施形態のように映像と音声を再生する装置が互いに異なる場合には、一方の装置から他方の装置のクロックを頻繁に参照することは実際上困難である。
【００２８】
そこで、本実施形態では、音声の再生タイミング制御は、上述したように、映像の再生タイミング制御とは別のクロック（時刻管理部２２の時刻情報）を参照しながら実行する。音声の再生期間中は、音声再生装置２０は、映像再生装置１０との間の無線通信を利用して、定期的に映像再生装置１０から映像の再生位置を取得する。そして、音声再生装置２０は、取得した映像再生位置を用いて音声再生位置の修正を行うことで同期のずれを解消する。
【００２９】
このような音声再生位置の修正処理は、映像再生位置取得部２８、同期ずれ量検出部２９、音出力レベル検出部３０、および音声再生速度制御部３１によって実行される。
【００３０】
映像再生位置取得部２８および同期ずれ量検出部２９は、無線通信デバイス２３による映像再生装置１０との通信を利用して、映像再生装置１０における映像データの再生位置と音声再生装置２０における音声データの再生位置との間のずれ量を検出する。
【００３１】
すなわち、映像再生位置取得部２８は、無線通信デバイス２３を用いて映像再生位置の取得要求を映像再生装置１０に送信し、映像再生装置１０から現在の映像データの再生位置を取得する。映像再生位置の取得要求は、音声データの再生期間中に定期的に映像再生装置１０に送信される。同期ずれ量検出部２９は、音声再生部２６による現在の音声データの再生位置と、映像再生位置取得部２８によって取得された現在の映像データの再生位置とに基づいて、映像データに対する音声データの再生位置のずれ量（同期ずれ量）を検出する。現在の音声データの再生位置は、例えば、音声データの再生開始時点から現在までの経過時間で与えられ、同様に、現在の映像データの再生位置も、映像データの再生開始時点から現在までの経過時間で与えられる。
【００３２】
映像再生位置取得部２８および同期ずれ量検出部２９による同期ずれ量の検出処理は、例えば、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）によるクロック同期を利用して実行することができる。このＮＴＰは、ネットワークを介して接続される装置間の時刻を合わせるプロトコルである。すなわち、映像再生装置１０および音声再生装置２０はそれぞれ自身の時刻管理部１２，２２を参照して映像及び音声の再生タイミングを制御しているので、音声再生装置２０の時刻管理部２２が示す時刻と映像再生装置１０の時刻管理部１２が示す時刻との差をＮＴＰを用いて調べることにより、映像データの再生位置と音声データの再生位置との間のずれ量を検出することができる。
【００３３】
音出力レベル検出部３０は、バッファメモリ２５に蓄積されている音声データを解析することによって、これから再生される音声データのストリームがどのような音量レベル（音出力レベル）であるかを検出する。この音量レベル検出処理によって、これから再生される音声データのストリームの中から音量レベルが予め決められた特定値よりも低い音声データ区間が検出される。
【００３４】
音声再生速度制御部３１は、同期のずれを解消するために、音声再生部２６による音声データの再生速度を可変制御するように構成されている。音声再生速度の変更は、これから再生される音声データのストリームの中から検出された低音量レベルの区間内で実行される。音出力レベル検出部３０によって検出された音声データの音量レベルが大きい音声データ区間で音声再生速度の大きな変更を行うと視聴者に不自然な印象を与える可能性が高く、一方音量レベルが小さい区間では音声再生速度の変更を行っても視聴者に不自然な印象を与える可能性が低いからである。
【００３５】
音声再生速度制御部３１は、図５に示すように、音声再生速度決定部３１１と、音声再生速度変更部３１２とから構成されている。音声再生速度決定部３１１は、同期ずれ量検出部２９によって検出された同期ずれ量と、音出力レベル検出部３０による音量レベルの検出結果とに基づいて、音声再生速度の変更量を決定する。音声再生速度の変更量は、なるべく音量レベルが小さい区間で音声再生速度の変更が行われるように、あらかじめ定められた規則に従って決定される。この規則は、音量レベル毎に音声再生速度の最大許容変更量を規定したものである。
【００３６】
音声再生速度変更部３１２は、音声再生速度決定部３１１によって決定された音声再生速度の変更量に従い、音声再生部２６による音声データの再生速度を変更する。音声再生速度の変更は、１）単位時間当たりに再生すべき音声データの量の増減、２）音声データの間引き、３）音声データ（無音データ）の挿入、などによって行われる。
【００３７】
例えば、映像データの再生位置が音声データの再生位置よりも進んでいる場合には、単位時間当たりに再生すべき音声データの量の増加、あるいは音声データの間引き（削除を含む）を行うことで、同期のずれを解消する。一方、映像データの再生位置が音声データの再生位置よりも遅れている場合には、単位時間当たりに再生すべき音声データの量の減少、あるいは音声データ（無音データ）の挿入を行うことで、同期のずれを解消する。
【００３８】
次に、音量レベル検出処理の例について説明する。
図６は、バッファメモリ２５に蓄積される音声データを模式的に示している。音声データの音量レベルは、時間的に連続するサンプルデータ（図６の黒丸）を結ぶデジタル音声信号の波形の振幅の大きさによって与えられる。各サンプルデータは、アナログ音声信号を、例えば４４．１ＫＨｚのサンプリングレートでサンプリングすることによって得られたものである。
【００３９】
音出力レベル検出部３０は、例えば、音声データの波形の振幅の大きさの変化を調べることにより、バッファメモリ２５に蓄積される音声データのストリームの中から、“音量レベル＝大”の音声区間と、“音量レベル＝中”の音声区間と、“音量レベル＝小”の音声区間とを検出する。音声再生速度の変更は“音量レベル＝中”の音声区間または“音量レベル＝小”の音声区間で行われ、“音量レベル＝大”の音声区間では行われない。“音量レベル＝中”の音声区間における音声再生速度の最大許容変更量は、“音量レベル＝小”の音声区間における音声再生速度の最大許容変更量よりも少ない。
【００４０】
音出力レベルの検出には、第１の閾値とそれよりも小さい第２の閾値とが用いられる。振幅の大きさつまり音量レベルが、第２の閾値よりも低い音声データの区間は“音量レベル＝小”の区間として検出され、振幅の大きさつまり音量レベルが、第１の閾値と第２の閾値との間に属する音声データの区間は“音量レベル＝中”の区間として検出される。第１および第２の閾値の値はそれぞれ予め規定された固定値である。
【００４１】
次に、本実施形態の音声再生装置２０によって実行される音声再生制御処理の動作について説明する。
【００４２】
図７のフローチャートには、音声再生装置２０が映像と音声の同期のずれを検出し、その検出結果に基づいて音声再生速度を変更する手順が示されている。
【００４３】
音声再生装置２０は、動画再生装置１０から送信される音声データを受信しながら、その音声データを再生する。音声データの再生期間中は、音声再生装置２０は、動画再生装置１０における映像再生と同期して音声を再生するために、あらかじめ定められた時間間隔毎に、同期を取るための処理を実行する。
【００４４】
すなわち、音声再生装置２０は、最後に同期をとる処理が行われてからの経過時間から、同期をとる必要があるか否かを判断する（ステップＳ１０１）。最後に同期をとる処理が行われてからの経過時間があらかじめ定められた時間以上であれば（ステップＳ１０１のＹＥＳ）、音声再生装置２０は、以下の同期処理を行う。
【００４５】
まず、音声再生装置２０の映像再生位置取得部２８は、無線通信デバイス２３による映像再生装置１０との通信を利用して、映像再生装置１０にて現在再生中の映像の再生位置を取得する（ステップＳ１０２）。次いで、同期ずれ量検出部２９は、ステップＳ１０２にて取得された映像再生装置１０における映像再生位置と音声再生装置２０における音声再生位置とを比較し、動画と音声の再生位置間にずれがあるか否かを判断する（ステップＳ１０３）。
【００４６】
動画と音声の再生位置間にずれがあると判断された場合には（ステップＳ１０３のＹＥＳ）、音声再生装置２０の音出力レベル検出部３０は、現在再生しているの音声の再生位置以降の、バッファメモリ２５に蓄えられている音声データについて音量レベル検出を行う（ステップＳ１０４）。この後、音声再生速度制御部３１の音声再生速度決定部３１１は、ステップＳ１０３において検出された映像と音声間の再生位置のずれ量と、ステップＳ１０４において検出された音声データの音量レベルとに基づいて、あらかじめ定められた規則に従って再生速度変更を行うべき音声データ区間とその区間における再生速度の変更量を決定する（ステップＳ１０５）。
【００４７】
音声再生速度の変更量を決定する際に用いられる規則の例を図８に示す。図８において、１行目はステップＳ１０４により検出された音声データの音量レベルに対応している。２行目は１行目の音量レベルそれぞれに対応する、音声再生速度の最大許容変更量、つまり単位時間当たりに再生すべき音声データ量の最大許容増減幅を示している。同様に３行目は１行目の音量それぞれに対応する、音声データの挿入、間引き（削除）を行う際の最大許容時間、つまり単位時間当たりに挿入、削除が可能な音声データの最大許容データ長に対応する時間、を示している。
【００４８】
音声再生速度の最大許容変更量、および音声データの挿入，削除の最大許容時間は、いずれも音量レベルが小さいほど大きな値となり、音量レベルが大きいほど小さい値となるように設定される。
【００４９】
音声再生速度変更、または音声データの挿入、削除は、映像と音声のずれが解消されるまで複数回続けられる。またあらかじめ定められた時間のうちに同期のずれが解消されない場合には、直ちに同期のずれを解消する時間だけ音声データの削除、挿入を行う。
【００５０】
音声再生装置１１において、動画と音声の同期のずれを解消する際には、映像の再生位置を基準に音声の再生位置を修正する。映像の再生位置が音声の再生位置よりも進んでいる場合には、単位時間当たりに再生すべき音声データの量の増加、あるいは音声データの削除を行うことで、同期のずれを解消する。一方、映像データの再生位置が音声データの再生位置よりも遅れている場合には、単位時間当たりに再生すべき音声データの量の減少、あるいは音声データ（無音データ）の挿入を行うことで、同期のずれを解消する。
【００５１】
このようにして、ステップＳ１０５では単位時間当たりに再生すべき音声データの増減量、または音声データの挿入，削除の時間が決定される。この決定に従い、音声再生速度制御部３１の音声再生速度変更部３１２は音声再生部２６を制御し、音声再生部２６の音声再生速度を変更する（ステップＳ１０６）。
【００５２】
ここで、ステップＳ１０４〜Ｓ１０６の処理の具体例について、図９を参照しながら説明する。
【００５３】
図９は音声データの再生速度が変更される様子を示している。図９に示されている３つの音声データの波形の内、上部の音声データの波形は、同期ずれが生じていない正常な状態を示している。また中央の音声データの波形は、同期ずれが生じ、音声データの再生が映像の再生よりも遅れている状態を示している。下部の音声データの波形は、音声再生速度の変更処理によって同期ずれを解消した状態を示している。
【００５４】
いま、図中に示したＡの時点で、１００ｍｓｅｃの遅れを検出した場合を想定する。この場合、まず、バッファメモリ２５上に蓄えられたＡの位置以降における音声データの音量レベルが検出される（ステップＳ１０４）。そして検出された音量レベルに基づき、図８の規則に従い音声再生速度の変更量が決定される（ステップＳ１０５）。
【００５５】
ＡからＢまでの区間（１００ｍｓｅｃ）においては検出された音量レベルは“大”であるので、規則から、ＡからＢまでの区間における音声再生速度の変更量は、０ｍｓｅｃとなる。しかし、Ｂ以降Ｄまでの区間（６００ｍｓｅｃ）における音量レベルは“小”であるので、規則から、一秒あたりにつき±５００ｍｓｅｃの音声データの挿入又は間引きを行うことが許容される。検出された遅れは１００ｍｓｅｃである。この遅れは、Ｂ以降Ｄまでの区間（６００ｍｓｅｃ）内の音声データを１００ｍｓｅｃ分だけ間引くことにより解消される。すなわち、Ｂ以降Ｄまでの区間（６００ｍｓｅｃ）内の音声データは５００ｍｓｅｃに短縮され、これによってＣの時点では音声データの再生位置は映像データの再生位置と一致する。
【００５６】
なお、ＮＴＰを用いて同期ずれを検出する場合には、再生位置のずれが解消されるＣの時点で時刻管理部２２の時刻も１００ｍｓｅｃ分だけ進めることが好ましい。
【００５７】
以上詳述したように本実施形態によれば、映像再生装置１０と音声再生装置２との間で厳密な時刻合わせを行わずとも、音声再生速度変更処理によって同期ずれ量をある一定の範囲内に抑えることが可能となる。よって、映像と音声をそれぞれ異なる装置で再生するシステムにおいても、いわゆるリップシンク（ｌｉｐ ｓｙｎｃ）を容易に実現することが出来る。特に、音声再生速度の変更は音量レベルが低い音声データ区間内で行っているので、視聴者に違和感を与えることなく、リップシンクを実現できる。
【００５８】
なお、必ずしも映像再生装置１０が音声再生装置２０に音声データを送信する必要はなく、例えば、図１０に示すように、コンテンツサーバ３０が、映像データおよび音声データをアンテナ３０１からそれぞれ無線信号によって、映像再生装置１０および音声再生装置２０に送信するようにしても良い。この場合でも、音声再生装置２０は、映像再生装置１０から定期的に映像再生位置を取得することにより、映像と音声の同期ずれ量を検出することが出来る。
【００５９】
また、本実施形態の音声再生装置２０における音声再生制御処理は、コンピュータ上で実行されるプログラムによって実現することも出来る。この場合、上述の音声再生制御処理の手順を含むコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体を用意し、そのコンピュータプログラムを、通信機能を持つ通常のコンピュータに導入して実行するだけで、本実施形態と同様の効果を容易に得ることが可能となる。
【００６０】
また、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００６１】
【発明の効果】
以上説明したように、本発明によれば、視聴者に不自然な印象を与えることなく、他の装置で再生される映像データとの間の同期のずれに応じて音声データの再生速度を変更することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る音声再生装置を示す図。
【図２】図１に示した音声再生装置の具体的に実現形態の一例であるワイヤレスヘッドフォンを示す図。
【図３】図１に示した音声再生装置によって再生される音声データと同期して再生すべき映像データを再生する映像再生装置の構成の例を示すブロック図。
【図４】図１に示した音声再生装置の構成の例を示すブロック図。
【図５】図１に示した音声再生装置に設けられた音声再生速度制御部の構成を示すブロック図。
【図６】図１に示した音声再生装置に設けられた音出力レベル検出部が実行する音量レベル検出処理を説明するための図。
【図７】図１に示した音声再生装置によって実行される音声再生制御処理の手順を示すフローチャート。
【図８】図１に示した音声再生装置が音声再生速度の変更量を決定するために使用する規則の例を説明するための図。
【図９】図１に示した音声再生装置において音声データの再生速度が変更される様子を示す図。
【図１０】図１に示した音声再生装置に音声データをサーバから送信するシステムの例を示すブロック図。
【符号の説明】
１０…映像再生装置
２０…音声再生装置
２１…ＣＰＵ
２２…時刻管理部
２３…無線通信デバイス
２４…復号部
２５…バッファメモリ
２６…音声再生部
２７…音声出力装置
２８…映像再生位置取得部
２９…同期ずれ量検出部
３０…音出力レベル（音量レベル）検出部
３１…音声再生速度制御部
【発明の属する技術分野】
本発明は映像データと同期して再生すべき音声データを再生する音声再生装置および同装置で用いられる音声再生制御方法に関する。
【０００２】
【従来の技術】
近年、動画、音声などのマルチメディアデータの再生速度を変更するための技術が開発されている。
【０００３】
特開平９−２６１６１３号公報には、マルチメディアデータを受信および再生する装置において再生速度を可変にする再生方法が開示されている。この方法は、受信バッファ内のデータ残量に応じて再生速度を変更する。すなわち、この方法では、受信バッファ内のデータ残量が多い場合には再生速度を上げ、受信バッファ内のデータ残量が少ない場合には再生速度を下げるという制御が実行され、これにより受信バッファのオーバーフロー／アンダーフローの発生を防いでいる。
【０００４】
特開平５−１３５２２８号公報には、音声信号の無音期間を拡大させたり縮小させたりすることで、高音質を維持しつつ遅き聴き再生や早聴き再生を実現する技術が開示されている。
【０００５】
【発明が解決しようとする課題】
ところで、最近では、互いに同期して再生すべき映像データと音声データとをそれぞれ別個の装置で再生する技術の実現が要求されている。
【０００６】
映像と音声のような同期したメディアをそれぞれ異なる装置で再生する場合には、映像の再生タイミング制御のために参照するクロックと音声の再生タイミング制御のために参照するクロックとが異なり、これが映像と音声との同期のずれが生じる原因となる。また同期のずれを解消するために映像データまたは音声データの再生速度を変更すると、視聴者に不自然な印象を与えてしまうことになる。
【０００７】
本発明は上述の事情を考慮してなされたものであり、視聴者に不自然な印象を与えることなく、他の装置で再生される映像データとの間の同期のずれに応じて音声データの再生速度を変更することが可能な音声再生装置および同装置で用いられる音声再生制御方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、映像データと同期して再生すべき音声データを再生する音声再生装置において、前記映像データを再生する他の装置との間の通信を実行する通信装置と、前記通信装置による前記他の装置との通信を利用して、前記他の装置における映像データの再生位置と前記音声再生装置における音声データの再生位置との間のずれ量を検出する手段と、再生すべき音声データの中から音量レベルが特定値よりも低い音声データ区間を検出する手段と、前記検出された再生位置のずれ量に基づき、前記検出された音声データ区間内で前記音声データの再生速度を変更する再生速度制御手段とを具備することを特徴とする。
【０００９】
この音声再生装置においては、通信装置による他の装置との通信を利用して、他の装置における映像データの再生位置と前記音声再生装置における音声データの再生位置との間のずれ量が検出される。さらに、再生すべき音声データの中から音量レベルが特定値よりも低い音声データ区間が検出される。再生位置のずれ量に基づく音声データの再生速度の変更は、検出された音声データ区間内で実行される。これにより、視聴者に不自然な印象を与えることなく、他の装置で再生される映像データとの間の同期のずれに応じて音声データの再生速度を変更することが可能となる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１には、本発明の一実施形態に係る音声再生装置が示されている。この音声再生装置２０は、映像再生装置１０による動画などの映像データの再生と同期して音声データを再生するように構成されている。例えば、映像データとそれと同期して再生すべき音声データとを含むオーディオ・ビデオコンテントを再生する場合、映像データの再生は映像再生装置１０によって行われ、音声データの再生は音声再生装置２０によって行われる。
【００１１】
音声再生装置２０は、再生すべき音声データを有線または無線の通信路を介して外部機器から受信しながら、その受信した音声データを再生する。音声再生装置２０への音声データの送信には、映像再生装置１０から音声再生装置２０に音声データを送信する方法、または外部のコンテンツサーバから映像データおよび音声データをそれぞれ映像再生装置１０および音声再生装置２０に同時に送信する方法が用いられる。以下では、前者の方法を用いる場合を想定することとする。
【００１２】
オーディオ・ビデオコンテントを再生する場合、映像再生装置１０は、オーディオ・ビデオコンテントを映像データと音声データに分離し、音声データを音声再生装置２０に送信しながら、映像データの再生を行う。音声データの送信には、例えばｂｌｕｅｔｏｏｔｈ（Ｒ）、などに代表される近距離無線通信規格の無線通信が用いられる。この場合、映像再生装置１０は、音声データをアンテナ１０１から無線信号によって送信し、音声再生装置２０は映像再生装置１０から送信される音声データをアンテナ２０１を介して受信する。
【００１３】
音声再生装置２０は映像再生装置１０から送信される音声データを受信しながら、その受信した音声データの再生を行う。音声データの再生期間中は、音声再生装置２０は、映像再生装置１０との間で定期的に通信して、映像再生装置１０における映像データの再生位置と音声再生装置２０における音声データの再生位置との間のずれ量（映像と音声の同期のずれ量）を検出する。音声再生装置２０は、映像と音声の同期再生を実現するために、検出したずれ量に応じて音声データの再生速度を変更する。ここで、音声データの再生速度の変更は、音声データの音量レベルが予め決められた特定値よりも低い音声データ区間内で実行される。
【００１４】
次に、図３および図４を参照して、映像再生装置１０および音声再生装置２０それぞれの構成を説明する。
【００１５】
図３には、映像再生装置１０のシステム構成が示されている。映像再生装置１０は、例えばＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔｓ）、ポータブルパーソナルコンピュータ、移動電話機、のような携帯型電子機器として実現されている。この映像再生装置１０は、図示のように、ＣＰＵ１１、時刻管理部１２、記憶装置１３、無線通信デバイス１４、映像／音声分離部１５、復号部１６、映像再生部１７、およびディスプレイ１８を備えている。
【００１６】
ＣＰＵ１１は映像再生装置１０の動作を制御するために設けられたプロセッサである。このＣＰＵ１１はバス１００を介して映像再生装置１０の他のコンポーネントと接続されており、それら各コンポーネントと連携して動作する。時刻管理部１２は時刻を計時する時計デバイスから構成されており、映像データの再生動作の基準となる時刻情報を提供する。
【００１７】
記憶装置１３は例えば不揮発性メモリデバイスから構成されており、ここには、再生対象のオーディオ・ビデオコンテントが格納される。このオーディオ・ビデオコンテントは、符号化された映像データのストリームとそれと同期して再生すべき符号化された音声データのストリームとから構成されている。これら映像データストリームと音声データストリームは多重化されている。オーディオ・ビデオコンテントのデータフォーマットとしては、例えばＡＶＩ形式（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ Ｆｏｒｍａｔ）を使用することが出来る。ＡＶＩ形式のコンテントデータにおいては、映像および音声のメディア毎にそれに対応するサンプリングレートが記録されている。
【００１８】
映像／音声分離部１５は再生対象のコンテントデータを映像データと音声データに分離する。コンテントデータから分離された映像データは復号部１６に送られ、またコンテントデータから分離された音声データは無線通信デバイス１４に送られる。
【００１９】
無線通信デバイス１４は音声再生装置２０との間の無線接続を確立して、音声再生装置２０との間の無線通信を実行する。無線通信は、例えばＢｌｕｅｔｏｏｔｈ（Ｒ）の規格に準拠した手順で実行される。無線通信デバイス１４は、ＣＰＵ１１の制御に従い、符号化された音声データを無線信号によって音声再生装置２０に送信する。
【００２０】
復号部１６は符号化された映像データを復号して、圧縮形式の映像データを表示可能な形式に変換する。映像再生部１７はディスプレイ１８を制御し、復号部１６によって復号された映像データをディスプレイ１８上に表示するための再生動作を実行する。この場合、映像データの再生速度は、時刻管理部１２によって管理される時刻情報と映像データのサンプリングレートとに従って制御される。
【００２１】
映像再生部１７による映像データの再生は、例えば音声データの無線送信を開始してから一定時間経過した時点で開始される。この時間の値は、例えば、音声データの無線送信を開始してから、音声再生装置２０がその音声データの再生が可能になるまでに要する時間に基づいて予め決定されている。これにより、音声再生装置２０による音声データの再生と映像再生部１７による映像データの再生とを同時に開始させることが可能となる。
【００２２】
図４には、音声再生装置２０のシステム構成が示されている。音声再生装置２０は、上述したようにワイヤレスヘッドフォンとして実現されている。この音声再生装置２０は、図示のように、ＣＰＵ２１、時刻管理部２２、無線通信デバイス２３、復号部２４、バッファメモリ２５、音声再生部２６、音声出力装置２７、映像再生位置取得部２８、同期ずれ量検出部２９、音出力レベル検出部３０、および音声再生速度制御部３１を備えている。
【００２３】
ＣＰＵ２１は音声再生装置２０の動作を制御するために設けられたプロセッサである。このＣＰＵ２１はバス２００を介して音声再生装置２０の他のコンポーネントと接続されており、それら各コンポーネントと連携して動作する。時刻管理部２２は時刻を計時する時計デバイスから構成されており、音声データの再生動作の基準となる時刻情報を提供する。
【００２４】
無線通信デバイス２３は映像再生装置１０との間の無線接続を確立して、映像再生装置１０との間の無線通信を実行する。無線通信は、例えばＢｌｕｅｔｏｏｔｈ（Ｒ）の規格に準拠した手順で実行される。無線通信デバイス２３は、ＣＰＵ２１の制御に従い、映像再生装置１０から送信される符号化された音声データを受信する。
【００２５】
復号部２４は無線通信デバイス２３によって受信された符号化された音声データを復号して、圧縮形式の音声データを再生可能な形式に変換する。復号された音声データはバッファメモリ２５に格納される。このバッファメモリ２５は、再生すべき音声データを一時的に保持するための記憶装置である。このバッファメモリ２５には、例えば、５０ｍｓｅｃ〜６００ｍｓｅｃ程度の再生時間に相当する音声データが蓄積される。
【００２６】
音声再生部２６は、バッファメモリ２５に蓄積されている音声データをスピーカ又はベッドフォンからなる音声出力部２７を通じて音として再生出力する。この音声再生動作においては、バッファメモリ２５に蓄積されている音声データをデジタル形式からアナログ形式に変換する処理などが行われる。音声データの再生速度は、基本的には、時刻管理部２２によって管理される時刻情報と音声データのサンプリングレートとに従って決定されるが、音声再生速度制御部３１の制御によって変更することが出来る。
【００２７】
映像再生装置１０における映像再生タイミングの制御は音声再生装置２０で行われる音声再生タイミングの制御とは異なるクロック（時刻情報）が参照されているため、音声と映像の同期にずれが生じることが考えられる。もし映像の再生タイミング制御と音声の再生タイミング制御とで同一のクロックを参照することが出来れば、音声と映像の同期再生を容易に実現できる。しかし、本実施形態のように映像と音声を再生する装置が互いに異なる場合には、一方の装置から他方の装置のクロックを頻繁に参照することは実際上困難である。
【００２８】
そこで、本実施形態では、音声の再生タイミング制御は、上述したように、映像の再生タイミング制御とは別のクロック（時刻管理部２２の時刻情報）を参照しながら実行する。音声の再生期間中は、音声再生装置２０は、映像再生装置１０との間の無線通信を利用して、定期的に映像再生装置１０から映像の再生位置を取得する。そして、音声再生装置２０は、取得した映像再生位置を用いて音声再生位置の修正を行うことで同期のずれを解消する。
【００２９】
このような音声再生位置の修正処理は、映像再生位置取得部２８、同期ずれ量検出部２９、音出力レベル検出部３０、および音声再生速度制御部３１によって実行される。
【００３０】
映像再生位置取得部２８および同期ずれ量検出部２９は、無線通信デバイス２３による映像再生装置１０との通信を利用して、映像再生装置１０における映像データの再生位置と音声再生装置２０における音声データの再生位置との間のずれ量を検出する。
【００３１】
すなわち、映像再生位置取得部２８は、無線通信デバイス２３を用いて映像再生位置の取得要求を映像再生装置１０に送信し、映像再生装置１０から現在の映像データの再生位置を取得する。映像再生位置の取得要求は、音声データの再生期間中に定期的に映像再生装置１０に送信される。同期ずれ量検出部２９は、音声再生部２６による現在の音声データの再生位置と、映像再生位置取得部２８によって取得された現在の映像データの再生位置とに基づいて、映像データに対する音声データの再生位置のずれ量（同期ずれ量）を検出する。現在の音声データの再生位置は、例えば、音声データの再生開始時点から現在までの経過時間で与えられ、同様に、現在の映像データの再生位置も、映像データの再生開始時点から現在までの経過時間で与えられる。
【００３２】
映像再生位置取得部２８および同期ずれ量検出部２９による同期ずれ量の検出処理は、例えば、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）によるクロック同期を利用して実行することができる。このＮＴＰは、ネットワークを介して接続される装置間の時刻を合わせるプロトコルである。すなわち、映像再生装置１０および音声再生装置２０はそれぞれ自身の時刻管理部１２，２２を参照して映像及び音声の再生タイミングを制御しているので、音声再生装置２０の時刻管理部２２が示す時刻と映像再生装置１０の時刻管理部１２が示す時刻との差をＮＴＰを用いて調べることにより、映像データの再生位置と音声データの再生位置との間のずれ量を検出することができる。
【００３３】
音出力レベル検出部３０は、バッファメモリ２５に蓄積されている音声データを解析することによって、これから再生される音声データのストリームがどのような音量レベル（音出力レベル）であるかを検出する。この音量レベル検出処理によって、これから再生される音声データのストリームの中から音量レベルが予め決められた特定値よりも低い音声データ区間が検出される。
【００３４】
音声再生速度制御部３１は、同期のずれを解消するために、音声再生部２６による音声データの再生速度を可変制御するように構成されている。音声再生速度の変更は、これから再生される音声データのストリームの中から検出された低音量レベルの区間内で実行される。音出力レベル検出部３０によって検出された音声データの音量レベルが大きい音声データ区間で音声再生速度の大きな変更を行うと視聴者に不自然な印象を与える可能性が高く、一方音量レベルが小さい区間では音声再生速度の変更を行っても視聴者に不自然な印象を与える可能性が低いからである。
【００３５】
音声再生速度制御部３１は、図５に示すように、音声再生速度決定部３１１と、音声再生速度変更部３１２とから構成されている。音声再生速度決定部３１１は、同期ずれ量検出部２９によって検出された同期ずれ量と、音出力レベル検出部３０による音量レベルの検出結果とに基づいて、音声再生速度の変更量を決定する。音声再生速度の変更量は、なるべく音量レベルが小さい区間で音声再生速度の変更が行われるように、あらかじめ定められた規則に従って決定される。この規則は、音量レベル毎に音声再生速度の最大許容変更量を規定したものである。
【００３６】
音声再生速度変更部３１２は、音声再生速度決定部３１１によって決定された音声再生速度の変更量に従い、音声再生部２６による音声データの再生速度を変更する。音声再生速度の変更は、１）単位時間当たりに再生すべき音声データの量の増減、２）音声データの間引き、３）音声データ（無音データ）の挿入、などによって行われる。
【００３７】
例えば、映像データの再生位置が音声データの再生位置よりも進んでいる場合には、単位時間当たりに再生すべき音声データの量の増加、あるいは音声データの間引き（削除を含む）を行うことで、同期のずれを解消する。一方、映像データの再生位置が音声データの再生位置よりも遅れている場合には、単位時間当たりに再生すべき音声データの量の減少、あるいは音声データ（無音データ）の挿入を行うことで、同期のずれを解消する。
【００３８】
次に、音量レベル検出処理の例について説明する。
図６は、バッファメモリ２５に蓄積される音声データを模式的に示している。音声データの音量レベルは、時間的に連続するサンプルデータ（図６の黒丸）を結ぶデジタル音声信号の波形の振幅の大きさによって与えられる。各サンプルデータは、アナログ音声信号を、例えば４４．１ＫＨｚのサンプリングレートでサンプリングすることによって得られたものである。
【００３９】
音出力レベル検出部３０は、例えば、音声データの波形の振幅の大きさの変化を調べることにより、バッファメモリ２５に蓄積される音声データのストリームの中から、“音量レベル＝大”の音声区間と、“音量レベル＝中”の音声区間と、“音量レベル＝小”の音声区間とを検出する。音声再生速度の変更は“音量レベル＝中”の音声区間または“音量レベル＝小”の音声区間で行われ、“音量レベル＝大”の音声区間では行われない。“音量レベル＝中”の音声区間における音声再生速度の最大許容変更量は、“音量レベル＝小”の音声区間における音声再生速度の最大許容変更量よりも少ない。
【００４０】
音出力レベルの検出には、第１の閾値とそれよりも小さい第２の閾値とが用いられる。振幅の大きさつまり音量レベルが、第２の閾値よりも低い音声データの区間は“音量レベル＝小”の区間として検出され、振幅の大きさつまり音量レベルが、第１の閾値と第２の閾値との間に属する音声データの区間は“音量レベル＝中”の区間として検出される。第１および第２の閾値の値はそれぞれ予め規定された固定値である。
【００４１】
次に、本実施形態の音声再生装置２０によって実行される音声再生制御処理の動作について説明する。
【００４２】
図７のフローチャートには、音声再生装置２０が映像と音声の同期のずれを検出し、その検出結果に基づいて音声再生速度を変更する手順が示されている。
【００４３】
音声再生装置２０は、動画再生装置１０から送信される音声データを受信しながら、その音声データを再生する。音声データの再生期間中は、音声再生装置２０は、動画再生装置１０における映像再生と同期して音声を再生するために、あらかじめ定められた時間間隔毎に、同期を取るための処理を実行する。
【００４４】
すなわち、音声再生装置２０は、最後に同期をとる処理が行われてからの経過時間から、同期をとる必要があるか否かを判断する（ステップＳ１０１）。最後に同期をとる処理が行われてからの経過時間があらかじめ定められた時間以上であれば（ステップＳ１０１のＹＥＳ）、音声再生装置２０は、以下の同期処理を行う。
【００４５】
まず、音声再生装置２０の映像再生位置取得部２８は、無線通信デバイス２３による映像再生装置１０との通信を利用して、映像再生装置１０にて現在再生中の映像の再生位置を取得する（ステップＳ１０２）。次いで、同期ずれ量検出部２９は、ステップＳ１０２にて取得された映像再生装置１０における映像再生位置と音声再生装置２０における音声再生位置とを比較し、動画と音声の再生位置間にずれがあるか否かを判断する（ステップＳ１０３）。
【００４６】
動画と音声の再生位置間にずれがあると判断された場合には（ステップＳ１０３のＹＥＳ）、音声再生装置２０の音出力レベル検出部３０は、現在再生しているの音声の再生位置以降の、バッファメモリ２５に蓄えられている音声データについて音量レベル検出を行う（ステップＳ１０４）。この後、音声再生速度制御部３１の音声再生速度決定部３１１は、ステップＳ１０３において検出された映像と音声間の再生位置のずれ量と、ステップＳ１０４において検出された音声データの音量レベルとに基づいて、あらかじめ定められた規則に従って再生速度変更を行うべき音声データ区間とその区間における再生速度の変更量を決定する（ステップＳ１０５）。
【００４７】
音声再生速度の変更量を決定する際に用いられる規則の例を図８に示す。図８において、１行目はステップＳ１０４により検出された音声データの音量レベルに対応している。２行目は１行目の音量レベルそれぞれに対応する、音声再生速度の最大許容変更量、つまり単位時間当たりに再生すべき音声データ量の最大許容増減幅を示している。同様に３行目は１行目の音量それぞれに対応する、音声データの挿入、間引き（削除）を行う際の最大許容時間、つまり単位時間当たりに挿入、削除が可能な音声データの最大許容データ長に対応する時間、を示している。
【００４８】
音声再生速度の最大許容変更量、および音声データの挿入，削除の最大許容時間は、いずれも音量レベルが小さいほど大きな値となり、音量レベルが大きいほど小さい値となるように設定される。
【００４９】
音声再生速度変更、または音声データの挿入、削除は、映像と音声のずれが解消されるまで複数回続けられる。またあらかじめ定められた時間のうちに同期のずれが解消されない場合には、直ちに同期のずれを解消する時間だけ音声データの削除、挿入を行う。
【００５０】
音声再生装置１１において、動画と音声の同期のずれを解消する際には、映像の再生位置を基準に音声の再生位置を修正する。映像の再生位置が音声の再生位置よりも進んでいる場合には、単位時間当たりに再生すべき音声データの量の増加、あるいは音声データの削除を行うことで、同期のずれを解消する。一方、映像データの再生位置が音声データの再生位置よりも遅れている場合には、単位時間当たりに再生すべき音声データの量の減少、あるいは音声データ（無音データ）の挿入を行うことで、同期のずれを解消する。
【００５１】
このようにして、ステップＳ１０５では単位時間当たりに再生すべき音声データの増減量、または音声データの挿入，削除の時間が決定される。この決定に従い、音声再生速度制御部３１の音声再生速度変更部３１２は音声再生部２６を制御し、音声再生部２６の音声再生速度を変更する（ステップＳ１０６）。
【００５２】
ここで、ステップＳ１０４〜Ｓ１０６の処理の具体例について、図９を参照しながら説明する。
【００５３】
図９は音声データの再生速度が変更される様子を示している。図９に示されている３つの音声データの波形の内、上部の音声データの波形は、同期ずれが生じていない正常な状態を示している。また中央の音声データの波形は、同期ずれが生じ、音声データの再生が映像の再生よりも遅れている状態を示している。下部の音声データの波形は、音声再生速度の変更処理によって同期ずれを解消した状態を示している。
【００５４】
いま、図中に示したＡの時点で、１００ｍｓｅｃの遅れを検出した場合を想定する。この場合、まず、バッファメモリ２５上に蓄えられたＡの位置以降における音声データの音量レベルが検出される（ステップＳ１０４）。そして検出された音量レベルに基づき、図８の規則に従い音声再生速度の変更量が決定される（ステップＳ１０５）。
【００５５】
ＡからＢまでの区間（１００ｍｓｅｃ）においては検出された音量レベルは“大”であるので、規則から、ＡからＢまでの区間における音声再生速度の変更量は、０ｍｓｅｃとなる。しかし、Ｂ以降Ｄまでの区間（６００ｍｓｅｃ）における音量レベルは“小”であるので、規則から、一秒あたりにつき±５００ｍｓｅｃの音声データの挿入又は間引きを行うことが許容される。検出された遅れは１００ｍｓｅｃである。この遅れは、Ｂ以降Ｄまでの区間（６００ｍｓｅｃ）内の音声データを１００ｍｓｅｃ分だけ間引くことにより解消される。すなわち、Ｂ以降Ｄまでの区間（６００ｍｓｅｃ）内の音声データは５００ｍｓｅｃに短縮され、これによってＣの時点では音声データの再生位置は映像データの再生位置と一致する。
【００５６】
なお、ＮＴＰを用いて同期ずれを検出する場合には、再生位置のずれが解消されるＣの時点で時刻管理部２２の時刻も１００ｍｓｅｃ分だけ進めることが好ましい。
【００５７】
以上詳述したように本実施形態によれば、映像再生装置１０と音声再生装置２との間で厳密な時刻合わせを行わずとも、音声再生速度変更処理によって同期ずれ量をある一定の範囲内に抑えることが可能となる。よって、映像と音声をそれぞれ異なる装置で再生するシステムにおいても、いわゆるリップシンク（ｌｉｐ ｓｙｎｃ）を容易に実現することが出来る。特に、音声再生速度の変更は音量レベルが低い音声データ区間内で行っているので、視聴者に違和感を与えることなく、リップシンクを実現できる。
【００５８】
なお、必ずしも映像再生装置１０が音声再生装置２０に音声データを送信する必要はなく、例えば、図１０に示すように、コンテンツサーバ３０が、映像データおよび音声データをアンテナ３０１からそれぞれ無線信号によって、映像再生装置１０および音声再生装置２０に送信するようにしても良い。この場合でも、音声再生装置２０は、映像再生装置１０から定期的に映像再生位置を取得することにより、映像と音声の同期ずれ量を検出することが出来る。
【００５９】
また、本実施形態の音声再生装置２０における音声再生制御処理は、コンピュータ上で実行されるプログラムによって実現することも出来る。この場合、上述の音声再生制御処理の手順を含むコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体を用意し、そのコンピュータプログラムを、通信機能を持つ通常のコンピュータに導入して実行するだけで、本実施形態と同様の効果を容易に得ることが可能となる。
【００６０】
また、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００６１】
【発明の効果】
以上説明したように、本発明によれば、視聴者に不自然な印象を与えることなく、他の装置で再生される映像データとの間の同期のずれに応じて音声データの再生速度を変更することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る音声再生装置を示す図。
【図２】図１に示した音声再生装置の具体的に実現形態の一例であるワイヤレスヘッドフォンを示す図。
【図３】図１に示した音声再生装置によって再生される音声データと同期して再生すべき映像データを再生する映像再生装置の構成の例を示すブロック図。
【図４】図１に示した音声再生装置の構成の例を示すブロック図。
【図５】図１に示した音声再生装置に設けられた音声再生速度制御部の構成を示すブロック図。
【図６】図１に示した音声再生装置に設けられた音出力レベル検出部が実行する音量レベル検出処理を説明するための図。
【図７】図１に示した音声再生装置によって実行される音声再生制御処理の手順を示すフローチャート。
【図８】図１に示した音声再生装置が音声再生速度の変更量を決定するために使用する規則の例を説明するための図。
【図９】図１に示した音声再生装置において音声データの再生速度が変更される様子を示す図。
【図１０】図１に示した音声再生装置に音声データをサーバから送信するシステムの例を示すブロック図。
【符号の説明】
１０…映像再生装置
２０…音声再生装置
２１…ＣＰＵ
２２…時刻管理部
２３…無線通信デバイス
２４…復号部
２５…バッファメモリ
２６…音声再生部
２７…音声出力装置
２８…映像再生位置取得部
２９…同期ずれ量検出部
３０…音出力レベル（音量レベル）検出部
３１…音声再生速度制御部
Claims (18)
- 映像データと同期して再生すべき音声データを再生する音声再生装置において、
前記映像データを再生する他の装置との間の通信を実行する通信装置と、
前記通信装置による前記他の装置との通信を利用して、前記他の装置における映像データの再生位置と前記音声再生装置における音声データの再生位置との間のずれ量を検出する手段と、
再生すべき音声データの中から音量レベルが特定値よりも低い音声データ区間を検出する手段と、
前記検出された再生位置のずれ量に基づき、前記検出された音声データ区間内で前記音声データの再生速度を変更する再生速度制御手段とを具備することを特徴とする音声再生装置。 - 前記再生速度制御手段は、前記検出された音声データ区間に属する音声データを間引く手段を含むことを特徴とする請求項１記載の音声再生装置。
- 前記再生速度制御手段は、前記検出された音声データ区間に無音データを挿入する手段を含むことを特徴とする請求項１記載の音声再生装置。
- 前記再生速度制御手段は、前記検出された音声データ区間に属する音声データの、単位時間当たりに再生すべきデータ量を変更する手段を含むことを特徴とする請求項１記載の音声再生装置。
- 前記音量レベルが特定値よりも低い音声データ区間を検出する手段は、
再生すべき音声データの中から音量レベルが第１の音量レベルとそれよりも低い第２の音量レベルとの間の範囲に属する第１の音声データ区間を検出する手段と、
再生すべき音声データの中から音量レベルが前記第２の音量レベルよりも低い第２の音声データ区間を検出する手段とを含み、
前記再生速度制御手段は、
前記第１および第２の音声データ区間毎に規定された音声データの再生速度に関する最大許容変更量と、前記検出された再生位置のずれ量とに基づき、前記第１および第２の各音声データ区間毎にその音声データ区間に属する音声データの再生速度の変更量を決定する手段を含むことを特徴とする請求項１記載の音声再生装置。 - 前記通信装置は、無線信号を用いて前記他の装置との間の通信を実行するように構成されていることを特徴とする請求項１記載の音声再生装置。
- 前記通信装置による前記他の装置との通信を利用して、前記他の装置から送信される前記再生すべき音声データを受信する手段と、
前記受信された音声データを一時的に格納する記憶装置とをさらに具備し、
前記音量レベルが特定値よりも低い音声データ区間を検出する手段は、
前記記憶装置に格納されている音声データを解析して再生すべき音声データの中から音量レベルが前記特定値よりも低い音声データ区間を検出する手段を含むことを特徴とする請求項１記載の音声再生装置。 - 前記通信装置は、無線信号を用いて前記他の装置との間の通信を実行するように構成されていることを特徴とする請求項７記載の音声再生装置。
- 前記ずれ量を検出する手段は、特定の時間間隔で前記他の装置と通信することによって、前記他の装置から映像データの再生位置を取得する手段を含むことを特徴とする請求項１記載の音声再生装置。
- 映像データと同期して再生すべき音声データを再生する音声再生装置の再生動作を制御する音声再生制御方法において、
前記映像データを再生する他の装置との間の通信によって、前記他の装置における映像データの再生位置と前記音声再生装置における音声データの再生位置との間のずれ量を検出するステップと、
再生すべき音声データの中から音量レベルが特定値よりも低い音声データ区間を検出するステップと、
前記検出された再生位置のずれ量に基づき、前記検出された音声データの区間で前記音声データの再生速度を変更する再生速度制御ステップとを具備することを特徴とする音声再生制御方法。 - 前記再生速度制御ステップは、前記検出された音声データの区間に属する音声データを間引くステップを含むことを特徴とする請求項１０記載の音声再生制御方法。
- 前記再生速度制御ステップは、前記検出された音声データの区間に無音データを挿入するステップを含むことを特徴とする請求項１０記載の音声再生制御方法。
- 前記再生速度制御ステップは、前記検出された音声データの区間に属する音声データの、単位時間当たりに再生すべきデータ量を変更するステップを含むことを特徴とする請求項１０記載の音声再生制御方法。
- 前記音量レベルが特定値よりも低い音声データ区間を検出するステップは、再生すべき音声データの中から音量レベルが第１の音量レベルとそれよりも低い第２の音量レベルとの間の範囲に属する第１の音声データ区間を検出するステップと、再生すべき音声データの中から音量レベルが前記第２の音量レベルよりも低い第２の音声データ区間を検出するステップとを含み、
前記再生速度制御ステップは、
前記第１および第２の音声データ区間毎に規定された音声データの再生速度に関する最大許容変更量と、前記検出された再生位置のずれ量とに基づき、前記第１および第２の各音声データ区間毎にその音声データ区間に属する音声データの再生速度の変更量を決定するステップを含むことを特徴とする請求項１０記載の音声再生制御方法。 - 前記他の装置との間の通信は、無線通信によって実行されることを特徴とする請求項１０記載の音声再生制御方法。
- 前記他の装置から送信される前記再生すべき音声データを受信するステップと、
前記受信された音声データを記憶装置に一時的に格納するステップとをさらに具備し、
前記音量レベルが特定値よりも低い音声データ区間を検出するステップは、
前記記憶装置に格納されている音声データを解析して再生すべき音声データの中から音量レベルが前記特定値よりも低い音声データ区間を検出するステップを含むことを特徴とする請求項１０記載の音声再生制御方法。 - 前記再生すべき音声データは前記他の装置から無線信号によって送信されることを特徴とする請求項１６記載の音声再生制御方法。
- 前記ずれ量を検出するステップは、特定の時間間隔で前記他の装置と通信することによって、前記他の装置から映像データの再生位置を取得するステップを含むことを特徴とする請求項１０記載の音声再生制御方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002158898A JP3629253B2 (ja) | 2002-05-31 | 2002-05-31 | 音声再生装置および同装置で用いられる音声再生制御方法 |
| EP03008128A EP1367829A3 (en) | 2002-05-31 | 2003-04-07 | Audio reproducing apparatus and control method |
| US10/422,835 US7228059B2 (en) | 2002-05-31 | 2003-04-25 | Audio reproducing apparatus and audio reproduction control method for use in the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002158898A JP3629253B2 (ja) | 2002-05-31 | 2002-05-31 | 音声再生装置および同装置で用いられる音声再生制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004007140A true JP2004007140A (ja) | 2004-01-08 |
| JP3629253B2 JP3629253B2 (ja) | 2005-03-16 |
Family
ID=29417246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002158898A Expired - Fee Related JP3629253B2 (ja) | 2002-05-31 | 2002-05-31 | 音声再生装置および同装置で用いられる音声再生制御方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7228059B2 (ja) |
| EP (1) | EP1367829A3 (ja) |
| JP (1) | JP3629253B2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007101772A (ja) * | 2005-10-03 | 2007-04-19 | D & M Holdings Inc | 再生装置及び再生方法 |
| JP2007259943A (ja) * | 2006-03-27 | 2007-10-11 | Samii Kk | 再生装置、データ再生方法及びプログラム |
| JP2008107381A (ja) * | 2006-10-23 | 2008-05-08 | Mitsubishi Electric Corp | 話速変換装置及び話速変換制御方法 |
| JPWO2006100727A1 (ja) * | 2005-03-18 | 2008-08-28 | 富士通株式会社 | 映像装置における映像信号と音声信号との同期制御方法および装置 |
| JP2009005910A (ja) * | 2007-06-28 | 2009-01-15 | Namco Bandai Games Inc | プログラム、情報記憶媒体、ゲーム装置 |
| JP2010220072A (ja) * | 2009-03-18 | 2010-09-30 | Fujitsu Telecom Networks Ltd | ディジタル音声信号伝送装置及びディジタル音声信号伝送方法 |
| JPWO2010122626A1 (ja) * | 2009-04-20 | 2012-10-22 | パイオニア株式会社 | 受信装置 |
| JP2012204876A (ja) * | 2011-03-23 | 2012-10-22 | Fujitsu Ltd | 再生装置、再生方法およびプログラム |
| JP2018183219A (ja) * | 2017-04-24 | 2018-11-22 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
| JP2018183218A (ja) * | 2017-04-24 | 2018-11-22 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
| JP2018183215A (ja) * | 2017-04-24 | 2018-11-22 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
Families Citing this family (65)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4401063B2 (ja) * | 2002-09-11 | 2010-01-20 | シャープ株式会社 | 映像音声伝送送信装置及びそれを備えた映像音声伝送システム |
| US11106424B2 (en) | 2003-07-28 | 2021-08-31 | Sonos, Inc. | Synchronizing operations among a plurality of independently clocked digital data processing devices |
| US8234395B2 (en) | 2003-07-28 | 2012-07-31 | Sonos, Inc. | System and method for synchronizing operations among a plurality of independently clocked digital data processing devices |
| US10613817B2 (en) | 2003-07-28 | 2020-04-07 | Sonos, Inc. | Method and apparatus for displaying a list of tracks scheduled for playback by a synchrony group |
| US11106425B2 (en) | 2003-07-28 | 2021-08-31 | Sonos, Inc. | Synchronizing operations among a plurality of independently clocked digital data processing devices |
| US11294618B2 (en) | 2003-07-28 | 2022-04-05 | Sonos, Inc. | Media player system |
| US8086752B2 (en) | 2006-11-22 | 2011-12-27 | Sonos, Inc. | Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data |
| US8290603B1 (en) | 2004-06-05 | 2012-10-16 | Sonos, Inc. | User interfaces for controlling and manipulating groupings in a multi-zone media system |
| US11650784B2 (en) | 2003-07-28 | 2023-05-16 | Sonos, Inc. | Adjusting volume levels |
| US9977561B2 (en) | 2004-04-01 | 2018-05-22 | Sonos, Inc. | Systems, methods, apparatus, and articles of manufacture to provide guest access |
| US9374607B2 (en) | 2012-06-26 | 2016-06-21 | Sonos, Inc. | Media playback system with guest access |
| DE102004017215A1 (de) * | 2004-04-05 | 2005-10-20 | Sennheiser Electronic | Audiovisuelles System |
| FI116439B (fi) * | 2004-06-04 | 2005-11-15 | Nokia Corp | Videon ja audion synkronointi |
| US8868698B2 (en) | 2004-06-05 | 2014-10-21 | Sonos, Inc. | Establishing a secure wireless network with minimum human intervention |
| US8326951B1 (en) | 2004-06-05 | 2012-12-04 | Sonos, Inc. | Establishing a secure wireless network with minimum human intervention |
| US8719874B2 (en) | 2004-09-28 | 2014-05-06 | Sony Corporation | System and method of streaming audio from a common video device |
| EP1860866A1 (en) * | 2006-05-26 | 2007-11-28 | British Telecommunications Public Limited Company | Audio-visual reception |
| US9202509B2 (en) | 2006-09-12 | 2015-12-01 | Sonos, Inc. | Controlling and grouping in a multi-zone media system |
| US8483853B1 (en) | 2006-09-12 | 2013-07-09 | Sonos, Inc. | Controlling and manipulating groupings in a multi-zone media system |
| US8788080B1 (en) | 2006-09-12 | 2014-07-22 | Sonos, Inc. | Multi-channel pairing in a media system |
| CN101785007A (zh) * | 2007-08-31 | 2010-07-21 | 国际商业机器公司 | 同步数据流的方法 |
| JP5464870B2 (ja) * | 2009-03-05 | 2014-04-09 | キヤノン株式会社 | 再生装置、その制御方法及びプログラム |
| WO2011158435A1 (ja) * | 2010-06-18 | 2011-12-22 | パナソニック株式会社 | 音声制御装置、音声制御プログラム、及び音声制御方法 |
| US11429343B2 (en) | 2011-01-25 | 2022-08-30 | Sonos, Inc. | Stereo playback configuration and control |
| US11265652B2 (en) | 2011-01-25 | 2022-03-01 | Sonos, Inc. | Playback device pairing |
| US9924282B2 (en) * | 2011-12-30 | 2018-03-20 | Gn Resound A/S | System, hearing aid, and method for improving synchronization of an acoustic signal to a video display |
| US9729115B2 (en) | 2012-04-27 | 2017-08-08 | Sonos, Inc. | Intelligently increasing the sound level of player |
| US9008330B2 (en) | 2012-09-28 | 2015-04-14 | Sonos, Inc. | Crossover frequency adjustments for audio speakers |
| US9510055B2 (en) | 2013-01-23 | 2016-11-29 | Sonos, Inc. | System and method for a media experience social interface |
| US9307508B2 (en) | 2013-04-29 | 2016-04-05 | Google Technology Holdings LLC | Systems and methods for syncronizing multiple electronic devices |
| US20150037008A1 (en) * | 2013-08-05 | 2015-02-05 | Yamaha Corporation | Video synchronization based on audio |
| US9654545B2 (en) | 2013-09-30 | 2017-05-16 | Sonos, Inc. | Group coordinator device selection |
| US20150095679A1 (en) | 2013-09-30 | 2015-04-02 | Sonos, Inc. | Transitioning A Networked Playback Device Between Operating Modes |
| US9288596B2 (en) | 2013-09-30 | 2016-03-15 | Sonos, Inc. | Coordinator device for paired or consolidated players |
| US9720576B2 (en) | 2013-09-30 | 2017-08-01 | Sonos, Inc. | Controlling and displaying zones in a multi-zone system |
| US9300647B2 (en) | 2014-01-15 | 2016-03-29 | Sonos, Inc. | Software application and zones |
| US9313591B2 (en) | 2014-01-27 | 2016-04-12 | Sonos, Inc. | Audio synchronization among playback devices using offset information |
| US20150220498A1 (en) | 2014-02-05 | 2015-08-06 | Sonos, Inc. | Remote Creation of a Playback Queue for a Future Event |
| US9226087B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
| US9226073B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
| US9679054B2 (en) | 2014-03-05 | 2017-06-13 | Sonos, Inc. | Webpage media playback |
| US10587693B2 (en) | 2014-04-01 | 2020-03-10 | Sonos, Inc. | Mirrored queues |
| US20150324552A1 (en) | 2014-05-12 | 2015-11-12 | Sonos, Inc. | Share Restriction for Media Items |
| US20150356084A1 (en) | 2014-06-05 | 2015-12-10 | Sonos, Inc. | Social Queue |
| US9874997B2 (en) | 2014-08-08 | 2018-01-23 | Sonos, Inc. | Social playback queues |
| US9690540B2 (en) | 2014-09-24 | 2017-06-27 | Sonos, Inc. | Social media queue |
| EP3114625A1 (en) | 2014-09-24 | 2017-01-11 | Sonos, Inc. | Social media connection recommendations based on playback information |
| US10645130B2 (en) | 2014-09-24 | 2020-05-05 | Sonos, Inc. | Playback updates |
| US9723038B2 (en) | 2014-09-24 | 2017-08-01 | Sonos, Inc. | Social media connection recommendations based on playback information |
| US9959087B2 (en) | 2014-09-24 | 2018-05-01 | Sonos, Inc. | Media item context from social media |
| US9860286B2 (en) | 2014-09-24 | 2018-01-02 | Sonos, Inc. | Associating a captured image with a media item |
| US9667679B2 (en) | 2014-09-24 | 2017-05-30 | Sonos, Inc. | Indicating an association between a social-media account and a media playback system |
| US11044386B1 (en) * | 2014-12-18 | 2021-06-22 | The Directv Group, Inc. | Method and system for synchronizing playback of independent audio and video streams through a network |
| US10248376B2 (en) | 2015-06-11 | 2019-04-02 | Sonos, Inc. | Multiple groupings in a playback system |
| DE102015212218A1 (de) * | 2015-06-30 | 2017-01-05 | Robert Bosch Gmbh | Dezentral synchronisiertes Multisensorsystem |
| US10303422B1 (en) | 2016-01-05 | 2019-05-28 | Sonos, Inc. | Multiple-device setup |
| US9886234B2 (en) | 2016-01-28 | 2018-02-06 | Sonos, Inc. | Systems and methods of distributing audio to one or more playback devices |
| US9866965B2 (en) * | 2016-02-08 | 2018-01-09 | Sony Corporation | Auto-configurable speaker system |
| US10712997B2 (en) | 2016-10-17 | 2020-07-14 | Sonos, Inc. | Room association based on name |
| KR20180068069A (ko) * | 2016-12-13 | 2018-06-21 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
| JP7229696B2 (ja) * | 2018-08-02 | 2023-02-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US11039177B2 (en) | 2019-03-19 | 2021-06-15 | Rovi Guides, Inc. | Systems and methods for varied audio segment compression for accelerated playback of media assets |
| US11102523B2 (en) | 2019-03-19 | 2021-08-24 | Rovi Guides, Inc. | Systems and methods for selective audio segment compression for accelerated playback of media assets by service providers |
| US10708633B1 (en) * | 2019-03-19 | 2020-07-07 | Rovi Guides, Inc. | Systems and methods for selective audio segment compression for accelerated playback of media assets |
| KR102220216B1 (ko) * | 2019-04-10 | 2021-02-25 | (주)뮤직몹 | 데이터 그룹재생 장치 및 그 시스템과 방법 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4951155A (en) * | 1987-11-23 | 1990-08-21 | Stokes Imaging Services | Apparatus and method for synchronizing videodisc images with audio signals |
| JPH05135228A (ja) | 1991-11-11 | 1993-06-01 | Hitachi Ltd | デイジタル信号受け渡しシステムとデイジタル音声信号処理回路及び信号変換回路 |
| US5467139A (en) * | 1993-09-30 | 1995-11-14 | Thomson Consumer Electronics, Inc. | Muting apparatus for a compressed audio/video signal receiver |
| JPH0965303A (ja) | 1995-08-28 | 1997-03-07 | Canon Inc | 映像音声同期方法及び装置 |
| JPH09261613A (ja) | 1996-03-26 | 1997-10-03 | Mitsubishi Electric Corp | データ受信再生装置 |
| JP3698376B2 (ja) * | 1996-08-19 | 2005-09-21 | 松下電器産業株式会社 | 同期再生装置 |
| GB9804071D0 (en) * | 1998-02-27 | 1998-04-22 | Ridgeway Systems And Software | Audio-video telephony |
| US6583821B1 (en) * | 1999-07-16 | 2003-06-24 | Thomson Licensing S.A. | Synchronizing apparatus for a compressed audio/video signal receiver |
| GB0000873D0 (en) * | 2000-01-14 | 2000-03-08 | Koninkl Philips Electronics Nv | Interconnection of audio/video devices |
| CN1243444C (zh) * | 2002-04-19 | 2006-02-22 | 松下电器产业株式会社 | 再现速度转换装置 |
-
2002
- 2002-05-31 JP JP2002158898A patent/JP3629253B2/ja not_active Expired - Fee Related
-
2003
- 2003-04-07 EP EP03008128A patent/EP1367829A3/en not_active Withdrawn
- 2003-04-25 US US10/422,835 patent/US7228059B2/en not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2006100727A1 (ja) * | 2005-03-18 | 2008-08-28 | 富士通株式会社 | 映像装置における映像信号と音声信号との同期制御方法および装置 |
| JP2007101772A (ja) * | 2005-10-03 | 2007-04-19 | D & M Holdings Inc | 再生装置及び再生方法 |
| JP2007259943A (ja) * | 2006-03-27 | 2007-10-11 | Samii Kk | 再生装置、データ再生方法及びプログラム |
| JP2008107381A (ja) * | 2006-10-23 | 2008-05-08 | Mitsubishi Electric Corp | 話速変換装置及び話速変換制御方法 |
| JP2009005910A (ja) * | 2007-06-28 | 2009-01-15 | Namco Bandai Games Inc | プログラム、情報記憶媒体、ゲーム装置 |
| JP2010220072A (ja) * | 2009-03-18 | 2010-09-30 | Fujitsu Telecom Networks Ltd | ディジタル音声信号伝送装置及びディジタル音声信号伝送方法 |
| JPWO2010122626A1 (ja) * | 2009-04-20 | 2012-10-22 | パイオニア株式会社 | 受信装置 |
| JP2012204876A (ja) * | 2011-03-23 | 2012-10-22 | Fujitsu Ltd | 再生装置、再生方法およびプログラム |
| JP2018183219A (ja) * | 2017-04-24 | 2018-11-22 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
| JP2018183218A (ja) * | 2017-04-24 | 2018-11-22 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
| JP2018183215A (ja) * | 2017-04-24 | 2018-11-22 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7228059B2 (en) | 2007-06-05 |
| EP1367829A2 (en) | 2003-12-03 |
| EP1367829A3 (en) | 2009-07-01 |
| JP3629253B2 (ja) | 2005-03-16 |
| US20030231871A1 (en) | 2003-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3629253B2 (ja) | 音声再生装置および同装置で用いられる音声再生制御方法 | |
| KR100711178B1 (ko) | 방송국 동기 방법 및 휴대 단말기 | |
| KR20170113087A (ko) | 오디오 재생을 위한 시스템 및 방법 | |
| JP3544963B2 (ja) | 同期再生のための方法および装置 | |
| JP4679647B2 (ja) | 映像音声再生装置および映像音声再生方法 | |
| US20080152309A1 (en) | Method and apparatus for audio/video synchronization | |
| KR20090053141A (ko) | 멀티미디어기기 및 그의 동기설정방법 | |
| KR20150098563A (ko) | 동화상 음성 동기 장치, 동화상 음성 동기 방법 및 동화상 음성 동기용 컴퓨터 프로그램 | |
| US10841697B1 (en) | Method and apparatus for playing audio, playing device, and storage medium | |
| JPH11112936A (ja) | オーディオ・ビデオ同期再生装置および方法 | |
| JP2006340102A (ja) | 同期再生装置および同期再生方法 | |
| JP2009272945A (ja) | 同期再生装置 | |
| KR100678938B1 (ko) | 영상과 자막의 동기화 조절 장치 및 방법 | |
| KR101600891B1 (ko) | 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화시스템 및 방법 | |
| JP4359024B2 (ja) | 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置 | |
| JP2005101766A (ja) | 電子装置及びその制御方法 | |
| JP2013005423A (ja) | 映像再生装置、映像再生方法およびプログラム | |
| JP2007201983A (ja) | 放送局同期方法、及び制御装置 | |
| JP2001078185A (ja) | 信号処理装置 | |
| KR101946471B1 (ko) | 비디오와 오디오를 동기화 하는 장치 및 방법 | |
| JP2006330541A (ja) | 音声受信再生装置 | |
| US20070248170A1 (en) | Transmitting Apparatus, Receiving Apparatus, and Reproducing Apparatus | |
| JP2007295514A (ja) | データ受信装置 | |
| JP2006319552A (ja) | マルチメディア再生装置 | |
| JP2003289346A (ja) | 移動無線端末装置およびデータ再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040701 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040831 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041029 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041210 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071217 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081217 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091217 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091217 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101217 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111217 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121217 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |