JP2003204492A - 映像音声同期装置 - Google Patents
映像音声同期装置Info
- Publication number
- JP2003204492A JP2003204492A JP2002314551A JP2002314551A JP2003204492A JP 2003204492 A JP2003204492 A JP 2003204492A JP 2002314551 A JP2002314551 A JP 2002314551A JP 2002314551 A JP2002314551 A JP 2002314551A JP 2003204492 A JP2003204492 A JP 2003204492A
- Authority
- JP
- Japan
- Prior art keywords
- data
- video
- audio
- synchronization
- resynchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Receiver Circuits (AREA)
- Television Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
(57)【要約】
【課題】 再同期を行う際の映像や音声の乱れを軽減す
る。 【解決手段】 映像音声再生装置は、ＩＰネットワーク
等を介して伝送される映像と音声の再同期に関する動作
制御を行う再同期制御部２０を備え、映像遅延制御部２
１と音声遅延制御部２２とによってそれぞれ映像データ
と音声データの遅延時間を制御して再同期を行う。この
とき再同期制御部２０において、音声データの音声レベ
ル、映像データの符号化映像種類、データ伝送状態、ユ
ーザ操作などによって再同期のタイミングを判定すると
ともに、音声データの到着時間のゆらぎ、データ伝送状
態、映像データや音声データの内容、ユーザ操作などに
よって再同期を映像優先モードと音声優先モードのいず
れで行うか優先度を判定し、この再同期のタイミングで
所定の再同期アルゴリズムを実行して同期用の遅延量を
決定し、映像遅延制御部２１及び音声遅延制御部２２を
制御する。
る。 【解決手段】 映像音声再生装置は、ＩＰネットワーク
等を介して伝送される映像と音声の再同期に関する動作
制御を行う再同期制御部２０を備え、映像遅延制御部２
１と音声遅延制御部２２とによってそれぞれ映像データ
と音声データの遅延時間を制御して再同期を行う。この
とき再同期制御部２０において、音声データの音声レベ
ル、映像データの符号化映像種類、データ伝送状態、ユ
ーザ操作などによって再同期のタイミングを判定すると
ともに、音声データの到着時間のゆらぎ、データ伝送状
態、映像データや音声データの内容、ユーザ操作などに
よって再同期を映像優先モードと音声優先モードのいず
れで行うか優先度を判定し、この再同期のタイミングで
所定の再同期アルゴリズムを実行して同期用の遅延量を
決定し、映像遅延制御部２１及び音声遅延制御部２２を
制御する。
Description
【０００１】
【発明の属する技術分野】本発明は、映像や音声の再生
タイミングを同期させる映像音声同期装置に関する。
タイミングを同期させる映像音声同期装置に関する。
【０００２】
【従来の技術】近年、通信回線を介して伝送されるディ
ジタル化した映像や音声の再生を行う映像音声再生装置
が用いられるようになった。例えば、ローカルエリアネ
ットワーク（ＬＡＮ）やインターネット等のネットワー
クによって動画像データを伝送する動画配信システム
や、ネットワークを介して伝送される動画像データを再
生する動画再生装置などが実用化されている。
ジタル化した映像や音声の再生を行う映像音声再生装置
が用いられるようになった。例えば、ローカルエリアネ
ットワーク（ＬＡＮ）やインターネット等のネットワー
クによって動画像データを伝送する動画配信システム
や、ネットワークを介して伝送される動画像データを再
生する動画再生装置などが実用化されている。
【０００３】このような映像音声再生装置では、例えば
ＩＰ（Internet Protocol ）によるデータ通信を行うＩ
Ｐネットワーク等において、パケット化された映像や音
声のデータを伝送する際に、データ伝送時間のずれ等に
よって映像と音声の再生タイミングがずれることがあ
り、このような場合に対応して映像と音声の同期を行う
ようにしている。映像と音声の同期を行うには、受信し
た映像や音声のデータに付加された時刻情報に基づいて
受信時刻のずれを検出するずれ検出手段と、映像と音声
の再生タイミングを一致させるための信号遅延を行う遅
延手段とを用いて、映像と音声の少なくとも一方を遅延
させてタイミングを調整し、同期をとるのが一般的であ
る。
ＩＰ（Internet Protocol ）によるデータ通信を行うＩ
Ｐネットワーク等において、パケット化された映像や音
声のデータを伝送する際に、データ伝送時間のずれ等に
よって映像と音声の再生タイミングがずれることがあ
り、このような場合に対応して映像と音声の同期を行う
ようにしている。映像と音声の同期を行うには、受信し
た映像や音声のデータに付加された時刻情報に基づいて
受信時刻のずれを検出するずれ検出手段と、映像と音声
の再生タイミングを一致させるための信号遅延を行う遅
延手段とを用いて、映像と音声の少なくとも一方を遅延
させてタイミングを調整し、同期をとるのが一般的であ
る。
【０００４】映像と音声の同期手順としては、以下に示
すような手順が従来用いられている。（１）データパケ
ットの受信開始時に、ずれ検出手段により映像パケット
と音声パケットの受信時間差を求めて遅延量を決定す
る。（２）決定した遅延量を遅延手段に設定して、以後
受信したデータを遅延させながら再生を行うことで同期
をとる。（３）毎パケットごとあるいは一定間隔で遅延
量を再確認し、再同期を行う。
すような手順が従来用いられている。（１）データパケ
ットの受信開始時に、ずれ検出手段により映像パケット
と音声パケットの受信時間差を求めて遅延量を決定す
る。（２）決定した遅延量を遅延手段に設定して、以後
受信したデータを遅延させながら再生を行うことで同期
をとる。（３）毎パケットごとあるいは一定間隔で遅延
量を再確認し、再同期を行う。
【０００５】例えば、特開平８−４６８８４号公報（特
許文献１）には、映像成分と音声成分のそれぞれのタイ
ミング・リファレンス信号（ＰＴＳ）を用い、このＰＴ
Ｓの差に応じて映像と音声の同期を行う技術が開示され
ている。また、特開平９−２１４９３６号公報（特許文
献２）には、動画像データの復号処理がシステムの状況
に応じて遅延する場合、設定した処理遅延許容値までの
遅延を許容し、この処理遅延許容値を超えて増加した場
合は受信した未処理の動画像データをクリアしてリフレ
ッシュ処理データを要求し、リフレッシュ処理データを
処理することで再同期を行う技術が開示されている。
許文献１）には、映像成分と音声成分のそれぞれのタイ
ミング・リファレンス信号（ＰＴＳ）を用い、このＰＴ
Ｓの差に応じて映像と音声の同期を行う技術が開示され
ている。また、特開平９−２１４９３６号公報（特許文
献２）には、動画像データの復号処理がシステムの状況
に応じて遅延する場合、設定した処理遅延許容値までの
遅延を許容し、この処理遅延許容値を超えて増加した場
合は受信した未処理の動画像データをクリアしてリフレ
ッシュ処理データを要求し、リフレッシュ処理データを
処理することで再同期を行う技術が開示されている。
【０００６】
【特許文献１】特開平８−４６８８４号公報
【特許文献２】特開平９−２１４９３６号公報
【０００７】
【発明が解決しようとする課題】映像と音声の同期がと
られていても、再生中にデータパケットの受信タイミン
グにゆらぎが生じることなどによって同期がずれること
があり、上記同期手順の（３）に述べたように所定間隔
ごとなどで再同期を行う必要がある。しかし、従来の同
期方法では、再同期のタイミングに対する工夫がなされ
ておらず、再同期を行う際に再生信号に不連続が生じて
映像や音声が途切れたりなど、映像や音声の乱れが生じ
ることがあり、このときに視聴者が不自然に感じること
があった。
られていても、再生中にデータパケットの受信タイミン
グにゆらぎが生じることなどによって同期がずれること
があり、上記同期手順の（３）に述べたように所定間隔
ごとなどで再同期を行う必要がある。しかし、従来の同
期方法では、再同期のタイミングに対する工夫がなされ
ておらず、再同期を行う際に再生信号に不連続が生じて
映像や音声が途切れたりなど、映像や音声の乱れが生じ
ることがあり、このときに視聴者が不自然に感じること
があった。
【０００８】本発明は、上記事情に鑑みてなされたもの
で、その目的は、再同期時の映像や音声の乱れを軽減す
ることが可能な映像音声同期装置を提供することにあ
る。また、本発明は、復号部の特性に応じて同期用の遅
延基準値を可変設定することが可能な映像音声同期装置
を提供することにある。
で、その目的は、再同期時の映像や音声の乱れを軽減す
ることが可能な映像音声同期装置を提供することにあ
る。また、本発明は、復号部の特性に応じて同期用の遅
延基準値を可変設定することが可能な映像音声同期装置
を提供することにある。
【０００９】
【課題を解決するための手段】本発明は、第１に、パケ
ット化されて伝送される映像データと音声データの少な
くとも一方を含む複数のコンテンツデータを再生する際
の同期を行う映像音声同期装置であって、前記複数のコ
ンテンツデータの再同期を行うタイミングであるかを判
定する再同期判定手段と、前記判定された再同期のタイ
ミングで同期用の遅延量を決定する同期制御手段と、前
記遅延量に基づいて前記複数のコンテンツデータの少な
くとも一つを遅延するデータ遅延手段と、を備えたこと
を特徴とする。
ット化されて伝送される映像データと音声データの少な
くとも一方を含む複数のコンテンツデータを再生する際
の同期を行う映像音声同期装置であって、前記複数のコ
ンテンツデータの再同期を行うタイミングであるかを判
定する再同期判定手段と、前記判定された再同期のタイ
ミングで同期用の遅延量を決定する同期制御手段と、前
記遅延量に基づいて前記複数のコンテンツデータの少な
くとも一つを遅延するデータ遅延手段と、を備えたこと
を特徴とする。
【００１０】第２に、前記複数のコンテンツデータの解
析を行うデータ解析手段を備え、前記再同期判定手段
は、前記データ解析手段による解析結果に基づき、前記
コンテンツデータの一つが音声データであり、その音声
レベルが所定値以下で連続する場合及び音声でない音が
連続する場合の少なくともいずれか一方の場合に、再同
期のタイミングであると判定することを特徴とする。
析を行うデータ解析手段を備え、前記再同期判定手段
は、前記データ解析手段による解析結果に基づき、前記
コンテンツデータの一つが音声データであり、その音声
レベルが所定値以下で連続する場合及び音声でない音が
連続する場合の少なくともいずれか一方の場合に、再同
期のタイミングであると判定することを特徴とする。
【００１１】第３に、前記複数のコンテンツデータの解
析を行うデータ解析手段を備え、前記再同期判定手段
は、前記データ解析手段による解析結果に基づき、前記
コンテンツデータの一つが映像データであり、それがフ
レーム内符号化映像のデータである場合及び前フレーム
との差分が所定値以下である場合の少なくともいずれか
一方の場合に、再同期のタイミングであると判定するこ
とを特徴とする。
析を行うデータ解析手段を備え、前記再同期判定手段
は、前記データ解析手段による解析結果に基づき、前記
コンテンツデータの一つが映像データであり、それがフ
レーム内符号化映像のデータである場合及び前フレーム
との差分が所定値以下である場合の少なくともいずれか
一方の場合に、再同期のタイミングであると判定するこ
とを特徴とする。
【００１２】第４に、前記複数のコンテンツデータの伝
送状態を検出するデータ伝送状態検出手段を備え、前記
再同期判定手段は、前記データ伝送状態検出手段による
検出結果に基づき、前記コンテンツデータの伝送状態と
してパケットロス、パケットの非順序到着、パケットの
到着間隔が所定値以上のいずれかを含む伝送異常が生じ
た場合に、再同期のタイミングであると判定することを
特徴とする。
送状態を検出するデータ伝送状態検出手段を備え、前記
再同期判定手段は、前記データ伝送状態検出手段による
検出結果に基づき、前記コンテンツデータの伝送状態と
してパケットロス、パケットの非順序到着、パケットの
到着間隔が所定値以上のいずれかを含む伝送異常が生じ
た場合に、再同期のタイミングであると判定することを
特徴とする。
【００１３】第５に、ユーザによる操作を検出するユー
ザ操作検出手段を備え、前記再同期判定手段は、前記ユ
ーザ操作検出手段による検出結果に基づき、ユーザ操作
として再生される映像または音声に関する操作がなされ
たときに、再同期のタイミングであると判定することを
特徴とする。
ザ操作検出手段を備え、前記再同期判定手段は、前記ユ
ーザ操作検出手段による検出結果に基づき、ユーザ操作
として再生される映像または音声に関する操作がなされ
たときに、再同期のタイミングであると判定することを
特徴とする。
【００１４】第６に、前記複数のコンテンツデータのう
ちのいずれを優先して同期を行うかを判定する優先度判
定手段を備えたことを特徴とする。
ちのいずれを優先して同期を行うかを判定する優先度判
定手段を備えたことを特徴とする。
【００１５】第７に、前記複数のコンテンツデータの解
析を行うデータ解析手段を備え、前記優先度判定手段
は、前記データ解析手段による解析結果に基づき、前記
複数のコンテンツデータが音声データと映像データとの
組み合わせであり、前記音声データの到着時間のゆらぎ
がその音声データのパケット長よりも小さい場合に、前
記映像データを優先して同期を行うよう判定することを
特徴とする。
析を行うデータ解析手段を備え、前記優先度判定手段
は、前記データ解析手段による解析結果に基づき、前記
複数のコンテンツデータが音声データと映像データとの
組み合わせであり、前記音声データの到着時間のゆらぎ
がその音声データのパケット長よりも小さい場合に、前
記映像データを優先して同期を行うよう判定することを
特徴とする。
【００１６】第８に、前記複数のコンテンツデータの解
析を行うデータ解析手段を備え、前記優先度判定手段
は、前記データ解析手段による解析結果に基づき、前記
複数のコンテンツデータが音声データと映像データとの
組み合わせであり、前記音声データの到着時間のゆらぎ
がその音声データのパケット長よりも大きい場合に、前
記音声データを優先して同期を行うよう判定することを
特徴とする。
析を行うデータ解析手段を備え、前記優先度判定手段
は、前記データ解析手段による解析結果に基づき、前記
複数のコンテンツデータが音声データと映像データとの
組み合わせであり、前記音声データの到着時間のゆらぎ
がその音声データのパケット長よりも大きい場合に、前
記音声データを優先して同期を行うよう判定することを
特徴とする。
【００１７】第９に、前記複数のコンテンツデータの解
析を行うデータ解析手段を備え、前記優先度判定手段
は、前記データ解析手段による解析結果に基づき、前記
コンテンツデータの内容によって再同期時のデータの優
先度を判定することを特徴とする。
析を行うデータ解析手段を備え、前記優先度判定手段
は、前記データ解析手段による解析結果に基づき、前記
コンテンツデータの内容によって再同期時のデータの優
先度を判定することを特徴とする。
【００１８】第１０に、前記複数のコンテンツデータの
伝送状態を検出するデータ伝送状態検出手段を備え、前
記優先度判定手段は、前記データ伝送状態検出手段によ
る検出結果に基づき、前記コンテンツデータのパケット
の伝送状態に応じて再同期時のデータの優先度を判定す
ることを特徴とする。
伝送状態を検出するデータ伝送状態検出手段を備え、前
記優先度判定手段は、前記データ伝送状態検出手段によ
る検出結果に基づき、前記コンテンツデータのパケット
の伝送状態に応じて再同期時のデータの優先度を判定す
ることを特徴とする。
【００１９】第１１に、ユーザによる操作を検出するユ
ーザ操作検出手段を備え、前記優先度判定手段は、前記
ユーザ操作検出手段による検出結果に基づき、映像また
は音声に関するユーザ操作に応じて再同期時のデータの
優先度を判定することを特徴とする。
ーザ操作検出手段を備え、前記優先度判定手段は、前記
ユーザ操作検出手段による検出結果に基づき、映像また
は音声に関するユーザ操作に応じて再同期時のデータの
優先度を判定することを特徴とする。
【００２０】第１２に、前記コンテンツデータは、伝送
時に再同期に適当な所定のタイミングで再同期情報が付
加されるものであり、前記再同期判定手段は、前記再同
期情報によって再同期のタイミングを判定することを特
徴とする。
時に再同期に適当な所定のタイミングで再同期情報が付
加されるものであり、前記再同期判定手段は、前記再同
期情報によって再同期のタイミングを判定することを特
徴とする。
【００２１】第１３に、前記コンテンツデータを復号す
る復号手段の前段において測定用データを生成して前記
コンテンツデータに挿入する測定信号生成手段と、前記
復号手段の後段において前記測定用データを取り出して
前記同期制御手段に送る測定信号検出手段とを備え、前
記同期制御手段は、前記測定用データに基づいて同期用
の遅延基準値を決定することを特徴とする。
る復号手段の前段において測定用データを生成して前記
コンテンツデータに挿入する測定信号生成手段と、前記
復号手段の後段において前記測定用データを取り出して
前記同期制御手段に送る測定信号検出手段とを備え、前
記同期制御手段は、前記測定用データに基づいて同期用
の遅延基準値を決定することを特徴とする。
【００２２】第１４に、前記測定信号生成手段は、前記
測定用データにおいてデータ識別子と測定開始時間とを
設定するものであり、前記測定信号検出手段は、前記デ
ータ識別子により測定用データを検出するものであり、
前記測定信号検出手段により取り出された復号処理後の
測定用データに測定終了時間を設定する測定データ設定
手段を備え、前記同期制御手段は、前記測定用データの
測定開始時間と測定終了時間とに基づいて復号処理時間
を得て前記同期用の遅延基準値を決定することを特徴と
する。
測定用データにおいてデータ識別子と測定開始時間とを
設定するものであり、前記測定信号検出手段は、前記デ
ータ識別子により測定用データを検出するものであり、
前記測定信号検出手段により取り出された復号処理後の
測定用データに測定終了時間を設定する測定データ設定
手段を備え、前記同期制御手段は、前記測定用データの
測定開始時間と測定終了時間とに基づいて復号処理時間
を得て前記同期用の遅延基準値を決定することを特徴と
する。
【００２３】本発明では、音声データの音声レベル、映
像データの符号化映像種類、データ伝送状態、ユーザ操
作などによって複数のコンテンツデータの再同期を行う
タイミングであるかを判定し、この再同期のタイミング
で同期用の遅延量を決定して、この遅延量に基づいて複
数のコンテンツデータの少なくとも一つを遅延すること
により、再同期を行う。またこのとき、音声データの到
着時間のゆらぎ、データ伝送状態、コンテンツデータの
内容、ユーザ操作などによって再同期をいずれのデータ
を優先して行うか優先度を判定する。あるいは、コンテ
ンツデータの伝送時に再同期に適当な所定のタイミング
でコンテンツデータに再同期情報が付加されるように
し、この再同期情報によって再同期のタイミングを判定
する。これにより、再同期を行う際に映像データの乱
れ、音声データの途切れなどのコンテンツデータの乱れ
が目立たないように軽減される。
像データの符号化映像種類、データ伝送状態、ユーザ操
作などによって複数のコンテンツデータの再同期を行う
タイミングであるかを判定し、この再同期のタイミング
で同期用の遅延量を決定して、この遅延量に基づいて複
数のコンテンツデータの少なくとも一つを遅延すること
により、再同期を行う。またこのとき、音声データの到
着時間のゆらぎ、データ伝送状態、コンテンツデータの
内容、ユーザ操作などによって再同期をいずれのデータ
を優先して行うか優先度を判定する。あるいは、コンテ
ンツデータの伝送時に再同期に適当な所定のタイミング
でコンテンツデータに再同期情報が付加されるように
し、この再同期情報によって再同期のタイミングを判定
する。これにより、再同期を行う際に映像データの乱
れ、音声データの途切れなどのコンテンツデータの乱れ
が目立たないように軽減される。
【００２４】また、コンテンツデータの復号手段の前段
において測定用データを生成してコンテンツデータに挿
入し、復号手段の後段においてコンテンツデータから測
定用データを取り出して同期制御手段に送り、同期制御
手段において、前記測定用データに基づいて復号処理時
間を得て同期用の遅延基準値を決定する。これにより、
復号部の方式や特性等を変更しても復号部の特性に応じ
て同期用の遅延基準値を可変設定することが可能とな
る。
において測定用データを生成してコンテンツデータに挿
入し、復号手段の後段においてコンテンツデータから測
定用データを取り出して同期制御手段に送り、同期制御
手段において、前記測定用データに基づいて復号処理時
間を得て同期用の遅延基準値を決定する。これにより、
復号部の方式や特性等を変更しても復号部の特性に応じ
て同期用の遅延基準値を可変設定することが可能とな
る。
【００２５】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１は本発明の第１実施形態に係
る映像音声同期装置を含む映像音声再生装置の構成を示
すブロック図である。本実施形態では、ＩＰネットワー
ク等の通信回線を介して伝送されるパケット化された映
像及び音声のコンテンツデータを受信して再生を行う映
像音声再生装置における映像音声同期装置の構成例を示
してその動作を詳細に説明する。
施の形態を説明する。図１は本発明の第１実施形態に係
る映像音声同期装置を含む映像音声再生装置の構成を示
すブロック図である。本実施形態では、ＩＰネットワー
ク等の通信回線を介して伝送されるパケット化された映
像及び音声のコンテンツデータを受信して再生を行う映
像音声再生装置における映像音声同期装置の構成例を示
してその動作を詳細に説明する。
【００２６】映像音声再生装置は、第１のコンテンツデ
ータとしての映像データ（映像パケット）を受信する映
像受信部１１、第２のコンテンツデータとしての音声デ
ータ（音声パケット）を受信する音声受信部１２、再生
時の映像と音声の同期を行う映像音声同期部１３、映像
データの復号を行う映像復号部１５、音声データの復号
を行う音声復号部１６、復号した映像信号の表示を行う
映像表示部１７、復号した音声信号の再生を行う音声再
生部１８を備えて構成される。
ータとしての映像データ（映像パケット）を受信する映
像受信部１１、第２のコンテンツデータとしての音声デ
ータ（音声パケット）を受信する音声受信部１２、再生
時の映像と音声の同期を行う映像音声同期部１３、映像
データの復号を行う映像復号部１５、音声データの復号
を行う音声復号部１６、復号した映像信号の表示を行う
映像表示部１７、復号した音声信号の再生を行う音声再
生部１８を備えて構成される。
【００２７】ここでいうコンテンツデータとは、１つま
たは複数のメディアデータ（音声データや映像データ）
を含むものである。複数のメディアデータからなるコン
テンツデータとは、例えば多重化された音声映像ストリ
ームや、音声・映像・静止画・テキストなどからなるマ
ルチメディア情報ストリームなどを示す。
たは複数のメディアデータ（音声データや映像データ）
を含むものである。複数のメディアデータからなるコン
テンツデータとは、例えば多重化された音声映像ストリ
ームや、音声・映像・静止画・テキストなどからなるマ
ルチメディア情報ストリームなどを示す。
【００２８】映像音声同期部１３は、再同期に関する動
作制御を行う再同期制御部２０、映像データの遅延時間
を制御する映像遅延制御部（データ遅延手段）２１、音
声データの遅延時間を制御する音声遅延制御部（データ
遅延手段）２２を備えて構成される。
作制御を行う再同期制御部２０、映像データの遅延時間
を制御する映像遅延制御部（データ遅延手段）２１、音
声データの遅延時間を制御する音声遅延制御部（データ
遅延手段）２２を備えて構成される。
【００２９】本実施形態では、映像受信部１１及び音声
受信部１２でそれぞれ受信した映像データと音声データ
に対して、映像音声同期部１３において、再同期制御部
２０の制御の元で映像遅延制御部２１及び音声遅延制御
部２２でそれぞれ遅延させて映像復号部１５及び音声復
号部１６への投入タイミングを調整することによって、
映像と音声の同期が行われる。ここで、再同期のときの
映像や音声の乱れを軽減するために、以下に示す４つの
いずれかのタイミングで再同期を実行するようにする。
受信部１２でそれぞれ受信した映像データと音声データ
に対して、映像音声同期部１３において、再同期制御部
２０の制御の元で映像遅延制御部２１及び音声遅延制御
部２２でそれぞれ遅延させて映像復号部１５及び音声復
号部１６への投入タイミングを調整することによって、
映像と音声の同期が行われる。ここで、再同期のときの
映像や音声の乱れを軽減するために、以下に示す４つの
いずれかのタイミングで再同期を実行するようにする。
【００３０】（Ａ）入力音声パケットの音声レベルが所
定値以下が連続する場合、及び環境音などの音声でない
音が連続する場合に、再同期を行う。 （Ｂ）入力映像パケットがフレーム内符号化映像（Ｉフ
レーム映像）の場合、及び前フレームとの差分が小さい
場合に、再同期を行う。 （Ｃ）伝送状態（パケットロス、パケットの非順序到
着、パケットの到着間隔など）に合わせて再同期を行
う。 （Ｄ）ユーザ操作（ボリュームを下げる、映像表示中ウ
ィンドウの拡大など）に合わせて再同期を行う。
定値以下が連続する場合、及び環境音などの音声でない
音が連続する場合に、再同期を行う。 （Ｂ）入力映像パケットがフレーム内符号化映像（Ｉフ
レーム映像）の場合、及び前フレームとの差分が小さい
場合に、再同期を行う。 （Ｃ）伝送状態（パケットロス、パケットの非順序到
着、パケットの到着間隔など）に合わせて再同期を行
う。 （Ｄ）ユーザ操作（ボリュームを下げる、映像表示中ウ
ィンドウの拡大など）に合わせて再同期を行う。
【００３１】上記のようなタイミングで再同期を行うこ
とによって、映像データや音声データに不連続が生じて
も再生出力される映像や音声の乱れを目立たなくするこ
とが可能である。例えば、音声の出力レベルが小さい場
合は、多少の途切れがあったりデータ補間の伸長処理等
を行っても目立たないため、映像及び音声の乱れを低減
して再同期を実行できる。また、フレーム内符号化映像
などの画質の良いフレーム映像において同期ずれが大き
いと、ユーザにとって違和感が大きくなってしまい、ま
たフレーム内符号化映像では以前のフレーム映像とは相
関性が低いので、このようなフレーム映像のタイミング
で映像及び音声の乱れが目立たないように再同期を実行
できる。さらに、フレーム間符号化映像であっても前フ
レームとの差分が小さければ、その入力映像パケットを
破棄しても映像の乱れが小さいため、このタイミングで
映像の乱れが目立たないように再同期を実行可能であ
る。また、パケットロスなどのデータ伝送時の不具合が
生じたり、ユーザ操作がなされた場合は、もともと出力
される映像及び音声に乱れが生じるため、この乱れが目
立たない間に再同期を実行できる。
とによって、映像データや音声データに不連続が生じて
も再生出力される映像や音声の乱れを目立たなくするこ
とが可能である。例えば、音声の出力レベルが小さい場
合は、多少の途切れがあったりデータ補間の伸長処理等
を行っても目立たないため、映像及び音声の乱れを低減
して再同期を実行できる。また、フレーム内符号化映像
などの画質の良いフレーム映像において同期ずれが大き
いと、ユーザにとって違和感が大きくなってしまい、ま
たフレーム内符号化映像では以前のフレーム映像とは相
関性が低いので、このようなフレーム映像のタイミング
で映像及び音声の乱れが目立たないように再同期を実行
できる。さらに、フレーム間符号化映像であっても前フ
レームとの差分が小さければ、その入力映像パケットを
破棄しても映像の乱れが小さいため、このタイミングで
映像の乱れが目立たないように再同期を実行可能であ
る。また、パケットロスなどのデータ伝送時の不具合が
生じたり、ユーザ操作がなされた場合は、もともと出力
される映像及び音声に乱れが生じるため、この乱れが目
立たない間に再同期を実行できる。
【００３２】図２は第１実施形態に係る再同期制御部の
詳細構成を示すブロック図である。この図２の例は、上
記（Ａ）または（Ｂ）に示した再同期タイミングで再同
期を行う構成を示したものである。
詳細構成を示すブロック図である。この図２の例は、上
記（Ａ）または（Ｂ）に示した再同期タイミングで再同
期を行う構成を示したものである。
【００３３】第１実施形態の再同期制御部２０ａは、再
同期判定部（再同期判定手段）３１、優先度判定部（優
先度判定手段）３２、同期制御部（同期制御手段）３
３、映像パケット解析部（データ解析手段）３４、音声
パケット解析部（データ解析手段）３５を有して構成さ
れる。再同期判定部３１は、再同期のタイミングになっ
たかどうかを判定するものである。優先度判定部３２
は、映像あるいは音声のどちらを優先して同期を行うか
を判定し決定するものである。同期制御部３３は、映像
及び音声の再同期アルゴリズムを実行し、映像及び音声
の遅延量を決定するものである。
同期判定部（再同期判定手段）３１、優先度判定部（優
先度判定手段）３２、同期制御部（同期制御手段）３
３、映像パケット解析部（データ解析手段）３４、音声
パケット解析部（データ解析手段）３５を有して構成さ
れる。再同期判定部３１は、再同期のタイミングになっ
たかどうかを判定するものである。優先度判定部３２
は、映像あるいは音声のどちらを優先して同期を行うか
を判定し決定するものである。同期制御部３３は、映像
及び音声の再同期アルゴリズムを実行し、映像及び音声
の遅延量を決定するものである。
【００３４】映像パケット解析部３４は、映像受信部１
１で受信した映像パケットがフレーム内符号化映像（Ｉ
フレーム映像）であるかどうかを解析するものである。
音声パケット解析部３５は、音声受信部１２で受信した
音声パケットの音声レベルを判定する。
１で受信した映像パケットがフレーム内符号化映像（Ｉ
フレーム映像）であるかどうかを解析するものである。
音声パケット解析部３５は、音声受信部１２で受信した
音声パケットの音声レベルを判定する。
【００３５】この第１実施形態では、映像パケット解析
部３４及び音声パケット解析部３５での解析結果に基づ
き、再同期判定部３１において再同期を行うタイミング
かどうかを判定するとともに、優先度判定部３２におい
て再同期を行う場合に映像優先モードと音声優先モード
のどちらで同期を実行するかを決定する。ここでは、受
信した音声パケットの音声レベルが所定値以下の状態が
連続する場合と、受信した映像パケットがフレーム内符
号化映像である場合に再同期を行う。例えば、前記所定
値として、音声レベルが（静かな部屋の騒音レベルの目
安である）５０ｄＢを下回った場合、再同期を行う。な
お、所定値は上記値に限定されるものではなく、システ
ム構成や使用環境等に応じて適切な任意の値を用いれば
よい。
部３４及び音声パケット解析部３５での解析結果に基づ
き、再同期判定部３１において再同期を行うタイミング
かどうかを判定するとともに、優先度判定部３２におい
て再同期を行う場合に映像優先モードと音声優先モード
のどちらで同期を実行するかを決定する。ここでは、受
信した音声パケットの音声レベルが所定値以下の状態が
連続する場合と、受信した映像パケットがフレーム内符
号化映像である場合に再同期を行う。例えば、前記所定
値として、音声レベルが（静かな部屋の騒音レベルの目
安である）５０ｄＢを下回った場合、再同期を行う。な
お、所定値は上記値に限定されるものではなく、システ
ム構成や使用環境等に応じて適切な任意の値を用いれば
よい。
【００３６】あるいは、映像パケットにおいて前フレー
ムとの差分が所定値以下の場合に再同期を行うようにし
てもよい。この場合、例えば、映像符号化処理の単位と
なるマクロブロックごとに設定され、そのマクロブロッ
クがそのフレームに符号化情報を含んでいないことを示
すnot_codedフラグを利用することで、前フレームとの
差分の評価を行うことができる。本例では、解像度３５
２×２４０ピクセルの画像を構成する３３０個のマクロ
ブロックのうち、７０％にあたる２３１個以上のマクロ
ブロックにおいてnot_codedフラグが設定されていた場
合、前フレームとの差分が所定値以下であるものとし
て、再同期を行う。なお、所定値は上記値に限定される
ものではなく、システム構成やデータフォーマット等に
応じて適切な任意の値を用いればよい。
ムとの差分が所定値以下の場合に再同期を行うようにし
てもよい。この場合、例えば、映像符号化処理の単位と
なるマクロブロックごとに設定され、そのマクロブロッ
クがそのフレームに符号化情報を含んでいないことを示
すnot_codedフラグを利用することで、前フレームとの
差分の評価を行うことができる。本例では、解像度３５
２×２４０ピクセルの画像を構成する３３０個のマクロ
ブロックのうち、７０％にあたる２３１個以上のマクロ
ブロックにおいてnot_codedフラグが設定されていた場
合、前フレームとの差分が所定値以下であるものとし
て、再同期を行う。なお、所定値は上記値に限定される
ものではなく、システム構成やデータフォーマット等に
応じて適切な任意の値を用いればよい。
【００３７】音声受信部１２で受信される音声パケット
の到着時間のゆらぎが音声パケット長よりも小さい場合
は、音声データの伸長処理による音声の乱れが小さいの
で、映像優先モードで再同期を行う。映像優先モードで
は、映像復号部１５への映像データの投入タイミングを
基準として、音声データを音声復号部１６へ送出する。
ここで、再同期時の遅延した音声データの投入タイミン
グが遅くなり、そのままでは音声の途切れが発生する場
合には、途切れを無くすために音声データの伸長処理を
行う。
の到着時間のゆらぎが音声パケット長よりも小さい場合
は、音声データの伸長処理による音声の乱れが小さいの
で、映像優先モードで再同期を行う。映像優先モードで
は、映像復号部１５への映像データの投入タイミングを
基準として、音声データを音声復号部１６へ送出する。
ここで、再同期時の遅延した音声データの投入タイミン
グが遅くなり、そのままでは音声の途切れが発生する場
合には、途切れを無くすために音声データの伸長処理を
行う。
【００３８】音声受信部１２で受信される音声パケット
の到着時間のゆらぎが、音声パケット長よりも大きい場
合は、音声データの伸長処理による音声の乱れが大きく
なるため、音声優先モードで再同期を行う。音声優先モ
ードでは、音声復号部１６への音声データの投入タイミ
ングを基準として、映像データを映像復号部１５へ送出
する。この場合、音声の途切れが発生しないように、音
声データの投入タイミングを早めるようにする。また、
映像パケットの受信タイミングが音声に対して１フレー
ム分以上遅れた場合には、映像表示部１７に対し映像の
表示を行わないように指示する。これにより、音声とず
れた映像の表示を防止し、映像の乱れを防ぐようにして
いる。
の到着時間のゆらぎが、音声パケット長よりも大きい場
合は、音声データの伸長処理による音声の乱れが大きく
なるため、音声優先モードで再同期を行う。音声優先モ
ードでは、音声復号部１６への音声データの投入タイミ
ングを基準として、映像データを映像復号部１５へ送出
する。この場合、音声の途切れが発生しないように、音
声データの投入タイミングを早めるようにする。また、
映像パケットの受信タイミングが音声に対して１フレー
ム分以上遅れた場合には、映像表示部１７に対し映像の
表示を行わないように指示する。これにより、音声とず
れた映像の表示を防止し、映像の乱れを防ぐようにして
いる。
【００３９】なお、映像と音声の優先度の判定は、上記
の例以外に、音声データや映像データの内容によって、
例えば音声レベルが小さいときは映像を優先したり、映
像がＩフレーム映像のときは映像を優先したりしてもよ
い。
の例以外に、音声データや映像データの内容によって、
例えば音声レベルが小さいときは映像を優先したり、映
像がＩフレーム映像のときは映像を優先したりしてもよ
い。
【００４０】ここで、映像と音声の同期について以下に
詳しく説明する。図３は映像データと音声データの各部
での入出力タイミングを示すタイムチャートである。通
常、映像データと音声データの受信タイミングは、ネッ
トワーク等の通信回線での伝送遅延差があるため、音声
受信部１２での音声パケットの受信タイミングに対して
映像受信部１１での映像パケットの受信タイミングの方
が遅れる。この伝送遅延差と、音声復号部１６と映像復
号部１５での復号処理時間差とを考慮して、これらの時
間差を加えたものを音声遅延時間とし、音声データの音
声復号部１６への投入タイミングを遅延させるようにす
る。これにより、音声再生部１８と映像表示部１７での
出力内容のタイミングが一致し、映像と音声の同期をと
ることができる。
詳しく説明する。図３は映像データと音声データの各部
での入出力タイミングを示すタイムチャートである。通
常、映像データと音声データの受信タイミングは、ネッ
トワーク等の通信回線での伝送遅延差があるため、音声
受信部１２での音声パケットの受信タイミングに対して
映像受信部１１での映像パケットの受信タイミングの方
が遅れる。この伝送遅延差と、音声復号部１６と映像復
号部１５での復号処理時間差とを考慮して、これらの時
間差を加えたものを音声遅延時間とし、音声データの音
声復号部１６への投入タイミングを遅延させるようにす
る。これにより、音声再生部１８と映像表示部１７での
出力内容のタイミングが一致し、映像と音声の同期をと
ることができる。
【００４１】図４は映像優先モードで再同期を行う場合
の映像データ及び音声データの各部での入出力タイミン
グを示すタイムチャートである。なお、以降では音声
ｎ，ｎ＋１，ｎ＋２のデータと映像ｍのデータとを対応
させて再同期する場合を例示する。映像優先モードの場
合は、映像復号部１５への映像データの投入タイミング
を基準として音声データの投入タイミングを合わせて音
声復号部１６へ送出する。
の映像データ及び音声データの各部での入出力タイミン
グを示すタイムチャートである。なお、以降では音声
ｎ，ｎ＋１，ｎ＋２のデータと映像ｍのデータとを対応
させて再同期する場合を例示する。映像優先モードの場
合は、映像復号部１５への映像データの投入タイミング
を基準として音声データの投入タイミングを合わせて音
声復号部１６へ送出する。
【００４２】図４の例では、音声再生部１８と映像表示
部１７での出力タイミングを一致させて同期をとるため
の音声遅延時間（遅延基準値）に対して、音声復号部１
６への音声データの投入開始タイミングが早く、音声デ
ータの時間ゆらぎＴｄａが生じている場合を示してい
る。この場合、映像データにタイミングを合わせて音声
データを遅延させると、音声が途切れてしまうため、こ
れを回避するために音声ｎ′のように音声データを補間
する伸長処理を行って音声復号部１６へ投入する。例え
ば、図４のように音声データの時間ゆらぎＴｄａの値が
音声１フレームを下回る場合であって、通常音声フレー
ムを２０ｍｓｅｃ、ゆらぎＴｄａの値を１０ｍｓｅｃと
した場合、音声データ補間処理によって音声データｎ′
を３０ｍｓｅｃ分のデータに伸長する。なお、上記例示
した値に限定されるものではなく、システム構成やデー
タフォーマット等に応じて適切な任意の値を用いればよ
い。このような動作処理により、映像の出力タイミング
に合わせて音声の再同期を行い、この再同期時の音声の
乱れを防止することが可能となる。
部１７での出力タイミングを一致させて同期をとるため
の音声遅延時間（遅延基準値）に対して、音声復号部１
６への音声データの投入開始タイミングが早く、音声デ
ータの時間ゆらぎＴｄａが生じている場合を示してい
る。この場合、映像データにタイミングを合わせて音声
データを遅延させると、音声が途切れてしまうため、こ
れを回避するために音声ｎ′のように音声データを補間
する伸長処理を行って音声復号部１６へ投入する。例え
ば、図４のように音声データの時間ゆらぎＴｄａの値が
音声１フレームを下回る場合であって、通常音声フレー
ムを２０ｍｓｅｃ、ゆらぎＴｄａの値を１０ｍｓｅｃと
した場合、音声データ補間処理によって音声データｎ′
を３０ｍｓｅｃ分のデータに伸長する。なお、上記例示
した値に限定されるものではなく、システム構成やデー
タフォーマット等に応じて適切な任意の値を用いればよ
い。このような動作処理により、映像の出力タイミング
に合わせて音声の再同期を行い、この再同期時の音声の
乱れを防止することが可能となる。
【００４３】図５は音声優先モードで再同期を行う場合
で映像データの時間ゆらぎが小さい場合の映像データ及
び音声データの各部での入出力タイミングを示すタイム
チャートである。音声優先モードの場合は、音声復号部
１６への音声データの投入タイミングを基準として映像
データの投入タイミングを合わせて映像復号部１５へ送
出する。
で映像データの時間ゆらぎが小さい場合の映像データ及
び音声データの各部での入出力タイミングを示すタイム
チャートである。音声優先モードの場合は、音声復号部
１６への音声データの投入タイミングを基準として映像
データの投入タイミングを合わせて映像復号部１５へ送
出する。
【００４４】図５の例では、音声再生部１８と映像表示
部１７での出力タイミングを一致させるための音声遅延
時間及び映像遅延時間に対して、映像復号部１５への映
像データの投入開始タイミングが遅く、映像データの時
間ゆらぎＴｄｖが生じている場合を示している。この場
合、音声データに対して映像データを同期させるため
に、映像表示部１７における映像データの出力時間、す
なわち映像の表示時間を短くする。例えば、図５のよう
に映像データの時間ゆらぎＴｄｖの値が音声１フレーム
を下回る場合であって、通常音声フレームを２０ｍｓｅ
ｃ、ゆらぎＴｄｖの値を１０ｍｓｅｃとした場合、映像
データの投入タイミングをゆらぎＴｄｖの値１０ｍｓｅ
ｃだけ遅らせて再同期をとる。この場合、映像及び音声
の乱れを防止するために、映像表示部１７における映像
データｍの出力時間をゆらぎＴｄｖの値１０ｍｓｅｃだ
け短くする。なお、上記例示した値に限定されるもので
はなく、システム構成やデータフォーマット等に応じて
適切な任意の値を用いればよい。このような動作処理に
より、映像及び音声の乱れを防止しつつ、音声の出力タ
イミングに合わせて映像の再同期を行うことが可能とな
る。
部１７での出力タイミングを一致させるための音声遅延
時間及び映像遅延時間に対して、映像復号部１５への映
像データの投入開始タイミングが遅く、映像データの時
間ゆらぎＴｄｖが生じている場合を示している。この場
合、音声データに対して映像データを同期させるため
に、映像表示部１７における映像データの出力時間、す
なわち映像の表示時間を短くする。例えば、図５のよう
に映像データの時間ゆらぎＴｄｖの値が音声１フレーム
を下回る場合であって、通常音声フレームを２０ｍｓｅ
ｃ、ゆらぎＴｄｖの値を１０ｍｓｅｃとした場合、映像
データの投入タイミングをゆらぎＴｄｖの値１０ｍｓｅ
ｃだけ遅らせて再同期をとる。この場合、映像及び音声
の乱れを防止するために、映像表示部１７における映像
データｍの出力時間をゆらぎＴｄｖの値１０ｍｓｅｃだ
け短くする。なお、上記例示した値に限定されるもので
はなく、システム構成やデータフォーマット等に応じて
適切な任意の値を用いればよい。このような動作処理に
より、映像及び音声の乱れを防止しつつ、音声の出力タ
イミングに合わせて映像の再同期を行うことが可能とな
る。
【００４５】図６は音声優先モードで再同期を行う場合
で映像データの時間ゆらぎが大きい場合の映像データ及
び音声データの各部での入出力タイミングを示すタイム
チャートである。図６の例では、音声再生部１８と映像
表示部１７での出力タイミングを一致させるための音声
遅延時間及び映像遅延時間に対して、映像復号部１５へ
の映像データの投入開始タイミングが音声に対して１フ
レーム分以上遅れ、映像データの時間ゆらぎＴｄｖが大
きい場合を示している。この場合、映像ｍに対応する音
声ｎ，ｎ＋１，ｎ＋２のデータはすでに出力された後で
あり、音声ｎ＋３は次の映像ｍ＋１に対応する音声であ
るので、映像表示部１７において間に合っていない映像
ｍのデータを非表示とする。例えば、図６のように映像
データの時間ゆらぎＴｄｖの値が音声１フレームを上回
る場合であって、通常音声フレームを２０ｍｓｅｃ、ゆ
らぎＴｄｖの値を６０ｍｓｅｃとした場合、映像表示部
１７において大きく遅延した映像データｍの再生を行わ
ないようにする。なお、上記例示した値に限定されるも
のではなく、システム構成やデータフォーマット等に応
じて適切な任意の値を用いればよい。
で映像データの時間ゆらぎが大きい場合の映像データ及
び音声データの各部での入出力タイミングを示すタイム
チャートである。図６の例では、音声再生部１８と映像
表示部１７での出力タイミングを一致させるための音声
遅延時間及び映像遅延時間に対して、映像復号部１５へ
の映像データの投入開始タイミングが音声に対して１フ
レーム分以上遅れ、映像データの時間ゆらぎＴｄｖが大
きい場合を示している。この場合、映像ｍに対応する音
声ｎ，ｎ＋１，ｎ＋２のデータはすでに出力された後で
あり、音声ｎ＋３は次の映像ｍ＋１に対応する音声であ
るので、映像表示部１７において間に合っていない映像
ｍのデータを非表示とする。例えば、図６のように映像
データの時間ゆらぎＴｄｖの値が音声１フレームを上回
る場合であって、通常音声フレームを２０ｍｓｅｃ、ゆ
らぎＴｄｖの値を６０ｍｓｅｃとした場合、映像表示部
１７において大きく遅延した映像データｍの再生を行わ
ないようにする。なお、上記例示した値に限定されるも
のではなく、システム構成やデータフォーマット等に応
じて適切な任意の値を用いればよい。
【００４６】遅れた映像データを非表示とする場合、フ
レーム内符号化映像（Ｉフレーム映像）は多少遅れて表
示しない場合でも映像データを廃棄しないようにする。
一方、フレーム間符号化映像（Ｐフレーム映像）は非表
示の場合は映像データを廃棄する。Ｉフレーム映像を廃
棄すると、後続のＰフレーム映像における復号化時の情
報に矛盾が生じ、画質が低下するため、Ｉフレーム映像
については復号化等で使用可能なように保持しておく。
このような動作処理により、再同期時に遅れて音声に間
に合わなかった映像を表示しないようにして映像と音声
の乱れを防止することが可能となる。
レーム内符号化映像（Ｉフレーム映像）は多少遅れて表
示しない場合でも映像データを廃棄しないようにする。
一方、フレーム間符号化映像（Ｐフレーム映像）は非表
示の場合は映像データを廃棄する。Ｉフレーム映像を廃
棄すると、後続のＰフレーム映像における復号化時の情
報に矛盾が生じ、画質が低下するため、Ｉフレーム映像
については復号化等で使用可能なように保持しておく。
このような動作処理により、再同期時に遅れて音声に間
に合わなかった映像を表示しないようにして映像と音声
の乱れを防止することが可能となる。
【００４７】図７は第２実施形態に係る再同期制御部の
詳細構成を示すブロック図である。この図７の例は、上
記（Ｃ）に示した再同期タイミングで再同期を行う構成
を示したものである。
詳細構成を示すブロック図である。この図７の例は、上
記（Ｃ）に示した再同期タイミングで再同期を行う構成
を示したものである。
【００４８】第２実施形態の再同期制御部２０ｂは、再
同期判定部３６、優先度判定部３７、同期制御部３３、
映像パケット伝送状態計測部（データ伝送状態検出手
段）３８、音声パケット伝送状態計測部（データ伝送状
態検出手段）３９を有して構成される。映像パケット伝
送状態計測部３８は、映像受信部１１で受信した映像パ
ケットの受信状態を計測するものである。音声パケット
伝送状態計測部３９は、音声受信部１２で受信した音声
パケットの受信状態を計測するものである。
同期判定部３６、優先度判定部３７、同期制御部３３、
映像パケット伝送状態計測部（データ伝送状態検出手
段）３８、音声パケット伝送状態計測部（データ伝送状
態検出手段）３９を有して構成される。映像パケット伝
送状態計測部３８は、映像受信部１１で受信した映像パ
ケットの受信状態を計測するものである。音声パケット
伝送状態計測部３９は、音声受信部１２で受信した音声
パケットの受信状態を計測するものである。
【００４９】第２実施形態では、映像パケット伝送状態
計測部３８及び音声パケット伝送状態計測部３９でのパ
ケット伝送状態の計測結果に基づき、再同期判定部３６
において再同期を行うタイミングかどうかを判定すると
ともに、優先度判定部３７において再同期を行う場合に
映像優先モードと音声優先モードのどちらで同期を実行
するかを決定する。ここでは、映像パケットや音声パケ
ットの伝送時にパケットロスが生じたり、パケットの到
着順序が入れ替わったり、パケットの到着間隔が所定値
以上となった場合など、パケットの伝送異常が生じた伝
送状態のときに再同期を行う。例えば、前記所定値とし
て、音声フレームの長さが２０ｍｓｅｃの場合、その５
０％である１０ｍｓｅｃを所定値とし、音声パケットの
到着間隔が所定値１０ｍｓｅｃを上回った場合、再同期
を行う。なお、所定値は上記値に限定されるものではな
く、システム構成やデータフォーマット等に応じて適切
な任意の値を用いればよい。
計測部３８及び音声パケット伝送状態計測部３９でのパ
ケット伝送状態の計測結果に基づき、再同期判定部３６
において再同期を行うタイミングかどうかを判定すると
ともに、優先度判定部３７において再同期を行う場合に
映像優先モードと音声優先モードのどちらで同期を実行
するかを決定する。ここでは、映像パケットや音声パケ
ットの伝送時にパケットロスが生じたり、パケットの到
着順序が入れ替わったり、パケットの到着間隔が所定値
以上となった場合など、パケットの伝送異常が生じた伝
送状態のときに再同期を行う。例えば、前記所定値とし
て、音声フレームの長さが２０ｍｓｅｃの場合、その５
０％である１０ｍｓｅｃを所定値とし、音声パケットの
到着間隔が所定値１０ｍｓｅｃを上回った場合、再同期
を行う。なお、所定値は上記値に限定されるものではな
く、システム構成やデータフォーマット等に応じて適切
な任意の値を用いればよい。
【００５０】なおこのとき、第１実施形態と同様に映像
パケットと音声パケットの受信タイミング等に応じて、
あるいは映像パケットと音声パケットとで伝送状態が正
常な方を優先して同期をとる。再同期の動作については
前述した第１実施形態と同様の手順によって実行するこ
とができる。
パケットと音声パケットの受信タイミング等に応じて、
あるいは映像パケットと音声パケットとで伝送状態が正
常な方を優先して同期をとる。再同期の動作については
前述した第１実施形態と同様の手順によって実行するこ
とができる。
【００５１】パケットロスなどが生じた場合は、必然的
に映像または音声が乱れることになるので、このような
伝送状態のタイミングに合わせて再同期を行うことによ
り、再同期時の映像や音声の乱れを目立たなくすること
が可能となる。
に映像または音声が乱れることになるので、このような
伝送状態のタイミングに合わせて再同期を行うことによ
り、再同期時の映像や音声の乱れを目立たなくすること
が可能となる。
【００５２】図８は第３実施形態に係る映像音声同期装
置を含む映像音声再生装置の構成を示すブロック図、図
９は第３実施形態に係る再同期制御部の詳細構成を示す
ブロック図である。この図８及び図９の例は、上記
（Ｄ）に示した再同期タイミングで再同期を行う構成を
示したものである。
置を含む映像音声再生装置の構成を示すブロック図、図
９は第３実施形態に係る再同期制御部の詳細構成を示す
ブロック図である。この図８及び図９の例は、上記
（Ｄ）に示した再同期タイミングで再同期を行う構成を
示したものである。
【００５３】第３実施形態の映像音声再生装置は、ユー
ザの操作を検出するユーザ操作検出部（ユーザ操作検出
手段）４２を備えており、映像音声同期部４１はこのユ
ーザ操作検出部４２の検出結果を含めて映像と音声の同
期を行うようになっている。映像音声同期部４１の再同
期制御部２０ｃは、再同期判定部４３、優先度判定部４
４、同期制御部３３を有して構成される。
ザの操作を検出するユーザ操作検出部（ユーザ操作検出
手段）４２を備えており、映像音声同期部４１はこのユ
ーザ操作検出部４２の検出結果を含めて映像と音声の同
期を行うようになっている。映像音声同期部４１の再同
期制御部２０ｃは、再同期判定部４３、優先度判定部４
４、同期制御部３３を有して構成される。
【００５４】第３実施形態では、ユーザ操作検出部４２
でのユーザ操作の検出結果に基づき、再同期判定部４３
において再同期を行うタイミングかどうかを判定すると
ともに、優先度判定部４４において再同期を行う場合に
映像優先モードと音声優先モードのどちらで同期を実行
するかを決定する。ここでは、ユーザがボリュームを下
げる、映像表示中ウィンドウの拡大などの再生される映
像または音声に関する操作を行ったときに再同期を行
う。なおこのとき、第１実施形態と同様に映像パケット
と音声パケットの受信タイミングに応じて、あるいは映
像と音声とでユーザ操作対象でない方を優先して同期を
とる。再同期の動作については前述した第１実施形態と
同様の手順によって実行することができる。
でのユーザ操作の検出結果に基づき、再同期判定部４３
において再同期を行うタイミングかどうかを判定すると
ともに、優先度判定部４４において再同期を行う場合に
映像優先モードと音声優先モードのどちらで同期を実行
するかを決定する。ここでは、ユーザがボリュームを下
げる、映像表示中ウィンドウの拡大などの再生される映
像または音声に関する操作を行ったときに再同期を行
う。なおこのとき、第１実施形態と同様に映像パケット
と音声パケットの受信タイミングに応じて、あるいは映
像と音声とでユーザ操作対象でない方を優先して同期を
とる。再同期の動作については前述した第１実施形態と
同様の手順によって実行することができる。
【００５５】このようにユーザによって音量減少などの
映像または音声に関する操作がなされたときに、ユーザ
操作に応じて音声や映像が変化するのに合わせて再同期
を行うことにより、再同期時の映像や音声の乱れを目立
たなくすることが可能となる。
映像または音声に関する操作がなされたときに、ユーザ
操作に応じて音声や映像が変化するのに合わせて再同期
を行うことにより、再同期時の映像や音声の乱れを目立
たなくすることが可能となる。
【００５６】図１０は第４実施形態に係る映像及び音声
データのパケットフォーマットの構成を示す説明図であ
る。
データのパケットフォーマットの構成を示す説明図であ
る。
【００５７】図１０（Ａ）に示すように、ネットワーク
上などを伝送される映像データや音声データのパケット
フォーマットは、一般に、パケット生成時間５１などの
ヘッダ情報を有するヘッダ部の後ろに、実際の映像や音
声のデータ５２が設けられる構造となっている。第４実
施形態では、図１０（Ｂ）に示すように、ヘッダ部のパ
ケット生成時間５１の後ろなどに再同期情報５３を付加
して設け、この再同期情報５３によって再同期のタイミ
ングを制御する。
上などを伝送される映像データや音声データのパケット
フォーマットは、一般に、パケット生成時間５１などの
ヘッダ情報を有するヘッダ部の後ろに、実際の映像や音
声のデータ５２が設けられる構造となっている。第４実
施形態では、図１０（Ｂ）に示すように、ヘッダ部のパ
ケット生成時間５１の後ろなどに再同期情報５３を付加
して設け、この再同期情報５３によって再同期のタイミ
ングを制御する。
【００５８】この場合、送信側装置で音声データに再同
期情報を付加し、受信側装置で再同期情報の内容及びタ
イミングに合わせて映像と音声の再同期を行う。例え
ば、送信側装置では音声データの音声レベルが所定値以
下となると再同期情報を付加する。この再同期情報は、
再同期を行う場合は「１」、再同期を行わない場合は
「０」などのフラグを用いても良いし、再同期の優先度
付けを行って優先度を数値等で表したものを用いること
もできる。なお、映像データについても同様に再同期情
報を付加して再同期の制御に用いることも可能である。
期情報を付加し、受信側装置で再同期情報の内容及びタ
イミングに合わせて映像と音声の再同期を行う。例え
ば、送信側装置では音声データの音声レベルが所定値以
下となると再同期情報を付加する。この再同期情報は、
再同期を行う場合は「１」、再同期を行わない場合は
「０」などのフラグを用いても良いし、再同期の優先度
付けを行って優先度を数値等で表したものを用いること
もできる。なお、映像データについても同様に再同期情
報を付加して再同期の制御に用いることも可能である。
【００５９】このように再同期を行うのが望ましいタイ
ミングで音声データや映像データに再同期情報を付加し
て再同期を制御することにより、再同期時の映像や音声
の乱れを軽減することができる。またこの場合、受信側
の装置で音声データ及び映像データの解析等を行う必要
がなく、再同期制御に関する構成を簡略化することがで
きる。
ミングで音声データや映像データに再同期情報を付加し
て再同期を制御することにより、再同期時の映像や音声
の乱れを軽減することができる。またこの場合、受信側
の装置で音声データ及び映像データの解析等を行う必要
がなく、再同期制御に関する構成を簡略化することがで
きる。
【００６０】図１１は本発明の第５実施形態に係る映像
音声同期装置を含む映像音声再生装置の構成を示すブロ
ック図、図１２は第５実施形態に係る映像及び音声デー
タと測定用データのデータフォーマットの構成を示す説
明図である。
音声同期装置を含む映像音声再生装置の構成を示すブロ
ック図、図１２は第５実施形態に係る映像及び音声デー
タと測定用データのデータフォーマットの構成を示す説
明図である。
【００６１】第５実施形態の映像音声再生装置は、図１
の第１実施形態の構成に加えて、映像音声同期部６０の
映像復号部１５及び音声復号部１６の前段にそれぞれ測
定信号生成部（測定信号生成手段）６１，６２を備え、
映像復号部１５及び音声復号部１６の後段にそれぞれ測
定信号検出部（測定信号検出手段）６３，６４と測定デ
ータ設定部（測定データ設定手段）６５，６６を備えて
構成される。
の第１実施形態の構成に加えて、映像音声同期部６０の
映像復号部１５及び音声復号部１６の前段にそれぞれ測
定信号生成部（測定信号生成手段）６１，６２を備え、
映像復号部１５及び音声復号部１６の後段にそれぞれ測
定信号検出部（測定信号検出手段）６３，６４と測定デ
ータ設定部（測定データ設定手段）６５，６６を備えて
構成される。
【００６２】測定信号生成部６１，６２は、測定開始時
間を設定した測定用データを生成し、映像データ及び音
声データにそれぞれ挿入するものである。測定信号検出
部６３，６４は、映像復号部１５及び音声復号部１６の
出力からそれぞれ測定用データを検出して取り出すもの
である。測定データ設定部６５，６６は、取り出された
測定用データに測定終了時間を設定し、再同期制御部２
０にフィードバックするものである。
間を設定した測定用データを生成し、映像データ及び音
声データにそれぞれ挿入するものである。測定信号検出
部６３，６４は、映像復号部１５及び音声復号部１６の
出力からそれぞれ測定用データを検出して取り出すもの
である。測定データ設定部６５，６６は、取り出された
測定用データに測定終了時間を設定し、再同期制御部２
０にフィードバックするものである。
【００６３】映像受信部１１及び音声受信部１２でそれ
ぞれ受信される映像データ及び音声データのデータフォ
ーマットは、図１２（Ａ）に示すように、「０」のデー
タ識別子７０を有するヘッダ部の後ろに、実際の映像や
音声のデータ７２が設けられる構造となっている。ま
た、測定用データは、図１２（Ｂ）に示すように、
「１」のデータ識別子７１を有するヘッダ部の後ろに、
測定開始時間７３と測定終了時間７４とが付加された構
造となっている。この測定開始時間７３と測定終了時間
７４とによって映像復号部１５と音声復号部１６のそれ
ぞれにおける実際の復号処理時間を得ることができる。
ぞれ受信される映像データ及び音声データのデータフォ
ーマットは、図１２（Ａ）に示すように、「０」のデー
タ識別子７０を有するヘッダ部の後ろに、実際の映像や
音声のデータ７２が設けられる構造となっている。ま
た、測定用データは、図１２（Ｂ）に示すように、
「１」のデータ識別子７１を有するヘッダ部の後ろに、
測定開始時間７３と測定終了時間７４とが付加された構
造となっている。この測定開始時間７３と測定終了時間
７４とによって映像復号部１５と音声復号部１６のそれ
ぞれにおける実際の復号処理時間を得ることができる。
【００６４】測定信号生成部６１，６２において、測定
開始時間を設定して付加した測定用データが生成され、
映像データ及び音声データにそれぞれ挿入される。これ
らのデータは映像復号部１５及び音声復号部１６でそれ
ぞれ復号された後、測定信号検出部６３，６４でそれぞ
れ測定用データが検出されて取り出される。取り出され
た測定用データはそれぞれ測定データ設定部６５，６６
において測定終了時間が設定されて付加され、再同期制
御部２０に送られる。再同期制御部２０は、測定用デー
タに含まれる測定開始時間と測定終了時間とから、映像
復号部１５と音声復号部１６のそれぞれにおける復号処
理時間を求め、これらの復号処理時間差に基づいて遅延
基準値を決定して映像遅延制御部２１及び音声遅延制御
部２２を制御することによって再同期を行う。
開始時間を設定して付加した測定用データが生成され、
映像データ及び音声データにそれぞれ挿入される。これ
らのデータは映像復号部１５及び音声復号部１６でそれ
ぞれ復号された後、測定信号検出部６３，６４でそれぞ
れ測定用データが検出されて取り出される。取り出され
た測定用データはそれぞれ測定データ設定部６５，６６
において測定終了時間が設定されて付加され、再同期制
御部２０に送られる。再同期制御部２０は、測定用デー
タに含まれる測定開始時間と測定終了時間とから、映像
復号部１５と音声復号部１６のそれぞれにおける復号処
理時間を求め、これらの復号処理時間差に基づいて遅延
基準値を決定して映像遅延制御部２１及び音声遅延制御
部２２を制御することによって再同期を行う。
【００６５】第５実施形態では、映像復号部１５や音声
復号部１６における特性や復号方式が変更されたとき、
あるいは新たな復号部が追加されたときに、測定用デー
タを用いてその復号部の復号処理時間を測定し、音声遅
延時間（遅延基準値）を設定して再同期を行う。これに
より、映像復号部または音声復号部を切り替えた場合で
も、復号部の特性に応じて同期用の遅延基準値を可変設
定して再同期を行うことが可能となる。
復号部１６における特性や復号方式が変更されたとき、
あるいは新たな復号部が追加されたときに、測定用デー
タを用いてその復号部の復号処理時間を測定し、音声遅
延時間（遅延基準値）を設定して再同期を行う。これに
より、映像復号部または音声復号部を切り替えた場合で
も、復号部の特性に応じて同期用の遅延基準値を可変設
定して再同期を行うことが可能となる。
【００６６】なお、上記の各実施形態では、映像と音声
を同期させる場合の構成を例示したが、映像と音声の組
み合わせだけでなく、映像と映像の組み合わせや音声と
音声の組み合わせなど、各種コンテンツデータの組み合
わせにおいても同様な構成を用いることができ、適切な
タイミングで支障なく再生データの再同期を実行でき
る。
を同期させる場合の構成を例示したが、映像と音声の組
み合わせだけでなく、映像と映像の組み合わせや音声と
音声の組み合わせなど、各種コンテンツデータの組み合
わせにおいても同様な構成を用いることができ、適切な
タイミングで支障なく再生データの再同期を実行でき
る。
【００６７】
【発明の効果】以上説明したように本発明によれば、再
同期時の映像や音声の乱れを軽減することが可能な映像
音声同期装置を提供できる。また、復号部の特性に応じ
て同期用の遅延基準値を可変設定することが可能な映像
音声同期装置を提供できる。
同期時の映像や音声の乱れを軽減することが可能な映像
音声同期装置を提供できる。また、復号部の特性に応じ
て同期用の遅延基準値を可変設定することが可能な映像
音声同期装置を提供できる。
【図１】本発明の第１実施形態に係る映像音声同期装置
を含む映像音声再生装置の構成を示すブロック図であ
る。
を含む映像音声再生装置の構成を示すブロック図であ
る。
【図２】第１実施形態に係る再同期制御部の詳細構成を
示すブロック図である。
示すブロック図である。
【図３】映像データと音声データの各部での入出力タイ
ミングを示すタイムチャートである。
ミングを示すタイムチャートである。
【図４】映像優先モードで再同期を行う場合の映像デー
タ及び音声データの各部での入出力タイミングを示すタ
イムチャートである。
タ及び音声データの各部での入出力タイミングを示すタ
イムチャートである。
【図５】音声優先モードで再同期を行う場合で映像デー
タの時間ゆらぎが小さい場合の映像データ及び音声デー
タの各部での入出力タイミングを示すタイムチャートで
ある。
タの時間ゆらぎが小さい場合の映像データ及び音声デー
タの各部での入出力タイミングを示すタイムチャートで
ある。
【図６】音声優先モードで再同期を行う場合で映像デー
タの時間ゆらぎが大きい場合の映像データ及び音声デー
タの各部での入出力タイミングを示すタイムチャートで
ある。
タの時間ゆらぎが大きい場合の映像データ及び音声デー
タの各部での入出力タイミングを示すタイムチャートで
ある。
【図７】第２実施形態に係る再同期制御部の詳細構成を
示すブロック図である。
示すブロック図である。
【図８】第３実施形態に係る映像音声同期装置を含む映
像音声再生装置の構成を示すブロック図である。
像音声再生装置の構成を示すブロック図である。
【図９】第３実施形態に係る再同期制御部の詳細構成を
示すブロック図である。
示すブロック図である。
【図１０】第４実施形態に係る映像及び音声データのパ
ケットフォーマットの構成を示す説明図である。
ケットフォーマットの構成を示す説明図である。
【図１１】本発明の第５実施形態に係る映像音声同期装
置を含む映像音声再生装置の構成を示すブロック図であ
る。
置を含む映像音声再生装置の構成を示すブロック図であ
る。
【図１２】第５実施形態に係る映像及び音声データと測
定用データのデータフォーマットの構成を示す説明図で
ある。
定用データのデータフォーマットの構成を示す説明図で
ある。
１１ 映像受信部
１２ 音声受信部
１３，４１，６０ 映像音声同期部
１５ 映像復号部
１６ 音声復号部
１７ 映像表示部
１８ 音声再生部
２０，２０ａ，２０ｂ，２０ｃ 再同期制御部
２１ 映像遅延制御部
２２ 音声遅延制御部
３１，３６，４３ 再同期判定部
３２，３７，４４ 優先度判定部
３３ 同期制御部
３４ 映像パケット解析部
３５ 音声パケット解析部
３８ 映像パケット伝送状態計測部
３９ 音声パケット伝送状態計測部
４２ ユーザ操作検出部
６１，６２ 測定信号生成部
６３，６４ 測定信号検出部
６５，６６ 測定データ設定部
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 井上 あきの
大阪府門真市大字門真1006番地 松下電器
産業株式会社内
Ｆターム(参考） 5C026 DA21
5C063 AA01 AB03 AB07 AC01 AC05
AC10 CA20 DA07 DA13 DB10
5K030 HA08 HB01 HB02 KA19 LA15
Claims (14)
- 【請求項１】 パケット化されて伝送される映像データ
と音声データの少なくとも一方を含む複数のコンテンツ
データを再生する際の同期を行う映像音声同期装置であ
って、 前記複数のコンテンツデータの再同期を行うタイミング
であるかを判定する再同期判定手段と、 前記判定された再同期のタイミングで同期用の遅延量を
決定する同期制御手段と、 前記遅延量に基づいて前記複数のコンテンツデータの少
なくとも一つを遅延するデータ遅延手段と、 を備えたことを特徴とする映像音声同期装置。 - 【請求項２】 前記複数のコンテンツデータの解析を行
うデータ解析手段を備え、 前記再同期判定手段は、前記データ解析手段による解析
結果に基づき、前記コンテンツデータの一つが音声デー
タであり、その音声レベルが所定値以下で連続する場合
及び音声でない音が連続する場合の少なくともいずれか
一方の場合に、再同期のタイミングであると判定するこ
とを特徴とする請求項１に記載の映像音声同期装置。 - 【請求項３】 前記複数のコンテンツデータの解析を行
うデータ解析手段を備え、 前記再同期判定手段は、前記データ解析手段による解析
結果に基づき、前記コンテンツデータの一つが映像デー
タであり、それがフレーム内符号化映像のデータである
場合及び前フレームとの差分が所定値以下である場合の
少なくともいずれか一方の場合に、再同期のタイミング
であると判定することを特徴とする請求項１に記載の映
像音声同期装置。 - 【請求項４】 前記複数のコンテンツデータの伝送状態
を検出するデータ伝送状態検出手段を備え、 前記再同期判定手段は、前記データ伝送状態検出手段に
よる検出結果に基づき、前記コンテンツデータの伝送状
態としてパケットロス、パケットの非順序到着、パケッ
トの到着間隔が所定値以上のいずれかを含む伝送異常が
生じた場合に、再同期のタイミングであると判定するこ
とを特徴とする請求項１に記載の映像音声同期装置。 - 【請求項５】 ユーザによる操作を検出するユーザ操作
検出手段を備え、 前記再同期判定手段は、前記ユーザ操作検出手段による
検出結果に基づき、ユーザ操作として再生される映像ま
たは音声に関する操作がなされたときに、再同期のタイ
ミングであると判定することを特徴とする請求項１に記
載の映像音声同期装置。 - 【請求項６】 前記複数のコンテンツデータのうちのい
ずれを優先して同期を行うかを判定する優先度判定手段
を備えたことを特徴とする請求項１に記載の映像音声同
期装置。 - 【請求項７】 前記複数のコンテンツデータの解析を行
うデータ解析手段を備え、 前記優先度判定手段は、前記データ解析手段による解析
結果に基づき、前記複数のコンテンツデータが音声デー
タと映像データとの組み合わせであり、前記音声データ
の到着時間のゆらぎがその音声データのパケット長より
も小さい場合に、前記映像データを優先して同期を行う
よう判定することを特徴とする請求項６に記載の映像音
声同期装置。 - 【請求項８】 前記複数のコンテンツデータの解析を行
うデータ解析手段を備え、 前記優先度判定手段は、前記データ解析手段による解析
結果に基づき、前記複数のコンテンツデータが音声デー
タと映像データとの組み合わせであり、前記音声データ
の到着時間のゆらぎがその音声データのパケット長より
も大きい場合に、前記音声データを優先して同期を行う
よう判定することを特徴とする請求項６に記載の映像音
声同期装置。 - 【請求項９】 前記複数のコンテンツデータの解析を行
うデータ解析手段を備え、 前記優先度判定手段は、前記データ解析手段による解析
結果に基づき、前記コンテンツデータの内容によって再
同期時のデータの優先度を判定することを特徴とする請
求項６に記載の映像音声同期装置。 - 【請求項１０】 前記複数のコンテンツデータの伝送状
態を検出するデータ伝送状態検出手段を備え、 前記優先度判定手段は、前記データ伝送状態検出手段に
よる検出結果に基づき、前記コンテンツデータのパケッ
トの伝送状態に応じて再同期時のデータの優先度を判定
することを特徴とする請求項６に記載の映像音声同期装
置。 - 【請求項１１】 ユーザによる操作を検出するユーザ操
作検出手段を備え、 前記優先度判定手段は、前記ユーザ操作検出手段による
検出結果に基づき、映像または音声に関するユーザ操作
に応じて再同期時のデータの優先度を判定することを特
徴とする請求項６に記載の映像音声同期装置。 - 【請求項１２】 前記コンテンツデータは、伝送時に再
同期に適当な所定のタイミングで再同期情報が付加され
るものであり、 前記再同期判定手段は、前記再同期情報によって再同期
のタイミングを判定することを特徴とする請求項１に記
載の映像音声同期装置。 - 【請求項１３】 前記コンテンツデータを復号する復号
手段の前段において測定用データを生成して前記コンテ
ンツデータに挿入する測定信号生成手段と、 前記復号手段の後段において前記測定用データを取り出
して前記同期制御手段に送る測定信号検出手段とを備
え、 前記同期制御手段は、前記測定用データに基づいて同期
用の遅延基準値を決定することを特徴とする請求項１に
記載の映像音声同期装置。 - 【請求項１４】 前記測定信号生成手段は、前記測定用
データにおいてデータ識別子と測定開始時間とを設定す
るものであり、 前記測定信号検出手段は、前記データ識別子により測定
用データを検出するものであり、 前記測定信号検出手段により取り出された復号処理後の
測定用データに測定終了時間を設定する測定データ設定
手段を備え、 前記同期制御手段は、前記測定用データの測定開始時間
と測定終了時間とに基づいて復号処理時間を得て前記同
期用の遅延基準値を決定することを特徴とする請求項１
３に記載の映像音声同期装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002314551A JP4298262B2 (ja) | 2001-10-29 | 2002-10-29 | 映像音声同期装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001330803 | 2001-10-29 | ||
| JP2001-330803 | 2001-10-29 | ||
| JP2002314551A JP4298262B2 (ja) | 2001-10-29 | 2002-10-29 | 映像音声同期装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003204492A true JP2003204492A (ja) | 2003-07-18 |
| JP4298262B2 JP4298262B2 (ja) | 2009-07-15 |
Family
ID=27666597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002314551A Expired - Fee Related JP4298262B2 (ja) | 2001-10-29 | 2002-10-29 | 映像音声同期装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4298262B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006006230A1 (ja) * | 2004-07-12 | 2006-01-19 | Mitsubishi Denki Kabushiki Kaisha | パケット転送方法、無線アクセス局、基地局制御装置、および無線基地局 |
| JP2009147620A (ja) * | 2007-12-13 | 2009-07-02 | Anritsu Corp | フレーム遅延発生装置 |
| US8107538B2 (en) | 2005-08-19 | 2012-01-31 | Nec Viewtechnology, Ltd. | Moving image distribution system and moving image distribution server |
| JP5517381B1 (ja) * | 2013-09-30 | 2014-06-11 | レゾネッツ合同会社 | 揺らぎ吸収装置、通信装置、及び制御プログラム |
| KR20150098563A (ko) | 2014-02-20 | 2015-08-28 | 후지쯔 가부시끼가이샤 | 동화상 음성 동기 장치, 동화상 음성 동기 방법 및 동화상 음성 동기용 컴퓨터 프로그램 |
| CN113330735A (zh) * | 2018-11-06 | 2021-08-31 | 索尼集团公司 | 信息处理装置和信息处理方法 |
| WO2022269788A1 (ja) * | 2021-06-23 | 2022-12-29 | 日本電信電話株式会社 | 伝送システム、送信システム、受信システム及び伝送方法 |
-
2002
- 2002-10-29 JP JP2002314551A patent/JP4298262B2/ja not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006006230A1 (ja) * | 2004-07-12 | 2006-01-19 | Mitsubishi Denki Kabushiki Kaisha | パケット転送方法、無線アクセス局、基地局制御装置、および無線基地局 |
| US8107538B2 (en) | 2005-08-19 | 2012-01-31 | Nec Viewtechnology, Ltd. | Moving image distribution system and moving image distribution server |
| US9049474B2 (en) | 2005-08-19 | 2015-06-02 | Nec Display Solutions, Ltd. | Moving image distribution system and moving image distribution server |
| JP2009147620A (ja) * | 2007-12-13 | 2009-07-02 | Anritsu Corp | フレーム遅延発生装置 |
| JP5517381B1 (ja) * | 2013-09-30 | 2014-06-11 | レゾネッツ合同会社 | 揺らぎ吸収装置、通信装置、及び制御プログラム |
| US9350783B2 (en) | 2013-09-30 | 2016-05-24 | Resonetz, Llc | Fluctuation absorbing device, communication device, and control program |
| KR20150098563A (ko) | 2014-02-20 | 2015-08-28 | 후지쯔 가부시끼가이샤 | 동화상 음성 동기 장치, 동화상 음성 동기 방법 및 동화상 음성 동기용 컴퓨터 프로그램 |
| US9489980B2 (en) | 2014-02-20 | 2016-11-08 | Fujitsu Limited | Video/audio synchronization apparatus and video/audio synchronization method |
| CN113330735A (zh) * | 2018-11-06 | 2021-08-31 | 索尼集团公司 | 信息处理装置和信息处理方法 |
| WO2022269788A1 (ja) * | 2021-06-23 | 2022-12-29 | 日本電信電話株式会社 | 伝送システム、送信システム、受信システム及び伝送方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4298262B2 (ja) | 2009-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7711244B2 (en) | Video/audio synchronizing apparatus | |
| JP3698376B2 (ja) | 同期再生装置 | |
| JP4001091B2 (ja) | 演奏システム及び楽音映像再生装置 | |
| JP5068744B2 (ja) | ネットワーク機器用の同期的音声／映像復号化方法及び装置 | |
| US8111327B2 (en) | Method and apparatus for audio/video synchronization | |
| JP5026167B2 (ja) | ストリーム伝送サーバおよびストリーム伝送システム | |
| JP4983923B2 (ja) | デコーダ装置、およびデコード方法 | |
| WO2010068151A1 (en) | Device and method for synchronizing received audio data with video data | |
| JP2006128997A (ja) | 映像送信装置、映像受信装置、映像送信方法及び映像伝送システム | |
| JP2003204492A (ja) | 映像音声同期装置 | |
| KR20070008069A (ko) | 음성/영상신호의 동기화 장치 및 방법 | |
| JP4359024B2 (ja) | 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置 | |
| JP5186094B2 (ja) | 通信端末、マルチメディア再生制御方法、およびプログラム | |
| US6947447B1 (en) | Image communication apparatus, image communication method and recording medium which stores the sound and image | |
| US20070248170A1 (en) | Transmitting Apparatus, Receiving Apparatus, and Reproducing Apparatus | |
| JPH10271482A (ja) | 符号化映像の同期再生制御方法およびシステム | |
| JP2648095B2 (ja) | 画像符号化および復号化装置 | |
| JP3392153B2 (ja) | 音声・動画像同期出力調整処理方法 | |
| JPH10164556A (ja) | デコーダ、エンコーダ、およびビデオ・オン・デマンドシステム | |
| JP2007318283A (ja) | パケット通信システム、データ受信機器 | |
| JP2005159679A (ja) | 映像音声通信システム | |
| JPH09284759A (ja) | タイミング制御回路 | |
| JP2007036539A (ja) | デコード方法、デコード合成制御装置及び画像合成システム | |
| JP2006109228A (ja) | データ通信装置及びそれを用いたデータ通信システム | |
| JP2019125994A (ja) | 映像音声再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050627 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060324 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071114 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071121 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071128 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071205 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080702 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080819 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090317 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090415 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140424 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |