JP2003259365A - データストリーム処理装置 - Google Patents
データストリーム処理装置Info
- Publication number
- JP2003259365A JP2003259365A JP2002050669A JP2002050669A JP2003259365A JP 2003259365 A JP2003259365 A JP 2003259365A JP 2002050669 A JP2002050669 A JP 2002050669A JP 2002050669 A JP2002050669 A JP 2002050669A JP 2003259365 A JP2003259365 A JP 2003259365A
- Authority
- JP
- Japan
- Prior art keywords
- data stream
- unit
- time information
- reference time
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
- H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Time-Division Multiplex Systems (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
Abstract
(57)【要約】
【課題】 複数のストリームデータを受信し復号化する
場合、復号器側はストリームデータを生成した各々の符
号器側の基準周波数と同一の周波数で復号化処理を行う
必要がある。もし、同一の周波数で復号化を行わなけれ
ば、復号器側がもっているストリームデータを格納する
バッファ内で、ストリームデータの欠落または不足が発
生し、画像、音声の繰り返し再生や、駒落ちなどの不具
合が生じる。復号化側が周波数をあわせるために必要な
基準時間をストリームデータ内に埋め込む場合、すべて
のストリームデータに対して周波数を合わせるのは困難
である。 【解決手段】 本発明では、基準周波数を生成するため
に必要な基準時間情報を、符号化側と復号化側のどちら
も外部の同一の基準時間局から取得し、同一の周波数で
符号化処理、復号化処理を行う。
場合、復号器側はストリームデータを生成した各々の符
号器側の基準周波数と同一の周波数で復号化処理を行う
必要がある。もし、同一の周波数で復号化を行わなけれ
ば、復号器側がもっているストリームデータを格納する
バッファ内で、ストリームデータの欠落または不足が発
生し、画像、音声の繰り返し再生や、駒落ちなどの不具
合が生じる。復号化側が周波数をあわせるために必要な
基準時間をストリームデータ内に埋め込む場合、すべて
のストリームデータに対して周波数を合わせるのは困難
である。 【解決手段】 本発明では、基準周波数を生成するため
に必要な基準時間情報を、符号化側と復号化側のどちら
も外部の同一の基準時間局から取得し、同一の周波数で
符号化処理、復号化処理を行う。
Description
【０００１】
【発明の属する技術分野】本発明は、映像情報や音声情
報等を含んだデータに対して、符号化や復号化等の処理
を行うデータストリーム処理装置に関する。
報等を含んだデータに対して、符号化や復号化等の処理
を行うデータストリーム処理装置に関する。
【０００２】
【従来の技術】映像や音声の情報を圧縮する方式の１つ
に、国際規格のＭＰＥＧ２がある。ＭＰＥＧ２（Ｍｏｖ
ｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ
２）は、映像、音声を個別に圧縮し、圧縮された映像
や音声、及びデータ等を同期化して多重化する方式で、
蓄積メディアやネットワークなどに適合する。ＭＰＥＧ
２には、１つのプログラムの多重・分離方式であるＭＰ
ＥＧ２−ＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）及びマ
ルチプログラムに対応したＭＰＥＧ２−ＴＳ（Ｔｒａｎ
ｓｐｏｒｔ Ｓｔｒｅａｍ）の２種類の方式がある。Ｍ
ＰＥＧ２−ＴＳは、複数のプログラムデータを１つの連
続的データ（以下「データストリーム」）として扱うこ
とができるため、テレビ放送などに主に用いられる。
に、国際規格のＭＰＥＧ２がある。ＭＰＥＧ２（Ｍｏｖ
ｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ
２）は、映像、音声を個別に圧縮し、圧縮された映像
や音声、及びデータ等を同期化して多重化する方式で、
蓄積メディアやネットワークなどに適合する。ＭＰＥＧ
２には、１つのプログラムの多重・分離方式であるＭＰ
ＥＧ２−ＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）及びマ
ルチプログラムに対応したＭＰＥＧ２−ＴＳ（Ｔｒａｎ
ｓｐｏｒｔ Ｓｔｒｅａｍ）の２種類の方式がある。Ｍ
ＰＥＧ２−ＴＳは、複数のプログラムデータを１つの連
続的データ（以下「データストリーム」）として扱うこ
とができるため、テレビ放送などに主に用いられる。
【０００３】ＭＰＥＧ２−ＴＳによって圧縮されるデー
タには、映像や音声の各フレームを復号化する時刻、再
生する時刻として、再生時刻情報（ＰＴＳ）、復号時刻
情報（ＤＴＳ）が含まれる。また、圧縮されたデータを
復号する復号化装置（以下、「復号化装置」）側の時刻
の基準となるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏ
ｃｋ）の値を、データを圧縮する符号化装置（以下、
「符号化装置」）側で意図した値になるように補正する
ために復号化装置で使用される、ＳＣＲ（Ｓｙｓｔｅｍ
Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）及びＰＣＲ（Ｐｒ
ｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）の２種
類の時刻情報も、圧縮されたデータに含まれる。
タには、映像や音声の各フレームを復号化する時刻、再
生する時刻として、再生時刻情報（ＰＴＳ）、復号時刻
情報（ＤＴＳ）が含まれる。また、圧縮されたデータを
復号する復号化装置（以下、「復号化装置」）側の時刻
の基準となるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏ
ｃｋ）の値を、データを圧縮する符号化装置（以下、
「符号化装置」）側で意図した値になるように補正する
ために復号化装置で使用される、ＳＣＲ（Ｓｙｓｔｅｍ
Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）及びＰＣＲ（Ｐｒ
ｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）の２種
類の時刻情報も、圧縮されたデータに含まれる。
【０００４】ここで、復号化装置側でＰＣＲを用いてＳ
ＴＣを補正しなければ、符号化装置側のシステムクロッ
クに対し、復号化装置側のＳＴＣが徐々にずれる現象が
発生する。復号化装置側のＳＴＣが、符号化装置側のシ
ステムクロックよりも前にずれる場合、符号化装置から
データストリームが完全に到着する前、すなわち、映像
データや音声データを含むデータストリームを格納する
バッファが一時的に空になった状態で、復号化装置側は
復号又は再生時間となる。つまり、復号化装置側では、
同一の映像、音声の繰り返しが生じる。一方、復号化装
置側のＳＴＣが符号化装置のシステムクロックよりも後
ろにずれる場合、復号化装置側で復号や再生を行うタイ
ミングが遅れ、映像データや音声データを含むデータス
トリームを格納するバッファに符号化装置側から送られ
たデータストリームを格納することができなくなる。そ
の結果、映像、音声の駒落ちが発生する。
ＴＣを補正しなければ、符号化装置側のシステムクロッ
クに対し、復号化装置側のＳＴＣが徐々にずれる現象が
発生する。復号化装置側のＳＴＣが、符号化装置側のシ
ステムクロックよりも前にずれる場合、符号化装置から
データストリームが完全に到着する前、すなわち、映像
データや音声データを含むデータストリームを格納する
バッファが一時的に空になった状態で、復号化装置側は
復号又は再生時間となる。つまり、復号化装置側では、
同一の映像、音声の繰り返しが生じる。一方、復号化装
置側のＳＴＣが符号化装置のシステムクロックよりも後
ろにずれる場合、復号化装置側で復号や再生を行うタイ
ミングが遅れ、映像データや音声データを含むデータス
トリームを格納するバッファに符号化装置側から送られ
たデータストリームを格納することができなくなる。そ
の結果、映像、音声の駒落ちが発生する。
【０００５】上述した復号化装置側での映像や音声の繰
り返し又は駒落ちを回避するため、ＭＰＥＧ２−ＴＳの
規格では、符号化装置側のシステムクロックと復号化装
置側のＳＴＣの周波数とを完全に一致させるための、Ｓ
ＴＣと一体となったＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ
Ｌｏｏｐ）を復号化装置に実装することが義務づけら
れている。復号化装置側のＰＬＬは、自らが有する基準
時間カウンタのカウンタ値と圧縮されたデータストリー
ムに埋め込まれているＰＣＲとの差分に基づいて、符号
化装置側と完全に周波数が一致したクロックを生成す
る。このように、ＰＣＲを使用してＳＴＣを補正するこ
とにより、符号化装置側で意図したタイミングで、復号
化装置側で映像、音声を同期して再生することが可能と
なる。なお、ＭＰＥＧ２の場合、システムクロックは２
７ＭＨｚであり、８１０Ｈｚ以内の誤差が許されてい
る。
り返し又は駒落ちを回避するため、ＭＰＥＧ２−ＴＳの
規格では、符号化装置側のシステムクロックと復号化装
置側のＳＴＣの周波数とを完全に一致させるための、Ｓ
ＴＣと一体となったＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ
Ｌｏｏｐ）を復号化装置に実装することが義務づけら
れている。復号化装置側のＰＬＬは、自らが有する基準
時間カウンタのカウンタ値と圧縮されたデータストリー
ムに埋め込まれているＰＣＲとの差分に基づいて、符号
化装置側と完全に周波数が一致したクロックを生成す
る。このように、ＰＣＲを使用してＳＴＣを補正するこ
とにより、符号化装置側で意図したタイミングで、復号
化装置側で映像、音声を同期して再生することが可能と
なる。なお、ＭＰＥＧ２の場合、システムクロックは２
７ＭＨｚであり、８１０Ｈｚ以内の誤差が許されてい
る。
【０００６】
【発明が解決しようとする課題】最近、テレビ会議シス
テムやビデオチャット等を実現するために、複数の遠隔
地で符号化された映像、音声がネットワーク等で転送さ
れ、受信側が複数のデータストリームを受信して復号化
する機能が要求されている。
テムやビデオチャット等を実現するために、複数の遠隔
地で符号化された映像、音声がネットワーク等で転送さ
れ、受信側が複数のデータストリームを受信して復号化
する機能が要求されている。
【０００７】従来技術を用いて上記要求を満たそうとし
た場合、復号化装置側に、ＭＰＥＧ２−ＴＳ方式に従っ
た複数のデータストリームが転送される。この場合、す
べてのデータストリームに対して、符号化装置側で意図
したタイミングに復号化装置側のＳＴＣを補正するため
には、復号化装置側に複数のＰＬＬが必要となる。しか
し、これは復号化装置のコストアップの要因となる。ま
た、複数のモニタにそれぞれのデータストリームを出力
する場合、上記の複数のＰＬＬでデータストリーム毎に
基準時間を校正し、複数の基準周波数でデータストリー
ムを再生することができるが、１つのモニタに複数のデ
ータストリームを同時再生する場合には、単一の基準周
波数で再生を行う必要があるため、全てのデータストリ
ームをそれぞれの時間情報に従い再生することができな
い。
た場合、復号化装置側に、ＭＰＥＧ２−ＴＳ方式に従っ
た複数のデータストリームが転送される。この場合、す
べてのデータストリームに対して、符号化装置側で意図
したタイミングに復号化装置側のＳＴＣを補正するため
には、復号化装置側に複数のＰＬＬが必要となる。しか
し、これは復号化装置のコストアップの要因となる。ま
た、複数のモニタにそれぞれのデータストリームを出力
する場合、上記の複数のＰＬＬでデータストリーム毎に
基準時間を校正し、複数の基準周波数でデータストリー
ムを再生することができるが、１つのモニタに複数のデ
ータストリームを同時再生する場合には、単一の基準周
波数で再生を行う必要があるため、全てのデータストリ
ームをそれぞれの時間情報に従い再生することができな
い。
【０００８】上記要求を満たすための技術が特開２００
１−５４９９公報に開示されている。本技術では、復号
化装置に、複数のデータストリームから各々のデータス
トリームのＰＣＲを取得し、複数のＰＣＲから何れか一
つを選択する基準時間情報選択部が設けられている。本
技術における復号化装置は、基準時間情報選択部で選択
されたＰＣＲを使用してＳＴＣを補正する。
１−５４９９公報に開示されている。本技術では、復号
化装置に、複数のデータストリームから各々のデータス
トリームのＰＣＲを取得し、複数のＰＣＲから何れか一
つを選択する基準時間情報選択部が設けられている。本
技術における復号化装置は、基準時間情報選択部で選択
されたＰＣＲを使用してＳＴＣを補正する。
【０００９】しかし、本技術を用いた場合、復号化装置
では、選択されたデータストリーム以外のデータストリ
ームに対して正確な時間で再生できない。さらに、ネッ
トワークや無線等でジッタやパケット損失が発生する環
境下では、本技術では、基準周波数の違いによる再生時
の不具合を減少させるための基準時間情報選択の処理が
複雑化するという課題がある。さらに、一つのデータス
トリームの転送においても、ネットワークのジッタやパ
ケット損失により、ＰＣＲデータの取りこぼしが生じ、
復号化装置側でタイミングよくデータを再生することが
出来ない。
では、選択されたデータストリーム以外のデータストリ
ームに対して正確な時間で再生できない。さらに、ネッ
トワークや無線等でジッタやパケット損失が発生する環
境下では、本技術では、基準周波数の違いによる再生時
の不具合を減少させるための基準時間情報選択の処理が
複雑化するという課題がある。さらに、一つのデータス
トリームの転送においても、ネットワークのジッタやパ
ケット損失により、ＰＣＲデータの取りこぼしが生じ、
復号化装置側でタイミングよくデータを再生することが
出来ない。
【００１０】本発明の目的は、一つ、又は多数の符号化
装置から送出されるデータストリームを、復号化装置側
においてタイミングよく再生することができるデータス
トリーム符号化装置及び復号化装置を提供することであ
る。
装置から送出されるデータストリームを、復号化装置側
においてタイミングよく再生することができるデータス
トリーム符号化装置及び復号化装置を提供することであ
る。
【００１１】
【課題を解決するための手段】本発明の目的を達成する
ために、本発明のデータストリーム処理装置は、装置外
部から時間情報が入力される基準周波数制御部と、基準
周波数制御部によって生成される信号に基づいてデータ
ストリームの入出力を行うデータストリーム制御部とを
有する構成とする。
ために、本発明のデータストリーム処理装置は、装置外
部から時間情報が入力される基準周波数制御部と、基準
周波数制御部によって生成される信号に基づいてデータ
ストリームの入出力を行うデータストリーム制御部とを
有する構成とする。
【００１２】また、基準周波数制御部は、時間情報が入
力される基準時間情報取得部と、データストリーム処理
部内の周波数を定める信号を生成する発信器と、基準時
間情報取得部に入力される時間情報と発信器から発信さ
れる信号の周波数とのずれを計算し、計算結果に基づい
て発信器を制御する発信器制御部とを有する構成として
も良い。
力される基準時間情報取得部と、データストリーム処理
部内の周波数を定める信号を生成する発信器と、基準時
間情報取得部に入力される時間情報と発信器から発信さ
れる信号の周波数とのずれを計算し、計算結果に基づい
て発信器を制御する発信器制御部とを有する構成として
も良い。
【００１３】更に、データストリーム処理部は、外部か
ら入力されたデータを格納するデータストリーム格納部
と、データストリーム格納部に格納されたデータを加工
して外部へ出力するデータストリーム処理部とを有する
構成としても良い。
ら入力されたデータを格納するデータストリーム格納部
と、データストリーム格納部に格納されたデータを加工
して外部へ出力するデータストリーム処理部とを有する
構成としても良い。
【００１４】また、データストリーム処理部は、データ
ストリーム格納部から入力されるデータを画像符号化情
報と音声符号化情報とに分離するデータストリーム分離
部と、データストリーム分離部から入力される画像符号
化情報から画像データを生成する画像デコーダ部と、デ
ータストリーム分離部から入力される前記音声符号化情
報から音声データを生成する音声デコーダ部と、画像デ
ータを選択及び合成して外部へ出力する画像選択合成部
と、音声データを選択及び合成して外部へ出力する音声
選択合成部とを有する構成としても良い。
ストリーム格納部から入力されるデータを画像符号化情
報と音声符号化情報とに分離するデータストリーム分離
部と、データストリーム分離部から入力される画像符号
化情報から画像データを生成する画像デコーダ部と、デ
ータストリーム分離部から入力される前記音声符号化情
報から音声データを生成する音声デコーダ部と、画像デ
ータを選択及び合成して外部へ出力する画像選択合成部
と、音声データを選択及び合成して外部へ出力する音声
選択合成部とを有する構成としても良い。
【００１５】更に、データストリーム格納部は、外部か
ら入力される画像データを格納する画像格納部と、外部
から入力される音声データを格納する音声格納部とを有
し、データストリーム処理部は、画像データから画像符
号化情報を生成する画像エンコーダ部と、音声データか
ら音声符号化情報を生成する音声エンコーダ部と、画像
符号化情報と音声符号化情報を多重化し、データストリ
ームを生成するストリーム多重化部とを有する構成とし
ても良い。
ら入力される画像データを格納する画像格納部と、外部
から入力される音声データを格納する音声格納部とを有
し、データストリーム処理部は、画像データから画像符
号化情報を生成する画像エンコーダ部と、音声データか
ら音声符号化情報を生成する音声エンコーダ部と、画像
符号化情報と音声符号化情報を多重化し、データストリ
ームを生成するストリーム多重化部とを有する構成とし
ても良い。
【００１６】尚、時間情報は、ＮＴＰサーバから送信さ
れる時間情報でも良い。
れる時間情報でも良い。
【００１７】
【発明の実施の形態】図１は、本発明を適用したデータ
ストリーム処理装置１の構成を示す図である。尚、デー
タストリーム処理装置とは、データ符号化装置、データ
復号化装置及びデータ符号化／復号化装置を総称した名
称である。
ストリーム処理装置１の構成を示す図である。尚、デー
タストリーム処理装置とは、データ符号化装置、データ
復号化装置及びデータ符号化／復号化装置を総称した名
称である。
【００１８】データストリーム処理装置１は、基準周波
数制御部１１及びデータストリーム制御部１２を有す
る。基準周波数制御部１１は、データストリーム処理装
置１の外部から入力される時間情報に基づいて、装置内
部のデータ送信等のタイミングを規定する基準周波数を
制御する。データストリーム制御部１２は、外部から入
力されたデータストリームを一旦格納し、基準周波数制
御部１１で生成される信号で定められる基準周波数に基
づいて、データストリームを出力する。
数制御部１１及びデータストリーム制御部１２を有す
る。基準周波数制御部１１は、データストリーム処理装
置１の外部から入力される時間情報に基づいて、装置内
部のデータ送信等のタイミングを規定する基準周波数を
制御する。データストリーム制御部１２は、外部から入
力されたデータストリームを一旦格納し、基準周波数制
御部１１で生成される信号で定められる基準周波数に基
づいて、データストリームを出力する。
【００１９】基準周波数制御部１１は、発振器１３、基
準時間カウンタ１６、発振器制御部１７、及び基準時間
情報取得部１５を有する。
準時間カウンタ１６、発振器制御部１７、及び基準時間
情報取得部１５を有する。
【００２０】基準時間カウンタ１６は、発振器１３から
出力されるクロック信号によって定められる基準周波数
（本実施形態では２７ＭＨｚ）に同期してカウントアッ
プされる。発振制御部１７は、基準時間カウンタ１６の
カウンタ値と基準時間情報取得部１５が外部から取得し
た時間情報との差分を使って、発振器１３を制御する。
基準時間情報取得部１５が取得する時間情報の一例とし
て、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃ
ｏｌ）がある。
出力されるクロック信号によって定められる基準周波数
（本実施形態では２７ＭＨｚ）に同期してカウントアッ
プされる。発振制御部１７は、基準時間カウンタ１６の
カウンタ値と基準時間情報取得部１５が外部から取得し
た時間情報との差分を使って、発振器１３を制御する。
基準時間情報取得部１５が取得する時間情報の一例とし
て、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃ
ｏｌ）がある。
【００２１】図１０は、ＮＴＰのフォーマットを示す図
である。ＮＴＰの時間情報は、１９００年１月１日から
の秒数（３２ビット）と秒の小数部（３２ビット）から
構成される、２３２Ｈｚ（約４ＧＨｚ）のカウンタ値で
ある。発振制御部１７は、外部から取得したＮＴＰの時
間情報と、ＮＴＰを取得した時の基準時間カウンタ１６
のカウンタ値を保存する。その後、発振制御部１７は、
次に取得したＮＴＰの時間情報及びその時の基準時間カ
ウンタ１６のカウンタ値と、先に保存された以前の時間
情報及び基準時間カウンタ１６のカウンタ値とを比較し
て、各々の増分を計算する。さらに発信制御部１７は、
ＮＴＰの時間情報の増分と基準時間カウンタ１６のカウ
ンタ値の増分を比較し、その差分量に応じて、発振器１
３を制御する。
である。ＮＴＰの時間情報は、１９００年１月１日から
の秒数（３２ビット）と秒の小数部（３２ビット）から
構成される、２３２Ｈｚ（約４ＧＨｚ）のカウンタ値で
ある。発振制御部１７は、外部から取得したＮＴＰの時
間情報と、ＮＴＰを取得した時の基準時間カウンタ１６
のカウンタ値を保存する。その後、発振制御部１７は、
次に取得したＮＴＰの時間情報及びその時の基準時間カ
ウンタ１６のカウンタ値と、先に保存された以前の時間
情報及び基準時間カウンタ１６のカウンタ値とを比較し
て、各々の増分を計算する。さらに発信制御部１７は、
ＮＴＰの時間情報の増分と基準時間カウンタ１６のカウ
ンタ値の増分を比較し、その差分量に応じて、発振器１
３を制御する。
【００２２】データストリーム制御部１２は、外部から
入力されるデータストリームを格納するデータストリー
ム格納部１４と、データストリーム格納部１４に格納さ
れたデータストリームを加工して出力するデータストリ
ーム処理部１８とを有する。データストリーム処理部１
８は、発信器１３によって生成されるクロック信号のク
ロックに従って、加工されたデータストリームを外部に
出力する。
入力されるデータストリームを格納するデータストリー
ム格納部１４と、データストリーム格納部１４に格納さ
れたデータストリームを加工して出力するデータストリ
ーム処理部１８とを有する。データストリーム処理部１
８は、発信器１３によって生成されるクロック信号のク
ロックに従って、加工されたデータストリームを外部に
出力する。
【００２３】図２は、図１で説明したデータストリーム
処理装置１をデータストリーム復号化装置２として使用
する場合の一実施形態の構成を示す図である。
処理装置１をデータストリーム復号化装置２として使用
する場合の一実施形態の構成を示す図である。
【００２４】データ復号化装置２において、データスト
リーム制御部１２のデータストリーム処理部１８は、デ
ータストリーム分離部２３、画像デコーダ部２４、音声
デコーダ部２５、画像選択合成部２６、及び音声選択合
成部２７を有する。尚、基準周波数制御部１１の構成は
図１と同一である。
リーム制御部１２のデータストリーム処理部１８は、デ
ータストリーム分離部２３、画像デコーダ部２４、音声
デコーダ部２５、画像選択合成部２６、及び音声選択合
成部２７を有する。尚、基準周波数制御部１１の構成は
図１と同一である。
【００２５】データストリーム格納部１４には、外部か
ら入力されたデータストリーム（本実施例においては、
ＭＰＥＧ２−ＴＳ）が格納される。データストリーム分
離部２３は、データストリーム格納部１４から入力され
たデータストリームから、画像符号化情報（ビデオスト
リーム及びＰＴＳ、ＤＴＳ）、及び音声符号化情報（オ
ーディオストリーム及びＰＴＳ、ＤＴＳ）を抽出する。
また、データストリーム分離部２３は、抽出した画像符
号化情報を画像デコーダ部２４へ、音声符号化情報を音
声デコーダ部２５へ出力する。本実施形態においては、
データストリームに含まれているＰＣＲは、基準周波数
の制御に使用しない。
ら入力されたデータストリーム（本実施例においては、
ＭＰＥＧ２−ＴＳ）が格納される。データストリーム分
離部２３は、データストリーム格納部１４から入力され
たデータストリームから、画像符号化情報（ビデオスト
リーム及びＰＴＳ、ＤＴＳ）、及び音声符号化情報（オ
ーディオストリーム及びＰＴＳ、ＤＴＳ）を抽出する。
また、データストリーム分離部２３は、抽出した画像符
号化情報を画像デコーダ部２４へ、音声符号化情報を音
声デコーダ部２５へ出力する。本実施形態においては、
データストリームに含まれているＰＣＲは、基準周波数
の制御に使用しない。
【００２６】画像デコーダ部２４は、データストリーム
分離部２３から入力された画像符号化情報を画像デコー
ダ部２４が有するバッファに格納する。その後、画像デ
コーダ部２４は、基準時間カウンタ１６のカウント値
（ＳＴＣ）とデータに含まれるＤＴＳとが等しくなった
タイミングで画像データの復号化処理を開始する。生成
された画像データは、画像選択合成部２６へ出力され
る。
分離部２３から入力された画像符号化情報を画像デコー
ダ部２４が有するバッファに格納する。その後、画像デ
コーダ部２４は、基準時間カウンタ１６のカウント値
（ＳＴＣ）とデータに含まれるＤＴＳとが等しくなった
タイミングで画像データの復号化処理を開始する。生成
された画像データは、画像選択合成部２６へ出力され
る。
【００２７】一方、音声デコーダ部２５は、ストリーム
分離部２３から入力された音声符号化情報を、ＳＴＣと
データに含まれるＤＴＳとが一致するタイミングで復号
化する。生成された音声データは音声選択合成部２７へ
出力される。
分離部２３から入力された音声符号化情報を、ＳＴＣと
データに含まれるＤＴＳとが一致するタイミングで復号
化する。生成された音声データは音声選択合成部２７へ
出力される。
【００２８】画像選択合成部２６は、画像デコーダ部２
４から入力された複数の画像データから、ユーザが表示
を要求している画像データを選択し、モニタ等の表示機
器に出力するために用意された１フレーム分の画像デー
タ格納領域の指定された位置に、それぞれの画像データ
を重み付けして加算した値を格納することにより、複数
の画像データを合成する。その後、画像選択合成部２６
は、基準時間カウンタ１６のカウント値（ＳＴＣ）とデ
ータに含まれるＰＴＳとが等しくなったタイミングで、
合成した画像データを画像信号として出力する。
４から入力された複数の画像データから、ユーザが表示
を要求している画像データを選択し、モニタ等の表示機
器に出力するために用意された１フレーム分の画像デー
タ格納領域の指定された位置に、それぞれの画像データ
を重み付けして加算した値を格納することにより、複数
の画像データを合成する。その後、画像選択合成部２６
は、基準時間カウンタ１６のカウント値（ＳＴＣ）とデ
ータに含まれるＰＴＳとが等しくなったタイミングで、
合成した画像データを画像信号として出力する。
【００２９】同様に、音声出力部２７は、音声デコーダ
部２５から入力された複数の音声データから、ユーザが
表示を要求している音声データを選択し、スピーカー等
の音声機器に出力するために用意された１フレーム分の
音声データ格納領域に、それぞれの音声データの周波数
レベルまたは出力レベルを重み付けして加算した値を格
納することにより、複数の音声データを合成する。
部２５から入力された複数の音声データから、ユーザが
表示を要求している音声データを選択し、スピーカー等
の音声機器に出力するために用意された１フレーム分の
音声データ格納領域に、それぞれの音声データの周波数
レベルまたは出力レベルを重み付けして加算した値を格
納することにより、複数の音声データを合成する。
【００３０】図３は、図１のデータストリーム処理装置
１をデータストリーム符号化装置３として使用する場合
の構成を示す図である。
１をデータストリーム符号化装置３として使用する場合
の構成を示す図である。
【００３１】データストリーム格納部１４は、画像格納
部３３、及び音声格納部３４から構成される。データス
トリーム処理部１８は、画像エンコーダ部３５、音声エ
ンコーダ部３６、及びデータストリーム多重化部３７か
ら構成される。尚、基準周波数制御部１１は、図１と同
じ構成である。
部３３、及び音声格納部３４から構成される。データス
トリーム処理部１８は、画像エンコーダ部３５、音声エ
ンコーダ部３６、及びデータストリーム多重化部３７か
ら構成される。尚、基準周波数制御部１１は、図１と同
じ構成である。
【００３２】画像格納部３３は、外部から入力されるデ
ータストリーム、具体的には映像信号を画像データとし
て格納する。音声格納部３４は、外部から入力される音
声信号を音声データとして格納する。画像エンコーダ部
３５は、画像入力部３３から入力された画像データを符
号化して画像符号化情報を生成する。音声エンコーダ部
３６は、音声入力部３４から入力された音声データを符
号化し、音声符号化情報を生成する。
ータストリーム、具体的には映像信号を画像データとし
て格納する。音声格納部３４は、外部から入力される音
声信号を音声データとして格納する。画像エンコーダ部
３５は、画像入力部３３から入力された画像データを符
号化して画像符号化情報を生成する。音声エンコーダ部
３６は、音声入力部３４から入力された音声データを符
号化し、音声符号化情報を生成する。
【００３３】データストリーム多重化部３７は、基準時
間カウンタ１６のカウンタ値をもとに、ＰＴＳ、ＤＴ
Ｓ、及びＰＣＲを生成する。さらに、データストリーム
多重部３７は、これらの時刻情報と画像符号化情報、音
声符号化情報からデータストリームを生成して外部へ出
力する。
間カウンタ１６のカウンタ値をもとに、ＰＴＳ、ＤＴ
Ｓ、及びＰＣＲを生成する。さらに、データストリーム
多重部３７は、これらの時刻情報と画像符号化情報、音
声符号化情報からデータストリームを生成して外部へ出
力する。
【００３４】図４は、データストリーム復号化装置の別
の実施形態の構成を示す図である。本実施形態では、基
準時間情報取得部１５が外部から時間情報を取得できな
い場合においても基準周波数を補正し、徐々に各々の符
号化側の意図する時間と復号化側のＳＴＣとが離れてし
まう現象を最小限に抑えることができる。
の実施形態の構成を示す図である。本実施形態では、基
準時間情報取得部１５が外部から時間情報を取得できな
い場合においても基準周波数を補正し、徐々に各々の符
号化側の意図する時間と復号化側のＳＴＣとが離れてし
まう現象を最小限に抑えることができる。
【００３５】基準周波数制御部４１は、基準時間情報選
択部４３を有する点が、図１の基準周波数制御部１１の
構成と異なる。データストリーム制御部４８は、データ
ストリーム分離部４４の機能が、図２で説明したデータ
ストリーム分離部１８と異なる。
択部４３を有する点が、図１の基準周波数制御部１１の
構成と異なる。データストリーム制御部４８は、データ
ストリーム分離部４４の機能が、図２で説明したデータ
ストリーム分離部１８と異なる。
【００３６】データストリーム分離部４４は、入力され
た複数のデータストリームの各々からＰＣＲを抽出し、
基準時間情報選択部４３に出力する。基準時間情報選択
部４３は、上記ＰＣＲと基準時間情報取得部１５から入
力される時間情報とのうち何れか一つを選択し、発振制
御部１７に出力する。基準時間情報選択部４３は、基準
時間情報取得部１５から時間情報が入力されなくなった
場合は、データストリーム分離部４４から入力されるＰ
ＣＲを選択する。ここで、時間情報が入力されなくなっ
た場合とは、装置内部に設けられた時間間隔の閾値を超
えて外部から時間情報が入力されなくなることを指す。
閾値を超えても時間情報が外部から入力されない場合、
基準時間情報選択部４３は、ＰＣＲを選択する。
た複数のデータストリームの各々からＰＣＲを抽出し、
基準時間情報選択部４３に出力する。基準時間情報選択
部４３は、上記ＰＣＲと基準時間情報取得部１５から入
力される時間情報とのうち何れか一つを選択し、発振制
御部１７に出力する。基準時間情報選択部４３は、基準
時間情報取得部１５から時間情報が入力されなくなった
場合は、データストリーム分離部４４から入力されるＰ
ＣＲを選択する。ここで、時間情報が入力されなくなっ
た場合とは、装置内部に設けられた時間間隔の閾値を超
えて外部から時間情報が入力されなくなることを指す。
閾値を超えても時間情報が外部から入力されない場合、
基準時間情報選択部４３は、ＰＣＲを選択する。
【００３７】本実施形態によれば、もし何らかの理由で
基準時間情報取得部１５が外部から基準時間情報を取得
できない状態に陥った場合、データストリーム復号化装
置４が、データストリーム分離部４３で抽出したＰＣＲ
を選択することにより、ある程度、再生時の不具合を減
少させることが可能になる。
基準時間情報取得部１５が外部から基準時間情報を取得
できない状態に陥った場合、データストリーム復号化装
置４が、データストリーム分離部４３で抽出したＰＣＲ
を選択することにより、ある程度、再生時の不具合を減
少させることが可能になる。
【００３８】図７は、データストリーム符号化装置３及
びデータストリーム復号化装置２をネットワークに接続
した場合の構成の一実施形態を示す図である。
びデータストリーム復号化装置２をネットワークに接続
した場合の構成の一実施形態を示す図である。
【００３９】ネットワーク６１には、データストリーム
符号化装置３、データストリーム復号化装置２に加え、
基準時間局６２が接続される。基準時間局６２が供給す
る時間情報は、各々のデータストリーム符号化装置３及
びデータストリーム復号化装置２の各々が有する基準時
間情報取得部１５で取得される。取得された時間情報に
基づいて、データストリーム符号化装置３及びデータス
トリーム復号化装置２双方は、基準時間局６２の基準周
波数と同一になるように、各々の基準周波数を補正す
る。したがって、図７のようにデータストリーム符号化
装置３が複数ある場合であっても、データストリーム符
号化装置３及びデータストリーム復号化装置２双方の基
準周波数がずれることはない。これにより、データスト
リーム復号化装置２におけるデータ再生時の基準周波数
のずれによる不具合を回避することができる。
符号化装置３、データストリーム復号化装置２に加え、
基準時間局６２が接続される。基準時間局６２が供給す
る時間情報は、各々のデータストリーム符号化装置３及
びデータストリーム復号化装置２の各々が有する基準時
間情報取得部１５で取得される。取得された時間情報に
基づいて、データストリーム符号化装置３及びデータス
トリーム復号化装置２双方は、基準時間局６２の基準周
波数と同一になるように、各々の基準周波数を補正す
る。したがって、図７のようにデータストリーム符号化
装置３が複数ある場合であっても、データストリーム符
号化装置３及びデータストリーム復号化装置２双方の基
準周波数がずれることはない。これにより、データスト
リーム復号化装置２におけるデータ再生時の基準周波数
のずれによる不具合を回避することができる。
【００４０】尚、基準基地局としては、通常のホストコ
ンピュータ、ＧＰＳ（Global Positioning Satellit
e）、ＮＴＰサーバ等を使用することが考えられる。Ｎ
ＴＰサーバとは、インターネットに接続されたコンピュ
ータ間で時間を同期させる技術に用いられるサーバであ
る。本技術によれば、インターネットに接続された計算
機は、全世界に散らばったＮＴＰサーバを利用すること
で、自分自身の時間を調整することができる。また、あ
るサーバがＮＴＰサーバの役割をも有する場合、各クラ
イアントは、このサーバを使って、自分自身の時間をＮ
ＴＰサーバと同一のシステム時間に調整することができ
る。ＮＴＰの技術では、最終的に、基準基地局と各計算
機との時間の差が数十ミリ秒以内に収まる。したがっ
て、基準時間局としてＮＴＰサーバを採用すれば、符号
化装置側と復号化装置側との基準時間の誤差を常に数十
ミリ秒以内に抑えることができる。
ンピュータ、ＧＰＳ（Global Positioning Satellit
e）、ＮＴＰサーバ等を使用することが考えられる。Ｎ
ＴＰサーバとは、インターネットに接続されたコンピュ
ータ間で時間を同期させる技術に用いられるサーバであ
る。本技術によれば、インターネットに接続された計算
機は、全世界に散らばったＮＴＰサーバを利用すること
で、自分自身の時間を調整することができる。また、あ
るサーバがＮＴＰサーバの役割をも有する場合、各クラ
イアントは、このサーバを使って、自分自身の時間をＮ
ＴＰサーバと同一のシステム時間に調整することができ
る。ＮＴＰの技術では、最終的に、基準基地局と各計算
機との時間の差が数十ミリ秒以内に収まる。したがっ
て、基準時間局としてＮＴＰサーバを採用すれば、符号
化装置側と復号化装置側との基準時間の誤差を常に数十
ミリ秒以内に抑えることができる。
【００４１】しかし、基準時間情報取得部１５が、ＮＴ
Ｐによって供給される時間情報を取得した場合、前述し
たように数十ミリ秒の誤差が含まれる可能性がある。こ
の場合、データストリーム復号化装置２において、１組
の時間情報とカウンタ値を使用して発振器１３を制御す
ると、基準周波数が安定しないことがありうる。
Ｐによって供給される時間情報を取得した場合、前述し
たように数十ミリ秒の誤差が含まれる可能性がある。こ
の場合、データストリーム復号化装置２において、１組
の時間情報とカウンタ値を使用して発振器１３を制御す
ると、基準周波数が安定しないことがありうる。
【００４２】図５は、上記の課題を解決するデータスト
リーム復号化装置５の実施形態を示す図である。
リーム復号化装置５の実施形態を示す図である。
【００４３】基準周波数制御部５１は、レジスタ５２を
有する点が基準周波数制御部１１と異なる。基準時間情
報取得部１５は、外部から基準時間情報を取得したら、
基準時間情報と基準時間カウンタ１６のカウンタ値をレ
ジスタ５２に登録する。レジスタ５２は、図６に示すよ
うに、基準時間とカウンタ値の履歴が格納される構成を
有する。この履歴により、基準周波数制御部５１は、基
準時間とカウンタ値の増加傾向を把握することができ
る。発振制御部１７は、レジスタ５２に格納されている
基準時間とカウンタ値の履歴から把握した増加傾向を基
に、発振器１３の制御を行う。例えば、発信制御部１７
は、基準時刻の増加時間、及び、カウンタ値の増加時間
の平均値を求めて、これらの平均値の差分に応じて発振
器１３を制御する。
有する点が基準周波数制御部１１と異なる。基準時間情
報取得部１５は、外部から基準時間情報を取得したら、
基準時間情報と基準時間カウンタ１６のカウンタ値をレ
ジスタ５２に登録する。レジスタ５２は、図６に示すよ
うに、基準時間とカウンタ値の履歴が格納される構成を
有する。この履歴により、基準周波数制御部５１は、基
準時間とカウンタ値の増加傾向を把握することができ
る。発振制御部１７は、レジスタ５２に格納されている
基準時間とカウンタ値の履歴から把握した増加傾向を基
に、発振器１３の制御を行う。例えば、発信制御部１７
は、基準時刻の増加時間、及び、カウンタ値の増加時間
の平均値を求めて、これらの平均値の差分に応じて発振
器１３を制御する。
【００４４】本実施形態では、データストリーム復号化
装置５は、レジスタ５２に格納された基準時間とカウン
タ値の履歴に基づいて、基準時間、カウンタ値の増加傾
向を解析して発振器１７を制御する。これにより、デー
タストリーム復号化装置において、より変動の少ない基
準周波数のクロックを生成することができる。
装置５は、レジスタ５２に格納された基準時間とカウン
タ値の履歴に基づいて、基準時間、カウンタ値の増加傾
向を解析して発振器１７を制御する。これにより、デー
タストリーム復号化装置において、より変動の少ない基
準周波数のクロックを生成することができる。
【００４５】図９は、本発明を適用したデータストリー
ム符号化／復号化処理装置６３の構成を示す図である。
ム符号化／復号化処理装置６３の構成を示す図である。
【００４６】データストリーム符号化／復号化処理装置
７１は、基準周波数制御部１１及びデータストリーム制
御部１２を有する。基準周波数制御部１１の構成は図
２、図３と同一である。また、データストリーム制御部
１２は、復号化処理を実行する図２のデータストリーム
格納部１４とデータストリーム処理部１８、符号化処理
を実行する図３のデータストリーム格納部１４とデータ
ストリーム処理部１８を有する。データストリーム符号
化／復号化装置７１は、一つの基準周波数制御部１１
で、符号化処理を行う部分と復号化処理を行う部分へ基
準周波数を送信する。
７１は、基準周波数制御部１１及びデータストリーム制
御部１２を有する。基準周波数制御部１１の構成は図
２、図３と同一である。また、データストリーム制御部
１２は、復号化処理を実行する図２のデータストリーム
格納部１４とデータストリーム処理部１８、符号化処理
を実行する図３のデータストリーム格納部１４とデータ
ストリーム処理部１８を有する。データストリーム符号
化／復号化装置７１は、一つの基準周波数制御部１１
で、符号化処理を行う部分と復号化処理を行う部分へ基
準周波数を送信する。
【００４７】図８は、図９に示した、複数のデータスト
リーム符号化／復号化装置を、ネットワーク６１を介し
て接続したシステムを示す図である。
リーム符号化／復号化装置を、ネットワーク６１を介し
て接続したシステムを示す図である。
【００４８】この構成により、自分が位置する装置で符
号化した映像、音声のデータストリームを転送し、離れ
た位置に存在する装置で符号化された複数の映像、音声
のデータストリームをお互いが送受信することが可能と
なる。これにより、テレビ会議システムやビデオチャッ
ト等の双方向の通信システムで、画像、音声の繰り返し
や欠落の発生を減少させることが出来る。
号化した映像、音声のデータストリームを転送し、離れ
た位置に存在する装置で符号化された複数の映像、音声
のデータストリームをお互いが送受信することが可能と
なる。これにより、テレビ会議システムやビデオチャッ
ト等の双方向の通信システムで、画像、音声の繰り返し
や欠落の発生を減少させることが出来る。
【００４９】他の装置から１本のデータストリームが一
時的に転送されなくなった場合においても、従来技術で
はそのデータストリームの基準時間を使用していた場合
問題が発生したが、本システムでは、外部から基準時間
を取得するので問題は起きない。
時的に転送されなくなった場合においても、従来技術で
はそのデータストリームの基準時間を使用していた場合
問題が発生したが、本システムでは、外部から基準時間
を取得するので問題は起きない。
【００５０】
【発明の効果】本発明によれば、１つ又は複数のデータ
ストリームを受信し、表示装置に表示する場合であって
も、符号化装置側と復号化装置側との基準周波数の違い
による画像、音声の繰り返しや欠落を解消することがで
きる。
ストリームを受信し、表示装置に表示する場合であって
も、符号化装置側と復号化装置側との基準周波数の違い
による画像、音声の繰り返しや欠落を解消することがで
きる。
【図１】本発明のデータストリーム処理装置の構成を示
す図である。
す図である。
【図２】本発明のデータストリーム復号化処理装置の構
成を示す図である。
成を示す図である。
【図３】本発明のデータストリーム符号化処理装置の構
成を示す図である。
成を示す図である。
【図４】本発明のデータストリーム復号化処理装置の構
成を示す図である。
成を示す図である。
【図５】本発明のデータストリーム復号化処理装置の構
成を示す図である。
成を示す図である。
【図６】基準時間情報および基準時間カウンタのカウン
タ値を格納するレジスタの構成を示す図である。
タ値を格納するレジスタの構成を示す図である。
【図７】本発明のデータストリーム処理装置をネットワ
ークに接続した構成を示す図である。
ークに接続した構成を示す図である。
【図８】本発明のデータストリーム処理装置をネットワ
ークに接続した構成を示す図である。
ークに接続した構成を示す図である。
【図９】本発明のデータストリーム符号化／復号化処理
装置の構成を示す図である。
装置の構成を示す図である。
【図１０】ＮＴＰのフォーマットを示す図である。
１…データストリーム処理装置、１１…基準周波数制御
部、１２…データストリーム制御部、１３…発振器、１
４…データストリーム格納部、１５…基準時間情報取得
部、１６…基準時間カウンタ、１７…発振器制御部、１
８…データストリーム処理部、２１…基準周波数制御
部、２３…データストリーム分離部、２４…画像デコー
ダ部、２５…音声デコーダ部、２６…画像選択合成部、
２７…音声選択合成部、３３…画像格納部、３４…音声
格納部、３５…画像エンコーダ部、３６…音声エンコー
ダ部、３７…ストリーム多重化部、４３…基準時間情報
選択部、５２…レジスタ、６１…ネットワーク、６２…
基準時間局、７１…データストリーム符号化／復号化装
置。
部、１２…データストリーム制御部、１３…発振器、１
４…データストリーム格納部、１５…基準時間情報取得
部、１６…基準時間カウンタ、１７…発振器制御部、１
８…データストリーム処理部、２１…基準周波数制御
部、２３…データストリーム分離部、２４…画像デコー
ダ部、２５…音声デコーダ部、２６…画像選択合成部、
２７…音声選択合成部、３３…画像格納部、３４…音声
格納部、３５…画像エンコーダ部、３６…音声エンコー
ダ部、３７…ストリーム多重化部、４３…基準時間情報
選択部、５２…レジスタ、６１…ネットワーク、６２…
基準時間局、７１…データストリーム符号化／復号化装
置。
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 5C059 MA00 PP04 RB02 RB10 RC03
RC04 RC32 SS07 UA05 UA09
5K028 AA01 EE03 NN23
5K047 AA11 DD02 GG06 GG10 GG45
LL02 MM03 MM12
Claims (12)
- 【請求項１】装置外部から時間情報が入力される基準周
波数制御部と、 前記基準周波数制御部によって生成される信号に基づい
てデータストリームの入出力を行うデータストリーム制
御部とを有することを特徴とするデータストリーム処理
装置。 - 【請求項２】前記基準周波数制御部は、 前記時間情報が入力される基準時間情報取得部と、 該データストリーム処理部内の周波数を定める信号を生
成する発信器と、 前記基準時間情報取得部に入力される時間情報と前記発
信器から発信される信号の周波数とのずれを計算し、前
記計算結果に基づいて前記発信器を制御する発信器制御
部とを有することを特徴とする請求項１記載のデータス
トリーム処理装置。 - 【請求項３】前記基準周波数制御部は、 前記発振器出力する信号が定める周波数をカウントして
基準時間を出力する基準時間カウンタを有し、 前記発信器制御部は、前記時間情報と前記基準時間との
差分がなくなるように前記発信器を制御することを特徴
とする請求項２記載のデータストリーム処理装置。 - 【請求項４】前記データストリーム処理部は、外部から
入力されたデータストリームを格納するデータストリー
ム格納部と、前記データストリーム格納部に格納された
データストリームを加工して外部へ出力するデータスト
リーム処理部とを有することを特徴とする請求項１、請
求項２及び請求項３のうちいずれか１つの請求項に記載
されたデータストリーム処理装置。 - 【請求項５】前記データストリーム処理部は、 前記データストリーム格納部から入力されるデータスト
リームを画像符号化情報と音声符号化情報とに分離する
データストリーム分離部と、 前記データストリーム分離部から入力される前記画像符
号化情報から画像データを生成する画像デコーダ部と、 前記データストリーム分離部から入力される前記音声符
号化情報から音声データを生成する音声デコーダ部と、 前記画像データを選択及び合成して外部へ出力する画像
選択合成部と、 前記音声データを選択及び合成して外部へ出力する音声
選択合成部とを有することを特徴とする請求項４記載の
データストリーム処理装置。 - 【請求項６】前記基準周波数制御部は、 前記ストリーム分離部によって抽出される基準時間情報
と、前記基準時間情報取得部が取得した時間情報の内い
ずれか一つを選択して前記発信器制御部に出力する基準
時間情報選択部を有することを特徴とする請求項５記載
のデータストリーム処理装置。 - 【請求項７】前記基準周波数制御部は、 前記時間情報と前記基準時間カウンタの履歴を格納する
レジスタを有することを特徴とする請求項６記載のデー
タストリーム処理装置。 - 【請求項８】前記データストリーム格納部は、 外部から入力される画像データストリームを格納する画
像格納部と、 外部から入力される音声データストリームを格納する音
声格納部とを有し、 前記データストリーム処理部は、 前記画像データストリームから画像符号化情報を生成す
る画像エンコーダ部と、 前記音声データストリームから音声符号化情報を生成す
る音声エンコーダ部と、 前記画像符号化情報と前記音声符号化情報を多重化し、
データストリームを生成するストリーム多重化部とを有
することを特徴とする請求項４のデータストリーム処理
装置。 - 【請求項９】前記時間情報は、ＮＴＰサーバから送信さ
れる時間情報であることを特徴とする請求項１から請求
項８のうちいずれか１に記載されたデータストリーム処
理装置。 - 【請求項１０】外部から入力されたデータの処理を行う
データストリーム処理装置プログラムを格納した記録媒
体であって、外部から入力された基準時間情報と、発振
器が供給する基準周波数をカウントし、基準時間を出力
する基準時間カウンタの値を取得し、両者の変化のずれ
を減少させるように前記発振器に対し調整信号を制御す
ること特徴とするデータストリーム処理プログラムを記
録した媒体。 - 【請求項１１】前記データストリーム処理プログラム
で、前記基準時間情報と前記基準時間カウンタを履歴に
登録するための、前記基準時間情報と前記基準時間カウ
ンタを関数引数としてもつプログラムの関数インタフェ
ース。 - 【請求項１２】前記データストリーム処理プログラム
で、前記基準時間情報と前記基準時間カウンタを履歴に
登録するための、前記基準時間情報と前記基準時間カウ
ンタを大域変数としてもつプログラムの関数インタフェ
ース。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002050669A JP3906712B2 (ja) | 2002-02-27 | 2002-02-27 | データストリーム処理装置 |
| US10/306,574 US20030190139A1 (en) | 2002-02-27 | 2002-11-27 | Data stream processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002050669A JP3906712B2 (ja) | 2002-02-27 | 2002-02-27 | データストリーム処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003259365A true JP2003259365A (ja) | 2003-09-12 |
| JP3906712B2 JP3906712B2 (ja) | 2007-04-18 |
Family
ID=28662837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002050669A Expired - Fee Related JP3906712B2 (ja) | 2002-02-27 | 2002-02-27 | データストリーム処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20030190139A1 (ja) |
| JP (1) | JP3906712B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006027969A1 (ja) * | 2004-09-09 | 2006-03-16 | Matsushita Electric Industrial Co., Ltd. | 送信装置、中継装置、受信装置およびそれらを備えたネットワークシステム |
| JP2007158879A (ja) * | 2005-12-07 | 2007-06-21 | Matsushita Electric Ind Co Ltd | ビデオサーバ、受信装置 |
| JP2009033326A (ja) * | 2007-07-25 | 2009-02-12 | Hitachi Information & Communication Engineering Ltd | パケット伝送装置及び方法 |
| WO2012059976A1 (ja) * | 2010-11-02 | 2012-05-10 | 株式会社日立製作所 | プログラム、ストリームデータ処理方法及びストリームデータ処理計算機 |
| JP2013118491A (ja) * | 2011-12-02 | 2013-06-13 | Fujitsu Ltd | 発振器の周波数誤差補正装置、周波数誤差補正方法、周波数誤差補正プログラム及び周波数誤差補正システム |
| US8971355B2 (en) | 2009-06-12 | 2015-03-03 | Sony Corporation | Information processing apparatus, synchronization correction method and computer program |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6901606B2 (en) * | 2003-05-20 | 2005-05-31 | Nielsen Media Research, Inc. | Method and apparatus for detecting time-compressed broadcast content |
| US8233540B2 (en) * | 2005-03-10 | 2012-07-31 | Qualcomm Incorporated | Method of time base reconstruction for discrete time labeled video |
| WO2015115171A1 (ja) * | 2014-01-31 | 2015-08-06 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| KR20180080463A (ko) | 2017-01-04 | 2018-07-12 | 삼성전자주식회사 | 반도체 장치 및 반도체 장치의 동작 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2970558B2 (ja) * | 1996-10-25 | 1999-11-02 | 日本電気株式会社 | オーディオ／ビデオ／コンピュータグラフィクス同期再生合成方式及び方法 |
| US6345079B1 (en) * | 1997-10-29 | 2002-02-05 | Victor Company Of Japan, Ltd. | Clock signal generation apparatus |
| JP3593883B2 (ja) * | 1998-05-15 | 2004-11-24 | 株式会社日立製作所 | 映像ストリーム送受信システム |
| EP1129580B1 (en) * | 1999-09-21 | 2008-04-09 | Nxp B.V. | Clock recovery |
| FI20000638A (fi) * | 2000-03-17 | 2001-09-18 | Nokia Mobile Phones Ltd | Oskillaattorin säätö |
-
2002
- 2002-02-27 JP JP2002050669A patent/JP3906712B2/ja not_active Expired - Fee Related
- 2002-11-27 US US10/306,574 patent/US20030190139A1/en not_active Abandoned
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006027969A1 (ja) * | 2004-09-09 | 2006-03-16 | Matsushita Electric Industrial Co., Ltd. | 送信装置、中継装置、受信装置およびそれらを備えたネットワークシステム |
| US7567546B2 (en) | 2004-09-09 | 2009-07-28 | Panasonic Corporation | Transmitter device, bridge device, and receiver device, and network system including the devices |
| JP2007158879A (ja) * | 2005-12-07 | 2007-06-21 | Matsushita Electric Ind Co Ltd | ビデオサーバ、受信装置 |
| JP4742836B2 (ja) * | 2005-12-07 | 2011-08-10 | パナソニック株式会社 | 受信装置 |
| JP2009033326A (ja) * | 2007-07-25 | 2009-02-12 | Hitachi Information & Communication Engineering Ltd | パケット伝送装置及び方法 |
| US8971355B2 (en) | 2009-06-12 | 2015-03-03 | Sony Corporation | Information processing apparatus, synchronization correction method and computer program |
| US9479324B2 (en) | 2009-06-12 | 2016-10-25 | Sony Corporation | Information processing apparatus, synchronization correction method and computer program |
| US9954671B2 (en) | 2009-06-12 | 2018-04-24 | Sony Corporation | Information processing apparatus, synchronization correction method and computer program |
| WO2012059976A1 (ja) * | 2010-11-02 | 2012-05-10 | 株式会社日立製作所 | プログラム、ストリームデータ処理方法及びストリームデータ処理計算機 |
| JP5472885B2 (ja) * | 2010-11-02 | 2014-04-16 | 株式会社日立製作所 | プログラム、ストリームデータ処理方法及びストリームデータ処理計算機 |
| JP2013118491A (ja) * | 2011-12-02 | 2013-06-13 | Fujitsu Ltd | 発振器の周波数誤差補正装置、周波数誤差補正方法、周波数誤差補正プログラム及び周波数誤差補正システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3906712B2 (ja) | 2007-04-18 |
| US20030190139A1 (en) | 2003-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7983345B2 (en) | Content receiving apparatus, video/audio output timing control method, and content provision system | |
| US8189679B2 (en) | Content receiving apparatus, method of controlling video-audio output timing and content providing system | |
| JP3925311B2 (ja) | データ配信システム | |
| US7656948B2 (en) | Transcoding system and method for maintaining timing parameters before and after performing transcoding process | |
| JP4182437B2 (ja) | オーディオビデオ同期システム及びモニター装置 | |
| JP2006238424A (ja) | 無線環境におけるマルチメディア配信のためのシステム及び方法 | |
| WO2014188960A1 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
| JP5972616B2 (ja) | 受信装置、クロック復元方法及びプログラム | |
| JP2009272945A (ja) | 同期再生装置 | |
| JP3906712B2 (ja) | データストリーム処理装置 | |
| JP2003249922A (ja) | データ受信装置、および受信データ処理方法、並びにコンピュータ・プログラム | |
| US7397822B2 (en) | Method and system for compensating for timing violations of a multiplex of at least two media packet streams | |
| WO2020017499A1 (ja) | 映像音声伝送システム、伝送方法、送信装置及び受信装置 | |
| JP4092705B2 (ja) | ストリーム送信装置および受信装置、ならびに送受信方法 | |
| JP4742836B2 (ja) | 受信装置 | |
| JP6318953B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
| JP2004015553A (ja) | 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置 | |
| JP2005151434A (ja) | 受信装置および方法、記録媒体、並びにプログラム | |
| JP3736396B2 (ja) | ストリーム送信装置および受信装置 | |
| JP2002374220A (ja) | ストリーム送受信システム、ストリーム送信装置および受信装置 | |
| JP2000307542A (ja) | データ多重化装置及びデータ多重化方法 | |
| JP2022159374A (ja) | 送信方法 | |
| JPH08307863A (ja) | 映像符号化情報の送受同期方法 | |
| JP2019146188A (ja) | 送信装置、送信方法、受信装置および受信方法 | |
| JP2018129844A (ja) | 送信装置、送信方法、受信装置および受信方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040323 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060613 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061003 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070108 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100126 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |