JP2003259314A - Video audio synchronization method and system thereof - Google Patents
Video audio synchronization method and system thereofInfo
- Publication number
- JP2003259314A JP2003259314A JP2002050436A JP2002050436A JP2003259314A JP 2003259314 A JP2003259314 A JP 2003259314A JP 2002050436 A JP2002050436 A JP 2002050436A JP 2002050436 A JP2002050436 A JP 2002050436A JP 2003259314 A JP2003259314 A JP 2003259314A
- Authority
- JP
- Japan
- Prior art keywords
- digital
- video
- audio
- time information
- time code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Receiver Circuits (AREA)
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、映像音声同期方法
及びそのシステムに関し、映像と音声の同期をとる方法
及びそのシステムに関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video / audio synchronizing method and system thereof, and more particularly to a method and system for synchronizing video and audio.
【０００２】[0002]
【従来の技術】例えば海外から映像と音声が中継されて
くる場合、海外の伝送事業者の事情によって映像と音声
を別々に伝送した方がコスト安であったり、複数の音声
チャネルを映像と同時に伝送できない場合など、映像と
音声の伝送経路が異なる場合がある。このような場合
は、伝送経路によって遅延時間が異なり、映像と音声の
時間ずれを検知し補正する必要がある。2. Description of the Related Art For example, when video and audio are relayed from overseas, it may be cheaper to transmit video and audio separately depending on the circumstances of the overseas transmission company, or multiple audio channels may be transmitted simultaneously with video. In some cases, such as when transmission is not possible, the video and audio transmission paths are different. In such a case, the delay time differs depending on the transmission path, and it is necessary to detect and correct the time difference between the video and audio.
【０００３】また、放送スタジオがデジタル化され、映
像と音声を別々にデジタル処理する場合が増加してい
る。デジタル映像は画像メモリ上に１フィールドから数
フィールド分を展開して画像処理する場合があるため、
これだけでも画像メモリ上に展開したフィールド数分だ
けデジタル映像はデジタル音声に対して遅延してしま
う。このような場合も、映像と音声の時間ずれを検知し
補正する必要がある。In addition, the number of cases where a broadcasting studio is digitized and video and audio are separately digitally processed is increasing. Digital video may be processed by image processing by expanding one field to several fields on the image memory.
Even with this alone, the digital video is delayed with respect to the digital audio by the number of fields developed on the image memory. Even in such a case, it is necessary to detect and correct the time lag between the video and the audio.
【０００４】従来、テレビジョンの番組作成や中継回線
によって生じる映像と音声の時間ずれを検知し補正する
方法として、本出願人の提案になる特開平１０−１４５
６４５号（特願平８−２９６２１６号）に記載の発明が
ある。この発明は、番組開始前に例えばストロボの発光
と同期してパルス音を発生している状態を撮像及び集音
して基準となる映像信号と音声信号を発生して伝送し、
受信したこの基準となる映像信号と音声信号を映像モニ
タ及び音声モニタで再生して基準となる映像と音声の時
間ずれを検知し、映像信号及び音声信号のいずれかの伝
送系に設けられた遅延回路の遅延量を調整して時間ずれ
を補正するものである。Conventionally, the method proposed by the applicant of the present invention has been proposed by the applicant as a method for detecting and correcting the time lag between video and audio caused by television program creation or a relay line.
There is an invention described in Japanese Patent Application No. 645 (Japanese Patent Application No. 8-296216). This invention, for example, captures and collects a state in which a pulse sound is generated in synchronization with the light emission of a strobe before the start of a program, and generates and transmits a reference video signal and audio signal,
The received reference video and audio signals are reproduced on the video monitor and audio monitor to detect the time lag between the reference video and audio, and the delay provided in either the video signal or audio signal transmission system. The delay amount of the circuit is adjusted to correct the time lag.
【０００５】[0005]
【発明が解決しようとする課題】従来の方法は、番組開
始前に本線の映像信号と音声信号に基準となる映像信号
と音声信号を重畳して伝送するため、放送中は映像と音
声の時間ずれを検知することができなかった。また、ビ
デオテープレコーダに収録された映像及び音声プログラ
ムを編集する際には、断片的な複数の映像及び音声プロ
グラムについて、それぞれ基準となる映像信号と音声信
号を重畳しなければならず、映像と音声の同期をとるた
めに大変な作業量を要するという問題があった。In the conventional method, since the reference video signal and the audio signal are superimposed on the main line video signal and the audio signal before the program starts, the video and audio signals are transmitted during the broadcast. The shift could not be detected. When editing the video and audio programs recorded on the video tape recorder, the reference video signal and audio signal must be superimposed on each of the fragmentary video and audio programs. There is a problem that a great amount of work is required to synchronize the voices.
【０００６】本発明は、上記の点に鑑みなされたもの
で、放送中や使用中の映像と音声の時間ずれを自動的に
検知して補正することができる映像音声同期方法及びそ
のシステムを提供することを目的とする。The present invention has been made in view of the above points, and provides a video-audio synchronization method and system capable of automatically detecting and correcting a time lag between video and audio during broadcasting or in use. The purpose is to do.
【０００７】[0007]
【課題を解決するための手段】請求項１に記載の発明
は、同期のとれたデジタル映像とデジタル音声それぞれ
に同一の時間情報を電子透かしとして挿入し、同期のず
れた電子透かし挿入後の前記デジタル映像とデジタル音
声それぞれから前記時間情報を抽出し、前記デジタル映
像の時間情報とデジタル音声の時間情報とを比較して両
者が一致するよう前記デジタル映像とデジタル音声の少
なくともいずれか一方を遅延することにより、放送中や
使用中の映像と音声の時間ずれを自動的に検知して補正
することができる。According to a first aspect of the present invention, the same time information is inserted as a digital watermark in each of synchronized digital video and digital audio, and the synchronized digital watermark is inserted. The time information is extracted from each of the digital video and the digital audio, the time information of the digital video is compared with the time information of the digital audio, and at least one of the digital video and the digital audio is delayed so that they match each other. As a result, it is possible to automatically detect and correct the time lag between the video and audio during broadcasting or in use.
【０００８】請求項２に記載の発明は、同期のとれたデ
ジタル映像とデジタル音声それぞれに同一の時間情報を
電子透かしとして挿入する時間情報挿入手段と、同期の
ずれた電子透かし挿入後の前記デジタル映像とデジタル
音声それぞれから前記時間情報を抽出する時間情報抽出
手段と、前記デジタル映像の時間情報とデジタル音声の
時間情報とを比較して両者が一致するよう前記デジタル
映像とデジタル音声の少なくともいずれか一方を遅延す
る比較遅延手段とを有することにより、放送中や使用中
の映像と音声の時間ずれを自動的に検知して補正するこ
とができる。According to a second aspect of the present invention, time information inserting means for inserting the same time information as digital watermarks into the synchronized digital video and digital audio respectively, and the digital after the digital watermarks out of synchronization are inserted. Time information extraction means for extracting the time information from each of the video and the digital audio, and at least one of the digital video and the digital audio so that the time information of the digital video and the time information of the digital audio are compared and the two match. By having the comparison delay means for delaying one of them, it is possible to automatically detect and correct the time lag between the video and the audio during broadcasting or in use.
【０００９】[0009]
【発明の実施の形態】図１は、本発明システムの一実施
例のブロック構成図を示す。同図中、端子１０に入来す
るデジタル映像信号は映像への電子透かし挿入器１２に
供給される。また、端子１４に入来するデジタル音声信
号は音声への電子透かし挿入器１６に供給される。上記
のデジタル映像信号は例えばＭＰＥＧ（Ｍｏｖｉｎｇ
Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−２規
格で圧縮されたデジタル映像信号であり、デジタル音声
信号は例えばＭＰＥＧ／ＡｕｄｉｏレイヤII規格で圧縮
されたデジタル音声信号であり、両者間に時間ずれはな
い。1 shows a block diagram of an embodiment of the system of the present invention. In the figure, the digital video signal coming into the terminal 10 is supplied to a digital watermark inserting unit 12 for video. Also, the digital audio signal coming into the terminal 14 is supplied to the digital watermark inserting unit 16 for audio. The above digital video signal is, for example, MPEG (Moving).
Picture Experts Group) -2 standard compressed digital video signal, and the digital audio signal is, for example, MPEG / Audio layer II standard compressed digital audio signal, and there is no time lag between the two.
【００１０】タイムコード発生器１８はタイムコード
（時間情報）を発生し、映像への電子透かし挿入器１２
及び音声への電子透かし挿入器１６に供給する。ここ
で、タイムコードは例えば「時間：分：秒：フレーム」
の内容を含んでおり、「００：２３：２５：１０」は０
０時２３分２５秒１０フレームを表している。The time code generator 18 generates a time code (time information), and the digital watermark inserting unit 12 for the video image.
And a digital watermark inserter 16 for audio. Here, the time code is, for example, "hour: minute: second: frame".
"00: 23: 25: 10" is 0
It represents 0: 23: 25: 10 frames.
【００１１】映像への電子透かし挿入器１２は、デジタ
ル映像信号のビットストリームのうち、例えばピクチャ
層そのものにタイムコード発生器１８からのタイムコー
ドを挿入する。ここで、ＭＰＥＧ−２のデジタル映像信
号のビットストリームは、図２に示す階層構造になって
いる。上位層から順にシーケンス層、ＧＯＰ（Ｇｒｏｕ
ｐ Ｏｆ Ｐｉｃｔｕｒｅ）層、ピクチャ層、スライス
層、マクロブロック層、ブロック層から構成される。ピ
クチャ層は各画面に相当し、１以上のスライス層に分割
される。ピクチャヘッダにはピクチャ符号化拡張、拡張
及びユーザデータが続き、このピクチャ層そのものにタ
イムコードを書き込む。The video digital watermark inserting unit 12 inserts the time code from the time code generator 18 into, for example, the picture layer itself in the bit stream of the digital video signal. Here, the bit stream of the MPEG-2 digital video signal has the hierarchical structure shown in FIG. Sequence layer, GOP (Grou
p Of Picture) layer, picture layer, slice layer, macroblock layer, and block layer. The picture layer corresponds to each screen and is divided into one or more slice layers. The picture header is followed by picture coding extension, extension and user data, and the time code is written in this picture layer itself.
【００１２】音声への電子透かし挿入器１６は、デジタ
ル音声信号のビットストリームのうち、例えばアンシラ
リデータにタイムコード発生器１８からのタイムコード
を挿入する。ここで、ＭＰＥＧ／ＡｕｄｉｏレイヤIIの
デジタル音声信号のビットストリームは、図３に示すよ
うに、ヘッダ、ビット割り当て情報、スケールファクタ
選択情報、スケールファクタ、サブバンドサンプル、ア
ンシラリデータ（利用者が任意に定義できるデータ）か
ら構成されている。例えばこのサブバンドサンプルなど
レイヤIIのビットストリームそのものにタイムコードを
書き込む。The digital watermark inserting unit 16 for voice inserts the time code from the time code generator 18 into, for example, ancillary data in the bit stream of the digital voice signal. Here, the bit stream of the digital audio signal of the MPEG / Audio layer II is, as shown in FIG. 3, a header, bit allocation information, scale factor selection information, scale factor, subband sample, ancillary data (user selects Data that can be defined in). For example, the time code is written in the layer II bit stream itself such as this subband sample.
【００１３】映像への電子透かし挿入器１２の出力する
デジタル映像信号は遅延系１９を通して映像遅延器２２
及びタイムコードデコード器２４に供給され、また、音
声への電子透かし挿入器１６の出力するデジタル音声信
号は遅延系２０を通して音声遅延器２６及びタイムコー
ドデコード器２８に供給される。遅延系１９，２０は、
例えば異なる伝送経路やデジタル処理回路であり、互い
に遅延時間が異なっている。The digital video signal output from the digital watermark inserting unit 12 to the video is passed through the delay system 19 to the video delay unit 22.
And the time code decoder 24, and the digital audio signal output from the digital watermark inserting unit 16 for audio is supplied to the audio delay unit 26 and the time code decoder 28 through the delay system 20. The delay systems 19 and 20 are
For example, different transmission paths and digital processing circuits have different delay times.
【００１４】タイムコードデコード器２４は、デジタル
映像信号のビットストリームからピクチャ層の拡張及び
ユーザデータを分離してタイムコードを抽出しタイムコ
ード比較器３０に供給する。また、タイムコードデコー
ド器２８は、デジタル音声信号のビットストリームから
アンシラリデータを分離してタイムコードを抽出しタイ
ムコード比較器３０に供給する。The time code decoder 24 separates the picture layer extension and user data from the bit stream of the digital video signal to extract the time code and supplies it to the time code comparator 30. Further, the time code decoder 28 separates the ancillary data from the bit stream of the digital audio signal, extracts the time code, and supplies the time code to the time code comparator 30.
【００１５】タイムコード比較器３０は、デジタル映像
信号から抽出したタイムコードとデジタル音声信号から
抽出したタイムコードとを比較して、デジタル映像信号
から抽出したタイムコードが遅れている場合には両者の
時間差に応じた遅延指示を音声遅延器２６だけに供給
し、デジタル音声信号から抽出したタイムコードが遅れ
ている場合には両者の時間差に応じた遅延指示を映像遅
延器２２だけに供給する。The time code comparator 30 compares the time code extracted from the digital video signal with the time code extracted from the digital audio signal, and when the time code extracted from the digital video signal is delayed, both of them are compared. The delay instruction according to the time difference is supplied only to the audio delay device 26, and when the time code extracted from the digital audio signal is delayed, the delay instruction according to the time difference between them is supplied only to the video delay device 22.
【００１６】映像遅延器２２，音声遅延器２６それぞれ
は、タイムコード比較器３０からの遅延指示に応じて遅
延系１９，２０から供給されるデジタル映像信号，デジ
タル音声信号を遅延して端子３２，３４それぞれから出
力する。The video delay device 22 and the audio delay device 26 delay the digital video signal and the digital audio signal supplied from the delay systems 19 and 20 in response to the delay instruction from the time code comparator 30, and delay the terminals 32 and 32, respectively. 34 outputs from each.
【００１７】例えばデジタル映像信号から抽出したタイ
ムコードが「００：２３：２４：１０」で、デジタル音
声信号から抽出したタイムコードが「００：２３：２
４：２０」である場合、映像遅延器２２でデジタル映像
信号だけが１０フレーム分遅延され、デジタル音声信号
との同期がとられる。これによって、端子３２，３４か
らは同期のとれた、即ち、映像と音声のリップシンクの
合ったデジタル映像信号，デジタル音声信号が出力され
る。For example, the time code extracted from the digital video signal is "00: 23: 24: 10", and the time code extracted from the digital audio signal is "00: 23: 2".
4:20 ”, the video delay unit 22 delays only the digital video signal by 10 frames and synchronizes with the digital audio signal. As a result, the terminals 32 and 34 output digital video signals and digital audio signals which are synchronized with each other, that is, in which lip sync of video and audio is matched.
【００１８】このようにして、デジタル映像とデジタル
音声を有するデジタルメディアとしての例えばテレビジ
ョン，ＶＴＲ，ＤＶＤのような映像音声メディアや、コ
ンピュータ上での動画音声再生、更には医療機器や、テ
レビ電話等の通信機器等において、デジタル映像とデジ
タル音声との間で時間的なズレが生じた場合に、映像と
音声のリップシンクの合ったデジタル映像信号，デジタ
ル音声信号を得ることができる。In this way, video / audio media such as televisions, VTRs, DVDs, etc. as digital media having digital video and digital audio, moving image / audio reproduction on a computer, medical equipment, and videophone. In such a communication device as described above, when a time lag occurs between the digital video and the digital audio, it is possible to obtain a digital video signal and a digital audio signal in which the lip sync between the video and the audio is matched.
【００１９】上記実施例では端子１０，１４から供給さ
れるＭＰＥＧ−２規格で圧縮されたデジタル映像信号
と、ＭＰＥＧ／ＡｕｄｉｏレイヤII規格で圧縮されたデ
ジタル音声信号との同期合わせを例にとって説明した
が、端子１０，１４から互いに同期のとれた圧縮されて
ないデジタル映像信号とデジタル音声信号とが供給され
る場合にも適用できる。In the above embodiment, the synchronization between the digital video signal compressed by the MPEG-2 standard supplied from the terminals 10 and 14 and the digital audio signal compressed by the MPEG / Audio layer II standard has been described as an example. However, the present invention can also be applied to the case where uncompressed digital video signals and digital audio signals which are synchronized with each other are supplied from the terminals 10 and 14.
【００２０】この場合には、映像への電子透かし挿入器
１２ではデジタル映像信号の垂直部ランキング期間また
は水平部ランキング期間に相当する所定位置にタイムコ
ードを挿入する。音声への電子透かし挿入器１６は図４
の構成とし、音声マスキングを利用してデジタル音声信
号にタイムコードを挿入する。そして、タイムコードデ
コード器２４では垂直部ランキング期間または水平部ラ
ンキング期間に相当する所定位置からタイムコードを抽
出する。タイムコードデコード器２８は図５の構成と
し、デジタル音声信号からタイムコードを抽出するよう
に構成する。In this case, the digital watermark inserting unit 12 inserts a time code in a predetermined position corresponding to the vertical ranking period or the horizontal ranking period of the digital video signal. The digital watermark inserting unit 16 for voice is shown in FIG.
The time code is inserted into the digital audio signal by using audio masking. Then, the time code decoder 24 extracts the time code from a predetermined position corresponding to the vertical part ranking period or the horizontal part ranking period. The time code decoder 28 has the configuration of FIG. 5 and is configured to extract the time code from the digital audio signal.
【００２１】図４に示す音声への電子透かし挿入器１６
では、入力されたデジタル音声信号を変換部４０で周波
数領域へ変換すると共に、周波数分析部４２で周波数分
析する。マスク比率計算部４４ではデジタル音声信号の
周波数分析結果に基づいて各周波数におけるマスク比
率、つまり聴覚上聞こえなくなる音のレベルを計算して
変換部４０及び埋め込み部４６に供給する。埋め込み部
４６ではマスク比率に基づいて、タイムコード発生器１
８から供給されるタイムコードをマスキングできる周波
数及びタイミングで量子化部４８に供給し、量子化部４
８において周波数領域に変換されたデジタル音声信号に
タイムコードが埋め込まれる。タイムコードが埋め込ま
れたデジタル音声信号は変換部５０で時間領域へ変換さ
れて出力される。A digital watermark inserting unit 16 for voice shown in FIG.
Then, the input digital audio signal is converted into the frequency domain by the conversion unit 40, and the frequency analysis is performed by the frequency analysis unit 42. The mask ratio calculation unit 44 calculates the mask ratio at each frequency, that is, the level of the sound that cannot be heard by the auditory sense based on the frequency analysis result of the digital audio signal, and supplies it to the conversion unit 40 and the embedding unit 46. In the embedding unit 46, the time code generator 1 is generated based on the mask ratio.
8 is supplied to the quantizer 48 at a frequency and timing capable of masking the time code supplied from
In 8, the time code is embedded in the digital audio signal converted into the frequency domain. The digital audio signal in which the time code is embedded is converted into the time domain by the conversion unit 50 and output.
【００２２】図５に示すタイムコードデコード器２８で
は、タイムコードが埋め込まれたデジタル音声信号を変
換部５２で周波数領域へ変換すると共に、周波数分析部
５４で周波数分析する。マスク比率計算部５６ではデジ
タル音声信号の周波数分析結果に基づいて各周波数にお
けるマスク比率を計算して変換部５２及び埋め込みデー
タ抽出部５８に供給する。埋め込みデータ抽出部５８で
はマスク比率に基づいてタイムコードが埋め込まれてい
る周波数及びタイミングを求め、周波数領域に変換され
たデジタル音声信号からタイムコードを抽出し、この抽
出されたタイムコードがタイムコード比較器３０に供給
される。In the time code decoder 28 shown in FIG. 5, the converting unit 52 converts the digital audio signal in which the time code is embedded into the frequency domain, and the frequency analyzing unit 54 analyzes the frequency. The mask ratio calculation unit 56 calculates the mask ratio at each frequency based on the frequency analysis result of the digital audio signal and supplies it to the conversion unit 52 and the embedded data extraction unit 58. The embedded data extraction unit 58 obtains the frequency and timing in which the time code is embedded based on the mask ratio, extracts the time code from the digital audio signal converted into the frequency domain, and compares the extracted time code with the time code. Is supplied to the container 30.
【００２３】なお、音への電子透かし埋め込みとして
は、音を周波数領域へ変換しないで埋め込む方式とし
て、最下位ビットを透かし情報で変更するビット置換
型、透かしの有無で統計的な偏りが生じることを利用し
た統計的埋め込み型、埋め込み情報によりエコーの長さ
を変えて透かし情報とするエコー利用型などがあり、ま
た、音を周波数領域へ変換してから埋め込む方式とし
て、聴覚が比較的位相の変化に鈍感であることを利用し
た位相操作型、周波数領域においてＭＤＣＴ係数を直接
透かし情報で変更する係数直接操作型、原音を周波数領
域に変換し透かしを入れるスペクトル拡散利用型、任意
の２サンプルを選び片方は増加、他方は減少とし統計的
に分布が変化することを利用して埋め込む統計的埋め込
み型など各種方式がある。本発明は、上記各種方式のど
れを用いても良く、実施例に限定されるものではない。As for embedding a digital watermark in a sound, a method of embedding a sound without converting it into a frequency domain is a bit replacement type in which the least significant bit is changed by watermark information, and a statistical bias occurs depending on the presence or absence of a watermark. There is also a statistical embedding type that uses the, and an echo using type that changes the echo length by the embedded information to be watermark information.As a method of embedding the sound after converting it to the frequency domain, the Phase manipulation type that utilizes insensitivity to changes, coefficient direct manipulation type that directly changes MDCT coefficients with watermark information in the frequency domain, spread spectrum utilization type that transforms the original sound into the frequency domain and watermarks it, and arbitrary 2 samples There are various methods such as a statistical embedding type in which one is selected and the other is increased, and the other is decreased and the distribution is statistically changed. The present invention may use any of the various methods described above and is not limited to the embodiments.
【００２４】なお、映像への電子透かし挿入器１２，音
声への電子透かし挿入器１６，タイムコード発生器１８
が請求項記載の時間情報挿入手段に対応し、タイムコー
ドデコード器２４，２８が時間情報抽出手段に対応し、
映像遅延器２２，音声遅延器２６，タイムコード比較器
３０が比較遅延手段に対応する。A digital watermark inserting unit 12 for video, a digital watermark inserting unit 16 for audio, and a time code generator 18
Corresponds to the time information inserting means described in the claims, the time code decoders 24 and 28 correspond to the time information extracting means,
The video delay device 22, the audio delay device 26, and the time code comparator 30 correspond to comparison delay means.
【００２５】[0025]
【発明の効果】上述の如く、請求項１に記載の発明は、
同期のとれたデジタル映像とデジタル音声それぞれに同
一の時間情報を電子透かしとして挿入し、同期のずれた
電子透かし挿入後のデジタル映像とデジタル音声それぞ
れから時間情報を抽出し、デジタル映像の時間情報とデ
ジタル音声の時間情報とを比較して両者が一致するよう
デジタル映像とデジタル音声の少なくともいずれか一方
を遅延することにより、放送中や使用中の映像と音声の
時間ずれを自動的に検知して補正することができる。As described above, the invention according to claim 1 is
The same time information is inserted as a digital watermark in each of the synchronized digital video and digital audio, and the time information is extracted from each of the digital video and digital audio after inserting the digital watermark out of synchronization and By comparing the time information of the digital audio and delaying at least one of the digital video and digital audio so that they match each other, the time lag between the video and audio during broadcasting or in use is automatically detected. Can be corrected.
【００２６】請求項２に記載の発明は、同期のとれたデ
ジタル映像とデジタル音声それぞれに同一の時間情報を
電子透かしとして挿入する時間情報挿入手段と、同期の
ずれた電子透かし挿入後のデジタル映像とデジタル音声
それぞれから時間情報を抽出する時間情報抽出手段と、
デジタル映像の時間情報とデジタル音声の時間情報とを
比較して両者が一致するようデジタル映像とデジタル音
声の少なくともいずれか一方を遅延する比較遅延手段と
を有することにより、放送中や使用中の映像と音声の時
間ずれを自動的に検知して補正することができる。According to a second aspect of the present invention, time information inserting means for inserting the same time information as a digital watermark into the synchronized digital video and digital audio respectively, and the digital video after the digital watermark insertion out of synchronization. And time information extraction means for extracting time information from each of the digital voice,
By comparing the time information of the digital video and the time information of the digital audio, and by providing a comparison delay unit that delays at least one of the digital video and the digital audio so that they match each other, the video being broadcast or being used It is possible to automatically detect and correct the time lag of the voice.
【図１】本発明システムの一実施例のブロック構成図で
ある。FIG. 1 is a block diagram of an embodiment of a system of the present invention.
【図２】デジタル映像信号のビットストリームの階層構
造を示す図である。FIG. 2 is a diagram showing a hierarchical structure of a bit stream of a digital video signal.
【図３】デジタル音声信号のビットストリームの構成を
示す図である。FIG. 3 is a diagram showing a configuration of a bit stream of a digital audio signal.
【図４】音声への電子透かし挿入器の一実施例のブロッ
ク図である。FIG. 4 is a block diagram of an embodiment of a digital watermark inserting unit for audio.
【図５】タイムコードデコード器の一実施例のブロック
図である。FIG. 5 is a block diagram of an embodiment of a time code decoder.
１２ 映像への電子透かし挿入器 １６ 音声への電子透かし挿入器 １８ タイムコード発生器 １９，２０ 遅延系 ２２ 映像遅延器 ２４，２８ タイムコードデコード器 ２６ 音声遅延器 ３０ タイムコード比較器 12 Digital watermark inserter for video 16 Digital watermark inserter for audio 18 Time code generator 19,20 Delay system 22 Video delay device 24, 28 time code decoder 26 Audio delay device 30 time code comparator
フロントページの続き (72)発明者 大村 俊郎 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 Ｆターム(参考） 5C026 DA00 5C063 AB03 AB05 AB11 AC01 AC05 CA11 CA20 CA23 CA38 DA07 DA13 DB09 DB10 Continued front page (72) Inventor Toshiro Omura 2-2-1 Jinnan 2-chome, Shibuya-ku, Tokyo Sending Association Broadcast Center F-term (reference) 5C026 DA00 5C063 AB03 AB05 AB11 AC01 AC05 CA11 CA20 CA23 CA38 DA07 DA13 DB09 DB10
Claims (2)
声それぞれに同一の時間情報を電子透かしとして挿入
し、 同期のずれた電子透かし挿入後の前記デジタル映像とデ
ジタル音声それぞれから前記時間情報を抽出し、 前記デジタル映像の時間情報とデジタル音声の時間情報
とを比較して両者が一致するよう前記デジタル映像とデ
ジタル音声の少なくともいずれか一方を遅延することを
特徴とする映像音声同期方法。1. The same time information is inserted as a digital watermark into each of the synchronized digital video and digital audio, and the time information is extracted from each of the digital video and digital audio after inserting the digital watermark out of synchronization. A video / audio synchronization method, characterized in that the time information of the digital video and the time information of the digital audio are compared and at least one of the digital video and the digital audio is delayed so that they match each other.
声それぞれに同一の時間情報を電子透かしとして挿入す
る時間情報挿入手段と、 同期のずれた電子透かし挿入後の前記デジタル映像とデ
ジタル音声それぞれから前記時間情報を抽出する時間情
報抽出手段と、 前記デジタル映像の時間情報とデジタル音声の時間情報
とを比較して両者が一致するよう前記デジタル映像とデ
ジタル音声の少なくともいずれか一方を遅延する比較遅
延手段とを有することを特徴とする映像音声同期システ
ム。2. A time information inserting means for inserting the same time information as a digital watermark into each of the synchronized digital video and digital audio, and the digital video and digital audio after inserting the digital watermark out of synchronization. Time information extraction means for extracting time information, and comparison delay means for comparing the time information of the digital video and the time information of digital audio and delaying at least one of the digital video and digital audio so that the two match. An audiovisual synchronization system comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002050436A JP2003259314A (en) | 2002-02-26 | 2002-02-26 | Video audio synchronization method and system thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002050436A JP2003259314A (en) | 2002-02-26 | 2002-02-26 | Video audio synchronization method and system thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003259314A true JP2003259314A (en) | 2003-09-12 |
Family
ID=28662686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002050436A Pending JP2003259314A (en) | 2002-02-26 | 2002-02-26 | Video audio synchronization method and system thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003259314A (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007180999A (en) * | 2005-12-28 | 2007-07-12 | Nomura Research Institute Ltd | Information synchronization system, information transmitter, information receiver, information synchronization program, information transmission program, and information reception program |
| JP2007215011A (en) * | 2006-02-10 | 2007-08-23 | Hitachi Ltd | Digital watermark embedding device, digital watermark detecting device, digital watermark embedding method, digital watermark detection method and data structure of content |
| WO2007099906A1 (en) * | 2006-02-27 | 2007-09-07 | Matsushita Electric Industrial Co., Ltd. | Reproducer, portable telephone, and reproducing method |
| WO2007116205A1 (en) * | 2006-04-10 | 2007-10-18 | Tektronix International Sales Gmbh | Method and apparatus for measuring audio/video sync delay |
| JP2007312192A (en) * | 2006-05-19 | 2007-11-29 | Oki Electric Ind Co Ltd | Lip-sync evaluation apparatus and lip-sync adjustment apparatus |
| WO2007148662A1 (en) * | 2006-06-19 | 2007-12-27 | Panasonic Corporation | Information burying device and detecting devie |
| JP2008529046A (en) * | 2005-01-21 | 2008-07-31 | アンリミテッド メディア ゲーエムベーハー | How to embed a digital watermark in a useful signal |
| JP2009508169A (en) * | 2005-09-16 | 2009-02-26 | トムソン ライセンシング | Audio reference-free watermarking of audio signals by using phase correction |
| JP2009515371A (en) * | 2005-07-22 | 2009-04-09 | ネクスタンプ ソシエテ アノニム | Time stamped watermark method, time stamp decoding method and device, corresponding computer use and program product |
| WO2010119171A1 (en) * | 2009-04-14 | 2010-10-21 | Jari Koivusaari | Method and arrangement for synchronizing digital multimedia signals |
| GB2437122B (en) * | 2006-04-10 | 2011-01-05 | Vqual Ltd | Method and apparatus for measuring audio/video sync delay |
| JP2012114779A (en) * | 2010-11-26 | 2012-06-14 | Foster Electric Co Ltd | Video/sound synchronization method, video/sound synchronization system and video synchronized sound regulator |
| US8285998B2 (en) | 2006-09-29 | 2012-10-09 | Hitachi Government & Public Corporation System Engineering, Ltd. | Dynamic image content tamper detecting device and system |
| US8451375B2 (en) | 2005-04-28 | 2013-05-28 | Panasonic Corporation | Lip-sync correcting device and lip-sync correcting method |
| KR20140068923A (en) * | 2011-08-03 | 2014-06-09 | 씨에스피-인노바찌오네 넬레 아이씨티 스칼 | Methods and apparatuses for transmitting and for receiving multimedia contents |
| JP2016537834A (en) * | 2013-09-20 | 2016-12-01 | コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ | Correlating timeline information between media streams |
| US9860581B2 (en) | 2013-09-20 | 2018-01-02 | Koninklijke Kpn N.V. | Correlating timeline information between media streams |
| CN114339284A (en) * | 2021-12-27 | 2022-04-12 | 北京京东拓先科技有限公司 | Method, device, storage medium and program product for monitoring live broadcast delay |
-
2002
- 2002-02-26 JP JP2002050436A patent/JP2003259314A/en active Pending
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008529046A (en) * | 2005-01-21 | 2008-07-31 | アンリミテッド メディア ゲーエムベーハー | How to embed a digital watermark in a useful signal |
| KR101271825B1 (en) | 2005-01-21 | 2013-06-07 | 언리미티드 미디어 게엠베하 | Method of embedding a digital watermark in a useful signal |
| US8891013B2 (en) | 2005-04-28 | 2014-11-18 | Panasonic Corporation | Repeater being utilized between a source and sink device for Lip-syncing in an HDMI system |
| US8687118B2 (en) | 2005-04-28 | 2014-04-01 | Panasonic Corporation | Repeater being utilized between a source and sink device for lip-syncing in an HDMI system |
| US8451375B2 (en) | 2005-04-28 | 2013-05-28 | Panasonic Corporation | Lip-sync correcting device and lip-sync correcting method |
| JP2009515371A (en) * | 2005-07-22 | 2009-04-09 | ネクスタンプ ソシエテ アノニム | Time stamped watermark method, time stamp decoding method and device, corresponding computer use and program product |
| JP2009508169A (en) * | 2005-09-16 | 2009-02-26 | トムソン ライセンシング | Audio reference-free watermarking of audio signals by using phase correction |
| JP2007180999A (en) * | 2005-12-28 | 2007-07-12 | Nomura Research Institute Ltd | Information synchronization system, information transmitter, information receiver, information synchronization program, information transmission program, and information reception program |
| JP2007215011A (en) * | 2006-02-10 | 2007-08-23 | Hitachi Ltd | Digital watermark embedding device, digital watermark detecting device, digital watermark embedding method, digital watermark detection method and data structure of content |
| JP4728136B2 (en) * | 2006-02-10 | 2011-07-20 | 株式会社日立製作所 | Content distribution system and content distribution method |
| WO2007099906A1 (en) * | 2006-02-27 | 2007-09-07 | Matsushita Electric Industrial Co., Ltd. | Reproducer, portable telephone, and reproducing method |
| JP4852094B2 (en) * | 2006-02-27 | 2012-01-11 | パナソニック株式会社 | REPRODUCTION DEVICE, MOBILE PHONE, AND REPRODUCTION METHOD |
| WO2007116205A1 (en) * | 2006-04-10 | 2007-10-18 | Tektronix International Sales Gmbh | Method and apparatus for measuring audio/video sync delay |
| GB2437122B (en) * | 2006-04-10 | 2011-01-05 | Vqual Ltd | Method and apparatus for measuring audio/video sync delay |
| JP2007312192A (en) * | 2006-05-19 | 2007-11-29 | Oki Electric Ind Co Ltd | Lip-sync evaluation apparatus and lip-sync adjustment apparatus |
| JP5097114B2 (en) * | 2006-06-19 | 2012-12-12 | パナソニック株式会社 | Information embedding device and detection device |
| EP2040469A1 (en) * | 2006-06-19 | 2009-03-25 | Panasonic Corporation | Information burying device and detecting devie |
| US8369688B2 (en) | 2006-06-19 | 2013-02-05 | Panasonic Corporation | Information burying device and detecting device |
| EP2040469A4 (en) * | 2006-06-19 | 2009-09-30 | Panasonic Corp | Information burying device and detecting devie |
| WO2007148662A1 (en) * | 2006-06-19 | 2007-12-27 | Panasonic Corporation | Information burying device and detecting devie |
| US8285998B2 (en) | 2006-09-29 | 2012-10-09 | Hitachi Government & Public Corporation System Engineering, Ltd. | Dynamic image content tamper detecting device and system |
| WO2010119171A1 (en) * | 2009-04-14 | 2010-10-21 | Jari Koivusaari | Method and arrangement for synchronizing digital multimedia signals |
| JP2012114779A (en) * | 2010-11-26 | 2012-06-14 | Foster Electric Co Ltd | Video/sound synchronization method, video/sound synchronization system and video synchronized sound regulator |
| KR20140068923A (en) * | 2011-08-03 | 2014-06-09 | 씨에스피-인노바찌오네 넬레 아이씨티 스칼 | Methods and apparatuses for transmitting and for receiving multimedia contents |
| JP2014524682A (en) * | 2011-08-03 | 2014-09-22 | シーエスピー − イノヴァツィオン ネル アイシーティー スカール | Method and apparatus for transmitting and receiving multimedia content |
| KR101923110B1 (en) * | 2011-08-03 | 2018-11-28 | 에스.아이.에스브이.이엘. 쏘시에타‘ 이탈리아나 퍼 로 스빌루포 델‘엘레트로니카 에스.피.에이. | Methods and apparatuses for transmitting and for receiving multimedia contents |
| JP2016537834A (en) * | 2013-09-20 | 2016-12-01 | コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ | Correlating timeline information between media streams |
| US9860581B2 (en) | 2013-09-20 | 2018-01-02 | Koninklijke Kpn N.V. | Correlating timeline information between media streams |
| US10694264B2 (en) | 2013-09-20 | 2020-06-23 | Koninklijke Kpn N.V. | Correlating timeline information between media streams |
| CN114339284A (en) * | 2021-12-27 | 2022-04-12 | 北京京东拓先科技有限公司 | Method, device, storage medium and program product for monitoring live broadcast delay |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003259314A (en) | Video audio synchronization method and system thereof | |
| US7996750B2 (en) | Lip synchronization system and method | |
| US8363161B2 (en) | Systems, methods, and apparatus for synchronization of audio and video signals | |
| US7274862B2 (en) | Information processing apparatus | |
| US6078725A (en) | Apparatus for a synchronized playback of audio-video signals | |
| US8290353B2 (en) | Data processing device and method | |
| US6163646A (en) | Apparatus for a synchronized playback of audio-video signals | |
| KR20070034462A (en) | Video-Audio Synchronization | |
| JPH11513222A (en) | Display Time Stamping Method and Synchronization Method for Multiple Video Objects | |
| JP2005084578A (en) | Performance system and musical sound video reproducing device | |
| KR20100030663A (en) | Decoder and decoding method | |
| CN110896503A (en) | Video and audio synchronization monitoring method and system and video and audio broadcasting system | |
| JP2002521882A (en) | Device for separating and multiplexing encoded data | |
| JP7208531B2 (en) | Synchronization control device, synchronization control method and synchronization control program | |
| JP4534168B2 (en) | Information processing apparatus and method, recording medium, and program | |
| JP2001078185A (en) | Signal processor | |
| JP2003348489A (en) | Broadcast receiver | |
| JP2002176643A (en) | Synchronization recovery system for video/audio in video/ audio decoding processing | |
| JP2004015553A (en) | Synchronization control method and apparatus thereof, synchronization reproduction apparatus and tv receiving apparatus using the control method and apparatus | |
| JP3944845B2 (en) | Information processing apparatus and method, recording medium, and program | |
| TWI814427B (en) | Method for synchronizing audio and video | |
| JP4158250B2 (en) | Information recording / reproducing apparatus and method, and providing medium | |
| JP2020115626A (en) | Subtitle delay control device, control method and program | |
| JP2002335445A (en) | Video audio signal changeover device | |
| Stojancic et al. | Interoperable AV sync systems in the SMPTE 22TV Lip Sync AHG: content-fingerprinting-based audio-video synchronization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040405 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061016 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070529 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071002 |