JP2003284010A - Encoding apparatus and media data synchronizing method - Google Patents
Encoding apparatus and media data synchronizing methodInfo
- Publication number
- JP2003284010A JP2003284010A JP2002086474A JP2002086474A JP2003284010A JP 2003284010 A JP2003284010 A JP 2003284010A JP 2002086474 A JP2002086474 A JP 2002086474A JP 2002086474 A JP2002086474 A JP 2002086474A JP 2003284010 A JP2003284010 A JP 2003284010A
- Authority
- JP
- Japan
- Prior art keywords
- data
- subtitle
- video
- pes
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Time-Division Multiplex Systems (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、ＭＰＥＧ（Ｍｏ
ｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕ
ｐ）−２符号化方式を利用する符号化装置及びメディア
データ同期方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention
Ving Picture Experts Grou
The present invention relates to an encoding device and a media data synchronization method using the p) -2 encoding method.
【０００２】[0002]
【従来の技術】近年、デジタル圧縮符号化技術の発達に
より、映像、音声、字幕データ等のメディアデータをリ
アルタイムに符号化して伝送するシステムが普及してい
る。これらのメディアデータの伝送を行う場合、映像、
音声、字幕データ等をそれぞれ符号化して、多重化を行
う必要がある。2. Description of the Related Art In recent years, with the development of digital compression encoding technology, a system for encoding and transmitting media data such as video, audio, and subtitle data in real time has become widespread. When transmitting these media data, video,
It is necessary to encode voice and caption data, etc., and perform multiplexing.
【０００３】図５は従来の符号化装置を示す構成図であ
り、図において、１は字幕データ等を格納している番組
サーバ、２は送出コントローラ３の指示の下、番組サー
バ１から字幕データを受け取り、表番組に連動して字幕
データを送出する字幕発生装置、３は字幕発生装置２や
動画像発生装置５の送出タイミングを制御する送出コン
トローラ、４は字幕発生装置２から出力される字幕デー
タの形式をＰＥＳ形式に変更する字幕エンコーダであ
る。FIG. 5 is a block diagram showing a conventional coding apparatus. In the figure, 1 is a program server storing subtitle data and the like, 2 is subprogram data from the program server 1 under the instruction of a sending controller 3. And a transmission controller for controlling the transmission timing of the caption generation device 2 and the moving image generation device 5, and 4 is a caption output from the caption generation device 2. It is a subtitle encoder that changes the data format to the PES format.
【０００４】５は送出コントローラ３の指示の下、映像
信号を送出する動画像発生装置、６は動画像発生装置５
から出力される映像信号を符号化して、符号化データで
ある映像データを出力するビデオエンコーダ、７はビデ
オエンコーダ６から出力される映像データの形式をＰＥ
Ｓ形式に変更するＰＥＳ化エンコーダ、８は字幕エンコ
ーダ４から出力される字幕データとＰＥＳ化エンコーダ
７から出力される映像データを多重化してＴＳ（Ｔｒａ
ｎｓｐｏｒｔ Ｓｔｒｅａｍ）化するＴＳ多重化装置で
ある。Reference numeral 5 is a moving image generator for sending a video signal under the instruction of the sending controller 3, and 6 is a moving image generator 5.
A video encoder that encodes a video signal output from the video encoder and outputs video data that is encoded data. Reference numeral 7 indicates the format of the video data output from the video encoder 6.
The PES encoder 8 for changing to the S format multiplexes the subtitle data output from the subtitle encoder 4 and the video data output from the PES encoder 7 to TS (Tra).
This is a TS multiplexing device for converting to an N.S. Stream.
【０００５】次に動作について説明する。まず、字幕発
生装置２は、送出コントローラ３の指示の下、番組サー
バ１から字幕データを受け取り、表番組に連動して字幕
データを送出するが、字幕データの送出タイミングは厳
格であり、送出コントローラ３は、番組開始トリガー以
降、字幕データ内のタイミング情報に基づいて、映像信
号のフレーム精度で字幕データの送出タイミングを制御
している。字幕エンコーダ４は、字幕発生装置２から字
幕データを受けると、その字幕データの形式をＰＥＳ形
式に変更し、ＰＥＳ形式の字幕データをＴＳ多重化装置
８に出力する。Next, the operation will be described. First, the subtitle generating device 2 receives subtitle data from the program server 1 under the instruction of the sending controller 3 and sends the subtitle data in synchronization with the table program, but the sending timing of the subtitle data is strict, and the sending controller After the program start trigger, 3 controls the transmission timing of the caption data with the frame accuracy of the video signal based on the timing information in the caption data. Upon receiving the subtitle data from the subtitle generating device 2, the subtitle encoder 4 changes the subtitle data format to the PES format, and outputs the PES format subtitle data to the TS multiplexing device 8.
【０００６】一方、動画像発生装置５は、送出コントロ
ーラ３の指示の下、映像信号を送出し、ビデオエンコー
ダ６は、動画像発生装置５から出力される映像信号を符
号化して、符号化データである映像データを出力する。
そして、ＰＥＳ化エンコーダ７は、ビデオエンコーダ６
から映像データを受けると、その映像データの形式をＰ
ＥＳ形式に変更し、ＰＥＳ形式の映像データをＴＳ多重
化装置８に出力する。On the other hand, the moving picture generator 5 sends out a video signal under the instruction of the sending controller 3, and the video encoder 6 encodes the video signal outputted from the moving picture generator 5 to obtain encoded data. Output the video data.
Then, the PES encoder 7 is the video encoder 6
When the video data is received from the
The video data is changed to the ES format and the PES format video data is output to the TS multiplexer 8.
【０００７】ＴＳ多重化装置８は、字幕エンコーダ４か
ら字幕データを受け、かつ、ＰＥＳ化エンコーダ７から
映像データを受けると、その字幕データと映像データを
多重化し、その多重化データをＴＳ化して出力する。When the TS multiplexer 8 receives the subtitle data from the subtitle encoder 4 and the video data from the PES encoder 7, the TS multiplexer 8 multiplexes the subtitle data and the video data and converts the multiplexed data into a TS. Output.
【０００８】[0008]
【発明が解決しようとする課題】従来の符号化装置は以
上のように構成されているので、送出コントローラ３が
字幕発生装置２と動画像発生装置５の送出タイミングを
制御して、字幕データと映像信号の同期を図っている。
しかし、字幕エンコーダ４やビデオエンコーダ６及びＰ
ＥＳ化エンコーダ７の動作特性を厳格に考慮して送出タ
イミングを制御しなければ、ＴＳ多重化装置８が字幕デ
ータと映像データを多重化する時点では、字幕の表示タ
イミング（字幕データと映像信号の同期）が崩れてしま
う課題があった。なお、字幕エンコーダ４等の動作特性
を厳格に考慮して送出タイミングを制御することは、通
常、極めて困難である。Since the conventional encoding device is configured as described above, the transmission controller 3 controls the transmission timings of the subtitle generating device 2 and the moving image generating device 5 to generate subtitle data. The video signals are synchronized.
However, subtitle encoder 4, video encoder 6 and P
Unless the transmission timing is controlled by strictly considering the operation characteristics of the ES encoder 7, the subtitle display timing (caption data and video signal There was a problem that the synchronization was broken. Note that it is usually extremely difficult to control the transmission timing by strictly considering the operation characteristics of the subtitle encoder 4 and the like.
【０００９】この発明は上記のような課題を解決するた
めになされたもので、精度よく字幕データと映像データ
の同期を図ることができる符号化装置及びメディアデー
タ同期方法を得ることを目的とする。The present invention has been made to solve the above problems, and an object of the present invention is to obtain an encoding device and a media data synchronization method capable of accurately synchronizing subtitle data and video data. .
【００１０】[0010]
【課題を解決するための手段】この発明に係る符号化装
置は、分離手段により分離された字幕データに含まれて
いるタイムスタンプ情報を、符号化手段により生成され
た映像データに含まれているタイムスタンプ情報に置き
換える置換手段を設け、その置換手段による置換後の字
幕データと符号化手段により生成された映像データを多
重化してＴＳ化するようにしたものである。In the encoding device according to the present invention, the time stamp information included in the subtitle data separated by the separating device is included in the video data generated by the encoding device. A substituting unit for substituting the time stamp information is provided, and the subtitle data after the substituting by the substituting unit and the video data generated by the encoding unit are multiplexed into a TS.
【００１１】この発明に係る符号化装置は、分離手段に
より分離された字幕データに含まれているタイムスタン
プ情報と符号化手段により生成された映像データに含ま
れているタイムスタンプ情報を比較して、表示タイミン
グが同じ字幕データと映像データの時間差を計算し、そ
の時間差に応じて字幕データに含まれている字幕管理デ
ータを変更する変更手段を設け、その変更手段による変
更後の字幕データと符号化手段により生成された映像デ
ータを多重化してＴＳ化するようにしたものである。The encoding device according to the present invention compares the time stamp information contained in the caption data separated by the separating means with the time stamp information contained in the video data generated by the encoding means. , Calculating a time difference between caption data and video data having the same display timing, and providing a changing means for changing the caption management data included in the caption data according to the time difference, and changing the caption data and the code after the changing means. The video data generated by the converting means is multiplexed into a TS.
【００１２】この発明に係る符号化装置は、字幕発生装
置から出力される字幕データの形式をＰＥＳ形式に変更
し、動画像発生装置から出力される映像信号の補助デー
タ領域にＰＥＳ形式の字幕データを重畳する重畳手段を
設けたものである。The encoding apparatus according to the present invention changes the format of subtitle data output from the subtitle generation apparatus to the PES format, and puts the subtitle data in the PES format in the auxiliary data area of the video signal output from the moving image generation apparatus. Is provided with a superimposing means for superimposing.
【００１３】この発明に係るメディアデータ同期方法
は、字幕データに含まれているタイムスタンプ情報を、
映像データに含まれているタイムスタンプ情報に置換
し、置換後の字幕データと映像データを多重化してＴＳ
化するようにしたものである。The media data synchronizing method according to the present invention is characterized in that the time stamp information included in the subtitle data is
The time stamp information included in the video data is replaced, and the subtitle data after the replacement and the video data are multiplexed to create a TS.
It was designed to be transformed.
【００１４】この発明に係るメディアデータ同期方法
は、字幕データに含まれているタイムスタンプ情報と、
映像データに含まれているタイムスタンプ情報を比較し
て、表示タイミングが同じ字幕データと映像データの時
間差を計算し、その時間差に応じて字幕データに含まれ
ている字幕管理データを変更し、変更後の字幕データと
映像データを多重化してＴＳ化するようにしたものであ
る。A media data synchronizing method according to the present invention includes time stamp information included in subtitle data,
The time stamp information included in the video data is compared to calculate the time difference between the caption data and the video data with the same display timing, and the caption management data included in the caption data is changed and changed according to the time difference. Subsequent caption data and video data are multiplexed to form a TS.
【００１５】この発明に係るメディアデータ同期方法
は、字幕発生装置から出力される字幕データの形式をＰ
ＥＳ形式に変更し、動画像発生装置から出力される映像
信号の補助データ領域にＰＥＳ形式の字幕データを重畳
するようにしたものである。In the media data synchronizing method according to the present invention, the format of the caption data output from the caption generator is set to P
It is changed to the ES format, and the PES format subtitle data is superimposed on the auxiliary data area of the video signal output from the moving image generator.
【００１６】[0016]
【発明の実施の形態】以下、この発明の実施の一形態を
説明する。
実施の形態１．図１はこの発明の実施の形態１による符
号化装置を示す構成図であり、図において、１１は送出
コントローラ１３の指示の下、字幕データを送出する字
幕発生装置、１２は送出コントローラ１３の指示の下、
映像信号を送出する動画像発生装置、１３は字幕データ
と映像信号の送出タイミングを制御して、その字幕デー
タと映像信号の同期を図る送出コントローラ、１４は字
幕発生装置１１から出力される字幕データの形式をＰＥ
Ｓ形式に変更する字幕エンコーダ、１５は動画像発生装
置１２から出力される映像信号の補助データ領域にＰＥ
Ｓ形式の字幕データ（以下、字幕ＰＥＳと称する）を重
畳する字幕重畳部である。なお、字幕エンコーダ１４及
び字幕重畳部１５から重畳手段が構成されている。BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described below. Embodiment 1. 1 is a block diagram showing an encoding apparatus according to Embodiment 1 of the present invention. In FIG. 1, 11 is a caption generation device for transmitting caption data under the instruction of a transmission controller 13, and 12 is an instruction for the transmission controller 13. Under
A moving image generation device that transmits a video signal, 13 is a transmission controller that controls the transmission timing of caption data and a video signal to synchronize the caption data and the video signal, and 14 is caption data that is output from the caption generation device 11. PE format
A subtitle encoder for changing to the S format, 15 is a PE in the auxiliary data area of the video signal output from the moving image generator 12.
It is a caption superimposing unit that superimposes S-type caption data (hereinafter referred to as caption PES). The subtitle encoder 14 and the subtitle superimposing unit 15 constitute superimposing means.
【００１７】１６は字幕重畳部１５から字幕ＰＥＳが重
畳されている映像信号を入力すると、その映像信号から
字幕ＰＥＳを分離する字幕ＰＥＳ分離部（分離手段）、
１７は字幕ＰＥＳ分離部１６により字幕ＰＥＳが分離さ
れた映像信号を符号化して、ＰＥＳ形式の映像データ
（以下、ビデオＰＥＳと称する）を生成するビデオエン
コーダ（符号化手段）、１８は字幕ＰＥＳ分離部１６に
より分離された字幕ＰＥＳに含まれているタイムスタン
プ情報ＰＴＳを、ビデオエンコーダ１７により生成され
たビデオＰＥＳに含まれているタイムスタンプ情報ＰＴ
Ｓに置き換えるＰＴＳ付替部（置換手段）、１９はＰＴ
Ｓ付替部１８による置換後の字幕ＰＥＳとビデオエンコ
ーダ１７により生成されたビデオＰＥＳを多重化してＴ
Ｓ化するＴＳ多重化部（ＴＳ化手段）である。図３はこ
の発明の実施の形態１によるメディアデータ同期方法を
示すフローチャートである。When a video signal on which the subtitle PES is superposed is input from the subtitle superimposing unit 16, a subtitle PES separating unit (separating means) for separating the subtitle PES from the video signal,
Reference numeral 17 is a video encoder (encoding means) that encodes the video signal in which the subtitle PES is separated by the subtitle PES separating unit 16 to generate video data in PES format (hereinafter referred to as video PES), and 18 is a subtitle PES separation. The time stamp information PTS included in the subtitle PES separated by the unit 16 is converted into the time stamp information PT included in the video PES generated by the video encoder 17.
PTS replacement unit (replacement means) to replace S, 19 is PT
The subtitle PES after the replacement by the S switching unit 18 and the video PES generated by the video encoder 17 are multiplexed and T
This is a TS multiplexing unit (TS conversion means) for converting to S. FIG. 3 is a flowchart showing a media data synchronization method according to the first embodiment of the present invention.
【００１８】次に動作について説明する。まず、字幕発
生装置１１は、送出コントローラ１３の指示の下、字幕
データを字幕エンコーダ１４に送出する（ステップＳＴ
１）。字幕エンコーダ１４は、字幕発生装置１１から字
幕データを受けると、その字幕データの形式をＰＥＳ形
式に変更して、字幕ＰＥＳを字幕重畳部１５に出力する
（ステップＳＴ２）。Next, the operation will be described. First, the subtitle generating device 11 sends subtitle data to the subtitle encoder 14 under the instruction of the sending controller 13 (step ST
1). Upon receiving the subtitle data from the subtitle generating device 11, the subtitle encoder 14 changes the subtitle data format to the PES format and outputs the subtitle PES to the subtitle superimposing unit 15 (step ST2).
【００１９】一方、動画像発生装置１２は、送出コント
ローラ１３の指示の下、映像信号を送出する（ステップ
ＳＴ３）。ここで、送出コントローラ１３は、字幕デー
タと映像信号の送出タイミングを制御して、その字幕デ
ータと映像信号の同期を図るが、後段のＰＴＳ付替部１
８によっても同期が図られるので、後段のビデオエンコ
ーダ１７等の動作特性を考慮して同期を図る必要性はな
い。On the other hand, the moving image generator 12 sends out a video signal under the instruction of the sending controller 13 (step ST3). Here, the transmission controller 13 controls the transmission timing of the caption data and the video signal to synchronize the caption data and the video signal, but the PTS replacement unit 1 in the subsequent stage
Since synchronization is also achieved by means of 8, there is no need to consider the operating characteristics of the video encoder 17 and the like in the subsequent stage to achieve synchronization.
【００２０】字幕重畳部１５は、字幕エンコーダ１４か
ら字幕ＰＥＳを受け、かつ、動画像発生装置１２から映
像信号を受けると、その映像信号の補助データ領域に字
幕ＰＥＳを重畳する（ステップＳＴ４）。字幕ＰＥＳ分
離部１６は、字幕重畳部１５から字幕ＰＥＳが重畳され
ている映像信号を入力すると、その映像信号から字幕Ｐ
ＥＳを分離する（ステップＳＴ５）。そして、その字幕
ＰＥＳをＰＴＳ付替部１８に出力し、字幕ＰＥＳ分離後
の映像信号をビデオエンコーダ１７に出力する。ビデオ
エンコーダ１７は、字幕ＰＥＳ分離部１６から字幕ＰＥ
Ｓ分離後の映像信号を受けると、その映像信号を符号化
してビデオＰＥＳを生成する（ステップＳＴ６）。Upon receiving the subtitle PES from the subtitle encoder 14 and the video signal from the moving image generator 12, the subtitle superposing unit 15 superimposes the subtitle PES on the auxiliary data area of the video signal (step ST4). When the subtitle PES separating unit 16 inputs the video signal on which the subtitle PES is superimposed from the subtitle superimposing unit 15, the subtitle PES is separated from the video signal.
The ES is separated (step ST5). Then, the subtitle PES is output to the PTS replacement unit 18, and the video signal after the subtitle PES separation is output to the video encoder 17. The video encoder 17 receives the subtitle PE from the subtitle PES separation unit 16.
When the video signal after S separation is received, the video signal is encoded to generate a video PES (step ST6).
【００２１】ＰＴＳ付替部１８は、字幕ＰＥＳ分離部１
６から字幕ＰＥＳを受けると、その字幕ＰＥＳに含まれ
ているタイムスタンプ情報ＰＴＳ（字幕データの表示時
間を示す情報）を、ビデオエンコーダ１７により生成さ
れたビデオＰＥＳに含まれているタイムスタンプ情報Ｐ
ＴＳ（ビデオデータの表示時間を示す情報）に置き換え
る処理を実行する（ステップＳＴ７）。具体的には、図
２に示すように、ビデオＰＥＳが「Ｔ１」の時間間隔で
生成され、字幕ＰＥＳが「Ｔ２」の時間間隔で生成され
る場合において、ビデオＰＥＳと字幕ＰＥＳの位相が
「Ｔ３」の時間間隔だけずれている場合、「Ｔ３」の時
間だけ位相を補正する必要がある。The PTS replacement section 18 is a subtitle PES separation section 1
6 receives the subtitle PES, the time stamp information PTS (information indicating the display time of the subtitle data) included in the subtitle PES is added to the time stamp information P included in the video PES generated by the video encoder 17.
A process of replacing with TS (information indicating the display time of video data) is executed (step ST7). Specifically, as shown in FIG. 2, when the video PES is generated at the time interval of “T1” and the subtitle PES is generated at the time interval of “T2”, the phase of the video PES and the subtitle PES is “ When the time interval is "T3", it is necessary to correct the phase for the time "T3".
【００２２】そこで、ＰＴＳ付替部１８は、ＰＴＳ１が
付加されているビデオＰＥＳとＰＴＳ１１が付加されて
いる字幕ＰＥＳを同時刻に表示するため、ＰＴＳ１１が
付加されている字幕ＰＥＳのタイムスタンプ情報ＰＴＳ
をＰＴＳ１に付け替える処理を実行する。以降、同様に
して、ＰＴＳ１２が付加されている字幕ＰＥＳのタイム
スタンプ情報ＰＴＳをＰＴＳ３に付け替え、ＰＴＳ１３
が付加されている字幕ＰＥＳのタイムスタンプ情報ＰＴ
ＳをＰＴＳ５に付け替える処理を実行する。なお、ＰＴ
Ｓ付替部１８は、字幕ＰＥＳのタイムスタンプ情報ＰＴ
Ｓを付け替える際、「Ｔ２／Ｔ１」個間隔のビデオＰＥ
Ｓのタイムスタンプ情報ＰＴＳを選択する。Therefore, the PTS changing section 18 displays the video PES with PTS1 added and the subtitle PES with PTS11 added at the same time, so the time stamp information PTS of the subtitle PES with PTS11 added.
To PTS1 is executed. After that, similarly, the time stamp information PTS of the subtitle PES to which the PTS12 is added is replaced with PTS3, and the PTS13 is added.
Time stamp information PT of the subtitle PES to which is added
The process of replacing S with PTS5 is executed. In addition, PT
The S changing unit 18 determines the time stamp information PT of the caption PES.
When replacing S, video PE with "T2 / T1" intervals
The time stamp information PTS of S is selected.
【００２３】ＴＳ多重化部１９は、ＰＴＳ付替部１８に
よる置換処理が完了すると、置換後の字幕ＰＥＳとビデ
オエンコーダ１７により生成されたビデオＰＥＳを多重
化してＴＳ化する（ステップＳＴ８）。When the PTS changing unit 18 completes the replacement process, the TS multiplexing unit 19 multiplexes the replaced subtitle PES and the video PES generated by the video encoder 17 into a TS (step ST8).
【００２４】以上で明らかなように、この実施の形態１
によれば、字幕ＰＥＳ分離部１６により分離された字幕
ＰＥＳに含まれているタイムスタンプ情報ＰＴＳを、ビ
デオエンコーダ１７により生成されたビデオＰＥＳに含
まれているタイムスタンプ情報ＰＴＳに置き換えるＰＴ
Ｓ付替部１８を設け、ＰＴＳ付替部１８による置換後の
字幕データとビデオエンコーダ１７により生成されたビ
デオＰＥＳを多重化してＴＳ化するように構成したの
で、送出コントローラ１３が字幕エンコーダ１４やビデ
オエンコーダ１７等の動作特性を考慮して送出タイミン
グを制御することなく、字幕ＰＥＳとビデオＰＥＳの同
期を図ることができる効果を奏する。なお、この実施の
形態１では、字幕エンコーダ１４や字幕重畳部１５等が
符号化装置の外部に設けられているものについて示した
が、図１の全体が符号化装置であるように構成してもよ
い。As is apparent from the above, the first embodiment
According to the PT, the time stamp information PTS included in the subtitle PES separated by the subtitle PES separation unit 16 is replaced with the time stamp information PTS included in the video PES generated by the video encoder 17.
Since the S replacement unit 18 is provided and the subtitle data after replacement by the PTS replacement unit 18 and the video PES generated by the video encoder 17 are multiplexed to form a TS, the transmission controller 13 causes the subtitle encoder 14 or There is an effect that the subtitle PES and the video PES can be synchronized without controlling the transmission timing in consideration of the operation characteristics of the video encoder 17 and the like. In addition, in the first embodiment, the caption encoder 14, the caption superimposing unit 15 and the like are provided outside the encoding device, but the entire configuration of FIG. 1 is configured as the encoding device. Good.
【００２５】実施の形態２．図４はこの発明の実施の形
態２による符号化装置を示す構成図であり、図におい
て、図１と同一符号は同一または相当部分を示すので説
明を省略する。２０は字幕ＰＥＳ分離部１６により分離
された字幕ＰＥＳに含まれているタイムスタンプ情報Ｐ
ＴＳと、ビデオエンコーダ１７により生成されたビデオ
ＰＥＳに含まれているタイムスタンプ情報ＰＴＳとを比
較して、表示タイミングが同じ字幕ＰＥＳとビデオＰＥ
Ｓの時間差を計算し、その時間差に応じて字幕ＰＥＳに
含まれている字幕管理データを変更する字幕管理データ
変更部（変更手段）である。Embodiment 2. FIG. 4 is a configuration diagram showing an encoding apparatus according to Embodiment 2 of the present invention. In the figure, the same reference numerals as those in FIG. 1 indicate the same or corresponding portions, and therefore description thereof will be omitted. 20 is the time stamp information P included in the subtitle PES separated by the subtitle PES separating unit 16.
By comparing the TS and the time stamp information PTS included in the video PES generated by the video encoder 17, the subtitle PES and the video PE having the same display timing are displayed.
A subtitle management data changing unit (changing means) that calculates the time difference of S and changes the subtitle management data included in the subtitle PES according to the time difference.
【００２６】上記実施の形態１では、字幕ＰＥＳに含ま
れているタイムスタンプ情報ＰＴＳを、ビデオエンコー
ダ１７により生成されたビデオＰＥＳに含まれているタ
イムスタンプ情報ＰＴＳに置き換えるものについて示し
たが、字幕ＰＥＳ分離部１６により分離された字幕ＰＥ
Ｓに含まれているタイムスタンプ情報ＰＴＳと、ビデオ
エンコーダ１７により生成されたビデオＰＥＳに含まれ
ているタイムスタンプ情報ＰＴＳとを比較して、表示タ
イミングが同じ字幕ＰＥＳとビデオＰＥＳの時間差を計
算し、その時間差に応じて字幕ＰＥＳに含まれている字
幕管理データを変更するようにしてもよい。In the first embodiment, the time stamp information PTS included in the subtitle PES is replaced with the time stamp information PTS included in the video PES generated by the video encoder 17, but the subtitle is described. Subtitle PE separated by the PES separation unit 16
The time stamp information PTS included in S and the time stamp information PTS included in the video PES generated by the video encoder 17 are compared to calculate the time difference between the subtitle PES and the video PES having the same display timing. The subtitle management data included in the subtitle PES may be changed according to the time difference.
【００２７】具体的には、字幕管理データ変更部２０
は、字幕ＰＥＳ分離部１６から字幕ＰＥＳを受け、か
つ、ビデオエンコーダ１７からビデオＰＥＳを受ける
と、その字幕ＰＥＳに含まれているタイムスタンプ情報
ＰＴＳと、そのビデオＰＥＳに含まれているタイムスタ
ンプ情報ＰＴＳとを比較して、表示タイミングが同じ字
幕ＰＥＳとビデオＰＥＳの時間差を計算する。図２の例
では、ＰＴＳ１とＰＴＳ１１を比較して時間差Ｔ３を計
算する。Specifically, the subtitle management data changing unit 20
Receives the subtitle PES from the subtitle PES separation unit 16 and the video PES from the video encoder 17, the time stamp information PTS included in the subtitle PES and the time stamp information included in the video PES. The time difference between the subtitle PES and the video PES having the same display timing is calculated by comparing with PTS. In the example of FIG. 2, the time difference T3 is calculated by comparing PTS1 and PTS11.
【００２８】字幕管理データ変更部２０は、表示タイミ
ングが同じ字幕ＰＥＳとビデオＰＥＳの時間差Ｔ３を計
算すると、その時間差Ｔ３をオフセット時間として、字
幕ＰＥＳのペイロード部にある字幕管理データを更新す
る。即ち、ＡＲＩＢ ＳＴＤ−Ｂ２４で記載される字幕
管理データのデータ構造中に定義されているＴＭＤ（時
刻制御モード）を字幕ＰＥＳのペイロード部から抽出
し、そのＴＭＤをオフセットタイムに変更する。そし
て、ＯＴＭ（オフセット時刻）である時間差Ｔ３をペイ
ロード部のビット列に挿入する。なお、符号化装置の後
段の装置は、字幕管理データを参照して、字幕ＰＥＳと
ビデオＰＥＳの表示時間を制御する。When the caption management data changing unit 20 calculates the time difference T3 between the caption PES and the video PES having the same display timing, the caption management data in the payload part of the caption PES is updated using the time difference T3 as an offset time. That is, the TMD (time control mode) defined in the data structure of the caption management data described in ARIB STD-B24 is extracted from the payload part of the caption PES, and the TMD is changed to the offset time. Then, the time difference T3 which is OTM (offset time) is inserted into the bit string of the payload part. The device at the latter stage of the encoding device refers to the caption management data to control the display time of the caption PES and the video PES.
【００２９】[0029]
【発明の効果】以上のように、この発明によれば、分離
手段により分離された字幕データに含まれているタイム
スタンプ情報を、符号化手段により生成された映像デー
タに含まれているタイムスタンプ情報に置き換える置換
手段を設け、その置換手段による置換後の字幕データと
符号化手段により生成された映像データを多重化してＴ
Ｓ化するように構成したので、精度よく字幕データと映
像データの同期を図ることができる効果がある。As described above, according to the present invention, the time stamp information included in the caption data separated by the separating means is added to the time stamp information included in the video data generated by the encoding means. A substituting unit for substituting the information is provided, and the subtitle data after the substituting by the substituting unit and the video data generated by the encoding unit are multiplexed and T
Since it is configured to be S-type, there is an effect that the subtitle data and the video data can be accurately synchronized.
【００３０】この発明によれば、分離手段により分離さ
れた字幕データに含まれているタイムスタンプ情報と符
号化手段により生成された映像データに含まれているタ
イムスタンプ情報を比較して、表示タイミングが同じ字
幕データと映像データの時間差を計算し、その時間差に
応じて字幕データに含まれている字幕管理データを変更
する変更手段を設け、その変更手段による変更後の字幕
データと符号化手段により生成された映像データを多重
化してＴＳ化するように構成したので、精度よく字幕デ
ータと映像データの同期を図ることができる効果があ
る。According to the present invention, the time stamp information included in the caption data separated by the separating means and the time stamp information included in the video data generated by the encoding means are compared to display timing. Calculates the time difference between the same subtitle data and video data, and provides change means for changing the subtitle management data included in the subtitle data according to the time difference, and by the change means changes the subtitle data and the encoding means. Since the generated video data is configured to be multiplexed into a TS, there is an effect that the caption data and the video data can be accurately synchronized.
【００３１】この発明によれば、字幕発生装置から出力
される字幕データの形式をＰＥＳ形式に変更し、動画像
発生装置から出力される映像信号の補助データ領域にＰ
ＥＳ形式の字幕データを重畳する重畳手段を設けるよう
に構成したので、データインタフェースの簡略化を図る
ことができる効果がある。According to the present invention, the format of the subtitle data output from the subtitle generating apparatus is changed to the PES format, and P is added to the auxiliary data area of the video signal output from the moving image generating apparatus.
Since the superimposing means for superimposing the ES subtitle data is provided, there is an effect that the data interface can be simplified.
【００３２】この発明によれば、字幕データに含まれて
いるタイムスタンプ情報を、映像データに含まれている
タイムスタンプ情報に置換し、置換後の字幕データと映
像データを多重化してＴＳ化するように構成したので、
精度よく字幕データと映像データの同期を図ることがで
きる効果がある。According to the present invention, the time stamp information included in the subtitle data is replaced with the time stamp information included in the video data, and the subtitle data after the replacement and the video data are multiplexed into a TS. Since it was configured as
There is an effect that subtitle data and video data can be accurately synchronized.
【００３３】この発明によれば、字幕データに含まれて
いるタイムスタンプ情報と、映像データに含まれている
タイムスタンプ情報を比較して、表示タイミングが同じ
字幕データと映像データの時間差を計算し、その時間差
に応じて字幕データに含まれている字幕管理データを変
更し、変更後の字幕データと映像データを多重化してＴ
Ｓ化するように構成したので、精度よく字幕データと映
像データの同期を図ることができる効果がある。According to the present invention, the time stamp information included in the caption data is compared with the time stamp information included in the video data to calculate the time difference between the caption data and the video data having the same display timing. , The caption management data included in the caption data is changed according to the time difference, and the changed caption data and the video data are multiplexed and T
Since it is configured to be S-type, there is an effect that the subtitle data and the video data can be accurately synchronized.
【００３４】この発明によれば、字幕発生装置から出力
される字幕データの形式をＰＥＳ形式に変更し、動画像
発生装置から出力される映像信号の補助データ領域にＰ
ＥＳ形式の字幕データを重畳するように構成したので、
データインタフェースの簡略化を図ることができる効果
がある。According to the present invention, the format of the caption data output from the caption generator is changed to the PES format, and P is added to the auxiliary data area of the video signal output from the moving image generator.
Since it is configured to superimpose ES format subtitle data,
This has the effect of simplifying the data interface.
【図１】 この発明の実施の形態１による符号化装置を
示す構成図である。FIG. 1 is a configuration diagram showing an encoding device according to a first embodiment of the present invention.
【図２】 ＰＴＳの付替方法を示す説明図である。FIG. 2 is an explanatory diagram showing a PTS replacement method.
【図３】 この発明の実施の形態１によるメディアデー
タ同期方法を示すフローチャートである。FIG. 3 is a flowchart showing a media data synchronization method according to the first embodiment of the present invention.
【図４】 この発明の実施の形態２による符号化装置を
示す構成図である。FIG. 4 is a configuration diagram showing an encoding device according to a second embodiment of the present invention.
【図５】 従来の符号化装置を示す構成図である。FIG. 5 is a block diagram showing a conventional encoding device.
１１ 字幕発生装置、１２ 動画像発生装置、１３ 送
出コントローラ、１４字幕エンコーダ（重畳手段）、１
５ 字幕重畳部（重畳手段）、１６ 字幕ＰＥＳ分離部
（分離手段）、１７ ビデオエンコーダ（符号化手
段）、１８ ＰＴＳ付替部（置換手段）、１９ ＴＳ多
重化部（ＴＳ化手段）、２０ 字幕管理データ変更部
（変更手段）。11 subtitle generator, 12 moving image generator, 13 transmission controller, 14 subtitle encoder (superimposing means), 1
5 subtitle superimposing unit (superimposing unit), 16 subtitle PES separating unit (separating unit), 17 video encoder (encoding unit), 18 PTS replacement unit (replacement unit), 19 TS multiplexing unit (TS conversion unit), 20 Subtitle management data change unit (change means).
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C053 FA20 GB06 GB10 GB12 GB38 HA01 JA22 5C063 AA20 AB03 AB07 AC01 AC10 DA03 DB10 5K028 EE05 EE07 KK01 KK03 KK12 MM05 MM08 SS05 SS15 ─────────────────────────────────────────────────── ─── Continued front page F-term (reference) 5C053 FA20 GB06 GB10 GB12 GB38 HA01 JA22 5C063 AA20 AB03 AB07 AC01 AC10 DA03 DB10 5K028 EE05 EE07 KK01 KK03 KK12 MM05 MM08 SS05 SS15
Claims (6)
る映像信号を入力すると、その映像信号から字幕データ
を分離する分離手段と、上記分離手段により字幕データ
が分離された映像信号を符号化して、ＰＥＳ形式の映像
データを生成する符号化手段と、上記分離手段により分
離された字幕データに含まれているタイムスタンプ情報
を、上記符号化手段により生成された映像データに含ま
れているタイムスタンプ情報に置き換える置換手段と、
上記置換手段による置換後の字幕データと上記符号化手
段により生成された映像データを多重化してＴＳ化する
ＴＳ化手段とを備えた符号化装置。1. When a video signal on which subtitle data of PES format is superimposed is input, a separating means for separating the subtitle data from the video signal, and a video signal in which the subtitle data is separated by the separating means are encoded. , Time stamp information included in the video data generated by the encoding unit, and time stamp information included in the caption data separated by the separating unit. Replacement means to replace with information,
An encoding device comprising: TS conversion means for multiplexing the subtitle data after replacement by the replacement means and the video data generated by the encoding means into a TS.
る映像信号を入力すると、その映像信号から字幕データ
を分離する分離手段と、上記分離手段により字幕データ
が分離された映像信号を符号化して、ＰＥＳ形式の映像
データを生成する符号化手段と、上記分離手段により分
離された字幕データに含まれているタイムスタンプ情報
と上記符号化手段により生成された映像データに含まれ
ているタイムスタンプ情報を比較して、表示タイミング
が同じ字幕データと映像データの時間差を計算し、その
時間差に応じて字幕データに含まれている字幕管理デー
タを変更する変更手段と、上記変更手段による変更後の
字幕データと上記符号化手段により生成された映像デー
タを多重化してＴＳ化するＴＳ化手段とを備えた符号化
装置。2. When a video signal on which PES format subtitle data is superimposed is input, a separating means for separating the subtitle data from the video signal, and a video signal in which the subtitle data is separated by the separating means are encoded. , Encoding means for generating video data in PES format, time stamp information included in the caption data separated by the separating means, and time stamp information included in the video data generated by the encoding means And a change means for calculating the time difference between the subtitle data and the video data having the same display timing, and changing the subtitle management data included in the subtitle data according to the time difference, and the subtitle after the change by the changing means. An encoding device comprising: a TS conversion unit that multiplexes data and video data generated by the encoding unit into a TS.
の形式をＰＥＳ形式に変更し、動画像発生装置から出力
される映像信号の補助データ領域にＰＥＳ形式の字幕デ
ータを重畳する重畳手段を設けたことを特徴とする請求
項１または請求項２記載の符号化装置。3. A superimposing means for changing the format of the subtitle data output from the subtitle generating apparatus to the PES format and superimposing the PES format subtitle data on the auxiliary data area of the video signal output from the moving image generating apparatus. The encoding device according to claim 1 or 2, characterized in that.
る映像信号を入力すると、その映像信号から字幕データ
を分離するとともに、その字幕データを分離した映像信
号を符号化して、ＰＥＳ形式の映像データを生成する一
方、その字幕データに含まれているタイムスタンプ情報
を、その映像データに含まれているタイムスタンプ情報
に置換し、置換後の字幕データとその映像データを多重
化してＴＳ化するメディアデータ同期方法。4. When the video signal on which the PES format subtitle data is superimposed is input, the subtitle data is separated from the video signal, and the video signal obtained by separating the subtitle data is encoded to obtain the PES format video data. While replacing the time stamp information included in the subtitle data with the time stamp information included in the video data, the subtitle data after replacement and the video data are multiplexed into a TS. Data synchronization method.
る映像信号を入力すると、その映像信号から字幕データ
を分離するとともに、その字幕データを分離した映像信
号を符号化して、ＰＥＳ形式の映像データを生成する一
方、その字幕データに含まれているタイムスタンプ情報
と、その映像データに含まれているタイムスタンプ情報
を比較して、表示タイミングが同じ字幕データと映像デ
ータの時間差を計算し、その時間差に応じて字幕データ
に含まれている字幕管理データを変更し、変更後の字幕
データとその映像データを多重化してＴＳ化するメディ
アデータ同期方法。5. When the video signal on which the PES format subtitle data is superimposed is input, the subtitle data is separated from the video signal, and the video signal obtained by separating the subtitle data is encoded to obtain the PES format video data. On the other hand, while comparing the time stamp information included in the caption data with the time stamp information included in the video data, the time difference between the caption data and the video data with the same display timing is calculated, and A media data synchronization method in which subtitle management data included in subtitle data is changed according to a time difference, and the changed subtitle data and its video data are multiplexed into a TS.
の形式をＰＥＳ形式に変更し、動画像発生装置から出力
される映像信号の補助データ領域にＰＥＳ形式の字幕デ
ータを重畳することを特徴とする請求項４または請求項
５記載のメディアデータ同期方法。6. The caption data format output from the caption generation device is changed to the PES format, and the PES format caption data is superimposed on the auxiliary data area of the video signal output from the video image generation device. 6. The media data synchronization method according to claim 4 or 5.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002086474A JP2003284010A (en) | 2002-03-26 | 2002-03-26 | Encoding apparatus and media data synchronizing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002086474A JP2003284010A (en) | 2002-03-26 | 2002-03-26 | Encoding apparatus and media data synchronizing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003284010A true JP2003284010A (en) | 2003-10-03 |
Family
ID=29233062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002086474A Pending JP2003284010A (en) | 2002-03-26 | 2002-03-26 | Encoding apparatus and media data synchronizing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003284010A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004077825A1 (en) * | 2003-02-27 | 2004-09-10 | Matsushita Electric Industrial Co. Ltd. | Data processing device and method |
| JP2007312338A (en) * | 2006-05-22 | 2007-11-29 | Canon Inc | Digital broadcasting receiving apparatus and its control method |
| JP2008085663A (en) * | 2006-09-27 | 2008-04-10 | Toshiba Corp | Closed caption sending-out apparatus and closed caption sending-out method |
| JP2010034800A (en) * | 2008-07-28 | 2010-02-12 | Asutemu:Kk | Sign-language interpretation system, broadcasting apparatus, sign-language interpretation apparatus, broadcasting receiving apparatus, broadcasting method, broadcasting receiving method, and program |
| JP2010081141A (en) * | 2008-09-25 | 2010-04-08 | Nippon Television Network Corp | Closed caption system and closed caption method |
| WO2013058455A1 (en) * | 2011-10-18 | 2013-04-25 | 한국전자통신연구원 | Apparatus and method for adding synchronization information to an auxiliary data space in a video signal and synchronizing a video |
| JP2015216621A (en) * | 2014-12-05 | 2015-12-03 | ソニー株式会社 | Receiving device, and data processing method |
| JP2015216622A (en) * | 2014-12-05 | 2015-12-03 | ソニー株式会社 | Receiving device, and data processing method |
| JP2015216623A (en) * | 2014-12-05 | 2015-12-03 | ソニー株式会社 | Receiving device, and data processing method |
| US9723259B2 (en) | 2011-10-18 | 2017-08-01 | Electronics And Telecommunications Research Institute | Apparatus and method for adding synchronization information to an auxiliary data space in a video signal and synchronizing a video |
| US9807448B2 (en) | 2014-05-12 | 2017-10-31 | Sony Corporation | Reception device, transmission device, and data processing method |
-
2002
- 2002-03-26 JP JP2002086474A patent/JP2003284010A/en active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8290353B2 (en) | 2003-02-27 | 2012-10-16 | Panasonic Corporation | Data processing device and method |
| JPWO2004077825A1 (en) * | 2003-02-27 | 2006-06-08 | 松下電器産業株式会社 | Data processing apparatus and method |
| KR100711328B1 (en) * | 2003-02-27 | 2007-04-27 | 마츠시타 덴끼 산교 가부시키가이샤 | Data processing device and method |
| WO2004077825A1 (en) * | 2003-02-27 | 2004-09-10 | Matsushita Electric Industrial Co. Ltd. | Data processing device and method |
| JP2007312338A (en) * | 2006-05-22 | 2007-11-29 | Canon Inc | Digital broadcasting receiving apparatus and its control method |
| JP4604000B2 (en) * | 2006-05-22 | 2010-12-22 | キヤノン株式会社 | Digital broadcast receiving apparatus and control method of digital broadcast receiving apparatus |
| JP2008085663A (en) * | 2006-09-27 | 2008-04-10 | Toshiba Corp | Closed caption sending-out apparatus and closed caption sending-out method |
| JP2010034800A (en) * | 2008-07-28 | 2010-02-12 | Asutemu:Kk | Sign-language interpretation system, broadcasting apparatus, sign-language interpretation apparatus, broadcasting receiving apparatus, broadcasting method, broadcasting receiving method, and program |
| JP2010081141A (en) * | 2008-09-25 | 2010-04-08 | Nippon Television Network Corp | Closed caption system and closed caption method |
| WO2013058455A1 (en) * | 2011-10-18 | 2013-04-25 | 한국전자통신연구원 | Apparatus and method for adding synchronization information to an auxiliary data space in a video signal and synchronizing a video |
| US9723259B2 (en) | 2011-10-18 | 2017-08-01 | Electronics And Telecommunications Research Institute | Apparatus and method for adding synchronization information to an auxiliary data space in a video signal and synchronizing a video |
| US9807448B2 (en) | 2014-05-12 | 2017-10-31 | Sony Corporation | Reception device, transmission device, and data processing method |
| JP2015216621A (en) * | 2014-12-05 | 2015-12-03 | ソニー株式会社 | Receiving device, and data processing method |
| JP2015216622A (en) * | 2014-12-05 | 2015-12-03 | ソニー株式会社 | Receiving device, and data processing method |
| JP2015216623A (en) * | 2014-12-05 | 2015-12-03 | ソニー株式会社 | Receiving device, and data processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7120168B2 (en) | System and method for effectively performing an audio/video synchronization procedure | |
| JP3698376B2 (en) | Synchronous playback device | |
| CN101419827B (en) | Method for synchronzing audio and video data in avi file | |
| JPH11205696A (en) | Video transmitting device and video transmitting method | |
| JP2003284010A (en) | Encoding apparatus and media data synchronizing method | |
| KR101188950B1 (en) | Video signal transmitting apparatus and subtitle replacing method | |
| JP3605110B2 (en) | Broadcasting system, broadcasting device, synchronous information replacing device, synchronous information replacing method, program, and recording medium recording the program | |
| US9866898B2 (en) | Elementary stream multiplexing method, multiplexing system, encoding or decoding method and apparatus | |
| JP6813933B2 (en) | Video / audio transmission system, transmission method, transmitter and receiver | |
| JP2002369163A (en) | Method of controlling multistream output timing and control apparatus therefor | |
| JP2007195208A (en) | Information processing apparatus and method, recording medium, and program | |
| JP2005094390A (en) | System and method for switching digital broadcast signal | |
| KR100240331B1 (en) | Apparatus for synchronizing a video and an audio signals for a decoder system | |
| JP2010141498A (en) | Video receiver and video transmitter | |
| JP3944845B2 (en) | Information processing apparatus and method, recording medium, and program | |
| KR20030082117A (en) | Method for audio/video signal lip-sync controlling in digital broadcasting receiver | |
| JP2006215125A (en) | Speech compression coding processor and method for starting synchronous compression coding used therefor | |
| JP2007201797A (en) | Transmission system and video output method | |
| JPH1175155A (en) | Image and audio reproducing device | |
| JP2002290969A (en) | Synchronizing control device | |
| JP2001257654A (en) | Synchronous switching transmitter for digital broadcast signal | |
| JP2001359059A (en) | Program multiplex system | |
| JP5940007B2 (en) | Digital broadcast multiplexing apparatus and digital broadcast multiplexing system | |
| JP2001119702A (en) | Video signal receiver | |
| JP2001078195A (en) | System encoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061226 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070417 |