JP2007324872A - Delay controller and delay control program for video signal with closed caption - Google Patents

Delay controller and delay control program for video signal with closed caption Download PDF

Info

Publication number
JP2007324872A
JP2007324872A JP2006152166A JP2006152166A JP2007324872A JP 2007324872 A JP2007324872 A JP 2007324872A JP 2006152166 A JP2006152166 A JP 2006152166A JP 2006152166 A JP2006152166 A JP 2006152166A JP 2007324872 A JP2007324872 A JP 2007324872A
Authority
JP
Japan
Prior art keywords
subtitle
delay time
caption
signal
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006152166A
Other languages
Japanese (ja)
Inventor
Takashi Tanaka
隆 田中
Hideo Watanabe
秀夫 渡辺
Shizuo Murakami
静男 村上
Koichi Ogawara
耕一 大河原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LSI Japan Co Ltd
TV Asahi Data Vision Corp
Original Assignee
LSI Japan Co Ltd
TV Asahi Data Vision Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LSI Japan Co Ltd, TV Asahi Data Vision Corp filed Critical LSI Japan Co Ltd
Priority to JP2006152166A priority Critical patent/JP2007324872A/en
Publication of JP2007324872A publication Critical patent/JP2007324872A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To reproduce video and closed captions in real time closed caption broadcast by completely synchronizing the video and the closed captions on a time axis. <P>SOLUTION: A video signal with closed captions included in broadcast waves of a closed caption broadcast program is received by a receiving part and a closed caption signal is extracted. The video signal is delayed by a prescribed fixed delay time. The video signal with the closed captions includes closed captions character information of a closed caption page unit and input delay time information of each closed caption page required from the input start of a closed caption character till the transmission of the closed caption data. A closed caption delaying part calculates a variable delay time by subtracting an input delay time from the fixed delay time for each closed caption page on the basis of the input delay time information and delays a closed caption signal by the variable delay time corresponding to the closed caption signal. A closed caption synchronized video signal obtained by synchronizing the video and the closed captions is generated by synthesizing a delayed video signal and the delayed closed caption signal. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、字幕放送などの字幕付き映像信号に基づいて、映像とその映像に対応する字幕とを時間的に同期させて再生する技術に関する。   The present invention relates to a technique for reproducing video and subtitles corresponding to the video in time synchronization based on a video signal with subtitles such as subtitle broadcasting.

ニュースなどの生のテレビ番組では、聴覚障害者向けサービスとして字幕を放送することが増えている。この「生」の字幕放送(「生字幕放送」、「リアルタイム字幕放送」などと呼ばれる。)では、時として映像に対して字幕が数秒〜数十秒遅れて放送され、視聴者が違和感を覚えることがある。   In live TV programs such as news, subtitles are increasingly being broadcast as a service for the hearing impaired. In this “live” subtitle broadcast (called “live subtitle broadcast”, “real-time subtitle broadcast”, etc.), the subtitles are sometimes broadcast with a delay of several seconds to several tens of seconds, and viewers feel uncomfortable. Sometimes.

アナログ放送では、映像信号の垂直帰線消去期間(VBI:Vertical Blanking Interval)に字幕データを重畳している。通常の字幕付き録画番組では、予め字幕を制作しておき、映像と完全に合ったタイミングで字幕データをページ単位で送出することができる。一方、生字幕番組では、字幕の重畳が映像に対して遅れたタイミングで行われる。これは、放送局の字幕入力者が、放送する映像を見ながら字幕文をキー入力し、漢字変換、誤変換訂正などを行った後に初めて字幕を重畳するため、時間的に遅れが生じるからである(以下、この遅れを「字幕遅延」と呼ぶ。)。よって、字幕遅延が大きいと、視聴者は映像が表示されてから数秒後に字幕を見ることになり、違和感を覚えることになる。   In analog broadcasting, caption data is superimposed on a vertical blanking interval (VBI) of a video signal. In a normal recorded program with captions, captions can be produced in advance, and caption data can be transmitted in units of pages at a timing that perfectly matches the video. On the other hand, in a live caption program, caption superimposition is performed at a timing delayed from the video. This is because the subtitle input person at the broadcasting station inputs the subtitle text while watching the video to be broadcast, and superimposes the subtitle for the first time after performing kanji conversion, incorrect conversion correction, etc., so there is a delay in time. Yes (hereinafter, this delay is referred to as “caption delay”). Therefore, if the caption delay is large, the viewer will see the caption several seconds after the video is displayed, and will feel uncomfortable.

このような字幕遅延を補償する手法が例えば特許文献1及び2に提案されている。   For example, Patent Documents 1 and 2 propose a method for compensating for such caption delay.

特開2004−215033号公報JP 2004-215033 A 特開2004−207821号公報Japanese Patent Application Laid-Open No. 2004-207821

本発明は以上の点に鑑みてなされたものであり、生字幕放送において映像と字幕を時間軸上で完全に同期させて再生することを可能とする字幕付き映像信号の遅延制御装置及びプログラムを提供することを目的とする。   The present invention has been made in view of the above points, and provides a caption control device and program for a video signal with subtitles capable of reproducing video and subtitles in a live subtitle broadcast in a completely synchronized manner on a time axis. The purpose is to provide.

本発明の1つの観点では、字幕付き映像信号の遅延制御装置は、字幕付き映像信号を受信する受信部と、前記字幕付き映像信号から、字幕信号を抽出する抽出部と、前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部と、前記字幕信号を、当該字幕信号に応じた可変遅延時間だけ遅延させ、遅延字幕信号を生成する字幕遅延部と、前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部と、を備え、前記字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報と、を含み、前記字幕遅延部は、字幕ページごとに前記固定遅延時間から前記入力遅延時間を減算することにより、前記可変遅延時間を算出する。   In one aspect of the present invention, a delay control device for a captioned video signal includes: a receiving unit that receives a captioned video signal; an extraction unit that extracts a caption signal from the captioned video signal; A video delay unit that generates a delayed video signal, a subtitle delay unit that generates a delayed subtitle signal by delaying the subtitle signal by a variable delay time according to the subtitle signal, and the delay A synthesizing unit that synthesizes the video signal and the delayed subtitle signal to generate a subtitle-synchronized video signal in which the video and the subtitle are synchronized, and the video signal with subtitle includes subtitle character information in units of subtitle pages, subtitle Input delay time information for each subtitle page required from the start of character input to the transmission of the subtitle data, and the subtitle delay unit calculates the input delay time from the fixed delay time for each subtitle page. By calculation to, calculates the variable delay time.

上記の遅延制御装置は、放送局から送信される字幕放送を受信する環境に配置され、例えばTV受信機やHDDレコーダなどに内蔵することができる。字幕放送番組の放送波に含まれる字幕付き映像信号は受信部により受信され、字幕信号が抽出される。映像信号は、所定の固定遅延時間で遅延される。また、字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報を含んでいる。字幕遅延部は、入力遅延時間情報に基づいて、字幕ページごとに固定遅延時間から入力遅延時間を減算することにより、可変遅延時間を算出し、字幕信号に応じた可変遅延時間だけ字幕信号を遅延させる。そして、遅延された映像信号と遅延された字幕信号を合成することにより、映像と字幕とが同期した字幕同期映像信号が生成される。   The delay control device is arranged in an environment for receiving a caption broadcast transmitted from a broadcasting station, and can be incorporated in, for example, a TV receiver or an HDD recorder. The subtitle-added video signal included in the broadcast wave of the subtitle broadcast program is received by the receiving unit, and the subtitle signal is extracted. The video signal is delayed by a predetermined fixed delay time. The subtitle-added video signal includes subtitle character information in units of subtitle pages and input delay time information for each subtitle page required from the start of subtitle character input to the transmission of the subtitle data. The subtitle delay unit calculates the variable delay time by subtracting the input delay time from the fixed delay time for each subtitle page based on the input delay time information, and delays the subtitle signal by the variable delay time according to the subtitle signal Let Then, by synthesizing the delayed video signal and the delayed caption signal, a caption synchronized video signal in which the video and the caption are synchronized is generated.

好適な例では、前記入力遅延時間情報は、アナログテレビジョンにおける文字放送技術基準に規定するページ管理情報内のページデータヘッダ内に含めて伝送される。また、他の好適な例では、前記入力遅延時間情報は、デジタルテレビジョンにおけるARIB技術基準に規定するキャプションデータストリーム内に含めて伝送される。   In a preferred example, the input delay time information is transmitted by being included in a page data header in page management information defined in a text broadcasting technical standard in analog television. In another preferred example, the input delay time information is transmitted by being included in a caption data stream defined in the ARIB technical standard in digital television.

上記の遅延制御装置の一態様では、前記固定遅延時間は、前記字幕付き映像信号に含まれる前記字幕信号の最大の字幕遅延時間よりも大きく設定される。これにより、ページ毎の入力遅延時間の差を吸収し、全てのページについて映像と字幕とを同期させることができる。   In one aspect of the delay control device, the fixed delay time is set to be larger than a maximum caption delay time of the caption signal included in the captioned video signal. Thereby, the difference in input delay time for each page can be absorbed, and the video and subtitles can be synchronized for all pages.

本発明の他の観点では、字幕付き映像/音声再生装置は、上記の字幕付き映像信号の遅延制御装置と、音声信号を受信し、前記固定遅延時間だけ遅延させて遅延音声信号を生成する音声遅延部と、前記字幕同期映像信号及び前記遅延音声信号を再生する再生部と、を備える。上記の字幕付き映像信号の遅延制御装置に加えて、音声信号を映像信号と同じ固定遅延時間で遅延させることにより、生字幕放送番組の字幕と映像及び音声とを同期再生することが可能な再生装置を提供することが可能となる。   In another aspect of the present invention, a video / audio playback device with subtitles and a delay control device for a video signal with subtitles described above receive audio signals and generate a delayed audio signal by delaying by the fixed delay time. A delay unit, and a reproduction unit that reproduces the caption synchronized video signal and the delayed audio signal. In addition to the above-described delay control device for video signals with captions, playback that enables synchronized playback of subtitles of live subtitle broadcast programs and video and audio by delaying the audio signal with the same fixed delay time as the video signal An apparatus can be provided.

本発明のさらに他の観点では、字幕付き映像信号の遅延制御プログラムは、コンピュータ端末により実行されることにより、字幕付き映像信号を受信する受信部、前記字幕付き映像信号から、字幕信号を抽出する抽出部、前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部、前記字幕信号を、当該字幕信号に応じた可変遅延時間だけ遅延させ、遅延字幕信号を生成する字幕遅延部、及び、前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部、として前記コンピュータ端末を機能させ、前記字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報と、を含み、前記字幕遅延部は、字幕ページごとに前記固定遅延時間から前記入力遅延時間を減算することにより、前記可変遅延時間を算出する。   In still another aspect of the present invention, a delay control program for a captioned video signal is executed by a computer terminal, thereby receiving a captioned video signal, and extracting the caption signal from the captioned video signal An extraction unit, a video delay unit that delays the video signal by a predetermined fixed delay time, generates a delayed video signal, and delays the caption signal by a variable delay time corresponding to the caption signal to generate a delayed caption signal A subtitle delay unit, and a synthesizing unit that combines the delayed video signal and the delayed subtitle signal to generate a subtitle synchronized video signal in which the video and the subtitle are synchronized; Includes subtitle character information for each subtitle page, input delay time information for each subtitle page required from the start of input of subtitle characters to transmission of the subtitle data, Wherein the subtitle delay unit, by subtracting the input time delay from the fixed delay time for each subtitle page, calculates the variable delay time.

上記のプログラムをコンピュータ上で実行することにより、本発明の字幕付き映像信号の遅延制御装置を実現することが可能となる。   By executing the above program on a computer, it is possible to implement the delay control device for captioned video signals of the present invention.

以下、図面を参照して本発明の好適な実施形態について説明する。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.

(字幕放送システム)
図1に、本発明に係る字幕付き映像信号の遅延補償方法を適用した字幕放送システムの例を示す。図1では、放送局10がユーザ環境50に対して字幕テレビ放送を行っている。放送局10内では、字幕放送送出システム20が字幕付き映像信号を作成し、これを放送波40に乗せて送出する。ユーザ環境50では字幕遅延制御装置60が放送波40を受信し、字幕信号の遅延制御を行って、映像と字幕とが時間軸上で同期した字幕付き映像信号(「字幕同期映像信号」とも呼ぶ。)と、音声信号とを含む信号53を生成してTV受信機52へ供給する。TV受信機52は、字幕同期映像信号及び音声信号を再生する。これにより、ユーザは生字幕放送を、映像と字幕とが時間的に同期した状態で視聴することができる。
(Subtitle broadcasting system)
FIG. 1 shows an example of a caption broadcasting system to which a delay compensation method for captioned video signals according to the present invention is applied. In FIG. 1, the broadcasting station 10 performs subtitle television broadcasting for the user environment 50. In the broadcast station 10, the caption broadcast transmission system 20 creates a video signal with captions and transmits it on the broadcast wave 40. In the user environment 50, the caption delay control device 60 receives the broadcast wave 40, performs delay control of the caption signal, and includes a captioned video signal in which the video and the caption are synchronized on the time axis (also referred to as “caption synchronized video signal”). And the audio signal are generated and supplied to the TV receiver 52. The TV receiver 52 reproduces the caption synchronized video signal and the audio signal. Thereby, the user can view the live subtitle broadcast with the video and the subtitle synchronized in time.

(字幕遅延)
次に、生字幕放送において生じる字幕遅延について説明する。テレビ等の番組は、事前にVTRなどに収録したパッケージ番組と、ニュースなどの様に生放送の番組に大別される。これらの番組に字幕を付与する場合、パッケージ番組では、映像信号などと字幕信号を一緒にVTRなどに記録し放送する方法と、映像信号などをVTRなどに記録し、放送時に字幕信号を付加する方法があり、それらは共にパッケージ字幕放送番組である。また、ニュース番組など生放送の放送時に、リアルタイムで字幕を付加する生字幕(リアルタイム字幕)放送番組がある。
(Subtitle delay)
Next, caption delay that occurs in live caption broadcasting will be described. Programs such as television are roughly classified into package programs recorded in advance on a VTR and live broadcast programs such as news. When subtitles are given to these programs, in a package program, a video signal and a subtitle signal are recorded and broadcast together in a VTR, etc., and a video signal is recorded in a VTR and the subtitle signal is added during broadcasting. There are methods, both of which are package subtitle broadcast programs. Also, there are live subtitle (real-time subtitle) broadcast programs that add subtitles in real time when broadcasting live broadcasts such as news programs.

生字幕放送番組の場合、TV映像の生放送中に、リアルタイムで字幕を生成し、TV映像に挿入して放送するため、字幕はTV映像の放送に対して時間的に遅れて表示されることになる。以下、生字幕放送における字幕送出の遅延について簡単に説明する。   In the case of a live subtitle broadcast program, subtitles are generated in real time during the live broadcast of the TV video, and inserted into the TV video for broadcast. Become. Hereinafter, the subtitle transmission delay in live subtitle broadcasting will be briefly described.

ニュースなどの生のテレビ番組で聴覚障害者向けサービスとして字幕を放送することが増えている。この生字幕放送では、時として映像に対して字幕が数秒〜数十秒遅れて放送されることがあり、この遅延が大きいと視聴者が違和感を覚えることがある。   Broadcasting subtitles as a service for the hearing impaired on live TV programs such as news is increasing. In this live subtitle broadcast, the subtitle is sometimes broadcast with a delay of several seconds to several tens of seconds with respect to the video, and if this delay is large, the viewer may feel uncomfortable.

アナログ放送では、映像の垂直帰線消去期間(VBI)に字幕データを映像に合わせて重畳している。パッケージ字幕放送番組ではあらかじめ字幕を制作しておき、映像と完全に合ったタイミングで字幕データをページ単位で送出できるが、リアルタイム字幕番組では、図2に示すように字幕の重畳タイミングがリアルタイムでなく、若干遅れたタイミングで行われる。これは、放送局の字幕入力者が、放送される映像を見ながら字幕文をキー入力し、漢字変換、誤変換訂正などを行って字幕データを作成した後で、始めて字幕データを重畳するため、字幕データの送出が映像より遅れるからである。なお、図2において、字幕の入力開始タイミングと、対応する字幕データが重畳されるタイミングとのずれ、即ち、字幕入力による遅延時間(以下、「入力遅延時間」とも呼ぶ。)がΔTで示されている。映像カット毎に字幕の内容が異なり、それに応じて字幕データの作成に要する時間が異なるため、入力遅延時間ΔTは映像カット毎に異なったものとなる(ΔTa〜ΔTc)。   In analog broadcasting, caption data is superimposed on the video during the vertical blanking interval (VBI) of the video. For packaged subtitle broadcast programs, subtitles can be produced in advance and subtitle data can be sent in page units at the timing that perfectly matches the video. However, in real-time subtitle programs, the subtitle superimposition timing is not real time as shown in FIG. This is done at a slightly delayed timing. This is because a subtitle input person at a broadcasting station inputs subtitle text while watching the video to be broadcast, creates subtitle data after performing kanji conversion, incorrect conversion correction, etc., and then superimposes the subtitle data. This is because the transmission of subtitle data is delayed from the video. In FIG. 2, the difference between the input start timing of subtitles and the timing at which the corresponding subtitle data is superimposed, that is, the delay time due to subtitle input (hereinafter also referred to as “input delay time”) is indicated by ΔT. ing. The content of subtitles differs for each video cut, and the time required to create subtitle data differs accordingly, so the input delay time ΔT differs for each video cut (ΔTa to ΔTc).

例えばニュース番組の場合、アナウンサーがニュース記事を読んだときに、その内容を音声認識などにより取得して字幕を生成し、これをTV映像に付加するので、実際にはそのニュース項目に対応する映像及びアナウンサーの音声が終了し、次のニュース項目に移った頃に字幕が挿入されるということもある。   For example, in the case of a news program, when an announcer reads a news article, the content is acquired by voice recognition, etc., and subtitles are generated and added to the TV video. In addition, subtitles may be inserted when the announcer's voice ends and moves to the next news item.

なお、リアルタイム字幕の生成方法としては、アナウンサーの発声に基づいて音声認識を用いる音声認識方式や、放送音声を入力オペレータがキー入力することにより字幕を生成するキーボード方式などが知られている。   As a real-time caption generation method, a voice recognition method that uses voice recognition based on an utterance of an announcer, a keyboard method that generates a caption by key input of broadcast sound by an input operator, and the like are known.

このため、生字幕放送番組の字幕付き映像信号中では、映像(フレーム画像)の内容と字幕とが時間的に一致していない。即ち、ある映像に対応する字幕は、当該映像から時間的に数フレームから数百フレーム程度遅れたフレーム画像の信号中に含まれていることになる。   For this reason, in the video signal with subtitles of the live subtitle broadcast program, the content of the video (frame image) and the subtitles do not coincide with each other in time. That is, subtitles corresponding to a certain video are included in a frame image signal that is delayed from the video by several frames to several hundred frames.

字幕遅延について、図3及び図4を参照して詳しく説明する。通常の字幕付き番組の放送では、予め番組内容に合わせて字幕を制作しておき映像に合ったタイミングで字幕データを映像信号に付加することが可能であるので、映像と字幕のタイミング不一致の問題は生じない。同様に生放送においても、たとえば図3に示すように、ある人物が映像に合わせて話す内容(コメント1、2、・・・)を受信機画面に字幕スーパーで表示する場合、各コメントのはじめから同時に字幕のスーパーが行われるのが望ましい。しかしながら、実際には放送局側の制作現場では、字幕作成者がある人物のコメントを聞き、それを要約しつつ文字列としてキー入力し、漢字変換、誤変換の修正などを行うことにより字幕データが作成される。そうして作成された後、字幕データは、ページ毎の字幕ページデータとして映像信号に付加して放送される。このため、実際には図4のΔT1、ΔT2、・・のように、受信機ではその作業に要した時間(即ち、入力遅延時間ΔT)だけ字幕が遅れて表示されることが避けられない。入力遅延時間ΔTは字幕のページ内容の長さや複雑さによって異なるが、数秒から十数秒以上にも亘るため、視聴者に違和感や内容の誤解をもたらすことがしばしばある。この字幕の遅延を補償して映像・音声と字幕のタイミングを合わせることにより自然な字幕表示を行う技術が放送事業者や聴力障害者などから待望されている。   The caption delay will be described in detail with reference to FIGS. In the broadcast of ordinary subtitled programs, it is possible to create subtitles according to the program contents in advance and add subtitle data to the video signal at the timing appropriate for the video. Does not occur. Similarly, in live broadcasting, for example, as shown in FIG. 3, when a person speaks in accordance with a video (comments 1, 2,. It is desirable to superimpose captions at the same time. However, in fact, at the production site on the broadcasting station side, the caption creator listens to a person's comments, summarizes it, and inputs the key as a character string, and performs kanji conversion, correction of erroneous conversion, etc. Is created. After being created in this way, the caption data is broadcast by being added to the video signal as caption page data for each page. Therefore, in practice, as shown in FIG. 4, ΔT1, ΔT2,..., It is inevitable that the receiver displays the subtitles delayed by the time required for the operation (that is, the input delay time ΔT). Although the input delay time ΔT varies depending on the length and complexity of the subtitle page content, the input delay time ΔT ranges from several seconds to more than a few tens of seconds. A technology for displaying subtitles naturally by compensating the subtitle delay and matching the timing of video / audio and subtitles is desired by broadcasters and hearing impaired people.

(字幕遅延補償)
次に、本発明による字幕遅延補償方法について説明する。図5は、本発明によって字幕遅延補償を行ったときの映像・音声と字幕との時間関係を示す。テレビ受信機内に設けられた字幕遅延補償部は、受信した映像・音声信号を固定遅延時間Dfixだけ常時遅延させて表示・出力する。また、ある字幕ページを受信したら、それに付随して伝送される入力遅延時間ΔT1、ΔT2などの値を用いて、
可変遅延時間(Dvar)=固定遅延時間(Dfix)―入力遅延時間(ΔT) (1)
の式により、可変遅延時間Dvarを計算し、この可変遅延時間Dvarだけ、その字幕を遅らせて表示する。これにより映像・音声は実際の放送より一定時間(即ち、固定遅延時間Dfix)遅れて出力される。また、字幕1、字幕2はコメント1、コメント2に対して適切に一致したタイミングで(即ち、同期して)映像に合成され、出力される。なお、固定遅延時間Dfixは実際の生字幕放送で生じうる最大の入力遅延時間ΔTより大きく設定する必要がある。
(Subtitle delay compensation)
Next, a caption delay compensation method according to the present invention will be described. FIG. 5 shows the time relationship between video / audio and subtitles when subtitle delay compensation is performed according to the present invention. A caption delay compensation unit provided in the television receiver always displays and outputs the received video / audio signal with a fixed delay time Dfix. Also, when a certain subtitle page is received, values such as input delay times ΔT1 and ΔT2 transmitted along with it are used,
Variable delay time (Dvar) = fixed delay time (Dfix) −input delay time (ΔT) (1)
The variable delay time Dvar is calculated by the following equation, and the caption is delayed and displayed by this variable delay time Dvar. As a result, the video / audio is output with a delay of a certain time (that is, a fixed delay time Dfix) from the actual broadcast. Subtitle 1 and subtitle 2 are combined into a video and output at a timing that is appropriately matched with comment 1 and comment 2 (that is, in synchronization). Note that the fixed delay time Dfix needs to be set larger than the maximum input delay time ΔT that can occur in actual live subtitle broadcasting.

本発明による字幕遅延補償を実現するためには、生字幕番組を放送する局が、字幕のページごとに、その字幕データとともに入力遅延時間ΔTの情報を放送することが前提とされる。この入力遅延時間情報は、秒単位の時間データでもよく、また適宜の周期で計数したカウンタ値のデータでもよいが、ここでは秒単位を用いた場合を説明する。字幕遅延を補償する場合に必要なタイミング合わせの時間精度は0.5秒程度で十分であり、また最大の入力遅延時間ΔTは実際の番組の例で20数秒程度である。そこで、入力遅延時間情報は、例えば0.5秒単位で計数した6ビットのバイナリ値で表すことができる。この場合、表現可能な遅延時間は0秒から0.5秒刻みで31.5秒までとなり十分な値となる。入力遅延時間情報のデータ構造例を図6に示す。   In order to realize subtitle delay compensation according to the present invention, it is assumed that a station that broadcasts a live subtitle program broadcasts information on the input delay time ΔT together with the subtitle data for each subtitle page. The input delay time information may be time data in seconds or counter value data counted in an appropriate cycle. Here, a case in which seconds are used will be described. About 0.5 seconds is sufficient for the timing accuracy required for subtitle delay compensation, and the maximum input delay time ΔT is about 20 or more seconds in an example of an actual program. Therefore, the input delay time information can be represented by a 6-bit binary value counted in units of 0.5 seconds, for example. In this case, the expressible delay time is 0 to 31.5 seconds in 0.5 second increments, which is a sufficient value. An example of the data structure of the input delay time information is shown in FIG.

(入力遅延時間情報の伝送方法)
次に、放送局が入力遅延時間情報を含む字幕付き映像・音声信号を送信する方法について説明する。
(Input delay time information transmission method)
Next, a method for transmitting a captioned video / audio signal including input delay time information by the broadcast station will be described.

入力遅延時間情報を伝送するためには、まず放送局内の生字幕入力装置や字幕送出装置に以下の機能を持たせることが必要となる。   In order to transmit the input delay time information, it is first necessary to provide the following functions to the live caption input device and caption transmission device in the broadcasting station.

(1)1つ1つの文字列について、字幕入力者が入力開始時に行う特定の操作によって、その瞬間の実時刻(「入力開始時刻」とする)を記憶すること。     (1) For each character string, the actual time (referred to as “input start time”) at that moment is stored by a specific operation performed by the caption input person at the start of input.

(2)字幕入力者が、入力した文字列の漢字変換や内容確認を終わり字幕送出装置への転送を指示したときに、記憶された該入力開始時刻を字幕データに付加して字幕送出装置に伝送すること。     (2) When the subtitle input person finishes the conversion of Kanji characters and confirms the contents of the input character string and instructs transfer to the subtitle transmission apparatus, the stored input start time is added to the subtitle data to the subtitle transmission apparatus. To transmit.

(3)字幕送出装置は、該字幕データを映像信号に重畳して放送する際に、放送時の現在時刻から該入力開始時刻を差し引いた時間を算出し、入力遅延時間情報として放送される情報に多重して放送すること。     (3) When the caption transmission device broadcasts the caption data superimposed on the video signal, the caption transmission device calculates information obtained by subtracting the input start time from the current time at the time of broadcasting, and is broadcast as input delay time information. To multiplex and broadcast.

図7は、これらの機能による生字幕放送の流れを模式的に示す。図7において、生字幕の制作処理においては、生番組の中で字幕の付加が必要な度に、1台あるいは複数の字幕入力装置から、生字幕の1ページ単位で字幕の文字列データと、その入力を開始した時の時刻データ(「入力開始時刻データ」)とを組み合わせて、入力開始時刻順に字幕送出バッファに送り込む。   FIG. 7 schematically shows the flow of live subtitle broadcasting using these functions. In FIG. 7, in the production process of live subtitles, each time subtitle input is required in a live program, subtitle character string data in units of live subtitles from one or more subtitle input devices, Combined with the time data when the input is started ("input start time data"), it is sent to the caption transmission buffer in the order of the input start time.

これに続く生字幕の送出処理においては、字幕送出装置は、字幕送出バッファにデータが有ったら、視聴者が読みやすい適宜の間隔で、各字幕ページ毎に、送出時の実時刻から入力開始時刻を差し引いた入力遅延時間を0.5秒刻みの6ビットバイナリ値に換算して入力遅延時間情報を生成する。そして、字幕送出装置は、入力遅延時間情報を各ページの文字列データとともに、後述する適宜のフィールドに格納して、字幕放送として映像・音声に多重して放送する。これにより、放送局は、字幕放送中に、各ページ毎の入力遅延時間情報を含めて視聴者の受信機へ送信することができる。   In subsequent subtitle transmission processing, the subtitle transmission device starts input from the actual time at the time of transmission for each subtitle page at an appropriate interval that is easy for the viewer to read if there is data in the subtitle transmission buffer. The input delay time information is generated by converting the input delay time obtained by subtracting the time into a 6-bit binary value in 0.5 second increments. Then, the caption transmission device stores the input delay time information together with the character string data of each page in an appropriate field, which will be described later, and multiplexes and broadcasts the video / audio as a caption broadcast. Thereby, the broadcast station can transmit to the receiver of the viewer including the input delay time information for each page during the caption broadcasting.

(入力遅延時間情報の格納場所)
次に、本発明による入力遅延時間情報を格納すべき放送信号中の場所について説明する。
(Storage location of input delay time information)
Next, the location in the broadcast signal where the input delay time information according to the present invention is to be stored will be described.

図8は、アナログ放送の場合に、本発明による入力遅延時間情報を格納する場所を示す。アナログテレビジョンにおいては、入力遅延時間情報を、例えば図8に示すように、文字放送技術基準におけるページ管理情報内のページデータヘッダ内に含めて伝送することが考えられる。ページデータヘッダ(PACI ページ管理情報)のDB15(ページ提示デバイス)のバイトは現在b1、b2以外は未定義であるからその6ビットに、入力遅延時間データ6ビットを格納する。   FIG. 8 shows a place for storing the input delay time information according to the present invention in the case of analog broadcasting. In analog television, as shown in FIG. 8, for example, the input delay time information may be included in the page data header in the page management information in the text broadcasting technical standard and transmitted. Since the bytes of DB15 (page presentation device) in the page data header (PACI page management information) are currently undefined except for b1 and b2, 6 bits of input delay time data are stored in the 6 bits.

図9は、デジタル放送の場合に、本発明による入力遅延時間情報を格納する場所を示す。デジタル放送の場合、入力遅延時間を例えば図9に示すように、ARIB技術基準における字幕PESで伝送される字幕文データ(caption data)内のTMDに続く6ビットのReservedを変更し、ここに入力遅延時間情報(仮称を「Caption_data_setup_delay」とする)6ビットを格納してbslbf(bit serial lower bit first)で伝送する。   FIG. 9 shows a location for storing the input delay time information according to the present invention in the case of digital broadcasting. In the case of digital broadcasting, for example, as shown in FIG. 9, the input delay time is changed to 6-bit Reserved after TMD in caption text data (caption data) transmitted by caption PES in the ARIB technical standard and input here. 6 bits of delay time information (tentative name “Caption_data_setup_delay”) is stored and transmitted by bslbf (bit serial lower bit first).

なお、上記はいずれも入力遅延時間情報の格納場所の一例に過ぎず、本発明は入力遅延時間情報をTV信号のいずれかの場所に格納して放送できる限り、その場所の如何に拘わらず実現可能である。   The above is only an example of the storage location of the input delay time information, and the present invention is realized regardless of the location as long as the input delay time information can be stored and broadcasted in any location of the TV signal. Is possible.

(字幕遅延制御装置)
次に、本発明の字幕遅延補償方法を適用した字幕遅延制御装置の構成について説明する。なお、以下の字幕遅延制御装置は、コンピュータ上で動作する制御プログラムとして構成することが可能である。
(Subtitle delay control device)
Next, the configuration of a caption delay control apparatus to which the caption delay compensation method of the present invention is applied will be described. The following caption delay control device can be configured as a control program that operates on a computer.

字幕遅延制御装置では、映像信号と音声信号はあらかじめ字幕の最大遅延を見込んだ固定遅延時間(Dfix)が与えられる。これに対して、字幕信号にはページ単位の可変遅延(Dvar)が与えられる。字幕信号に対する可変遅延時間は、上述の式(1)により算出される。入力遅延時間ΔTは、各字幕ページ毎の字幕入力に伴う遅延時間である。この手法により、字幕ページ毎に字幕遅延時間が異なることに起因して映像及び音声の不連続が生じることが防止される。   In the caption delay control device, the video signal and the audio signal are given a fixed delay time (Dfix) that allows for the maximum caption delay in advance. In contrast, a subtitle signal is given a variable delay (Dvar) in units of pages. The variable delay time for the subtitle signal is calculated by the above equation (1). The input delay time ΔT is a delay time associated with subtitle input for each subtitle page. By this method, it is possible to prevent the discontinuity of video and audio due to the difference in caption delay time for each caption page.

まず、アナログ字幕放送の場合の実施例について説明する。図10はアナログ字幕放送の場合における字幕遅延制御装置の構成を示すブロック図である。図10において、字幕データ抽出部61は字幕付き映像信号Svcから字幕データを抽出して字幕可変遅延部65及び入力遅延時間通出部66へ供給するとともに、字幕データ抽出後の映像信号を映像固定遅延部62へ供給する。映像固定遅延部62は、映像信号を予め決められた固定遅延時間Dfixだけ遅延し、画面合成部63へ供給する。   First, an embodiment in the case of analog subtitle broadcasting will be described. FIG. 10 is a block diagram showing a configuration of a caption delay control device in the case of analog caption broadcasting. In FIG. 10, the caption data extraction unit 61 extracts caption data from the caption-added video signal Svc and supplies it to the caption variable delay unit 65 and the input delay time output unit 66, and fixes the video signal after the caption data extraction to a video. This is supplied to the delay unit 62. The video fixed delay unit 62 delays the video signal by a predetermined fixed delay time Dfix and supplies it to the screen composition unit 63.

一方、入力遅延時間抽出部66は、字幕ページ毎の字幕データから、そこに含まれる入力遅延時間ΔTを抽出して字幕可変遅延部65へ供給する。前述の例では、入力遅延時間抽出部66は、図8に示すページデータヘッダ(ページ管理情報)のDB15のb3〜b6の6ビットから入力遅延時間ΔTを取得する。   On the other hand, the input delay time extraction unit 66 extracts the input delay time ΔT included therein from the caption data for each caption page and supplies it to the caption variable delay unit 65. In the above example, the input delay time extraction unit 66 acquires the input delay time ΔT from the 6 bits b3 to b6 of the DB 15 of the page data header (page management information) shown in FIG.

そして、字幕可変遅延部65は、式(1)に基づいて、字幕ページ毎に可変遅延時間Dvarを算出し、その可変遅延時間Dvarだけ字幕データを遅延させて字幕画面生成部64へ出力する。字幕画面生成部64は、遅延された字幕データから字幕画面を生成し、画面合成部63へ供給する。   The subtitle variable delay unit 65 calculates the variable delay time Dvar for each subtitle page based on the formula (1), delays the subtitle data by the variable delay time Dvar, and outputs it to the subtitle screen generation unit 64. The subtitle screen generation unit 64 generates a subtitle screen from the delayed subtitle data and supplies it to the screen synthesis unit 63.

画面合成部63は、固定遅延時間Dfixだけ遅延された映像信号と、可変遅延時間Dvarだけ遅延された字幕画面とを合成して表示回路へ出力する。なお、音声信号は、映像信号との同期を維持するため、音声可変遅延部67により映像信号と同様の固定遅延時間Dfixだけ遅延されて音声回路へ出力される。   The screen synthesizing unit 63 synthesizes the video signal delayed by the fixed delay time Dfix and the subtitle screen delayed by the variable delay time Dvar and outputs them to the display circuit. Note that the audio signal is delayed by a fixed delay time Dfix similar to the video signal by the audio variable delay unit 67 and output to the audio circuit in order to maintain synchronization with the video signal.

たとえば固定遅延時間Dfixを15秒に設定した字幕遅延制御装置で、入力遅延時間ΔT=7秒遅れの生字幕ページを受信したときには、可変遅延時間Dvar=15−7=8(秒)にセットされる。従って、映像信号及び音声信号は15秒遅延されて再生されるのに対し、字幕は8秒遅れて再生される。これにより、入力遅延時間ΔTが補償され、映像信号及び音声信号と字幕とが時間軸上で一致したタイミングで再生される。よって、この方法によれば番組の進行中、映像と音声の連続性は保たれ、字幕ページの遅延は認識されないので視聴上の違和感がない。但し、映像と音声の連続性を確保するためには、固定遅延時間Dfixを、放送局から送信される字幕付き映像信号における入力遅延時間ΔTの最大値よりも大きく設定することが必要となる。   For example, when a subtitle delay control apparatus in which the fixed delay time Dfix is set to 15 seconds and a raw subtitle page delayed by an input delay time ΔT = 7 seconds is received, the variable delay time Dvar = 15−7 = 8 (seconds) is set. The Accordingly, the video signal and the audio signal are reproduced with a delay of 15 seconds, whereas the subtitles are reproduced with a delay of 8 seconds. As a result, the input delay time ΔT is compensated, and the video signal, the audio signal, and the subtitle are reproduced at the same timing on the time axis. Therefore, according to this method, the continuity between video and audio is maintained while the program is in progress, and the delay of the caption page is not recognized. However, in order to ensure the continuity between video and audio, it is necessary to set the fixed delay time Dfix to be larger than the maximum value of the input delay time ΔT in the captioned video signal transmitted from the broadcast station.

字幕可変遅延部65が字幕データを遅延させる方法としては、例えば字幕データのデコード開始を入力遅延時間ΔTだけ待たせる方法、デコードした字幕の画面へのスーパーインポーズを入力遅延時間ΔTだけ待たせる方法、などがある。   As a method of delaying subtitle data by the subtitle variable delay unit 65, for example, a method of waiting for input delay time ΔT to start decoding subtitle data, or a method of waiting for input delay time ΔT to superimpose the decoded subtitle on the screen ,and so on.

図10に示す字幕遅延制御装置60は、上記のように生字幕放送における字幕遅延を補償することに加えて、字幕遅延の無いパッケージ字幕番組を再生することも可能である。その場合には、入力遅延時間ΔT=0であるから、全ての字幕ページで可変遅延時間Dvar=固定遅延時間Dfixとなる。即ち、字幕遅延制御装置60は、現在受信している字幕放送番組が生字幕放送番組である場合には、上述のように映像固定遅延部62、字幕可変遅延部65及び音声固定遅延部67による遅延を有効とする(以下、この状態を「遅延モード」と呼ぶ。)。一方、現在受信している字幕放送番組がパッケージ字幕放送番組である場合、映像固定遅延部62、字幕可変遅延部65及び音声固定遅延部67による遅延をゼロとする(以下、この状態を「非遅延モード」と呼ぶ。)。   The subtitle delay control apparatus 60 shown in FIG. 10 can also reproduce a package subtitle program without subtitle delay in addition to compensating for subtitle delay in live subtitle broadcasting as described above. In this case, since the input delay time ΔT = 0, the variable delay time Dvar = fixed delay time Dfix in all the caption pages. That is, the subtitle delay control device 60 uses the video fixed delay unit 62, the subtitle variable delay unit 65, and the audio fixed delay unit 67 as described above when the currently received subtitle broadcast program is a live subtitle broadcast program. The delay is enabled (hereinafter, this state is referred to as “delay mode”). On the other hand, when the currently received subtitle broadcast program is a package subtitle broadcast program, the delays by the video fixed delay unit 62, the subtitle variable delay unit 65, and the audio fixed delay unit 67 are set to zero (hereinafter, this state is referred to as “non-display”). Called "delay mode".)

ただし、遅延モードと非遅延モードとの間の切り替えの際には、前述と同様に映像と音声の不連続が発生することには注意を要する。この対策としては、遅延モードへの切り替えを生字幕番組の入り口で行うか(「自動遅延モード」)、全番組を遅延モードで見る(「常時遅延モード」)か、などを視聴者が任意に選択できるように字幕遅延制御装置60を構成すればよい。好適な例としては、視聴者が任意に選択可能なモードとして、「常時遅延モード」、「自動遅延モード」および「遅延補償なし」を設け、ユーザに任意に設定させればよい。「常時遅延モード」では字幕なしの番組を含めて全番組を一定の時間だけ遅延して視聴することになる。この場合は字幕のタイミングだけが操作されるので映像・音声の不連続は一切起こらない。「自動遅延モード」では通常の字幕無し番組及びパッケージ字幕番組は遅延なしで視聴し、生字幕番組に入るときと出るときに自動的に映像・音声の不連続を許容した切り替えを行う。このときは受信者が文字放送の字幕の番組番号を選択したときに「入り」、字幕の番組番号から他の番組番号を選択したときに「出」に切り替えるのが適切な方法である。「遅延補償なし」ではこれらの動作をすべて停止して従来通りの受信形態をとる。即ち、字幕は映像に対して遅れて再生されることになる。   However, when switching between the delay mode and the non-delay mode, care should be taken that discontinuity of video and audio occurs as described above. As a countermeasure, the viewer can select whether to switch to the delay mode at the entrance of the live subtitle program (“automatic delay mode”) or to watch all programs in the delay mode (“always delay mode”). What is necessary is just to comprise the caption delay control apparatus 60 so that it can select. As a preferable example, “always delay mode”, “automatic delay mode”, and “no delay compensation” are provided as modes that can be arbitrarily selected by the viewer, and the user may arbitrarily set them. In the “always-delayed mode”, all programs including subtitled programs are viewed with a certain delay. In this case, since only the subtitle timing is operated, no discontinuity of video / audio occurs. In the “automatic delay mode”, normal subtitle-free programs and packaged subtitle programs are viewed without delay, and switching is performed automatically allowing discontinuity of video and audio when entering and exiting live subtitle programs. In this case, an appropriate method is to switch to “ON” when the receiver selects the program number of the teletext subtitle, and to “OUT” when another program number is selected from the subtitle program numbers. In “no delay compensation”, all of these operations are stopped and the conventional reception mode is adopted. That is, subtitles are played back with a delay from the video.

なお、遅延モードへの「入り」の制御時には、固定遅延時間Dfixの期間にわたり映像及び音声が無くなるので、視聴者の不安を除くために、不連続対策として別途用意した字幕や音声でたとえば「字幕合わせの起動中です」というような告知を行うことが望ましい。また、同様に遅延モードからの「出」の瞬間には映像及び音声のスキップが生ずるので、「字幕合わせを終了中しました」などの告知を行うことが望ましい。   Note that, when controlling “entering” the delay mode, there is no video and audio over the fixed delay time Dfix period, so in order to eliminate the viewer's anxiety, for example “ It is desirable to make a notification such as “Activation of matching”. Similarly, since a video and audio skip occurs at the moment of “departing” from the delay mode, it is desirable to make a notice such as “Finished subtitle adjustment”.

次に、デジタル字幕放送の場合の実施例について説明する。図11は、デジタル字幕放送の場合における字幕遅延制御装置の構成を示すブロック図である。字幕遅延制御の手法は、上述のアナログ字幕放送の場合と基本的に同様である。   Next, an embodiment in the case of digital subtitle broadcasting will be described. FIG. 11 is a block diagram illustrating a configuration of a caption delay control apparatus in the case of digital caption broadcasting. The method of subtitle delay control is basically the same as that of the analog subtitle broadcast described above.

デジタル字幕放送のTSは映像信号、音声信号及び字幕PESを含んでおり、TS固定遅延部101及び字幕PES抽出部103へ供給される。TS固定遅延部101は、固定遅延Dfixを与え、遅延TSデータDtsdを映像/音声デコード部102へ供給する。映像/音声デコード部102は、映像データ及び音声データをそれぞれデコードし、固定遅延された音声データDadを音声回路へ供給するとともに、固定遅延された映像データDvdを画面合成部106へ供給する。   A digital subtitle broadcast TS includes a video signal, an audio signal, and a subtitle PES, and is supplied to the TS fixed delay unit 101 and the subtitle PES extraction unit 103. The TS fixed delay unit 101 gives a fixed delay Dfix and supplies the delayed TS data Dtsd to the video / audio decoding unit 102. The video / audio decoding unit 102 decodes the video data and the audio data, supplies the fixed-delayed audio data Dad to the audio circuit, and supplies the fixed-delayed video data Dvd to the screen synthesis unit 106.

一方、字幕PES抽出部103はTSから字幕PESを抽出し、字幕データ抽出部107へ供給する。字幕データ抽出部107は、字幕PESから字幕データDcを抽出し、字幕可変遅延部104及び入力遅延時間抽出部108へ供給する。入力遅延時間抽出部108は、字幕データDcから入力遅延時間ΔTを抽出し、字幕可変遅延部104へ供給する。前述の例では、入力遅延時間抽出部108は、ARIB技術基準における字幕PESで伝送される字幕文データ(caption data)内のTMDに続く6ビットから入力遅延時間ΔTを取得する。   On the other hand, the caption PES extraction unit 103 extracts the caption PES from the TS and supplies it to the caption data extraction unit 107. The subtitle data extraction unit 107 extracts subtitle data Dc from the subtitle PES and supplies the subtitle data Dc to the subtitle variable delay unit 104 and the input delay time extraction unit 108. The input delay time extraction unit 108 extracts the input delay time ΔT from the caption data Dc and supplies it to the caption variable delay unit 104. In the above example, the input delay time extraction unit 108 acquires the input delay time ΔT from 6 bits following TMD in caption text data (caption data) transmitted by caption PES in the ARIB technical standard.

そして、字幕可変遅延部104は、入力遅延時間抽出部108から供給された入力遅延時間ΔTに基づいて可変遅延時間Dvarを算出し、その可変遅延時間だけ字幕データを遅延させて字幕データDcdとして字幕画面生成部105へ供給する。字幕画面生成部105は、字幕データDcdから字幕画面データDccを生成し、画面合成部106へ供給する。画面合成部106は、固定遅延時間Dfixだけ遅延された映像データDvdと、可変遅延時間Dvarだけ遅延された字幕画面とを合成し、表示回路へ供給する。こうして、音声、映像及び字幕が時間軸上で一致した状態で再生される。   The subtitle variable delay unit 104 calculates the variable delay time Dvar based on the input delay time ΔT supplied from the input delay time extraction unit 108, delays the subtitle data by the variable delay time, and subtitles as subtitle data Dcd. This is supplied to the screen generation unit 105. The subtitle screen generation unit 105 generates subtitle screen data Dcc from the subtitle data Dcd and supplies it to the screen composition unit 106. The screen synthesis unit 106 synthesizes the video data Dvd delayed by the fixed delay time Dfix and the subtitle screen delayed by the variable delay time Dvar, and supplies them to the display circuit. In this way, audio, video, and subtitles are reproduced in a state where they coincide on the time axis.

なお、TS固定遅延部101及び字幕可変遅延部104は、例えば半導体メモリを利用紙、それぞれFIFO(First in First Out)バッファとリングバッファを構成することにより実現することができる。また、映像、音声及び字幕のPESヘッダ拡張部のPTS(Presentation Time Stamp)を適切に設定することにより、字幕の可変遅延を実現することも可能である。   Note that the TS fixed delay unit 101 and the subtitle variable delay unit 104 can be realized by, for example, using a semiconductor memory as a paper, and forming a first in first out (FIFO) buffer and a ring buffer, respectively. Also, it is possible to realize variable delay of subtitles by appropriately setting PTS (Presentation Time Stamp) of the PES header extension part of video, audio and subtitles.

本発明に係る字幕遅延制御装置を適用した環境の例を示す。The example of the environment to which the caption delay control device concerning the present invention is applied is shown. 字幕の遅延を説明する図である。It is a figure explaining the delay of a caption. 理想的な字幕放送の例を示すタイミングチャートである。It is a timing chart which shows the example of an ideal caption broadcast. 実際の字幕放送の例を示すタイミングチャートである。It is a timing chart which shows the example of an actual caption broadcast. 本発明による字幕放送の例を示すタイミングチャートである。It is a timing chart which shows the example of the caption broadcast by this invention. 入力遅延時間情報のデータ構造例を示す。The data structure example of input delay time information is shown. 放送局が入力遅延時間情報を含む字幕付き映像・音声信号を送信する方法を模式的に示す。A method for transmitting a video / audio signal with subtitles including input delay time information by a broadcasting station is schematically shown. アナログ字幕放送における入力遅延時間情報の格納例を示す。An example of storing input delay time information in analog subtitle broadcasting will be shown. デジタル字幕放送における入力遅延時間情報の格納例を示す。An example of storage of input delay time information in digital subtitle broadcasting is shown. アナログ字幕放送の場合の字幕遅延制御装置の構成を示す。The structure of the caption delay control apparatus in the case of analog caption broadcasting is shown. デジタル字幕放送の場合の字幕遅延制御装置の構成を示す。The structure of the caption delay control apparatus in the case of digital caption broadcasting is shown.

符号の説明Explanation of symbols

10 放送局、
20 字幕放送送出システム、
40 放送波、
50 ユーザ環境、
52 TV受信機、
60、100 字幕遅延制御装置
10 Broadcasting station,
20 Subtitle broadcast transmission system,
40 broadcast wave,
50 user environment,
52 TV receiver,
60, 100 Subtitle delay control device

Claims (6)

字幕付き映像信号を受信する受信部と、
前記字幕付き映像信号から、字幕信号を抽出する抽出部と、
前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部と、
前記字幕信号を、当該字幕信号に応じた可変遅延時間だけ遅延させ、遅延字幕信号を生成する字幕遅延部と、
前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部と、を備え、
前記字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報と、を含み、
前記字幕遅延部は、字幕ページごとに前記固定遅延時間から前記入力遅延時間を減算することにより、前記可変遅延時間を算出することを特徴とする字幕付き映像信号の遅延制御装置。
A receiving unit for receiving a video signal with subtitles;
An extraction unit for extracting a caption signal from the captioned video signal;
A video delay unit that delays the video signal by a predetermined fixed delay time to generate a delayed video signal;
A caption delay unit that delays the caption signal by a variable delay time according to the caption signal, and generates a delayed caption signal;
A synthesizing unit that synthesizes the delayed video signal and the delayed subtitle signal to generate a subtitle synchronized video signal in which the video and the subtitle are synchronized;
The video signal with subtitles includes subtitle character information in units of subtitle pages, and input delay time information for each subtitle page required from the start of subtitle character input to the transmission of the subtitle data,
The caption control unit for subtitled video signals, wherein the caption delay unit calculates the variable delay time by subtracting the input delay time from the fixed delay time for each caption page.
前記入力遅延時間情報は、アナログテレビジョンにおける文字放送技術基準に規定するページ管理情報内のページデータヘッダ内に含めて伝送されることを特徴とする請求項1に記載の字幕付き映像信号の遅延制御装置。   The delay of a video signal with subtitles according to claim 1, wherein the input delay time information is transmitted by being included in a page data header in page management information stipulated in a text broadcasting technical standard in analog television. Control device. 前記入力遅延時間情報は、デジタルテレビジョンにおけるARIB技術基準に規定するキャプションデータストリーム内に含めて伝送されることを特徴とする請求項1に記載の字幕付き映像信号の遅延制御装置。   The apparatus according to claim 1, wherein the input delay time information is transmitted by being included in a caption data stream defined in ARIB technical standards in digital television. 前記固定遅延時間は、前記字幕付き映像信号に含まれる前記字幕信号の最大の字幕遅延時間よりも大きく設定されることを特徴とする請求項1に記載の字幕付き映像信号の遅延制御装置。   2. The delay control device for a captioned video signal according to claim 1, wherein the fixed delay time is set to be larger than a maximum caption delay time of the caption signal included in the captioned video signal. 請求項1乃至4のいずれか一項に記載の字幕付き映像信号の遅延制御装置と、
音声信号を受信し、前記固定遅延時間だけ遅延させて遅延音声信号を生成する音声遅延部と、
前記字幕同期映像信号及び前記遅延音声信号を再生する再生部と、を備えることを特徴とする字幕付き映像/音声再生装置。
A delay control device for subtitled video signals according to any one of claims 1 to 4,
An audio delay unit that receives an audio signal and delays the fixed delay time to generate a delayed audio signal;
A video / audio reproduction device with subtitles, comprising: a reproduction unit that reproduces the subtitle synchronized video signal and the delayed audio signal.
コンピュータ端末により実行されることにより、
字幕付き映像信号を受信する受信部、
前記字幕付き映像信号から、字幕信号を抽出する抽出部、
前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部、
前記字幕信号を、当該字幕信号に応じた可変遅延時間だけ遅延させ、遅延字幕信号を生成する字幕遅延部、及び、
前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部、として前記コンピュータ端末を機能させ、
前記字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報と、を含み、
前記字幕遅延部は、字幕ページごとに前記固定遅延時間から前記入力遅延時間を減算することにより、前記可変遅延時間を算出することを特徴とする字幕付き映像信号の遅延制御プログラム。
By being executed by a computer terminal,
A receiver for receiving a video signal with subtitles;
An extraction unit for extracting a caption signal from the captioned video signal;
A video delay unit that delays the video signal by a predetermined fixed delay time to generate a delayed video signal;
A subtitle delay unit that delays the subtitle signal by a variable delay time corresponding to the subtitle signal, and generates a delayed subtitle signal; and
Combining the delayed video signal and the delayed caption signal to generate a caption synchronized video signal in which the video and the caption are synchronized, and causing the computer terminal to function as
The video signal with subtitles includes subtitle character information in units of subtitle pages, and input delay time information for each subtitle page required from the start of subtitle character input to the transmission of the subtitle data,
The subtitle delay unit calculates the variable delay time by subtracting the input delay time from the fixed delay time for each subtitle page.
JP2006152166A 2006-05-31 2006-05-31 Delay controller and delay control program for video signal with closed caption Pending JP2007324872A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006152166A JP2007324872A (en) 2006-05-31 2006-05-31 Delay controller and delay control program for video signal with closed caption

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006152166A JP2007324872A (en) 2006-05-31 2006-05-31 Delay controller and delay control program for video signal with closed caption

Publications (1)

Publication Number Publication Date
JP2007324872A true JP2007324872A (en) 2007-12-13

Family

ID=38857284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006152166A Pending JP2007324872A (en) 2006-05-31 2006-05-31 Delay controller and delay control program for video signal with closed caption

Country Status (1)

Country Link
JP (1) JP2007324872A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010034800A (en) * 2008-07-28 2010-02-12 Asutemu:Kk Sign-language interpretation system, broadcasting apparatus, sign-language interpretation apparatus, broadcasting receiving apparatus, broadcasting method, broadcasting receiving method, and program
JP2010081141A (en) * 2008-09-25 2010-04-08 Nippon Television Network Corp Closed caption system and closed caption method
JP2010183448A (en) * 2009-02-06 2010-08-19 Nec Corp Apparatus and method for transmitting stream signal
JP2011146981A (en) * 2010-01-15 2011-07-28 Mitsubishi Electric Corp Video display device
JP2013172181A (en) * 2012-02-17 2013-09-02 Sony Corp Receiving device and caption processing method
JP2014003351A (en) * 2012-06-15 2014-01-09 Alpine Electronics Inc On-vehicle digital broadcast receiver and caption display control method
JPWO2012093425A1 (en) * 2011-01-07 2014-06-09 株式会社スピードワープロ研究所 Digital subtitle broadcast recorder
WO2015032928A1 (en) * 2013-09-09 2015-03-12 Thomson Licensing Method for determining a time stamp relating to synchronization and associated device
CN108028966A (en) * 2015-07-16 2018-05-11 纳宝商务平台株式会社 video providing device, video providing method and computer program
JP2020053715A (en) * 2018-09-21 2020-04-02 西都速記株式会社 Information processing system, information processing method, and information processing program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010222A (en) * 2000-06-27 2002-01-11 Toshiba Corp Teletext broadcasting receiving device
JP2004146929A (en) * 2002-10-22 2004-05-20 Nippon Television Network Corp Caption adjustment function attached receiver and adjustment system for caption display
JP2004207821A (en) * 2002-12-24 2004-07-22 Nippon Hoso Kyokai <Nhk> Subtitle broadcast receiver, subtitle broadcast receiving method, and subtitle broadcast receiving program
WO2006048963A1 (en) * 2004-11-02 2006-05-11 Tv Asahi Data Vision Corporation Captioned still image content creating device, captioned still image content creating program and captioned still image content creating system
JP2006324779A (en) * 2005-05-17 2006-11-30 Sony Corp Caption distributing system, caption transmitting apparatus, caption synthesis apparatus and subtitle distributing method
JP4448477B2 (en) * 2004-12-28 2010-04-07 株式会社テレビ朝日データビジョン Delay control apparatus and delay control program for video signal with caption

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010222A (en) * 2000-06-27 2002-01-11 Toshiba Corp Teletext broadcasting receiving device
JP2004146929A (en) * 2002-10-22 2004-05-20 Nippon Television Network Corp Caption adjustment function attached receiver and adjustment system for caption display
JP2004207821A (en) * 2002-12-24 2004-07-22 Nippon Hoso Kyokai <Nhk> Subtitle broadcast receiver, subtitle broadcast receiving method, and subtitle broadcast receiving program
WO2006048963A1 (en) * 2004-11-02 2006-05-11 Tv Asahi Data Vision Corporation Captioned still image content creating device, captioned still image content creating program and captioned still image content creating system
JP4448477B2 (en) * 2004-12-28 2010-04-07 株式会社テレビ朝日データビジョン Delay control apparatus and delay control program for video signal with caption
JP2006324779A (en) * 2005-05-17 2006-11-30 Sony Corp Caption distributing system, caption transmitting apparatus, caption synthesis apparatus and subtitle distributing method

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010034800A (en) * 2008-07-28 2010-02-12 Asutemu:Kk Sign-language interpretation system, broadcasting apparatus, sign-language interpretation apparatus, broadcasting receiving apparatus, broadcasting method, broadcasting receiving method, and program
JP2010081141A (en) * 2008-09-25 2010-04-08 Nippon Television Network Corp Closed caption system and closed caption method
JP2010183448A (en) * 2009-02-06 2010-08-19 Nec Corp Apparatus and method for transmitting stream signal
US8874058B2 (en) 2009-02-06 2014-10-28 Nec Corporation Stream signal transmission device and transmission method
JP2011146981A (en) * 2010-01-15 2011-07-28 Mitsubishi Electric Corp Video display device
JPWO2012093425A1 (en) * 2011-01-07 2014-06-09 株式会社スピードワープロ研究所 Digital subtitle broadcast recorder
JP2013172181A (en) * 2012-02-17 2013-09-02 Sony Corp Receiving device and caption processing method
JP2014003351A (en) * 2012-06-15 2014-01-09 Alpine Electronics Inc On-vehicle digital broadcast receiver and caption display control method
WO2015032928A1 (en) * 2013-09-09 2015-03-12 Thomson Licensing Method for determining a time stamp relating to synchronization and associated device
CN108028966A (en) * 2015-07-16 2018-05-11 纳宝商务平台株式会社 video providing device, video providing method and computer program
JP2018528730A (en) * 2015-07-16 2018-09-27 ネイバー ビジネス プラットフォーム コーポレーション Movie providing apparatus, movie providing method, and computer program therefor
US10595067B2 (en) 2015-07-16 2020-03-17 Naver Business Platform Corporation Video providing apparatus, video providing method, and computer program
CN108028966B (en) * 2015-07-16 2021-06-08 纳宝商务平台株式会社 Video providing device, video providing method, and computer program
JP2020053715A (en) * 2018-09-21 2020-04-02 西都速記株式会社 Information processing system, information processing method, and information processing program

Similar Documents

Publication Publication Date Title
JP2007324872A (en) Delay controller and delay control program for video signal with closed caption
JP4448477B2 (en) Delay control apparatus and delay control program for video signal with caption
JP4616274B2 (en) Still image content creation device with caption, still image content creation program with caption, and still image content creation system with caption
EP2356654B1 (en) Method and process for text-based assistive program descriptions for television
JP5903924B2 (en) Receiving apparatus and subtitle processing method
US8112783B2 (en) Method of controlling ouput time and output priority of caption information and apparatus thereof
JPWO2013136754A1 (en) Display device and transmission device
WO2009155847A1 (en) A data transmission interface device, a transmitter and a method for transmitting multimedia data
JP2004080476A (en) Digital video reproducing device
KR20150021258A (en) Display apparatus and control method thereof
KR100678938B1 (en) Apparatus and method for synchronization between moving picture and caption
WO2011142129A1 (en) Digital broadcast reception device, and digital broadcast reception method
JP2004207821A (en) Subtitle broadcast receiver, subtitle broadcast receiving method, and subtitle broadcast receiving program
JP2010081141A (en) Closed caption system and closed caption method
JP2003259312A (en) Caption program data conversion apparatus
JP2002010222A (en) Teletext broadcasting receiving device
JP2004172864A (en) Controller for display of superimposed-dialogue
JP2005012499A (en) Method and device for reproducing data
JP2007110310A (en) Video display device
JP2020115626A (en) Subtitle delay control device, control method and program
JP2009152753A (en) Video display device
KR100782196B1 (en) (an) image display device for having time shift function and method for playing of the same
WO2013038636A1 (en) Display device and recording/playback device
JP5940007B2 (en) Digital broadcast multiplexing apparatus and digital broadcast multiplexing system
EP3554092A1 (en) Video system with improved caption display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120306