JP2006324779A - 字幕配信システム、字幕送信装置、字幕合成装置及び字幕配信方法 - Google Patents

Abstract

【課題】
放送中の番組に対してリアルタイムで入力された字幕を、番組の映像と同期して合成表示する。
【解決手段】
字幕文字列の入力開始時刻を示す開始時刻情報を当該字幕文字列に付して字幕送信装置から配信し、字幕合成装置側では、映像を映像遅延時間だけ遅延させるとともに、受信した字幕文字列を、開始時刻情報で示されるタイミングよりも字幕遅延時間だけ遅いタイミングで、遅延された映像に対して合成することにより、映像及び字幕の表示タイミングを略一致させて表示することができ、放送中の番組に対してリアルタイムで入力された字幕を番組映像と同期して合成表示することができる。
【選択図】 図１

Description

本発明は字幕配信システム、字幕送信装置、字幕合成装置及び字幕配信方法に関し、例えば放送中のテレビ番組の音声に対応する字幕をリアルタイムで入力して配信する場合に適用して好適なものである。

従来、ＤＶＤ（Digital Versatile Disc）等のビデオソフトや一部のテレビ番組において、映像や音声と共に字幕が提供されているものがあり、聴覚障害者や他言語利用者に対してもその内容をより良く伝え得るようになされている。

これに加えて近年、インターネットを介した字幕配信システムが開始されている。かかる字幕配信では、字幕入力者がビデオソフトの音声を字幕データとして入力し、これを予めインターネット上の字幕配信サーバに格納しておく。そして字幕配信を利用する鑑賞者は、視聴するビデオソフトに対応した字幕データを字幕配信サーバから取得し、当該ビデオソフトの再生に合わせて字幕データをパーソナルコンピュータ（以下、パソコンと呼ぶ）上に表示していくことにより、元来字幕が付されていないビデオソフトでも字幕を見ながら鑑賞することができる。

さらには、現在放送中のテレビ番組の音声を字幕入力者が逐次文字入力し、これを字幕データとして例えばインターネットのＩＲＣ(Internet Relay Chat)やＢＢＳ（Bulletin Board System）等を利用して配信することにより、字幕が付されていないテレビ番組についてもリアルタイムで字幕を表示させることができるリアルタイム字幕配信システムも開始されている（例えば、非特許文献１参照）。
http://www.normanet.ne.jp/~rtcap/

上述したビデオソフト用の字幕配信システムやリアルタイム字幕配信システムでは、字幕をパソコン上に表示するため、鑑賞者は映像が表示されるテレビモニタと字幕が表示されるパソコンのモニタとを交互に見比べながら番組を鑑賞する必要があるとともに、鑑賞者がパソコンを所有していない場合や、パソコンの操作に習熟していない場合は、字幕配信システムを利用し得ないという問題があった。

またリアルタイム字幕配信システムでは、テレビ番組の音声を字幕入力者が逐次入力しながら配信するため、テレビ番組の音声に対して字幕の表示に遅れが生じることを避け得ず、音声と字幕とが同期しないという問題があった。

本発明は以上の点を考慮してなされたもので、放送中の番組に対してリアルタイムで入力された字幕を、番組の映像と同期して合成表示し得るリアルタイム字幕配信システムを提案しようとするものである。

かかる課題を解決するため本発明においては、映像に付された音声に対応する字幕文字列を送信する字幕送信装置と、受信した字幕文字列を映像に合成して表示する字幕合成装置とを有する字幕配信システムにおいて、字幕文字列を入力する字幕文字列入力手段と、字幕文字列の入力開始時刻を示す開始時刻情報を当該字幕文字列に付して送信する字幕文字列送信手段とを字幕送信装置に設けるとともに、映像を所定の映像遅延時間だけ遅延させる映像遅延手段と、受信した字幕文字列を、その開始時刻情報で示されるタイミングよりも所定の字幕遅延時間だけ遅いタイミングで、遅延された映像に合成する字幕合成手段とを字幕合成装置に設けた。

そして、映像遅延時間を、字幕入力者が字幕文字列の一文を入力完了するに足る時間よりも長く設定した。また字幕遅延時間は、字幕入力者が音声を聞いてから字幕文字列を入力開始するまでの入力遅延時間を、映像遅延時間から減算した値とした。

これにより、字幕送信装置側で字幕文字列が入力完了した後に、字幕合成装置側で当該字幕文字列及びこれに対応する映像を表示開始し、さらに、字幕文字列の入力開始遅れを考慮して、字幕文字列を映像よりも入力表示遅延だけ早く表示開始することで、映像及び字幕の表示タイミングを略一致させて表示することができる。

本発明によれば、字幕文字列を入力する字幕文字列入力手段と、字幕文字列の入力開始時刻を示す開始時刻情報を当該字幕文字列に付して送信する字幕文字列送信手段とを字幕送信装置に設けるとともに、映像を所定の映像遅延時間だけ遅延させる映像遅延手段と、受信した字幕文字列を、その開始時刻情報で示されるタイミングよりも所定の字幕遅延時間だけ遅いタイミングで、遅延された映像に合成する字幕合成手段とを字幕合成装置に設けたことにより、字幕送信装置側で字幕文字列が入力完了した後に、字幕合成装置側で当該字幕文字列及びこれに対応する映像を表示開始し、さらに、字幕文字列の入力開始遅れを考慮して、字幕文字列を映像よりも入力表示遅延だけ早く表示開始することで、映像及び字幕の表示タイミングを略一致させて表示することができ、放送中の番組に対してリアルタイムで入力された字幕を番組映像と同期して合成表示し得るリアルタイム字幕配信システムを実現することができる。

以下図面について、本発明の一実施の形態を詳述する。

（１）リアルタイム字幕配信システムの全体構成
図１において、１は全体として本発明を適用したリアルタイム字幕配信システムの構成を示し、字幕送信装置としての字幕入力パソコン２（２Ａ〜２Ｃ）、字幕配信サーバ３及び字幕合成装置としての字幕データ受信装置４がインターネット５を介して相互に接続されている。

複数の字幕入力者１００は、予め定められた共通のテレビ番組をテレビジョン装置５０を用いて視聴しながら、その音声を、それぞれの字幕入力パソコン２のキーボードを用いて文字入力して行く。各字幕入力パソコン２は、入力された字幕文字を文字データＤ１として字幕配信サーバ３に送信する。字幕配信サーバ３は、各字幕入力パソコン２から送信された文字データＤ１を字幕データＤ２として各字幕データ受信装置４に配信する。

字幕データ受信装置４は、字幕入力者１００が視聴中のものと同じテレビ番組をアンテナ７を介して受信するとともに、字幕配信サーバ３が配信する字幕データＤ２を受信し、当該字幕データＤ２に基づく字幕をテレビ番組の映像に合成してモニタ６に表示することにより、鑑賞者に対してテレビ番組の映像及び字幕を同一画面上に表示するようになされている。

ここで、リアルタイム字幕配信システム１は字幕の入力及び配信にＩＲＣの技術を利用している。すなわち字幕入力パソコン２は、そのＣＰＵ（Central Processing Unit）が、ＩＲＣソフトをベースにした字幕入力プログラムを、内蔵するハードディスクドライブから読み出して実行することにより字幕入力機能を実現する。図２は、字幕入力プログラムが字幕入力パソコン２の表示部に表示する字幕入力画面２０の構成を示し、その最下段には字幕入力者１００が字幕文字を入力するための文字入力欄２１が設けられているとともに、その上方には、他の字幕入力者１００が入力中の字幕文字を個別に表示する個別字幕表示欄２２（２２Ａ〜２２Ｃ）が設けられている。

図２に示した状態では、字幕配信サーバ３に３台の字幕入力パソコン２が接続されているため、計３つの個別字幕表示欄２２Ａ〜２２Ｃが表示されているが、この数は字幕配信サーバ３に接続される字幕入力パソコン２の数に応じて増減する。また個別字幕表示欄２２Ａ〜２２Ｃの左方には、入力者ＩＤ（後述）に基づく入力者名２３がそれぞれ表示される。

各字幕入力者１００はテレビ番組の音声を聴き取り、字幕入力パソコン２のキーボードを用いて字幕文字を入力する。このとき、番組の出演者それぞれに対し、字幕入力者１００を担当として割り当てておいても、担当を定めず手空きの字幕入力者１００が流動的に出演者の音声を文字入力していくようにしてもよい。

字幕入力パソコン２は、字幕入力者１００によって入力された字幕文字を一文字ずつ文字入力欄２１に表示していく。また、各字幕入力パソコン２にはそれぞれ個別の入力者ＩＤが付されており、字幕入力パソコン２は入力された字幕文字に当該入力者ＩＤを付して、上述した文字データＤ１として１文字ずつ字幕配信サーバ３に送信していく。

字幕配信サーバ３はＩＲＣサーバでなり、受信した文字データＤ１を逐次各字幕入力パソコン２に配信するとともに、内蔵するハードディスクドライブに蓄積していく。字幕入力パソコン２は、受信した文字データＤ１を入力者ＩＤに基づいて分別し、当該入力者ＩＤに対応した個別字幕表示欄２２Ａ〜２２Ｃに表示していく。

かくしてリアルタイム字幕配信システム１の字幕入力パソコン２は、他の字幕入力者１００が入力している字幕文字を対応する個別字幕表示欄２２に１文字ずつ逐次表示していき、字幕入力者１００に対して、他の字幕入力者１００がどのような音声をどこまで入力しているかといった入力状態をリアルタイムで把握させ得るようになされている。

このためリアルタイム字幕配信システム１では、各字幕入力者１００が互いに協調し合いながら字幕入力を行うことができ、これにより、複数の字幕入力者１００が同じ出演者の音声を同時に字幕入力してしまうことや、入力漏れを防止することができる。

なお、文字入力欄２１に入力された字幕文字は入力確定されたものではなく、バックスペースキーやデリートキー等を用いて自在に変更や削除が可能である。そして字幕入力パソコン２及び字幕配信サーバ３は、このような編集操作情報についても他の字幕入力パソコン２に配信する。これにより個別字幕表示欄２２Ａ〜２２Ｃには、他の字幕入力者１００による字幕文字の変更や削除が逐次反映されていく。

さらに字幕入力者１００は、聴き取り対象の出演者が一時発言を中断した時（すなわち音声中断時）や、字幕として区切りが良い時にリターンキーを押下することにより、入力した字幕文字を確定することができる。これに応じて字幕入力パソコン２は、字幕確定情報を入力者ＩＤとともに字幕配信サーバ３に送信するとともに、文字入力欄２１に表示していた字幕文字を消去し、新たな字幕文字の入力を待機する。また字幕入力パソコン２は、字幕文字の入力開始時点から所定の入力期間が経過した場合、自動的に字幕確定情報を送信することにより、字幕文字列の一文が長くなりすぎないように制御する。

字幕配信サーバ３は字幕確定情報を受信すると、その字幕入力者が入力していた字幕文字を字幕文字列として確定し、これを字幕データＤ２として各字幕入力パソコン２及び字幕データ受信装置４に配信する。

字幕入力パソコン２は字幕データＤ２を受信すると、その字幕文字列を字幕入力画面２０の字幕表示欄２４に表示する。字幕表示欄２４は字幕文字列を複数行（例えば６行）表示し得るようになされており、新たに到着した字幕文字列をその最下段に表示するとともに、古い字幕文字列を上方にスクロールさせて順次消去していく。

一方、図３は字幕データ受信装置４の構成を示し、制御部１０が装置全体を制御するようになされている。字幕データ受信装置４の放送受信部１１は、アンテナ７を介してテレビジョン放送を受信してその映像を一旦バッファ１４に蓄積し、後述する映像遅延時間ｄＢだけ遅延させて字幕合成部１３に供給する。一方データ送受信部１２は、字幕配信サーバ３（図１）から送信される字幕データＤ２を受信し、その字幕文字列をテレビ番組の映像に同期するタイミングで字幕合成部１３に供給する。そして字幕合成部１３は、放送受信部１１から供給されるテレビ番組の映像に字幕文字列を合成し、外部のモニタ６に供給して表示する。

また字幕データ受信装置４は、受信したテレビ番組の代わりに、外部のビデオデッキ等の映像供給手段から放送受信部１１に入力された映像に対しても、字幕文字列を合成して表示し得るようになされている。

かくしてリアルタイム字幕配信システム１は、字幕が付されていないテレビ番組の映像に対し、複数の字幕入力者１００が入力した字幕を合成して同一画面上でリアルタイムに表示することができる。

（２）リアルタイム字幕配信システムにおける映像と字幕の同期
上述したように、字幕入力者１００はテレビ番組の音声を聴き取りながら字幕文字をキーボード入力していき、適宜修正やかな漢字変換等を行いながら、発言の中断時や字幕として区切りが良い時などにリターンキーを押下して字幕文字列を確定する。このため、データ受信装置４に対して字幕データＤ２が配信されるのは、当該字幕データＤ２に対応する音声が終了して文字入力が完了した以降となる。

また字幕入力者１００は、聴き取った音声の１音１音を即座に入力していくのではなく、単語や文のような言語単位を聴き取ってその内容を理解した後に字幕文字の入力を開始する。このため字幕文字の入力開始タイミングも、音声の開始タイミングに対して若干遅れることになる。

従って、テレビ番組の映像と字幕文字列とをそのまま合成して表示した場合、元となる音声が終了した後に字幕文字列が表示されることになり、映像と字幕との同期が取れないという問題がある。

このためリアルタイム字幕配信システム１では、システム全体で同一の共通クロックｃｋと、映像遅延時間ｄＢ及び入力遅延時間ｄＩに基づいて映像及び字幕をそれぞれ個別に遅延させて表示していくことにより、映像及び字幕を同期して表示するようになされている。

共通クロックｃｋは、リアルタイム字幕配信の対象となるテレビ番組の放送開始時間を「０秒」とする番組個別のクロックである。そして共通クロックｃｋは、字幕配信サーバ３が字幕入力パソコン２及び字幕データ受信装置４に供給しても、あるいはインターネット上のクロックサーバから供給される時刻情報を字幕入力パソコン２、字幕配信サーバ３及び字幕データ受信装置４が取得するようにしてもよく、要は字幕入力パソコン２、字幕配信サーバ３及び字幕データ受信装置４の３者共通の時刻情報であればよい。

映像遅延時間ｄＢは、字幕データ受信装置４における映像表示の遅延を規定するものであり、字幕入力者１００が音声を聴き取り始めてから字幕文字入力を完了するまでの期間よりも長く設定する（例えば７秒）。これによりリアルタイム字幕配信システム１では、あるシーンの映像を字幕データ受信装置４が表示開始する時点において、当該シーン内で発話された音声についての字幕文字列の一文が入力完了しており、このため当該シーンに対応する字幕文字列を映像と同時に表示することができる。

入力遅延時間ｄＩは、字幕入力者１００が音声を聴き取り始めてから字幕文字入力を開始するまでの入力開始遅れ期間（例えば２秒）に相当する。実際上、この入力開始遅れ時間は字幕入力者の習熟度や疲労度等に応じて様々に変化するが、例えば各字幕入力者の平均値に合わせたり、あるいは最も習熟度が低い字幕入力者の値に合わせる等、適宜増減してもよい。

また、これら映像遅延時間ｄＢ及び入力遅延時間ｄＩは、字幕配信サーバ３で決定した値を字幕入力パソコン２及び字幕データ受信装置４に供給しても、字幕入力者１００が字幕入力パソコン２を用いて設定した値を他の字幕入力パソコン２、字幕配信サーバ３及び字幕データ受信装置４に供給してもよい。

字幕入力手段及び字幕文字列送信手段としての字幕入力パソコン２は、文字入力欄２１に最初の字幕文字が入力された時の時刻情報を共通クロックｃｋから取得し、これを開始時刻ｔＳとして当該最初の字幕文字の文字データＤ１に付加して字幕配信サーバ３に送信し、さらにその値を字幕表示欄２４左方の入力開始時刻表示欄２５に表示する。

また字幕入力パソコン２は、字幕配信サーバ３から受信した文字データＤ１に付されている開始時刻ｔＳを、個別字幕表示欄２２Ａ〜２２Ｃの左方の個別入力開始時刻表示欄２６にそれぞれ表示する。

かくしてリアルタイム字幕配信システム１の字幕入力パソコン２は、他の字幕入力者１００が入力している字幕文字と共にその開始時刻ｔＳを表示して、他の字幕入力者１００の入力状態をさらに詳細に把握させ得るようになされている。このためリアルタイム字幕配信システム１では、複数の字幕入力者１００が同じ音声に対して字幕入力を開始した場合でも、自己の入力開始時刻表示欄２４及び他者の個別入力開始時刻表示欄２６の表示を見比べることで入力開始タイミングを把握し、遅れて入力開始した字幕入力者１００は入力を中止して新たな音声に対して待機することができる。

一方字幕配信サーバ３は、字幕入力パソコン２から受信した文字データＤ１が字幕文字列として確定すると、最初の文字データＤ１に付されていた開始時刻ｔＳを字幕データＤ２に付して字幕データ受信装置４に配信する。

そして字幕データ受信装置４は共通クロックｃｋに基づき、受信中のテレビ番組の映像を上述した映像遅延時間ｄＢだけ遅延させて表示するとともに、字幕データＤ２を、その開始時刻ｔＳから、字幕遅延時間ｄＴ（＝映像遅延時間ｄＢ−入力遅延時間ｄＩ）だけ遅延させて表示することにより、字幕の入力遅れを補って映像及び字幕を同期して表示する。

次に、上述したリアルタイム字幕配信システム１における字幕入力及び字幕表示のタイミングの例を、図４に示すタイミングチャートを用いて詳細に説明する。

図４のタイミングチャートにおける上半分は、入力者側（すなわち字幕入力パソコン２側）におけるテレビ放送とそれに対する字幕入力のタイミングを示し、下半分は、鑑賞者側（すなわち字幕データ受信装置４側）におけるテレビ放送の映像及び字幕の表示タイミングを示している。入力者側及び鑑賞者側は、同一の共通クロックｃｋに基づいて動作する。なお、説明の便宜上、テレビ放送は２秒毎にシーンが切り替わる（シーンＡ、シーンＢ、シーンＣ、……）ものとする。３人の入力者は各シーンの音声を分担しながら字幕入力していく。また映像遅延時間ｄＢ＝７[秒]、入力遅延時間ｄＩ＝２[秒]とする。

まず、時点ｃｋ＝０〜２[秒]の間のシーンＡに対する字幕文字列ａを入力者Ａが入力している。このとき入力者Ａは、当該シーンＡの開始タイミング（ｃｋ＝０[秒]）から２秒遅れたタイミング（ｃｋ＝２[秒]）から入力を開始し、４秒間かけて字幕入力を行って時点ｃｋ＝６[秒]で入力を完了（リターンキー押下による字幕文字確定）している。この場合入力者Ａの字幕入力パソコン２は、字幕文字が入力開始されたタイミングを示す開始時刻ｔＳ＝２[秒]を字幕文字の最初の文字データＤ１に付加して字幕配信サーバ３に送信するとともに、時点ｃｋ＝６[秒]において字幕確定情報を字幕配信サーバ３に送信する。

次に、時点ｃｋ＝２〜４[秒]の間のシーンＢに対する字幕文字列ｂを入力者Ｂが入力している。このとき入力者Ｂは、当該シーンＢの開始タイミング（ｃｋ＝２[秒]）から１秒遅れたタイミング（ｃｋ＝３）から入力を開始し、３秒間かけて字幕入力を行って時点ｃｋ＝６[秒]で入力を完了している。この場合入力者Ｂの字幕入力パソコン２は、開始時刻ｔＳ＝３[秒]を字幕文字の最初の文字データＤ１に付加して字幕配信サーバ３に送信するとともに、時点ｃｋ＝６[秒]において字幕確定情報を字幕配信サーバ３に送信する。

続く時点ｃｋ＝４〜６[秒]の間のシーンＣに対する字幕文字列ｃを入力者Ｃが入力している。このとき入力者Ｃは、当該シーンＣの開始タイミング（ｃｋ＝４[秒]）から２秒遅れたタイミング（ｃｋ＝６[秒]）から入力を開始し、３秒間かけて字幕入力を行って時点ｃｋ＝９[秒]で入力を完了している。この場合入力者Ｃの字幕入力パソコン２は、開始時刻ｔＳ＝６[秒]を字幕文字の最初の文字データＤ１に付加して字幕配信サーバ３に送信するとともに、時点ｃｋ＝９[秒]において字幕確定情報を字幕配信サーバ３に送信する。

以下同様に、各入力者は順次分担を変えながら字幕入力を続けていく。これと平行して字幕配信サーバ３は、各字幕入力パソコン２から受信した文字データＤ１が字幕確定情報によって確定されると、最初の文字データＤ１に付されていた開始時刻ｔＳを字幕データＤ２に付して各字幕データ受信装置４に配信していく。

これにより各字幕データ受信装置４に対して、ｔＳ＝２[秒]が付された字幕文字列ａ、ｔＳ＝３[秒]が付された字幕文字列ｂ、ｔＳ＝６[秒]が付された字幕文字列ｃ、……が、順次字幕データＤ２として順次配信されていく。

一方字幕データ受信装置４は、映像遅延時間ｄＢ及び入力遅延時間ｄＩに基づいて、テレビ映像及び字幕データＤ２の字幕文字列をそれぞれ遅延させて表示する。

字幕データ受信装置４は、受信中のテレビ映像を映像遅延時間ｄＢ＝７[秒]だけ遅延させて表示する。例えばシーンＡは共通クロックの時点ｃｋ７〜９[秒]、シーンＢは時点ｃｋ９〜１１[秒]、シーンＣは時点ｃｋ１１〜１３[秒]に順次表示される。

また字幕データ受信装置４は、受信した字幕データＤ２の字幕文字列を、その開始時刻ｔＳから字幕遅延時間ｄＴ＝映像遅延時間ｄＢ−入力遅延時間ｄＩ＝７[秒]−２[秒]＝５[秒]だけ遅延させて表示する。このことは、字幕文字列を映像よりも入力遅延時間ｄＩだけ早めて表示することを意味する。

例えば、シーンＡに対応する字幕文字列ａ（ｔＳ＝２[秒]）は時点ｃｋ＝７[秒]から、シーンＢに対応する字幕文字列ｂ（ｔＳ＝３[秒]）は時点ｃｋ＝８[秒]から、シーンＣに対応する字幕文字列ｃ（ｔＳ＝６[秒]）は時点ｃｋ＝１１[秒]から順次表示される。

このようにして字幕データ受信装置４は、テレビ放送の映像を、字幕入力者が字幕文字列の１文を入力完了するに足る映像遅延時間ｄＢだけ遅延して表示するとともに、当該映像に対応する字幕文字列を、字幕入力者が音声を聴き取ってから字幕文字の入力を開始するまでの入力遅延分だけ映像よりも早めて表示することにより、映像及び字幕の表示タイミングを略一致させて表示することができる。

さらに字幕データ受信装置４は、ユーザの好みに応じて字幕文字の表示開始タイミングを微調整し得るようになされている。すなわち字幕データ受信装置４は、ユーザによってユーザ調整時間ｄＡが設定されている場合、字幕データＤ２の字幕文字列をさらに当該ユーザ調整時間ｄＡだけ遅延させて表示する。

例えば、ユーザ調整時間ｄＡが１[秒]に設定されている場合、字幕文字列をその開始時刻ｔＳから字幕遅延時間ｄＴ＋ユーザ調整時間ｄＡ＝５[秒]＋１[秒]＝６[秒]遅延させて表示する。また、ユーザ調整時間ｄＡはマイナスの値を設定することもでき、この場合字幕データＤ２の字幕文字列を当該ユーザ調整時間ｄＡだけ速く表示する。

（３）録画された番組に対する字幕データの使用
このようにして字幕配信サーバ３が生成した一連の字幕データＤ２は、放送中のテレビ番組のみならず、家庭のビデオレコーダ等で録画したテレビ番組に対しても使用することができる。この場合、字幕文字列は既に入力が完了していることから、単に字幕文字列を映像よりも入力遅延時間ｄＩだけ早めて表示すれば良い。

すなわち字幕配信サーバ３は、生成した字幕データＤ２を、内蔵するハードディスクドライブ等の記憶手段（図示せず）に記憶しておく。一方字幕データ受信装置４のユーザ（鑑賞者）は、別途ビデオレコーダ等を用いて、字幕データＤ２の元となったテレビ番組を録画しておく。そして字幕データ受信装置４のユーザは、録画したテレビ番組の再生に先立ち、当該テレビ番組に対応した字幕データＤ２を字幕配信サーバ３から字幕データ受信装置４の記憶手段（図示せず）にダウンロードする。

字幕データ受信装置４は、ビデオレコーダ等から入力される録画済みのテレビ番組の映像に対して、ダウンロードした字幕データＤ２の文字列を合成して表示していく。このとき字幕データ受信装置４は、再生されたテレビ番組の開始タイミングをｃｋ＝０[秒]とする共通クロックｃｋに基づき、字幕データＤ２の字幕文字列を、その開始時刻ｔＳから入力遅延時間ｄＩだけ早く表示していくことにより、録画されたテレビ番組の映像に同期して字幕文字列を表示することができる。

（４）動作及び効果
以上の構成において、リアルタイム字幕配信システム１の字幕入力パソコン２は共通クロックｃｋに基づき、字幕入力者によって入力された文字データＤ１に対し、その入力開始タイミングを示す開始時刻ｔＳを付加して字幕配信サーバ３に送信する。

これと同時に字幕入力パソコン２は、他の字幕入力パソコン２が送信した文字データＤ１を字幕配信サーバ３を介して受信し、その字幕文字及び開始時刻ｔＳを、当該字幕入力パソコン２で入力されている字幕文字とともに表示する。

これによりリアルタイム字幕配信システム１では、各字幕入力者に対し、他の字幕入力者による字幕文字の入力状況を詳細に把握させることができ、複数の字幕入力者が同じ音声に対して字幕入力を開始した場合でも、互いの入力開始タイミングに基づいて入力の継続又は中止を的確に判断させることができる。

そしてリアルタイム字幕配信システム１の字幕配信サーバ３は、字幕入力パソコン２から字幕確定情報を受け付けると、それまでに受信していた文字データＤ１の文字列を字幕データＤ２として確定し、これに開始時刻ｔＳを付して各字幕データ受信装置４に配信する。

字幕データ受信装置４は共通クロックｃｋに基づき、受信中のテレビ番組の映像を映像遅延時間ｄＢだけ遅延させて表示するとともに、字幕データＤ２を、その開始時刻ｔＳから字幕遅延時間ｄＴだけ遅延させて表示する。

これによりリアルタイム字幕配信システム１では、字幕入力パソコン２側で字幕文字列が入力完了した後に、字幕データ受信装置４側で当該字幕文字列及びこれに対応する映像を表示開始し、さらに、字幕文字列の入力開始遅れを考慮して、字幕文字列を映像よりも入力遅延時間ｄＩだけ早く表示開始することで、映像及び字幕の表示タイミングを略一致させて表示することができる。

（５）他の実施の形態
なお上述の実施の形態においては、字幕入力者はパソコンを用いて字幕入力を行うとともに、鑑賞者側では専用の字幕データ受信装置を用いてリアルタイム字幕配信システムを構成するようにしたが、本発明はこれに限らず、字幕入力者側及び鑑賞者側の双方がパソコンを用い、ＢＢＳ（Bulletin Board System：電子掲示板システム）のチャット画面上で字幕入力及び字幕表示を行うようにしてもよい。

この場合、鑑賞者側のパソコンにはテレビ放送の受信機能（例えば内蔵テレビチューナ等）を備えている必要がある。そして、字幕入力者及び鑑賞者はそれぞれのパソコンをチャットサーバに接続し、同一の共通クロックｃｋ、映像遅延時間ｄＢ及び入力遅延時間ｄＩを設定しておく。

字幕入力者側のパソコンは、入力された字幕文字列に開始時刻ｔＳを付してチャットサーバに送信する。チャットサーバは、字幕入力者側のパソコンから受信した字幕文字列を字幕入力者及び鑑賞者のパソコンに送信する。そして字幕入力者側のパソコンは、チャットサーバから受信した各字幕文字列を開始時刻ｔＳ順に表示していくことにより、他の字幕入力者の入力状況を見比べながら字幕入力を行わせることができる。

一方、鑑賞者側のパソコンは、受信中のテレビ番組の映像を映像遅延時間ｄＢだけ遅延させるとともに、チャットサーバから順次送信される字幕文字列をその開始時刻ｔＳから映像遅延時間ｄＢ−入力遅延時間ｄＩだけ遅延させ、これらを合成して表示することにより、映像及び字幕の表示タイミングを略一致させて表示することができる。

また上述の実施の形態においては、字幕データ受信装置４がテレビ映像と字幕とをそれぞれ遅延して合成し外部のモニタ６に表示するようにしたが、本発明はこれに限らず、テレビジョン装置に字幕データ受信装置の機能を内蔵し、当該テレビジョン装置単体で字幕データＤ２の受信及び字幕文字列の合成を行うようにしても良い。

本発明によるリアルタイム字幕配信システムの全体構成を示すブロック図である。 字幕入力画面の構成を示す略線図である。 字幕データ受信装置の構成を示すブロック図である。 映像及び字幕の表示タイミングの説明に供するタイミングチャートである。

符号の説明

１……リアルタイム字幕配信システム、２……字幕入力パソコン、３……字幕配信サーバ、４……字幕データ受信装置、１０……制御部、１１……放送受信部、１２……データ送受信部、１３……字幕合成部、１４……バッファ、５０……テレビジョン装置。

Claims (6)

1. 映像に付された音声に対応する字幕文字列を送信する字幕送信装置と、受信した上記字幕文字列を上記映像に合成して表示する字幕合成装置とを有する字幕配信システムであって、
   上記字幕送信装置は、
   上記字幕文字列を入力する字幕文字列入力手段と、
   上記字幕文字列の入力開始時刻を示す開始時刻情報を当該字幕文字列に付して送信する字幕文字列送信手段と
   を具え、
   上記字幕合成装置は、
   上記映像を所定の映像遅延時間だけ遅延させる映像遅延手段と、
   受信した上記字幕文字列を、その開始時刻情報で示されるタイミングよりも所定の字幕遅延時間だけ遅いタイミングで、上記遅延された映像に合成する字幕合成手段と
   を具えることを特徴とする字幕配信システム。
2. 上記映像遅延時間は、字幕入力者が上記字幕文字列の一文を入力完了するに足る時間よりも長く設定されている
   ことを特徴とする請求項１に記載の字幕配信システム。
3. 上記字幕遅延時間は、上記字幕入力者が上記音声を聞いてから上記字幕文字列を入力開始するまでの入力遅延時間を、上記映像遅延時間から減算した値でなる
   ことを特徴とする請求項１に記載の字幕配信システム。
4. 映像に付された音声に対応する字幕文字列を当該映像に合成して表示する字幕合成装置に対し、上記字幕文字列を送信する字幕送信装置であって、
   上記字幕文字列を入力する字幕文字列入力手段と、
   上記字幕文字列の入力開始時刻を示す開始時刻情報を当該字幕文字列に付して送信する字幕文字列送信手段と
   を具えることを特徴とする字幕送信装置。
5. 映像に付された音声に対応する字幕文字列を当該映像に合成して表示する字幕合成装置であって、
   上記映像を所定の映像遅延時間だけ遅延させる映像遅延手段と、
   上記字幕文字列に付されている当該字幕文字列の入力開始時刻を示す開始時刻情報に基づき、当該字幕文字列を、その開始時刻情報で示されるタイミングよりも所定の字幕遅延時間だけ遅いタイミングで、上記遅延された映像に合成する字幕合成手段と
   を具えることを特徴とする字幕合成装置。
6. 映像に付された音声に対応する字幕文字列を生成して配信し、配信された字幕文字列を上記映像に合成して表示する字幕配信方法において、
   上記映像に付された音声に対応する字幕文字列を入力する字幕文字列入力ステップと、
   上記字幕文字列の入力開始時刻を示す開始時刻情報を当該字幕文字列に付して送信する字幕文字列送信ステップと、
   上記映像を所定の映像遅延時間だけ遅延させる映像遅延ステップと、
   受信した上記字幕文字列を、その開始時刻情報で示されるタイミングよりも所定の字幕遅延時間だけ遅いタイミングで、上記遅延された映像に合成する字幕合成ステップと
   を具えることを特徴とする字幕配信方法。
   

Images