JP2004215033A - 合成タイミング調整システム - Google Patents
合成タイミング調整システム Download PDFInfo
- Publication number
- JP2004215033A JP2004215033A JP2003000526A JP2003000526A JP2004215033A JP 2004215033 A JP2004215033 A JP 2004215033A JP 2003000526 A JP2003000526 A JP 2003000526A JP 2003000526 A JP2003000526 A JP 2003000526A JP 2004215033 A JP2004215033 A JP 2004215033A
- Authority
- JP
- Japan
- Prior art keywords
- data
- time
- output
- audio
- subtitle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決すべき課題】文字放送において、受信機の画面に映像と字幕とが適切なタイミングで表示されるようテレビジョンデータと字幕データとの合成タイミングを調整する技術を提供すること。
【課題を解決するための手段】サーバ１０は、テレビジョンデータを字幕作成装置３０に送信した後、同一のテレビジョンデータをインサータ５０に送信する。インサータ５０では、サーバ１０からのテレビジョンデータと、字幕作成装置３０からの字幕データとを合成する。比較装置４０では、各装置２０，３０からの字幕データの入力時間により誤差時間を計算する。この誤差時間に従って、サーバ１０から出力する音声データのサンプル数を増減させる。
【選択図】 図１
【課題を解決するための手段】サーバ１０は、テレビジョンデータを字幕作成装置３０に送信した後、同一のテレビジョンデータをインサータ５０に送信する。インサータ５０では、サーバ１０からのテレビジョンデータと、字幕作成装置３０からの字幕データとを合成する。比較装置４０では、各装置２０，３０からの字幕データの入力時間により誤差時間を計算する。この誤差時間に従って、サーバ１０から出力する音声データのサンプル数を増減させる。
【選択図】 図１
Description
【０００１】
【発明が属する技術分野】
本発明は、放送局側において、字幕放送の映像と字幕とを合成するタイミングを調整する技術に関し、特に、字幕編集に時間をかけることのできない字幕放送において、受信機で映像と字幕とが適切なタイミングで表示されるよう映像と字幕との合成タイミングを調整する技術に関する。
【０００２】
【従来の技術】
テレビ放送の中には字幕放送があり、この字幕放送は、受信機の画面上に１行当たり約１５文字として１行から３行の範囲内で字幕を表示させる放送である。そして、受信機の画面に表示される字幕は人間が読取れる時間を考慮して５〜６秒程度表示された後、この１行から３行分を総入れ替えして新たな字幕を受信機の画面に表示させる。このように、受信機の画面上に字幕を表示させる為には、放送局側において、放送する番組の音声に対応する字幕データを作成し、この作成した字幕データを文字放送方式で視聴者に伝送し、専用の文字放送デコーダにて映像データに合成する。
【０００３】
ところで、字幕付き番組では、通常、字幕編集に１週間程度かかる。例えば、ドラマ番組等の字幕編集に時間のかけられる番組では、まず、録画された映像や音声に基づいてワープロ等で字幕データを作成する。そして、受信機の画面に表示される字幕が視聴者にとって自然に感じられる（音声の出力される前（約０．５秒前）に字幕が表示される）ように、テレビジョンデータと字幕データとを合成する。
【０００４】
ところが、番組の放送当日に字幕編集を行なわなければならないような場合には、字幕編集に時間をかけることができない。その為、放送局側では、テレビジョンデータに基づいて字幕データを作成しながら、この字幕データをテレビジョンデータに合成して放送しなければならない。この場合において、字幕データを作成する方法として、音声認識プログラムを用いてテレビジョンデータの音声データを字幕データに変換する方法と、オペレータが音声を聴きながらワープロ装置を用いて字幕データを作成する方法とが考えられる。
【０００５】
そして、音声認識プログラムを用いて字幕データに変換する方法は、音声データから字幕データへの変換時間は一定であるが、現在の音声認識プログラムの音声認識能力が約９０％程度である為、変換された字幕データに誤りが混入することがある。
【０００６】
一方、オペレータにより字幕データを作成する方法は、音声データから字幕データへの変換時間に変動をきたすが、テレビジョンデータの音声データから作成された字幕データに誤りが混入することが少ない。
【０００７】
この結果、正確性の求められる字幕データは、オペレータにより作成された字幕データが用いられる。
【０００８】
更に、字幕付き放送では、視聴者に違和感を与えないように、受信機に映し出される字幕が音声の出力タイミングと合うようテレビジョンデータと字幕データとを適切に合成しなければならない。このようにテレビジョンデータと字幕データとを適切に合成する方法として、字幕データへの変換タイミングに合わせてテレビジョンデータの出力を調整し、字幕データとテレビジョンデータとを合成する方法と、オペレータの字幕変換時間を考慮して放送時間より前にテレビジョンデータをオペレータに与え、このテレビジョンデータを基に字幕データに変換し、字幕データとテレビジョンデータとを合成する方法とが考えられる。
【０００９】
【発明が解決しようとする課題】
しかしながら、前者の方法では、テレビジョンデータの出力が変動する為、受信機で放映される映像に揺らぎが生じて視聴者に違和感を与えてしまう。つまり、テレビジョンデータの出力は一定にしなければならない。
【００１０】
そこで、本発明では、オペレータの字幕変換時間を考慮し、事前にテレビジョンデータを適切なタイミングでオペレータに与え、字幕データに変換させることで、字幕データとテレビジョンデータとが適切に合成されるよう調整する技術を提供することである。
【００１１】
【課題を解決するための手段】
上記の課題を解決する第１の発明は、音声データと映像データとから成るテレビジョンデータに、字幕データを合成するタイミングを調整するシステムであって、
テレビジョンデータが記憶されている記憶手段と、
前記記憶手段に記憶されている放送用のテレビジョンデータとテレビジョンデータの音声データとを出力する出力手段と、
前記出力手段から出力された音声データから音声を再生し、この再生された音声に基づいて、オペレータの入力により字幕データを生成する生成手段と、
前記出力手段から出力された放送用のテレビジョンデータと前記生成手段で生成された字幕データとを合成する合成手段と、
前記合成手段における放送用のテレビジョンデータと字幕データとの合成タイミングのずれ時間を算出する計算手段と、
前記計算手段で算出したずれ時間に基づいて、前記出力手段から出力する音声データを制御することによって、前記生成手段において再生される音声の速度を調整する制御手段とを有することを特徴とする。
【００１２】
上記の課題を解決する第２の発明は、第１の発明において、前記合成タイミング調整システムは、
前記出力手段から出力される放送用のテレビジョンデータを一定の変換速度で字幕データに変換する変換手段を有し、
前記計算手段は、前記生成手段で生成された字幕データのうち、任意の字幕データと同一の字幕データを前記変換手段で変換された字幕データから検索し、前記検索した字幕データの前記変換手段における変換終了時の時間から前記任意の字幕データの前記生成手段における生成終了時の時間及び前記変換手段の変換速度を基に算出した変換時間を減算して、前記合成タイミングのずれ時間を算出するように構成され、
前記制御手段は、前記計算手段で算出したずれ時間に基づいて、前記出力手段から出力される音声データのサンプル数を増減させることによって、前記生成手段で再生される音声の速度を調整するよう構成されていることを特徴とする。
【００１３】
上記の課題を解決する第３の発明は、上記第１又は第２の発明において、前記制御手段は、前記計算手段で算出された時間を基に、前記合成手段におけるテレビジョンデータと字幕データとの合成タイミングのずれを判断し、字幕データの合成されたタイミングが適切な合成タイミングより遅れている場合、前記出力手段から出力する音声データのサンプル数を減少させて前記生成手段で再生される音声の速度を加速させ、字幕データが前記合成タイミングより進んでいる場合、前記出力手段から出力する音声データのサンプル数を増加させて前記再生される音声の速度を減速させることを特徴とする。
【００１４】
上記の課題を解決する第４の発明は、上記第２の発明において、前記制御手段は、現在の音声データのサンプル数を段階的に減少又は増加させて目的の音声データのサンプル数に近づけて前記生成手段で再生される音声の速度を段階的に減速又は加速するように制御することを特徴とする。
【００１５】
上記の課題を解決する第５の発明は、上記第１又は第２の発明において、合成タイミング調整システムは、
前記生成手段で生成された字幕データを蓄積する第１の蓄積手段と、
前記変換手段で変換された字幕データを蓄積する第２の蓄積手段とを有し、
前記計算手段は、前記第１の蓄積手段に蓄積されている字幕データから選択した所定の連続の文字と同一の連続の文字が、前記第２の蓄積手段に蓄積されている字幕データに含まれているか否かを判別し、前記同一の連続の文字が含まれている場合、ずれ時間の計算を行うように構成されていることを特徴とする。
【００１６】
上記の課題を解決する第６の発明は、音声データと映像データとから成るテレビジョンデータに、字幕データを合成するタイミングを調整するシステムであって、
テレビジョンデータが記憶されている記憶手段と、
前記記憶手段に記憶されている放送用のテレビジョンデータとテレビジョンデータの音声データとを出力する出力手段と、
前記出力手段から出力された音声データから音声を再生し、この再生された音声に基づいて、オペレータの入力により字幕データを生成する生成手段と、
前記出力手段から出力された放送用のテレビジョンデータを一定の変換速度で字幕データに変換する変換手段と、
前記生成手段で生成された字幕データと前記出力手段から出力された放送用のテレビジョンデータとを合成する合成手段と、
前記生成手段で生成された字幕データが蓄積される第１の蓄積手段と、
前記変換手段で変換された字幕データが蓄積される第２の蓄積手段と、
字幕データの文字と、この文字が第１の蓄積手段に蓄積された時点の時間とが関連付けて記憶される第１のテーブルと、
字幕データの文字と、この文字が第２の蓄積手段に蓄積された時点の時間とが関連付けて記憶される第２のテーブルと、
前記生成手段で生成された字幕データの各文字が前記第１の蓄積手段に蓄積された時点の時間、及び前記変換手段で変換された字幕データの各文字が第２の蓄積手段に蓄積された時点の時間を監視し、字幕データの各文字と該各文字が第１の蓄積手段又は第２の蓄積手段に蓄積された時点の時間とを関連付けて第１のテーブル又は第２のテーブルに記憶させる手段と、
前記第１の蓄積手段に蓄積されている字幕データから選択した所定の連続の文字と同一の連続の文字が前記第２の蓄積手段に蓄積されている字幕データに含まれているか否かを判別する判別手段と、
前記判別手段で同一の連続の文字が含まれていると判別された場合、この文字と同一の文字を前記第１のテーブル及び第２のテーブルから検索し、検索した文字に関連付けられている時間を第１のテーブル及び第２のテーブルから読み出す読出手段と、
前記第２のテーブルより読み出した時間から前記第１のテーブルより読み出した時間及び前記変換手段の変換速度を基に算出した変換時間を減算して、前記合成手段における合成タイミングのずれ時間を算出する計算手段と、
前記計算手段で算出したずれ時間に基づいて、前記出力手段から出力される音声データのサンプル数を増減させることによって前記生成手段で再生される音声の速度を調整する制御手段とを有することを特徴とする。
【００１７】
上記の課題を解決する第７の発明は、上記第６の発明において、前記制御手段は、前記計算手段で算出された時間を基に、前記合成手段におけるテレビジョンデータと字幕データとの合成タイミングのずれを判断し、字幕データの合成されたタイミングが適切な合成タイミングより遅れている場合、前記出力手段から出力する音声データのサンプル数を減少させて前記生成手段で再生される音声の速度を加速させ、字幕データが前記合成タイミングより進んでいる場合、前記出力手段から出力する音声データのサンプル数を増加させて前記再生される音声の速度を減速させることを特徴とする。
【００１８】
上記の課題を解決する第８の発明は、上記第６の発明において、前記制御手段は、現在の音声データのサンプル数を段階的に減少又は増加させて目的の音声データのサンプル数に近づけて前記生成手段で再生される音声の速度を段階的に減速又は加速するように制御することを特徴とする。
【００１９】
上記の課題を解決する第９の発明は、音声データと映像データとから成るテレビジョンデータに、字幕データを合成するタイミングを調整するシステムであって、
テレビジョンデータが記憶されている記憶手段と、
前記記憶手段に記憶されているテレビジョンデータに基づいて、オペレータの入力により字幕データを生成する生成手段と、
前記記憶手段に記憶されているテレビジョンデータを所定の時間遅延させる遅延手段と、
前記遅延手段で遅延されたテレビジョンデータと、前記生成手段で生成された字幕データとを合成する合成手段とを有することを特徴とする。
【発明の実施の形態】
第１の実施の形態について説明する。
【００２０】
まず、本実施の形態の構成について説明する。
【００２１】
図１は合成タイミング調整システムのブロック図である。図２は誤差時間を説明する為の図である。
【００２２】
本実施の形態の合成タイミング調整システムは、サーバ１０と、音声認識装置２０と、字幕作成装置３０と、比較装置４０と、インサータ５０とから構成されている。
【００２３】
サーバ１０は、記憶部１１、タイマー１２、出力部１３、及び出力調整部１４を有する。
【００２４】
音声認識装置２０は、記憶部２１、及び制御部２２を有する。
【００２５】
更に、字幕作成装置３０は、スピーカ３１、入力部３２、及び制御部３３を有する。
【００２６】
比較装置４０は、バッファ４１、４２、タイマー４３、記憶部４４及び制御部４５を有する。
【００２７】
以下、各構成について説明する。
【００２８】
サーバ１０の記憶部１１は、放送用のテレビジョンデータが記憶されている。
【００２９】
サーバ１０のタイマー１２は、現在の時刻（時間）を計時するものである。
【００３０】
サーバ１０の出力部１３は、タイマー１２を監視し、タイマー１２の時間が予め設定されている放送時間になると、出力調整部１４から出力されたテレビジョンデータと同一のテレビジョンデータを記憶部１１から読み出し、この読み出したテレビジョンデータを放送の為のテレビジョンデータとしてインサータ５０に出力するものである。
【００３１】
サーバ１０の出力調整部１４には、放送時間と先行時間とが設定されている。尚、先行時間は、字幕生成装置３０で音声データから字幕データを作成するのに要する大まかな時間であり、経験値である。
【００３２】
また、サーバ１０の出力調整部１４は、タイマー１２を監視し、タイマー１２の時間が放送時間から先行時間を差し引いた時間になると、記憶部１１に記憶されているテレビジョンデータを読み出し、この読み出したテレビジョンデータを字幕データ作成の為のテレビジョンデータとして字幕作成装置３０に向けて出力するものである。例えば、放送時間が（１０ｈ００ｍ００ｓ、ここで、ｈは時間、ｍは分、ｓは秒を表す）であり、先行時間が５ｓである場合、出力調整部１４は、タイマー１２の時間が（１０ｈ００ｍ００ｓ−５ｓ＝９ｈ５９ｍ５５ｓ）になると、記憶部１１に記憶されているテレビジョンデータを字幕作成装置３０で向けて出力する。
【００３３】
また、出力調整部１４は、比較装置４０から送信されて来る誤差時間（ずれ時間）を受信する。尚、誤差時間は、インサータ５０において、字幕作成装置２０からの字幕データと、サーバ１０から出力された放送の為のテレビジョンデータとが適切に合成できるタイミングからどの程度の時間ずれているかを示す時間である。例えば、誤差時間が”０ｓ”である場合、字幕データとテレビジョンデータとが適切に合成されていることを示す。
【００３４】
また、出力調整部１４は、受信した誤差時間を調べる。誤差時間が”０ｓ”である場合、出力調整部１４は現状を維持する。一方、誤差時間が”０ｓ”以外である場合、出力調整部１４は、記憶部１１から読み出したテレビジョンデータの音声データのサンプル数を増減させ、このサンプル数を増減させた音声データを新たな音声データとする。
【００３５】
ところで、サーバ１０から出力する音声データの転送レートは固定されている。この結果、オペレータ（人間）に聞こえる音声スピードを変化させる為には、字幕作成装置３０で再生する音声の総データ量を増減させなければならない。すなわち、サンプル数を増減させた音声データを、固定された転送レートでサーバ１０から出力しなければならない。例えば、現在の音声データの単位時間当たりのサンプル数がＸ ｓａｍｐｌｅであり、字幕作成装置３０のオペレータに聞こえる音声スピードをα倍にする場合、出力調整部１４は、音声データのサンプル数が”Ｘ／α”ｓａｍｐｌｅになるように増減し、単位時間当たりＸｓａｍｐｌｅで出力する。尚、現在の音声データのサンプル数を増減して新たな音声データを作成する技術は、既存の技術であることから詳細な説明は省略する。
【００３６】
更に、出力調整部１４は、どの位の時間（継続時間）、増減させたデータ量の音声データを字幕作成装置３０に送信し続けるかを判断する為、受信した誤差時間を基に継続時間を算出する。例えば、誤差時間をＴ、字幕作成装置３０のオペレータに聞こえる音声スピードが通常の音声スピードのα倍である場合、出力調整部１４は、受信した誤差時間から｜Ｔ／（α−１）｜（ｓ）の計算をして継続時間を求める。
【００３７】
そして、出力調整部１４は、算出した継続時間、音声データのサンプル数を増減させたテレビジョンデータを字幕作成装置３０に送信し続けた後、音声データのサンプル数を元にしたテレビジョンデータを字幕作成装置３０に送信する。
【００３８】
このように、誤差時間を基に算出した継続時間、音声データのサンプル数を増減させたテレビジョンデータを出力調整部１４から出力し続けることで、その間、オペレータに聞こえる音声スピードが変化する。この結果、オペレータは音声スピードの変化に応じて字幕の文字入力のスピードを変化させる。この為、字幕作成装置３０での字幕データの作成スピードが変化し、インサータ５０で字幕データとテレビジョンデータとが適切に合成される。
【００３９】
音声認識装置２０の記憶部２１は、テレビジョンデータの音声データから字幕データを作成する音声認識プログラムが記憶されている。尚、音声認識プログラムによる音声データから字幕データへの変換は既知の技術である為、詳細な説明は省略する。
【００４０】
音声認識装置２０の制御部２２は、サーバ１０からテレビジョンデータを受信すると、音声認識プログラに従って、受信したテレビジョンデータの音声データを字幕データに変換するものである。尚、音声認識装置２０は、ほぼ一定の変換速度で音声データを字幕データに変換する。例えば、音声認識装置２０は、５（文字／ｓ）の変換速度で字幕データを変換する。この変換速度は予め判っているものとする。
【００４１】
字幕生成装置３０の制御部３３は、サーバ１０からのテレビジョンデータを受信すると、この受信したテレビジョンデータの音声データを音声としてスピーカ３１から出力させる。この音声を聞き取ったオペレータが入力部３２から字幕の文字を入力すると、制御部３３は入力された文字に基づいて字幕データを生成して比較装置４０に送信する。
【００４２】
ところで、通常、オペレータによる字幕の文字の入力作業は、比較的余裕がある。この結果、オペレータに聞こえる音声スピードが上がった場合でも、オペレータは字幕の文字を入力することができる。
【００４３】
比較装置４０のバッファ４１は、ＦＩＦＯ型のバッファであり、受信機（図示されず）の画面に表示させる字幕の文字数分、音声認識装置２０からの字幕データを蓄積するものである。
【００４４】
比較装置４０のバッファ４２は、ＦＩＦＯ型のバッファであり、バッファ４１と同様に受信機の画面に表示させる字幕の文字数分、字幕作成装置３０からの字幕データを蓄積するものである。
【００４５】
比較装置４０のタイマー４３は、合成タイミング調整システムが動作してからの時間を計時するものである。
【００４６】
比較装置４０の記憶部４４は、テーブルＡ、及びテーブルＢが記憶されている。
【００４７】
テーブルＡには、音声認識装置２０からの字幕データの各文字と、この各文字がバッファ４１に蓄積された時点の時間とが関連付けられている。
【００４８】
テーブルＢには、字幕作成装置３０からの字幕データの各文字と、この各文字がバッファ４２に蓄積された時点の時間とが関連付けられている。
【００４９】
比較装置４０の制御部４５は、音声認識装置２０から送信されて来る字幕データをバッファ４１に蓄積すると共に、この字幕データの各文字をバッファ４１に蓄積した時点の時間をタイマー４３から取得し、字幕データの各文字と取得した時間とを関連付けてテーブルＡに記憶させる。同様に、字幕作成装置３０から送信されて来る字幕データをバッファ４２に蓄積すると共に、この字幕データの各文字をバッファ４２に蓄積した時点の時間をタイマー４３から取得し、字幕データの各文字と取得した時間とを関連付けてテーブルＢに記憶させる。
【００５０】
また、制御部４５は、一定の周期（例えば、１０秒周期）で誤差時間を計算する。具体的には、まず、バッファ４２に蓄積されている字幕データの先頭から連続した２文字の漢字を検索し、この検索した２文字の漢字と同一の２文字の漢字をバッファ４１に蓄積されている字幕データの先頭から検索する。そして、同一の２文字の漢字が検索できるか否かを判別する。この結果、同一の２文字の漢字が検索できた場合、この検索した２文字の漢字と同一の漢字をテーブルＡから検索し、この検索した２文字の漢字のうち、先頭の一文字の漢字と関連付けられている時間をテーブルＡから読み出す。同様に、先に検索した２文字の漢字と同一の漢字をテーブルＢから検索し、この検索した２文字の漢字のうち、先頭の一文字の漢字と関連付けられている時間をテーブルＢから読み出す。
【００５１】
更に、図２に示す如く、テーブルＡより読み出した時間（Ｋ）からテーブルＢより読み出した時間（Ｈ）を減算し、この減算結果から音声認識装置２０の変換速度から算出した変換時間（ｄ）を減算して誤差時間（Ｔ）とする。すなわち、制御部４５は、Ｔ＝Ｋ−Ｈ−ｄの計算を行なう。このようにして求めた時間を誤差時間（Ｔ）としてサーバ１０に送信する。
【００５２】
インサータ５０は、サーバ１０から送信されて来たテレビジョンデータと字幕生成装置３０から送信されて来た字幕データとを合成するものである。
【００５３】
続いて、上記構成における動作について説明する。
【００５４】
図３は字幕データの各文字がバッファ４１に蓄積された時点の時間の取得について説明する為の図である。図４はテーブルＡを説明する為の図である。図５は字幕データの各文字がバッファ４２に蓄積された時点の時間の取得について説明する為の図である。図６はテーブルＢを説明する為の図である。
【００５５】
尚、オペレータが聞き取れる音声スピードは、通常の音声スピードの０．７５倍〜１．５倍程度である。そこで、本実施の形態では、誤差時間の値がマイナスの値である場合（字幕作成装置３０での音声スピードを加速する必要がある場合）、サーバ１０の出力調整部１４から出力するテレビジョンデータの音声データおけるサンプル数が１／１．５倍になるようにし、誤差時間の値がプラスの値である場合（字幕作成装置３０での音声スピードを減速する必要がある場合）、出力調整部１４から出力するテレビジョンデータの音声データにおけるサンプル数が１／０．７５倍になるようにするものとして説明する。
【００５６】
合成タイミング調整システムが動作し出すと、サーバ１０の出力調整部１４は、タイマー１２で計時されている時間の監視を開始する。そして、出力調整部１４は、タイマー１２の時間が放送時間から先行時間を差し引いた時間になると、記憶部１１に記憶されているテレビジョンデータを読み出し、この読み出したテレビジョンデータを字幕データ作成の為のテレビジョンデータとして字幕作成装置３０に送信する。
【００５７】
一方、サーバ１０の出力部１３でもタイマー１２の時間を監視しており、タイマー１２の時間が放送時間になると、出力調整部１４から出力されたテレビジョンデータと同一のテレビジョンデータを記憶部１１から読み出し、この読み出したテレビジョンデータを放送の為のテレビジョンデータとしてインサータ５０に送信する。
【００５８】
ところで、サーバ１０からテレビジョンデータを受信した字幕作成装置３０では、制御部３３がテレビジョンデータの音声データを音声としてスピーカ３１から出力する。この出力された音声を聞き取ったオペレータは、入力部３２から字幕の文字を入力する。そして、制御部３３は、入力部３２から入力された文字に基づいて、字幕データを生成して通信部３１を介してインサータ５０及び比較装置４０に送信する。
【００５９】
そして、インサータ５０は、サーバ１０からテレビジョンデータを受信すると、受信したテレビジョンデータと字幕作成装置３０からの字幕データとを合成する。
【００６０】
一方、サーバ１０からテレビジョンデータを受信した音声認識装置２０では、制御部２２が記憶部２１の音声認識プログラムを実行し、音声認識プログラムに従って、受信したテレビジョンデータの音声データを字幕データに変換する。この変換した字幕データを比較装置４０に送信する。
【００６１】
そして、比較装置４０の制御部４５は、音声認識装置２０から字幕データを受信すると、受信した字幕データをバッファ４１に蓄積すると共に、この字幕データの各文字をバッファ４１に蓄積した時点の時間をタイマー４３から取得し、字幕データの各文字と取得した時間とを関連付けてテーブルＡに記憶させる。例えば、図３に示す如く、音声認識装置２０から送信されて来た字幕データの順序が”今日は晴れでしたが、明日わ西日本空手んきがくずれて来るで賞。・・・”の順序であり、この送信されて来た順序でバッファ４１に蓄積され、字幕データ”今”がバッファ４１に蓄積された時点の時間が１０．５１ｓ、字幕データ”日”がバッファ４１に蓄積された時点の時間が１０．５６ｓ、字幕データ”は”がバッファ４１に蓄積された時点の時間が１０．６１ｓ・・・・である場合、制御部４５は、字幕データ”今”がバッファ４１に蓄積された時点の時間（１０．５１ｓ）を取得し、字幕データ”日”がバッファ４１に蓄積された時点の時間（１０．５６ｓ）を取得し、字幕データ”は”がバッファ４１に蓄積された時点の時間（１０．６１ｓ）を取得し、・・・を取得する。更に、図４に示す如く、制御部４５は、字幕データ”今”と取得した時間”１０．５１ｓ”とを関連付け、字幕データ”日”と取得した時間”１０．５６ｓ”とを関連付け、字幕データ”は”と取得した時間”１０．６１ｓ”とを関連付け、・・・てテーブルＡに記憶させる。
【００６２】
同様に、比較装置４０の制御部４５は、字幕生成装置３０から字幕データを受信すると、受信した字幕データをバッファ４２に蓄積すると共に、字幕データの各文字をバッファ４２に蓄積した時点の時間をタイマー４３から取得し、字幕データの各文字と取得した時間とを関連付けてテーブルＢに記憶させる。例えば、図５に示す如く、字幕作成装置３０から送信されて来た字幕データが”晴れでしたが、明日は西日本から天気がくずれてくるでしょう。・・・”の順序であり、この送信されて来た順序でバッファ４２に蓄積され、字幕データの各文字がバッファ４２に蓄積された時点の時間が順に、６．０１ｓ、６．０６ｓ、６．１１ｓ、・・・である場合、制御部４５は、字幕データの各文字がバッファ４２に蓄積された時点の時間（６．０１ｓ、６．０６ｓ、６．１１ｓ、・・・）を取得する。更に、図６に示す如く、制御部４５は、字幕データ”晴”と取得した時間”６．０１ｓ”とを関連付け、字幕データ”れ”と取得した時間”６．０６ｓ”とを関連付け、字幕データ”で”と取得した時間”６．１１ｓ”とを関連付け、・・・てテーブルＢに記憶させる。
【００６３】
次に、比較装置４０の制御部４５は、バッファ４２に蓄積されている字幕データから連続した２文字の漢字をバッファ４２の先頭から順に検索する。この検索した２文字の漢字と同一の２文字の漢字が、バッファ４１に蓄積されている字幕データから検索できるか否かを判別する。例えば、バッファ４２に字幕データ”晴れでしたが、明日は西日本から天気がくずれてくるでしょう。”が蓄積され、バッファ４１に蓄積されている字幕データが” 今日は晴れでしたが、明日わ西日本空手んきがくずれて来るで賞。”が蓄積されている場合、制御部４５は、連続した２文字の漢字をバッファ４２に蓄積されている字幕データの先頭から検索し、”明日”を検索する。更に、制御部４５は、検索した字幕データ”明日”と同一の２文字の漢字をバッファ４１に蓄積されている字幕データの先頭から検索し、同一の２文字の漢字が検索できるか否かを判別する。
【００６４】
この結果、同一の２文字の漢字が検索できないと判別した場合、制御部４５は、次の２文字の漢字をバッファ４２に蓄積されている字幕データから検索し、この検索した２文字の漢字と同一の漢字がバッファ４１に蓄積されている字幕データから検索できるか否かを判別する。このような動作を繰り返し、バッファ４２に蓄積されている字幕データと、バッファ４１に蓄積されている字幕データとから同じ２文字の漢字が検索できない場合、更なる字幕データがバッファ４１及びバッファ４２に蓄積されるまで待機する。
【００６５】
一方、同一の２文字の漢字が検索できたと判別した場合、制御部４５は、バッファ４１から検索した２文字の漢字のうち、先頭の一文字の漢字と関連付けられている時間をテーブルＡから検索し、この検索した時間をテーブルＡから読み出す。また、制御部４５は、バッファ４２から検索した２文字の漢字のうち、先頭の一文字の漢字と関連付けられている時間をテーブルＢから検索し、この検索した時間をテーブルＢから読み出す。例えば、上述の例において、バッファ４１及びバッファ４２には、”明日”の字幕データが蓄積されていることから、この字幕データ”明日”と同一の２文字の漢字をテーブルＡから検索し、この検索した２文字の漢字のうち、先頭の一文字の漢字”明”と関連付けられている時間”１１．０１ｓ”をテーブルＡから読み出す。同様に、制御部４５は、先に検索した２文字の漢字”明日”と同一の２文字の漢字”明日”をテーブルＢから検索し、この検索した２文字の漢字のうち、先頭の一文字の漢字”明”と関連付けられている時間”６．３６ｓ”をテーブルＢから読み出す。
【００６６】
そして、制御部４５は、テーブルＡより読み出した時間からテーブルＢより読み出した時間を減算する。すなわち、制御部４５は、（１１．０１ｓ−６．３６ｓ＝４．６５ｓ）の計算を行なう。更に、制御部４５は、計算した時間（４．６５ｓ）から音声認識装置２０の変換速度を基に算出した変換時間（５ｓ）を減算し、これにより算出された時間（４．６５ｓ−５ｓ＝−０．３５ｓ）を誤差時間としてサーバ１０に送信する。
【００６７】
比較装置４０から誤差時間を受信したサーバ１０の出力調整部１４は、受信した誤差時間を調べる。
【００６８】
誤差時間が”０ｓ”である場合、出力調整部１４は現状を維持する。
【００６９】
一方、誤差時間の値がマイナスの値である場合、出力調整部１４は、記憶部１１から読み出したテレビジョンデータの音声データにおけるサンプル数が減少するようにする。例えば、誤差時間（Ｔ）が”−１ｓ”であり、現在の音声データの単位時間当たりのサンプル数が４８ ｋ ｓａｍｐｌｅである場合、出力調整部１４は、音声データのサンプル数が”４８／１．５＝３２ ｋ ｓａｍｐｌｅ”になるように変換し、単位時間当たり４８ｋ ｓａｍｐｌｅで出力する。これにより、字幕作成装置３０のオペレータに聞こえる音声スピードが上がる。
【００７０】
また、誤差時間の値がプラスの値である場合、出力調整部１４は、記憶部１１から読み出したテレビジョンデータの音声データのサンプル数を増加させる。例えば、誤差時間（Ｔ）が”＋１ｓ”である場合、出力調整部１４は、音声データのサンプル数が”４８／０．７５＝６４ ｋ ｓａｍｐｌｅ”になるように変換し、単位時間当たり４８ｋ ｓａｍｐｌｅで出力する。これにより、字幕作成装置３０のオペレータに聞こえる音声スピードが下がる。
【００７１】
更に、出力制御部１４は、受信した誤差時間を基に継続時間を算出する。例えば、誤差時間（Ｔ）が”−１ｓ”である場合、出力制御部１４は、誤差時間から”｜−１／（１．５−１）｜＝２．０ｓ”を計算する。
【００７２】
そして、出力制御部１４は、算出した継続時間、音声データのサンプル数を増減させたテレビジョンデータを字幕作成装置３０に送信し続ける。
【００７３】
継続時間経過後、出力調整部１４は増減させた音声データのサンプル数が元のサンプル数（４８ ｋ ｓａｍｐｌｅ）になるようにして字幕作成装置３０に送信する。
【００７４】
このように、出力調整部１４が音声データのサンプル数を増減させることにより、字幕作成装置３０のオペレータに聞こえる音声スピードが変化する。この結果、字幕作成装置３０での字幕データの作成スピードが変化し、インサータ５０で字幕データとテレビジョンデータとを適切に合成させることができる。
【００７５】
尚、バッファ４１、４３に蓄積される字幕データの文字数を受信機の画面に表示させる字幕の文字数として説明したが、この場合に限るものではない。例えば、受信機の画面に表示される字幕の文字数より多い文字数分又は少ない文字数分の字幕データを蓄積するようにしても良い。
【００７６】
また、本実施の形態では、連続した２文字の漢字をバッファ４１及びバッファ４２に蓄積されている字幕データから検索する場合について説明したが、この場合に限るものではない。例えば、連続した３文字の平仮名でも良い。
【００７７】
また、サーバ１０から字幕作成装置２０に送信するテレビジョンデータを、映像データと音声データとから成るテレビジョンデータとしたが、この場合に限るものではない。例えば、サーバ１０から字幕作成装置２０に送信するデータを音声データのみとしても良い。
【００７８】
また、本実施の形態では、サーバ１０から出力するテレビジョンデータの制御を出力部１３及び出力調整部１４によって実現する場合について説明したが、この場合に限るものではない。例えば、出力部１３及び出力調整部１４をディジタル信号処理プロセッサで実現するようにしても良い。
【００７９】
また、本実施の形態では、音声データのサンプル数を１／１．５倍又は１／０．７５倍にする場合について説明したが、この場合に限るものではない。この倍率は任意に可変できるようにしても良い。
【００８０】
第２の実施の形態について説明する。
【００８１】
第１の実施の形態では、サーバから出力する音声データのサンプル数が（１／０．７５）倍又（１／１．５）倍になるようにする場合、すなわち、字幕生成装置のオペレータに聞こえる音声スピードを急激に０．７５倍又は１．５倍に変化させる場合について説明した。
【００８２】
しかしながら、音声スピードを急激に変化させると、その変化にオペレータが対応できない場合が生じる。
【００８３】
そこで、第２の実施の形態では、サーバから出力するテレビジョンデータの音声データにおけるサンプル数を段階的に減少又は増加させて、字幕生成装置のオペレータに聞こえる音声スピードを段階的に上げ又は下げることを特徴とする。
【００８４】
以下、第２の実施の形態を詳細に説明する。
【００８５】
サーバ１０の出力調整部１４には、第１の実施の形態で説明した放送時間及び先行時間に加え、更新情報が設定されている。
【００８６】
ここで、更新情報は、出力調整部１４から出力するテレビジョンデータの音声データにける単位時間当たりのサンプル数を、どの程度段階的に増加又は減少させて、目的の単位時間当たりのサンプル数に近づけていくかを示す情報である。
【００８７】
また、出力調整部１４は、第１の実施の形態で説明した機能に加え、設定されている更新情報に従って、音声データのサンプル数を段階的に増加又は減少させて、目的の音声データのサンプル数に近づけていくものである。
【００８８】
続いて、上記構成における動作について説明する。
【００８９】
尚、比較装置４０で算出した誤差時間に従って、サーバ１０から出力するテレビジョンデータの音声データのサンプル数を増減させるまでの動作は、第１の実施の形態で説明した動作と同様であることから、本実施の形態では省略する。
【００９０】
出力調整部１４は、音声データのサンプル数を増減させる場合、設定されている更新情報に従って、現在の音声データのサンプル数を、段階的に増加又は減少させて、目的の音声データのサンプル数に近づけていく。例えば、現在の音声データの単位時間当たりのサンプル数が”４８ ｋ ｓａｍｐｌｅ”、目的の音声データのサンプル数が”４８／０．７５＝６４ ｋ ｓａｍｐｌｅ”であり、更新情報が０．５ｓ毎に１０％づつ単位時間当たりのサンプル数を段階的に減少又は増加させて目的の音声データのサンプル数に近づけていくよう指示する情報である場合、出力調整部１４は、最初の０．５秒後に音声データのサンプル数”４８ ｋ ｓａｍｐｌｅ”が”５２．８ ｋ ｓａｍｐｌｅ”になるよう更新し、更に０．５秒後に音声データのサンプル数”５２．８ ｋ ｓａｍｐｌｅ”が”５７．６ ｋ ｓａｍｐｌｅ”になるように更新し、・・・・最後に”５９．２ ｋ ｓａｍｐｌｅ”が”６４ ｋ ｓａｍｐｌｅ”になるようにする。
【００９１】
このように、出力調整部１４が音声データのサンプル数を段階的に減少又は増加させることで、字幕作成装置３０のオペレータが聞き取る音声スピードが段階的に上がり又は下がる為、オペレータは音声スピードの変化に対応することができる。
【００９２】
尚、第１及び第２の実施の形態では、字幕と音声とが同時に受信機から出力される場合について説明したが、この場合に限るものではない。例えば、字幕付き放送を視聴している視聴者は、音声の出力される僅か前に字幕が受信機の画面に表示される（例えば、音声が出力される０．５秒前に字幕が受信機の画面に表示される）と、字幕を違和感なく読むことができる。このように字幕を違和感なく読むことができるよう誤算時間を考慮しても良い。すなわち、誤差時間が”＋０．５ｓ”のとき、第１の実施の形態で説明した誤差時間”０ｓ”に相当するものとする。
【００９３】
第３の実施の形態について説明する。
【００９４】
第３の実施の形態では、サーバからインサータに送信するテレビジョンデータの遅延時間を一定にしてテレビジョンデータと字幕データとを合成することを特徴とする。
【００９５】
以下、第３の実施の形態を詳細に説明する。
【００９６】
図７は合成タイミング調整システムのブロック図である。
【００９７】
尚、上述した第１の実施の形態と同様のものについては、同じ番号を付して詳細な説明は省略する。
【００９８】
サーバ１０の遅延部１６は、予め設定された遅延時間に従って、出力部１３からのテレビジョンデータを遅延させてインサータ５０に送信するものである。尚、遅延時間は、字幕作成装置３０で音声データから字幕データを作成するのに要する時間である。
【００９９】
このように、サーバ１０からインサータ５０に送信するテレビジョンデータを遅延時間遅らせることで、インサータ５０でテレビジョンデータと字幕データとが適切に合成される。
【０１００】
続いて、上記構成における動作について説明する。
【０１０１】
尚、以下の説明では、番組の放送時間が”１０ｈ００ｍ００ｓ”であり、サーバ１０の遅延部１６に設定されている遅延時間が５ｓであるものとして説明する。
【０１０２】
サーバ１０の出力部１３は、遅延時間が５ｓであることから、放送時間（１０時）に間に合うようにする為、タイマー１２の時間が（１０ｈ００ｍ００ｓ−０．５ｓ＝９ｈ５９ｍ５５ｓ）になると、記憶部１１からテレビジョンデータを読み出し、この読み出したテレビジョンデータを遅延部１６及び字幕作成装置３０に向けて出力する。
【０１０３】
そして、サーバ１０の遅延部１６は、出力部１３からテレビジョンデータを受信すると、この受信したテレビジョンデータを遅延時間（５ｓ）遅延させてインサータ５０に送信する。
【０１０４】
サーバ１０からテレビジョンデータを受信した字幕作成装置３０では、制御部３３がテレビジョンデータの音声データを音声としてスピーカ３１から出力する。この出力された音声を聞き取ったオペレータは、入力部３２から字幕の文字を入力する。そして、制御部３３は、入力部３２から入力された文字に基づいて、字幕データを生成してインサータ５０に送信する。
【０１０５】
そして、インサータ５０は、サーバ１０から送信されて来たテレビジョンデータと、字幕作成装置３０から送信されて来た字幕データとを合成する。
【０１０６】
尚、第３の実施の形態では、字幕と音声とが同時に受信機から出力されるように遅延時間を設定する場合について説明したが、この場合に限るものではない。例えば、音声が出力される０．５秒前に字幕が受信機の画面に表示されるように遅延時間を設定しても良い。このように、遅延時間を設定することで、字幕付き放送を視聴している視聴者は、字幕を違和感なく読むことができる。
【０１０７】
【発明の効果】
本発明によれば、字幕編集に時間がかけられない場合でも、字幕が適切なタイミングで受信機の画面に表示されるようテレビジョンデータと字幕データとの合成タイミングを調整することができるという優れた効果を奏する。
【０１０８】
本発明によれば、サーバから出力するテレビジョンデータの音声データのサンプル数を段階的に減少又は増加させて目的のサンプル数にする為、オペレータに聞こえる音声スピードが段階的の変化し、その変化にオペレータが追従することができるという優れた効果を奏する。
【図面の簡単な説明】
【図１】合成タイミング調整システムのブロック図である。
【図２】誤差時間を説明する為の図である。
【図３】字幕データの各文字がバッファ４１に蓄積される時点の時間の取得について説明する為の図である。
【図４】テーブルＡを説明する為の図である。
【図５】字幕データの各文字がバッファ４２に蓄積される時点の時間の取得について説明する為の図である。
【図６】テーブルＢを説明する為の図である。
【図７】合成タイミング調整システムのブロック図である。
【発明が属する技術分野】
本発明は、放送局側において、字幕放送の映像と字幕とを合成するタイミングを調整する技術に関し、特に、字幕編集に時間をかけることのできない字幕放送において、受信機で映像と字幕とが適切なタイミングで表示されるよう映像と字幕との合成タイミングを調整する技術に関する。
【０００２】
【従来の技術】
テレビ放送の中には字幕放送があり、この字幕放送は、受信機の画面上に１行当たり約１５文字として１行から３行の範囲内で字幕を表示させる放送である。そして、受信機の画面に表示される字幕は人間が読取れる時間を考慮して５〜６秒程度表示された後、この１行から３行分を総入れ替えして新たな字幕を受信機の画面に表示させる。このように、受信機の画面上に字幕を表示させる為には、放送局側において、放送する番組の音声に対応する字幕データを作成し、この作成した字幕データを文字放送方式で視聴者に伝送し、専用の文字放送デコーダにて映像データに合成する。
【０００３】
ところで、字幕付き番組では、通常、字幕編集に１週間程度かかる。例えば、ドラマ番組等の字幕編集に時間のかけられる番組では、まず、録画された映像や音声に基づいてワープロ等で字幕データを作成する。そして、受信機の画面に表示される字幕が視聴者にとって自然に感じられる（音声の出力される前（約０．５秒前）に字幕が表示される）ように、テレビジョンデータと字幕データとを合成する。
【０００４】
ところが、番組の放送当日に字幕編集を行なわなければならないような場合には、字幕編集に時間をかけることができない。その為、放送局側では、テレビジョンデータに基づいて字幕データを作成しながら、この字幕データをテレビジョンデータに合成して放送しなければならない。この場合において、字幕データを作成する方法として、音声認識プログラムを用いてテレビジョンデータの音声データを字幕データに変換する方法と、オペレータが音声を聴きながらワープロ装置を用いて字幕データを作成する方法とが考えられる。
【０００５】
そして、音声認識プログラムを用いて字幕データに変換する方法は、音声データから字幕データへの変換時間は一定であるが、現在の音声認識プログラムの音声認識能力が約９０％程度である為、変換された字幕データに誤りが混入することがある。
【０００６】
一方、オペレータにより字幕データを作成する方法は、音声データから字幕データへの変換時間に変動をきたすが、テレビジョンデータの音声データから作成された字幕データに誤りが混入することが少ない。
【０００７】
この結果、正確性の求められる字幕データは、オペレータにより作成された字幕データが用いられる。
【０００８】
更に、字幕付き放送では、視聴者に違和感を与えないように、受信機に映し出される字幕が音声の出力タイミングと合うようテレビジョンデータと字幕データとを適切に合成しなければならない。このようにテレビジョンデータと字幕データとを適切に合成する方法として、字幕データへの変換タイミングに合わせてテレビジョンデータの出力を調整し、字幕データとテレビジョンデータとを合成する方法と、オペレータの字幕変換時間を考慮して放送時間より前にテレビジョンデータをオペレータに与え、このテレビジョンデータを基に字幕データに変換し、字幕データとテレビジョンデータとを合成する方法とが考えられる。
【０００９】
【発明が解決しようとする課題】
しかしながら、前者の方法では、テレビジョンデータの出力が変動する為、受信機で放映される映像に揺らぎが生じて視聴者に違和感を与えてしまう。つまり、テレビジョンデータの出力は一定にしなければならない。
【００１０】
そこで、本発明では、オペレータの字幕変換時間を考慮し、事前にテレビジョンデータを適切なタイミングでオペレータに与え、字幕データに変換させることで、字幕データとテレビジョンデータとが適切に合成されるよう調整する技術を提供することである。
【００１１】
【課題を解決するための手段】
上記の課題を解決する第１の発明は、音声データと映像データとから成るテレビジョンデータに、字幕データを合成するタイミングを調整するシステムであって、
テレビジョンデータが記憶されている記憶手段と、
前記記憶手段に記憶されている放送用のテレビジョンデータとテレビジョンデータの音声データとを出力する出力手段と、
前記出力手段から出力された音声データから音声を再生し、この再生された音声に基づいて、オペレータの入力により字幕データを生成する生成手段と、
前記出力手段から出力された放送用のテレビジョンデータと前記生成手段で生成された字幕データとを合成する合成手段と、
前記合成手段における放送用のテレビジョンデータと字幕データとの合成タイミングのずれ時間を算出する計算手段と、
前記計算手段で算出したずれ時間に基づいて、前記出力手段から出力する音声データを制御することによって、前記生成手段において再生される音声の速度を調整する制御手段とを有することを特徴とする。
【００１２】
上記の課題を解決する第２の発明は、第１の発明において、前記合成タイミング調整システムは、
前記出力手段から出力される放送用のテレビジョンデータを一定の変換速度で字幕データに変換する変換手段を有し、
前記計算手段は、前記生成手段で生成された字幕データのうち、任意の字幕データと同一の字幕データを前記変換手段で変換された字幕データから検索し、前記検索した字幕データの前記変換手段における変換終了時の時間から前記任意の字幕データの前記生成手段における生成終了時の時間及び前記変換手段の変換速度を基に算出した変換時間を減算して、前記合成タイミングのずれ時間を算出するように構成され、
前記制御手段は、前記計算手段で算出したずれ時間に基づいて、前記出力手段から出力される音声データのサンプル数を増減させることによって、前記生成手段で再生される音声の速度を調整するよう構成されていることを特徴とする。
【００１３】
上記の課題を解決する第３の発明は、上記第１又は第２の発明において、前記制御手段は、前記計算手段で算出された時間を基に、前記合成手段におけるテレビジョンデータと字幕データとの合成タイミングのずれを判断し、字幕データの合成されたタイミングが適切な合成タイミングより遅れている場合、前記出力手段から出力する音声データのサンプル数を減少させて前記生成手段で再生される音声の速度を加速させ、字幕データが前記合成タイミングより進んでいる場合、前記出力手段から出力する音声データのサンプル数を増加させて前記再生される音声の速度を減速させることを特徴とする。
【００１４】
上記の課題を解決する第４の発明は、上記第２の発明において、前記制御手段は、現在の音声データのサンプル数を段階的に減少又は増加させて目的の音声データのサンプル数に近づけて前記生成手段で再生される音声の速度を段階的に減速又は加速するように制御することを特徴とする。
【００１５】
上記の課題を解決する第５の発明は、上記第１又は第２の発明において、合成タイミング調整システムは、
前記生成手段で生成された字幕データを蓄積する第１の蓄積手段と、
前記変換手段で変換された字幕データを蓄積する第２の蓄積手段とを有し、
前記計算手段は、前記第１の蓄積手段に蓄積されている字幕データから選択した所定の連続の文字と同一の連続の文字が、前記第２の蓄積手段に蓄積されている字幕データに含まれているか否かを判別し、前記同一の連続の文字が含まれている場合、ずれ時間の計算を行うように構成されていることを特徴とする。
【００１６】
上記の課題を解決する第６の発明は、音声データと映像データとから成るテレビジョンデータに、字幕データを合成するタイミングを調整するシステムであって、
テレビジョンデータが記憶されている記憶手段と、
前記記憶手段に記憶されている放送用のテレビジョンデータとテレビジョンデータの音声データとを出力する出力手段と、
前記出力手段から出力された音声データから音声を再生し、この再生された音声に基づいて、オペレータの入力により字幕データを生成する生成手段と、
前記出力手段から出力された放送用のテレビジョンデータを一定の変換速度で字幕データに変換する変換手段と、
前記生成手段で生成された字幕データと前記出力手段から出力された放送用のテレビジョンデータとを合成する合成手段と、
前記生成手段で生成された字幕データが蓄積される第１の蓄積手段と、
前記変換手段で変換された字幕データが蓄積される第２の蓄積手段と、
字幕データの文字と、この文字が第１の蓄積手段に蓄積された時点の時間とが関連付けて記憶される第１のテーブルと、
字幕データの文字と、この文字が第２の蓄積手段に蓄積された時点の時間とが関連付けて記憶される第２のテーブルと、
前記生成手段で生成された字幕データの各文字が前記第１の蓄積手段に蓄積された時点の時間、及び前記変換手段で変換された字幕データの各文字が第２の蓄積手段に蓄積された時点の時間を監視し、字幕データの各文字と該各文字が第１の蓄積手段又は第２の蓄積手段に蓄積された時点の時間とを関連付けて第１のテーブル又は第２のテーブルに記憶させる手段と、
前記第１の蓄積手段に蓄積されている字幕データから選択した所定の連続の文字と同一の連続の文字が前記第２の蓄積手段に蓄積されている字幕データに含まれているか否かを判別する判別手段と、
前記判別手段で同一の連続の文字が含まれていると判別された場合、この文字と同一の文字を前記第１のテーブル及び第２のテーブルから検索し、検索した文字に関連付けられている時間を第１のテーブル及び第２のテーブルから読み出す読出手段と、
前記第２のテーブルより読み出した時間から前記第１のテーブルより読み出した時間及び前記変換手段の変換速度を基に算出した変換時間を減算して、前記合成手段における合成タイミングのずれ時間を算出する計算手段と、
前記計算手段で算出したずれ時間に基づいて、前記出力手段から出力される音声データのサンプル数を増減させることによって前記生成手段で再生される音声の速度を調整する制御手段とを有することを特徴とする。
【００１７】
上記の課題を解決する第７の発明は、上記第６の発明において、前記制御手段は、前記計算手段で算出された時間を基に、前記合成手段におけるテレビジョンデータと字幕データとの合成タイミングのずれを判断し、字幕データの合成されたタイミングが適切な合成タイミングより遅れている場合、前記出力手段から出力する音声データのサンプル数を減少させて前記生成手段で再生される音声の速度を加速させ、字幕データが前記合成タイミングより進んでいる場合、前記出力手段から出力する音声データのサンプル数を増加させて前記再生される音声の速度を減速させることを特徴とする。
【００１８】
上記の課題を解決する第８の発明は、上記第６の発明において、前記制御手段は、現在の音声データのサンプル数を段階的に減少又は増加させて目的の音声データのサンプル数に近づけて前記生成手段で再生される音声の速度を段階的に減速又は加速するように制御することを特徴とする。
【００１９】
上記の課題を解決する第９の発明は、音声データと映像データとから成るテレビジョンデータに、字幕データを合成するタイミングを調整するシステムであって、
テレビジョンデータが記憶されている記憶手段と、
前記記憶手段に記憶されているテレビジョンデータに基づいて、オペレータの入力により字幕データを生成する生成手段と、
前記記憶手段に記憶されているテレビジョンデータを所定の時間遅延させる遅延手段と、
前記遅延手段で遅延されたテレビジョンデータと、前記生成手段で生成された字幕データとを合成する合成手段とを有することを特徴とする。
【発明の実施の形態】
第１の実施の形態について説明する。
【００２０】
まず、本実施の形態の構成について説明する。
【００２１】
図１は合成タイミング調整システムのブロック図である。図２は誤差時間を説明する為の図である。
【００２２】
本実施の形態の合成タイミング調整システムは、サーバ１０と、音声認識装置２０と、字幕作成装置３０と、比較装置４０と、インサータ５０とから構成されている。
【００２３】
サーバ１０は、記憶部１１、タイマー１２、出力部１３、及び出力調整部１４を有する。
【００２４】
音声認識装置２０は、記憶部２１、及び制御部２２を有する。
【００２５】
更に、字幕作成装置３０は、スピーカ３１、入力部３２、及び制御部３３を有する。
【００２６】
比較装置４０は、バッファ４１、４２、タイマー４３、記憶部４４及び制御部４５を有する。
【００２７】
以下、各構成について説明する。
【００２８】
サーバ１０の記憶部１１は、放送用のテレビジョンデータが記憶されている。
【００２９】
サーバ１０のタイマー１２は、現在の時刻（時間）を計時するものである。
【００３０】
サーバ１０の出力部１３は、タイマー１２を監視し、タイマー１２の時間が予め設定されている放送時間になると、出力調整部１４から出力されたテレビジョンデータと同一のテレビジョンデータを記憶部１１から読み出し、この読み出したテレビジョンデータを放送の為のテレビジョンデータとしてインサータ５０に出力するものである。
【００３１】
サーバ１０の出力調整部１４には、放送時間と先行時間とが設定されている。尚、先行時間は、字幕生成装置３０で音声データから字幕データを作成するのに要する大まかな時間であり、経験値である。
【００３２】
また、サーバ１０の出力調整部１４は、タイマー１２を監視し、タイマー１２の時間が放送時間から先行時間を差し引いた時間になると、記憶部１１に記憶されているテレビジョンデータを読み出し、この読み出したテレビジョンデータを字幕データ作成の為のテレビジョンデータとして字幕作成装置３０に向けて出力するものである。例えば、放送時間が（１０ｈ００ｍ００ｓ、ここで、ｈは時間、ｍは分、ｓは秒を表す）であり、先行時間が５ｓである場合、出力調整部１４は、タイマー１２の時間が（１０ｈ００ｍ００ｓ−５ｓ＝９ｈ５９ｍ５５ｓ）になると、記憶部１１に記憶されているテレビジョンデータを字幕作成装置３０で向けて出力する。
【００３３】
また、出力調整部１４は、比較装置４０から送信されて来る誤差時間（ずれ時間）を受信する。尚、誤差時間は、インサータ５０において、字幕作成装置２０からの字幕データと、サーバ１０から出力された放送の為のテレビジョンデータとが適切に合成できるタイミングからどの程度の時間ずれているかを示す時間である。例えば、誤差時間が”０ｓ”である場合、字幕データとテレビジョンデータとが適切に合成されていることを示す。
【００３４】
また、出力調整部１４は、受信した誤差時間を調べる。誤差時間が”０ｓ”である場合、出力調整部１４は現状を維持する。一方、誤差時間が”０ｓ”以外である場合、出力調整部１４は、記憶部１１から読み出したテレビジョンデータの音声データのサンプル数を増減させ、このサンプル数を増減させた音声データを新たな音声データとする。
【００３５】
ところで、サーバ１０から出力する音声データの転送レートは固定されている。この結果、オペレータ（人間）に聞こえる音声スピードを変化させる為には、字幕作成装置３０で再生する音声の総データ量を増減させなければならない。すなわち、サンプル数を増減させた音声データを、固定された転送レートでサーバ１０から出力しなければならない。例えば、現在の音声データの単位時間当たりのサンプル数がＸ ｓａｍｐｌｅであり、字幕作成装置３０のオペレータに聞こえる音声スピードをα倍にする場合、出力調整部１４は、音声データのサンプル数が”Ｘ／α”ｓａｍｐｌｅになるように増減し、単位時間当たりＸｓａｍｐｌｅで出力する。尚、現在の音声データのサンプル数を増減して新たな音声データを作成する技術は、既存の技術であることから詳細な説明は省略する。
【００３６】
更に、出力調整部１４は、どの位の時間（継続時間）、増減させたデータ量の音声データを字幕作成装置３０に送信し続けるかを判断する為、受信した誤差時間を基に継続時間を算出する。例えば、誤差時間をＴ、字幕作成装置３０のオペレータに聞こえる音声スピードが通常の音声スピードのα倍である場合、出力調整部１４は、受信した誤差時間から｜Ｔ／（α−１）｜（ｓ）の計算をして継続時間を求める。
【００３７】
そして、出力調整部１４は、算出した継続時間、音声データのサンプル数を増減させたテレビジョンデータを字幕作成装置３０に送信し続けた後、音声データのサンプル数を元にしたテレビジョンデータを字幕作成装置３０に送信する。
【００３８】
このように、誤差時間を基に算出した継続時間、音声データのサンプル数を増減させたテレビジョンデータを出力調整部１４から出力し続けることで、その間、オペレータに聞こえる音声スピードが変化する。この結果、オペレータは音声スピードの変化に応じて字幕の文字入力のスピードを変化させる。この為、字幕作成装置３０での字幕データの作成スピードが変化し、インサータ５０で字幕データとテレビジョンデータとが適切に合成される。
【００３９】
音声認識装置２０の記憶部２１は、テレビジョンデータの音声データから字幕データを作成する音声認識プログラムが記憶されている。尚、音声認識プログラムによる音声データから字幕データへの変換は既知の技術である為、詳細な説明は省略する。
【００４０】
音声認識装置２０の制御部２２は、サーバ１０からテレビジョンデータを受信すると、音声認識プログラに従って、受信したテレビジョンデータの音声データを字幕データに変換するものである。尚、音声認識装置２０は、ほぼ一定の変換速度で音声データを字幕データに変換する。例えば、音声認識装置２０は、５（文字／ｓ）の変換速度で字幕データを変換する。この変換速度は予め判っているものとする。
【００４１】
字幕生成装置３０の制御部３３は、サーバ１０からのテレビジョンデータを受信すると、この受信したテレビジョンデータの音声データを音声としてスピーカ３１から出力させる。この音声を聞き取ったオペレータが入力部３２から字幕の文字を入力すると、制御部３３は入力された文字に基づいて字幕データを生成して比較装置４０に送信する。
【００４２】
ところで、通常、オペレータによる字幕の文字の入力作業は、比較的余裕がある。この結果、オペレータに聞こえる音声スピードが上がった場合でも、オペレータは字幕の文字を入力することができる。
【００４３】
比較装置４０のバッファ４１は、ＦＩＦＯ型のバッファであり、受信機（図示されず）の画面に表示させる字幕の文字数分、音声認識装置２０からの字幕データを蓄積するものである。
【００４４】
比較装置４０のバッファ４２は、ＦＩＦＯ型のバッファであり、バッファ４１と同様に受信機の画面に表示させる字幕の文字数分、字幕作成装置３０からの字幕データを蓄積するものである。
【００４５】
比較装置４０のタイマー４３は、合成タイミング調整システムが動作してからの時間を計時するものである。
【００４６】
比較装置４０の記憶部４４は、テーブルＡ、及びテーブルＢが記憶されている。
【００４７】
テーブルＡには、音声認識装置２０からの字幕データの各文字と、この各文字がバッファ４１に蓄積された時点の時間とが関連付けられている。
【００４８】
テーブルＢには、字幕作成装置３０からの字幕データの各文字と、この各文字がバッファ４２に蓄積された時点の時間とが関連付けられている。
【００４９】
比較装置４０の制御部４５は、音声認識装置２０から送信されて来る字幕データをバッファ４１に蓄積すると共に、この字幕データの各文字をバッファ４１に蓄積した時点の時間をタイマー４３から取得し、字幕データの各文字と取得した時間とを関連付けてテーブルＡに記憶させる。同様に、字幕作成装置３０から送信されて来る字幕データをバッファ４２に蓄積すると共に、この字幕データの各文字をバッファ４２に蓄積した時点の時間をタイマー４３から取得し、字幕データの各文字と取得した時間とを関連付けてテーブルＢに記憶させる。
【００５０】
また、制御部４５は、一定の周期（例えば、１０秒周期）で誤差時間を計算する。具体的には、まず、バッファ４２に蓄積されている字幕データの先頭から連続した２文字の漢字を検索し、この検索した２文字の漢字と同一の２文字の漢字をバッファ４１に蓄積されている字幕データの先頭から検索する。そして、同一の２文字の漢字が検索できるか否かを判別する。この結果、同一の２文字の漢字が検索できた場合、この検索した２文字の漢字と同一の漢字をテーブルＡから検索し、この検索した２文字の漢字のうち、先頭の一文字の漢字と関連付けられている時間をテーブルＡから読み出す。同様に、先に検索した２文字の漢字と同一の漢字をテーブルＢから検索し、この検索した２文字の漢字のうち、先頭の一文字の漢字と関連付けられている時間をテーブルＢから読み出す。
【００５１】
更に、図２に示す如く、テーブルＡより読み出した時間（Ｋ）からテーブルＢより読み出した時間（Ｈ）を減算し、この減算結果から音声認識装置２０の変換速度から算出した変換時間（ｄ）を減算して誤差時間（Ｔ）とする。すなわち、制御部４５は、Ｔ＝Ｋ−Ｈ−ｄの計算を行なう。このようにして求めた時間を誤差時間（Ｔ）としてサーバ１０に送信する。
【００５２】
インサータ５０は、サーバ１０から送信されて来たテレビジョンデータと字幕生成装置３０から送信されて来た字幕データとを合成するものである。
【００５３】
続いて、上記構成における動作について説明する。
【００５４】
図３は字幕データの各文字がバッファ４１に蓄積された時点の時間の取得について説明する為の図である。図４はテーブルＡを説明する為の図である。図５は字幕データの各文字がバッファ４２に蓄積された時点の時間の取得について説明する為の図である。図６はテーブルＢを説明する為の図である。
【００５５】
尚、オペレータが聞き取れる音声スピードは、通常の音声スピードの０．７５倍〜１．５倍程度である。そこで、本実施の形態では、誤差時間の値がマイナスの値である場合（字幕作成装置３０での音声スピードを加速する必要がある場合）、サーバ１０の出力調整部１４から出力するテレビジョンデータの音声データおけるサンプル数が１／１．５倍になるようにし、誤差時間の値がプラスの値である場合（字幕作成装置３０での音声スピードを減速する必要がある場合）、出力調整部１４から出力するテレビジョンデータの音声データにおけるサンプル数が１／０．７５倍になるようにするものとして説明する。
【００５６】
合成タイミング調整システムが動作し出すと、サーバ１０の出力調整部１４は、タイマー１２で計時されている時間の監視を開始する。そして、出力調整部１４は、タイマー１２の時間が放送時間から先行時間を差し引いた時間になると、記憶部１１に記憶されているテレビジョンデータを読み出し、この読み出したテレビジョンデータを字幕データ作成の為のテレビジョンデータとして字幕作成装置３０に送信する。
【００５７】
一方、サーバ１０の出力部１３でもタイマー１２の時間を監視しており、タイマー１２の時間が放送時間になると、出力調整部１４から出力されたテレビジョンデータと同一のテレビジョンデータを記憶部１１から読み出し、この読み出したテレビジョンデータを放送の為のテレビジョンデータとしてインサータ５０に送信する。
【００５８】
ところで、サーバ１０からテレビジョンデータを受信した字幕作成装置３０では、制御部３３がテレビジョンデータの音声データを音声としてスピーカ３１から出力する。この出力された音声を聞き取ったオペレータは、入力部３２から字幕の文字を入力する。そして、制御部３３は、入力部３２から入力された文字に基づいて、字幕データを生成して通信部３１を介してインサータ５０及び比較装置４０に送信する。
【００５９】
そして、インサータ５０は、サーバ１０からテレビジョンデータを受信すると、受信したテレビジョンデータと字幕作成装置３０からの字幕データとを合成する。
【００６０】
一方、サーバ１０からテレビジョンデータを受信した音声認識装置２０では、制御部２２が記憶部２１の音声認識プログラムを実行し、音声認識プログラムに従って、受信したテレビジョンデータの音声データを字幕データに変換する。この変換した字幕データを比較装置４０に送信する。
【００６１】
そして、比較装置４０の制御部４５は、音声認識装置２０から字幕データを受信すると、受信した字幕データをバッファ４１に蓄積すると共に、この字幕データの各文字をバッファ４１に蓄積した時点の時間をタイマー４３から取得し、字幕データの各文字と取得した時間とを関連付けてテーブルＡに記憶させる。例えば、図３に示す如く、音声認識装置２０から送信されて来た字幕データの順序が”今日は晴れでしたが、明日わ西日本空手んきがくずれて来るで賞。・・・”の順序であり、この送信されて来た順序でバッファ４１に蓄積され、字幕データ”今”がバッファ４１に蓄積された時点の時間が１０．５１ｓ、字幕データ”日”がバッファ４１に蓄積された時点の時間が１０．５６ｓ、字幕データ”は”がバッファ４１に蓄積された時点の時間が１０．６１ｓ・・・・である場合、制御部４５は、字幕データ”今”がバッファ４１に蓄積された時点の時間（１０．５１ｓ）を取得し、字幕データ”日”がバッファ４１に蓄積された時点の時間（１０．５６ｓ）を取得し、字幕データ”は”がバッファ４１に蓄積された時点の時間（１０．６１ｓ）を取得し、・・・を取得する。更に、図４に示す如く、制御部４５は、字幕データ”今”と取得した時間”１０．５１ｓ”とを関連付け、字幕データ”日”と取得した時間”１０．５６ｓ”とを関連付け、字幕データ”は”と取得した時間”１０．６１ｓ”とを関連付け、・・・てテーブルＡに記憶させる。
【００６２】
同様に、比較装置４０の制御部４５は、字幕生成装置３０から字幕データを受信すると、受信した字幕データをバッファ４２に蓄積すると共に、字幕データの各文字をバッファ４２に蓄積した時点の時間をタイマー４３から取得し、字幕データの各文字と取得した時間とを関連付けてテーブルＢに記憶させる。例えば、図５に示す如く、字幕作成装置３０から送信されて来た字幕データが”晴れでしたが、明日は西日本から天気がくずれてくるでしょう。・・・”の順序であり、この送信されて来た順序でバッファ４２に蓄積され、字幕データの各文字がバッファ４２に蓄積された時点の時間が順に、６．０１ｓ、６．０６ｓ、６．１１ｓ、・・・である場合、制御部４５は、字幕データの各文字がバッファ４２に蓄積された時点の時間（６．０１ｓ、６．０６ｓ、６．１１ｓ、・・・）を取得する。更に、図６に示す如く、制御部４５は、字幕データ”晴”と取得した時間”６．０１ｓ”とを関連付け、字幕データ”れ”と取得した時間”６．０６ｓ”とを関連付け、字幕データ”で”と取得した時間”６．１１ｓ”とを関連付け、・・・てテーブルＢに記憶させる。
【００６３】
次に、比較装置４０の制御部４５は、バッファ４２に蓄積されている字幕データから連続した２文字の漢字をバッファ４２の先頭から順に検索する。この検索した２文字の漢字と同一の２文字の漢字が、バッファ４１に蓄積されている字幕データから検索できるか否かを判別する。例えば、バッファ４２に字幕データ”晴れでしたが、明日は西日本から天気がくずれてくるでしょう。”が蓄積され、バッファ４１に蓄積されている字幕データが” 今日は晴れでしたが、明日わ西日本空手んきがくずれて来るで賞。”が蓄積されている場合、制御部４５は、連続した２文字の漢字をバッファ４２に蓄積されている字幕データの先頭から検索し、”明日”を検索する。更に、制御部４５は、検索した字幕データ”明日”と同一の２文字の漢字をバッファ４１に蓄積されている字幕データの先頭から検索し、同一の２文字の漢字が検索できるか否かを判別する。
【００６４】
この結果、同一の２文字の漢字が検索できないと判別した場合、制御部４５は、次の２文字の漢字をバッファ４２に蓄積されている字幕データから検索し、この検索した２文字の漢字と同一の漢字がバッファ４１に蓄積されている字幕データから検索できるか否かを判別する。このような動作を繰り返し、バッファ４２に蓄積されている字幕データと、バッファ４１に蓄積されている字幕データとから同じ２文字の漢字が検索できない場合、更なる字幕データがバッファ４１及びバッファ４２に蓄積されるまで待機する。
【００６５】
一方、同一の２文字の漢字が検索できたと判別した場合、制御部４５は、バッファ４１から検索した２文字の漢字のうち、先頭の一文字の漢字と関連付けられている時間をテーブルＡから検索し、この検索した時間をテーブルＡから読み出す。また、制御部４５は、バッファ４２から検索した２文字の漢字のうち、先頭の一文字の漢字と関連付けられている時間をテーブルＢから検索し、この検索した時間をテーブルＢから読み出す。例えば、上述の例において、バッファ４１及びバッファ４２には、”明日”の字幕データが蓄積されていることから、この字幕データ”明日”と同一の２文字の漢字をテーブルＡから検索し、この検索した２文字の漢字のうち、先頭の一文字の漢字”明”と関連付けられている時間”１１．０１ｓ”をテーブルＡから読み出す。同様に、制御部４５は、先に検索した２文字の漢字”明日”と同一の２文字の漢字”明日”をテーブルＢから検索し、この検索した２文字の漢字のうち、先頭の一文字の漢字”明”と関連付けられている時間”６．３６ｓ”をテーブルＢから読み出す。
【００６６】
そして、制御部４５は、テーブルＡより読み出した時間からテーブルＢより読み出した時間を減算する。すなわち、制御部４５は、（１１．０１ｓ−６．３６ｓ＝４．６５ｓ）の計算を行なう。更に、制御部４５は、計算した時間（４．６５ｓ）から音声認識装置２０の変換速度を基に算出した変換時間（５ｓ）を減算し、これにより算出された時間（４．６５ｓ−５ｓ＝−０．３５ｓ）を誤差時間としてサーバ１０に送信する。
【００６７】
比較装置４０から誤差時間を受信したサーバ１０の出力調整部１４は、受信した誤差時間を調べる。
【００６８】
誤差時間が”０ｓ”である場合、出力調整部１４は現状を維持する。
【００６９】
一方、誤差時間の値がマイナスの値である場合、出力調整部１４は、記憶部１１から読み出したテレビジョンデータの音声データにおけるサンプル数が減少するようにする。例えば、誤差時間（Ｔ）が”−１ｓ”であり、現在の音声データの単位時間当たりのサンプル数が４８ ｋ ｓａｍｐｌｅである場合、出力調整部１４は、音声データのサンプル数が”４８／１．５＝３２ ｋ ｓａｍｐｌｅ”になるように変換し、単位時間当たり４８ｋ ｓａｍｐｌｅで出力する。これにより、字幕作成装置３０のオペレータに聞こえる音声スピードが上がる。
【００７０】
また、誤差時間の値がプラスの値である場合、出力調整部１４は、記憶部１１から読み出したテレビジョンデータの音声データのサンプル数を増加させる。例えば、誤差時間（Ｔ）が”＋１ｓ”である場合、出力調整部１４は、音声データのサンプル数が”４８／０．７５＝６４ ｋ ｓａｍｐｌｅ”になるように変換し、単位時間当たり４８ｋ ｓａｍｐｌｅで出力する。これにより、字幕作成装置３０のオペレータに聞こえる音声スピードが下がる。
【００７１】
更に、出力制御部１４は、受信した誤差時間を基に継続時間を算出する。例えば、誤差時間（Ｔ）が”−１ｓ”である場合、出力制御部１４は、誤差時間から”｜−１／（１．５−１）｜＝２．０ｓ”を計算する。
【００７２】
そして、出力制御部１４は、算出した継続時間、音声データのサンプル数を増減させたテレビジョンデータを字幕作成装置３０に送信し続ける。
【００７３】
継続時間経過後、出力調整部１４は増減させた音声データのサンプル数が元のサンプル数（４８ ｋ ｓａｍｐｌｅ）になるようにして字幕作成装置３０に送信する。
【００７４】
このように、出力調整部１４が音声データのサンプル数を増減させることにより、字幕作成装置３０のオペレータに聞こえる音声スピードが変化する。この結果、字幕作成装置３０での字幕データの作成スピードが変化し、インサータ５０で字幕データとテレビジョンデータとを適切に合成させることができる。
【００７５】
尚、バッファ４１、４３に蓄積される字幕データの文字数を受信機の画面に表示させる字幕の文字数として説明したが、この場合に限るものではない。例えば、受信機の画面に表示される字幕の文字数より多い文字数分又は少ない文字数分の字幕データを蓄積するようにしても良い。
【００７６】
また、本実施の形態では、連続した２文字の漢字をバッファ４１及びバッファ４２に蓄積されている字幕データから検索する場合について説明したが、この場合に限るものではない。例えば、連続した３文字の平仮名でも良い。
【００７７】
また、サーバ１０から字幕作成装置２０に送信するテレビジョンデータを、映像データと音声データとから成るテレビジョンデータとしたが、この場合に限るものではない。例えば、サーバ１０から字幕作成装置２０に送信するデータを音声データのみとしても良い。
【００７８】
また、本実施の形態では、サーバ１０から出力するテレビジョンデータの制御を出力部１３及び出力調整部１４によって実現する場合について説明したが、この場合に限るものではない。例えば、出力部１３及び出力調整部１４をディジタル信号処理プロセッサで実現するようにしても良い。
【００７９】
また、本実施の形態では、音声データのサンプル数を１／１．５倍又は１／０．７５倍にする場合について説明したが、この場合に限るものではない。この倍率は任意に可変できるようにしても良い。
【００８０】
第２の実施の形態について説明する。
【００８１】
第１の実施の形態では、サーバから出力する音声データのサンプル数が（１／０．７５）倍又（１／１．５）倍になるようにする場合、すなわち、字幕生成装置のオペレータに聞こえる音声スピードを急激に０．７５倍又は１．５倍に変化させる場合について説明した。
【００８２】
しかしながら、音声スピードを急激に変化させると、その変化にオペレータが対応できない場合が生じる。
【００８３】
そこで、第２の実施の形態では、サーバから出力するテレビジョンデータの音声データにおけるサンプル数を段階的に減少又は増加させて、字幕生成装置のオペレータに聞こえる音声スピードを段階的に上げ又は下げることを特徴とする。
【００８４】
以下、第２の実施の形態を詳細に説明する。
【００８５】
サーバ１０の出力調整部１４には、第１の実施の形態で説明した放送時間及び先行時間に加え、更新情報が設定されている。
【００８６】
ここで、更新情報は、出力調整部１４から出力するテレビジョンデータの音声データにける単位時間当たりのサンプル数を、どの程度段階的に増加又は減少させて、目的の単位時間当たりのサンプル数に近づけていくかを示す情報である。
【００８７】
また、出力調整部１４は、第１の実施の形態で説明した機能に加え、設定されている更新情報に従って、音声データのサンプル数を段階的に増加又は減少させて、目的の音声データのサンプル数に近づけていくものである。
【００８８】
続いて、上記構成における動作について説明する。
【００８９】
尚、比較装置４０で算出した誤差時間に従って、サーバ１０から出力するテレビジョンデータの音声データのサンプル数を増減させるまでの動作は、第１の実施の形態で説明した動作と同様であることから、本実施の形態では省略する。
【００９０】
出力調整部１４は、音声データのサンプル数を増減させる場合、設定されている更新情報に従って、現在の音声データのサンプル数を、段階的に増加又は減少させて、目的の音声データのサンプル数に近づけていく。例えば、現在の音声データの単位時間当たりのサンプル数が”４８ ｋ ｓａｍｐｌｅ”、目的の音声データのサンプル数が”４８／０．７５＝６４ ｋ ｓａｍｐｌｅ”であり、更新情報が０．５ｓ毎に１０％づつ単位時間当たりのサンプル数を段階的に減少又は増加させて目的の音声データのサンプル数に近づけていくよう指示する情報である場合、出力調整部１４は、最初の０．５秒後に音声データのサンプル数”４８ ｋ ｓａｍｐｌｅ”が”５２．８ ｋ ｓａｍｐｌｅ”になるよう更新し、更に０．５秒後に音声データのサンプル数”５２．８ ｋ ｓａｍｐｌｅ”が”５７．６ ｋ ｓａｍｐｌｅ”になるように更新し、・・・・最後に”５９．２ ｋ ｓａｍｐｌｅ”が”６４ ｋ ｓａｍｐｌｅ”になるようにする。
【００９１】
このように、出力調整部１４が音声データのサンプル数を段階的に減少又は増加させることで、字幕作成装置３０のオペレータが聞き取る音声スピードが段階的に上がり又は下がる為、オペレータは音声スピードの変化に対応することができる。
【００９２】
尚、第１及び第２の実施の形態では、字幕と音声とが同時に受信機から出力される場合について説明したが、この場合に限るものではない。例えば、字幕付き放送を視聴している視聴者は、音声の出力される僅か前に字幕が受信機の画面に表示される（例えば、音声が出力される０．５秒前に字幕が受信機の画面に表示される）と、字幕を違和感なく読むことができる。このように字幕を違和感なく読むことができるよう誤算時間を考慮しても良い。すなわち、誤差時間が”＋０．５ｓ”のとき、第１の実施の形態で説明した誤差時間”０ｓ”に相当するものとする。
【００９３】
第３の実施の形態について説明する。
【００９４】
第３の実施の形態では、サーバからインサータに送信するテレビジョンデータの遅延時間を一定にしてテレビジョンデータと字幕データとを合成することを特徴とする。
【００９５】
以下、第３の実施の形態を詳細に説明する。
【００９６】
図７は合成タイミング調整システムのブロック図である。
【００９７】
尚、上述した第１の実施の形態と同様のものについては、同じ番号を付して詳細な説明は省略する。
【００９８】
サーバ１０の遅延部１６は、予め設定された遅延時間に従って、出力部１３からのテレビジョンデータを遅延させてインサータ５０に送信するものである。尚、遅延時間は、字幕作成装置３０で音声データから字幕データを作成するのに要する時間である。
【００９９】
このように、サーバ１０からインサータ５０に送信するテレビジョンデータを遅延時間遅らせることで、インサータ５０でテレビジョンデータと字幕データとが適切に合成される。
【０１００】
続いて、上記構成における動作について説明する。
【０１０１】
尚、以下の説明では、番組の放送時間が”１０ｈ００ｍ００ｓ”であり、サーバ１０の遅延部１６に設定されている遅延時間が５ｓであるものとして説明する。
【０１０２】
サーバ１０の出力部１３は、遅延時間が５ｓであることから、放送時間（１０時）に間に合うようにする為、タイマー１２の時間が（１０ｈ００ｍ００ｓ−０．５ｓ＝９ｈ５９ｍ５５ｓ）になると、記憶部１１からテレビジョンデータを読み出し、この読み出したテレビジョンデータを遅延部１６及び字幕作成装置３０に向けて出力する。
【０１０３】
そして、サーバ１０の遅延部１６は、出力部１３からテレビジョンデータを受信すると、この受信したテレビジョンデータを遅延時間（５ｓ）遅延させてインサータ５０に送信する。
【０１０４】
サーバ１０からテレビジョンデータを受信した字幕作成装置３０では、制御部３３がテレビジョンデータの音声データを音声としてスピーカ３１から出力する。この出力された音声を聞き取ったオペレータは、入力部３２から字幕の文字を入力する。そして、制御部３３は、入力部３２から入力された文字に基づいて、字幕データを生成してインサータ５０に送信する。
【０１０５】
そして、インサータ５０は、サーバ１０から送信されて来たテレビジョンデータと、字幕作成装置３０から送信されて来た字幕データとを合成する。
【０１０６】
尚、第３の実施の形態では、字幕と音声とが同時に受信機から出力されるように遅延時間を設定する場合について説明したが、この場合に限るものではない。例えば、音声が出力される０．５秒前に字幕が受信機の画面に表示されるように遅延時間を設定しても良い。このように、遅延時間を設定することで、字幕付き放送を視聴している視聴者は、字幕を違和感なく読むことができる。
【０１０７】
【発明の効果】
本発明によれば、字幕編集に時間がかけられない場合でも、字幕が適切なタイミングで受信機の画面に表示されるようテレビジョンデータと字幕データとの合成タイミングを調整することができるという優れた効果を奏する。
【０１０８】
本発明によれば、サーバから出力するテレビジョンデータの音声データのサンプル数を段階的に減少又は増加させて目的のサンプル数にする為、オペレータに聞こえる音声スピードが段階的の変化し、その変化にオペレータが追従することができるという優れた効果を奏する。
【図面の簡単な説明】
【図１】合成タイミング調整システムのブロック図である。
【図２】誤差時間を説明する為の図である。
【図３】字幕データの各文字がバッファ４１に蓄積される時点の時間の取得について説明する為の図である。
【図４】テーブルＡを説明する為の図である。
【図５】字幕データの各文字がバッファ４２に蓄積される時点の時間の取得について説明する為の図である。
【図６】テーブルＢを説明する為の図である。
【図７】合成タイミング調整システムのブロック図である。
Claims (9)
- 音声データと映像データとから成るテレビジョンデータに、字幕データを合成するタイミングを調整するシステムであって、
テレビジョンデータが記憶されている記憶手段と、
前記記憶手段に記憶されている放送用のテレビジョンデータとテレビジョンデータの音声データとを出力する出力手段と、
前記出力手段から出力された音声データから音声を再生し、この再生された音声に基づいて、オペレータの入力により字幕データを生成する生成手段と、
前記出力手段から出力された放送用のテレビジョンデータと前記生成手段で生成された字幕データとを合成する合成手段と、
前記合成手段における放送用のテレビジョンデータと字幕データとの合成タイミングのずれ時間を算出する計算手段と、
前記計算手段で算出したずれ時間に基づいて、前記出力手段から出力する音声データを制御することによって、前記生成手段において再生される音声の速度を調整する制御手段と
を有することを特徴とする合成タイミング調整システム。 - 前記合成タイミング調整システムは、
前記出力手段から出力される放送用のテレビジョンデータを一定の変換速度で字幕データに変換する変換手段を有し、
前記計算手段は、前記生成手段で生成された字幕データのうち、任意の字幕データと同一の字幕データを前記変換手段で変換された字幕データから検索し、前記検索した字幕データの前記変換手段における変換終了時の時間から前記任意の字幕データの前記生成手段における生成終了時の時間及び前記変換手段の変換速度を基に算出した変換時間を減算して、前記合成タイミングのずれ時間を算出するように構成され、
前記制御手段は、前記計算手段で算出したずれ時間に基づいて、前記出力手段から出力される音声データのサンプル数を増減させることによって、前記生成手段で再生される音声の速度を調整するよう構成されていることを特徴とする請求項１に記載の合成タイミング調整システム。 - 前記制御手段は、前記計算手段で算出された時間を基に、前記合成手段におけるテレビジョンデータと字幕データとの合成タイミングのずれを判断し、字幕データの合成されたタイミングが適切な合成タイミングより遅れている場合、前記出力手段から出力する音声データのサンプル数を減少させて前記生成手段で再生される音声の速度を加速させ、字幕データが前記合成タイミングより進んでいる場合、前記出力手段から出力する音声データのサンプル数を増加させて前記再生される音声の速度を減速させることを特徴とする請求項２に記載の合成タイミング調整システム。
- 前記制御手段は、現在の音声データのサンプル数を段階的に減少又は増加させて目的の音声データのサンプル数に近づけて前記生成手段で再生される音声の速度を段階的に減速又は加速するように制御することを特徴とする請求項２に記載の合成タイミング調整システム。
- 合成タイミング調整システムは、
前記生成手段で生成された字幕データを蓄積する第１の蓄積手段と、
前記変換手段で変換された字幕データを蓄積する第２の蓄積手段とを有し、
前記計算手段は、前記第１の蓄積手段に蓄積されている字幕データから選択した所定の連続の文字と同一の連続の文字が、前記第２の蓄積手段に蓄積されている字幕データに含まれているか否かを判別し、前記同一の連続の文字が含まれている場合、ずれ時間の計算を行うように構成されていることを特徴とする請求項１又は請求項２に記載の合成タイミング調整システム。 - 音声データと映像データとから成るテレビジョンデータに、字幕データを合成するタイミングを調整するシステムであって、
テレビジョンデータが記憶されている記憶手段と、
前記記憶手段に記憶されている放送用のテレビジョンデータとテレビジョンデータの音声データとを出力する出力手段と、
前記出力手段から出力された音声データから音声を再生し、この再生された音声に基づいて、オペレータの入力により字幕データを生成する生成手段と、
前記出力手段から出力された放送用のテレビジョンデータを一定の変換速度で字幕データに変換する変換手段と、
前記生成手段で生成された字幕データと前記出力手段から出力された放送用のテレビジョンデータとを合成する合成手段と、
前記生成手段で生成された字幕データが蓄積される第１の蓄積手段と、
前記変換手段で変換された字幕データが蓄積される第２の蓄積手段と、
字幕データの文字と、この文字が第１の蓄積手段に蓄積された時点の時間とが関連付けて記憶される第１のテーブルと、
字幕データの文字と、この文字が第２の蓄積手段に蓄積された時点の時間とが関連付けて記憶される第２のテーブルと、
前記生成手段で生成された字幕データの各文字が前記第１の蓄積手段に蓄積された時点の時間、及び前記変換手段で変換された字幕データの各文字が第２の蓄積手段に蓄積された時点の時間を監視し、字幕データの各文字と該各文字が第１の蓄積手段又は第２の蓄積手段に蓄積された時点の時間とを関連付けて第１のテーブル又は第２のテーブルに記憶させる手段と、
前記第１の蓄積手段に蓄積されている字幕データから選択した所定の連続の文字と同一の連続の文字が前記第２の蓄積手段に蓄積されている字幕データに含まれているか否かを判別する判別手段と、
前記判別手段で同一の連続の文字が含まれていると判別された場合、この文字と同一の文字を前記第１のテーブル及び第２のテーブルから検索し、検索した文字に関連付けられている時間を第１のテーブル及び第２のテーブルから読み出す読出手段と、
前記第２のテーブルより読み出した時間から前記第１のテーブルより読み出した時間及び前記変換手段の変換速度を基に算出した変換時間を減算して、前記合成手段における合成タイミングのずれ時間を算出する計算手段と、
前記計算手段で算出したずれ時間に基づいて、前記出力手段から出力される音声データのサンプル数を増減させることによって前記生成手段で再生される音声の速度を調整する制御手段と
を有することを特徴とする合成タイミング調整システム。 - 前記制御手段は、前記計算手段で算出された時間を基に、前記合成手段におけるテレビジョンデータと字幕データとの合成タイミングのずれを判断し、字幕データの合成されたタイミングが適切な合成タイミングより遅れている場合、前記出力手段から出力する音声データのサンプル数を減少させて前記生成手段で再生される音声の速度を加速させ、字幕データが前記合成タイミングより進んでいる場合、前記出力手段から出力する音声データのサンプル数を増加させて前記再生される音声の速度を減速させることを特徴とする請求項６に記載の合成タイミング調整システム。
- 前記制御手段は、現在の音声データのサンプル数を段階的に減少又は増加させて目的の音声データのサンプル数に近づけて前記生成手段で再生される音声の速度を段階的に減速又は加速するように制御することを特徴とする請求項６に記載の合成タイミング調整システム。
- 音声データと映像データとから成るテレビジョンデータに、字幕データを合成するタイミングを調整するシステムであって、
テレビジョンデータが記憶されている記憶手段と、
前記記憶手段に記憶されているテレビジョンデータに基づいて、オペレータの入力により字幕データを生成する生成手段と、
前記記憶手段に記憶されているテレビジョンデータを所定の時間遅延させる遅延手段と、
前記遅延手段で遅延されたテレビジョンデータと、前記生成手段で生成された字幕データとを合成する合成手段と
を有することを特徴とする合成タイミング調整システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003000526A JP3811751B2 (ja) | 2003-01-06 | 2003-01-06 | 合成タイミング調整システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003000526A JP3811751B2 (ja) | 2003-01-06 | 2003-01-06 | 合成タイミング調整システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004215033A true JP2004215033A (ja) | 2004-07-29 |
| JP3811751B2 JP3811751B2 (ja) | 2006-08-23 |
Family
ID=32818808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003000526A Expired - Fee Related JP3811751B2 (ja) | 2003-01-06 | 2003-01-06 | 合成タイミング調整システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3811751B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102075697A (zh) * | 2009-11-24 | 2011-05-25 | 新奥特（北京）视频技术有限公司 | 一种字幕制作过程中的编辑方法和装置 |
| US9147312B2 (en) | 2008-03-13 | 2015-09-29 | Aristocrat Technologies Australia Pty Limited | Method and system of distributing progressive gaming |
-
2003
- 2003-01-06 JP JP2003000526A patent/JP3811751B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9147312B2 (en) | 2008-03-13 | 2015-09-29 | Aristocrat Technologies Australia Pty Limited | Method and system of distributing progressive gaming |
| CN102075697A (zh) * | 2009-11-24 | 2011-05-25 | 新奥特（北京）视频技术有限公司 | 一种字幕制作过程中的编辑方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3811751B2 (ja) | 2006-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108769786B (zh) | 一种合成音视频数据流的方法和装置 | |
| US5583652A (en) | Synchronized, variable-speed playback of digitally recorded audio and video | |
| US7471337B2 (en) | Method of audio-video synchronization | |
| JP4456004B2 (ja) | メディア・サービスの再生自動同期化方法および装置 | |
| JP5903924B2 (ja) | 受信装置および字幕処理方法 | |
| US20060044469A1 (en) | Apparatus and method for coordinating synchronization of video and captions | |
| EP2169663B1 (en) | Text information presentation device | |
| JP2004007140A (ja) | 音声再生装置および同装置で用いられる音声再生制御方法 | |
| JP2006211636A (ja) | 字幕付き映像信号の遅延制御装置及び遅延制御プログラム | |
| US6744473B2 (en) | Editing and switching of video and associated audio signals | |
| ES2370218B1 (es) | Procedimiento y dispositivo para sincronizar subtítulos con audio en subtitulación en directo. | |
| KR102156467B1 (ko) | ２ 개의 전자 디바이스들에서의 재생들을 동기화하기 위한 방법 및 장치 | |
| US7054544B1 (en) | System, method and record medium for audio-video synchronous playback | |
| JP2007324872A (ja) | 字幕付き映像信号の遅延制御装置及び遅延制御プログラム | |
| US7240013B2 (en) | Method and apparatus for controlling buffering of audio stream | |
| US7801631B2 (en) | Digital multimedia broadcasting receiver for preset recording and method thereof | |
| JP2000107453A (ja) | ゲームシステム、ゲーム装置、ゲームデータ配信装置、画像同期システムおよび情報記録媒体 | |
| JP3811751B2 (ja) | 合成タイミング調整システム | |
| JP2004207821A (ja) | 字幕放送受信装置、字幕放送受信方法及び字幕放送受信プログラム | |
| JPH10304321A (ja) | テレビジョン放送システムおよびテレビジョン放送システム用受信装置 | |
| JP2006165772A (ja) | 情報再生装置及び方法 | |
| KR100423129B1 (ko) | 디지털 방송수신기에서의 출력 타이밍 조절방법 | |
| US20100091188A1 (en) | Synchronization of secondary decoded media streams with a primary media stream | |
| US20070248170A1 (en) | Transmitting Apparatus, Receiving Apparatus, and Reproducing Apparatus | |
| JP2002010138A (ja) | 情報処理方法及び情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050729 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050909 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060419 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060428 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130609 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |