JP2004207821A - 字幕放送受信装置、字幕放送受信方法及び字幕放送受信プログラム - Google Patents
字幕放送受信装置、字幕放送受信方法及び字幕放送受信プログラム Download PDFInfo
- Publication number
- JP2004207821A JP2004207821A JP2002371692A JP2002371692A JP2004207821A JP 2004207821 A JP2004207821 A JP 2004207821A JP 2002371692 A JP2002371692 A JP 2002371692A JP 2002371692 A JP2002371692 A JP 2002371692A JP 2004207821 A JP2004207821 A JP 2004207821A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- video
- subtitle
- audio
- broadcast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】ニュース字幕放送のようなリアルタイムの放送において、映像音声と字幕との出力時間差に応じた表示のタイミングのズレをスムーズに解消することができる字幕放送受信装置、字幕放送受信方法及び字幕放送受信プログラムを提供する。
【解決手段】字幕放送受信装置１は、映像音声信号遅延手段１２により、映像音声を、放送信号で送られてくる遅延時間情報ａ１で示された遅延時間分送らせることで、映像音声と字幕との出力時間差を調整し、信号重畳手段１６で、その遅延された映像音声に字幕を重畳させて出力することを特徴とする。
【選択図】 図１
【解決手段】字幕放送受信装置１は、映像音声信号遅延手段１２により、映像音声を、放送信号で送られてくる遅延時間情報ａ１で示された遅延時間分送らせることで、映像音声と字幕との出力時間差を調整し、信号重畳手段１６で、その遅延された映像音声に字幕を重畳させて出力することを特徴とする。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、テレビジョン（以下、「テレビ」という。）の文字多重放送において、特にニュースやスポーツ等の生番組放送のように、リアルタイムで放映される放送における映像音声と字幕の出力時間差によって生じる表示のタイミングのズレをスムーズに解消することができる字幕放送受信装置、字幕放送受信方法及び字幕放送受信プログラムに関する。
【０００２】
【従来の技術】
一般に、テレビ放送のドラマ放送等には、文字多重放送が利用される。今日の文字多重放送では、画面の下部に字幕を１行あたり１５文字として１行から２行の範囲内で表示させ、人間が読み取る時間を考慮して６秒程度表示させたのち、２行を総入れ替えする方法で字幕を映像に重畳させている。
【０００３】
また、文字多重放送では、２０００年４月（西暦）からは、字幕を映像に付与するニュース字幕放送が開始された。ニュース字幕放送では、音声認識を利用してアナウンサの声をリアルタイムに字幕に変換し、この字幕を映像に付与するようにしている。このように、かかる文字多重放送は、ドラマ放送だけでなく、ニュースやスポーツ等の生番組放送等（以下、「ニュース字幕放送」という。）への利用も可能となる。
【０００４】
ところで、ドラマ放送では、映像と字幕の表示タイミングが一致するが、ニュース字幕放送では、映像と字幕の表示タイミングが一致せず、映像に対して字幕が遅れて表示される。これは、ドラマ放送等では、映像を録画した後、該映像に対応した字幕をワープロ等で作成し、この字幕を映像に対して事前につけるようにしており、字幕を付与する段階で表示タイミングが調整されるので、ズレは生じない。これに対し、ニュース字幕放送では、字幕の映像への付与に音声認識システムを利用している。この音声認識システムを使用した場合、ニュース字幕の自動生成過程において、音声認識処理と認識誤りの確認修正処理等が必要となり、その処理等に時間を要し、この時間に起因した遅れが生じて、これが表示タイミングの不一致の原因となっている。
【０００５】
なお、字幕提示に関する主観評価実験結果によれば、ニュース字幕放送における映像と字幕の表示タイミングの「ズレ」に対する人間の許容限界は約２秒以内で、字幕の遅れ時間に対する満足度の限界値は、約２．５秒以内であるとされる。しかし、ニュース字幕放送における現状では、映像に対する字幕の遅れは約１０秒程度である。この字幕の遅延は、音声認識システム等の改良により、将来的には短縮される可能性があるものの、本質的に生じるものである。そして、映像と字幕の表示タイミングに許容限界以上のズレが生ずると、視聴者にとってニュース内容の理解に大きな障害となり、また不満にもなる。
【０００６】
そこで、映像と字幕の表示タイミングのズレを解消して、適切なタイミングで表示させようとする技術も、これまでに提案されている。その提案されている字幕放送受信装置は、映像信号を遅延回路により固定時間遅延させることにより、映像と字幕の同期を取るものである（例えば、特許文献１参照。）。
【０００７】
また、多様な字幕の提示形式を選択可能な字幕放送受信システムの提案もされているが、放送中に映像と字幕の同期を調整するための考慮はされていない（例えば、非特許文献１参照。）。
【０００８】
【特許文献１】
特開２００２−１２５２０２号公報（特許請求の範囲）
【非特許文献１】
映像情報メディア学会誌Ｖｏｌ．５６，Ｎｏ．２，ｐ．３２６〜３３１
【０００９】
【発明が解決しようとする課題】
しかし、前記特許文献１の字幕放送受信装置においては、映像信号を固定時間遅延させることにより、映像と字幕の同期を取ろうとする提案がなされているが、この「ズレ」が一定でないために、放送中に遅延の度合いを変化させなければならない可能性がある。しかし、字幕放送受信装置で、放送中に映像の遅延量を単純に増減させようとすると、映像情報が欠落したり、ダブったりしてしまうという問題点がある。
【００１０】
また、ニュース字幕放送においては、音声認識技術等により番組音声をリアルタイムで文字に変換し、これを字幕にして送出している。このため、番組音声に対する字幕の遅れは必然的なものであり、例えば、ＮＨＫのニュース番組では、番組音声（＝映像）に対して字幕が平均約１０秒遅れているというデータもある（電子通信学会論文誌 ２００１／６ Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ）。ただし、この「ズレ」は一定ではなく、例えば、番組音声の認識が困難な部分においては、字幕の遅れが大きくなる傾向があり、これらに対応することが望まれていた。
【００１１】
本発明は、以上のような問題点に鑑みてなされたものであり、ニュース字幕放送のようなリアルタイムで放映される放送において、その放送中に遅延の度合いに応じた遅延処理を行い、映像音声信号に基づく映像音声と字幕信号に基づく字幕との表示のタイミングのズレをスムーズに解消することができる字幕放送受信装置、字幕放送受信方法及び字幕放送受信プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は前記の目的を達成するために、請求項１記載にかかる字幕放送受信装置では、映像音声信号と字幕信号と前記映像音声信号に対する前記字幕信号の遅れ時間に基づいた遅延時間情報とを含む放送信号を送信側から受信し、前記遅延時間情報により、前記映像音声信号に基づく映像音声と前記字幕信号に基づく字幕との出力時間差を調整して、前記字幕を前記映像音声に重畳させて出力する字幕放送受信装置であって、前記送信側から送信された前記放送信号を受信する放送信号受信手段と、前記放送信号受信手段によって受信された前記放送信号から前記字幕信号を分離する信号分離手段と、前記遅延時間情報に基づいて、前記出力時間差が所定時間内となるように前記映像音声信号に基づく映像音声を遅延させる映像音声信号遅延手段と、前記映像音声信号遅延手段によって遅延された映像音声に、前記信号分離手段によって分離された前記字幕信号に基づく字幕を重畳させて出力する信号重畳手段と、を備えるようにした。
【００１３】
かかる構成によれば、放送信号は放送信号受信手段によって受信され、信号分離手段により、放送信号から字幕信号が分離される。一方、放送信号の中に含まれている映像音声信号に対しては、同じく放送信号の中に含まれている遅延時間情報から、映像音声と字幕との出力時間差が適宜決まる。そして、出力時間差が所定時間以上ズレている場合は、放送中に、映像音声信号遅延手段によってズレに応じた遅延処理が施され、その遅延処理された映像音声信号は信号重畳手段に入力される。信号重畳手段では、その遅延処理された映像音声信号に基づく映像音声に字幕信号に基づく字幕が重畳され、それが出力される。したがって、映像音声信号に加える遅延調整により、放送中における映像音声信号に基づく映像音声と字幕信号に基づく字幕との表示タイミングのズレを解消することができる。
【００１４】
請求項２に記載の本発明にかかる字幕放送受信装置では、前記映像音声信号遅延手段が、前記映像音声信号を一時蓄積し、該蓄積した前記映像音声信号を前記出力時間差に基づく時間後に読み出すための記憶手段とを有する遅延手段と、前記遅延手段より読み出された前記映像音声信号を逐次映像音声再生する映像音声再生手段を有して構成されている。
【００１５】
かかる構成によれば、映像音声信号は、一時、メモリに蓄積される。そして、遅延化処理は、記憶手段に一時蓄積された映像音声信号を、出力時間差に基づく時間後に再び読み出し（読み取り）、これを映像音声信号再生手段で再生させることによって行われる。
【００１６】
請求項３に記載の本発明にかかる本発明の字幕放送受信装置では、前記映像音声信号遅延手段は、前記映像音声を遅延させる遅延時間に対して視聴者が調整する遅延時間調整手段を備えた構成にされている。
【００１７】
かかる構成によれば、遅延量の自動調整機能に不具合が生じて自動で映像音声の遅延量を調整することができないとき、あるいは視聴者の好みにより視聴者側で手動により調整し、ズレの不具合をなくすことができる。
【００１８】
請求項４に記載の本発明にかかる字幕放送受信装置では、映像音声信号と字幕信号と前記映像音声信号に対する前記字幕信号の遅れ時間に基づいた遅延時間情報とを含む放送信号を送信側から受信し、前記遅延時間情報により、前記映像音声信号に基づく映像音声と前記字幕信号に基づく字幕との出力時間差を調整して、前記字幕を前記映像音声に重畳させて出力する字幕放送受信装置であって、前記送信側から送信された前記放送信号を受信する放送信号受信手段と、前記放送信号受信手段によって受信された前記放送信号から前記字幕信号を分離する信号分離手段と、前記信号分離手段で分離された前記字幕信号から得られた文字列を所定の文字単位に分割する文字列分割手段と、前記遅延時間情報に基づいて、前記出力時間差が所定時間内となるように前記映像音声信号に基づく映像音声を遅延させる映像音声信号遅延手段と、前記映像音声信号遅延手段によって遅延された前記映像信号に基づく映像音声に、前記信号分離手段によって分離され、かつ前記文字列分割手段によって所定の文字単位に分割された字幕信号に基づく字幕を前記所定の文字単位毎に重畳させて出力する信号重畳手段と、を備えるようにした。
【００１９】
かかる構成によれば、放送信号は放送信号受信手段によって受信され、信号分離手段により放送信号から字幕信号が分離される。また、分離された字幕信号は、文字列分割処理手段によって所定の文字単位毎に分割され、分割された単位毎に信号重畳手段に送られる。一方、放送信号の中に含まれている映像音声信号に対しては、同じく放送信号の中に含まれている遅延時間情報から、映像音声と字幕との出力時間差が適宜決まる。
【００２０】
そして、出力時間差が、所定時間以上ずれている場合は、映像音声信号遅延手段によって遅延処理が施され、その遅延処理された映像音声信号は、信号重畳手段に入力される。信号重畳手段では、文字列分割処理手段によって分割されて単位毎に送られて来る字幕信号に基づく字幕を遅延調整後の映像音声信号に基づく映像音声に重畳させ、映像音声に対する字幕を単位毎にマッチングさせながら出力する。したがって、映像音声信号に加える遅延調整により、映像音声信号に基づく映像音声と字幕信号に基づく字幕との表示タイミングのズレを解消することができる。
【００２１】
なお、字幕信号の分割単位は、文字単位、単語単位、句単位の短い単位に自動分割することが好ましい。これは、短い単位に細かく分割して表示画面上に逐次表示すると、例えば手動で調整する場合では、目視での映像と字幕との同期の調整がし易くなる。また、字幕としても見易くなることにある。
【００２２】
請求項５に記載の本発明にかかる字幕放送受信装置では、映像音声信号と字幕信号と前記映像音声信号に対する前記字幕信号の遅れ時間に基づいた遅延時間情報とを含む放送信号を送信側から受信し、前記遅延時間情報により、前記映像音声信号に基づく映像音声と前記字幕信号に基づく字幕との出力時間差を調整して、前記字幕を前記映像音声に重畳させて出力する字幕放送受信装置であって、前記送信側から送信された前記放送信号を受信する放送信号受信手段と、前記放送信号受信手段によって受信された前記放送信号から前記字幕信号を分離する信号分離手段と、前記信号分離手段で分離された前記字幕信号に対して、各文字毎に受信した時刻を記録する受信文字列時刻記録手段と、前記信号分離手段で分離された前記字幕信号から得られた文字列を所定の文字単位に分割する文字列分割手段と、前記遅延時間情報に基づいて、前記出力時間差が所定時間内となるように前記映像音声に基づく映像音声を遅延させる映像音声信号遅延手段と、前記映像音声信号遅延手段によって遅延された前記映像音声信号に基づく映像音声に、前記信号分離手段によって分離され、かつ前記受信文字列時刻記録手段により時刻が記録され、前記文字列分割手段によって所定の文字単位に分割された前記字幕信号に基づく字幕を、前記受信文字列時刻記録手段により時刻が記録された前記字幕信号の時間に基づき所定の時間間隔毎に、逐次重畳させて出力する信号重畳手段と、を備えるようにした。
【００２３】
かかる構成によれば、放送信号は放送信号受信手段によって受信され、信号分離手段により、この放送信号から字幕信号が分離される。また、分離された字幕信号は、受信文字列時刻記録手段によって文字毎に受信した時刻が記録され、かつ、文字列分割処理手段によって所定の文字列の単位毎に分割されて、その単位毎に信号重畳手段に送られる。一方、映像信号の中に含まれている映像音声信号に対しては、同じく放送信号の中に含まれている遅延時間情報から、映像音声と字幕との出力時間差が適宜決まる。
【００２４】
そして、出力時間差が所定時間以上ズレている場合は、映像音声信号遅延手段によって遅延処理が施され、その遅延処理された映像音声信号は信号重畳手段に入力される。信号重畳手段では、受信文字列時刻記録手段により時刻が記録され、かつ文字列分割処理手段で分割されて単位毎に送られて来る字幕信号に基づく字幕を遅延調整後の映像音声信号に基づく映像音声に重畳させ、映像音声に対する字幕を所定の時間間隔毎にマッチングさせながら出力する。したがって、映像音声信号に加える遅延調整により、映像音声信号に基づく映像音声と字幕信号に基づく字幕との表示タイミングのズレを解消することができる。
なお、字幕信号の分割単位は、所定の時間間隔を前提とし、これに文字単位、単語単位、句単位の短い単位に自動分割することが加味され、その単位毎に細かく分割して出力される。
【００２５】
請求項６に記載の本発明にかかる字幕放送受信方法では、映像音声信号と字幕信号と前記映像音声信号に対する前記字幕信号の遅れ時間に基づいた遅延時間情報とを含む放送信号を送信側から受信し、前記遅延時間情報により、前記映像音声信号に基づく映像音声と前記字幕信号に基づく字幕との出力時間差を調整して、前記字幕を前記映像音声に重畳させて出力する字幕放送受信方法であって、前記送信側から送信された前記放送信号を受信する放送信号受信処理ステップと、前記放送信号受信処理ステップによって受信された前記放送信号から前記字幕信号を分離する字幕信号分離処理ステップと、前記遅延時間情報に基づいて、前記出力時間差が所定時間内となるように前記映像音声に基づく映像音声を遅延させる映像音声信号遅延処理ステップと、前記映像音声信号遅延処理ステップによって遅延された映像音声に、前記字幕信号分離処理ステップによって分離された前記字幕信号に基づく字幕を重畳させて出力する信号重畳処理ステップと、を含んでいることを特徴とする。
【００２６】
この方法によれば、放送信号は放送信号受信処理ステップによって受信され、字幕信号分離処理ステップにより、この放送信号から字幕信号が分離される。一方、放送信号の中に含まれている映像音声信号に対しては、同じく放送信号の中に含まれている遅延時間情報から、映像音声と字幕との出力時間差が適宜決まる。そして、出力時間差が所定時間以上ズレている場合は、映像音声信号遅延処理ステップによって遅延処理が施され、その遅延処理された映像音声信号は信号重畳処理ステップに入力される。信号重畳処理ステップでは、その遅延処理された映像音声信号に基づく映像音声に字幕信号に基づく字幕が重畳され、それが出力される。したがって、映像音声信号に加える遅延調整により、映像音声信号に基づく映像音声と字幕信号に基づく字幕との表示タイミングのズレを解消することができる。
【００２７】
請求項７に記載の本発明にかかる字幕放送受信プログラムでは、映像音声信号と字幕信号と前記映像音声信号に対する前記字幕信号の遅れ時間に基づいた遅延時間情報とを含む放送信号を送信側から受信し、前記遅延時間情報により、前記映像音声信号に基づく映像音声信号と前記字幕信号に基づく字幕との出力時間差を調整して、前記字幕を前記映像音声に重畳させて出力するために、コンピュータを、以下の各手段により機能させるようにした。
【００２８】
すなわち、各手段は、前記送信側から送信された前記放送信号を受信する放送信号受信手段、前記放送信号受信手段によって受信された前記放送信号から前記字幕信号を分離する信号分離手段、前記遅延時間情報に基づいて、前記出力時間差が所定時間内となるように前記映像音声に基づく映像音声を遅延させる映像音声信号遅延手段、前記映像音声信号遅延手段によって遅延された映像音声に、前記信号分離手段によって分離された前記字幕信号に基づく字幕を重畳させて出力する信号重畳手段、とした。
【００２９】
かかる構成によれば、字幕放送受信プログラムは、放送信号受信手段により放送信号を受信し、信号分離手段により放送信号から字幕信号を分離させることができる。一方、放送信号の中に含まれる映像音声信号に対しては、同じく放送信号中に含まれている遅延時間情報から、映像音声と字幕との出力時間差が適宜決まる。そして、出力時間差が所定時間以上ズレている場合は、映像音声信号遅延手段によって遅延処理が施され、その遅延処理された映像音声信号は、信号重畳手段に入力され、信号重畳手段では、その遅延処理された映像音声信号に基づく映像音声に字幕信号に基づく字幕が重畳され、それが出力される。したがって、映像音声信号に加える遅延調整により、映像音声信号に基づく映像音声と字幕信号に基づく字幕との表示タイミングのズレを解消することができる。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
［字幕放送受信装置の構成］
図１は字幕放送受信装置の全体構成ブロック図である。図１に示すように、字幕放送受信装置１は、放送信号受信手段３と、生字幕放送選択手段５と、スイッチ６と、信号分離手段７ａ，７ｂと、字幕信号デコーダ８ａ，８ｂと、映像音声信号可変遅延手段９、映像音声信号可変速再生手段１０ａ及び遅延時間調整手段１１を有する映像音声信号遅延手段１２と、映像音声信号再生手段１０ｂと、受信文字列時刻記録手段１４と、文字列分割手段１５と、信号重畳手段１６とを備えて構成される。そして、放送信号受信手段３の入力側にはアンテナ２が接続され、信号重畳手段１６の出力側にはＣＲＴ１７が接続される。
【００３１】
さらに詳述すると、アンテナ２は、テレビ放送局等の送信側（図示せず）から送信された放送信号Ａ１を受信するものである。放送信号Ａ１には、ＮＴＳＣ映像信号と音声信号と遅延時間情報ａ１とを含む。
【００３２】
ここで、図３を参照して、遅延時間情報ａ１について説明する。図３は、映像音声信号（ａ）に対して、字幕信号（ｂ）が、時間ｔ１だけ遅れた状態を示している。一般に、ニュース字幕放送等のリアルタイムで字幕を音声映像に合わせて表示させる場合、音声認識処理と認識誤りの確認修正処理等が必要となり、図３に示すように、映像音声信号に対して字幕信号が遅延した状態で放送される。そこで、遅延時間情報ａ１（図１）は、映像音声信号に対する字幕信号の遅れ時間ｔ１を含んだ情報とする。これによって、遅延時間情報ａ１を受信した受信側は、映像音声と字幕とのズレを補正することが可能になる。
【００３３】
なお、この遅延時間情報ａ１は、放送局において、適宜映像音声に対する字幕の遅れ時間ｔ１を測定することで求めてもよいし、ニュース番組、スポーツ番組等で予め決められた遅れ時間、例えば、いままで放送した番組における遅れ時間に基づいて、固定した時間を用いてもよい。
図１に戻って説明を続ける。
【００３４】
放送信号受信手段３は、アンテナ２で受信された放送信号Ａ１の中から、視聴者によって指定された放送の受信信号を選択して、指定されたＮＴＳＣ映像信号及び音声信号（以下、「映像音声信号」という）を取り出すもので、文字放送用チューナ（図示せず）としての機能を備える。
【００３５】
生字幕放送選択手段５は、生放送字幕の番組を選択する機能を有し、スイッチ６の切り換えを制御するものである。この生字幕放送選択手段５によるスイッチ６の切り換え制御は、視聴者が手動で切り換え制御するか、もしくはデジタル放送で実現されているＥＰＧ（Ｅｌｅｃｔｒｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ：電子プログラムガイド)から番組情報を取得して自動制御することが考えられる。なお、生字幕放送が行われているとき、スイッチ６は接点ａ側に接続され、生字幕放送以外では接点ｂ側に接続される設定となっている。
【００３６】
信号分離手段７ａ，７ｂは、放送信号受信手段３によって取り出された放送信号Ａ１から字幕信号を分離するもので、信号分離手段７ａは、スイッチ６の接点ａ側に接続され、信号分離手段７ｂはスイッチ６の接点ｂ側に接続されている。また、信号分離手段７ａは、放送信号Ａ１に含まれる遅延時間情報ａ１を分離抽出して、映像音声信号遅延手段１２の映像音声信号可変遅延手段９へ出力する。字幕信号デコーダ８ａ，８ｂは、信号分離手段７ａ，７ｂによって分離された字幕信号より、字幕信号の文字列を生成するものである。なお、信号分離手段７ａ，７ｂ及び字幕信号デコーダ８ａ，８ｂは、図の便宜上、それぞれ２つのブロックに分けて書いているが、それぞれ同一のものであってもよい。
【００３７】
映像音声信号再生手段１０ｂは、信号分離手段７ｂで分離された映像音声信号を再生して信号重畳手段１６に入力させるものである。
【００３８】
映像音声信号遅延手段１２は、信号分離手段７ａで分離された映像音声信号を所定時間遅延させて信号重畳手段１６に入力させるもので、映像音声信号可変遅延手段９と、映像音声信号可変速再生手段１０ａと、遅延時間調整手段１１とを備えて構成した。
【００３９】
映像音声信号可変遅延手段９は、信号分離手段７ａを通って入力された映像音声信号を一時蓄積し、同じく信号分離手段７ａから入力される遅延時間情報ａ１に基づいて適宜決められる時間後に、再び映像音声信号を読み出すことによって、映像音声信号を遅延させるものである。すなわち、遅延時間情報ａ１に基づいて遅延時間を任意に可変することができる機能を有している。
【００４０】
なお、現在のニュース字幕放送では、字幕信号の遅延時間は１０秒程度であるので、通常、その映像音声信号可変遅延手段９の遅延可能な時間は、最低限、この程度の時間まで映像音声を遅延させることができるようにしておく必要がある。ただし、字幕を見易くするために、句単位や形態素単位による逐次表示（後述）を予定している場合には、字幕信号にさらに大きな遅延が発生するため、映像音声信号に対する遅延時間も数１０秒〜数分の遅延を可能にしておくことが望ましい。
【００４１】
また、この映像音声信号可変遅延手段９は、映像音声信号を約１０秒〜数分程度遅延させるため、大容量で、かつ高速アクセスが可能な記録媒体、例えばハードディスク等の記憶手段１９を有している。
【００４２】
映像音声信号可変速再生手段１０ａは、映像信号可変遅延手段９に蓄積された映像音声信号を再生するものであって、しかも、その再生速度を調整できる機能（以下、これを「可変速再生」いう。）を有しており、可変速再生することにより、映像と音声とが途切れずに、その遅延の度合いの微調整を可能にする。この技術は、「平成１３年度ＮＨＫ技研公開展示資料（２９頁）」に記載されている「映像・音声信号可変再生装置」のアルゴリズムを利用したものであり、「話速変換技術」を応用することにより、ＶＴＲのスローや早回しを、音声の質を保ったままで実現する。
【００４３】
すなわち、ここでは、映像音声信号可変遅延手段９の記憶手段１９に蓄積され、その後、記憶手段１９から読み出された映像音声信号を映像音声信号可変速再生手段１０ａで可変速再生することにより、映像と音声とが途切れずに、遅延の度合いを微調整することを可能にする。例えば、本実施の形態では、２分の１倍速再生を２秒間行えば、１秒の映像音声の遅延を途切れなく実現できる。
【００４４】
遅延時間調整手段１１は、映像音声信号可変遅延手段９での遅延時間の遅延量を視聴者が手動で任意に調整可能にするもので、ここでの調整量は、遅延時間情報ａ１と同様の時間情報として映像音声信号可変遅延手段９に逐次入力される。
【００４５】
受信文字列時刻記録手段１４は、字幕信号デコーダ８ａからの字幕信号に対して、文字毎に受信した時刻を記録するものである。
【００４６】
文字列分割手段１５は、字幕信号から得られた文字列を句や形態素に分割するものである。ここで、「句」とは、句読点で区切られた単位である。「形態素」とは、意味を持つ最小の言語単位のことであり、「単語」とほぼ同義である。
【００４７】
図４に句単位と形態素単位の例を示す。図４の例では、字幕信号は、「おはようございます。ソレトレークシティーオリンピック大会５日目、日本は２つ目のメダルです。日本時間のけさ五時に行われたスピードスケート、男子五百メートルの二回目で、清水宏保選手が、銀メダルを獲得しました。」の場合である。また、図４中で、「／」を加えた部分が切れ目である。
【００４８】
すなわち、句単位に分割する場合は、図４の（ａ）に示しているように、「おはようございます。／ソレトレークシティーオリンピック大会５日目、／日本は２つ目のメダルです。／日本時間のけさ五時に行われたスピードスケート、／男子五百メートルの二回目で、／清水宏保選手が、／銀メダルを獲得しました。／」として区切られる。
【００４９】
これに対して、形態素の単位に分割する場合は、図４の（ｂ）に示しているように、「おはようございます。／ソレトレークシティーオリンピック／大会／５日／目、／日本／は／２つ／目／の／メダル／です。／日本／時／間／の／けさ／五／時／に／行わ／れた／スピード／スケート、／男子／五百／メートル／の／二／回／目／で、／清水／宏保／選手／が、／銀／メダル／を／獲得／し／ました。」として区切られる。なお、形態素の解析は自動で行うものであり、例えば奈良先端大が開発した「茶筌」（参考:形態素解析システム「茶筌」使用説明書）等のツールを使用することにより自動で行うことが可能である。
【００５０】
信号重畳手段１６は、映像音声信号可変速再生手段１０ａ又は映像音声信号再生手段１０ｂから出力される映像音声に、字幕信号デコーダ８ｂ又は文字列分割手段１５から出力される字幕を重畳させて字幕付きの映像音声を出力するものである。
【００５１】
ここで、信号重畳手段１６は、スイッチ６がａ端子側に接続されているときには、映像音声信号可変速再生手段１０ａで可変速再生された映像音声に字幕信号デコーダ８ａにより生成された字幕信号に基づく字幕を重畳して字幕付の映像音声を作る。一方、スイッチ６がｂ端子側に接続されているときには、映像音声信号再生手段１０ｂで再生された映像音声に字幕信号デコーダ８ｂにより生成された字幕信号に基づく字幕を重畳して字幕付の映像音声を作り、それぞれの字幕付の映像音声を出力する。
【００５２】
ＣＲＴ１７は、信号重畳手段１６より出力された信号に基づいて字幕付の映像音声を表示する表示手段である。
【００５３】
このように構成された字幕放送受信装置１では、ニュース字幕放送において、映像音声信号に基づく映像音声と字幕信号に基づく字幕との表示タイミングのズレを解消することができるものである。
【００５４】
［字幕放送受信装置の動作］
次に、図２を参照（適宜図１参照）して、本実施の形態における字幕放送受信装置１の動作について説明する。図２は、字幕放送受信装置１の動作を示すフローチャートである。なお、図２に示すフローチャートの動作手順は、コンピュータに組み込まれているプログラムに従い、コンピュータが制御するものである。
【００５５】
まず、テレビ放送局等のテレビ送信装置から送信された放送信号Ａ１（この放送信号Ａ１には、映像音声信号と字幕信号と遅延時間情報ａ１が含まれる）は、アンテナ２を介して放送信号受信手段３で受信される。放送信号受信手段３では、視聴者によって指定された放送が選局され、その選局された放送信号Ａ１が取り出される（ステップＳＴ１）。
【００５６】
ここで選局された放送信号Ａ１が字幕放送である場合、この字幕放送がさらにドラマ放送等の字幕に遅延がない放送であるか、または、ニュース字幕放送（生字幕放送）であるかにより、生字幕放送選択手段５によるスイッチ６の切り換え操作が行われる（ステップＳＴ２）。なお、生字幕放送選択手段５に基づくスイッチ６の切り換えは、デジタル放送で実現されているＥＰＧのような多重化されたインデックス情報あるいは手動制御に基づいて実行される。そして、ニュース字幕放送の場合にはスイッチ６をａ端子側に接続し（ステップＳＴ３）、反対に、生字幕放送でないドラマ放送の場合は、スイッチ６をｂ端子側に接続する（ステップＳＴ４）。
【００５７】
（ドラマ放送の場合）
ドラマ放送の場合は、放送局から送信されて来る、放送信号Ａ１のＮＴＳＣ映像信号の垂直帰線期間（通常は、２１Ｈ付近）には、字幕信号が映像音声信号と対応するように重畳されている。この放送信号Ａ１は、映像を事前に録画し、ワープロ等で字幕を作成し、ＮＴＳＣ映像信号の垂直帰線期間に字幕信号を重畳させることにより生成されたもので、通常、映像音声と字幕の表示タイミングは調整されている。
【００５８】
そこで、ドラマ放送の場合、放送信号受信手段３によって選局された放送信号Ａ１は、スイッチ６のｂ端子側を通って信号分離手段７ｂに入力され、映像音声信号と字幕信号とに分離され（ステップＳＴ５）、映像音声信号が映像音声信号再生手段１０ｂに入力され、字幕信号が字幕信号デコーダ８ｂに入力される。そして、字幕信号デコーダ８ｂでは字幕信号がデコードされて字幕信号の文字列化が図られ（ステップＳＴ６）、この字幕信号が信号重畳手段１６に出力される。
【００５９】
一方、映像音声信号再生手段１０ｂでは、映像音声信号が映像音声に再生されて信号重畳手段１６に出力される（ステップＳＴ７）。信号重畳手段１６では、映像音声信号再生手段１０ｂで映像音声信号に基づいて再生された映像音声に、字幕信号デコーダ８ｂで分離された字幕信号に基づく字幕を重畳させて、字幕付の映像音声をＣＲＴ１７に対して出力する（ステップＳＴ２０）。ＣＲＴ１７はその字幕付の映像音声を表示する（ステップＳＴ２１）。この動作は、ドラマ放送が行われている間、繰り返される。
【００６０】
（ニュース字幕放送の場合）
ニュース字幕放送の場合、送信側である放送局において、映像への字幕付与に音声認識システムを利用し、このシステムのニュース字幕の自動生成過程において音声認識処理と認識誤りの確認修正が行われる。その後、所定の表示形式にして字幕が送出されるため、字幕信号は映像音声信号に対して遅れが生じる。
【００６１】
そこで、ニュース字幕放送の場合、字幕放送受信装置１は、生字幕放送選択手段５の制御により、スイッチ６を接点ａ側に接続し（ステップＳＴ３）、放送信号受信手段３によって選局された放送信号Ａ１を映像音声信号と字幕信号と遅延時間情報ａ１とに分離して（ステップＳＴ８）、遅延時間情報ａ１によって遅れ時間を検出する。
【００６２】
そして、字幕信号を字幕信号デコーダ８ａに入力し、映像音声信号及び遅延時間情報ａ１を映像音声信号可変遅延手段９に入力する。そして、字幕信号デコーダ８ａでデコードされて字幕信号の文字列化（文字列生成）を行う（ステップＳＴ９）。さらに、その文字列は、受信文字列時刻記録手段１４に入力され、受信文字列時刻記録手段１４で各文字毎に受信した時刻が記録（タイムスタンプ）された後、文字列分割手段１５に入力される（ステップＳＴ１０，ＳＴ１１）。文字列分割手段１５では、字幕信号から得られた文字列を句又は形態素に分割し、これを信号重畳手段１６に出力する。
【００６３】
一方、映像音声信号可変遅延手段９に入力された映像音声信号は、遅延時間情報ａ１に基づいて、映像音声信号可変遅延手段９において映像音声信号の遅延化処理が行われる（ステップＳＴ１２）。ここでは、映像音声信号可変遅延手段９の記憶手段１９に映像音声信号を一時蓄積させ、遅延時間情報ａ１に基づくｔ１時間経過後に、その記憶されている映像音声信号を再び読み出して映像音声信号可変速再生手段１０ａに出力する。そして、映像音声信号は映像音声信号可変速再生手段１０ａで可変速再生され（ステップＳＴ１３）、これが信号重畳手段１６に出力される。
【００６４】
なお、この遅延時間情報ａ１は、視聴者が遅延時間調整手段１１を手動で操作することで調整することも可能である。この遅延時間調整手段１１で調整された遅延時間情報ａ１は映像音声信号可変遅延手段９に入力され、映像音声信号可変遅延手段９ではこの遅延時間情報ａ１に基づいて、映像音声の遅延量を調整することも可能である。
【００６５】
そして、信号重畳手段１６では、映像音声信号可変速再生手段１０ａにより可変速再生された映像音声に、文字列分割手段１５で分割された文字列に基づく字幕を重畳させ、字幕付の映像音声を、この字幕放送受信装置１に接続されているＣＲＴ１７に対して出力する（ステップＳＴ２０）。ＣＲＴ１７では、その字幕付の映像音声を表示する（ステップＳＴ２１）。
【００６６】
なお、ステップＳＴ１１において、文字列分割手段１５は、この字幕として文字列を句又は形態素として分割して出力する際に、受信文字列時刻記録手段１４において時刻記録されたタイムスタンプ、例えば、文頭の文字のタイムスタンプを参照して、各文頭の文字を表示する相対的な時刻を決定し、句単位又は形態素単位で信号重畳手段１６へ出力する。
【００６７】
図５に形態素単位での表示イメージを示した。例えば、字幕信号が、「おはようございます。ソレトレークシティーオリンピック大会５日目、日本は２つ・・・・・」の場合としたとき、アナウンサーがこの文章をニュースで読み上げると、ＣＲＴ１７の画面の下部には、形態素（単語）を単位として、字幕文字が（ａ）〜（ｈ）の順に表示される。
（ａ）「おはようございます。」。
（ｂ）「おはようございます。ソレトレークシティーオリンピック」。
（ｃ）「おはようございます。ソレトレークシティーオリンピック大会」。
（ｄ）「おはようございます。ソレトレークシティーオリンピック大会５日」。
（ｅ）「おはようございます。ソレトレークシティーオリンピック大会５日目、」。
（ｆ）「おはようございます。ソレトレークシティーオリンピック大会５日目、日本」。
（ｇ）「おはようございます。ソレトレークシティーオリンピック大会５日目、日本は」。
（ｈ）「おはようございます。ソレトレークシティーオリンピック大会５日目、日本は２つ」。
【００６８】
これが、句単位の場合では、次の（ａ´）〜（ｃ´）の順に表示される（図示せず）。
（ａ´）「おはようございます。」。
（ｂ´）「おはようございます。ソレトレークシティーオリンピック大会５日目、」。
（ｃ´）「おはようございます。ソレトレークシティーオリンピック大会５日目、日本は２つ・・・・」。
そして、この動作は、ニュース字幕放送が行われている間、繰り返される。
【００６９】
なお、信号重畳手段１６においては、「形態素（単語）単位」や「句単位」に限らず、例えば文献「多様な字幕の提示形式を選択可能な字幕放送受信システムの提案」（映像情報メディア学会誌Ｖｏｌ．５６，Ｎｏ．２，３２６〜３３１頁）に示されているような、「３行入替表示」や「スクロール」など、視聴者の好みに応じた重畳方法を選択することも可能であり、その選択により読み易い字幕を実現できる。
【００７０】
このように、本実施の形態では、ニュース字幕放送において、映像音声信号に対する字幕信号の遅れ時間が、遅延時間情報ａ１に基づいて適宜決まる。そして、映像音声信号可変遅延手段９では、放送中に映像音声信号に対して遅延処理を行い、映像音声信号に基づく映像音声と字幕信号に基づく字幕との出力時間差を調整する。そして、信号重畳手段１６内でその遅延処理された映像音声信号に基づく映像音声に対して、字幕信号に基づく字幕を重畳させてマッチングを図り、これをＣＲＴ１７に出力させているので、映像音声信号に基づく映像音声と、字幕信号に基づく字幕との表示タイミングのズレを解消することができる。
【００７１】
なお、前記実施の形態では、遅延時間情報ａ１は、（１）送信側となる放送局において、映像音声に対する字幕の遅れ時間（出力時間差）を測定し、この遅延時間情報ａ１を字幕信号の一部として配信するか、あるいはデータ放送信号等の別の手段によって配信し、この遅延時間情報ａ１を映像音声可変遅延手段９で取得し、取得した遅延時間情報ａ１に応じて映像音声の遅延量を自動で調整する場合、あるいは、（２）視聴者が遅延時間調整手段１１を手動で操作して遅延時間情報ａ１を調整し、その調整された遅延時間情報ａ１に基づいて、映像音声信号可変遅延手段９が映像音声信号の遅延を行う場合について説明した。
しかし、前記（１），（２）の手法に限ることなく、例えば、次の（３）の手法のようにして遅延時間情報ａ１を取得し、その取得した遅延時間情報ａ１に応じて映像音声の遅延量を調整することも可能である。
【００７２】
その（３）の手法では、字幕放送受信装置１に、字幕信号を「かな漢字」で書かれた単語と、その「よみ」を対応付けている電子化辞書を用意しておく。そして、マッチングの処理の仕方としては、まず字幕信号から得られる「かな漢字」をその電子化辞書の「よみ」に対応させ、その「よみ」から字幕信号に基づく字幕を発音記号列化する。次に、ここで発音記号列化された字幕の「よみ」と放送番組の映像音声信号から得られる「よみ」とをマッチングさせ、その「よみ」同士がどの程度ズレているかを知り、それを遅延時間情報ａ１とする方法である。
ここで得られた遅延時間情報ａ１は、映像音声信号可変遅延手段９に入力され、その映像音声信号可変遅延手段９で映像音声信号に対して遅延の度合いに応じた遅延処理を行う基準とされ、映像音声に対する字幕の遅延を解消するためのものである。
【００７３】
この手法としては、例えば「放送音声に対する字幕送出タイミング検出手法の検討」（日本音響学会講演論文集２−Ｑ−２４、２０００年９月）や、特開平１０−１３６２６０号公報に開示されている技術等を利用することができる。
【００７４】
また、本実施の形態の字幕放送受信装置１は、ハードディスク等のディスク装置を記録媒体とする録画装置である、家庭用のホームサーバで構成することも可能である。
【００７５】
【発明の効果】
以上説明したように、請求項１、請求項６又は請求項７に記載の発明によれば、映像音声信号に対する字幕信号の遅れ時間に基づいた遅延時間情報から、適宜決まる時間に応じた遅延処理を映像音声信号に対して施し、映像音声信号に基づく映像音声と字幕信号に基づく字幕との出力時間差を所定時間内となるように調整し、その後、その遅延処理された映像音声に字幕を重畳させて出力するようにしているので、放送中における映像音声と字幕との表示のタイミングのズレをスムーズに解消することができる。
【００７６】
これにより、ズレによる内容の理解度の低下や満足度の低下を解消できる。特に、ニュース字幕放送のように、リアルタイムで放映される放送において、その効果は大きい。
【００７７】
請求項２に記載の発明によれば、映像音声信号を、一時、記憶手段に蓄積し、その後読み出すようにして遅延化処理を図るので、記憶手段を内蔵したホームサーバの映像信号蓄積機能を利用することにより、ホームサーバ上で、遅延化処理機能に字幕の映像音声への信号重畳処理機能を付加させることができる。
【００７８】
請求項３に記載の発明によれば、視聴者が前記映像音声を遅延させる遅延時間を調整する遅延時間調整手段を備えているので、遅延量の自動調整機能に不具合が生じて自動で映像音声の遅延量を調整することができないとき、あるいは視聴者の好みにより、視聴者側で手動により遅延量を調整してズレの不具合をなくすことができる。
【００７９】
請求項４に記載の発明によれば、映像音声信号に対する字幕信号の遅れ時間に基づいた遅延時間情報から、映像音声と字幕との間に所定時間を超えた出力時間差（ズレ）があると判定された場合、遅延時間情報から適宜決まる時間に応じた遅延処理を、映像音声信号遅延手段により映像音声信号に対して施し、映像音声信号に基づく映像音声と字幕信号に基づく字幕との出力時間差を所定時間内となるように調整し、その後、信号重畳手段で、その遅延処理された映像音声に字幕を重畳させて出力させるようにしているので、放送中における映像音声と字幕との表示のタイミングのズレをスムーズに解消することができる。
【００８０】
これにより、ズレによる内容の理解度の低下や満足度の低下を解消できる。また、信号重畳手段による信号の重畳では、文字列分割処理手段によって字幕信号を短い単位に細かく分割し、その単位毎の字幕を映像音声に重畳させて出力するようにしているので、字幕は表示画面上に短い単位に細かく分割された状態で逐次表示される。
【００８１】
したがって、例えば手動で字幕のズレを調整する場合は、目視での映像と字幕の同期の調整がし易くなるとともに、字幕としても見易くなる。これは、特に、ニュース字幕放送のように、リアルタイムで放映される放送において、その効果は大きい。
【００８２】
請求項５に記載の発明によれば、映像音声信号に対する字幕信号の遅れ時間に基づいた遅延時間情報から、映像音声と字幕との間に所定時間を超えた出力時間差（ズレ）があると判定された場合、遅延時間情報から適宜決まる時間に応じた遅延処理を、映像音声信号遅延手段により映像音声信号に対して施し、映像音声信号に基づく映像音声と字幕信号に基づく字幕との出力時間差を所定時間内となるように調整し、その後、信号重畳手段で、遅延処理された映像音声に字幕を重畳させて出力させるようにしているので、映像音声と字幕との表示のタイミングのズレをスムーズに解消することができる。
【００８３】
これにより、ズレによる内容の理解度の低下や満足度の低下を解消できる。また、信号重畳手段による信号の重畳では、受信文字列時刻記録手段によって字幕信号の文字毎に受信した時刻を記録するとともに、その字幕信号を文字列分割処理手段によって短い単位に細かく分割し、受信文字列時刻記録手段によって記録された例えば文頭の文字のタイムスタンプを参照して、各文頭の文字を表示する相対的な時刻を決定し、かつ句単位や形態素単位で、その単位の長さに応じて適当な時間間隔で、その単位毎の字幕信号に基づく字幕を映像音声に重畳させて出力するようにしているので、表示画面上には字幕が短い単位に細かく分割して逐次表示される。
【００８４】
したがって、例えば手動で字幕のズレを調整する場合は、目視での映像と字幕の同期の調整がし易くなるとともに、字幕としても見易くなる。これは、特に、ニュース字幕放送のように、リアルタイムで放映される放送において、その効果は大きい。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる字幕放送受信装置の構成を示すブロック図である。
【図２】本発明の実施の形態にかかる字幕放送受信装置の動作を示すフローチャートである。
【図３】本発明の実施の形態にかかる字幕放送受信装置における遅延時間情報を説明するための説明図である。
【図４】本発明の実施の形態にかかる字幕放送受信装置における字幕表示形態を説明するための説明図である。
【図５】本発明の実施の形態にかかる字幕放送受信装置において字幕表示時における表示画面上の一表示例を示す図である。
【符号の説明】
１ …字幕放送受信装置
２ …アンテナ
３ …放送信号受信手段
５ …生字幕放送選択手段
６ …スイッチ
７ａ …字幕信号デコーダ
７ｂ …字幕信号デコーダ
８ａ …信号分離手段
８ｂ …信号分離手段
９ …映像音声信号可変遅延手段
１０ａ…映像音声信号可変速再生手段
１０ｂ…映像音声信号再生手段
１１ …遅延時間調整手段
１２ …映像音声信号遅延手段
１４ …受信文字列時刻記録手段
１５ …文字列分割手段
１６ …信号重畳手段
１７ …ＣＲＴ
１９ …記憶手段
Ａ１ …放送信号
ａ１ …遅延時間情報
【発明の属する技術分野】
本発明は、テレビジョン（以下、「テレビ」という。）の文字多重放送において、特にニュースやスポーツ等の生番組放送のように、リアルタイムで放映される放送における映像音声と字幕の出力時間差によって生じる表示のタイミングのズレをスムーズに解消することができる字幕放送受信装置、字幕放送受信方法及び字幕放送受信プログラムに関する。
【０００２】
【従来の技術】
一般に、テレビ放送のドラマ放送等には、文字多重放送が利用される。今日の文字多重放送では、画面の下部に字幕を１行あたり１５文字として１行から２行の範囲内で表示させ、人間が読み取る時間を考慮して６秒程度表示させたのち、２行を総入れ替えする方法で字幕を映像に重畳させている。
【０００３】
また、文字多重放送では、２０００年４月（西暦）からは、字幕を映像に付与するニュース字幕放送が開始された。ニュース字幕放送では、音声認識を利用してアナウンサの声をリアルタイムに字幕に変換し、この字幕を映像に付与するようにしている。このように、かかる文字多重放送は、ドラマ放送だけでなく、ニュースやスポーツ等の生番組放送等（以下、「ニュース字幕放送」という。）への利用も可能となる。
【０００４】
ところで、ドラマ放送では、映像と字幕の表示タイミングが一致するが、ニュース字幕放送では、映像と字幕の表示タイミングが一致せず、映像に対して字幕が遅れて表示される。これは、ドラマ放送等では、映像を録画した後、該映像に対応した字幕をワープロ等で作成し、この字幕を映像に対して事前につけるようにしており、字幕を付与する段階で表示タイミングが調整されるので、ズレは生じない。これに対し、ニュース字幕放送では、字幕の映像への付与に音声認識システムを利用している。この音声認識システムを使用した場合、ニュース字幕の自動生成過程において、音声認識処理と認識誤りの確認修正処理等が必要となり、その処理等に時間を要し、この時間に起因した遅れが生じて、これが表示タイミングの不一致の原因となっている。
【０００５】
なお、字幕提示に関する主観評価実験結果によれば、ニュース字幕放送における映像と字幕の表示タイミングの「ズレ」に対する人間の許容限界は約２秒以内で、字幕の遅れ時間に対する満足度の限界値は、約２．５秒以内であるとされる。しかし、ニュース字幕放送における現状では、映像に対する字幕の遅れは約１０秒程度である。この字幕の遅延は、音声認識システム等の改良により、将来的には短縮される可能性があるものの、本質的に生じるものである。そして、映像と字幕の表示タイミングに許容限界以上のズレが生ずると、視聴者にとってニュース内容の理解に大きな障害となり、また不満にもなる。
【０００６】
そこで、映像と字幕の表示タイミングのズレを解消して、適切なタイミングで表示させようとする技術も、これまでに提案されている。その提案されている字幕放送受信装置は、映像信号を遅延回路により固定時間遅延させることにより、映像と字幕の同期を取るものである（例えば、特許文献１参照。）。
【０００７】
また、多様な字幕の提示形式を選択可能な字幕放送受信システムの提案もされているが、放送中に映像と字幕の同期を調整するための考慮はされていない（例えば、非特許文献１参照。）。
【０００８】
【特許文献１】
特開２００２−１２５２０２号公報（特許請求の範囲）
【非特許文献１】
映像情報メディア学会誌Ｖｏｌ．５６，Ｎｏ．２，ｐ．３２６〜３３１
【０００９】
【発明が解決しようとする課題】
しかし、前記特許文献１の字幕放送受信装置においては、映像信号を固定時間遅延させることにより、映像と字幕の同期を取ろうとする提案がなされているが、この「ズレ」が一定でないために、放送中に遅延の度合いを変化させなければならない可能性がある。しかし、字幕放送受信装置で、放送中に映像の遅延量を単純に増減させようとすると、映像情報が欠落したり、ダブったりしてしまうという問題点がある。
【００１０】
また、ニュース字幕放送においては、音声認識技術等により番組音声をリアルタイムで文字に変換し、これを字幕にして送出している。このため、番組音声に対する字幕の遅れは必然的なものであり、例えば、ＮＨＫのニュース番組では、番組音声（＝映像）に対して字幕が平均約１０秒遅れているというデータもある（電子通信学会論文誌 ２００１／６ Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ）。ただし、この「ズレ」は一定ではなく、例えば、番組音声の認識が困難な部分においては、字幕の遅れが大きくなる傾向があり、これらに対応することが望まれていた。
【００１１】
本発明は、以上のような問題点に鑑みてなされたものであり、ニュース字幕放送のようなリアルタイムで放映される放送において、その放送中に遅延の度合いに応じた遅延処理を行い、映像音声信号に基づく映像音声と字幕信号に基づく字幕との表示のタイミングのズレをスムーズに解消することができる字幕放送受信装置、字幕放送受信方法及び字幕放送受信プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は前記の目的を達成するために、請求項１記載にかかる字幕放送受信装置では、映像音声信号と字幕信号と前記映像音声信号に対する前記字幕信号の遅れ時間に基づいた遅延時間情報とを含む放送信号を送信側から受信し、前記遅延時間情報により、前記映像音声信号に基づく映像音声と前記字幕信号に基づく字幕との出力時間差を調整して、前記字幕を前記映像音声に重畳させて出力する字幕放送受信装置であって、前記送信側から送信された前記放送信号を受信する放送信号受信手段と、前記放送信号受信手段によって受信された前記放送信号から前記字幕信号を分離する信号分離手段と、前記遅延時間情報に基づいて、前記出力時間差が所定時間内となるように前記映像音声信号に基づく映像音声を遅延させる映像音声信号遅延手段と、前記映像音声信号遅延手段によって遅延された映像音声に、前記信号分離手段によって分離された前記字幕信号に基づく字幕を重畳させて出力する信号重畳手段と、を備えるようにした。
【００１３】
かかる構成によれば、放送信号は放送信号受信手段によって受信され、信号分離手段により、放送信号から字幕信号が分離される。一方、放送信号の中に含まれている映像音声信号に対しては、同じく放送信号の中に含まれている遅延時間情報から、映像音声と字幕との出力時間差が適宜決まる。そして、出力時間差が所定時間以上ズレている場合は、放送中に、映像音声信号遅延手段によってズレに応じた遅延処理が施され、その遅延処理された映像音声信号は信号重畳手段に入力される。信号重畳手段では、その遅延処理された映像音声信号に基づく映像音声に字幕信号に基づく字幕が重畳され、それが出力される。したがって、映像音声信号に加える遅延調整により、放送中における映像音声信号に基づく映像音声と字幕信号に基づく字幕との表示タイミングのズレを解消することができる。
【００１４】
請求項２に記載の本発明にかかる字幕放送受信装置では、前記映像音声信号遅延手段が、前記映像音声信号を一時蓄積し、該蓄積した前記映像音声信号を前記出力時間差に基づく時間後に読み出すための記憶手段とを有する遅延手段と、前記遅延手段より読み出された前記映像音声信号を逐次映像音声再生する映像音声再生手段を有して構成されている。
【００１５】
かかる構成によれば、映像音声信号は、一時、メモリに蓄積される。そして、遅延化処理は、記憶手段に一時蓄積された映像音声信号を、出力時間差に基づく時間後に再び読み出し（読み取り）、これを映像音声信号再生手段で再生させることによって行われる。
【００１６】
請求項３に記載の本発明にかかる本発明の字幕放送受信装置では、前記映像音声信号遅延手段は、前記映像音声を遅延させる遅延時間に対して視聴者が調整する遅延時間調整手段を備えた構成にされている。
【００１７】
かかる構成によれば、遅延量の自動調整機能に不具合が生じて自動で映像音声の遅延量を調整することができないとき、あるいは視聴者の好みにより視聴者側で手動により調整し、ズレの不具合をなくすことができる。
【００１８】
請求項４に記載の本発明にかかる字幕放送受信装置では、映像音声信号と字幕信号と前記映像音声信号に対する前記字幕信号の遅れ時間に基づいた遅延時間情報とを含む放送信号を送信側から受信し、前記遅延時間情報により、前記映像音声信号に基づく映像音声と前記字幕信号に基づく字幕との出力時間差を調整して、前記字幕を前記映像音声に重畳させて出力する字幕放送受信装置であって、前記送信側から送信された前記放送信号を受信する放送信号受信手段と、前記放送信号受信手段によって受信された前記放送信号から前記字幕信号を分離する信号分離手段と、前記信号分離手段で分離された前記字幕信号から得られた文字列を所定の文字単位に分割する文字列分割手段と、前記遅延時間情報に基づいて、前記出力時間差が所定時間内となるように前記映像音声信号に基づく映像音声を遅延させる映像音声信号遅延手段と、前記映像音声信号遅延手段によって遅延された前記映像信号に基づく映像音声に、前記信号分離手段によって分離され、かつ前記文字列分割手段によって所定の文字単位に分割された字幕信号に基づく字幕を前記所定の文字単位毎に重畳させて出力する信号重畳手段と、を備えるようにした。
【００１９】
かかる構成によれば、放送信号は放送信号受信手段によって受信され、信号分離手段により放送信号から字幕信号が分離される。また、分離された字幕信号は、文字列分割処理手段によって所定の文字単位毎に分割され、分割された単位毎に信号重畳手段に送られる。一方、放送信号の中に含まれている映像音声信号に対しては、同じく放送信号の中に含まれている遅延時間情報から、映像音声と字幕との出力時間差が適宜決まる。
【００２０】
そして、出力時間差が、所定時間以上ずれている場合は、映像音声信号遅延手段によって遅延処理が施され、その遅延処理された映像音声信号は、信号重畳手段に入力される。信号重畳手段では、文字列分割処理手段によって分割されて単位毎に送られて来る字幕信号に基づく字幕を遅延調整後の映像音声信号に基づく映像音声に重畳させ、映像音声に対する字幕を単位毎にマッチングさせながら出力する。したがって、映像音声信号に加える遅延調整により、映像音声信号に基づく映像音声と字幕信号に基づく字幕との表示タイミングのズレを解消することができる。
【００２１】
なお、字幕信号の分割単位は、文字単位、単語単位、句単位の短い単位に自動分割することが好ましい。これは、短い単位に細かく分割して表示画面上に逐次表示すると、例えば手動で調整する場合では、目視での映像と字幕との同期の調整がし易くなる。また、字幕としても見易くなることにある。
【００２２】
請求項５に記載の本発明にかかる字幕放送受信装置では、映像音声信号と字幕信号と前記映像音声信号に対する前記字幕信号の遅れ時間に基づいた遅延時間情報とを含む放送信号を送信側から受信し、前記遅延時間情報により、前記映像音声信号に基づく映像音声と前記字幕信号に基づく字幕との出力時間差を調整して、前記字幕を前記映像音声に重畳させて出力する字幕放送受信装置であって、前記送信側から送信された前記放送信号を受信する放送信号受信手段と、前記放送信号受信手段によって受信された前記放送信号から前記字幕信号を分離する信号分離手段と、前記信号分離手段で分離された前記字幕信号に対して、各文字毎に受信した時刻を記録する受信文字列時刻記録手段と、前記信号分離手段で分離された前記字幕信号から得られた文字列を所定の文字単位に分割する文字列分割手段と、前記遅延時間情報に基づいて、前記出力時間差が所定時間内となるように前記映像音声に基づく映像音声を遅延させる映像音声信号遅延手段と、前記映像音声信号遅延手段によって遅延された前記映像音声信号に基づく映像音声に、前記信号分離手段によって分離され、かつ前記受信文字列時刻記録手段により時刻が記録され、前記文字列分割手段によって所定の文字単位に分割された前記字幕信号に基づく字幕を、前記受信文字列時刻記録手段により時刻が記録された前記字幕信号の時間に基づき所定の時間間隔毎に、逐次重畳させて出力する信号重畳手段と、を備えるようにした。
【００２３】
かかる構成によれば、放送信号は放送信号受信手段によって受信され、信号分離手段により、この放送信号から字幕信号が分離される。また、分離された字幕信号は、受信文字列時刻記録手段によって文字毎に受信した時刻が記録され、かつ、文字列分割処理手段によって所定の文字列の単位毎に分割されて、その単位毎に信号重畳手段に送られる。一方、映像信号の中に含まれている映像音声信号に対しては、同じく放送信号の中に含まれている遅延時間情報から、映像音声と字幕との出力時間差が適宜決まる。
【００２４】
そして、出力時間差が所定時間以上ズレている場合は、映像音声信号遅延手段によって遅延処理が施され、その遅延処理された映像音声信号は信号重畳手段に入力される。信号重畳手段では、受信文字列時刻記録手段により時刻が記録され、かつ文字列分割処理手段で分割されて単位毎に送られて来る字幕信号に基づく字幕を遅延調整後の映像音声信号に基づく映像音声に重畳させ、映像音声に対する字幕を所定の時間間隔毎にマッチングさせながら出力する。したがって、映像音声信号に加える遅延調整により、映像音声信号に基づく映像音声と字幕信号に基づく字幕との表示タイミングのズレを解消することができる。
なお、字幕信号の分割単位は、所定の時間間隔を前提とし、これに文字単位、単語単位、句単位の短い単位に自動分割することが加味され、その単位毎に細かく分割して出力される。
【００２５】
請求項６に記載の本発明にかかる字幕放送受信方法では、映像音声信号と字幕信号と前記映像音声信号に対する前記字幕信号の遅れ時間に基づいた遅延時間情報とを含む放送信号を送信側から受信し、前記遅延時間情報により、前記映像音声信号に基づく映像音声と前記字幕信号に基づく字幕との出力時間差を調整して、前記字幕を前記映像音声に重畳させて出力する字幕放送受信方法であって、前記送信側から送信された前記放送信号を受信する放送信号受信処理ステップと、前記放送信号受信処理ステップによって受信された前記放送信号から前記字幕信号を分離する字幕信号分離処理ステップと、前記遅延時間情報に基づいて、前記出力時間差が所定時間内となるように前記映像音声に基づく映像音声を遅延させる映像音声信号遅延処理ステップと、前記映像音声信号遅延処理ステップによって遅延された映像音声に、前記字幕信号分離処理ステップによって分離された前記字幕信号に基づく字幕を重畳させて出力する信号重畳処理ステップと、を含んでいることを特徴とする。
【００２６】
この方法によれば、放送信号は放送信号受信処理ステップによって受信され、字幕信号分離処理ステップにより、この放送信号から字幕信号が分離される。一方、放送信号の中に含まれている映像音声信号に対しては、同じく放送信号の中に含まれている遅延時間情報から、映像音声と字幕との出力時間差が適宜決まる。そして、出力時間差が所定時間以上ズレている場合は、映像音声信号遅延処理ステップによって遅延処理が施され、その遅延処理された映像音声信号は信号重畳処理ステップに入力される。信号重畳処理ステップでは、その遅延処理された映像音声信号に基づく映像音声に字幕信号に基づく字幕が重畳され、それが出力される。したがって、映像音声信号に加える遅延調整により、映像音声信号に基づく映像音声と字幕信号に基づく字幕との表示タイミングのズレを解消することができる。
【００２７】
請求項７に記載の本発明にかかる字幕放送受信プログラムでは、映像音声信号と字幕信号と前記映像音声信号に対する前記字幕信号の遅れ時間に基づいた遅延時間情報とを含む放送信号を送信側から受信し、前記遅延時間情報により、前記映像音声信号に基づく映像音声信号と前記字幕信号に基づく字幕との出力時間差を調整して、前記字幕を前記映像音声に重畳させて出力するために、コンピュータを、以下の各手段により機能させるようにした。
【００２８】
すなわち、各手段は、前記送信側から送信された前記放送信号を受信する放送信号受信手段、前記放送信号受信手段によって受信された前記放送信号から前記字幕信号を分離する信号分離手段、前記遅延時間情報に基づいて、前記出力時間差が所定時間内となるように前記映像音声に基づく映像音声を遅延させる映像音声信号遅延手段、前記映像音声信号遅延手段によって遅延された映像音声に、前記信号分離手段によって分離された前記字幕信号に基づく字幕を重畳させて出力する信号重畳手段、とした。
【００２９】
かかる構成によれば、字幕放送受信プログラムは、放送信号受信手段により放送信号を受信し、信号分離手段により放送信号から字幕信号を分離させることができる。一方、放送信号の中に含まれる映像音声信号に対しては、同じく放送信号中に含まれている遅延時間情報から、映像音声と字幕との出力時間差が適宜決まる。そして、出力時間差が所定時間以上ズレている場合は、映像音声信号遅延手段によって遅延処理が施され、その遅延処理された映像音声信号は、信号重畳手段に入力され、信号重畳手段では、その遅延処理された映像音声信号に基づく映像音声に字幕信号に基づく字幕が重畳され、それが出力される。したがって、映像音声信号に加える遅延調整により、映像音声信号に基づく映像音声と字幕信号に基づく字幕との表示タイミングのズレを解消することができる。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
［字幕放送受信装置の構成］
図１は字幕放送受信装置の全体構成ブロック図である。図１に示すように、字幕放送受信装置１は、放送信号受信手段３と、生字幕放送選択手段５と、スイッチ６と、信号分離手段７ａ，７ｂと、字幕信号デコーダ８ａ，８ｂと、映像音声信号可変遅延手段９、映像音声信号可変速再生手段１０ａ及び遅延時間調整手段１１を有する映像音声信号遅延手段１２と、映像音声信号再生手段１０ｂと、受信文字列時刻記録手段１４と、文字列分割手段１５と、信号重畳手段１６とを備えて構成される。そして、放送信号受信手段３の入力側にはアンテナ２が接続され、信号重畳手段１６の出力側にはＣＲＴ１７が接続される。
【００３１】
さらに詳述すると、アンテナ２は、テレビ放送局等の送信側（図示せず）から送信された放送信号Ａ１を受信するものである。放送信号Ａ１には、ＮＴＳＣ映像信号と音声信号と遅延時間情報ａ１とを含む。
【００３２】
ここで、図３を参照して、遅延時間情報ａ１について説明する。図３は、映像音声信号（ａ）に対して、字幕信号（ｂ）が、時間ｔ１だけ遅れた状態を示している。一般に、ニュース字幕放送等のリアルタイムで字幕を音声映像に合わせて表示させる場合、音声認識処理と認識誤りの確認修正処理等が必要となり、図３に示すように、映像音声信号に対して字幕信号が遅延した状態で放送される。そこで、遅延時間情報ａ１（図１）は、映像音声信号に対する字幕信号の遅れ時間ｔ１を含んだ情報とする。これによって、遅延時間情報ａ１を受信した受信側は、映像音声と字幕とのズレを補正することが可能になる。
【００３３】
なお、この遅延時間情報ａ１は、放送局において、適宜映像音声に対する字幕の遅れ時間ｔ１を測定することで求めてもよいし、ニュース番組、スポーツ番組等で予め決められた遅れ時間、例えば、いままで放送した番組における遅れ時間に基づいて、固定した時間を用いてもよい。
図１に戻って説明を続ける。
【００３４】
放送信号受信手段３は、アンテナ２で受信された放送信号Ａ１の中から、視聴者によって指定された放送の受信信号を選択して、指定されたＮＴＳＣ映像信号及び音声信号（以下、「映像音声信号」という）を取り出すもので、文字放送用チューナ（図示せず）としての機能を備える。
【００３５】
生字幕放送選択手段５は、生放送字幕の番組を選択する機能を有し、スイッチ６の切り換えを制御するものである。この生字幕放送選択手段５によるスイッチ６の切り換え制御は、視聴者が手動で切り換え制御するか、もしくはデジタル放送で実現されているＥＰＧ（Ｅｌｅｃｔｒｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ：電子プログラムガイド)から番組情報を取得して自動制御することが考えられる。なお、生字幕放送が行われているとき、スイッチ６は接点ａ側に接続され、生字幕放送以外では接点ｂ側に接続される設定となっている。
【００３６】
信号分離手段７ａ，７ｂは、放送信号受信手段３によって取り出された放送信号Ａ１から字幕信号を分離するもので、信号分離手段７ａは、スイッチ６の接点ａ側に接続され、信号分離手段７ｂはスイッチ６の接点ｂ側に接続されている。また、信号分離手段７ａは、放送信号Ａ１に含まれる遅延時間情報ａ１を分離抽出して、映像音声信号遅延手段１２の映像音声信号可変遅延手段９へ出力する。字幕信号デコーダ８ａ，８ｂは、信号分離手段７ａ，７ｂによって分離された字幕信号より、字幕信号の文字列を生成するものである。なお、信号分離手段７ａ，７ｂ及び字幕信号デコーダ８ａ，８ｂは、図の便宜上、それぞれ２つのブロックに分けて書いているが、それぞれ同一のものであってもよい。
【００３７】
映像音声信号再生手段１０ｂは、信号分離手段７ｂで分離された映像音声信号を再生して信号重畳手段１６に入力させるものである。
【００３８】
映像音声信号遅延手段１２は、信号分離手段７ａで分離された映像音声信号を所定時間遅延させて信号重畳手段１６に入力させるもので、映像音声信号可変遅延手段９と、映像音声信号可変速再生手段１０ａと、遅延時間調整手段１１とを備えて構成した。
【００３９】
映像音声信号可変遅延手段９は、信号分離手段７ａを通って入力された映像音声信号を一時蓄積し、同じく信号分離手段７ａから入力される遅延時間情報ａ１に基づいて適宜決められる時間後に、再び映像音声信号を読み出すことによって、映像音声信号を遅延させるものである。すなわち、遅延時間情報ａ１に基づいて遅延時間を任意に可変することができる機能を有している。
【００４０】
なお、現在のニュース字幕放送では、字幕信号の遅延時間は１０秒程度であるので、通常、その映像音声信号可変遅延手段９の遅延可能な時間は、最低限、この程度の時間まで映像音声を遅延させることができるようにしておく必要がある。ただし、字幕を見易くするために、句単位や形態素単位による逐次表示（後述）を予定している場合には、字幕信号にさらに大きな遅延が発生するため、映像音声信号に対する遅延時間も数１０秒〜数分の遅延を可能にしておくことが望ましい。
【００４１】
また、この映像音声信号可変遅延手段９は、映像音声信号を約１０秒〜数分程度遅延させるため、大容量で、かつ高速アクセスが可能な記録媒体、例えばハードディスク等の記憶手段１９を有している。
【００４２】
映像音声信号可変速再生手段１０ａは、映像信号可変遅延手段９に蓄積された映像音声信号を再生するものであって、しかも、その再生速度を調整できる機能（以下、これを「可変速再生」いう。）を有しており、可変速再生することにより、映像と音声とが途切れずに、その遅延の度合いの微調整を可能にする。この技術は、「平成１３年度ＮＨＫ技研公開展示資料（２９頁）」に記載されている「映像・音声信号可変再生装置」のアルゴリズムを利用したものであり、「話速変換技術」を応用することにより、ＶＴＲのスローや早回しを、音声の質を保ったままで実現する。
【００４３】
すなわち、ここでは、映像音声信号可変遅延手段９の記憶手段１９に蓄積され、その後、記憶手段１９から読み出された映像音声信号を映像音声信号可変速再生手段１０ａで可変速再生することにより、映像と音声とが途切れずに、遅延の度合いを微調整することを可能にする。例えば、本実施の形態では、２分の１倍速再生を２秒間行えば、１秒の映像音声の遅延を途切れなく実現できる。
【００４４】
遅延時間調整手段１１は、映像音声信号可変遅延手段９での遅延時間の遅延量を視聴者が手動で任意に調整可能にするもので、ここでの調整量は、遅延時間情報ａ１と同様の時間情報として映像音声信号可変遅延手段９に逐次入力される。
【００４５】
受信文字列時刻記録手段１４は、字幕信号デコーダ８ａからの字幕信号に対して、文字毎に受信した時刻を記録するものである。
【００４６】
文字列分割手段１５は、字幕信号から得られた文字列を句や形態素に分割するものである。ここで、「句」とは、句読点で区切られた単位である。「形態素」とは、意味を持つ最小の言語単位のことであり、「単語」とほぼ同義である。
【００４７】
図４に句単位と形態素単位の例を示す。図４の例では、字幕信号は、「おはようございます。ソレトレークシティーオリンピック大会５日目、日本は２つ目のメダルです。日本時間のけさ五時に行われたスピードスケート、男子五百メートルの二回目で、清水宏保選手が、銀メダルを獲得しました。」の場合である。また、図４中で、「／」を加えた部分が切れ目である。
【００４８】
すなわち、句単位に分割する場合は、図４の（ａ）に示しているように、「おはようございます。／ソレトレークシティーオリンピック大会５日目、／日本は２つ目のメダルです。／日本時間のけさ五時に行われたスピードスケート、／男子五百メートルの二回目で、／清水宏保選手が、／銀メダルを獲得しました。／」として区切られる。
【００４９】
これに対して、形態素の単位に分割する場合は、図４の（ｂ）に示しているように、「おはようございます。／ソレトレークシティーオリンピック／大会／５日／目、／日本／は／２つ／目／の／メダル／です。／日本／時／間／の／けさ／五／時／に／行わ／れた／スピード／スケート、／男子／五百／メートル／の／二／回／目／で、／清水／宏保／選手／が、／銀／メダル／を／獲得／し／ました。」として区切られる。なお、形態素の解析は自動で行うものであり、例えば奈良先端大が開発した「茶筌」（参考:形態素解析システム「茶筌」使用説明書）等のツールを使用することにより自動で行うことが可能である。
【００５０】
信号重畳手段１６は、映像音声信号可変速再生手段１０ａ又は映像音声信号再生手段１０ｂから出力される映像音声に、字幕信号デコーダ８ｂ又は文字列分割手段１５から出力される字幕を重畳させて字幕付きの映像音声を出力するものである。
【００５１】
ここで、信号重畳手段１６は、スイッチ６がａ端子側に接続されているときには、映像音声信号可変速再生手段１０ａで可変速再生された映像音声に字幕信号デコーダ８ａにより生成された字幕信号に基づく字幕を重畳して字幕付の映像音声を作る。一方、スイッチ６がｂ端子側に接続されているときには、映像音声信号再生手段１０ｂで再生された映像音声に字幕信号デコーダ８ｂにより生成された字幕信号に基づく字幕を重畳して字幕付の映像音声を作り、それぞれの字幕付の映像音声を出力する。
【００５２】
ＣＲＴ１７は、信号重畳手段１６より出力された信号に基づいて字幕付の映像音声を表示する表示手段である。
【００５３】
このように構成された字幕放送受信装置１では、ニュース字幕放送において、映像音声信号に基づく映像音声と字幕信号に基づく字幕との表示タイミングのズレを解消することができるものである。
【００５４】
［字幕放送受信装置の動作］
次に、図２を参照（適宜図１参照）して、本実施の形態における字幕放送受信装置１の動作について説明する。図２は、字幕放送受信装置１の動作を示すフローチャートである。なお、図２に示すフローチャートの動作手順は、コンピュータに組み込まれているプログラムに従い、コンピュータが制御するものである。
【００５５】
まず、テレビ放送局等のテレビ送信装置から送信された放送信号Ａ１（この放送信号Ａ１には、映像音声信号と字幕信号と遅延時間情報ａ１が含まれる）は、アンテナ２を介して放送信号受信手段３で受信される。放送信号受信手段３では、視聴者によって指定された放送が選局され、その選局された放送信号Ａ１が取り出される（ステップＳＴ１）。
【００５６】
ここで選局された放送信号Ａ１が字幕放送である場合、この字幕放送がさらにドラマ放送等の字幕に遅延がない放送であるか、または、ニュース字幕放送（生字幕放送）であるかにより、生字幕放送選択手段５によるスイッチ６の切り換え操作が行われる（ステップＳＴ２）。なお、生字幕放送選択手段５に基づくスイッチ６の切り換えは、デジタル放送で実現されているＥＰＧのような多重化されたインデックス情報あるいは手動制御に基づいて実行される。そして、ニュース字幕放送の場合にはスイッチ６をａ端子側に接続し（ステップＳＴ３）、反対に、生字幕放送でないドラマ放送の場合は、スイッチ６をｂ端子側に接続する（ステップＳＴ４）。
【００５７】
（ドラマ放送の場合）
ドラマ放送の場合は、放送局から送信されて来る、放送信号Ａ１のＮＴＳＣ映像信号の垂直帰線期間（通常は、２１Ｈ付近）には、字幕信号が映像音声信号と対応するように重畳されている。この放送信号Ａ１は、映像を事前に録画し、ワープロ等で字幕を作成し、ＮＴＳＣ映像信号の垂直帰線期間に字幕信号を重畳させることにより生成されたもので、通常、映像音声と字幕の表示タイミングは調整されている。
【００５８】
そこで、ドラマ放送の場合、放送信号受信手段３によって選局された放送信号Ａ１は、スイッチ６のｂ端子側を通って信号分離手段７ｂに入力され、映像音声信号と字幕信号とに分離され（ステップＳＴ５）、映像音声信号が映像音声信号再生手段１０ｂに入力され、字幕信号が字幕信号デコーダ８ｂに入力される。そして、字幕信号デコーダ８ｂでは字幕信号がデコードされて字幕信号の文字列化が図られ（ステップＳＴ６）、この字幕信号が信号重畳手段１６に出力される。
【００５９】
一方、映像音声信号再生手段１０ｂでは、映像音声信号が映像音声に再生されて信号重畳手段１６に出力される（ステップＳＴ７）。信号重畳手段１６では、映像音声信号再生手段１０ｂで映像音声信号に基づいて再生された映像音声に、字幕信号デコーダ８ｂで分離された字幕信号に基づく字幕を重畳させて、字幕付の映像音声をＣＲＴ１７に対して出力する（ステップＳＴ２０）。ＣＲＴ１７はその字幕付の映像音声を表示する（ステップＳＴ２１）。この動作は、ドラマ放送が行われている間、繰り返される。
【００６０】
（ニュース字幕放送の場合）
ニュース字幕放送の場合、送信側である放送局において、映像への字幕付与に音声認識システムを利用し、このシステムのニュース字幕の自動生成過程において音声認識処理と認識誤りの確認修正が行われる。その後、所定の表示形式にして字幕が送出されるため、字幕信号は映像音声信号に対して遅れが生じる。
【００６１】
そこで、ニュース字幕放送の場合、字幕放送受信装置１は、生字幕放送選択手段５の制御により、スイッチ６を接点ａ側に接続し（ステップＳＴ３）、放送信号受信手段３によって選局された放送信号Ａ１を映像音声信号と字幕信号と遅延時間情報ａ１とに分離して（ステップＳＴ８）、遅延時間情報ａ１によって遅れ時間を検出する。
【００６２】
そして、字幕信号を字幕信号デコーダ８ａに入力し、映像音声信号及び遅延時間情報ａ１を映像音声信号可変遅延手段９に入力する。そして、字幕信号デコーダ８ａでデコードされて字幕信号の文字列化（文字列生成）を行う（ステップＳＴ９）。さらに、その文字列は、受信文字列時刻記録手段１４に入力され、受信文字列時刻記録手段１４で各文字毎に受信した時刻が記録（タイムスタンプ）された後、文字列分割手段１５に入力される（ステップＳＴ１０，ＳＴ１１）。文字列分割手段１５では、字幕信号から得られた文字列を句又は形態素に分割し、これを信号重畳手段１６に出力する。
【００６３】
一方、映像音声信号可変遅延手段９に入力された映像音声信号は、遅延時間情報ａ１に基づいて、映像音声信号可変遅延手段９において映像音声信号の遅延化処理が行われる（ステップＳＴ１２）。ここでは、映像音声信号可変遅延手段９の記憶手段１９に映像音声信号を一時蓄積させ、遅延時間情報ａ１に基づくｔ１時間経過後に、その記憶されている映像音声信号を再び読み出して映像音声信号可変速再生手段１０ａに出力する。そして、映像音声信号は映像音声信号可変速再生手段１０ａで可変速再生され（ステップＳＴ１３）、これが信号重畳手段１６に出力される。
【００６４】
なお、この遅延時間情報ａ１は、視聴者が遅延時間調整手段１１を手動で操作することで調整することも可能である。この遅延時間調整手段１１で調整された遅延時間情報ａ１は映像音声信号可変遅延手段９に入力され、映像音声信号可変遅延手段９ではこの遅延時間情報ａ１に基づいて、映像音声の遅延量を調整することも可能である。
【００６５】
そして、信号重畳手段１６では、映像音声信号可変速再生手段１０ａにより可変速再生された映像音声に、文字列分割手段１５で分割された文字列に基づく字幕を重畳させ、字幕付の映像音声を、この字幕放送受信装置１に接続されているＣＲＴ１７に対して出力する（ステップＳＴ２０）。ＣＲＴ１７では、その字幕付の映像音声を表示する（ステップＳＴ２１）。
【００６６】
なお、ステップＳＴ１１において、文字列分割手段１５は、この字幕として文字列を句又は形態素として分割して出力する際に、受信文字列時刻記録手段１４において時刻記録されたタイムスタンプ、例えば、文頭の文字のタイムスタンプを参照して、各文頭の文字を表示する相対的な時刻を決定し、句単位又は形態素単位で信号重畳手段１６へ出力する。
【００６７】
図５に形態素単位での表示イメージを示した。例えば、字幕信号が、「おはようございます。ソレトレークシティーオリンピック大会５日目、日本は２つ・・・・・」の場合としたとき、アナウンサーがこの文章をニュースで読み上げると、ＣＲＴ１７の画面の下部には、形態素（単語）を単位として、字幕文字が（ａ）〜（ｈ）の順に表示される。
（ａ）「おはようございます。」。
（ｂ）「おはようございます。ソレトレークシティーオリンピック」。
（ｃ）「おはようございます。ソレトレークシティーオリンピック大会」。
（ｄ）「おはようございます。ソレトレークシティーオリンピック大会５日」。
（ｅ）「おはようございます。ソレトレークシティーオリンピック大会５日目、」。
（ｆ）「おはようございます。ソレトレークシティーオリンピック大会５日目、日本」。
（ｇ）「おはようございます。ソレトレークシティーオリンピック大会５日目、日本は」。
（ｈ）「おはようございます。ソレトレークシティーオリンピック大会５日目、日本は２つ」。
【００６８】
これが、句単位の場合では、次の（ａ´）〜（ｃ´）の順に表示される（図示せず）。
（ａ´）「おはようございます。」。
（ｂ´）「おはようございます。ソレトレークシティーオリンピック大会５日目、」。
（ｃ´）「おはようございます。ソレトレークシティーオリンピック大会５日目、日本は２つ・・・・」。
そして、この動作は、ニュース字幕放送が行われている間、繰り返される。
【００６９】
なお、信号重畳手段１６においては、「形態素（単語）単位」や「句単位」に限らず、例えば文献「多様な字幕の提示形式を選択可能な字幕放送受信システムの提案」（映像情報メディア学会誌Ｖｏｌ．５６，Ｎｏ．２，３２６〜３３１頁）に示されているような、「３行入替表示」や「スクロール」など、視聴者の好みに応じた重畳方法を選択することも可能であり、その選択により読み易い字幕を実現できる。
【００７０】
このように、本実施の形態では、ニュース字幕放送において、映像音声信号に対する字幕信号の遅れ時間が、遅延時間情報ａ１に基づいて適宜決まる。そして、映像音声信号可変遅延手段９では、放送中に映像音声信号に対して遅延処理を行い、映像音声信号に基づく映像音声と字幕信号に基づく字幕との出力時間差を調整する。そして、信号重畳手段１６内でその遅延処理された映像音声信号に基づく映像音声に対して、字幕信号に基づく字幕を重畳させてマッチングを図り、これをＣＲＴ１７に出力させているので、映像音声信号に基づく映像音声と、字幕信号に基づく字幕との表示タイミングのズレを解消することができる。
【００７１】
なお、前記実施の形態では、遅延時間情報ａ１は、（１）送信側となる放送局において、映像音声に対する字幕の遅れ時間（出力時間差）を測定し、この遅延時間情報ａ１を字幕信号の一部として配信するか、あるいはデータ放送信号等の別の手段によって配信し、この遅延時間情報ａ１を映像音声可変遅延手段９で取得し、取得した遅延時間情報ａ１に応じて映像音声の遅延量を自動で調整する場合、あるいは、（２）視聴者が遅延時間調整手段１１を手動で操作して遅延時間情報ａ１を調整し、その調整された遅延時間情報ａ１に基づいて、映像音声信号可変遅延手段９が映像音声信号の遅延を行う場合について説明した。
しかし、前記（１），（２）の手法に限ることなく、例えば、次の（３）の手法のようにして遅延時間情報ａ１を取得し、その取得した遅延時間情報ａ１に応じて映像音声の遅延量を調整することも可能である。
【００７２】
その（３）の手法では、字幕放送受信装置１に、字幕信号を「かな漢字」で書かれた単語と、その「よみ」を対応付けている電子化辞書を用意しておく。そして、マッチングの処理の仕方としては、まず字幕信号から得られる「かな漢字」をその電子化辞書の「よみ」に対応させ、その「よみ」から字幕信号に基づく字幕を発音記号列化する。次に、ここで発音記号列化された字幕の「よみ」と放送番組の映像音声信号から得られる「よみ」とをマッチングさせ、その「よみ」同士がどの程度ズレているかを知り、それを遅延時間情報ａ１とする方法である。
ここで得られた遅延時間情報ａ１は、映像音声信号可変遅延手段９に入力され、その映像音声信号可変遅延手段９で映像音声信号に対して遅延の度合いに応じた遅延処理を行う基準とされ、映像音声に対する字幕の遅延を解消するためのものである。
【００７３】
この手法としては、例えば「放送音声に対する字幕送出タイミング検出手法の検討」（日本音響学会講演論文集２−Ｑ−２４、２０００年９月）や、特開平１０−１３６２６０号公報に開示されている技術等を利用することができる。
【００７４】
また、本実施の形態の字幕放送受信装置１は、ハードディスク等のディスク装置を記録媒体とする録画装置である、家庭用のホームサーバで構成することも可能である。
【００７５】
【発明の効果】
以上説明したように、請求項１、請求項６又は請求項７に記載の発明によれば、映像音声信号に対する字幕信号の遅れ時間に基づいた遅延時間情報から、適宜決まる時間に応じた遅延処理を映像音声信号に対して施し、映像音声信号に基づく映像音声と字幕信号に基づく字幕との出力時間差を所定時間内となるように調整し、その後、その遅延処理された映像音声に字幕を重畳させて出力するようにしているので、放送中における映像音声と字幕との表示のタイミングのズレをスムーズに解消することができる。
【００７６】
これにより、ズレによる内容の理解度の低下や満足度の低下を解消できる。特に、ニュース字幕放送のように、リアルタイムで放映される放送において、その効果は大きい。
【００７７】
請求項２に記載の発明によれば、映像音声信号を、一時、記憶手段に蓄積し、その後読み出すようにして遅延化処理を図るので、記憶手段を内蔵したホームサーバの映像信号蓄積機能を利用することにより、ホームサーバ上で、遅延化処理機能に字幕の映像音声への信号重畳処理機能を付加させることができる。
【００７８】
請求項３に記載の発明によれば、視聴者が前記映像音声を遅延させる遅延時間を調整する遅延時間調整手段を備えているので、遅延量の自動調整機能に不具合が生じて自動で映像音声の遅延量を調整することができないとき、あるいは視聴者の好みにより、視聴者側で手動により遅延量を調整してズレの不具合をなくすことができる。
【００７９】
請求項４に記載の発明によれば、映像音声信号に対する字幕信号の遅れ時間に基づいた遅延時間情報から、映像音声と字幕との間に所定時間を超えた出力時間差（ズレ）があると判定された場合、遅延時間情報から適宜決まる時間に応じた遅延処理を、映像音声信号遅延手段により映像音声信号に対して施し、映像音声信号に基づく映像音声と字幕信号に基づく字幕との出力時間差を所定時間内となるように調整し、その後、信号重畳手段で、その遅延処理された映像音声に字幕を重畳させて出力させるようにしているので、放送中における映像音声と字幕との表示のタイミングのズレをスムーズに解消することができる。
【００８０】
これにより、ズレによる内容の理解度の低下や満足度の低下を解消できる。また、信号重畳手段による信号の重畳では、文字列分割処理手段によって字幕信号を短い単位に細かく分割し、その単位毎の字幕を映像音声に重畳させて出力するようにしているので、字幕は表示画面上に短い単位に細かく分割された状態で逐次表示される。
【００８１】
したがって、例えば手動で字幕のズレを調整する場合は、目視での映像と字幕の同期の調整がし易くなるとともに、字幕としても見易くなる。これは、特に、ニュース字幕放送のように、リアルタイムで放映される放送において、その効果は大きい。
【００８２】
請求項５に記載の発明によれば、映像音声信号に対する字幕信号の遅れ時間に基づいた遅延時間情報から、映像音声と字幕との間に所定時間を超えた出力時間差（ズレ）があると判定された場合、遅延時間情報から適宜決まる時間に応じた遅延処理を、映像音声信号遅延手段により映像音声信号に対して施し、映像音声信号に基づく映像音声と字幕信号に基づく字幕との出力時間差を所定時間内となるように調整し、その後、信号重畳手段で、遅延処理された映像音声に字幕を重畳させて出力させるようにしているので、映像音声と字幕との表示のタイミングのズレをスムーズに解消することができる。
【００８３】
これにより、ズレによる内容の理解度の低下や満足度の低下を解消できる。また、信号重畳手段による信号の重畳では、受信文字列時刻記録手段によって字幕信号の文字毎に受信した時刻を記録するとともに、その字幕信号を文字列分割処理手段によって短い単位に細かく分割し、受信文字列時刻記録手段によって記録された例えば文頭の文字のタイムスタンプを参照して、各文頭の文字を表示する相対的な時刻を決定し、かつ句単位や形態素単位で、その単位の長さに応じて適当な時間間隔で、その単位毎の字幕信号に基づく字幕を映像音声に重畳させて出力するようにしているので、表示画面上には字幕が短い単位に細かく分割して逐次表示される。
【００８４】
したがって、例えば手動で字幕のズレを調整する場合は、目視での映像と字幕の同期の調整がし易くなるとともに、字幕としても見易くなる。これは、特に、ニュース字幕放送のように、リアルタイムで放映される放送において、その効果は大きい。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる字幕放送受信装置の構成を示すブロック図である。
【図２】本発明の実施の形態にかかる字幕放送受信装置の動作を示すフローチャートである。
【図３】本発明の実施の形態にかかる字幕放送受信装置における遅延時間情報を説明するための説明図である。
【図４】本発明の実施の形態にかかる字幕放送受信装置における字幕表示形態を説明するための説明図である。
【図５】本発明の実施の形態にかかる字幕放送受信装置において字幕表示時における表示画面上の一表示例を示す図である。
【符号の説明】
１ …字幕放送受信装置
２ …アンテナ
３ …放送信号受信手段
５ …生字幕放送選択手段
６ …スイッチ
７ａ …字幕信号デコーダ
７ｂ …字幕信号デコーダ
８ａ …信号分離手段
８ｂ …信号分離手段
９ …映像音声信号可変遅延手段
１０ａ…映像音声信号可変速再生手段
１０ｂ…映像音声信号再生手段
１１ …遅延時間調整手段
１２ …映像音声信号遅延手段
１４ …受信文字列時刻記録手段
１５ …文字列分割手段
１６ …信号重畳手段
１７ …ＣＲＴ
１９ …記憶手段
Ａ１ …放送信号
ａ１ …遅延時間情報
Claims (7)
- 映像音声信号と字幕信号と前記映像音声信号に対する前記字幕信号の遅れ時間に基づいた遅延時間情報とを含む放送信号を送信側から受信し、前記遅延時間情報により、前記映像音声信号に基づく映像音声と前記字幕信号に基づく字幕との出力時間差を調整して、前記字幕を前記映像音声に重畳させて出力する字幕放送受信装置であって、
前記送信側から送信された前記放送信号を受信する放送信号受信手段と、
前記放送信号受信手段によって受信された前記放送信号から前記字幕信号を分離する信号分離手段と、
前記遅延時間情報に基づいて、前記出力時間差が所定時間内となるように前記映像音声信号に基づく映像音声を遅延させる映像音声信号遅延手段と、
前記映像音声信号遅延手段によって遅延された映像音声に、前記信号分離手段によって分離された前記字幕信号に基づく字幕を重畳させて出力する信号重畳手段と、
を備えたことを特徴とする字幕放送受信装置。 - 前記映像音声信号遅延手段は、前記映像音声信号を一時蓄積し、該蓄積した前記映像音声信号を前記出力時間差に基づく時間後に読み出すための記憶手段を有する遅延手段と、前記遅延手段より読み出された前記映像音声信号を逐次映像音声再生する映像音声再生手段とを有していることを特徴とする請求項１に記載の字幕放送受信装置。
- 前記映像音声信号遅延手段は、前記映像音声を遅延させる遅延時間に対して視聴者が調整する遅延時間調整手段を備えたことを特徴とする請求項１又は請求項２に記載の字幕放送受信装置。
- 映像音声信号と字幕信号と前記映像音声信号に対する前記字幕信号の遅れ時間に基づいた遅延時間情報とを含む放送信号を送信側から受信し、前記遅延時間情報により、前記映像音声信号に基づく映像音声と前記字幕信号に基づく字幕との出力時間差を調整して、前記字幕を前記映像音声に重畳させて出力する字幕放送受信装置であって、
前記送信側から送信された前記放送信号を受信する放送信号受信手段と、
前記放送信号受信手段によって受信された前記放送信号から前記字幕信号を分離する信号分離手段と、
前記信号分離手段で分離された前記字幕信号から得られた文字列を所定の文字単位に分割する文字列分割手段と、
前記遅延時間情報に基づいて、前記出力時間差が所定時間内となるように前記映像音声信号に基づく映像音声を遅延させる映像音声信号遅延手段と、
前記映像音声信号遅延手段によって遅延された前記映像信号に基づく映像音声に、前記信号分離手段によって分離され、かつ前記文字列分割手段によって所定の文字単位に分割された字幕信号に基づく字幕を前記所定の文字単位毎に重畳させて出力する信号重畳手段と、
を備えたことを特徴とする字幕放送受信装置。 - 映像音声信号と字幕信号と前記映像音声信号に対する前記字幕信号の遅れ時間に基づいた遅延時間情報とを含む放送信号を送信側から受信し、前記遅延時間情報により、前記映像音声信号に基づく映像音声と前記字幕信号に基づく字幕との出力時間差を調整して、前記字幕を前記映像音声に重畳させて出力する字幕放送受信装置であって、
前記送信側から送信された前記放送信号を受信する放送信号受信手段と、
前記放送信号受信手段によって受信された前記放送信号から前記字幕信号を分離する信号分離手段と、
前記信号分離手段で分離された前記字幕信号に対して、各文字毎に受信した時刻を記録する受信文字列時刻記録手段と、
前記信号分離手段で分離された前記字幕信号から得られた文字列を所定の文字単位に分割する文字列分割手段と、
前記遅延時間情報に基づいて、前記出力時間差が所定時間内となるように前記映像音声に基づく映像音声を遅延させる映像音声信号遅延手段と、
前記映像音声信号遅延手段によって遅延された前記映像音声信号に基づく映像音声に、前記信号分離手段によって分離され、かつ前記受信文字列時刻記録手段により時刻が記録され、前記文字列分割手段によって所定の文字単位に分割された前記字幕信号に基づく字幕を、前記受信文字列時刻記録手段により時刻が記録された前記字幕信号の時間に基づき所定の時間間隔毎に、逐次重畳させて出力する信号重畳手段と、
を備えたことを特徴とする字幕放送受信装置。 - 映像音声信号と字幕信号と前記映像音声信号に対する前記字幕信号の遅れ時間に基づいた遅延時間情報とを含む放送信号を送信側から受信し、前記遅延時間情報により、前記映像音声信号に基づく映像音声と前記字幕信号に基づく字幕との出力時間差を調整して、前記字幕を前記映像音声に重畳させて出力する字幕放送受信方法であって、
前記送信側から送信された前記放送信号を受信する放送信号受信処理ステップと、
前記放送信号受信処理ステップによって受信された前記放送信号から前記字幕信号を分離する字幕信号分離処理ステップと、
前記遅延時間情報に基づいて、前記出力時間差が所定時間内となるように前記映像音声に基づく映像音声を遅延させる映像音声信号遅延処理ステップと、
前記映像音声信号遅延処理ステップによって遅延された映像音声に、前記字幕信号分離処理ステップによって分離された前記字幕信号に基づく字幕を重畳させて出力する信号重畳処理ステップと、
を含んでいることを特徴とする字幕放送受信方法。 - 映像音声信号と字幕信号と前記映像音声信号に対する前記字幕信号の遅れ時間に基づいた遅延時間情報とを含む放送信号を送信側から受信し、前記遅延時間情報により、前記映像音声信号に基づく映像音声信号と前記字幕信号に基づく字幕との出力時間差を調整して、前記字幕を前記映像音声に重畳させて出力するために、コンピュータを、
前記送信側から送信された前記放送信号を受信する放送信号受信手段、
前記放送信号受信手段によって受信された前記放送信号から前記字幕信号を分離する信号分離手段、
前記遅延時間情報に基づいて、前記出力時間差が所定時間内となるように前記映像音声に基づく映像音声を遅延させる映像音声信号遅延手段、
前記映像音声信号遅延手段によって遅延された映像音声に、前記信号分離手段によって分離された前記字幕信号に基づく字幕を重畳させて出力する信号重畳手段、
として機能させることを特徴とする字幕放送受信プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002371692A JP2004207821A (ja) | 2002-12-24 | 2002-12-24 | 字幕放送受信装置、字幕放送受信方法及び字幕放送受信プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002371692A JP2004207821A (ja) | 2002-12-24 | 2002-12-24 | 字幕放送受信装置、字幕放送受信方法及び字幕放送受信プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004207821A true JP2004207821A (ja) | 2004-07-22 |
Family
ID=32810518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002371692A Pending JP2004207821A (ja) | 2002-12-24 | 2002-12-24 | 字幕放送受信装置、字幕放送受信方法及び字幕放送受信プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004207821A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005250659A (ja) * | 2004-03-02 | 2005-09-15 | Nec Mobiling Ltd | リアルタイムｏｓを用いたタスク処理方法、装置、及びプログラム |
| JP2006279290A (ja) * | 2005-03-28 | 2006-10-12 | Nec Personal Products Co Ltd | 番組録画装置、番組録画方法および番組録画プログラム |
| JP2007300323A (ja) * | 2006-04-28 | 2007-11-15 | Sharp Corp | 字幕表示制御システム |
| JP2007324872A (ja) * | 2006-05-31 | 2007-12-13 | Tv Asahi Data Vision Corp | 字幕付き映像信号の遅延制御装置及び遅延制御プログラム |
| JP2009508607A (ja) * | 2005-09-19 | 2009-03-05 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 人工内耳、人工内耳の制御信号を生成するための装置、組合せ信号を生成するための装置、及び組合せ信号、並びに対応する方法 |
| JP2009071483A (ja) * | 2007-09-12 | 2009-04-02 | Kddi Corp | 映像分類装置、放送設備および受信装置 |
| JP2009246813A (ja) * | 2008-03-31 | 2009-10-22 | Kddi Corp | 字幕ずれ推定装置、字幕ずれ補正装置、再生装置および放送装置 |
| US10276150B2 (en) | 2016-09-12 | 2019-04-30 | Kabushiki Kaisha Toshiba | Correction system, method of correction, and computer program product |
| US10609455B2 (en) | 2017-03-21 | 2020-03-31 | Kabushiki Kaisha Toshiba | Information processing apparatus, information processing method, and computer program product |
| US10614265B2 (en) | 2016-03-16 | 2020-04-07 | Kabushiki Kaisha Toshiba | Apparatus, method, and computer program product for correcting speech recognition error |
-
2002
- 2002-12-24 JP JP2002371692A patent/JP2004207821A/ja active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005250659A (ja) * | 2004-03-02 | 2005-09-15 | Nec Mobiling Ltd | リアルタイムｏｓを用いたタスク処理方法、装置、及びプログラム |
| JP2006279290A (ja) * | 2005-03-28 | 2006-10-12 | Nec Personal Products Co Ltd | 番組録画装置、番組録画方法および番組録画プログラム |
| JP2009508607A (ja) * | 2005-09-19 | 2009-03-05 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 人工内耳、人工内耳の制御信号を生成するための装置、組合せ信号を生成するための装置、及び組合せ信号、並びに対応する方法 |
| JP4884474B2 (ja) * | 2005-09-19 | 2012-02-29 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 人工内耳、人工内耳の制御信号を生成するための装置、組合せ信号を生成するための装置、及び組合せ信号、並びに対応する方法 |
| US10744322B2 (en) | 2005-09-19 | 2020-08-18 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Cochlear implant, device for generating a control signal for a cochlear implant, device for generating a combination signal and combination signal and corresponding methods |
| JP2007300323A (ja) * | 2006-04-28 | 2007-11-15 | Sharp Corp | 字幕表示制御システム |
| JP2007324872A (ja) * | 2006-05-31 | 2007-12-13 | Tv Asahi Data Vision Corp | 字幕付き映像信号の遅延制御装置及び遅延制御プログラム |
| JP2009071483A (ja) * | 2007-09-12 | 2009-04-02 | Kddi Corp | 映像分類装置、放送設備および受信装置 |
| JP2009246813A (ja) * | 2008-03-31 | 2009-10-22 | Kddi Corp | 字幕ずれ推定装置、字幕ずれ補正装置、再生装置および放送装置 |
| US10614265B2 (en) | 2016-03-16 | 2020-04-07 | Kabushiki Kaisha Toshiba | Apparatus, method, and computer program product for correcting speech recognition error |
| US10276150B2 (en) | 2016-09-12 | 2019-04-30 | Kabushiki Kaisha Toshiba | Correction system, method of correction, and computer program product |
| US10609455B2 (en) | 2017-03-21 | 2020-03-31 | Kabushiki Kaisha Toshiba | Information processing apparatus, information processing method, and computer program product |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2356654B1 (en) | Method and process for text-based assistive program descriptions for television | |
| JP5903924B2 (ja) | 受信装置および字幕処理方法 | |
| US8204366B2 (en) | Method, apparatus and program for recording and playing back content data, method, apparatus and program for playing back content data, and method, apparatus and program for recording content data | |
| US20090009661A1 (en) | Captioned Still Picture Contents Producing Apparatus, Captioned Still Picture Contents Producing Program and Captioned Still Picture Contents Producing System | |
| US8781291B2 (en) | Data processing device, data processing method, and program | |
| JP2007324872A (ja) | 字幕付き映像信号の遅延制御装置及び遅延制御プログラム | |
| JP2006211636A (ja) | 字幕付き映像信号の遅延制御装置及び遅延制御プログラム | |
| KR100678938B1 (ko) | 영상과 자막의 동기화 조절 장치 및 방법 | |
| KR101582574B1 (ko) | 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치 및 방법 | |
| CN107105352A (zh) | 字幕同步方法及装置 | |
| JP2008199117A (ja) | デジタル放送受信機 | |
| JP2004207821A (ja) | 字幕放送受信装置、字幕放送受信方法及び字幕放送受信プログラム | |
| JP4766920B2 (ja) | 放送番組受信機 | |
| US7260316B2 (en) | Digital broadcast/analog broadcast receiving and recording apparatus | |
| JP4285099B2 (ja) | データ再生方法及びデータ再生装置 | |
| KR20080086640A (ko) | 디지털 복합 수신기를 통한 수화·자막 수신장치 및 방법 | |
| JP2002010222A (ja) | 文字多重放送受信装置 | |
| JP2006165772A (ja) | 情報再生装置及び方法 | |
| JP2008053991A (ja) | デジタル放送受信装置 | |
| JP2008252746A (ja) | デジタル放送受信装置 | |
| JP2020115626A (ja) | 字幕遅延制御装置、制御方法及びプログラム | |
| JP3811751B2 (ja) | 合成タイミング調整システム | |
| JP2002125202A (ja) | 字幕放送受信装置 | |
| JP2004146929A (ja) | 字幕調整機能付き受信装置、及び字幕表示の調整システム | |
| WO2014207874A1 (ja) | 電子機器、出力方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070104 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070425 |