JP2003018491A - 字幕表示装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 画面に表示後すぐに消えてしまう字幕を記憶
し、記憶した字幕を使用して出力の制御を行えるように
する。 【解決手段】 記憶装置１に記憶された多重化された時
間情報を有するストリームを時間情報を保持したまま分
離し、分離した情報が字幕情報ならば、字幕とその時間
情報を字幕リスト保持用メモリ７に保持し、分離した情
報が映像情報ならば、時間情報を基にその映像情報に対
応する時間情報の字幕履歴と合成して出力を行う。分離
した情報が音声情報ならば、時間情報を基にその音声情
報に対応した映像と同じタイミングで出力を行う。そし
て、字幕履歴の特定の字幕を選択すると、字幕リスト保
持用メモリ７に記憶されているその字幕に対応した時間
情報を基に、上記ストリーム出力を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、字幕表示装置お
よび方法に関する。

【０００２】

【従来の技術】映像や音声だけでは視聴者に情報が伝わ
りにくいような場合、映像や音声の付属情報として字幕
が使われる。この字幕を見ることで視聴者は、他国語の
翻訳や映像の解説など、音声だけでは認識しにくい情報
を文字として読み、記憶に留めることができる。

【０００３】近年、映像や音声などのディジタル化に伴
い、ディジタル映像音声圧縮技術が注目されている。そ
の中で、ディジタル放送による映像や音声などの配信、
およびＤＶＤ（Digital Versatile Disc）への映像や音
声などの記録には、ＭＰＥＧ（Moving Picture Experts
Group）２システムという映像音声圧縮技術が採用され
ている。ＤＶＤなどの字幕は、字幕処理装置によりＰＴ
Ｓ（Presentation Time Stamp）などに従って決められ
た時間に表示され、字幕表示時間を過ぎると表示が消え
る。

【０００４】一方、ＤＶＤやビデオテープなどの記録媒
体の記録／再生時に、あらかじめ決められた地点へ移動
し、その地点から記録／再生をするというような、いわ
ゆる頭出し機能と呼ばれるものがある。この頭出し機能
は、ＤＶＤなどのランダムアクセスが可能な記録媒体を
用いた場合には、特に効率の良い機能である。

【０００５】

【発明が解決しようとする課題】しかしながら、上述の
従来の字幕表示装置は、視聴者が字幕の文字を読むため
に表示するという目的だけに使用され、字幕の表示後
は、その字幕の情報は消えてしまうため、使用者の母国
語でない字幕が使われている場合などは、字幕のオーサ
リングなどの問題により、字幕表示時間内に使用者が、
字幕を判読することが困難であるというような問題があ
った。

【０００６】また、ＤＶＤなどの頭出しは、あらかじめ
決められた地点にしか頭出しが可能でないため、ソフト
によっては、頭出し可能地点の間隔が長かったり、もし
くは頭出し可能地点が全くなく、使用者の希望する頭出
しが困難であり、字幕単位でその字幕に関連した音声を
繰り返し聞くというようなことはできなかった。

【０００７】したがって、この発明の目的は、字幕とそ
の字幕の時間情報を記憶して字幕単位で画面の表示ある
いは、音声の出力を制御することで字幕内容の判読を容
易にする、字幕表示装置および方法を提供することにあ
る。

【０００８】

【課題を解決するための手段】上記課題を解決するため
に、第１の発明は、映像情報と字幕情報を合成して出力
する字幕表示装置において、多重化された時間情報を有
するストリームを記憶装置に記憶する第１記憶手段と、
第１記憶手段によって記憶されたストリームを時間情報
を保持したまま分離する分離手段と、分離手段により分
離した情報が字幕情報であるときには分離した字幕情報
とその字幕情報に対応した時間情報を記憶装置に記憶す
る第２記憶手段と、分離手段により分離した情報が映像
情報であるときは分離した映像情報の時間情報に対応し
た、第２記憶手段により構築された複数の字幕情報から
成る字幕履歴情報と、分離した映像情報を合成する合成
手段と、合成手段により合成された合成情報を時間情報
を基に出力する映像出力手段と、分離手段により分離し
た情報が音声情報のときは時間情報を基に音声情報を出
力する音声出力手段と、映像出力手段により出力される
合成情報を画面に表示する際に、映像情報と字幕情報の
画面をそれぞれ別々に分離して表示する表示手段と、第
２記憶手段によって記憶された時間情報を選択する選択
手段と、選択手段により選択された時間情報に基づきス
トリームの出力を制御する制御手段とを有することを特
徴とする字幕表示装置である。

【０００９】また、第２の発明は、映像情報と字幕情報
を合成して出力する字幕表示方法において、多重化され
た時間情報を有するストリームを記憶装置に記憶する第
１の記憶のステップと、第１の記憶のステップによって
記憶されたストリームを時間情報を保持したまま分離す
る分離のステップと、分離のステップにより分離した情
報が字幕情報であるときには分離した字幕情報とその字
幕情報に対応した時間情報を記憶装置に記憶する第２の
記憶のステップと、分離のステップにより分離した情報
が映像情報であるときは分離した映像情報の時間情報に
対応した、第２の記憶のステップにより構築された複数
の字幕情報から成る字幕履歴情報と、分離した映像情報
を合成する合成のステップと、合成のステップにより合
成された合成情報を時間情報を基に出力する映像出力の
ステップと、分離のステップにより分離した情報が音声
情報のときは時間情報を基に音声情報を出力する音声出
力のステップと、映像出力のステップにより出力される
合成情報を画面に表示する際に、映像情報と字幕情報の
画面をそれぞれ別々に分離して表示する表示のステップ
と、第２の記憶のステップによって記憶された時間情報
を選択する選択のステップとを有し、選択のステップに
より選択された時間情報に基づきストリームの出力を制
御することを特徴とする字幕表示方法である。

【００１０】上述のように構成されたこの発明による字
幕表示装置および方法によれば、字幕と字幕に対応する
時間情報を記録していることにより、字幕単位で出力の
制御が行われる。また、字幕と映像が画面上分離して表
示される。

【００１１】

【発明の実施の形態】まず、この発明の一実施形態にお
ける字幕表示装置の構成を図１を用いて説明する。記憶
装置１は、例えば、ＭＰＥＧ２システムのＰＳ（Progra
m Stream）と呼ばれる多重化形式によって多重化された
ストリーム、もしくは、ＴＳ（Transport Stream）と呼
ばれる伝送フレーム形式に変換されたストリームなど
の、多重化された時間情報を有するストリームを保持す
るための、磁気ディスク（ＨＤ）装置などの大容量記憶
装置である。

【００１２】ＤＥＭＵＸ２は、多重化された時間情報を
有するストリームを時間情報を失わせないで、ビデオデ
コーダ３やホスト６などの各種後段のブロックへ分離す
る装置である。また、ビデオデコーダ３は、時間情報を
有した映像情報を復号する装置であり、グラフィックエ
ンジン４は、画像や動画の拡大・縮小・合成を行う装置
であり、オーディオデコーダ５は、時間情報を有した音
声を復号する装置である。

【００１３】ホスト６は、字幕表示装置全体を制御する
装置であり、特にこの発明に関してはＤＥＭＵＸ２から
時間情報付字幕を受け取り、その時間情報付字幕を後述
する字幕リスト保持用メモリ７へリストとして保存し、
さらに後述するユーザインターフェース８から指示があ
る場合に、装置全体を制御するものである。図１では省
略しているが、ホスト６は、全てのブロックと信号を制
御するために繋がっているものとする。

【００１４】字幕リスト保持用メモリ７は、過去の字幕
情報を保持し、字幕の画像情報を保持する記憶装置、い
わゆるメモリであり、ユーザインターフェース８は、使
用者からの指示を受け付け、ホスト６へ知らせる装置で
ある。

【００１５】次に、上述の字幕表示装置における字幕表
示方法について以下に説明する。まず、多重化されたス
トリーム、例えば、ＭＰＥＧ２システムでの場合、前述
したように、ＰＳ（Program Stream）やＴＳ（Transpor
t Stream）などが、記録装置１からＤＥＭＵＸ２へ送ら
れる。

【００１６】ＤＥＭＵＸ２に送られた多重化されたスト
リームは、映像情報、音声情報、字幕情報に変換され、
映像情報は、ビデオデコーダ３へ、音声情報は、音声デ
コーダ５へ、字幕情報は、ホスト６へそれぞれ送られ
る。ここで送られる各情報は、時間情報を有している。
例えば、ＭＰＥＧ２システムの場合は、この時間情報を
有する各情報に、ＰＥＳ（Packetized Elementary Stre
am）と呼ばれる伝送形式が使用されている。

【００１７】ビデオデコーダ３に送られてきた映像情報
は、時間情報を基にして指定された時間に復号され、グ
ラフィックエンジン４に送られる。また、音声デコーダ
５に送られてきた音声情報も、同じように時間情報を基
にして、指定された時間に復号される。

【００１８】ホスト６に送られた字幕情報は、過去の履
歴として残すために字幕リスト保持用メモリ７へ時間情
報を有したまま送られ、字幕リスト保持用メモリ７で保
持される。

【００１９】また、ビデオデコーダ３で復号されグラフ
ィックエンジン４へ送られた動画信号は、字幕リスト保
持用メモリ７から送られてくる字幕画像情報と、時間情
報を基に合成される。

【００２０】このようにして、字幕付きの映像はビデオ
出力へ、また、音声はオーディオ出力へと出力される。

【００２１】また、ユーザーインターフェース８を介し
て使用者が任意の字幕を指示すると、ホスト６は、字幕
リスト保持用メモリ７から、指示された字幕の時間情報
を受け取り、その時間情報を基に記憶装置１に対して頭
出しの処理を行い、指示された字幕の時間に対応した多
重化されたストリームをＤＥＭＵＸ２へ送る。そして多
重化されたストリームは、上述したのと同じ処理を施さ
れて出力される。

【００２２】図２は、この発明の一実施形態における字
幕表示装置により表示される画面の一例を示す。以下
に、図２の各種部位の説明をする。ビデオ出力は、ディ
スプレイ装置などに出力され、オーディオ出力は、ここ
では図示しないが、スピーカなどに出力される。図２で
は、映像出力の映像情報と字幕情報は、画面上の表示動
画１１、字幕履歴１２としてそれぞれ別々に出力されて
いる。このように、表示動画１１と字幕履歴１２を分け
て表示することにより、表示画面の視認性が向上する。

【００２３】字幕履歴１２としては、ここでは表示動画
１１に対応した字幕と、それ以前の字幕が表示されてい
る。選択矢印１３およびスクロールバー１４は選択候補
１５を移動するために用いられる。字幕に対するスクロ
ールバー１４を設けることにより、字幕履歴１２から容
易に字幕を選択することができる。

【００２４】図３は、この発明の第１の実施形態におけ
る字幕表示方法を図示したものである。図３Ａの状態で
ユーザが選択候補の字幕を選択した場合、図３Ｂのよう
に選択した字幕の時間に対応する映像と音声が出力され
る。つまり、選択した字幕の場所まで頭出しが行われ
る。このことにより、字幕の表示時間が短く、使用者が
読み切れないような場合でも、字幕を再確認することが
できる。

【００２５】図４は、この発明の第２の実施形態におけ
る字幕表示方法を図示したものである。図３では、選択
候補の字幕を選択すると、選択した字幕まで頭出しを行
うだけであるが、図４では、選択候補の字幕を選択する
と、選択した字幕の頭出しを行い、その選択された字幕
の音声を繰り返し行う。図３Ａの状態のときに、選択候
補の字幕を選択した場合、図３Ｂのように、選択した字
幕に対応した時間の音声の出力が繰り返し出力される。
語学学習など、ユーザが繰り返し字幕に対応するフレー
ズを聞きたい場合には、特に有効である。

【００２６】図５は、この発明の第３の実施形態におけ
る字幕表示方法を図示したものである。時間情報が近傍
な複数の字幕、例えば母国語の字幕と他国語の字幕など
を併記することにより、音声と母国語の字幕ならびに他
国語の字幕との対応関係の把握が容易に行える。この場
合も、語学学習などには大変有効である。

【００２７】図６は、この発明の第４の実施形態におけ
る字幕表示方法を図示したものである。図のようにチャ
プターの一覧を表示するときに、字幕の時間情報を用い
て各チャプターの先頭の字幕も一緒に表示する。これに
より、チャプターの内容の判別が静止画のみの場合より
容易になる。

【００２８】

【発明の効果】以上説明したように、この発明によれ
ば、字幕と字幕の時間情報を保持することで字幕単位で
繰り返し字幕の出力が行えるため字幕の認識が容易にな
る。また、画像と分離して字幕履歴を表示することによ
り字幕の判読も容易になる。

【００２９】

【図面の簡単な説明】

【図１】この発明の一実施形態における字幕表示装置の
構成を示すブロック図である。

【図２】この発明の一実施形態における字幕表示装置で
表示される一例の図である。

【図３】この発明の第１の実施形態における字幕表示方
法の図である。

【図４】この発明の第２の実施形態における字幕表示方
法の図である。

【図５】この発明の第３の実施形態における字幕表示方
法の図である。

【図６】この発明の第４の実施形態における字幕表示方
法の図である。

【符号の説明】

１・・・記憶装置、２・・・ＤＥＭＵＸ、３・・・ビデ
オデコーダ、４・・・グラフィックエンジン、５・・・
オーディオデコーダ、６・・・ホスト、７・・・字幕リ
スト保持用メモリ、８・・・ユーザインターフェース、
１１・・・表示動画、１２・・・字幕履歴、１３・・・
選択矢印、１４・・・スクロールバー、１５・・・選択
候補

Claims (6)

【特許請求の範囲】
1. 【請求項１】 映像情報と字幕情報を合成して出力する
   字幕表示装置において、 多重化された時間情報を有するストリームを記憶装置に
   記憶する第１記憶手段と、 上記第１記憶手段によって記憶されたストリームを時間
   情報を保持したまま分離する分離手段と、 上記分離手段により分離した情報が字幕情報であるとき
   には分離した字幕情報とその字幕情報に対応した時間情
   報を記憶装置に記憶する第２記憶手段と、 上記分離手段により分離した情報が映像情報であるとき
   は分離した上記映像情報の時間情報に対応した、上記第
   ２記憶手段により構築された複数の字幕情報から成る字
   幕履歴情報と、分離した上記映像情報を合成する合成手
   段と、 上記合成手段により合成された合成情報を時間情報を基
   に出力する映像出力手段と、 上記分離手段により分離した情報が音声情報のときは時
   間情報を基に音声情報を出力する音声出力手段と、 上記映像出力手段により出力される合成情報を画面に表
   示する際に、映像情報と字幕情報の画面をそれぞれ別々
   に分離して表示する表示手段と、 上記第２記憶手段によって記憶された時間情報を選択す
   る選択手段と、 上記選択手段により選択された時間情報に基づき上記ス
   トリームの出力を制御する制御手段とを有することを特
   徴とする字幕表示装置。
2. 【請求項２】 映像情報と字幕情報を合成して出力する
   字幕表示方法において、 多重化された時間情報を有するストリームを記憶装置に
   記憶する第１の記憶のステップと、 上記第１の記憶のステップによって記憶されたストリー
   ムを時間情報を保持したまま分離する分離のステップ
   と、 上記分離のステップにより分離した情報が字幕情報であ
   るときには分離した字幕情報とその字幕情報に対応した
   時間情報を記憶装置に記憶する第２の記憶のステップ
   と、 上記分離のステップにより分離した情報が映像情報であ
   るときは分離した上記映像情報の時間情報に対応した、
   上記第２の記憶のステップにより構築された複数の字幕
   情報から成る字幕履歴情報と、分離した上記映像情報を
   合成する合成のステップと、 上記合成のステップにより合成された合成情報を時間情
   報を基に出力する映像出力のステップと、 上記分離のステップにより分離した情報が音声情報のと
   きは時間情報を基に音声情報を出力する音声出力のステ
   ップと、 上記映像出力のステップにより出力される合成情報を画
   面に表示する際に、映像情報と字幕情報の画面をそれぞ
   れ別々に分離して表示する表示のステップと、 上記第２の記憶のステップによって記憶された時間情報
   を選択する選択のステップとを有し、 上記選択のステップにより選択された時間情報に基づき
   上記ストリームの出力を制御することを特徴とする字幕
   表示方法。
3. 【請求項３】 多種の字幕を併記表示する機能を備える
   ことを特徴とする請求項１に記載の字幕表示装置。
4. 【請求項４】 多種の字幕を併記表示することを特徴と
   する請求項２に記載の字幕表示方法。
5. 【請求項５】 画面に表示した字幕をスクロールする機
   能を備えることを特徴とする請求項１に記載の字幕表示
   装置。
6. 【請求項６】 画面に表示した字幕をスクロールするこ
   とを特徴とする請求項２に記載の字幕表示方法。