JP2011030224A - マルチメディア字幕表示システム及びマルチメディア字幕表示方法 - Google Patents

Abstract

【課題】マルチメディアコンテンツを再生する時に、表示環境を即時に検出することにより字幕の表示を即時に且つ動的に調整できる技術を提供する。
【解決手段】マルチメディア再生システムにシステム検出プログラムを装着し、再生開始時に、マルチメディアファイルと字幕ファイルをそれぞれ即時に読み込み、字幕ファイルに記載されている文字タグで字幕表示プログラムを判断し、さらにこのマルチメディア再生システムのシステムリーソスを読み込み、判断された表示解像度とシステム語族に基づき、且つ前記字幕表示プログラムに合わせることにより表示方式を決定し、その後、結合されたマルチメディアコンテンツを再生するマルチメディア字幕表示システム及びマルチメディア字幕表示方法。
【選択図】図７

Description

本発明はマルチメディア字幕表示システム及びマルチメディア字幕表示方法を開示し、特に、マルチメディア再生システムに装着されるシステム検出プログラムによりマルチメディアコンテンツと字幕をそれぞれ読み込み、ハードウェア資源を即時に判断することによって、表示された字幕を動的に調整する。

科学技術の発展に伴い、携帯電子機器の機能はますます多様化し、文字を読む機能や音楽を聴く機能、ビデオを見る機能を提供する携帯電子機器がますます多くなり、例えば、周知のＭＰ３プレーヤー、又はビデオ再生機能を持つ携帯電話、ＰＤＡなどが挙げられる。

デジタル化したマルチメディア（文字、画像、音楽を含む）ファイルに様々な情報があるため、上記した電子機器により再生されるときに、一般的にその中の情報を同時に表示することができ、例えば、ＭＰ３の音声ファイルを再生する際に、歌詞を同時に抽出し、その音声ファイルに合わせた後に再生することができる。係る技術は２００７年１２月６日に公開された米国特許公開第２００７／０２８２８４４号に記載されている、デジタルオーディオファイルの歌詞を提供する技術を参照することができ、ＭＰ３のデジタル音楽再生ファイルを例とし、再生時に、歌詞及び関連する音楽情報などを同時に表示させるように、このファイルに歌詞の情報をロードすることができる。

さらに、音楽を再生すると同時に、もう１つの分離された字幕ファイルをロードする従来技術があり、この字幕ファイルには関連する文字のデリミター（ｄｅｌｉｍｉｔｅｒ）が記載されていて、表示時間及びほかの表示の効果を示し、再生される音楽と同期できる。２００７年７月１９日に公開された米国特許公開第２００７／０１６６６８３号を参照し、図１は字幕ファイルにおける各デリミターに合わせて歌詞を表示するフローチャートである。

図１は現在のほとんどの音楽プレーヤーの実施形態を示し、つまり、音楽を再生する時に、それに対応する１つの字幕ファイルが提供されたと、この字幕ファイルを同時に読み込み、且つ音楽と同期させて再生する。この例には、表示開始時に、ステップＳ１０１のように、音楽プレーヤーのプログラムにより歌詞ファイルにおけるデリミターを読み出し、そして文字列を読み出し（ステップＳ１０３）、一般のプレーヤーは逐字的に表示する表示方式、又は今の音が１つの文字に対応することをユーザーに通知する表示方式を必要としないため、文字列を読み出した直後に文字列を表示し（ステップＳ１０５）、次いでステップＳ１０７のように、その関連するデリミターに基づいて表示されたフォント、色、時間、及びフェードインとフェードアウトなどの開始又は終了の効果などを判断する。

その後、ステップＳ１０９のように、文字列を引き続き表示するかどうかを判断する。ＮＯと判断する場合には、時間がまだあるを示し、表示を更新する必要がなく、ステップＳ１０９を継続する。ＹＥＳと判断する場合には、ステップＳ１１１に進み、もっと多くの表示されるべき歌詞があるかどうかを判断する。ＹＥＳと判断する場合には、この段階がまだ終わっていないことを示し、ステップＳ１０１に戻り、字幕ファイルにおける文字列とデリミターなどのプログラムを引き続き読み出す。ＮＯと判断する場合には、文字列の表示が完了することを示す。

図２には、１つの字幕ファイルにおける下記のようなデリミターの例が挙げられる。
（０．５）Ｓｈｅ（０．３）ｍａｙ（０．４）ｂｅ
（０．３）ｔｈｅ（０．５）ｆａｃｅ（０．２）Ｉ
（０．６）ｃａｎｎｏｔ（０．５）ｆｏｒｇｅｔ
この例は字幕ファイルにおける文字を示し、且つ逐字的にデリミターを示し、例えば、「（０．５）Ｓｈｅ」は「Ｓｈｅ」という文字の表示持続時間が０．５秒であることを示し、その他も同様であり、例えば、輝度を向上することによりこの文字を表示させることができ、音楽に合わせ、歌詞を同期表示することができる。

従来技術は音楽と歌詞を同期させる技術を提供し、且つビデオを再生する時に字幕を表示させる用途に用いることができるが、一般的には、マルチメディアコンテンツを再生する際に、特に映画やミュージックビデオ（ＭＶ）の場合に、ビデオの内容と文字は常に制作される時に組み合わせられて出力され、各種の再生用のハードウェアに対応する適当な再生方式がない。

本発明はマルチメディア字幕表示システム及びマルチメディア字幕表示方法を提供するものであり、その主な目的の１つは、各種のマルチメディア再生裝置のハードウェア又はソフトウェアに応じ、同期された字幕を動的に表示させることができる方法を提供することである。特に、マルチメディア再生システムに設置されるシステムリーソス検出手段を用いることによって、マルチメディアファイルと字幕ファイルをそれぞれ読み込む時に、マルチメディア再生システムのハードウェア又は再生用ソフトウェアの情報を即時に参照し、最適な方式で字幕を表示させることができる。

本発明の好ましい実施形態には、マルチメディア字幕表示方法が開示され、主にマルチメディアシステムに設置されるシステム検出プログラムを用い、このシステムを起動させた後に、直ちにシステム検出プログラムを実行し、まずマルチメディアファイルと字幕ファイルをそれぞれ読み込み、且つ読み込む中に誤りが発生しないように、特定の識別方式で両方を連結させる。次いで、字幕ファイルに記載されている文字タグで字幕を表示する字幕表示プログラムを判断し、前記文字タグは様々な表示効果、及び表示の開始と終了時間を含むことができる。

特に、前記システム検出プログラムはさらに前記マルチメディア再生システムのソフトウェアリーソスとハードウェアリーソスを含むシステムリーソスを読み込み、これによって、マルチメディア再生システムの表示解像度とシステム語族を判断することができ、且つ表示解像度、システム語族と字幕表示プログラムに基づき、マルチメディアファイルと字幕ファイルの適当な表示方式を決定することができる。

また、本発明の他の実施形態には、字幕表示プログラムを規制するための文字タグが複数個示された文字を有する字幕ファイルと、マルチメディアファイルとを含むマルチメディア字幕表示システムが開示され、マルチメディア再生システムに装着されたシステムリーソス検出手段により、字幕ファイルとマルチメディアファイルをそれぞれ読み込み、またマルチメディア再生システムのシステムリーソスも読み込むことによって、適当な表示方式を決定する。

従来技術にかかる字幕ファイルにおける各デリミターに合わせて歌詞を表示させるフローチャートである。 従来技術にかかる字幕ファイルにおけるデリミターの例を示す図である。 本発明にかかるマルチメディア字幕表示システムの構造の模式図である。 マルチメディア字幕表示方法により、表示された字幕を動的に変更する第１の実施形態の模式図である。 マルチメディア字幕表示方法により、表示された字幕を動的に変更する実施例の第２の模式図である。 本発明にかかるマルチメディア字幕表示システムの構造の実施例の模式図である。 マルチメディア字幕表示方法の実施形態を示すフローチャートである。

従来技術の画像と文字とを結合させる方式、又は従来技術により提供された画像、音楽と文字を同期させて再生する方式と異なり、本発明はマルチメディア字幕表示システムとマルチメディア字幕表示方法を開示し、その主な目的の１つは、各種のマルチメディア再生裝置におけるハードウェア又はソフトウェアの違いに応じ、マルチメディアコンテンツに同期した字幕を即時に且つ動的に表示させることができることである。

好ましい実施形態として、図３に示すマルチメディア字幕表示システムの構造模式図を参照することができ、図にはシステムリーソス検出手段３０を備えるマルチメディア再生システム３０５が示され、このシステムリーソス検出手段３０は通常にソフトウェアプログラムで実現され、主にシステムによって分離された字幕ファイル３０１とマルチメディアファイル３０３を読み込んだ後、字幕ファイル３０１における文字タグで各文字の表示プログラムを判断する以外、さらにマルチメディア再生システム３０５のシステムリーソスを読み込み、これにより適当な表示状態を決定し、最後に、図に示すように、字幕３４を含むマルチメディアコンテンツ３２がスクリーン３０７に表示される。

特に、前記マルチメディア再生システム３０５のシステムリーソスにはハードウェア又はソフトウェアの情報を含むことができ、主にマルチメディアを再生する際に、ハードウェアの表示能力を即時に検出することができ、そのうち、表示解像度、表示サイズなどの再生環境も含まれ、システムリーソス検出手段はマルチメディアファイルと字幕ファイルをそれぞれ読み込む以外、即時に検出されたマルチメディア再生システムのハードウェア又は再生用ソフトウェアの情報を参考にし、最適な方式で字幕を表示させることができる。

例えば、図４はマルチメディア字幕表示方法により表示された字幕を動的に変更する実施例を示し、そのうち、図（ａ）は再生裝置のスクリーンに字幕が組み合わせられたビデオが示されていることを示し、例えば、ユーザーはその中の曲とこの曲に合わせる字幕を使って歌うことができるＫＴＶ、ミュージックビデオなどが挙げられ、この例には、スクリーンの解像度は表示される字幕、即ち「ＡＢＣ．ＤＥＦ．ＧＨＩ．ＪＫＬ」を１行で完全に表示させることができる。図（ｂ）は横方向に再生する状態を縦方向に再生する状態に変更することを示し、この場合、本発明により提供されたシステムリーソス検出手段は再生状態の変更を検出し、その後、直ちに字幕の再生状態を変え、図に示すように字幕を２行に分け、上の行が「ＡＢＣ．ＤＥＦ．」を示し、下の行が「ＧＨＩ．ＪＫＬ」を示し、これによって、字幕を適当な方式で完全に表示させることができる。特に、本発明により提供された表示方法を使用することによって、ビデオにおける字幕の大きさはビデオに比例して変更する必要がなく、異なる表示環境でも字幕をはっきりと表示させることができる。

１つの実施例には、図４に示される例はシステムに電子ジャイロが装着された裝置に用いられ、本発明のシステムリーソス検出手段は再生システムにおけるシステムリーソスを読み込むことができるため、電子ジャイロが再生裝置の角運動量の変更を測定することにより感知された方向情報を同樣に読み込むことができ、さらにスクリーンの解像度に基づき、表示された字幕を調整する。

図５は本発明にかかるマルチメディア字幕表示方法によって、表示された字幕を動的に変更する第２の実施例を示し、この例には、前記再生裝置５０はソフトウェアプログラムによりマルチメディアを再生し、本発明のシステムリーソス検出手段は、その使用状態が同樣にこのソフトウェアプログラムにより読み出される。

この例には、表示エリア５２の大きさは再生用ソフトウェアにより変更され、システムリーソス検出手段によって再生プログラムの再生エリア５２の変更を検出することができ、そしてこの変更に基づいて字幕の表示を調整し、例えば、改行の方式で表示させ、又は文字の大きさを変えることによって、マルチメディアコンテンツとのマッチを図る。

図６は本発明にかかるマルチメディア字幕表示システムの構造の実施例の模式図であり、この例には、字幕ファイル６０、マルチメディアファイル６２とマルチメディア再生システム６４との間の接続構造が示される。

そのうち、字幕ファイル６０は文字タグが複数個示された文字を含み、主に文字タグにより各文字の字幕表示プログラムを規制し、そのうち、各文字又は段落の表示の持続時間、色、フォント、輝度、フェードイン、フェードアウトなどの表示効果、改行を指示する文字・段落、及び文字の表示開始時間と終了時間などが含まれ、男女合唱の部分であると、更に文字タグにより異なる声部の文字を示すことができ、又はカラオケに歌う人を逐字的に歌わせることをガイドする指示コードのようなものであってもよい。

マルチメディアファイル６２を読み込んだ後に、システムリーソス検出手段６４１は、少なくともマルチメディアファイルの再生長さとその中のタイマー（ｔｉｍｅｒ）情報を含む情報を即時に抽出することができ、これを読み出された文字タグにより示された時間と組み合せる時に、同期させて再生することができる。

本発明はさらに多言語機能を提供し、各語族の要求に合うために、同一のファイルに異なる言語の字幕をロードすることができ、ここに、繁体字中国語６０１、簡体字中国語６０２、日本語６０３及び英語６０４が挙げられ、前記システムリーソス検出手段により再生システムの語族を判断した後に、それに対応する言語を表示させることができ、これによって、表示に誤りが生じること又は文字化けの問題を解消することができる。

字幕ファイル６０とマルチメディアファイル６２とは２つの独立するファイルであり、１つの連結関係を両方が相互に連結されている識別データとしてもよく、例えば、同じファイル名を用い、対応する２つのファイルだとマルチメディア再生システムに判断させ、又は他の識別コードをこの連結関係としてもよい。

マルチメディア再生システム６４には主にシステムリーソス検出手段６４１が装着され、このシステムリーソス検出手段６４１は、システムを起動させた後に字幕ファイル６０とマルチメディアファイル６２を読み込み、さらにマルチメディア再生システム６４におけるシステムリーソスを読み込み、この例には、語族６４３、解像度６４４とプロセッサ６４５などのシステム情報が挙げられた。語族６４３は表示された字幕の言語を判断するために用いられ、再生システムの解像度６４４は字幕の表示状態を判断するために用いられ、即時的な検出手段であるため、解像度が変わった（表示サイズの変更を含む）場合にも、さらに語族が変わった場合にも、字幕の改行の位置を動的に且つ即時に調整することができ、そのうち、表示サイズを即時に変更すること（正比例の関係ではなくてもよい）、及び表示された語族を即時に変更することなどが含まれる。

プロセッサ６４５により提供される情報は本発明のもう１つの選択肢であり、プロセッサ６４５により、システムリーソス検出手段６４１はシステムのデジタルデータ処理能力を得ることができ、そのうち、プロセッサ６４５が他のプログラムを同時に処理したかを含み、これによって、システムリーソス検出手段６４１は、目前のシステムの最適な再生状態に合うように、表示の状態を決定することができ、そのうち、解像度、表示画面の大きさなどを調整できることが含まれる。

ユーザーは制御システム６８によりこのマルチメディア再生システム６４を起動させる際に、システムリーソス検出手段６４１によって表示解像度、語族と字幕表示プログラムを判断し、又は他のパラメーターを加えてマルチメディアファイルと字幕ファイルの表示方式を決定し、表示された字幕の段落位置を判断し、これによって、再生プログラム６４２は結合されたマルチメディアコンテンツをスクリーン６６に再生させることができる。

本発明により提供されたマルチメディア字幕表示方法の実施形態は図７のフローチャートを参照することができる。

ユーザーは制御システム（例えば、図６の６８）によりマルチメディア再生システムを起動させた後、本発明の好ましい実施形態には、直ちにシステム検出プログラムを実行し（ステップＳ７０１）、まずマルチメディアファイルと字幕ファイルをそれぞれ読み込み、マルチメディアファイルを読み込む時（ステップＳ７０３）に、マルチメディアファイルの情報、例えば再生長さ、解像度とタイマー情報など（ステップＳ７０５）を抽出し、字幕ファイルを読み込む時（ステップＳ７０７）に、その中の文字タグにより字幕表示プログラムを判断することができ（ステップＳ７０９）、且つ読み込む中に誤りが発生しないように、特定の識別方式で両方を連結させる。

次いで、このシステム検出プログラムはさらに前記マルチメディア再生システムのソフトウェアリーソスとハードウェアリーソスを含むシステムリーソスを読み込み（ステップＳ７１１）、これによって、少なくともマルチメディア再生システムの表示解像度とシステム語族を判断することができ（ステップＳ７１３）、且つ表示解像度、システム語族と字幕表示プログラムに基づき、マルチメディアファイルと字幕ファイルの適当な表示方式を決定することができる（ステップＳ７１５）。最後に、結合されたマルチメディアと字幕を再生する（ステップＳ７１７）。

特に、前記ステップＳ７０１とステップＳ７１１に説明されたシステム検出プログラムは、本発明のマルチメディア字幕表示方法を実施する時に持続的に実行されるプログラムであってもよく、表示環境が変わった時に、マルチメディア再生システムの表示解像度とシステム語族を即時に判断し、表示方式を即時に且つ動的に変更することができる。

以上により、本発明はマルチメディア字幕表示方法とマルチメディア字幕表示システムを提供し、マルチメディア再生システムにおけるシステム検出プログラムにより、文字タグが示された字幕を読み込む以外、字幕表示プログラムを規制し、且つシステムリーソスを読み込み、これによって適当な表示方式を決定する。

以上に説明した実施形態は本発明の好適な実行できる実施形態であり、本発明の特許範囲を限定するものではなく、従って、本発明の明細書及び図面に示される内容を用いて行われる本発明と同等の効果を有する構造変更は、いずれも本発明の範囲に含まれる。

３０１ 字幕ファイル
３０３ マルチメディアファイル
３０５ マルチメディア再生システム
３０ システムリーソス検出手段
３０７ スクリーン
３２ マルチメディアコンテンツ
３４ 字幕
５０ 表示裝置
５２ 表示エリア
６０ 字幕ファイル
６０１ 繁体字中国語
６０２ 簡体字中国語
６０３ 日本語
６０４ 英語
６２ マルチメディアファイル
６４ マルチメディア再生システム
６４１ システムリソース検出手段
６４２ 再生プログラム
６４３ 語族
６４４ 解像度
６４５ プロセッサー
６６ スクリーン
６８ 制御システム

Claims (10)

1. マルチメディア再生システムを起動させた後にシステム検出プログラムを実行するステップと、
   再生命令を受信した後にマルチメディアファイルを読み込み、少なくとも前記マルチメディアファイルの再生の長さとその中のタイマー情報を含む情報を抽出するステップと、
   前記マルチメディアファイルと連結関係を有する字幕ファイルを読み込むステップと、
   前記字幕ファイルに記載されている文字タグにより字幕表示プログラムを判断するステップと、
   記マルチメディア再生システムの表示解像度、システム語族、デジタルデータ処理能力及び再生エリアを含むシステムリソースを読み込むステップと、
   前記マルチメディア再生システムの前記表示解像度と前記システム語族を判断するステップと、
   前記表示解像度、前記システム語族と前記字幕表示プログラムに基づき、前記マルチメディアファイルと前記字幕ファイルの表示方式を決定するステップと、
   結合されたマルチメディアコンテンツを再生するステップとを備えること、
   を特徴とするマルチメディア字幕表示方法。
2. 識別データを前記字幕ファイルと前記マルチメディアファイルとの間の連結関係として用いる請求項１に記載のマルチメディア字幕表示方法。
3. 前記文字タグは前記字幕表示プログラムを規制するために用いられ、前記マルチメディア再生システムのスクリーンにおける態様であり、前記態様は表示時間、表示効果、
   異なる声部の文字、文字・段落、文字の表示開始時間と終了時間、指示コードとからなる態様の少なくとも１つ又はそれらの組合せを含む請求項１に記載のマルチメディア字幕表示方法。
4. 前記システム検出プログラムは前記マルチメディア再生システムの前記表示解像度に基づき、表示された字幕の段落位置を判断し、且つ前記表示解像度に基づき、表示された字幕の大きさを判断する請求項１に記載のマルチメディア字幕表示方法。
5. 前記字幕ファイルには複数の言語の文字が記載され、前記システム語族に基づき、前記字幕ファイルにおける１種類の言語を使用することを決定する請求項１に記載のマルチメディア字幕表示方法。
6. 結合されたマルチメディアコンテンツを再生した後に、引き続き前記システム検出プログラムにより前記マルチメディア字幕表示方法の各ステップを繰り返し、即時検出により前記マルチメディア再生システムの表示環境が変わり検出した時に、前記マルチメディア再生システムの前記表示解像度と前記システム語族を即時に判断する請求項１に記載のマルチメディア字幕表示方法。
7. 字幕表示プログラムを規制するための文字タグが複数個示された文字を有する字幕ファイルと前記字幕ファイルとが連結関係を有し、前記連結関係はそれと前記字幕ファイルとが相互に連結されている識別データであるマルチメディアファイルと、
   そのシステムリーソスを即時に検出するプログラムであるシステムリーソス検出手段を有し、前記字幕ファイルと前記マルチメディアファイルを読み込み、前記字幕ファイルに記載されている文字タグで前記字幕表示プログラムを判断し、前記システムリーソス検出手段がさらにそのシステムリーソスを読み込み、表示解像度、システム語族、デジタルデータ処理能力及び再生エリアを判断するマルチメディア再生システムと、を備えるマルチメディア字幕表示システムであって、
   これによって、前記システムリーソス検出手段は前記表示解像度、前記システム語族と前記字幕表示プログラムに基づき、前記マルチメディアファイルと前記字幕ファイルの表示方式を決定し、表示された字幕の段落位置を判断し、且つ結合されたマルチメディアコンテンツを再生するマルチメディア字幕表示システム。
8. 前記文字タグにより再生の態樣を判断し、前記態樣は表示時間、表示効果、異なる声部の文字、文字・段落、文字の表示開始時間と結束時間の指示コードとからなる。態様は少なくとも１つ又はそれらの組合せを含む請求項７に記載のマルチメディア字幕表示システム。
9. 前記字幕ファイルには複数の言語の文字が記載されている請求項７に記載のマルチメディア字幕表示システム。
10. 前記マルチメディア再生システムの表示環境が変わった時に、前記表示解像度と前記システム語族を即時に判断する請求項７に記載のマルチメディア字幕表示システム。