JP2005236925A

JP2005236925A - 字幕デコード装置

Info

Publication number: JP2005236925A
Application number: JP2004047002A
Authority: JP
Inventors: Mitsuaki Fujiwara; 光章藤原; Akinobu Horigome; 明伸堀込
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2004-02-23
Filing date: 2004-02-23
Publication date: 2005-09-02

Abstract

【課題】既存の字幕規格に変更を加えることなく、任意のデータを受信し、コンテンツ製作段階やストリーム伝送中に発生した字幕データの破損を単語レベルで解析して修復する。
【解決手段】ストリームに含まれる字幕データ内に、透明色属性を有する非表示文字符号と、字幕の文字となる字幕文字符号と、フォントや描画を制御する字幕制御符号とが含まれており、字幕解釈部１０１は、これらの３種類の各符号を分類する。非表示文字符号には、書き換え可能辞書１１１に登録される単語情報が含まれる。文字列補正部１０３は、書き換え可能辞書及び固定一般用語辞書１１２を参照して、字幕文字符号内のエラーを検証し、字幕エラーを適切な文字に補正することにより、コンテンツに内在する字幕エラーや、伝送の際に発生した字幕エラーを補正する。また、字幕エラーの補正箇所を視覚的に分かるように表示することも可能である。
【選択図】図１

Description

本発明は、映像を再生する映像再生技術に関し、特に、ストリームに含まれる字幕データをデコードする（字幕データを人間が理解できる文字画像に変換する）技術の改良に関する。

従来、文字データ（字幕データとも呼ばれる）が多重化された映像データの再生を行う際、多重化されている文字データを分離し、映像表示を行う表示画面上に字幕としてインポーズする技術が知られている（例えば、下記の特許文献１及び特許文献２を参照）。この場合、テレビジョン信号の全走査線１Ｈ〜２５Ｈのうち、１Ｈ〜２１Ｈ（２６４Ｈ〜２８４Ｈ）が垂直ブランキング期間として用いられ、また、２２Ｈ〜２５Ｈ（２８５Ｈ〜５２５Ｈ）がビデオ信号として用いられている方式では、放送局側が垂直ブランキング期間の１つ（例えば２１Ｈ）を用いて文字コードをＮＲＺ（Non Return to Zero）信号で送信し、受像機側の文字デコーダによって、このＮＲＺ信号を文字画像に変換し、受像機の画面にビデオ画像と重畳して表示する。

また、ビデオＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）においても、文字データをユーザデータエリアやＭＰＥＧデータエリアに記録してこれを再生し、受像機側の文字デコーダがデコード可能なようにＮＲＺ信号に変換して、例えば、テレビジョン信号の２１Ｈ上に重畳して、受像機に出力することが行われている。
特開平９−２９４２４８号公報特開平８−３３１５２７号公報（図６、段落０００７〜００１３）

また、以下において、図４及び図５を用いて、従来の字幕データに係るストリーム構造について簡単に説明する。図４は、従来の技術における米国のＤＴＶＣＣの規格であるＤＴＶビットストリームの構造を模式的に示す図であり、図５は、従来の技術における日本のＡＲＩＢの規格であるＢＳデジタルビットストリーム（ＡＲＩＢＢＳデジタルビットストリーム）の構造を模式的に示す図である。

図４に示すように、ＤＴＶビットストリームは、オーディオ、ビデオ、コントロールの３つのストリームによって構成されており、字幕データ（キャプション）は、ビデオストリーム内のユーザデータビットと呼ばれる汎用領域を用いて伝送される。また、図５に示すように、ＡＲＩＢＢＳデジタルビットストリームでは、字幕データは、字幕専用のストリームによって伝送される。

また、図４に示すＤＴＶビットストリームのＤＴＶＣＣキャプションチャンネルのパケットヘッダには、シーケンスナンバーと呼ばれる連番（２ビット：０，１，２，３の順で連続）が割り当てられており、字幕データの復号処理時に、エラーによってパケットの消失（シーケンスナンバーが飛ぶ）が生じた場合には、それを確認することができる。

しかしながら、一般的に、字幕に関しては完璧な表示がなされなくてもよく、多少の誤字やエラーによる抜け（非表示）は許容されてもよいという、字幕表示の品質に対する重要性の低さが存在している。聾唖者配慮に関して先進国であり、多国語を使用する多民族国家でもある字幕先進国の米国でも、字幕表示の品質に関しては、十分に評価されていないのが現状である。

このような字幕に対する軽視から、字幕データを搬送するための映像信号の様々な規格では、パリティ、ＣＲＣ（Cyclic Redundancy Check：巡回冗長検査）、パケットごとの連番割り振りなどの技術によって、エラーが検出された場合には、エラーが検出された部分の字幕データはデコードされることなく破棄されてしまうようなストリーム構造が規定されており、ストリームがエラーを起こしていた場合でも、そのエラーを修正して表示するための方法がないという問題点がある。

例えば、図４及び図５に図示されているように、米国のＤＴＶＣＣの規格であるＤＴＶビットストリーム、及び、日本のＡＲＩＢの規格であるＢＳデジタルビットストリームの両方において、共通して、トランスポートストリームパケットにＣＲＣが付加されている。したがって、ストリームに関して通常のエラー処理が行われた場合、搬送中のエラーについては、パケット単位でデータが丸ごと破棄されてしまうことになる。このようなデータの破棄によって、破棄される単位が１文字や２文字などの小さなサイズではなく、単語１つから多いときには数行にわたる字幕データの消去が行われてしまう。

上記問題点に鑑み、本発明では、既存の字幕規格に変更を加えることなく、任意のデータを受信することが可能な字幕デコード装置に関し、特に、伝送中に発生したデータの破損を単語レベルで解析して、可能な限り修復するとともに、コンテンツ製作段階で発生した誤字や脱字に関しても修復して表示することが可能な字幕デコード装置を提供することを目的とする。

なお、本発明では、字幕データに関するエラーが発生した場合に、字幕データを消去して表示しないようにするのではなく、修正しきれない単語が多少あったとしても、可能な限り修復を施して表示を行ったほうがよいという考え方に基づいている。特に、字幕の性質上、ある程度の修復ができていれば、心理的に前後の話の流れ（文脈）から、完全にエラーを修復できない状態でも、字幕表示を行ったほうが良い場合が多い。

上記目的を達成するため、本発明の字幕デコード装置は、ストリームに含まれる字幕データにおいて、透明色属性が設定された非表示文字符号が含まれており、字幕解釈部が、この非表示文字符号を分類、抽出することによって、非表示文字符号に含まれる任意のデータを取得できるようにしている。

すなわち、本発明によれば、映像と字幕データとが含まれるストリームから前記字幕データを復号するための字幕デコード装置であって、透明色属性を有する非表示文字符号と、字幕の文字となる字幕文字符号と、前記字幕の文字のフォント又は前記字幕の描画を制御する字幕制御符号とを含む前記字幕データから、前記非表示文字符号、前記字幕文字符号、前記字幕制御符号のそれぞれを分類する字幕解釈手段を有する字幕デコード装置が提供される。

さらに、本発明において、一般的な用語が記載されている固定一般用語辞書と、前記非表示文字符号に辞書定義データが含まれている場合には、前記辞書定義データに係る情報を登録するための書き換え可能辞書とを格納する辞書格納手段と、前記字幕データに係るエラーを検証し、前記エラーが存在する場合には、前記固定一般用語辞書及び／又は書き換え可能辞書を参照して、前記字幕の補正を行う文字列補正手段と、前記エラーの存在しない前記字幕、又は、前記エラーの補正後の前記字幕を、前記ストリームに含まれる映像と共に、所定の表示画面上に表示するための表示処理手段とを有することは好ましい態様である。

本発明の字幕デコード装置は、上記構成を有しており、既存の字幕規格に変更を加えることなく、任意のデータを受信することが可能であるという効果を有し、特に、伝送中に発生したデータの破損を単語レベルで解析して、可能な限り修復するとともに、コンテンツ製作段階で発生した誤字や脱字に関しても修復して表示することが可能であるという効果を有する。

以下、図面を参照しながら、本発明の実施の形態における字幕デコード装置について説明する。図１は、本発明の実施の形態における字幕デコード装置の構成を示すブロック図である。図１に示す字幕デコード装置は、字幕解釈部１０１、定義データ解析部１０２、文字列補正部１０３、制御符号デコード処理部１０４、辞書格納部１０５、フォント展開部１０６、描画処理部１０７を有しており、処理後のデータを表示装置１０８に出力するように構成されている。

字幕解釈部１０１は、入力される字幕データ（例えば、ＭＰＥＧトランスポートストリームなどの字幕データを含む圧縮データから抽出された字幕データ）を解釈して、分類を行う手段である。字幕データには、透明色属性を有する非表示文字符号、実際の文字である字幕文字符号、改行や文字の属性（色、大きさなど）を設定する字幕制御符号の３種類のデータが含まれており、字幕解釈部１０１は、上記の３種類のそれぞれを分類して、非表示文字符号を定義データ解析部１０２に、字幕文字符号を文字列補正部１０３に、字幕制御符号を制御符号デコード処理部１０４にそれぞれ供給する。なお、上述の非表示文字符号に関しては、後で詳細に説明する。

また、定義データ解析部１０２は、字幕解釈部１０１から供給される非表示文字符号に係る処理を行う手段である。非表示文字符号には、辞書登録に使用される単語情報、自動修正の有効／無効や書き換え型辞書（書き換え可能辞書１１１）の全消去などを指示する辞書制御符号、修正箇所があった場合の表示の態様を規定する修正箇所拡張表示属性が含まれており、定義データ解析部１０２は、上記の３種類のそれぞれを分類して、単語情報及び辞書制御符号を辞書格納部１０５に供給し、修正箇所拡張表示属性内の文字の属性に係る情報をフォント展開部１０６に、修正箇所拡張表示属性内の描画に対して効果を及ぼす情報を描画処理部１０７にそれぞれ供給する。なお、上述の単語情報、辞書制御符号、修正箇所拡張表示属性に関しては、後で詳細に説明する。

また、文字列補正部１０３は、字幕解釈部１０１から供給される字幕文字符号に係る処理を行う手段である。文字列補正部１０３は、辞書格納部１０５に格納されている辞書（書き換え可能辞書１１１及び固定一般用語辞書１１２）を参照して、字幕文字符号に含まれる文字（又は、単語や文章）に誤りがないかを検証する。そして、誤りがない場合には、字幕文字符号をそのままフォント展開部１０６に供給する一方、誤りがあった場合には、適切な文字への補正を行った後、補正後の字幕文字符号をフォント展開部１０６に供給する。

また、制御符号デコード処理部１０４は、字幕解釈部１０１から供給される字幕制御符号に係る処理を行う手段である。この字幕制御符号は、通常の字幕規格に従った情報であり、文字の属性に関するコードはフォント展開部１０６に供給され、描画に対して効果を及ぼすコードは描画処理部１０７に供給される。

また、辞書格納部１０５は、文字列補正部１０３が字幕文字符号内の文字の補正を行う際に参照される辞書を格納するための情報格納手段である。例えば、辞書格納部１０５には、非表示文字符号内の単語情報が登録される書き換え可能辞書１１１や、一般的な単語があらかじめ記載された固定一般用語辞書１１２が格納されている。なお、辞書格納部１０５に格納される辞書は、字幕文字符号内に含まれる文字における誤りの有無の基準や、誤りのある文字を補正する際の適切な文字の情報源として参照されるものであり、正確な単語や慣用句、文法のチェックのための情報などを含むものである。したがって、辞書格納部１０５に格納される辞書として、単語に対応した意味も記載されている通常の辞書を必ずしも用いる必要はない。

また、フォント展開部１０６は、制御符号デコード処理部１０４から供給される文字の属性に関するコードに基づいて、字幕制御符号内の文字属性を決定する手段である。なお、文字列補正部１０３で補正された文字に関しては、定義データ解析部１０２から文字の属性に関する情報に基づいて、文字属性を決定することも可能である。

また、描画処理部１０７は、制御符号デコード処理部１０４から供給される描画に対して効果を及ぼすコードに基づいて、字幕制御符号内の文字を描画する際の属性を決定し、描画処理を行う手段である。なお、文字列補正部１０３で補正された文字に関しては、定義データ解析部１０２から供給される文字の描画に対して効果を及ぼす情報に基づいて、文字属性を決定することも可能である。

また、描画処理部１０７によって描画処理された字幕データは、表示装置１０８に供給され、ＭＰＥＧトランスポートストリームに含まれる映像や音声と共に、表示装置１０８の表示画面上に出力される。なお、映像や音声との適切な同期処理が行われ、字幕が表示画面上に適切なタイミングで表示されることが望ましい。

次に、本発明の実施の形態における字幕デコード装置に供給される字幕データについて説明する。上述のように、字幕データは、非表示文字符号、字幕文字符号、字幕制御符号の３種類に分類される。このうち、字幕文字符号及び字幕制御符号は、それぞれ字幕表示される文字及び字幕表示に必要な制御を行うための情報であり、通常の字幕データに含まれるものと同一である。

一方、非表示文字符号には、本発明の特徴である字幕データの補正に係る情報が含まれている。この非表示文字符号は、例えば、透明色属性（画面には表示されない透明色）が設定された状態で、字幕データ内に格納されて伝送される。これにより、字幕データの補正に係る情報を従来の字幕規格に従って伝送することが可能となり、字幕解釈部１０１は、字幕データ内に含まれる情報のうち、透明色属性を有する情報を非表示文字符号と認識して分類することが可能となる。また、通常の字幕デコーダ（字幕データの補正を行わないデコーダ）において、この字幕データの処理が行われた場合でも、非表示文字符号は、透明色属性を有しているため表示画面上に表示されず、既存の字幕規格との互換性や、ユーザに対する字幕表示の同一性（既存の字幕表示との同一性）を保つことが可能となる。なお、上述の方法を用いて、任意のデータに透明色属性を設定して伝送することも可能である。これにより、透明色属性を有する任意のデータを抽出して、取得することが可能となる。

また、上述のように、非表示文字符号は、単語情報、辞書制御符号、修正箇所拡張表示属性の３種類に分類される。単語情報は、基本となる辞書（固定一般用語辞書１１２）とは別に、字幕文字符号内の字幕で用いられている専門用語や固有名詞（人の名前や場所の名前など）の辞書定義データである。この辞書定義データは、書き換え可能辞書１１１に登録される。また、辞書制御符号は、字幕の補正の態様を制御するための情報であり、文字列補正部１０３における自動修正の有効／無効（オン／オフ）や書き換え可能辞書１１１の全消去などの指示を行うための情報である。例えば、字幕に専門用語が大量に用いられている場合には、一般用語の観点からは自動修正できなかったり、単語情報に係るデータ容量では書き換え可能辞書１１１の登録が十分に行えなかったりすることもあるため、かえって字幕の修正が行われないほうが良いこともある。また、コンテンツ製作者が字幕の修正を望まない場合もある。このような場合に、辞書制御符号によって自動修正が無効化され、字幕の修正が行われないように設定することが可能である。

また、修正箇所拡張表示属性は、文字列補正部１０３において補正された文字（又は、単語や文章）が表示装置１０８の表示画面上において判別可能となるようにするための情報である。すなわち、修正箇所拡張表示属性によって、文字や背景の色合いの差別化、フォントの差別化、アンダースコアの表示など、補正された文字の属性や描画の際の効果が、他の補正されていない文字とは異なるようにすることが可能となり、表示画面を閲覧しているユーザは、字幕の補正があった旨やその補正箇所を把握することが可能となる。なお、補正された文字を修正箇所拡張表示属性によって区別可能とすることは、特に、データの破損状況がひどく、補正結果が不確かなものとなりやすい場合などに有効である。

次に、本発明の実施の形態における字幕デコード装置の動作について説明する。図２は、本発明の実施の形態における字幕デコード装置の動作の一例を示すフローチャートである。例えば、所定の映像再生装置において分離されて、ＭＰＥＧトランスポートパケットによって送られてきた字幕データは、まず、図１に示す字幕デコード装置の字幕解釈部１０１に供給される（ステップＳ２０１：字幕データを受信）。字幕解釈部１０１は供給された字幕データを解釈し、実際の文字である字幕文字符号、改行や文字の属性（色、大きさなど）を設定する字幕制御符号、透明色属性を有する非表示文字符号のそれぞれに分類する（ステップＳ２０２：非表示文字符号？、ステップＳ２０３：字幕文字符号？）。そして、非表示文字符号に関しては定義データ解析部１０２に、字幕文字符号に関しては文字列補正部１０３に、字幕制御符号に関しては制御符号デコード処理部１０４にそれぞれ供給される（ステップＳ２０４：定義データ解釈部に非表示文字符号を供給、ステップＳ２０５：文字列補正部に字幕文字符号を供給、ステップＳ２０６：制御符号デコード処理部に字幕制御符号を供給）。

定義データ解析部１０２は、字幕解釈部１０１からの非表示文字符号を受けて、上述のように、単語情報、辞書制御符号、修正箇所拡張表示属性の分類を行い、字幕補正の制御や辞書登録などの非表示文字符号に係る処理を行う（ステップＳ２０７：字幕補正の制御、辞書登録などの処理）。一方、制御符号デコード処理部１０４は、字幕解釈部１０１からの字幕制御符号を受けて、上述のように、フォント展開部１０６への文字の属性に関するコードの供給、描画処理部１０７への描画に対して効果を及ぼすコードの供給を行い、フォントや描画の効果の設定などの字幕制御符号に係る処理を行う（ステップＳ２０８：フォント、描画の効果などの設定）。

また、文字列補正部１０３は、字幕解釈部１０１からの字幕文字符号を受けて、辞書格納部１０５に格納されている書き換え可能辞書１１１、固定一般用語辞書１１２の順に参照して、単語の照合を行い、字幕の補正が必要か否かを検証する（ステップＳ２０９：字幕の補正が必要？）。そして、例えば、字幕内の単語が、書き換え可能辞書１１１又は固定一般用語辞書１１２に登録されている単語と一致した場合（すなわち、字幕内の単語が登録済み単語の場合）には、そのままフォント展開部１０６に字幕データを出力して、ステップＳ２１１に進む。一方、例えば、字幕内の単語が、書き換え可能辞書１１１又は固定一般用語辞書１１２に登録されている単語と一致せず、文字の欠損や文字の置き換わりなどによる不正な単語が見つかった場合には、文字列補正部１０３は、不正な単語に最も近い単語への変換処理や、文脈による単語の修正処理などを行って字幕を補正し（ステップＳ２１０：字幕（文字）の補正）、補正後の字幕データをフォント展開部１０６に出力する。

そして、字幕データは、フォント展開部１０６及び描画処理部１０７で表示用の処理が施された後（ステップＳ２１１：表示用の処理）、表示装置１０８に供給されて表示画面上に表示される。これによって、字幕補正が行われない場合には、図３（ａ）に図示するように、そのままの状態で表示画面上に表示されていた字幕エラー（『HAVE A NICE WEEKEND』という表示の『HAVE』の箇所が表示されない字幕エラー）３０１が、図３（ｂ）に図示するように、適切な単語に修正されて表示されるようになる。なお、本発明に係る字幕の補正によって、コンテンツ制作段階に発生した誤字や脱字、外乱によって伝送経路で発生したデータの書き換えや破損による誤り字幕情報などを補正することが可能である。また、上述のように、補正が行われた箇所に視覚的な効果を施し、補正が行われた文字や単語が表示画面上で明示されるようにすることも可能である。

また、文字の修正の際には、基本的に単語単位でエラーが発生しているか否かの検証を行うことが容易であり、かつ、望ましい。しかしながら、例えば、英語、フランス語、スペイン語などのヨーロッパ系言語は、そのまま空白で区切られた単語を辞書と比較照合することが可能であるが、単語単位ではなく、自然言語処理を行う必要のある言語（日本語、中国語、韓国語／朝鮮語、タイ語などのアジア系言語）は、単語が空白で区切られていないため、そのままでは単語単位によるエラー発生の検証を行うことは不可能である。こうしたアジア系言語の処理を行うためには、例えば、意味を持つ最小の言語単位（形態素）の範囲を抽出し、品詞や読みなど形態素の属性を同定することによって、文章から単語を切り出す形態素解析技術を利用することも可能である（“http://www.jpo.go.jp/shiryou/s_sonota/hyoujun_gijutsu/search_engine/b/b31.htm”や、「東アジア言語形態素解析SuperMorpho」：「OMRON TECHNICS」（１９９９年３月２０日）多田智之、古河靖之著オムロン（株）技術本部発行８０頁〜８５頁などを参照）。

本発明に係る字幕デコード装置は、既存の字幕規格に変更を加えることなく、任意のデータを受信することが可能になるとともに、特に、伝送中に発生したデータの破損を単語レベルで解析して、可能な限り修復するとともに、コンテンツ製作段階で発生した誤字や脱字に関しても修復して表示することが可能になるという効果を有しており、映像を再生する映像再生装置に係る技術や、ストリームに含まれる字幕データをデコードする技術に適用可能である。

本発明の実施の形態における字幕デコード装置の構成を示すブロック図である。本発明の実施の形態における字幕デコード装置の動作の一例を示すフローチャートである。従来の技術における字幕表示と本発明の実施の形態における字幕表示との差異を説明するための表示画面の一例を示す図であり、（ａ）は、従来の技術における字幕表示の表示画面の一例を示す図であり、（ｂ）は、本発明の実施の形態における字幕表示の表示画面の一例を示す図である。従来の技術における米国のＤＴＶＣＣの規格であるＤＴＶビットストリームの構造を模式的に示す図である。従来の技術における日本のＡＲＩＢの規格であるＢＳデジタルビットストリーム（ＡＲＩＢＢＳデジタルビットストリーム）の構造を模式的に示す図である。

符号の説明

１０１字幕解釈部
１０２定義データ解析部
１０３文字列補正部
１０４制御符号デコード処理部
１０５辞書格納部
１０６フォント展開部
１０７描画処理部
１０８表示装置
１１１書き換え可能辞書
１１２固定一般用語辞書
３０１字幕エラー

Claims

映像と字幕データとが含まれるストリームから前記字幕データを復号するための字幕デコード装置であって、
透明色属性を有する非表示文字符号と、字幕の文字となる字幕文字符号と、前記字幕の文字のフォント又は前記字幕の描画を制御する字幕制御符号とを含む前記字幕データから、前記非表示文字符号、前記字幕文字符号、前記字幕制御符号のそれぞれを分類する字幕解釈手段を有する字幕デコード装置。
一般的な用語が記載されている固定一般用語辞書と、前記非表示文字符号に辞書定義データが含まれている場合には、前記辞書定義データに係る情報を登録するための書き換え可能辞書とを格納する辞書格納手段と、
前記字幕データに係るエラーを検証し、前記エラーが存在する場合には、前記固定一般用語辞書及び／又は書き換え可能辞書を参照して、前記字幕の補正を行う文字列補正手段と、
前記エラーの存在しない前記字幕、又は、前記エラーの補正後の前記字幕を、前記ストリームに含まれる映像と共に、所定の表示画面上に表示するための表示処理手段とを、
有する請求項１に記載の字幕デコード装置。