JP2007174246A - 映像情報処理方法、映像情報処理プログラム及び映像情報処理装置 - Google Patents

Abstract

【課題】字幕情報を利用して検索が可能であり、また、携帯電話端末等の表示能力に制限がある端末においても的確な表示を行なうことができるようにする。
【解決手段】表示選択字幕データデコーダ７０４は、８単位符号に対応するテキストを特定するテキストデータに変換する。外字データが含まれる場合、解析処理部７０５は、検出したビットマップを用いて外字データ記憶部７１に記録された外字表を検索する。ビットマップに対応するテキストの登録がある場合には、解析処理部７０５は、外字変換を行なう。一方、ビットマップデータの登録がない場合には、解析処理部７０５は、オペレータ通知を行ない、外字データの登録指示を行なう。そして、テキスト変換されたデータと外字変換されたデータとを結合して字幕メタデータを生成する。
【選択図】図３

Description

本発明は、字幕情報を利用して検索が可能であり、また、携帯電話端末等の表示能力に制限がある端末においても的確な表示を行なうことができる映像情報処理方法、映像情報処理プログラム及び映像情報処理装置に関する。

テレビジョン放送として放送される番組のデータには、映像データと音声データが含まれている。そして、放送される番組データには、表示させるか否かをユーザ側で選択可能な字幕データが含まれている場合がある。このような選択可能な字幕データは、一般にクローズドキャプション（closed caption）と称され、主に、聴覚障害者用に開発されたものである。この字幕の中には、出演者の会話だけではなく、例えば、ＢＧＭや効果音などの説明も含まれる。

このクローズドキャプションは、テレビジョン信号の２１番目の水平走査線に、画面に関する音声等を文字コード化したものを挿入する。クローズドキャプションデータは、専用のデコーダによってテレビジョン信号から分離することができる。

このようなクローズドキャプションデータに基づき映像を検索する映像検索装置に関する技術が開示されている（例えば、特許文献１、特許文献２を参照。）。この特許文献１に記載の映像検索装置では、入力部から「検索準備」の指示を受けると、映像再生部が媒体の再生を開始し、デコーダがテレビジョン信号をデコードしてクローズドキャプションデータを取得し、メモリに格納する。そして、入力部から「検索要求設定」を受けると、文章検索部においてメモリ内のクローズドキャプションデータを検索し、この検索結果をメモリに保存する。更に、メモリに記録された検索結果を読み出してデコーダへ送り、デコーダでテレビジョン信号に変換して、映像表示部に表示する。これにより、クローズドキャプションの文字情報を利用して映像の内容を容易に検索することができる。

また、この特許文献２に記載の情報処理装置では、テレビジョン放送に重畳されているデータの中から特定分野情報に対応する番組のデータを抽出し、重畳データに含まれる目次ページデータ又は番組内容データからキーワードで特定分野情報に対応する番組のデータを検索する。そして、抽出したデータから、その番組の番組番号及びチャンネルを得て自動的に設定する。これにより、番組番号やチャンネルを指定する操作が不要となる。

また、表示するか否かをユーザが選択することが可能なテキストデータを用いてメタデータを生成する技術も開示されている（例えば、特許文献３を参照。）。この文献記載の情報処理装置においては、放送信号を取得し、この放送信号から番組を固有に区別可能な区別情報を取得する。そして、放送信号に、時刻情報と区別情報とを付加する。これにより、テキストデータに対応する時刻情報と番組を区別する区別情報を有するメタデータを用いて検索することができる。
特開平７−２１２７０８号公報（第１頁） 特開平１０−３２７１１４号公報（第１頁） 特開２００５−１９８２０６号公報（第１頁）

このような放送字幕の中には外字が利用されている場合がある。例えば、難しい漢字の場合、通常の漢字表記を行なうと返って読み難くなる場合がある。また、電話を表す記号
等、特定の記号を利用することにより内容を簡単に伝達することができる場合もある。また、字幕全体のバランスを考慮して、文字の大きさを調整するために外字を用いる場合もある。

しかし、放送字幕の外字はビットマップであるため、テキストを利用した通常の単語検索を行なうことができない。また、外字を勝手に変換してしまうと、レイアウトが変化し、映像との重なり状態が変わる場合がある。また、フォント生成はプレーヤ側で行なっているため、元の画面を維持させるために放送局側が意図的に外字を用いる場合がある。

本発明は、上記課題を解決するためになされたものであり、その目的は、字幕情報を利用して検索が可能であり、また、携帯電話端末等の表示能力に制限がある端末においても的確な表示を行なうことができる映像情報処理方法、映像情報処理プログラム及び映像情報処理装置を提供することにある。

上記問題点を解決するために、請求項１に記載の発明は、ビットマップデータに対応して文字識別データを記録した文字データ記憶手段と、放送信号から抽出した字幕データを処理する制御手段を含む映像情報処理装置を用いて映像情報処理を行なう方法であって、前記制御手段が、前記放送信号から字幕データを分離する字幕データ分離段階と、前記字幕データに含まれるビットマップデータを用いて前記文字データ記憶手段を検索する検索段階と、前記字幕データ中の前記ビットマップデータを前記文字データ記憶手段から検索された文字で置換するビットマップデータ置換段階とを実行することを要旨とする。

請求項２に記載の発明は、請求項１に記載の映像情報処理方法において、前記置換後の字幕データを含む映像情報ファイルを映像情報記憶手段に記録する段階を更に実行することを要旨とする。

請求項３に記載の発明は、請求項１又は２に記載の映像情報処理方法において、前記制御手段が、前記文字データ記憶手段から前記ビットマップデータに対応する文字を検出できない場合には、オペレータ端末に通知を送信する段階を更に実行することを要旨とする。

請求項４に記載の発明は、請求項２又は３に記載の映像情報処理方法において、前記制御手段が、前記文字データ記憶手段から前記ビットマップデータに対応する文字を検出できない場合には、前記ビットマップデータの特徴を抽出する特徴抽出段階と、前記特徴に基づいて前記文字データ記憶手段を検索する文字検索段階を更に実行し、前記検索を行なった文字に基づいて映像情報ファイルを映像情報記憶手段に記録することを要旨とする。

請求項５に記載の発明は、請求項２〜４のいずれか一つに記載の映像情報処理方法において、前記映像情報処理装置は、単語が登録された辞書データ記憶手段を備え、制御手段が、前記ビットマップデータを変換した文字に対して、前記ビットマップデータの前後において所定数の文字を含めた文字列を生成し、前記生成した文字列について、前記辞書データ記憶手段において単語として登録されているかどうかを検索し、単語を特定できない場合には、前記変換した文字と、前後の文字との間に単語区切りを挿入した映像情報ファイルを映像情報記憶手段に記録することを要旨とする。

請求項６に記載の発明は、ビットマップデータに対応して文字識別データを記録した文字データ記憶手段と、放送信号から抽出した字幕データを処理する制御手段を含む映像情報処理装置を用いて映像情報処理を行なうプログラムであって、前記制御手段を、前記放送信号から字幕データを分離する字幕データ分離手段と、前記字幕データに含まれるビッ
トマップデータを用いて前記文字データ記憶手段を検索する検索手段と、前記字幕データ中の前記ビットマップデータを前記文字データ記憶手段から検索された文字で置換するビットマップデータ置換手段として機能させることを要旨とする。

請求項７に記載の発明は、請求項６に記載の映像情報処理プログラムにおいて、前記置換後の字幕データを含む映像情報ファイルを映像情報記憶手段に記録する手段として更に機能させることを要旨とする。

請求項８に記載の発明は、請求項６又は７に記載の映像情報処理プログラムにおいて、前記制御手段を、前記文字データ記憶手段から前記ビットマップデータに対応する文字を検出できない場合には、オペレータ端末に通知を送信する手段として更に機能させることを要旨とする。

請求項９に記載の発明は、請求項７又は８に記載の映像情報処理プログラムにおいて、前記制御手段を、前記文字データ記憶手段から前記ビットマップデータに対応する文字を検出できない場合には、前記ビットマップデータの特徴を抽出する特徴抽出手段と、前記特徴に基づいて前記文字データ記憶手段を検索する文字検索手段として更に機能させ、前記検索を行なった文字に基づいて映像情報ファイルを映像情報記憶手段に記録することを要旨とする。

請求項１０に記載の発明は、請求項７〜９のいずれか一つに記載の映像情報処理プログラムにおいて、前記映像情報処理装置は、単語が登録された辞書データ記憶手段を備え、制御手段が、前記ビットマップデータを変換した文字に対して、前記ビットマップデータの前後において所定数の文字を含めた文字列を生成し、前記生成した文字列について、前記辞書データ記憶手段において単語として登録されているかどうかを検索し、単語を特定できない場合には、前記変換した文字と、前後の文字との間に単語区切りを挿入した映像情報ファイルを映像情報記憶手段に記録することを要旨とする。

請求項１１に記載の発明は、ビットマップデータに対応して文字識別データを記録した文字データ記憶手段と、放送信号から抽出した字幕データを処理する制御手段を含む映像情報処理装置であって、前記制御手段が、前記放送信号から字幕データを分離するデコーダと、前記字幕データに含まれるビットマップデータで、前記文字データ記憶手段を検索する検索手段と、前記字幕データ中の前記ビットマップデータを前記文字データ記憶手段から検索された文字で置換するビットマップデータ置換手段を備えたことを要旨とする。

請求項１２に記載の発明は、請求項１１に記載の映像情報処理装置において、ビットマップデータに対応する文字識別データを入力する文字データ入力手段を更に備えたことを要旨とする。

（作用）
請求項１、６、１１に記載の発明によれば、制御手段が放送信号から字幕データを分離し、字幕データに含まれるビットマップデータを用いて文字データ記憶手段を検索する。そして、字幕データ中のビットマップデータを文字データ記憶手段から検索された文字で置換する。これにより、検索ができないビットマップから、検索が可能な文字に変換することができる。また、ビットマップデータの表示が困難な端末においても文字データを表示できる。

請求項２、７に記載の発明によれば、置換後の字幕データを含む映像情報ファイルを映像情報記憶手段に記録する。これにより、文字に変換されたデータを利用者に提供することができる。

請求項３、８に記載の発明によれば、文字データ記憶手段からビットマップデータに対応する文字を検出できない場合には、オペレータ端末に通知を送信するため、オペレータがこのビットマップに対応する文字を登録することができる。

請求項４、９に記載の発明によれば、文字データ記憶手段からビットマップデータに対応する文字を検出できない場合には、ビットマップデータの特徴を抽出し、この特徴に基づいて文字データ記憶手段を検索する。これにより、効率的に置換候補を特定することができる。

請求項５、１０に記載の発明によれば、制御手段が、ビットマップデータを変換した文字に対して、ビットマップデータの前後において所定数の文字を含めた文字列を生成する。そして、生成した文字列について、辞書データ記憶手段において単語として登録されているかどうかを検索する。単語としての登録がない場合には、変換した文字と、前後の文字との間に単語区切りを挿入した映像情報ファイルを映像情報記憶手段に記録する。これにより、単語の中の一部に外字が含まれている場合と、独立した外字が含まれている場合とを識別することができる。

請求項１２に記載の発明によれば、ビットマップデータに対応する文字識別データを入力する文字データ入力手段を更に備えるため、文字データ記憶手段に置換を行なう文字を蓄積することができる。

本発明によれば、字幕情報を利用して検索が可能であり、また、携帯電話端末等の表示能力に制限がある端末においても的確な表示を行なうことができる。

（第１の実施形態）
以下、本発明を具体化した第１の一実施形態を、図１〜図６を用いて説明する。図１は、本発明を適用した映像情報処理装置の構成について説明するための説明図である。本実施形態では、図１に示すように、放送局からの放送信号を、テレビジョン受像機３０を用いて受信する。このテレビジョン受像機３０には表示選択字幕デコーダ４０、ホームサーバ５０が接続される。また、ホームサーバ５０は、ネットワークとしてのインターネットＩを介して、映像情報処理装置としてのメタデータ作成サーバ７０に接続される。このメタデータ作成サーバ７０には、文字データ入力手段としてのオペレータ端末（図示せず）に接続されている。

放送局１０は、地上波や衛星波などを用いて番組を放送する施設である。放送される番組の放送信号には、映像データと音声データが含まれる。この映像データは、動画像データであり、音声データは、映像データと同期して再生される音声に関するデータである。

また、この放送信号の中には、映像として常に表示される字幕と、選択により表示される字幕とが含まれる。前者には、番組の題名やキャストなどの紹介、海外の作品における日本語字幕等がある。一方、後者のように表示選択の可能な字幕データ（いわゆるクローズドキャプション）には、出演者の会話に対応するテキストデータや、例えばＢＧＭや効果音など、放送コンテンツに関する説明が含まれている場合もある。このように、表示と非表示を選択可能な字幕データを「表示選択字幕データ」と呼ぶ。

次に、この表示選択字幕データについて説明する。例えばＮＴＳＣ方式のアナログの地上波放送では、映像信号に５２５本の走査線が用いられている。この５２５本のうち、各
フィールド（２フィールドで１フレームを構成）の最初の２１本相当は、ＶＢＩ（Vertical Blanking Interval：垂直帰線消去期間）と呼ばれ、走査を開始するためのインターバル用に割り当てられている。クローズドキャプションは、各フィールドのＶＢＩのうち、ＶＢＩの２１本目に７ｂｉｔの文字コードを多重化することによって伝送されるように構成されている。そして、各フィールドを使って２種類の文字セットを約６０文字／秒で伝送することができる。この表示選択字幕データは、再生時に映像データからデコードされて、映像と同時に表示させることができる。

ユーザは、テレビジョン受像機３０を用いて、表示選択字幕データを含む映像データ及び音声データで構成される放送信号を受信する。このテレビジョン受像機３０は、チューナ３１、信号処理部３２、ディスプレイやスピーカからなる出力部３３を備える。表示選択字幕データを表示させない場合には、チューナ３１によって選局された放送信号を信号処理部３２において復調し、出力部３３において、映像信号はディスプレイに出力し、音声信号はスピーカに出力して番組を視聴することができる。

このテレビジョン受像機３０は、チューナ３１によって選局された放送信号を取得する。そして、表示選択字幕デコーダ４０は、テレビジョン受像機３０のチューナ３１によって選局された放送信号を取得し、映像信号および音声信号をデコードする。そして、ユーザの操作入力に基づいて、表示選択字幕データを抽出、デコードし、出力部３３への出力を行なう。

更に、表示選択字幕デコーダ４０は、ホームサーバ５０がインターネットＩを介してメタデータ作成サーバ７０から取得したメタデータを用いて検索や要約処理を実行する。
ホームサーバ５０は、ユーザの操作入力に基づいて、表示選択字幕デコーダ４０により生成されたタイムスタンプつき録画データの供給を受けて、内部のデータ記憶手段に記録する。

また、ホームサーバ５０は、インターネットＩを介して、メタデータ作成サーバ７０から、表示選択字幕データに対応するテキストデータと、テキストデータに対応するタイムコードにより構成される暗号化メタデータの供給を受ける。更に、暗号化メタデータを、鍵データを利用して復号化し、このメタデータを用いてユーザが入力したテキストとメタデータとのマッチング処理を実行することができる。そして、マッチング処理の結果、ユーザが入力したテキストに対応するタイムコードを検出した場合には、タイムコードに基づいて録画データを検索し、表示選択字幕デコーダ４０に供給する。

メタデータ作成サーバ７０は、各種ネットワークや電波を介して受信することにより、放送局１０が作成した表示選択字幕データ付きの放送信号を取得する。そして、この放送信号を用いてメタデータを作成する。そして、作成したメタデータを暗号化する。また、メタデータ作成サーバ７０は、暗号化されたメタデータを、インターネットＩを介してユーザに配布する。このメタデータ作成サーバ７０は、制御手段としてのＣＰＵ（Central Processing Unit ）からなる制御手段、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory )、ＨＤＤ（Hard Disk Drive ）等のデータ記憶手段を備える。メタデータ作成サーバ７０のブロック構成を図３に示す。メタデータ作成サーバ７０のＣＰＵは、映像情報処理プログラムを実行することによって、字幕データ分離段階、検索段階、ビットマップデータ置換段階、映像情報記憶手段に記録する段階、オペレータ端末に通知を送信する段階等を実行する。この結果、メタデータ作成サーバ７０は、以下の機能ブロック図に示す機能を実現する。

信号取得手段としての放送信号取得部７０１は、ネットワークや放送電波を介して放送信号を取得してデコーダ７０２に供給する。デコーダ７０２は、放送信号取得部７０１か
ら供給された放送信号をデコードする。ここで、デコーダ７０２は、放送信号のうち、メタデータの作成に必要となる番組ＩＤ情報を含む番組管理情報や表示選択字幕データが含まれている映像信号のみをデコードする。

番組ＩＤ情報抽出部７０３は、デコーダ７０２によりデコードされた映像データに含まれる番組管理データから、放送番組を特定することができる番組ＩＤ情報を抽出し、メタデータ生成部７０８に供給する。更に、番組ＩＤ情報抽出部７０３は、この映像データを、分離手段としての表示選択字幕データデコーダ７０４に供給する。

そして、表示選択字幕データデコーダ７０４と解析処理部７０５とが外字処理を実行する。この処理を、図４を用いて説明する。
この処理は、文字データ記憶手段としての外字データ記憶部７１を用いて行なわれる。この外字データ記憶部７１にはビットマップデータに対応した文字を特定する文字識別データ、すなわちビットマップに対応したテキストデータが関連付けられた変換表データが記録されている。例えば、電話の形をした絵文字（ビットマップ）に対しては、テキストとして「電話」が記録される。また、難しい漢字に対して略した絵文字に対しても、テキストとして本来の文字が記録される。本実施形態では、この変換表データは、オペレータがビットマップデータに対応してテキストデータの登録を行なった場合に記録される。

まず、字幕データ分離手段としての表示選択字幕データデコーダ７０４は、取得した映像データに含まれる表示選択字幕データをデコードする字幕データ読込処理を実行する手段として機能する。この場合、表示選択字幕データは８単位符号によって構成されているため、表示選択字幕データデコーダ７０４は、８単位符号に対応するテキストを特定するテキストデータに変換する（ステップＳ１−１）。ここで、８単位符号に対応するテキストがない場合には、外字データとして、８単位符号のままで解析処理部７０５に供給する。

この解析処理部７０５は、文字データ記憶手段を検索する検索手段、ビットマップデータ置換手段及びオペレータ端末に通知を送信する手段として機能する。
まず、解析処理部７０５は、表示選択字幕データデコーダ７０４によって変換されたデータに、外字データが含まれるかどうかを確認する（ステップＳ１−２）。具体的には、８単位符号にビットマップデータからなる外字が含まれているかどうかを調べる。外字データが含まれる場合（ステップＳ１−２において「ＹＥＳ」の場合）、解析処理部７０５は、検出したビットマップを用いて外字データ記憶部７１に記録された外字表を検索する（ステップＳ１−３）。

外字表においてビットマップに対応するテキストの登録がある場合（ステップＳ１−４において「ＹＥＳ」の場合）には、解析処理部７０５は、外字変換を行なう（ステップＳ１−５）。具体的には、この外字のビットマップデータを外字表に記録されたテキストに置換する。

一方、ビットマップデータの登録がない場合（ステップＳ１−４において「ＮＯ」の場合）には、解析処理部７０５は、オペレータ通知を行なう（ステップＳ１−６）。具体的には、解析処理部７０５は、オペレータ端末に、外字データ記憶部７１に記録がない外字を検出したことを通知し、外字データの登録指示を行なう。

一方、外字データが含まれない場合（ステップＳ１−２において「ＮＯ」の場合）、解析処理部７０５は、ステップＳ１−３〜Ｓ１−６の処理をスキップする。この場合には、表示選択字幕データデコーダ７０４によって、変換されたテキストデータをそのまま用いる。

そして、解析処理部７０５は、テキスト変換されたデータと外字変換されたデータとを結合して字幕メタデータを生成する（ステップＳ１−７）。
そして、図３に示すようにタイムコード付加処理部７０７は、解析処理部７０５から字幕データの登録指示を受ける。タイムコード付加処理部７０７は、タイマ７０６を用いて、字幕データの登録指示を受けた時刻をタイムコードとして付加する。例えば、表示選択字幕に対応するテキストの場合には、表示選択字幕の開始時刻に対応するタイムコードが付加される。放送信号取得部７０１が、放送に対してリアルタイムで放送信号を取得した場合、タイムコード付加処理部７０７はタイマ７０６が示す現在時刻に基づいて、タイムコードをテキストデータに付加するものとする。また、番組放送時刻に対してタイムコード付加時刻に遅れがある場合には、タイムコード付加処理部７０７は、この遅延時間とタイマ７０６が示す現在時刻とに基づいて、番組の放送時刻に対応するタイムコードを算出し、テキストデータに付加する。

メタデータ生成部７０８は、タイムコード付加処理部７０７から供給されたタイムコードが付加されたテキストデータに、番組ＩＤ情報抽出部７０３から供給された番組ＩＤ情報を付加してメタデータを生成する。このメタデータは、図２に示すように、テキストデータに対して、テキスト群の開始時刻が記載されたタイムコードが付加される。そして、番組ＩＤ情報抽出部７０３から供給された番組ＩＤ情報が付加される。そして、このメタデータは暗号化処理部７０９に供給される。

暗号化処理部７０９は、メタデータ生成部７０８から供給されたメタデータを、鍵データ記憶部７２に予め記憶されている暗号化鍵で暗号化する。鍵データ記憶部７２には、番組ＩＤ毎に暗号化鍵が記録されている。そして、暗号化処理部７０９は、メタデータに含まれる番組ＩＤに基づいて、鍵データ記憶部７２から暗号化鍵を抽出し、この暗号化鍵を用いてメタデータの暗号化を行なうとともに、暗号化メタデータ記憶部７３に記録する。暗号化メタデータ記憶部７３は、検索を行なった文字に基づいて映像情報ファイルを記録する映像情報記憶手段として機能する。この暗号化メタデータは、ユーザからの要求に応じて、番組毎に、送信手段としての通信部７１０からインターネットＩを介してホームサーバ５０に提供される。

次に、表示選択字幕デコーダ４０と、ホームサーバ５０との構成を説明する。先ず、表示選択字幕デコーダ４０のブロック構成図を図５に示す。
テレビジョン受像機３０のチューナ３１により選局された放送信号のうち、表示選択字幕データを含む映像信号、音声信号は、それぞれ所定の入力端子より、映像信号デコーダ４０１、音声信号デコーダ４０２に入力される。

映像信号デコーダ４０１は、供給された映像信号をデコードし、デコードされた映像データをメモリ４０３に供給する。メモリ４０３は、供給された映像信号を一時保持するフレームメモリである。音声信号デコーダ４０２は、供給された音声信号をデコードし、デコードされた音声データを出力する。

受信された放送信号をリアルタイムに出力する場合、表示選択字幕データデコーダ４０５は、メモリ４０３から映像データを取得する。そして、表示選択字幕データの表示が指示された場合、表示選択字幕データデコーダ４０５は、取得した映像データに含まれる表示選択字幕データをデコードして、対応するテキストデータをＯＳＤ（On Screen Display ）４０６に供給するとともに、映像データを合成処理部４０７に供給する。

ＯＳＤ４０６は、供給されたテキストデータを、表示画面に重畳して表示させるための画像データであるＯＳＤデータに変換して、合成処理部４０７に供給する。合成処理部４
０７は、供給された映像データに、供給されたＯＳＤデータを重畳して、出力端子からテレビジョン受像機３０の出力部３３のディスプレイに出力する。また、音声処理部４０８は、音声信号デコーダ４０２によりデコードされた音声データを取得して、テレビジョン受像機３０の出力部３３のスピーカに出力する。

次に、映像信号および音声信号をホームサーバ５０に出力して録画させる場合、出力信号生成部４０９は、番組ＩＤ抽出部４１０に、メモリ４０３に保持されている映像データから番組管理データに含まれる番組ＩＤを抽出させる。

出力信号生成部４０９は、タイマ４１１を参照して、録画が開始された時刻（絶対時刻）を取得し、メモリ４０３から供給される映像データ、又は音声信号デコーダ４０２から供給される音声データのうちの少なくともいずれか一方に、取得した時刻情報を付加する。更に、映像データおよび音声データに対して、番組ＩＤ抽出部４１０から供給された番組ＩＤを付加して、録画のための出力信号を生成してホームサーバ５０に供給する。ここで付加された時刻情報は、タイムスタンプとして、後述する検索や抽出処理において用いられる。

このような処理により、表示選択字幕デコーダ４０は、ユーザの操作入力に基づいて、表示選択字幕をデコードして映像に重畳させて表示させたり、録画データを生成し、ホームサーバ５０に供給して録画させたりすることが可能となる。

次に、図６に示すホームサーバ５０のブロック構成図を説明する。
操作入力部５０１は、例えば、ボタン、キー、タッチパネル、タッチパッド、レバーなどの入力デバイスで構成され、ユーザの操作入力を受ける。録画データ記憶部５２には、表示選択字幕デコーダ４０から供給される番組ＩＤ及びタイムスタンプが付加された映像データおよび音声データを記憶する。録画データ記憶部５２は、例えば、ハードディスクなどの大容量記録媒体により構成されるようにしても、ＤＶＤ（Digital Versatile Disk）や磁気テープなどのリムーバブルな記録媒体を用いることも可能である。

録画制御部５０２は、操作入力部５０１から放送番組の録画指示が入力された場合、表示選択字幕デコーダ４０の出力信号生成部４０９に対して映像信号や音声信号の出力を指示する。

ネットワークＩＦ部５０３は、インターネットＩを介して通信を行なうインターフェースである。ここでは、メタデータ作成サーバ７０との間でデータの送受信を行なう。
表示部５０４は、例えば、ＬＣＤ（Liquid Crystal Display）またはＣＲＴ（Cathode Ray Tube）などで構成され、各種情報を表示する。

暗号化メタデータ記憶部５３は、メタデータ作成サーバ７０から取得した暗号化メタデータを記憶する。
鍵データ記憶部５４は、暗号化メタデータを復号化するために、予め復号化鍵を記憶する。この復号化鍵は番組ＩＤ毎に提供され、記録される。

復号処理部５０５は、暗号化メタデータ記憶部５３に記録されている暗号化メタデータを、鍵データ記憶部５４に記憶されている復号化鍵を用いて復号し、映像情報記憶手段としてのメタデータ記憶部５５に記録する。

操作入力部５０１に、検索対象の番組ＩＤと、検索キーとなるテキストが入力された場合、マッチング処理部５０６は、メタデータ記憶部５５に記録されているメタデータを参照して、マッチング処理を実行する。そして、検索キーを含むテキストを特定した場合、
このテキストに関連付けられたタイムコードを録画データ検索処理部５０７に供給する。

ここで、操作入力部５０１において番組ＩＤのみが指定されている場合、マッチング処理部５０６は、この番組ＩＤに関連付けられて記録されたメタデータをメタデータ記憶部５５から抽出する。そして、このメタデータに含まれるタイムコードと番組ＩＤは、録画データ記憶部５２を検索するために用いられる。このため、抽出したタイムコードを録画データ検索処理部５０７に供給する。

録画データ検索処理部５０７は、マッチング処理部５０６から供給されたマッチング結果（番組ＩＤとタイムコード）に基づいて録画データ記憶部５２を検索する。そして、この番組ＩＤの付与された録画において、タイムコードにより特定された画像を表示選択字幕デコーダ４０に供給する。

以上、本実施形態によれば、以下に示す効果を得ることができる。
・ 上記実施形態では、字幕データに外字データが含まれる場合、解析処理部７０５は、検出したビットマップを用いて外字データ記憶部７１に記録された外字表を検索する（ステップＳ１−３）。これにより、通常のテキストデータを用いて検索を行なうことができる。そして、このメタデータにはタイムコードが付加されているので、検索によって特定したタイムコードを用いて画像を抽出することができる。また、携帯電話端末等においては表示能力に制限があるため、ビットマップデータ等を表示できない場合がある。このような端末においても、通常のテキストデータを用いているので、的確な表示を行なうことができる。

・ 上記実施形態では、外字表にビットマップの登録がない場合には、解析処理部７０５は、オペレータ通知を行なう（ステップＳ１−６）。これにより、オペレータは、ビットマップデータに対応した文字識別データについて新たな外字登録を行なうことができる。この結果、同じ外字が出現した場合には、外字データ記憶部７１を用いて変換することができる。

（第２の実施形態）
次に、本発明を具体化した第２の実施形態を、図７を用いて説明する。なお、第２の実施形態は、第１の実施形態の外字処理を変更した構成であるため、同様の部分についてはその詳細な説明を省略する。本実施形態の映像情報処理装置の解析処理部７０５は、ビットマップデータの特徴を抽出する特徴抽出手段と、この特徴に基づいて外字データ記憶部７１を検索する文字検索手段として機能する。そして、これらの手段を利用して、図７に示す処理手順を実行する。

本実施形態では、図７に示すように、外字表においてビットマップに対応するテキストの登録がある場合（ステップＳ１−４において「ＹＥＳ」の場合）には、解析処理部７０５は、画像認識を行なう（ステップＳ２−１）。具体的には、解析処理部７０５は、ビットマップの画像認識を行ない、この画像と特徴点が一致する文字を、外字データ記憶部７１において特定する。そして、解析処理部７０５は、この文字を変換候補として、オペレータ通知を行なう（ステップＳ１−６）とともに、オペレータの確認があるまでは、この文字を用いる。

以上、本実施形態によれば、第１の実施形態の効果に加え、以下に示す効果を得ることができる。
・ 上記実施形態では、解析処理部７０５がビットマップの画像認識を行なうため、効率的に外字変換を行なうことができる。そして、オペレータの作業負荷を軽減することができる。

（第３の実施形態）
次に、本発明を具体化した第３の実施形態を、図８を用いて説明する。なお、第３の実施形態は、第２の実施形態の外字処理を変更した構成であるため、同様の部分についてはその詳細な説明を省略する。本実施形態の映像情報処理装置は、通常、単語として利用される文字列が登録された辞書データ記憶手段を備える。そして、この辞書データ記憶手段を利用して、図８に示す処理手順を実行する。

本実施形態では、図８に示すように、外字変換を行なった場合（ステップＳ１−５）、解析処理部７０５は、辞書データ記憶手段を用いて隣接文字を含めて辞書検索を行なう（ステップＳ３−１）。この外字変換には、外字データ記憶部を用いて変換した場合（ステップＳ１−５）や画像認識を行なった場合（ステップＳ２−１）がある。また、隣接文字の範囲は、予め定められた文字数の範囲内で文字数を変更して、繰り返し辞書検索が行なわれる。

そして、辞書検索に隣接文字を含めた単語が辞書データ記憶手段に登録されている場合には（ステップＳ３−２において「ＹＥＳ」の場合）には、解析処理部７０５は、単語区切りとしてのスペースを挿入して字幕を生成する（ステップＳ３−３）。

以上、本実施形態によれば、第２の実施形態の効果に加え、以下に示す効果を得ることができる。
・ 上記実施形態では、辞書登録がある場合、解析処理部７０５が、単語区切りとしてのスペースを挿入するため、前後の文字と結合させて意味がある単語を登録することができる。また、外字一文字で意味がある場合には、単独で登録することができる。

なお、上記実施形態は、以下の態様に変更してもよい。
○ 上記実施形態では、メタデータ作成サーバ７０の解析処理部７０５が外字処理を行なった。外字処理を実行するハードウエアはこれに限定されるものではなく、放送受信者側、例えばホームサーバ５０に、外字処理を行なう解析処理部を設けてもよい。

○ 上記実施形態では、解析処理部７０５は画像認識を行ない（ステップＳ２−１）、オペレータ通知を行なう（ステップＳ１−６）。これに代えて、画像認識の一致率に応じてオペレータ通知の要否を変更してもよい。具体的には、画像認識の一致率についてオペレータ通知基準値を設け、一致率がオペレータ通知基準値以下の場合にのみ、オペレータ通知を行なう。これにより、オペレータの負荷を軽減することができる。

○ 上記実施形態では、メタデータに基づいて画像を特定するポインタ情報としてタイムコードを用いたが、これに限られるものはではなく、画面毎に割り振られたフレームデータを用いることも可能である。この場合、映像情報処理装置はフレームカウンタを備え、メタデータを記録する場合には、ポインタ情報としてフレームデータを用いる。そして、ダイジェストを作成したり、録画を再生したりする場合には、このフレームデータを用いて、画像や再生開始位置を特定することができる。この場合には、タイムコードにおける時刻のずれの影響をなくすことができる。

○ 上記実施形態では、外字を変換したテキストデータを含むメタデータを提供したが、外字をそのまま利用した準オリジナルファイル、テキスト変換した検索用ファイル、テキスト変換した表示ファイルを、利用者の要求に応じて組み合わせて提供してもよい。

本発明の一実施形態のシステム概略図。 本発明の一実施形態のメタデータの説明図。 本発明の実施形態の処理手順の説明図。 本発明の一実施形態のメタデータ作成サーバのブロック構成の説明図。 本発明の一実施形態の表示選択字幕デコーダの説明図。 本発明の一実施形態のホームサーバの説明図。 本発明の他の実施形態の処理手順の説明図。 本発明の他の実施形態の処理手順の説明図。

符号の説明

１０…放送局、３０…録画装置、４０…表示字幕デコーダ、５０…ホームサーバ、７０…映像情報処理装置としてのメタデータ作成サーバ、７０１…放送信号取得部、７０２…デコーダ、７０４…表示選択字幕データデコーダ、５５…メタデータ記憶部、７０５…解析処理部、Ｉ…ネットワークとしてのインターネット。

Claims (12)

1. ビットマップデータに対応して文字識別データを記録した文字データ記憶手段と、
   放送信号から抽出した字幕データを処理する制御手段を含む映像情報処理装置を用いて映像情報処理を行なう方法であって、
   前記制御手段が、
   前記放送信号から字幕データを分離する字幕データ分離段階と、
   前記字幕データに含まれるビットマップデータを用いて前記文字データ記憶手段を検索する検索段階と、
   前記字幕データ中の前記ビットマップデータを前記文字データ記憶手段から検索された文字で置換するビットマップデータ置換段階と
   を実行することを特徴とする映像情報処理方法。
2. 前記置換後の字幕データを含む映像情報ファイルを映像情報記憶手段に記録する段階を更に実行することを特徴とする請求項１に記載の映像情報処理方法。
3. 前記制御手段が、前記文字データ記憶手段から前記ビットマップデータに対応する文字を検出できない場合には、オペレータ端末に通知を送信する段階を更に実行することを特徴とする請求項１又は２に記載の映像情報処理方法。
4. 前記制御手段が、前記文字データ記憶手段から前記ビットマップデータに対応する文字を検出できない場合には、前記ビットマップデータの特徴を抽出する特徴抽出段階と、
   前記特徴に基づいて前記文字データ記憶手段を検索する文字検索段階を更に実行し、
   前記検索を行なった文字に基づいて映像情報ファイルを映像情報記憶手段に記録することを特徴とする請求項２又は３に記載の映像情報処理方法。
5. 前記映像情報処理装置は、単語が登録された辞書データ記憶手段を備え、
   制御手段が、前記ビットマップデータを変換した文字に対して、前記ビットマップデータの前後において所定数の文字を含めた文字列を生成し、
   前記生成した文字列について、前記辞書データ記憶手段において単語として登録されているかどうかを検索し、単語を特定できない場合には、前記変換した文字と、前後の文字との間に単語区切りを挿入した映像情報ファイルを映像情報記憶手段に記録することを特徴とする請求項２〜４のいずれか一つに記載の映像情報処理方法。
6. ビットマップデータに対応して文字識別データを記録した文字データ記憶手段と、
   放送信号から抽出した字幕データを処理する制御手段を含む映像情報処理装置を用いて映像情報処理を行なうプログラムであって、
   前記制御手段を、
   前記放送信号から字幕データを分離する字幕データ分離手段と、
   前記字幕データに含まれるビットマップデータを用いて前記文字データ記憶手段を検索する検索手段と、
   前記字幕データ中の前記ビットマップデータを前記文字データ記憶手段から検索された文字で置換するビットマップデータ置換手段
   として機能させることを特徴とする映像情報処理プログラム。
7. 前記置換後の字幕データを含む映像情報ファイルを映像情報記憶手段に記録する手段として更に機能させることを特徴とする請求項６に記載の映像情報処理プログラム。
8. 前記制御手段を、前記文字データ記憶手段から前記ビットマップデータに対応する文字を検出できない場合には、オペレータ端末に通知を送信する手段として更に機能させるこ
   とを特徴とする請求項６又は７に記載の映像情報処理プログラム。
9. 前記制御手段を、
   前記文字データ記憶手段から前記ビットマップデータに対応する文字を検出できない場合には、前記ビットマップデータの特徴を抽出する特徴抽出手段と、
   前記特徴に基づいて前記文字データ記憶手段を検索する文字検索手段として更に機能させ、
   前記検索を行なった文字に基づいて映像情報ファイルを映像情報記憶手段に記録することを特徴とする請求項７又は８に記載の映像情報処理プログラム。
10. 前記映像情報処理装置は、単語が登録された辞書データ記憶手段を備え、
    制御手段が、前記ビットマップデータを変換した文字に対して、前記ビットマップデータの前後において所定数の文字を含めた文字列を生成し、
    前記生成した文字列について、前記辞書データ記憶手段において単語として登録されているかどうかを検索し、単語を特定できない場合には、前記変換した文字と、前後の文字との間に単語区切りを挿入した映像情報ファイルを映像情報記憶手段に記録することを特徴とする請求項７〜９のいずれか一つに記載の映像情報処理プログラム。
11. ビットマップデータに対応して文字識別データを記録した文字データ記憶手段と、
    放送信号から抽出した字幕データを処理する制御手段を含む映像情報処理装置であって、
    前記制御手段が、
    前記放送信号から字幕データを分離するデコーダと、
    前記字幕データに含まれるビットマップデータで、前記文字データ記憶手段を検索する検索手段と、
    前記字幕データ中の前記ビットマップデータを前記文字データ記憶手段から検索された文字で置換するビットマップデータ置換手段
    を備えたことを特徴とする映像情報処理装置。
12. ビットマップデータに対応する文字識別データを入力する文字データ入力手段を更に備えたことを特徴とする請求項１１に記載の映像情報処理装置。

Images