JP2007288697A - 録画再生装置 - Google Patents

Abstract

【課題】映像にスーパーインポーズされている文字の文字認識を行い、認識された文字の変化に基づいてダイジェスト再生を行うことができる録画再生装置を提供する。
【解決手段】記録装置７によって受信放送の映像が録画される。文字認識部９は、前記映像にスーパーインポーズされている文字に対する文字認識を行い、文字のキャラクタコードをＣＰＵ１１に与える。ＣＰＵ１１は、認識された文字の変化を判断し、文字変化時点を特定して再生するのに必要な再生制御情報を生成して記録する。ＣＰＵ１１は、ダイジェスト再生指示を受けたときに、前記再生制御情報を用いて文字変化時点又は当該文字変化時点を含む或る区間の映像を再生装置８に再生させる。
【選択図】図１

Description

この発明は、録画再生装置に関する。

スポーツ番組の画面中央付近の得点表示によって得点シーンを検出すること、スポーツ番組などの音声信号の特定周波数領域のレベルによって観客の歓声を検出すること、レース番組などの物体・背景の動きベクトル量により、レース中のトラブル発生シーンを検出すること、等を実行して、ハイライトシーン判定を行うことが提案されている（特許文献１参照）。また、インターネットを介して所定のサイトが配信する野球中継データ中の得点表示の数字が変化したときに、得点シーンとして検出し、得点シーンの情報抽出結果を用いてダイジェスト記録をすることも提案されている（特許文献２参照）。
特開平１１−５５６１３号公報 特開２００３−１７４６０９号公報

しかしながら、上記従来の技術は、映像にスーパーインポーズされている文字を認識してその変化を判断するものではなく、スーパーインポーズされている文字の変化に基づいてダイジェスト再生を行うことはできない。

この発明は、上記の事情に鑑み、映像にスーパーインポーズされている文字の文字認識を行い、認識された文字の変化に基づいてダイジェスト再生を行うことができる録画再生装置を提供することを目的とする。

この発明の録画再生装置は、上記課題を解決するために、入力された映像に基づく映像データを記録媒体に記録するとともに前記記録媒体から映像データを再生して出力する録画再生装置において、前記映像にスーパーインポーズされている文字に対する文字認識を行う手段と、前記スーパーインポーズされている文字が他の文字に変化したかどうかを判断する手段と、少なくとも文字変化時点を特定して再生するのに必要な再生制御情報を生成して記録する手段と、ダイジェスト再生指示を受けたときに、前記再生制御情報を用いて文字変化時点又は当該文字変化時点を含む或る区間の映像を再生する手段と、を備えたことを特徴とする（以下、この項において、第１構成という）。

上記の構成であれば、映像にスーパーインポーズされている文字の文字認識を行い、少なくとも文字変化時点を特定して再生するのに必要な再生制御情報を生成して記録し、ダイジェスト再生時には、前記再生制御情報を用いて文字変化時点又は当該文字変化時点を含む或る区間の映像が再生される。

第１構成において、録画する映像のスポーツ種を、ユーザ入力情報、又は映像がディジタルテレビ放送受信で得られるのであれば放送波から分離した情報、又は文字認識できた文字情報、に基づいて判断する手段と、スポーツ種ごとに文字としてどのようなことを意味する文字が存在するかを示す情報が格納されたデータベースと、を備えてもよい（以下、この項において第２構成という）。

第２構成において、変化した文字が得点を示す文字である場合には、前記再生制御情報として得点の変化であることを示す情報を含めてもよい。かかる構成であれば、得点時のダイジェスト再生が可能となる。上記構成において、前記得点を示す文字の隣の文字は対戦チームを示す文字であると認識し、前記再生制御情報としてどのチームの得点であるかを示す情報を含めることとしてもよい。かかる構成であれば、例えば、特定チームに関してだけの得点時のダイジェスト再生が可能となる。

第２構成において、変化した文字が回又はホール番号を示す文字である場合には、前記再生制御情報として回又はホール番号の変化であることを示す情報を含めることとしてもよい。かかる構成であれば、特定の回又はホールのダイジェスト再生が可能となる。

第２構成において、変化した文字が試合経過時間を示す文字である場合には、前記再生制御情報として試合経過時間の変化であることを示す情報を含めることとしてもよい。かかる構成であれば、特定の試合経過時間を指定したかたちでのダイジェスト再生が可能となる。

第２構成において、変化した文字が表又は裏の文字である場合には、前記再生制御情報として表又は裏の変化であることを示す情報を含めることとしてもよい。かかる構成であれば、例えば、表だけ又は裏だけといったダイジェスト再生が可能となる。

これら構成の録画再生装置において、文字のスーパーインポーズ箇所を自動判断するための文字領域判断手段を備えてもよい。かかる構成において、前記文字領域判断手段は、画面の隅に相当する領域に対して文字領域判断処理を行うこととしてもよい。

或いは、これら構成の録画再生装置において、文字のスーパーインポーズ箇所がユーザ操作によって指定されるように構成されていてもよい。

これら構成の録画再生装置において、音声に基づくハイライトシーンを判断する手段を備え、再生制御情報として、前記ハイライトシーンを再生するのに必要な情報を含めることとしてもよい。かかる構成であれば、音声に基づくハイライトシーンと判断されたなかで例えば得点が得られたときのシーンをダイジェスト再生するといったことが可能になる。

この発明によれば、映像にスーパーインポーズされている文字の文字認識を行い、認識された文字の変化に基づいてダイジェスト再生を行うことができるという効果を奏する。

以下、この発明の実施形態の録画再生装置を図１乃至図４に基づいて説明する。

図１は一例として衛星ディジタル放送を受信して放送を録画することができる放送受信録画再生装置を示している。アンテナ１は、屋外において所定の方向に向けて配置されており、衛星から送られてくるディジタル放送信号を受信する。このアンテナ１は、一般に周波数変換器を備え、受信／周波数変換した信号をチューナ２に与える。

チューナ２は、映像・音声データを含む高周波ディジタル変調信号のうちから特定周波数の信号を取り出す。すなわち、ディジタル放送の複数のトランスポンダのなかから一つを選択する処理を行う。また、チューナ２は、復調回路、逆インタリーブ回路、誤り訂正回路などを備えることにより、選択したディジタル変調信号を復調してトランスポートストリームを出力する。

デマルチプレクサ（ＤＥＭＵＸ）３は、前記トランスポートストリームを、ＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ２）のビデオストリーム、オーディオストリーム、及びＰＳＩ／ＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ／Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）などに分離する。デマルチプレクサ３は、ビデオストリームとオーディオストリームをＭＰＥＧデコーダ４に供給し、ＰＳＩ／ＳＩ等をＣＰＵ１３に供給する。ＳＩには、番組情報（タイトル、サブタイトル、ジャンル情報、番組開始時刻、番組継続時間等）が存在している。

ＭＰＥＧデコーダ４は、ビデオストリームに対してデコードを行う映像デコーダ４ａ、及びオーディオストリームに対してデコードを行う音声デコーダ４ｂを備える。映像デコーダ４ａは、入力された符号化信号を量子化係数を元に逆量子化し、逆ＤＣＴ変換と動きベクトルとにより映像データを生成する。音声デコーダ４ｂは、入力された符号化信号を復号して音声データを生成する。デコードにより生成された映像データはビデオエンコーダ５に出力され、音声データは音声処理部６に出力される。

音声処理部６は、音声デコーダ４ｂから出力された音声データを受け取ってＤ／Ａ変換を行い、例えば右（Ｒ）音のアナログ信号及び左（Ｌ）音のアナログ信号を生成する。ビデオエンコーダ５は、文字認識部９を介して映像デコーダ４ａからの映像データを受け取ってＤ／Ａ変換を行い、例えばコンポジット映像信号に変換する。また、ビデオエンコーダ５は、ＯＳＤ回路１１ａから指示されたＯＳＤ文字・画像を前記映像データに重畳した上でコンポジット映像信号を生成するが、録画のための映像データには前記ＯＳＤ文字・画像は重畳しない。

記録装置７は、ビデオエンコーダ５から出力される映像信号及び音声信号をディジタル信号（例えば、ＭＰＥＧデータ）に変換し、このディジタル信号を記録メディア（ハードディスク等）４０に記録する。なお、記録装置７は、ＭＰＥＧデコーダ４からのディジタル映像音声データ、或いはデコード前のエレメンタリストリームを入力して記録する構成になっていてもよい。

再生装置８は、記録メディア４０からディジタル信号を読み出し、Ｄ／Ａ変換等を行って映像信号及び音声信号を出力する。なお、再生装置８は、記録装置７がＭＰＥＧデータを記録する場合、再生信号をＭＰＥＧデコーダ４に供給することとしてもよい。

文字認識部９は、スーパーインポーズ領域判定処理、及びスーパーインポーズされた文字の認識処理を行う。すなわち、文字認識部９は、ＯＳＤ文字重畳前の映像データ（放送局側でスーパーインポーズされた文字挿入映像）上での文字領域判定及び文字認識処理を実行することとしている。これら処理を以下に具体的に述べていく。通常、放送局側では文字（例えば、野球放送における得点、回、表／裏等）を画像の左上、左下、右上、或いは右下といった隅領域に挿入する（画像の中央領域に挿入することは殆どない）。また、文字の輝度は一般に高いという性質がある。

ここで、文字認識部９が、映像全体についての例えば１０フレーム分の画像データをバッファリングするフレームバッファメモリを備えてもよいが、これでは、そのメモリ容量は膨大になる。また、映像全体を対象としてスーパーインポーズ領域判定処理を行うと時間がかかる。そこで、この実施形態では、画像の４隅の所定領域（四角領域とする）について例えば１０フレーム分の画像データをバッファリングするようにしている。前記所定領域は、野球などの得点表示に関しては比較的小さな領域となるが、ゴルフの何ホール目かを示す表示などは比較的大きな領域を占めて表示されることがある。各種の番組におけるスーパーインポーズに対応すべく、比較的大きな領域を前記所定領域としておくのが望ましい。

スーパーインポーズ領域判定処理では、各画像データについて前記四隅の所定領域において、ドット間の輝度差や一定輝度以上のドットの集まり具合などを検出する。文字が存在する場合には、ドット間で大きな輝度差を生じる箇所が多くなり、また、一定輝度以上のドットは、分散的ではなく、隣接して存在することが多くなると考えられる。そして、このような文字存在を示す傾向が例えば１０フレーム連続で同じ位置で検出されれば、概ね文字が存在していると推定することができる。

文字認識部９は、文字が存在すると推定された所定領域の画像データを例えば別メモリに転送し、この別メモリ上で光学的文字認識処理を行う。この文字認識処理自体については、既存のアルゴリズムを用いればよい。文字認識部９は、認識できた文字列のテキストコード群をＣＰＵ１１に与える。前記所定領域に対する文字認識は以後の新たな受信画像に対しても順次に実行され（例えば、０．５秒間隔、或いは１秒間隔等で前記所定領域の画像データの前記別メモリへの転送を実行する）、文字認識で得られたテキストコード群は順次にＣＰＵ１１に与えられる。なお、文字認識は前記所定領域内で上から下の順で且つ左から右の順で行われる。従って、図２（ａ）に示すごとく所定領域内に文字がスーパーインポーズされているときには、「７回表Ｔ１−Ｇ０」の文字列（テキストコード群）がＣＰＵ１１に与えられ、図２（ｂ）のごとく所定領域内に文字がスーパーインポーズされているときには、「２８：０５Ａ１−Ｂ０」の文字列（テキストコード群）がＣＰＵ１１に与えられる。なお、上記文字列においては、空白や改行は記載されていないが、空白や改行を含む文字列とするのが望ましい。

ＣＰＵ１１は、文字認識部９から送られた文字列（テキストコード群）をメモリに保持し、当該文字列内の文字の変化を判断して文字変化時点を抽出する。なお、文字変化時点の全てを編集対象シーンとすることもできるが、ここでは、ＣＰＵ１１は以下のような判定ルール例が格納されたデータベースによって文字の変化の意味を判断し、特定の意味の文字の変化が生じたときに編集対象シーンが生じたと判断する。

［ルール１］ 「回」の文字の左側の文字はイニング数を表す。イニング数の変化は編集対象シーンである。
［ルール２］ 「表」が「裏」に変化したとき及び「裏」が「表」に変化したときは編集対象シーンである。「表」と「裏」の文字が検出できたときには当該番組で放送されているスポーツ種は野球又はソフトボールである。
［ルール３］ 左から順に、「アルファベット文字」、「数字」、不定又は「−」、「数字」、「アルファベット文字」の文字が並ぶとき、「アルファベット文字」はチームイニシャルであり、その隣の「数字」はチームイニシャルで示されるチームの得点である。得点の変化は編集対象シーンである。或いは、左から順に、「漢字１文字」、「数字」、不定又は「−」、「数字」、「漢字１文字」の文字が並ぶとき、「漢字１文字」はチーム名の先頭漢字であり、その隣の「数字」は前記先頭漢字で示されるチームの得点である。
［ルール４］ 「：」の文字の両隣の二桁の数字は、試合経過時間である。試合経過時間の変化を編集対象シーンとすることを許容する。

例えば、野球放送であれば、「Ｔ０−Ｇ０」の表示が、「Ｔ１−Ｇ０」の表示に変わったとき、ＣＰＵ１１は、編集対象シーンが生じたと判断し、そのときの録画経過時間をメモリに記録する。編集対象シーンが生じたことによる録画経過時間群（時間情報）を示すと、以下のようになる。ダイジェスト記録再生におけるシーンとその記録箇所との対応付けの技術自体は、公知の技術を用いれば足りる。

時間： 分： 秒
００：０５：０３
００：０８：２３
００：１０：００
００：１５：４４
００：１７：５３

更に、編集対象シーンが生じたと判断したときの原因（文字）を付記すると、以下のごとく録画経過時間群が前記メモリに記録される。

００：０５：２３（Ｔ１）
００：０８：３３（Ｔ２）
００：１０：００（２回裏）
００：１５：４４（Ｇ１）
００：１７：５３（３回表）

図３は、上記処理の内容を簡潔に示したフローチャートである。すなわち、映像を入力し（ステップＳ１）、文字領域の判別を行い（ステップＳ２）、文字認識を実行し（ステップＳ３）、文字に変化があれば、編集対象シーンが発生したとして、録画経過時間（時間情報）及び文字情報の記録を行い（ステップＳ５）、ステップＳ３に進む。

ＣＰＵ１１は、上記の録画経過時間群に基づいて再生区間情報を生成することとしてもよい。再生区間は例えば、得点時には、編集対象シーン発生時点前２０秒〜編集対象シーン発生時点後５秒の区間、回や表裏の変わり時には、編集対象シーン発生時点前２秒〜編集対象シーン発生時点後５秒の区間、のごとく発生原因によって異ならせることとしてもよい。例えば、以下のごとく再生区間情報が生成される。

００：０５：０３〜００：０５：２８（Ｔ１）
００：０８：１３〜００：０８：３８（Ｔ２）
００：０９：５８〜００：１０：０５（２回裏）
００：１５：２４〜００：１５：４９（Ｇ１）
００：１７：５１〜００：１７：５８（３回表）

なお、野球に関しては、バッターがバッターボックスにたつときには、得点表示が消されることがある。得点表示有りの状態から得点表示無しの状態となったときの録画経過時間を記録しておこととしてもよい。例えば、上記「００：０５：２３（Ｔ１）」と「００：０８：３３（Ｔ２）」の間において、「００：０８：０５（得点表示無し）」といった時間情報が記録されるとする。この場合、「００：０８：０５〜００：０８：３３を再生区間とすることで、バッターがバッターボックスにたつときから得点されるまでの間がダイジェスト再生されうることになる。

記録装置７は受信放送の録画を行うときにはコンテンツファイルを作成し、ＣＰＵ１１は当該ファイルのコンテンツＩＤでファイル管理を行う。また、ＣＰＵ１１は、ダイジェスト再生制御ファイルを前記コンテンツＩＤに対応付けて作成する。このダイジェスト再生制御ファイルは、上記の録画経過時間群（更には、発生原因の情報が含められる場合もある）から成る。

前記ダイジェスト再生制御ファイルは、コンテンツファイル再生時の再生箇所を規定する指令群となる。ＣＰＵ１１は、ダイジェスト再生をユーザから要求されたときには、再生対象となるコンテンツファイルに付属されているダイジェスト再生制御ファイルを開いて録画経過時間群を取得し、この録画経過時間群に従って再生装置８にダイジェスト再生指令を与える。例えば、ＣＰＵ１１がダイジェスト再生制御ファイルを開いて得られた最初の録画経過時間を再生装置８に与えて再生を指令すると、例えば、上述した００：０５：０３〜００：０５：２８の区間に相当する映像が再生されることになる。なお、ＣＰＵ１１は、通常の再生を要求されたときには、対象コンテンツファイルに付属するダイジェスト再生制御ファイルは参照しない。

（応用処理１）
再生メニュー画面において、例えば、「特定チームが点を入れたときのダイジェスト再生を行う」といった項目を用意しておく。ユーザがこの項目を選択すると、ＣＰＵ１１は、ダイジェスト再生制御ファイルの記述に基づいて、例えば、「Ｔ」と「Ｇ」のどちらを選択しますか」といったメッセージを表示する。ユーザは「Ｔ」又は「Ｇ」のどちらかにカーソルを載せて決定キーを押下する。例えば、ユーザが「Ｔ」を選択した場合、ＣＰＵ１１は、前記ダイジェスト再生制御ファイル内の（Ｔ）のラベルが付記された再生区間情報だけを採用する。この場合、再生装置８は、先述の例でいえば、「００：０５：０３〜００：０５：２８（Ｔ１）」と「００：０８：１３〜００：０８：３８（Ｔ２）」の区間だけを再生することになる。

同様の処理を行うことにより、「特定のイニング指定で再生を行う」といった処理を行うことができる。なお、この場合、「７イニング目を再生」ということになったなら、ＣＰＵ１１は、「７回」が付記された録画経過時間からその終了時間（「８回」が付記された時間情報の時間まで）を再生区間とするように処理する。また、「各イニングの表だけ（或いは、裏だけ）再生」といった処理を行うことができる。この場合、「表」が指定されたのなら、最初の「裏」の文字が付記された録画経過時間までを再生し、その後は、「表」が付記された再生区間情報の開始時間から次の「裏」が付記された再生区間情報の開始時間までを順次に再生していく。「裏」が指定された場合も同様である。得点表示文字が無くなったと判断されたときにもその時点の録画経過時間をダイジェスト再生制御ファイルに記録していくようにしてもよい。野球放送では、攻守が入れ代わるときにコマーシャルが挿入されることが多い。コマーシャルになると得点表示文字は無くなる。従って、例えば、「表」の文字が認識できている状態から得点表示文字が無くなったと判断され、次に得点表示文字を認識できてそのときに「裏」の文字を判断できたときには、その区間はコマーシャルであることが推測される。従って、このような文字無し変化もダイジェスト再生制御ファイルに記録し、再生時にこのダイジェスト再生制御ファイル基づいて当該区間を再生対象から外すようにしてもよく、これによれば、結果的にコマーシャルスキップ再生が実行されることになる。

同様の処理を行うことにより、「特定のホール指定で再生を行う」といった処理を行うことができる。ゴルフ放送では、どのホールの映像であるかを示すべくホール番号をスーパーインポーズしている。ＣＰＵ１１は、ホール番号が変化したと判断する毎に、その時点の録画経過時間をメモリに保持する。例えば、以下のごとく録画経過時間群が得られる。

００：０５：０３（３ホール目）
００：０８：２３（１０ホール目）
００：１０：００（３ホール目）
００：１５：４４（１８ホール目）
００：１７：５３（３ホール目）
００：２２：１１（４ホール目）

なお、この場合、「３ホール目を再生」ということになったなら、該当ホールの時間からホール番号が異なることとなった時間までを再生区間とすればよい。例えば、上記の時間例であれば、「００：０５：０３〜００：０８：２３」、「００：１０：００〜００：１５：４４」、「００：１７：５３〜００：２２：１１」となる。また、ゴルフ放送においても、コマーシャルになるとホール表示文字は無くなる。「３ホール目の放送」→「ＣＭ」→「３ホール目の放送」となる場合には、再生区間内にＣＭが入ることになる。ホール表示文字が無くなった時点及び再びホール表示文字が表示された時点についても、録画経過時間を記録するようにすれば、ホール表示文字が無くなった時点から再びホール表示文字が表示された時点までを再生対象外するといったことも可能になる。

イニングやホール指定のために、例えば、再生メニュー決定後の次の画面上の枠内に数字を表示し、この表示数字を、リモコン送信機の上下キーを用いて変化させる制御を行うのがよい。また、「１，２，…，９」のごとく、画面に数字を並べて表記しておき、カーソルをリモコン送信機の左右キーで移動させ、数字上にカーソルが載せられた状態で決定キーが押下された数字（一つ又は複数）を、指定イニングであると判断する処理を行ってもよい。または、リモコン送信機の該当する数字キーでイニング等を指定できるように構成してもよい。

（応用処理２）
再生メニュー画面において、例えば、「試合時間指定で再生を行う」といった項目を用意しておく。サッカー放送であれば、試合経過時間がスーパーインポーズされており、その文字認識を行うことにより、試合経過時間を判断することができる。なお、試合経過時間の記録は、その秒数として、例えば、「００」「１０」「２０」「３０」「４０」「５０」の文字が認識できたときに行うこととしてもよい。例えば、下記の括弧内で示すごとく、試合経過時間が記録される。なお、下記の（Ａ１）は、チームＡが０点の状態から１点を入れた時点を示している。

００：０２：０５（００：００）
００：０２：１５（００：１０）
００：０２：２５（００：２０）
・
・
００：１２：２５（１０：２０）（Ａ１）

ダイジェスト再生制御ファイルには、上記の文字認識した試合経過時間が録画経過時間に対応付けられて作成される。前記の「試合時間指定で再生を行う」といった項目がユーザによって選択されると、開始時間入力枠と終了時間入力枠とが表示される。ユーザは画面上の開始時間入力枠内に表示されている数字（時間）を、リモコン送信機の上下キーを用いて変化させる。また、分から秒或いは秒から分の枠にカーソルを移動させるときには、リモコン送信機の左右キーを用いる。決定キーが押下されると、カーソルは、開始時間入力枠から終了時間入力枠に移動するので、ユーザは同様の入力処理を行うことができる。なお、秒数の指定は、「００」「１０」「２０」「３０」「４０」「５０」に限って行えることとしてもよい。ＣＰＵ１１は、前記入力された時間が、例えば、００：００〜１０：２０であれば、「００：００〜１０：２０」の試合時間だけ再生させる。または、リモコン送信機の数字キーで分秒を順に指定できる構成としてもよい。この場合にユーザによって「００」「１０」「２０」「３０」「４０」「５０」以外の秒数が指定されたときには、指定秒数に最も近い秒数を上記秒数から選んで再生することとしてもよい。

（応用処理３）
再生メニュー画面において、例えば、「大量得点が入った場面のダイジェスト再生を行う」といった項目を用意しておく。野球であれば、満塁ホームランによって、得点が０から一気に４点になる。また、スリーランであれば、得点が３点増加する。認識した文字（数字）の変化の差を算出することで、「１」、「２」、「３」、「４」といった差分が得られる。これら差分を示す数値も録画経過時間に付記しておく。或いは、大量得点を「３」と「４」と定義すれば、「３」、「４」といった差分が得られたときに、大量得点を示すマークを付記することとしてもよい。ＣＰＵ１１は、例えば、大量得点を示すマークが付記された録画経過時間だけを採用して再生装置８の再生を制御する。

放送録画に際して、例えば、画面上に「野球」、「サッカー」、「ゴルフ」のごとく、具体的なスポーツ種を表示し、ユーザに録画しようとする番組のスポーツ種をリモコン操作で入力させるようにしてもよい。例えば、ユーザはリモコン送信機の左右キーを操作してカーソルを「野球」の箇所に位置させ、決定キーを押下する。このような処理が行われることにより、ＣＰＵ１１は、録画しようとする番組が「野球」であると認識することができる。アナログテレビ放送を録画する場合に有意である。勿論、ディジタルテレビ放送であれば、ＰＳＩ／ＳＩに記載されているジャンルコードや番組名によってスポーツ種を知得することが可能である。録画対象となる放送のスポーツ種を知ることで、文字認識の精度、ダイジェスト再生に関する処理が的確になる。また、ダイジェスト再生制御ファイルの作成の仕方も異ならせることができる。

野球には野球のオーソドックスな得点表示パターン（回、表裏、得点の配置）があり、サッカーにはサッカーのオーソドックスな得点表示パターン（試合経過時間、得点の配置）がある。各スポーツの得点表示パターンにおいてどの配置の文字がどの意味を持つかを示す情報をデータベースとして持つことにより、そして、録画対象となる放送のスポーツ種を知ることにより、文字認識の精度を向上させることができる。具体的には、或る配置の文字が得点であるのなら、採り得る文字の種類は数字であるから、文字認識は数字に絞って処理できる。また、録画対象となる放送のスポーツ種を知ることにより、そのダイジェスト再生においては、例えば、スポーツ種がサッカーである場合に、「大量得点が入った場面のダイジェスト再生を行う」といった項目を消去する（或いは、表示していても採用不能（スキップされる）にする（この場合、色を薄くする））といった処理が可能となる。

上述した例では、文字認識の所定領域を画面の４隅としたが、録画に際してユーザ操作で所定領域を指定させることとしてもよい。例えば、録画開始ボタンが操作されたときに、４隅のうちの一ヶ所に四角枠をＯＳＤ表示するとともに、「得点が表示されている箇所に四角枠を移動させ、移動させたら決定キーを押して下さい」といったメッセージを表示する。ユーザはリモコンの方向キーを押下して四角枠を移動させる。ＣＰＵ１１は、方向キーの押下信号を受け取ると四角枠の表示位置を変える。決定キーの押下を検出したら、そのときの四角枠内を文字認識のための所定領域とする。なお、上記四角枠が表示されている状態で音量アップ／ダウンキーが押下されたことをＣＰＵ１１が検出したときに、四角枠の大きさを変化させるようにしてもよい。

スポーツ種とチャンネル（放送局）とをキーとして得点が表示されている箇所の情報をデータベース化してもよい。例えば、１０チャンネル（或るネットワークＩＤ）で放送されるサッカー放送では、得点が画面左上隅に表示されるのであれば、「画面左上隅」といった情報をデータベースに保持する。この情報はメーカ側で調べて予め保存しておいてもよいし、ユーザ操作で入力できるようにしてもよい。ユーザ操作の場合、その設定画面上にはチャンネル番号入力枠とスポーツ種指定のための選択領域と、「画面左上隅」「画面左下隅」「画面右上隅」「画面右下隅」の選択領域とを表示する。ユーザはリモコン送信機のカーソル操作と決定キーの操作で各内容を指定することができる。このようなデータベースを保持して文字認識の所定領域（四角枠）の初期位置を決定することにより、その後のユーザによる枠移動操作をほぼ無くすことが可能になる。勿論、四角枠の大きさもデータベースで保持することとしてもよい。

装置自身が文字認識のための所定領域を画像上から探す処理を行う場合、或いは、上記のごとくユーザが所定領域を指定する場合、録画開始からしばらくは文字認識できない状況が生じる。ＣＰＵ１１は、放送録画が完了した後、録画開始から文字認識が実行できるようなるまでの期間（例えば、ダイジェスト再生制御ファイルにおける最初に記載の録画経過時間まで）を、録画終了後のアイドル時間などを利用して、再生し（映像等をディスプレイに出力するわけではない）、再生開始後に時間計測を行うとともに、この再生画像を文字認識部９に与えることで文字認識を実行させ、認識された文字において編集対象シーンとなる文字変化があれば、ダイジェスト再生制御ファイル内に、再生開始経過時間を録画経過時間として追記する。

また、スポーツ種ごとに、更なるデータベースを備えておいてもよい。例えば、野球に関し、「Ｔ」の文字は「阪神」、「Ｇ」の文字は「巨人」といった情報をデータベース化しておいてもよい。また、例えば、野球に関し、１２球団を表すローマ字や漢字だけを文字認識の対象文字としておくことにより、文字認識の精度を高めることが可能になる。

また、編集対象シーンの発生判定においては、音声の変化を利用することとしてもよい。この処理においては、例えば先述した特許文献１記載の技術を用いることができる。図４のフローチャートに音声処理部６の処理内容を示す。音声を入力し（ステップＳ１１）、シーン変化判別のための音声処理を実行する（ステップＳ１２）。この音声処理は、放送受信音声の周波数変換と各周波数ごとのレベル大小判定、及び音声レベル判定からなる）。この音声処理結果に基づいてシーン判別を行い（ステップＳ１３）、シーン変化点の録画経過時間、及びシーン情報を記録し（ステップＳ１４）、ダイジェスト再生制御ファイルを作成する。

例えば、先述した文字認識による文字変化に基づく記録内容と上記音声に基づく記録内容とのアンドをとることにより、より確実なダイジェストシーン判定が行える。また、ダイジェスト再生例として、上記音声に基づいて選ばれたダイジェストシーンと得点変化時のシーンとが一致するシーンだけを選択して再生するといったことも可能となる。また、上記音声に基づいて選ばれたダイジェストシーンと得点変化時のシーンの両方を再生することも可能である。

この発明の実施形態の録画再生装置を示したブロック図である。 スポーツ番組における得点表示例を示した説明図である。 この発明の実施形態の処理例を示したフローチャートである。 この発明の実施形態の処理例を示したフローチャートである。

符号の説明

７ 記録装置
８ 再生装置
９ 文字認識部
１１ ＣＰＵ
４０ 記録メディア

Claims (11)

1. 入力された映像に基づく映像データを記録媒体に記録するとともに前記記録媒体から映像データを再生して出力する録画再生装置において、前記映像にスーパーインポーズされている文字に対する文字認識を行う手段と、前記スーパーインポーズされている文字が他の文字に変化したかどうかを判断する手段と、少なくとも文字変化時点を特定して再生するのに必要な再生制御情報を生成して記録する手段と、ダイジェスト再生指示を受けたときに、前記再生制御情報を用いて文字変化時点又は当該文字変化時点を含む或る区間の映像を再生する手段と、を備えたことを特徴とする録画再生装置。
2. 請求項１に記載の録画再生装置において、録画する映像のスポーツ種を、ユーザ入力情報、又は映像がディジタルテレビ放送受信で得られるのであれば放送波から分離した情報、又は文字認識できた文字情報、に基づいて判断する手段と、スポーツ種ごとに文字としてどのようなことを意味する文字が存在するかを示す情報が格納されたデータベースと、を備えことを特徴とする録画再生装置。
3. 請求項２に記載の録画再生装置において、変化した文字が得点を示す文字である場合には、前記再生制御情報として得点の変化であることを示す情報を含めることを特徴とする録画再生装置。
4. 請求項３に記載の録画再生装置において、前記得点を示す文字の隣の文字は対戦チームを示す文字であると認識し、前記再生制御情報としてどのチームの得点であるかを示す情報を含めることを特徴とする録画再生装置。
5. 請求項２に記載の録画再生装置において、変化した文字が回又はホール番号を示す文字である場合には、前記再生制御情報として回又はホール番号の変化であることを示す情報を含めることを特徴とする録画再生装置。
6. 請求項２に記載の録画再生装置において、変化した文字が試合経過時間を示す文字である場合には、前記再生制御情報として試合経過時間の変化であることを示す情報を含めることを特徴とする録画再生装置。
7. 請求項２に記載の録画再生装置において、変化した文字が表又は裏の文字である場合には、前記再生制御情報として表又は裏の変化であることを示す情報を含めることを特徴とする録画再生装置。
8. 請求項１乃至７のいずれかに記載の録画再生装置において、文字のスーパーインポーズ箇所を自動判断するための文字領域判断手段を備えたことを特徴とする録画再生装置。
9. 請求項８に記載の録画再生装置において、前記文字領域判断手段は、画面の隅に相当する領域に対して文字領域判断処理を行うことを特徴とする録画再生装置。
10. 請求項１乃至７のいずれかに記載の録画再生装置において、文字のスーパーインポーズ箇所がユーザ操作によって指定されるように構成されたことを特徴とする録画再生装置。
11. 請求項１乃至１０のいずれかに記載の録画再生装置において、音声に基づくハイライトシーンを判断する手段を備え、再生制御情報として、前記ハイライトシーンを再生するのに必要な情報を含めることを特徴とする録画再生装置。

Images