JP2007266838A - 記録再生装置、記録再生方法、及び、記録再生プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】ＣＭ区間及びＣＭ区間前後の繰り返し映像区間のいずれか一方をカットする機能を備えた記録再生装置において、ＣＭ区間前後に同じ映像が繰り返される区間を検出する精度を高め、一方の繰り返し区間を適切に除去して再生することができる記録再生装置を提供することを目的とする。
【解決手段】ＣＭ区間を検出するＣＭ区間検出部１２と、ＣＭ区間前後の映像データに挿入されるテロップ、字幕データの位置推定を行うテロップ位置推定部１３と、テロップ位置推定部１３により推定された位置情報を利用して、ＣＭ区間前後に同じ映像が繰り返される区間を検出する繰り返し区間検出部１４とを備え、記録再生信号処理部１５からの情報をもとに、記録した番組の再生時に、検出したＣＭ区間と検出した一方の繰り返し区間とを除いて再生する。
【選択図】図１

Description

本発明は、ＣＭ区間が挿入された放送または配信番組のＣＭ区間をカットして、記録・再生することができる記録再生装置、記録再生方法、及び、記録再生プログラムを記録した記録媒体に関するものである。

ＴＶ放送やネット配信された番組などを記録媒体に録画又は録画番組の再生を行うＶＴＲ，ＤＶＤレコーダー、ＨＤＤレコーダー、メモリレコーダーなどにおいて、記録再生を行う場合には、番組プログラム自体の他に、その番組に間欠的に挿入されているコマーシャル（以下、ＣＭと表記する）も同時に記録再生されている。

ただ、この記録再生された番組を視聴するユーザーにとっては、記録した番組内容以外のコンテンツであるＣＭの視聴を望まない場合も多い。そのために、ＣＭ検出を行いＣＭ区間の記録や再生を行わない技術が提案され、その技術を採用しているレコーダーも発売されている。

一方、最近のテレビ番組では、ＣＭに入る直前に放映したシーンを、ＣＭが終了した直後にも再び繰り返して放映することで、テレビ番組の視聴者の注目を引き付ける編集手法が多用されるようになっている。
このようなテレビ番組に対して記録再生を行う際に、ＣＭカット機能を活用すると、ＣＭ区間はカットされるが、ＣＭ区間を挟む前後の、同一映像シーンを繰り返して見なければならないことになる。

その回避策として、ＣＭ区間とＣＭ区間前後の同一あるいは類似シーンが繰り返される繰り返し区間とを検出し、ＣＭ区間をカットすると共に、ＣＭ区間前後の繰り返し区間のうち一方をカットすることにより、視聴者にとって違和感の無いＣＭカット再生を行うことができる記録再生装置が提案されており、その一例として特許文献１に記載されているような発明がある。
特開２０００−５７７４９号公報

ＣＭ区間前後の繰り返し区間を精度良く検出するためには、ＣＭ区間前後の繰り返し区間の映像データが、全く同一か、あるいは、類似性が高いことが必要である。
一方、テレビ番組などでは、ＣＭに入る直前に放送したシーンを、ＣＭが終了した直後にも再び繰り返して放映する際に、テレビ番組の視聴者の注目をより引き付けるために、単に、ＣＭ区間前後に同一画像を繰り返し放映するだけではなく、ＣＭ区間前後で、テロップや字幕などの表示内容を変更したり、映像データにリンクしたナレーション音声データの一部などを変更して放送・配信する場合がある。特にＣＭ区間の前には、ＣＭ区間中も視聴者の興味が継続するように、効果的なテロップやナレーションが挿入されるケースが多い。

このような場合、上記の従来技術では、ＣＭ区間前後に表示される映像内容そのものが同一又は極めて類似していても、ＣＭ区間前に表示される映像とＣＭ区間後に繰り返して表示される映像が異なるものと判定され、精度良くＣＭ区間前後の繰り返し区間を検出することができないという問題があった。

本発明は、このような問題点を解決するためになされたもので、ＣＭ区間前後の繰り返し区間を精度良く検出し、検出したＣＭ区間及び一方の繰り返し区間を適切に除去して再生することができ、ユーザーにとって違和感のない視聴が可能な記録再生装置、記録再生方法、及び、記録再生プログラムを記録した記録媒体を提供することを目的とする。

本発明における、第１の技術手段は、ＣＭ区間が挿入された番組のＣＭ区間を検出するＣＭ区間検出手段と、ＣＭ区間前後に同じ映像が繰り返される区間をＣＭ区間前後の映像データの同一性または類似性を判定することにより検出する繰り返し区間検出手段とを備え、記録した番組の再生時に、検出したＣＭ区間と検出した一方の繰り返し区間とを除いて再生することができる記録再生装置において、ＣＭ区間前後の映像データに挿入されるテロップ、字幕データの位置推定を行うテロップ位置推定手段を設け、前記繰り返し区間検出手段は、前記テロップ位置推定手段により推定された位置情報を利用して、繰り返し区間の検出を行うことを特徴とするものである。

第２の技術手段は、第１の技術手段において、前記テロップ位置推定手段によって推定されたテロップ位置推定情報は、繰り返し区間検出の対象となる映像データ区間内の時間的位置に連動して変動する情報であることを特徴とするものである。

第３の技術手段は、第１または２の技術手段において、前記繰り返し区間検出手段は、ＣＭ区間前後の映像データの同一性または類似性を判定する際に、前記テロップ位置推定手段により推定された位置の画像データを除外することを特徴とするものである。

第４の技術手段は、第３の技術手段において、前記繰り返し区間検出手段は、前記テロップ位置推定手段により推定された位置の画像データを除外してＣＭ区間前後の映像データの同一性または類似性を判定する際に、複数の相異なるテロップ位置推定情報を利用して各々のテロップ位置情報をもとに複数の同一性または類似性の判定を行い、それらの判定結果をもとにＣＭ区間前後の繰り返し区間を検出することを特徴とするものである。

第５の技術手段は、第１から４のいずれかの技術手段において、前記繰り返し区間の検出は、ＣＭ区間前後の映像データ区間における音声データの同一性または類似性の判定情報も併せて利用することを特徴とするものである。

第６の技術手段は、第１から５のいずれかの技術手段において、前記番組の情報を抽出する番組情報抽出手段をさらに備え、前記テロップ位置推定手段は、前記番組情報抽出手段から抽出されたジャンル情報をもとに、テロップ位置推定方法を切り替えることを特徴とするものである。

第７の技術手段は、第１から６のいずれかの技術手段において、過去の放送、配信又は記録された番組のテロップ位置推定情報を記録するテロップ位置推定情報記録手段をさらに備え、前記テロップ位置推定手段は、前記テロップ位置推定情報記録手段に記録されたテロップ位置推定情報を利用して、現在以降のテロップ位置推定を行うことを特徴とするものである。

第８の技術手段は、第７の技術手段において、前記テロップ位置推定情報記録手段に、時間情報とテロップ位置推定情報とを組み合わせて記録することを特徴とするものである。

第９の技術手段は、第８の技術手段において、前記時間情報は、日付、曜日、標準時などの絶対的時間、番組開始からの経過時間などの相対的時間の内、少なくともいずれか一つを含む情報であることを特徴とするものである。

第１０の技術手段は、ＣＭ区間が挿入された番組のＣＭ区間を検出するＣＭ区間検出手段と、ＣＭ区間前後に同じ映像が繰り返される区間をＣＭ区間前後の映像データの同一性または類似性を判定することにより検出する繰り返し区間検出手段とを備え、記録した番組の再生時に、検出したＣＭ区間と検出した一方の繰り返し区間とを除いて再生することができる記録再生装置において、ＣＭ区間前後の映像データに挿入されるテロップ、字幕データの位置推定を行うテロップ位置推定手段と、ＣＭ区間からの相対的時間位置の関数である重み係数関数を使用し重み係数を算出する重み係数算出手段とを設け、前記繰り返し区間検出手段は、前記テロップ位置推定手段により推定された位置情報、及び、前記重み係数算出手段により算出された重み係数を利用して、繰り返し区間の検出を行うことを特徴とするものである。

第１１の技術手段は、ＣＭ区間が挿入された番組のＣＭ区間を検出するＣＭ区間検出ステップと、ＣＭ区間前後に同じ映像が繰り返される区間をＣＭ区間前後の映像データの同一性または類似性を判定することにより検出する繰り返し区間検出ステップとを備え、記録した番組の再生時に、検出したＣＭ区間と検出した一方の繰り返し区間とを除いて再生することができる記録再生方法において、ＣＭ区間前後の映像データに挿入されるテロップ、字幕データの位置推定を行うテロップ位置推定ステップを有し、前記繰り返し区間検出ステップは、前記テロップ位置推定ステップにより推定された位置情報を利用して、繰り返し区間の検出を行うことを特徴とするものである。

第１２の技術手段は、ＣＭ区間が挿入された番組のＣＭ区間を検出するＣＭ区間検出ステップと、ＣＭ区間前後に同じ映像が繰り返される区間をＣＭ区間前後の映像データの同一性または類似性を判定することにより検出する繰り返し区間検出ステップとを備え、記録した番組の再生時に、検出したＣＭ区間と検出した一方の繰り返し区間とを除いて再生することができる記録再生方法において、ＣＭ区間前後の映像データに挿入されるテロップ、字幕データの位置推定を行うテロップ位置推定ステップと、ＣＭ区間からの相対的時間位置の関数である重み係数関数を使用し重み係数を算出する重み係数算出ステップとを有し、前記繰り返し区間検出ステップは、前記テロップ位置推定ステップにより推定された位置情報、及び、前記重み係数算出ステップにより算出された重み係数を利用して、繰り返し区間の検出を行うことを特徴とするものである。

第１３の技術手段は、第１１または１２の技術手段をコンピュータで実行させるためのプログラムを格納した記録媒体である。

以上のように、本発明によれば、ＣＭ区間前後に同じ映像が繰り返される区間を精度良く検出することが可能となり、検出したＣＭ区間及び一方の繰り返し区間を適切に除去して再生することができるため、記録番組を視聴するユーザーにとって、より違和感の無い番組映像を楽しむことができるようになる。

（実施例１）
本発明の一実施例について、図をもとに説明する。
本実施例の記録再生装置は、映像データや音声データを含むＡＶデータの記録再生処理を行うものであり、例えば、テレビジョン放送を受信し、これをエンコードして記憶装置に格納したり、記憶装置に格納されたＡＶデータをデコードし、これを表示装置に表示させたりするためのものである。記憶装置とは、例えば、磁気ディスクを内蔵するハードディスクドライブや、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭ、次世代ＤＶＤなどの光ディスクが挿入される光ディスクドライブ、さらには光磁気ディスク（ＭＯ）が挿入される光磁気ディスクドライブ（ＭＯドライブ）、フロッピー（登録商標）ディスクドライブなどを含み、記録再生装置の本体内に内蔵されていてもよいし、外付けになっていてもよい。

図１は、本発明による記録再生装置の実施例を説明するための要部概略構成を示すブロック図である。図中、１は本発明による記録再生装置で、該記録再生装置は、図示しない映像音声信号供給部から入力される映像信号、音声信号に所定の処理を施す映像信号処理部１０，音声信号処理部１１、ＣＭ区間を検出するＣＭ区間検出部１２、テロップ・字幕等が映像内のどの位置に表示されるかを推定するテロップ位置推定部１３、繰り返し区間検出のために映像データを一時的に記憶するための繰り返し区間検出用メモリ１４ａを有し、ＣＭ区間前後の繰り返し区間を検出する繰り返し区間検出部１４、検出したＣＭ区間及びそのＣＭ区間前後の繰り返し区間のうちいずれか一方を除いた映像及び音声信号を記録部１６に記録する処理等を行う記録再生信号処理部１５、映像及び音声信号等を記録する前述した記憶装置に相当する記録部１６、該記録部１６に記録された映像及び音声信号を再生する再生部１７等から構成される。

映像信号や音声信号など各種情報データのうち本記録再生装置１が記録対象とする情報信号の供給源としては、アンテナに接続されたＴＶチューナーや、ＣＡＴＶやインターネットなどの通信ネットワーク、記録再生装置１とケーブル接続した他の記録再生装置等があるが、ここでは、ＴＶチューナーからのＴＶ番組が入力された場合について以下の説明を行うこととする。

映像信号処理部１０及び音声信号処理部１１において、それぞれの信号処理が施された映像信号及び音声信号は、ＣＭ区間検出部１２、テロップ位置推定部１３、繰り返し区間検出部１４、記録再生信号処理部１５にそれぞれ入力される。記録再生信号処理部１５において、この信号処理された入力信号は、実際に記録部１６に記録するための変調などの信号処理が行われた後、記録部１６に内蔵または接続された記録媒体に記録される。

ＣＭ区間検出部１２は、映像信号処理部１０、音声信号処理部１１から入力された信号をもとに、ＣＭ区間の検出を行う。このＣＭ区間の検出方法としては、例えば、映像信号のシーンチェンジを検出するようにしても良いし、音声信号の信号形態が変化した部分を検出するようにしても良い。もちろん、映像信号と音声信号の双方またはその他の情報をもとにＣＭ区間の検出を行っても良い。これらのＣＭ区間検出の具体的実施方法については、既に様々な方法が提案されているため、ここでの詳細な説明は省略する。

本発明により導入されたテロップ位置推定部１３は、映像信号処理部１０から入力された信号をもとに、後述する本発明の手法を用いて、映像信号に挿入されているテロップや字幕の表示位置の推定を行い、推定したテロップ位置推定情報を、繰り返し区間検出部１４に送る。

繰り返し区間検出部１４は、映像信号処理部１０、音声信号処理部１１、ＣＭ区間検出部１２、テロップ位置推定部１３からの各情報をもとに、ＣＭ区間検出部１２によって検出されたＣＭ区間前後に映像の繰り返しがあるかどうかを後述する方法により調べ、繰り返しがある場合はその繰り返し区間の検出を行う。なお、繰り返し区間の検出は、ＣＭ区間前後の映像データを比較し、両者の同一性又は類似性を判定することにより行われるので、ＣＭ区間前後の映像データを一時的に記憶しておく記憶手段が必要となる。そこで、本実施例では繰り返し区間検出部１４の内部にメモリ１４ａを設けるようにしているが、記録部１６に記録された映像データを利用するようにしてもよい。

記録再生信号処理部１５は、映像信号処理部１０、音声信号処理部１１、繰り返し区間検出部１４からの各情報をもとに、ＣＭ区間及び繰り返し区間が存在している場合は、検出したＣＭ区間及びそのＣＭ区間前後の繰り返し区間のうちいずれか一方を除いた映像信号及び音声信号となるようにする処理、又は、ＣＭ区間情報、繰り返し区間情報を記録部１６に送るための処理を行う。この処理の場合は、再生時に前記ＣＭ区間情報及び繰り返し区間情報を参照することにより、ＣＭ及び繰り返し区間を除いて再生することになる。

次に、本発明の特徴であるテロップ表示位置の推定の仕方について、以下説明する。
図２は、テロップや字幕の表示例である。図２（Ａ）〜（Ｃ）は樹木が画面中心部に表示された映像画面を示しており、図２（Ａ）には、映像画面の左上部に現在の時刻情報、右上部に天気予報情報が、図２（Ｂ）には、映像画面中央にＣＭ前に表示されるテロップ（『結果はＣＭの後』）が、図２（Ｃ）には、映像画面の下部に字幕（『この木は樹齢３００年の杉で、地元では…と』）が表示されていることを示している。

図３は、図２に示すようなテロップや字幕が映像画面に表示されることが想定できる番組を記録する場合に、テロップ位置推定部１３が推定するテロップ位置推定情報の一例である。

図３（Ａ）は、図２（Ａ）に示すテロップが表示されることが想定される場合のテロップ位置を表したものであり、テロップ位置推定情報（例えば、映像画面Ａ０００内におけるテロップの表示位置を示す座標情報）が映像画面Ａ０００の内の２箇所のテロップ画像領域Ａ００１，Ａ００２であることを示している。

図３（Ｂ）は、図２（Ｂ）に示すテロップが表示されることが想定される場合のテロップ位置であり、テロップ位置推定情報が映像画面Ａ０００の内の１箇所のテロップ画像領域Ａ００３であることを示している。

図３（Ｃ）は、図２（Ｃ）に示す字幕（テロップ）が表示されることが想定される場合のテロップ位置であり、テロップ位置推定情報が映像画面Ａ０００の内の１箇所のテロップ（字幕）画像領域Ａ００４であることを示している。

図３（Ｄ）は、図２に示すテロップや字幕が複合的に表示されることが想定される場合のテロップ位置であり、テロップ位置推定情報が映像画面Ａ０００の内の３箇所のテロップ画像領域Ａ００２，Ａ００３，Ａ００４であることを示している。
もちろんこれら図示したテロップ位置推定結果は一例であり、テロップの表示が推定されないとの情報なども含めて、他のものであっても良い。

テロップ位置推定を行う方法としては、図１に示す記録再生装置の構成において明示されないＣＰＵなどによって設定される、規定のテロップ位置推定情報であっても良いし、映像信号の内容によってテロップや字幕表示位置が異なることを利用してテロップ位置推定を行うものであっても良い。一般的に、テロップや字幕は白色など高輝度や高彩度の画像データである場合が多く、映像信号の特定画面位置において、一定時間以上の時間にわたって高輝度や高彩度のままである場合や、映像のシーンチェンジが発生したと思われる場合もその画像位置では高輝度や高彩度のままである場合に、その画面位置をテロップが表示されていると推定し、テロップ表示領域を特定してもよい。

前述したように、繰り返し区間検出部１４は、このテロップ位置推定部１３から入力された情報をもとに、ＣＭ区間前後の映像データの同一性又は類似性の判定を行い、繰り返し区間の検出を行う。

図４は、繰り返し区間検出の方法について説明するための図であり、映像信号の時間的流れの内、ＣＭ区間及びＣＭ区間前後の映像信号区間を示しているものである。

図４（Ａ）において、映像信号内にＣＭ区間３２とその前後のＣＭ以外の映像区間３１，３３が存在しており、斜線で示す映像区間（検出対象区間３４及び検出対象区間３５）の映像信号をもとに、繰り返し区間検出部１４が、ＣＭ区間前後の繰り返し区間を検出する。この例では、検出対象区間３４と検出対象区間３５は、時間的に同じ長さであるものとして説明を行う。

図４（Ｂ）において、検出対象区間３４及び検出対象区間３５内に、それぞれ単位映像区間３６（Ａ、Ｂ、Ｃ、Ｄ）及び３７（ａ、ｂ、ｃ、ｄ）が存在している。単位映像とは、フレーム単位の映像データであっても良いし、ＭＰＥＧでのＧＯＰ単位の映像データ、Ｉピクチャの映像データ（挿入間隔）でも良い。

繰り返し区間検出部１４は、繰り返し区間検出を行う際に、前述した単位映像区間内の映像データＡとａ、Ｂとｂ、Ｃとｃ、Ｄとｄの間で映像の同一性または類似性があるか否かを判定するための計算処理をそれぞれ行い、各算出結果を統計的に処理することで、繰り返し区間を検出する。

ちなみに、上記説明においては、検出対象区間３４及び検出対象区間３５は時間的に同じ長さでかつ４つの単位映像区間に分けて行う例について説明を行ったが、もちろんこれに限定するものではなく、更には、検出対象区間３４と検出対象区間３５の長さが異なるものであっても良い。

検出対象区間長があらかじめ推定できる場合は、検出対象区間長を規定して検出対象区間を設定した（上記例では４つの単位映像区間）上で、繰り返し区間を検出する。

一方、検出対象区間長があらかじめ推定できない場合は、以下に示す一例の方法などによって、検出対象区間長を規定して繰り返し区間の検出を行う。

ＣＭ前の映像データＣを比較基準映像データとして選定して、この比較基準映像データであるＣと、ＣＭ後の映像データａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，・・・のそれぞれと比較し、Ｃと同一又は類似映像である映像データを検出する。仮に、このＣと同一又は類似映像である映像データの検出結果が、ＣＭ後の映像データｂであった場合は、ＣＭ前の映像データＢ，Ｃ，Ｄと映像データａ，ｂ，ｃを検出対象区間に選定した上で、映像の同一性または類似性があるか否かを判定するための計算処理をそれぞれ行い、各算出結果を統計的に処理することで、繰り返し区間を検出する。検出区間長の設定については、上記方法に限定するものではない。例えば、比較基準映像データをＣ以外の別時間的位置にある映像データを選定したり、また、複数選定した上で、繰り返し区間の検出を行っても良い。

ＣＭ区間前後で映像データに異なるテロップや字幕が挿入されている場合は、テロップ位置推定部１３から入力されたテロップ位置推定情報の画像部分を除外した画像部分をもとに、繰り返し区間検出を行う。例えば、この時のテロップ位置推定情報が、図３（Ａ）に示すものであった場合には、映像画面Ａ０００の内、２箇所のテロップ画像領域Ａ００１，Ａ００２にある画像データを除いた画像データをもとに、繰り返し区間検出を行う。

逆に、ＣＭ区間前後で映像データに同一または類似のテロップや字幕が挿入されている場合は、映像画面の全体の画像部分ではなく、テロップ位置推定部１３から入力されたテロップ位置推定情報の画像部分のみをもとに、繰り返し区間検出を行うことも可能である。例えば、この時のテロップ位置推定情報が、図３（Ａ）に示すものであった場合で、挿入されているテロップや字幕の内容が、単に時間に依存した内容などではなく、映像画面に連動した内容である場合には、２箇所のテロップ画像領域Ａ００１，Ａ００２にある画像データをもとに、繰り返し区間検出を行う。挿入されているテロップや字幕の内容が、映像画面に連動した内容であるかどうかは、例えば、番組のジャンル情報や番組の放送・配信の時間情報を使用することで判断することができる。時刻情報や天気予報が表示される可能性が高い番組ジャンルや、朝夕の時間帯に放送される番組や、緊急放送または緊急テロップ表示が挿入されている場合を除いて、この方法による繰り返し区間検出を行うことができる。

また、テロップ位置推定情報の画像部分を単に除外せずに、繰り返し区間検出の際に参照する情報としては重要度を低く設定して、繰り返し区間検出を行っても良い。

また、上記説明では、テロップ位置推定部１３でのテロップ位置推定情報において、検出対象区間内の時間的変化の有無について明記していないが、時間的変化のないもの、つまり、検出対象区間内でテロップ位置推定情報が同一であっても良いし、検出区間内の時間的位置によって変化させるものであっても良い。例えば、ＣＭ直前の映像信号の画面中央にテロップが表示されることが推定される場合には、ＣＭ直前のみテロップ位置推定情報をそれ以前のテロップ位置推定情報とは異なるものにしても良い。この場合、図４の例で言えば、単位映像区間内の映像データＤとｄの同一性または類似性の判定の際には、それまでのものとは異なるテロップ位置推定情報を使用することを指す。図３に示すテロップ位置推定情報の一例で言えば、単位映像区間内の映像データＤとｄ以外の映像データの同一性または類似性の判定の際は、画面下部にのみテロップが表示されると推定して、図３（Ｃ）のテロップ位置推定情報を使用し、一方、単位映像区間内の映像データＤとｄの同一性または類似性の判定の際は、画面中央にテロップが表示されると推定して、図３（Ｂ）のテロップ位置推定情報を使用して、同一性または類似性の判定を行う。もちろん、その使用期間やテロップ位置推定情報を時間的に変化させる方法については、この例に限定するものではなく、複雑な時間的変化でも良い。

また、上記説明では、テロップ位置推定情報については１系統の情報をもとに、繰り返し区間検出を行う例について説明を行ったが、これに限定するものではなく、複数系統の相異なるテロップ位置推定情報を使用して、各々のテロップ位置推定情報をもとに映像の同一性または類似性があるか否かを判定するための算出処理を行い、この複数の算出結果をもとに、繰り返し区間検出を行っても良い。

このように、テロップ位置推定情報を時間的に変化させたり、複数系統の相異なるテロップ位置推定情報を使用して、映像の同一性または類似性があるか否かを判定することで、精度良く、繰り返し区間を検出することができる。

また、映像データに加え、音声データの同一性又は類似性を判定することで、繰り返し区間を検出するようにしても良い。このように判定することで、より精度を高めて繰り返し区間を検出することができる。

また、上記の説明のように、映像信号情報のみからテロップ位置推定情報を検出する方法の他に、音声信号情報も併せて参照することで、テロップ位置推定情報の検出を行う方法でも良い。

例えば、映像信号にテロップや字幕が挿入される場合には、このテロップや字幕に含まれる文字情報と同一もしくは類似の内容の音声がナレーションとして、音声信号に挿入される場合も多い。図２（Ｂ）に示すような『結果はＣＭの後』のテロップが映像信号に挿入される場合は、ナレーションでも同じ内容が話されている場合が多い。このような場合には、映像信号情報と音声信号情報を併せて使用してテロップ位置推定を行うことで、テロップ位置推定の精度向上が期待できる。

ここで、繰り返し区間検出の方法の一例について、図５に示すフローチャートを使って説明する。

図５は、ＣＭ区間前後の繰り返し区間を検出する処理を説明するためのフローチャートで、まず、テロップ位置推定部１３において推定されたテロップ位置推定情報が繰り返し区間検出部１４に設定される（Ｓ１０１）。

このテロップ位置推定情報をもとに、繰り返し区間検出用メモリ１４ａに記憶されたＣＭ区間前後の映像データの比較を行う際に除外する画像データの領域を設定する（Ｓ１０２）。

次に、Ｓ１０３では、この除外領域を除いた画像データの同一性又は類似性を判定するための計算処理を行う。図４（Ｂ）に示す例では、単位映像区間内の映像データＡとａ、Ｂとｂ、Ｃとｃ、Ｄとｄの間での画像データを比較する。本実施例では、検出対象区間３４内のテロップ領域を除外した画像データ例えば画素値（Ｘｉ）と、除外して残った画像データに対応する検出対象区間３５内の画像データ例えば画素値（ｘｉ）の平均２乗誤差（Ａｊ）（式１）をＣＭ区間前後の検出対象区間に渡って算出する。なお、ｉは、テロップ領域以外の画像データの画素数を示している。

すなわち、図４（Ｂ）に示す例では、単位映像区間内の映像データＡとａ、Ｂとｂ、Ｃとｃ、Ｄとｄの間での４つの平均２乗誤差を算出することになる。

次に、Ｓ１０４では、ここで算出した各々の平均２乗誤差（Ａｊ）をもとに、画像比較における総合誤差（Ｅ）を算出する。

次に、Ｓ１０５では、この総合誤差（Ｅ）と、ＣＰＵなどによって繰り返し区間検出部１４に設定された設定値Ｘとの比較を行う。つまり、ＣＭ区間前後の映像区間が同一かほぼ同一と見なせるかどうかの判定を行っている。なお、設定値Ｘは比較的小さい数値である。

総合誤差（Ｅ）が設定値Ｘ以下の場合は（Ｓ１０５：ＹＥＳ）、ＣＭ区間前後の映像区間が同一かほぼ同一と見なせるため、このＣＭ区間前後の映像区間は繰り返し区間と判定する（Ｓ１０７）。

逆に、設定値Ｘより大きい場合は（Ｓ１０５：ＮＯ）、類似性が比較的高いかどうかを判定するため、ＣＰＵなどによって設定された設定値Ｙとの比較を行う（Ｓ１０６）。ここで設定値Ｙは、設定値Ｘ以上の数値である。

総合誤差（Ｅ）が設定値Ｙ以下の場合は（Ｓ１０６：ＹＥＳ）、比較的類似性が高いと見なせるため、このＣＭ区間前後の映像区間は繰り返し区間として判定する（Ｓ１０７）。逆に、設定値Ｙより大きい場合は（Ｓ１０６：ＮＯ）、類似性が低く、繰り返し区間ではないと判定する（Ｓ１０８）。

以上の説明では、ＣＭ区間前後の映像区間における各々の画像データ自体の比較を行って、平均２乗誤差を算出して、繰り返し区間検出を行っていたが、これに限定するものではなく、例えば、映像データがＭＰＥＧで符号化されたデータの場合には、そのＤＣＴ成分のうち、特定の低周波のみ、極端にはＤＣ成分のみの比較を行うことで、繰り返し区間検出を行っても良い。また、平均２乗誤差の算出による方法に限定するものでも無い。

（実施例２）
図６は、本発明による記録再生装置の他の実施例を説明するための要部概略構成を示すブロック図で、図１の記録再生装置１に、番組情報から番組ジャンル情報等を抽出する番組情報抽出部１８、過去のテロップ位置推定情報を記憶する過去のテロップ位置推定情報記憶メモリ１９を追加したものである。

記録再生装置１には、図示されていない供給部によって、映像信号や音声信号の他に、番組情報が供給される。番組情報には、番組のジャンル、番組名、番組の放送・配信の時間情報、などの情報が含まれると想定する。

番組情報抽出部１８は、記録再生装置１に入力された番組情報から番組のジャンル情報や番組の放送・配信の時間情報等を抽出する。番組情報がネットワークなどを経由して番組とは別途放送・配信される場合など、新規に抽出の必要性がない場合は、抽出動作は行わず、番組情報の保持のみを行う。

以下に、抽出した番組ジャンル情報を利用して、テロップ位置推定を行う方法について説明する。

ＴＶ番組内でのテロップや字幕の使用方法・頻度は、番組の配信元や番組ジャンルによって何らかの傾向があることがある。例えば、バラエティー番組では、他のジャンルの番組と比較すると、視聴者の興味を継続的により引き付けるために、番組の各所、特にＣＭ区間前後の区間でテロップやナレーションが多用されている。また、映画番組では、外国映画の放映の際には日本語吹き替えではなく、字幕を使用して放映している番組もある。つまり、記録再生しようとする番組のジャンルによって、テロップ位置に明らかな傾向がある場合は、この番組ジャンル情報をもとに、テロップ位置推定方法を切り替えてテロップ位置推定を行う。もっとも簡単な切り替え方法の例としては、バラエティー番組の記録再生を行う際には、テロップ位置推定箇所の数量を多くしたり、画像領域面積を増やして、テロップ位置の推定を行う方法がある。

図７は、番組ジャンルをもとにテロップ位置を推定する一例を説明するためのフローチャートである。

まず、記録再生する映像の番組ジャンル情報を、ＥＰＧなどを利用して入手し（Ｓ２０１）、入手された番組ジャンル情報がどのジャンルであるかどうかの判定を行う（Ｓ２０２）。図示例では、３ジャンル（ジャンル１、ジャンル２、ジャンル３）のどれに相当するかを判定している。ジャンル１である場合は、テロップ位置推定情報として位置推定情報１をテロップ位置推定情報とする（Ｓ２０３）。ジャンル２である場合は、テロップ位置推定情報として位置推定情報２をテロップ位置推定情報とする（Ｓ２０４）。ジャンル３である場合は、テロップ位置推定情報として位置推定情報３をテロップ位置推定情報とする（Ｓ２０５）。

図３に示すテロップ位置推定情報の一例を使って、さらに詳しく説明すると、例えば、番組ジャンル１が朝の情報番組である場合は、時刻や天気予報などのテロップ情報が画面上部に表示される可能性が高いため、図３（Ａ）に示す領域Ａ００１，Ａ００２をテロップ位置推定情報とする。番組ジャンル２がバラエティーである場合は、テロップ情報が画面中央付近に大きく表示される可能性が高いため、図３（Ｂ）に示す領域Ａ００３をテロップ位置推定情報とする。番組ジャンル３が映画番組である場合は、字幕が画面下部に表示される可能性が高いため、図３（Ｃ）に示す領域Ａ００４をテロップ位置推定情報とする。このように、番組のジャンル情報を参照することで、迅速にテロップ位置を推定することができる。

また、番組のジャンル情報を利用する方法の他に、番組の時間情報を利用する方法がある。時間情報は、日付、曜日、標準時などの絶対的時間、番組開始からの経過時間などの相対的時間などである。このように、番組の時間情報を参照することで、容易にテロップ位置を推定することができる。

また、新たに記録再生する番組に関して、過去に記録再生を行った番組との連続番組である場合、または、連続番組でなくても内容的に関連のある番組であることが明らかな場合は、過去のテロップ位置推定情報を利用して、図６の実施例で説明したように、現在以降のテロップ位置推定を行う方法もある。

例えば、特定の番組（特に、帯番組、特番ではない番組）を毎日又は毎週など定期的に予約記録を行う場合、過去のテロップ位置推定情報を利用する。

特に、番組に対してのテロップや字幕の挿入頻度と、番組内の相対時間（例えば、番組開始からの経過時間）との関連性が高い場合は、この時間情報を参照してテロップ位置推定を行う。

前述したように、過去のテロップ位置推定情報を記憶するメモリ１９は、この過去のテロップ位置推定情報を保持する。また、前述した時間情報をテロップ位置推定情報と関連付けて記憶するようにしてもよい。なお、図６においては、過去のテロップ位置推定情報を記憶するメモリ１９はテロップ位置推定部１３に接続される構成になっているが、記録部１６で記録媒体に記録するようにしても良い。

また、上記番組情報は、番組を実際に記録する際に入力できない場合でも良く、例えば、ネットワークなどを介して番組情報のメタデータなどを再生時までに入手可能な場合は、この入手可能な番組情報を使用しても良い。このように、過去のテロップ位置推定情報を利用することで、迅速にテロップ位置を推定することができる。

（実施例３）
図８は、図６の記録再生装置１に、ＣＭ区間からの相対的時間位置の関数である重み係数関数を使用し重み係数を算出する重み係数算出部２０を追加した実施例を示したものである。なお、図示の例は、テロップ位置推定部１３から入力された信号を利用し重み係数を算出するようにしているが、この信号を利用せずに重み係数を算出するようにしてもよい。

図９は、重み係数を用いるようにした繰り返し区間検出の方法について説明するための図であり、映像信号の時間的流れの内、ＣＭ区間前後の映像信号区間及び重み係数関数を示しているものである。

図９（Ａ）は、図４（Ｂ）の一部を抽出したものであるため符号等の説明については省略する。

前述したように、繰り返し区間検出部１４は、繰り返し区間検出を行う際に、前述した単位映像区間内の映像データＡとａ、Ｂとｂ、Ｃとｃ、Ｄとｄ間で映像の同一性または類似性があるかどうかを判定するための計算処理を行い、各算出結果に重み係数算出部２０から入力された重み係数を考慮した上で統計的に処理することで、繰り返し区間の検出を行う。統計的な処理方法としては、加重加算が比較的単純な実施方法として想定され、この加重加算では、ＣＭ区間からの相対的時間位置の関数である重み係数関数から計算された重み係数を使用する。

図９（Ｂ）は、この重み係数関数の一例を示しているものである。この例は、ＣＭ区間直前に近いほど小さい数値を取る重み係数関数である。前述したように、この重み係数関数から、各単位映像区間で使用する離散的重み係数（ｋ１、ｋ２、ｋ３、ｋ４）を決定して、この重み係数を使用して統計的な処理をした上で、繰り返し区間を検出する。

ちなみに、上記説明においては、図９（Ｂ）に示す重み係数関数をもとに説明を行ったが、もちろんこれに限定するものではなく、単にＣＭ区間からの相対的時間位置の１次関数である重み係数関数であっても良いし、逆に、単調増加または単調減少の曲線を持つ重み係数関数に限定するものでもなく、もっと複雑な高次の重み係数関数であっても良い。

図１０は、テロップ位置推定情報に加え、重み関数を使用してＣＭ区間前後の繰り返し区間を検出する処理を説明するためのフローチャートである。

テロップ位置推定情報をもとに、ＣＭ区間前後の映像データの比較を行う際に除外する画像データの領域を設定し（Ｓ３０１,Ｓ３０２）、次に、Ｓ３０３で、ＣＭ区間前後の映像データの比較を行い平均２乗誤差（Ａｊ）の算出を行う（式３）。

次に、Ｓ３０４で、ここで算出した各々の平均２乗誤差（Ａｊ）に対して、重み係数（ｋｊ）を乗算した上で、画像比較における総合誤差（Ｅ）を算出する（式４）。

この総合誤差（Ｅ）と、ＣＰＵなどによって設定された設定値Ｘ、Ｙとの比較処理を行い（Ｓ３０５，３０６）、検出対象となる映像区間が繰り返し映像区間か否かを判定する（Ｓ３０７，Ｓ３０８）。

このように、重み係数を使用することで、より精度を高めて繰り返し区間を検出することができる。

図１１は、この実施例において、番組ジャンルをもとに重み係数を決定する処理を説明するためのフローチャートである。

このフローチャートでは、図７に示すテロップ位置推定情報の設定処理フローの他に、画像比較における総合誤差（Ｅ）を算出する際の重み係数（ｋｊ）の決定も合わせて行っているもので、ジャンル１の番組の場合には、重み係数としてｋ０ｊ、ジャンル２の番組の場合には、重み係数としてｋ１ｊ、ジャンル３の番組の場合には、重み係数としてｋ２ｊを決定する（Ｓ５０６、Ｓ５０７、Ｓ５０８）。前記番組ジャンルの例で説明すると、番組ジャンルがバラエティーである場合は、ＣＭ区間前後の近傍映像区間ほどテロップが表示される可能性が比較的高いことが多いため、それに合わせて、重み係数（ｋｊ）の決定を行う。

もちろん、重み係数を決定する方法については、このフローチャートによる方法に限定されるものではない。例えば、テロップ推定情報の推定に使用したものとは別の番組情報（例えば、番組放送・配信時間など）を利用して、重み係数（ｋｊ）を決定しても良い。

また、上記した本発明の記録再生装置における各機能及び手段を、制御用のマイクロコンピュータ等において実行されるプログラムとして組み込み機器等に実装していてもよいし、また、かかるプログラムをコンピュータなどにより読み取り可能なプログラム記録媒体に記録しても良い。

本発明による記録再生装置の実施例を説明するための要部概略構成を示すブロック図である。 テロップや字幕の表示例である。 テロップ位置推定情報の一例である。 繰り返し区間検出の方法について説明するための図である。 ＣＭ区間前後の繰り返し区間を検出する処理を説明するためのフローチャートである。 本発明による記録再生装置の他の実施例を説明するための要部概略構成を示すブロック図である。 番組ジャンルをもとにテロップ位置を推定する一例を説明するためのフローチャートである。 本発明による記録再生装置の他の実施例を説明するための要部概略構成を示すブロック図である。 重み係数を用いるようにした繰り返し区間検出の方法について説明するための図である。 テロップ位置推定情報に加え、重み関数を使用してＣＭ区間前後の繰り返し区間を検出する処理を説明するためのフローチャートである。 番組ジャンルをもとに重み係数を決定する処理を説明するためのフローチャートである。

符号の説明

１…記録再生装置、１０…映像信号処理部、１１…音声信号処理部、１２…ＣＭ区間検出部、１３…テロップ位置推定部、１４…繰り返し区間検出部、１４ａ…繰り返し区間検出用メモリ、１５…記録再生信号処理部、１６…記録部、１７…再生部、１８…番組情報抽出部、１９…過去のテロップ位置推定情報を記憶するメモリ、２０…重み係数算出部、Ａ０００…映像画面、Ａ００１〜Ａ００４…テロップ画像領域、３１，３３…映像区間、３２…ＣＭ区間、３４，３５…検出対象区間、３６，３７…単位映像区間。

Claims (13)

1. ＣＭ区間が挿入された番組のＣＭ区間を検出するＣＭ区間検出手段と、ＣＭ区間前後に同じ映像が繰り返される区間をＣＭ区間前後の映像データの同一性または類似性を判定することにより検出する繰り返し区間検出手段とを備え、記録した番組の再生時に、検出したＣＭ区間と検出した一方の繰り返し区間とを除いて再生することができる記録再生装置において、
   ＣＭ区間前後の映像データに挿入されるテロップ、字幕データの位置推定を行うテロップ位置推定手段を設け、
   前記繰り返し区間検出手段は、前記テロップ位置推定手段により推定された位置情報を利用して、繰り返し区間の検出を行うことを特徴とする記録再生装置。
2. 請求項１に記載の記録再生装置において、前記テロップ位置推定手段によって推定されたテロップ位置推定情報は、繰り返し区間検出の対象となる映像データ区間内の時間的位置に連動して変動する情報であることを特徴とする記録再生装置。
3. 請求項１または２に記載の記録再生装置において、前記繰り返し区間検出手段は、ＣＭ区間前後の映像データの同一性または類似性を判定する際に、前記テロップ位置推定手段により推定された位置の画像データを除外することを特徴とする記録再生装置。
4. 請求項３に記載の記録再生装置において、前記繰り返し区間検出手段は、前記テロップ位置推定手段により推定された位置の画像データを除外してＣＭ区間前後の映像データの同一性または類似性を判定する際に、複数の相異なるテロップ位置推定情報を利用して各々のテロップ位置情報をもとに複数の同一性または類似性の判定を行い、それらの判定結果をもとにＣＭ区間前後の繰り返し区間を検出することを特徴とする記録再生装置。
5. 請求項１から４のいずれかに記載の記録再生装置において、前記繰り返し区間の検出は、ＣＭ区間前後の映像データ区間における音声データの同一性または類似性の判定情報も併せて利用することを特徴とする記録再生装置。
6. 請求項１から５のいずれかに記載の記録再生装置において、前記番組の情報を抽出する番組情報抽出手段をさらに備え、前記テロップ位置推定手段は、前記番組情報抽出手段から抽出されたジャンル情報をもとに、テロップ位置推定方法を切り替えることを特徴とする記録再生装置。
7. 請求項１から６のいずれかに記載の記録再生装置において、過去の放送、配信又は記録された番組のテロップ位置推定情報を記録するテロップ位置推定情報記録手段をさらに備え、前記テロップ位置推定手段は、前記テロップ位置推定情報記録手段に記録されたテロップ位置推定情報を利用して、現在以降のテロップ位置推定を行うことを特徴とする記録再生装置。
8. 請求項７に記載の記録再生装置において、前記テロップ位置推定情報記録手段に、時間情報とテロップ位置推定情報とを組み合わせて記録することを特徴とする記録再生装置。
9. 請求項８に記載の記録再生装置において、前記時間情報は、日付、曜日、標準時などの絶対的時間、番組開始からの経過時間などの相対的時間の内、少なくともいずれか一つを含む情報であることを特徴とする記録再生装置。
10. ＣＭ区間が挿入された番組のＣＭ区間を検出するＣＭ区間検出手段と、ＣＭ区間前後に同じ映像が繰り返される区間をＣＭ区間前後の映像データの同一性または類似性を判定することにより検出する繰り返し区間検出手段とを備え、記録した番組の再生時に、検出したＣＭ区間と検出した一方の繰り返し区間とを除いて再生することができる記録再生装置において、
    ＣＭ区間前後の映像データに挿入されるテロップ、字幕データの位置推定を行うテロップ位置推定手段と、
    ＣＭ区間からの相対的時間位置の関数である重み係数関数を使用し重み係数を算出する重み係数算出手段とを設け、
    前記繰り返し区間検出手段は、前記テロップ位置推定手段により推定された位置情報、及び、前記重み係数算出手段により算出された重み係数を利用して、繰り返し区間の検出を行うことを特徴とする記録再生装置。
11. ＣＭ区間が挿入された番組のＣＭ区間を検出するＣＭ区間検出ステップと、ＣＭ区間前後に同じ映像が繰り返される区間をＣＭ区間前後の映像データの同一性または類似性を判定することにより検出する繰り返し区間検出ステップとを備え、記録した番組の再生時に、検出したＣＭ区間と検出した一方の繰り返し区間とを除いて再生することができる記録再生方法において、
    ＣＭ区間前後の映像データに挿入されるテロップ、字幕データの位置推定を行うテロップ位置推定ステップを有し、
    前記繰り返し区間検出ステップは、前記テロップ位置推定ステップにより推定された位置情報を利用して、繰り返し区間の検出を行うことを特徴とする記録再生方法。
12. ＣＭ区間が挿入された番組のＣＭ区間を検出するＣＭ区間検出ステップと、ＣＭ区間前後に同じ映像が繰り返される区間をＣＭ区間前後の映像データの同一性または類似性を判定することにより検出する繰り返し区間検出ステップとを備え、記録した番組の再生時に、検出したＣＭ区間と検出した一方の繰り返し区間とを除いて再生することができる記録再生方法において、
    ＣＭ区間前後の映像データに挿入されるテロップ、字幕データの位置推定を行うテロップ位置推定ステップと、
    ＣＭ区間からの相対的時間位置の関数である重み係数関数を使用し重み係数を算出する重み係数算出ステップとを有し、
    前記繰り返し区間検出ステップは、前記テロップ位置推定ステップにより推定された位置情報、及び、前記重み係数算出ステップにより算出された重み係数を利用して、繰り返し区間の検出を行うことを特徴とする記録再生方法。
13. 請求項１１または１２に記載の記録再生方法をコンピュータで実行させるためのプログラムを格納した記録媒体。

Images