JP2008228302A - 情報処理装置および方法 - Google Patents

Abstract

【課題】テレビジョン放送に含まれるＣＭ（コマーシャル）を確実に検出する。
【解決手段】ＣＭ候補区間検出部１６は、無音区間とシーンチェンジ点に基づいて、ＣＭ候補区間を検出する。ＣＭブロック検出部２１は、ＣＭ候補区間検出部１６で検出された単独のＣＭ候補区間のフレーム数を用いて、本編と本編の間に挟まれた複数のＣＭからなるＣＭブロックを検出し、その結果に基づいた制御信号をスイッチに出力する。複数のＣＭが連続して放送される場合、個々のＣＭとしては標準的なフレーム数に対して５フレーム程度の誤差を有しているというＣＭの特徴を利用してＣＭブロックを検出することができる。本発明は、VCR、テレビジョン受像機、チューナに適用することが可能である。
【選択図】図１６

Description

本発明は、情報処理装置および方法、並びに記録媒体に関し、特に、テレビジョン放送に含まれるコマーシャルを検出する情報処理装置および方法、並びに記録媒体に関する。

例えば、録画されたテレビジョン放送を再生するとき、本編（番組）だけを連続して見たいというユーザのニーズに対応して、コマーシャル（以下、ＣＭと記述する）を早送りする、いわゆるＣＭカット機能付きVCR(Video Cassette Recorder)が存在する。

そのようなVCRに用いられているＣＭ検出アルゴリズムは、次に示すような、絶対的な、または大多数のＣＭが有する特徴に基づくものである。すなわち、各ＣＭの開始時および終了時には０．１乃至２．０秒程度の無音区間が存在する、無音区間には画像のシーンチェンジ点が存在する、各ＣＭの所要時間は１５秒の整数倍である、ＣＭは音声多重モードがステレオモードである、等の特徴が確認された場合、その部分がＣＭとして検出される。

また、欧米におけるテレビジョン放送では、本編とＣＭの間に、ブラックフレームまたはブルーフレームが存在するという絶対的な条件に基づいてＣＭが検出されている。

したがって、従来のＣＭ検出アルゴリズムによれば、例えば、音声多重モードがモノラルであるＣＭのように、上述した特徴が含まれていないＣＭは検出できない課題があった。

また、従来のＣＭ検出アルゴリズムによれば、本編の中に上述した特徴が含まれていた場合、その部分をＣＭとして検出してしまう課題があった。

さらに、例えば、ＣＭの所要時間が１４秒の整数倍となったり、欧米においてブラックフレームやブルーフレームの挿入が廃止される等、従来のアルゴリズムにおいて用いていたＣＭの特徴が変更、または廃止された場合、ＣＭを検出することができなくなる課題があった。

また、従来のＣＭ検出アルゴリズムにおける無音区間の検出方法は、ある一定区間の音声の平均レベルを求め、その平均レベルが所定の閾値以下である場合、その区間を無音区間として検出していた。このため、テレビジョン放送の受信状況が悪いとき、すなわち、弱電界で音声信号のS/Nが悪い状況と、弱電界ではないときで無音声区間の検出精度が異なるので、結果的に正確にＣＭを検出できない課題があった。

また、従来のＣＭ検出アルゴリズムにおけるＣＭの所要時間の計測は、１秒当たり約３０フレームとして、フレーム数をカウントすることにより行われているが、実際の放送においては、数フレーム程度の誤差が生じるので、所要時間を判定する閾値には誤差に対応するあそびが設けられている。したがって、そのあそびに起因して、ＣＭの誤検出、または未検出が発生する課題があった。

さらに、ＣＭと本編の間に５秒程度のテレビ局の宣伝用スポットが放送された場合、そのスポットは視聴者にとってはＣＭと同様なものであるが、上述したＣＭの特徴を有していないので検出できない課題があった。

本発明はこのような状況に鑑みてなされたものであり、テレビジョン放送に含まれるＣＭを確実に検出できるようにするものである。

本発明の情報処理装置は、テレビジョン放送に含まれるコマーシャルを検出する情報処理装置において、前記テレビジョン放送の無音区間を検出する無音区間検出手段と、前記テレビジョン放送のシーンチェンジを検出するシーンチェンジ検出手段と、前記無音区間検出手段および前記シーンチェンジ検出手段の検出結果に基づいて、コマーシャル候補区間を検出するコマーシャル候補区間検出手段と、複数の前記コマーシャル候補区間からコマーシャルブロックを生成するコマーシャルブロック生成手段とを備える。

前記コマーシャルブロック生成手段には、前記複数のコマーシャル候補区間のフレーム数に基づいて、前記コマーシャルブロックを生成させることができる。

前記コマーシャルブロック生成手段には、所定の閾値よりも少ないフレーム数の非コマーシャル候補区間を、前記非コマーシャル候補区間の前後に隣接する複数の前記コマーシャルブロックに包含させることができる。

本発明の情報処理方法は、テレビジョン放送に含まれるコマーシャルを検出する情報処理装置の情報処理方法において、前記テレビジョン放送の無音区間を検出する無音区間検出ステップと、前記テレビジョン放送のシーンチェンジを検出するシーンチェンジ検出ステップと、前記無音区間検出ステップおよび前記シーンチェンジ検出ステップの検出結果に基づいて、コマーシャル候補区間を検出するコマーシャル候補区間検出ステップと、複数の前記コマーシャル候補区間からコマーシャルブロックを生成するコマーシャルブロック生成ステップとを含む。

本発明の記録媒体に記録されているプログラムは、テレビジョン放送に含まれるコマーシャルを検出する情報処理装置に、前記テレビジョン放送の無音区間を検出する無音区間検出ステップと、前記テレビジョン放送のシーンチェンジを検出するシーンチェンジ検出ステップと、前記無音区間検出ステップおよび前記シーンチェンジ検出ステップの検出結果に基づいて、コマーシャル候補区間を検出するコマーシャル候補区間検出ステップと、複数の前記コマーシャル候補区間からコマーシャルブロックを生成するコマーシャルブロック生成ステップとを含む処理を実行させる。

本発明においては、テレビジョン放送の無音区間が検出され、前記テレビジョン放送のシーンチェンジが検出される。また、コマーシャル候補区間が検出され、複数の前記コマーシャル候補区間からコマーシャルブロックが生成される。

本発明によれば、テレビジョン放送に含まれるＣＭを確実に検出することが可能となる。

本発明を適用したVCRの第１の構成例について、図１を参照して説明する。記録系のチューナ２は、端子１から入力されるテレビジョン放送のＲＦ信号を復調し、得られた映像信号、音声信号、AGC信号、および音声多重モードを示す信号（以下、音声多重モード信号と記述する）を、ＣＭ検出回路３に出力する。また、チューナ２は、映像信号および音声信号を遅延回路４に出力する。

ＣＭ検出回路３は、チューナ２から入力された信号がＣＭであるか否かを判定し、その結果に対応し、スイッチ６へ制御信号として０または１を出力する。スイッチ６は、制御信号が１である場合、オフとされ、制御信号が０である場合、オンとされる。

遅延回路４は、ＣＭ検出回路３の処理に要する時間（本実施の形態においては、１分間）だけ、チューナ２から入力された映像信号および音声信号を遅延して変調回路５に出力する。変調回路５は、遅延回路４から入力された映像信号および音声信号を、所定の方式（例えば、MPEG２方式）で圧縮符号化し、さらに、所定の変調方法（例えば、EFM変調）で変調し、得られた変調信号をスイッチ６を介して書き込み回路７に出力する。書き込み回路７は、入力された変調信号を磁気テープ８に記録する。

再生系の読み取り回路９は、ユーザから入力されるコマンドに対応して、磁気テープ８に記録されている信号を読み取って復調し、図示せぬモニタに供給する。

なお、映像信号および音声信号を記録する媒体は、磁気テープに限定されるものではなく、光ディスク、光磁気ディスク、ハードディスク、半導体メモリ等であってもかまわない。

図２は、図１のＣＭ検出回路３の第１の構成例を示している。このＣＭ検出回路３において、チューナ２から入力される音声多重モード信号は無音閾値決定部１１およびＣＭ候補区間検出部１６に供給され、映像信号は遅延部１４およびシーンチェンジ検出部１５に供給され、音声信号はA/D変換部１２に供給され、AGC信号は無音閾値決定部１１に供給される。

無音閾値決定部１１は、音声多重モード信号、A/D変換部１２でデジタル化された音声信号、AGC信号、またはシーンチェンジ検出部１５から入力される信号のいずれかを用いて無音区間検出処理に用いられる閾値を演算し、無音区間検出部１３に供給する。

無音区間検出部１３は、A/D変換部１２から入力されるデジタル化された音声信号のレベルと、無音閾値決定部１１から供給された閾値を比較することにより、無音区間を検出し、その結果をシーンチェンジ検出部１５に出力する。

シーンチェンジ検出部１５は、同時に入力される２枚のフレーム画像（現フレームと、遅延部１４により１フレーム時間（１／３０秒）だけ遅延された前フレーム）を比較して、無音区間におけるシーンチェンジの有無を検出し、その結果をＣＭ候補区間検出部１６に出力する。

ＣＭ候補区間検出部１６は、音声多重モード信号と、シーンチェンジ検出部１５から供給されたシーンチェンジの情報をフレーム毎に２値化して、内蔵するメモリに記憶し、その情報に基づいてＣＭ候補区間を検出し、ＣＭ候補区間においてはスイッチ６への制御信号として１を出力し、ＣＭ候補区間以外においては制御信号として０を出力する。なお、ＣＭ候補区間検出部１６が内蔵するメモリには、過去１分間の情報を記憶させておく、その場合、内蔵されるメモリの容量は、
６０（秒）×３０（フレーム）×２（データ）×１（ビット）
となる。

次に、ＣＭ検出回路３の動作について、図３のフローチャートを参照して説明する。このＣＭ検出処理は、チューナ２からＣＭ検出回路３に各信号が入力されたときに開始される。ステップＳ１において、ＣＭ検出回路３の無音閾値決定部１１は、予め演算した（後述）、無音区間検出処理（ステップＳ２）に用いられる閾値を無音区間検出部１３に出力する。

ここで、無音閾値決定処理の詳細について、図４のフローチャートを参照して説明する。ステップＳ１１において、A/D変換部１２は、チューナ２から入力された所定の微少時間の音声信号（アナログ）を、所定のサンプリング周波数、所定の量子化レベルでデジタル化し、得られたデジタル音声信号（例えば、図５(A)）を無音閾値決定部１１に出力する。無音閾値決定部１１は、ステップＳ１２において、A/D変換部１２から入力されたデジタル音声信号を、図５(B)に示すように絶対値化し、ステップＳ１３において、絶対値化されたサンプルのレベルの平均値（図５(C)）を演算する。

ステップＳ１４において、無音閾値決定部１１は、ステップＳ１３で得た平均値と、それまで記憶していた閾値とを比較して、小さい方の値を新たな閾値として記憶する。

ステップＳ１５において、無音閾値決定部１１は、全てのチャンネルに対してステップＳ１１乃至Ｓ１４の処理を実行したか否かを判定し、全てのチャンネルに対して処理を実行していないと判定した場合、ステップＳ１６に進む。ステップＳ１６において、無音閾値決定部１１は、チューナ２にチャンネル切換信号を出力する。このチャンネル切換信号に対応して、チャンネルが切り替えられる。

その後、ステップＳ１５において、全てのチャンネルに対して、ステップＳ１１乃至Ｓ１４の処理を実行したと判定された場合、無音閾値決定処理を終了する。なお、この無音閾値決定処理は、常に所定の間隔（例えば、１０分毎）で繰り返して実行される。

なお、無音閾値決定処理の方法は、上述した方法以外にも考えられる。例えば、映像信号は存在するが、音声信号のレベルは確実に０となる、各チャンネルの放送開始時刻、および放送終了時刻において、音声信号を受信し、そのレベルｎに所定のオフセット値Δを加えた値ｎ＋Δを無音閾値としてもよい。ただし、各チャンネルの放送開始時刻および放送終了時刻は既知であるものとする。

また、チューナ２からのAGC信号を用いて無音閾値を決定してもよい。すなわち、チューナ２からのAGC信号のレベルは、図６に示すように、AGC信号のレベルと音声信号のS/Nは反比例の関係にある。したがって、AGC信号のレベルから音声信号のS/Nを推定すれば、推定されたS/Nに対応する閾値を一意的に決定することができる。

さらに、音声信号のバズ成分は、映像信号の輝度レベルに依存しているので、映像信号の輝度レベルの平均値を用いて無音閾値を決定してもよい。例えば、輝度レベルの平均値が高い場合、音声信号のバズ成分が増加し、結果的に一定期間の音声信号のレベルが高くなるので、閾値を通常よりも高めに設定し、輝度レベルの平均値が低い場合、音声信号のバズ成分が減少し、結果的に一定期間の音声信号のレベルが低くなるので、閾値を通常よりも低めに設定する。なお、映像信号の輝度の平均値Ｙ_Aは、次式のように、シーンチェンジ検出部１５で演算する。
Ｙ_A＝（ΣＤij）／ｎ×ｍ
ただし、ｉ＝１乃至ｎ，ｊ＝１乃至ｍであり、Ｄijは、図７に示すように、音声信号に対応する画像の座標（ｉ，ｊ）画素値である。

さらに、音声多重モード信号に基づいて無音閾値を決定してもよい。すなわち、音声多重モードが２カ国語放送からステレオに切り替わるときの音声信号のレベルを無音閾値としてもよい。

図３に戻る。ステップＳ２において、無音区間検出部１３は、ステップＳ１で無音閾値決定部１１から入力された閾値に基づいて無音区間を検出する。この無音区間検出処理の詳細について、図８のフローチャートを参照して説明する。

ステップＳ２１において、A/D変換部１２は、チューナ２から入力された、所定の微少時間の音声信号（アナログ）を所定のサンプリング周波数、および所定の量子化レベルでデジタル化し、得られたデジタル音声信号（例えば、図５(A)）を無音閾値決定部１１に出力する。無音区間検出部１３は、ステップＳ２２において、A/D変換部１２から入力されたデジタル音声信号を、図５(B)に示すように絶対値化し、ステップＳ２３において、絶対値化されたサンプルのレベルの平均値（図５(C)）を演算する。

ステップＳ２４において、無音閾値決定部１１は、ステップＳ２３で得た平均値が、無音閾値決定部１１から入力された閾値よりも小さいか否かを判定し、平均値が閾値よりも小さいと判定した場合、ステップＳ２５に進む。ステップＳ２５において、無音区間検出部１３は、この区間を無音区間と判定し、その情報をシーンチェンジ検出部１５に出力する。

反対に、ステップＳ２４において、平均値が閾値よりも小さくないと判定した場合、ステップＳ２６に進む。ステップＳ２６において、無音区間検出部１３は、この区間を無音区間ではない（有音区間である）と判定し、その情報をシーンチェンジ検出部１５に出力する。

図３のステップＳ３にリターンする。ステップＳ３において、シーンチェンジ検出部１５は、入力された前後する２枚のフレームにおけるシーンチェンジを検出し、その結果をＣＭ候補区間検出部１６に出力する。このシーンチェンジ検出処理の詳細について、図９のフローチャートを参照して説明する。

ステップＳ３１において、シーンチェンジ検出部１５は、無音区間検出部１３から入力された情報が無音区間を示すものであるか否かを判定し、入力された情報が無音区間を示す情報であると判定した場合、ステップＳ３２に進む。

ステップＳ３２において、シーンチェンジ検出部１５は、入力された前後する２枚のフレーム画像の相関値Ｅを演算する。具体的には、図１０に示すように、遅延部１４を介して入力された画像（遅延画像）と、遅延部１４を介さずに入力された画像（スルー画像）の対応する画素の画素値の差の絶対値の総和が相関値として次式により演算される。
Ｅ＝Σ｜Ｄij−Ｓij｜
ただし、Ｄij，Ｓijは、それぞれ、遅延画像またはスルー画像の座標（ｉ，ｊ）の画素値を表している。なお、この相関値は、フレーム間の相関の程度が小さいくなると、その値は大きくなり、フレーム間の相関の程度が大きくなると、その値は小さくなる。

ところで、相関値Ｅを演算する他の方法として、遅延画像とスルー画像の画素値のヒストグラムを用いる方法や、遅延画像とスルー画像を所定のブロックに分割し、ブロック毎に相関値を画素値の差分を求める方法を用いてもよい。

ステップＳ３３において、シーンチェンジ検出部１５は、ステップＳ３２で得られた相関値が所定の閾値よりも大きいか否かを判定し、相関値が所定の閾値よりも大きい（フレーム間の相関の程度が小さい）と判定した場合、ステップＳ３４に進む。

ステップＳ３４において、シーンチェンジ検出部１５は、入力された前後する２枚のフレーム間にはシーンチェンジが存在すると判定して、その情報をＣＭ候補区間検出部１６に出力する。

反対に、ステップＳ３３において、相関値が所定の閾値よりも大きくない（フレーム間の相関の程度が大きい）と判定された場合、ステップＳ３５に進む。

ステップＳ３５において、シーンチェンジ検出部１５は、入力された前後する２枚のフレーム間にはシーンチェンジがないと判定して、その情報をＣＭ候補区間検出部１６に出力する。

なお、ステップＳ３１において、無音区間を示す情報ではないと判定された場合、その情報がＣＭ候補区間検出部１６に出力されて、図３のステップＳ４にリターンする。

ステップＳ４において、ＣＭ候補区間検出部１６は、内蔵するメモリに２値化して記憶している過去１分間のフレーム単位の音声多重モード信号およびシ−ンチェンジ検出部１５からの情報に基づいてＣＭ候補区間を判定する。

すなわち、ＣＭ候補区間検出部１６に内蔵されるメモリには、図１１に示すように、音声多重モード信号（Audio_Multi[]）については、ステレオモードが１、モノラルモードおよび２カ国語モードが０として記録され、シーンチェンジ検出部１５から入力された情報（Scene_Change[]））については、シーンチェンジであるフレームが１、シーンチェンジではないフレームが０として記録されている。

ＣＭ候補区間検出部１６は、内蔵するメモリを参照し、図１２(A)に示すように、シーンチェンジを示す信号が１であるフレーム（シーンチェンジ点）毎に区間（いまの場合、シーンチェンジ区間０乃至１０）を区切り、各シーンチェンジ区間を構成するフレーム数を３０で除算することにより、その区間の時間を演算する。また、ＣＭ候補区間検出部１６は、図１２(B)に示すように、音声多重モード信号が１である連続するフレームをステレオ区間とする。さらに、ＣＭ候補区間検出部１６は、図１２(C)に示すように、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が１５秒の整数倍であり、且つ、ステレオ区間である区間をＣＭ候補区間と判定し、ＣＭ候補区間においてはスイッチ６への制御信号として１を出力し、ＣＭ候補区間以外においてはスイッチ６への制御信号として０を出力する。

なお、スイッチ６は、この制御信号が１であるときオフとされ、０であるときオンとされるが、スイッチ６には、遅延回路４で１分間だけ遅延されたことにより、ＣＭ候補区間検出部１６からの制御信号に同期している、変調された映像信号および音声信号が変調回路５から入力されているので、スイッチ６の後段には、本編の映像信号および音声信号だけが供給され、ＣＭ候補区間の映像信号および音声信号は供給されない。したがって、磁気テープ８には、テレビジョン放送のうちのＣＭ候補区間を除いた本編だけが記録される。

次に、ＣＭ候補区間検出部１６の他の動作例について説明する。この動作例は、ＣＭが有する絶対的な特徴ではないが、ＣＭの一般的な傾向（ＣＭにおいてはシーンチェンジが複数回行われる）をＣＭ候補区間の検出条件に追加したものである。

この動作例において、ＣＭ候補区間検出部１６が内蔵するメモリには、図１３に示すように、図１１に示した情報に、無音区間検出部１３の出力である無音区間を示す情報（No_Sound[]）（有音部分は０、無音区間は１）が追加されて記録される。なお、この場合、内蔵されるメモリの容量は、
６０（秒）×３０（フレーム）×３（データ）×１（ビット）
だけ必要となる。

ＣＭ候補区間検出部１６は、内蔵するメモリを参照し、図１４(A)に示すように、無音区間を抽出し、図１４(B)に示すように、シーンチェンジ点を抽出して、図１４(C)に示すように、無音区間におけるシーンチェンジ点毎にシーンチェンジ区間（図１４(C)の場合、シーンチェンジ区間０乃至１０）を区切り、各シーンチェンジ区間を構成するフレーム数を３０で除算することにより、その区間の時間を演算する。

また、ＣＭ候補区間検出部１６は、図１４(D)に示すように、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が１５秒の整数倍となるようにグループ化し、図１４(E)に示すように、音声多重モード信号が１である区間を抽出し、図１４(F)に示すように、１５秒の整数倍にグループ化され、且つ、ステレオ区間である区間（いまの場合、区間ａ乃至ｃ、および区間ｄ，ｅ）をＣＭ候補区間と判定する。さらに、ＣＭ候補区間検出部１６は、図１４(G)に示すように、隣接するＣＭ候補区間の両端のＣＭ候補区間（いまの場合、ＣＭ候補区間ａ，ｃ，ｄ，ｅ）におけるシーンチェンジの回数を所定の閾値（例えば、１）と比較して、シーンチェンジの回数が閾値よりも大きいＣＭ候補区間（いまの場合、ＣＭ候補区間ａ，ｃ）をＣＭ区間と判定する。なお、ＣＭ候補区間ａ，ｃに挟まれているＣＭ候補区間ｂもＣＭ区間と判定される。

ＣＭ候補区間検出部１６は、ＣＭ区間においてはスイッチ６への制御信号として１を出力し、ＣＭ区間ではない区間においてはスイッチ６への制御信号として０を出力する。

次に、ＣＭ候補区間検出部１６のさらに他の動作例について説明する。この動作例は、ＣＭが有する絶対的な特徴が変更された場合（例えば、ＣＭの時間が１５秒の整数倍から、１４秒の整数倍に変更された等）、特徴の変更に対応してＣＭ候補区間の判定に用いる基準値を変更するものである。

この動作例において、ＣＭ候補区間検出部１６は、内蔵するメモリ（図１１）を参照し、図１５(A)に示すように、シーンチェンジを示す信号が１であるフレーム毎にシーンチェンジ区間（いまの場合、シーンチェンジ区間０乃至１０）を区切り、各シーンチェンジ区間を構成するフレーム数を３０で除算することにより、その区間の時間を演算する。また、ＣＭ候補区間検出部１６は、図１５(B)に示すように、音声多重モード信号が１である連続するフレームをステレオ区間とする。

ここで、ＣＭ候補区間検出部１６は、ステレオ区間の時間と、そのステレオ区間に隣接するステレオ区間ではない区間の時間を比較し、ステレオ区間の時間が十分に短い場合、そのステレオ区間（例えば、シーンチェンジ区間１乃至４、シーンチェンジ区間８，９）をＣＭ候補区間と判定する。

次に、ＣＭ候補区間検出部１６は、ＣＭ候補区間（シーンチェンジ区間１乃至４）の合計時間が５６秒であることから、ＣＭの時間は７秒単位、１４秒単位、または２８秒単位のいずれかであると判定し、さらに、ＣＭ候補区間検出部１６は、シーンチェンジが１４秒または２８秒の間隔で行われていることから、最終的に、ＣＭの時間が１４秒の整数倍であると判定する。

以上のような結果（ＣＭの時間が１４秒の整数倍であると判定される）が所定の回数以上連続して得られた場合、ＣＭ候補区間検出部１６は、ＣＭの時間は１４秒の整数倍に変更されたと判定して、以後、１４秒の整数倍をＣＭ区間検出の基準値として使用する。

なお、ＣＭが有する絶対的な特徴が変更された場合（上述したようなＣＭ時間の変更や欧米におけるブラックフレーム、ブルーフレーム挿入の廃止等）、変更された絶対的な特徴に対応して変更したＣＭ区間判定用の基準値を、装置外部からＣＭ候補区間検出部１６に供給するようにしてもよい。この場合、ＣＭ候補区間検出部１６においては、ＣＭ区間検出用の基準値をフラッシュメモリのような書き換え可能な記録媒体に格納しておけばよい。

次に、ＣＭ検出回路３の第２の構成例について、図１６を参照して説明する。この構成例は、図２に示した構成例にＣＭブロック検出部２１を追加したものである。ＣＭブロック検出部２１は、ＣＭ候補区間検出部１６で検出された単独のＣＭ候補区間のフレーム数を用いて、本編と本編の間に挟まれた複数のＣＭからなるＣＭブロックを検出し、その結果に基づいてスイッチ６へ制御信号を出力する。

この構成例によれば、以下に記述するようなＣＭの特徴を利用してＣＭブロックを検出することができる。すなわち、複数のＣＭが連続して放送される場合、個々のＣＭとしては標準的なフレーム数に対して５フレーム程度の誤差を有しているが、ＣＭブロック（連続する複数のＣＭ）としては、標準的なフレーム数に対する誤差が３フレーム程度である。例えば、１５秒間のＣＭが４本連続して放送される場合、個々のＣＭのフレーム数は、４５０±５（＝１５×３０±５）であるが、ＣＭブロックのフレーム数は、１８００±２０（＝１５×４×３０±５×４）とはならずに、１８００±３となる。

次に、その動作について図１７，図１８を参照して説明する。ＣＭブロック検出部２１は、ＣＭ候補区間検出部１６が検出した各ＣＭ候補区間（図１７(A)のシーンチェンジ区間１＋２，３，４，８，９）について、そのフレーム数をＣＭ候補区間検出部１６から読み出し、隣接するＣＭ候補区間のフレーム数を合計して、その値が上述した誤差の許容範囲（±３）に収まっているか否かを判定する。ＣＭブロック検出部２１は、合計したフレーム数が誤差の許容範囲に収まっていると判定した場合、その隣接するＣＭ候補区間をＣＭブロックであると判定し、反対に、合計したフレーム数が誤差の許容範囲に収まっていないと判定した場合、その隣接するＣＭ候補区間をＣＭブロックではないと判定する。

いまの場合、図１７(D)に示すように、隣接するＣＭ候補区間（シーンチェンジ区間１乃至４）のフレーム数の合計は、１８０３（＝４５３＋４４６＋９０４）であり、標準的なフレーム数１８００（＝６０秒×３０フレーム）に対する誤差（３）は、許容範囲内であるので、隣接するＣＭ候補区間（シーンチェンジ区間１乃至４）は、ＣＭブロックであると判定される。

一方、隣接するＣＭ候補区間（シーンチェンジ区間８，９）のフレーム数の合計は、９１０（＝４５５＋４５５）であり、標準的なフレーム数９００（＝３０秒×３０フレーム）に対する誤差（１０）は、許容範囲外であるので、隣接するＣＭ候補区間（シーンチェンジ区間８，９）は、ＣＭブロックではないと判定される。

図１８(C)に示すようなＣＭ候補区間がＣＭ候補区間検出部１６から入力された場合、ＣＭブロック検出部２１は、上述した図１７の場合と同様に、シーンチェンジ区間１乃至４（ＣＭブロックＡとする）、およびシーンチェンジ区間７乃至１０（ＣＭブロックＢとする）を、ＣＭブロックであると判定する。

さらに、ＣＭブロック検出部２１は、ＣＭブロックＡ，Ｂに挟まれたＣＭ候補区間ではない区間（シーンチェンジ区間５，６）のフレーム数をＣＭ候補区間検出部１６から読み出して、そのフレーム数（いまの場合、１５０）が所定の閾値（例えば、３００フレーム（１０秒））以下である場合、その区間は本編ではなく、ユーザにとってはＣＭと同様なものであると判断して、前後するＣＭブロックＡ，Ｂに包含する。すなわち、ＣＭブロック検出部２１は、図１８(D)に示すように、シーンチェンジ区間１乃至１０を、１つのＣＭブロックであると判定する。

なお、ＣＭブロック検出部２１は、ＣＭブロックにおいてはスイッチ６への制御信号として１を出力し、ＣＭブロック以外においてはスイッチ６への制御信号として０を出力する。

次に、ＣＭ検出回路３の第３の構成例について、図１９を参照して説明する。この構成例は、図２に示した第１の構成例にＣＭ特徴量検出部３１を追加したものである。ＣＭ特徴量検出部３１には、前後する２枚のフレーム画像（映像信号）、デジタル化された音声信号、ＣＭ候補区間検出部１６に内蔵されるメモリに記憶されている情報（図１１）、およびＣＭ候補区間検出部１６が検出したＣＭ候補区間の情報が供給される。ＣＭ特徴量検出部３１は、供給される情報が、ＣＭの様々な特徴を有しているか否かを判定し、その結果に基づいて、ＣＭ区間を検出する。さらに、ＣＭ特徴量検出部３１は、検出結果に対応してスイッチ６に制御信号を出力する。

ＣＭ特徴量検出部３１の動作について、図２０のフローチャートを参照して説明する。この特徴量検出処理は、ＣＭ候補区間検出部１６が検出した各ＣＭ候補区間に対して実行される。

ステップＳ４１において、ＣＭ特徴量検出部３１は、評価値を０に初期化する。ステップＳ４２において、ＣＭ特徴量検出部３１は、ＣＭ候補区間検出部１６から入力されたＣＭ候補区間のシーンチェンジ回数をカウントして、シーンチェンジ回数が所定の閾値（１５秒当たり５回）以上であるか否かを判定し、計測したシーンチェンジ回数が所定の閾値以上であると判定した場合、評価値に１を加算する。反対に、計測したシーンチェンジ回数が所定の閾値以上ではないと判定された場合、評価値への加算は行われない。この処理は、ＣＭにおいては頻繁にシーンチェンジが行われるという、一般的な特徴に基づくものである。

ステップＳ４２において、ＣＭ特徴量検出部３１は、ＣＭ候補区間の音声信号の周期性を検出する。この音声信号の周期性検出処理は、ＣＭにおいてはBGMが用いられるという、一般的な特徴に基づくものである。

この音声信号の周期性検出処理について、図２１のフローチャートを参照して説明する。ステップＳ６１において、ＣＭ特徴量検出部３１は、図２２に示すように、A/D変換部１２から入力された音声信号のレベルが所定の閾値以上である点とピークとして検出する（図２２(B)）。ただし、図２２(A)は音声信号をアナログで表示している。

ステップＳ６２において、ＣＭ特徴量検出部３１は、ステップＳ６１で検出したピークが所定の期間（数秒）よりも長く周期性を有しているか否かを判定する。周期性を判定するには、例えば、FFT(Fast Fourier Transform)を用いてもよいし、単にピークの間隔を計測してもよい。検出したピークが所定の期間よりも長く周期性を有していると判定された場合、ステップＳ６３に進む。

ステップＳ６３において、ＣＭ特徴量検出部３１は、評価値に１を加算する。

ステップＳ６２において、検出したピークが所定の期間よりも長く周期性を有していないと判定された場合、評価値への加算は行われないので、ステップＳ６３はスキップされる。

図２０のステップＳ４４にリターンする。ステップＳ４４において、ＣＭ特徴量検出部３１は、ＣＭ候補区間の音声信号および映像信号の連続性を検出する。この連続性検出処理について、図２３のフローチャートを参照して説明する。

ステップＳ７１において、ＣＭ特徴量検出部３１は、音声信号のピークの周期性が、ＣＭ候補区間の９５％以上の時間よりも長く継続しているか否かを判定する。ピークの周期性の継続時間の計測については、上述したステップＳ４３で得られた情報を利用する。音声信号のピークの周期性が、ＣＭ候補区間の９５％以上の時間よりも長く継続していると判定された場合、ステップＳ７２に進む。

ステップＳ７２において、ＣＭ特徴量検出部３１は、評価値に１を加算する。

ステップＳ７３において、ＣＭ特徴量検出部３１は、前後する２枚の画像の対応する画素の画素値の差分を演算し、その差分が所定に閾値以下である画素、すなわち、２枚の画像間で動きがない画素を検出する。ステップＳ７４において、ＣＭ特徴量検出部３１は、ステップＳ７３で検出した画素の画素値のヒストグラムを生成し、その最大値を示す画素値を背景の代表色として検出する。なお、ステップＳ７３，Ｓ７４の処理は、ＣＭ候補区間において、所定の間隔で繰り返し実行される。

ステップＳ７５において、ＣＭ特徴量検出部３１は、ステップＳ７４で検出した複数の背景の代表色を参照し、同じ画素値が連続して背景の代表色として検出されているか否かを判定する。同じ画素値が連続して背景の代表色として検出されていると判定された場合、ステップＳ７６に進む。

ステップＳ７６において、ＣＭ特徴量検出部３１は、評価値に１を加算する。

なお、ステップＳ７１において、音声信号のピークの周期性が、ＣＭ候補区間の９５％以上の時間よりも長く継続していないと判定された場合、評価値に加算を行わないので、ステップＳ７２はスキップされる。

また、ステップＳ７５において、同じ画素値が連続して背景の代表色として検出されていないと判定された場合、評価値への加算は行われないので、ステップＳ７６はスキップされる。

図２０のステップＳ４５にリターンする。ステップＳ４５において、ＣＭ特徴量検出部３１は、画像の再現性を検出する。この再現性検出処理は、例えば、１５秒間のケチャップのＣＭが、緑色の森のシーン（３秒）、青色の空のシーン（２秒）、緑色の森のシーン（２秒）、赤色のケチャップのシーン（３秒）、緑色の森のシーン（２秒）、および、赤色のケチャップのシーン（３秒）で構成されるように、ＣＭにおいては、同じ画像が再現されるという、一般的な特徴に基づくものである。

この画像の再現性検出処理について、図２４のフローチャートを参照して説明する。ステップＳ８１において、ＣＭ特徴量検出部３１は、ＣＭ候補区間をシーンチェンジ点で区分する。ステップＳ８２において、ＣＭ特徴量検出部３１は、ステップＳ８１で区分した各シーンの画素値のヒストグラムを１６階調で生成し、最大値を示す画素値を、そのシーンの代表色として検出する。

ステップＳ８３において、ＣＭ特徴量検出部３１は、ＣＭ候補区間において、シーンの代表色が再現されているか（異なるシーンで同じ代表色が検出されているか）否かを判定する。シーンの代表色が再現されていると判定された場合、ステップＳ８４に進む。

ステップＳ８４において、ＣＭ特徴量検出部３１は、評価値に１を加算する。

なお、ステップＳ８３において、シーンの代表色が再現されていないと判定された場合、評価値への加算は行われないので、ステップＳ８４はスキップされる。

図２０のステップＳ４６にリターンする。ステップＳ４６において、ＣＭ特徴量検出部３１は、図２６(A)に示すようなテロップ（字幕）を検出する。このテロップ検出処理は、ＣＭの終了時にはテロップが表示するという、一般的な特徴に基づくものである。

このテロップ検出処理について、図２５のフローチャートを参照して説明する。ステップＳ９１において、ＣＭ特徴量検出部３１は、ＣＭ候補区間の終了側の所定の時間（例えば、５秒間）の各フレーム画像において、図２６(B)に示すように、等しい画素値をもち、且つ、所定の数よりも多く隣接している画素を検出する。

ステップＳ９２において、ＣＭ特徴量検出部３１は、図２６(C)に示すように、ステップＳ９１で検出した画素と等しい画素値をもつ画素を検索して領域化する。

ステップＳ９３において、ＣＭ特徴量検出部３１は、ステップＳ９２で得られた領域が時間方向に連続しているか（前後するフレームにも同じ領域が存在するか）否かを判定する。領域が時間方向に連続していると判定された場合、ステップＳ９４に進む。

ステップＳ９４において、ＣＭ特徴量検出部３１は、画像上の全ての領域の重心を検出し、その重心と領域上の各点との距離の平均値を演算して、さらに、その平均値と所定の閾値とを比較することにより、領域が密集しているか否かを判定する。領域が密集していると判定された場合、ステップＳ９５に進む。

ステップＳ９５において、ＣＭ特徴量検出部３１は、評価値に１を加算する。

なお、ステップＳ９３において、領域が時間方向に連続していないと判定された場合、評価値への加算は行われないので、ステップＳ９５はスキップされる。

図２０のステップＳ４７に戻る。ステップＳ４７において、ＣＭ特徴量検出部３１は、上述したテロップ検出処理と同様に方法を用いて、ＣＭ候補区間の開始から終了までの全区間において、画像上に文字（テロップを含む）が所定の時間よりも長く存在するか否かを判定する。画像上に文字が所定の時間よりも長く存在すると判定された場合、評価値に１が加算される。反対に、画像上に文字が所定の時間よりも長く存在しないと判定された場合、評価値への加算は行われない。なお、この処理は、ＣＭにおいては文字が表示されるという、一般的な特徴に基づくものである。

ステップＳ４８において、ＣＭ特徴量検出部３１は、ＣＭ候補区間の開始点および終了点以外の無音区間の割合を検出する。この無音率検出処理は、ＣＭにおいては無音区間が少ないという、一般的な特徴に基づくものである。無音率検出処理について、図２７のフローチャートを参照して説明する。

ステップＳ１０１において、ＣＭ特徴量検出部３１は、ＣＭ候補区間検出部１６に内蔵されているメモリに記憶されている情報（図１１）を読み出して、図２８に示すように、ＣＭ候補区間の開始点および終了点以外の無音区間のフレーム数を検出する。さらに、ＣＭ特徴量検出部３１は、江検出した無音区間のフレーム数を、ＣＭ候補区間を構成する全フレーム数で除算することにより、無音率を演算する。

ステップＳ１０２において、ＣＭ特徴量検出部３１は、ステップＳ１０１で演算した無音率が所定の閾値よりも小さいか否かを判定する。無音率が所定の閾値よりも小さいと判定された場合、ステップＳ１０３に進む。

ステップＳ１０３において、ＣＭ特徴量検出部３１は、評価値に１を加算する。

なお、ステップＳ１０２において、無音率が所定の閾値よりも小さくないと判定された場合、評価値への加算は行われないので、ステップＳ１０３はスキップされる。

図２０のステップＳ４９にリターンする。ステップＳ４９において、ＣＭ特徴量検出部３１は、評価値が所定の閾値よりも大きいか否かを判定し、評価値が所定の閾値よりも大きいと判定した場合、ステップＳ５０に進む。ステップＳ５０において、ＣＭ特徴量検出部３１は、ＣＭ候補区間をＣＭ区間であると判定する。

なお、ステップＳ４９において、評価値が所定の閾値よりも大きくないと判定された場合、ステップＳ５１に進む。ステップＳ５１において、ＣＭ特徴量検出部３１は、ＣＭ候補区間をＣＭ区間ではないと判定する。

この判定結果に対応して、ＣＭ特徴量検出部３１は、ＣＭ区間においてはスイッチ６への制御信号として１を出力し、ＣＭ区間以外においてはスイッチ６への制御信号として０を出力する。

以上のように、本実施の形態であるVCR（図１）においては、テレビジョン放送のうちの本編だけが磁気テープ８に録画され、ＣＭは録画されない。したがって、この磁気テープ８を再生した場合、本編だけが連続して表示される。

ところで、ＣＭを再生時には早送りするものの、録画はしておきたいというユーザのニーズが存在するので、そのようなニーズに対応する、本発明を適用したVCRの第２の構成例について、図２９を参照して説明する。この構成例は、図１に示した構成例からスイッチ６を削除し、ＣＭ検出回路３のＣＭ検出結果を書き込み回路７に供給するようにしたものである。

この構成例の記録系において、書き込み回路７は、変調回路５から入力される全て（テレビジョン放送の本編とＣＭ）の映像信号と音声信号を磁気テープ８に記録とともに、ＣＭ検出回路３からの情報に基づいて、磁気テープ８の所定の位置に、ＣＭの関する情報（ＣＭの時間的な位置等）を記録する。

再生系において、読み取り回路９は、ユーザから本編だけを再生するコマンド（ＣＭを除去するコマンド）が入力された場合、磁気テープ９の所定の位置に記録されているＣＭに関する情報に基づいてＣＭを除去（早送り等）し、本編だけを復調して図示せぬモニタに供給する。

なお、本発明の適用は、VCRに限定されるものではなく、テレビジョン受像機やチューナ等に適用することが可能である。

また、上記各処理を行うコンピュータプログラムは、磁気ディスク、CD-ROM等の情報記録媒体よりなる提供媒体のほか、インターネット、デジタル衛星などのネットワーク提供媒体を介してユーザに提供することができる。

本発明を適用したVCRの第１の構成例を示すブロック図である。 図１のＣＭ検出回路３の第１の構成例を示すブロック図である。 ＣＭ検出回路３の動作を説明するフローチャートである。 図２の無音閾値決定部１１の処理を説明するフローチャートである。 図２の無音閾値決定部１１の動作を説明するための図である。 図２の無音閾値決定部１１の動作を説明するための図である。 図２の無音閾値決定部１１の動作を説明するための図である。 図３のステップＳ２の無音区間検出処理を説明するフローチャートである。 図３のステップＳ３のシーンチェンジ検出処理を説明するフローチャートである。 シーンチェンジ検出処理を説明するための図である。 ＣＭ候補区間検出部１６に内蔵されるメモリに記録されている情報を説明するための図である。 ＣＭ候補区間検出部１６の処理を説明するための図である。 ＣＭ候補区間検出部１６に内蔵されるメモリに記録されている情報を説明するための図である。 ＣＭ候補区間検出部１６の処理を説明するための図である。 ＣＭ候補区間検出部１６の処理を説明するための図である。 図１のＣＭ検出回路３の第２の構成例を示すブロック図である。 図１６のＣＭブロック検出部２１の処理を説明するための図である。 図１６のＣＭブロック検出部２１の処理を説明するための図である。 図１のＣＭ検出回路３の第３の構成例を示すブロック図である。 図１９のＣＭ特徴量検出部３１の動作を説明するフローチャートである。 図２０のステップＳ４３の音声信号の周期性検出処理を説明するフローチャートである。 音声信号の周期性検出処理を説明するための図である。 図２０のステップＳ４４の連続性検出処理を説明するフローチャートである。 図２０のステップＳ４５の再現性検出処理を説明するフローチャートである。 図２０のステップＳ４６のテロップ検出処理を説明するフローチャートである。 テロップ転出処理を説明するための図である。 図２０のステップＳ４８の無音率検出処理を説明するフローチャートである。 無音率検出処理を説明するための図である。 本発明を適用したVCRの第２の構成例を示すブロック図である。

符号の説明

２ チューナ， ３ ＣＭ検出回路， ４ 遅延回路， ５ 変調回路， ６ スイッチ， ７ 書き込み回路， ８ 磁気テープ， ９ 読み取り回路， １１ 無音閾値決定部， １２ A/D変換部， １３ 無音区間検出部， １４ 遅延部， １５ シーンチェンジ検出部， １６ ＣＭ候補区間検出部， ２１ ＣＭブロック検出部， ３１ ＣＭ特徴量検出部

Claims (5)

1. テレビジョン放送に含まれるコマーシャルを検出する情報処理装置において、
   前記テレビジョン放送の無音区間を検出する無音区間検出手段と、
   前記テレビジョン放送のシーンチェンジを検出するシーンチェンジ検出手段と、
   前記無音区間検出手段および前記シーンチェンジ検出手段の検出結果に基づいて、コマーシャル候補区間を検出するコマーシャル候補区間検出手段と、
   複数の前記コマーシャル候補区間からコマーシャルブロックを生成するコマーシャルブロック生成手段と
   を備えることを特徴とする情報処理装置。
2. 前記コマーシャルブロック生成手段は、前記複数のコマーシャル候補区間のフレーム数に基づいて、前記コマーシャルブロックを生成する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記コマーシャルブロック生成手段は、所定の閾値よりも少ないフレーム数の非コマーシャル候補区間を、前記非コマーシャル候補区間の前後に隣接する複数の前記コマーシャルブロックに包含する
   ことを特徴とする請求項２に記載の情報処理装置。
4. テレビジョン放送に含まれるコマーシャルを検出する情報処理装置の情報処理方法において、
   前記テレビジョン放送の無音区間を検出する無音区間検出ステップと、
   前記テレビジョン放送のシーンチェンジを検出するシーンチェンジ検出ステップと、
   前記無音区間検出ステップおよび前記シーンチェンジ検出ステップの検出結果に基づいて、コマーシャル候補区間を検出するコマーシャル候補区間検出ステップと、
   複数の前記コマーシャル候補区間からコマーシャルブロックを生成するコマーシャルブロック生成ステップと
   を含むことを特徴とする情報処理方法。
5. テレビジョン放送に含まれるコマーシャルを検出する情報処理装置に、
   前記テレビジョン放送の無音区間を検出する無音区間検出ステップと、
   前記テレビジョン放送のシーンチェンジを検出するシーンチェンジ検出ステップと、
   前記無音区間検出ステップおよび前記シーンチェンジ検出ステップの検出結果に基づいて、コマーシャル候補区間を検出するコマーシャル候補区間検出ステップと、
   複数の前記コマーシャル候補区間からコマーシャルブロックを生成するコマーシャルブロック生成ステップと
   を含む処理を実行させるコンピュータが読み取り可能なプログラムが記録されたことを特徴とする記録媒体。

Images