JP2004336507A - 映像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】番組本編を連続して視聴できるようにすると共に、視聴者にＣＭを視聴させる。
【解決手段】番組本編用バッファ２０５は、映像信号における番組本編およびコマーシャルの少なくとも一方の配置に基づいて、映像信号のうちの番組本編を記憶する。ＣＭ用バッファ２０４は、映像信号のうちのコマーシャルを記憶する。制御部２０１は、映像信号における番組本編およびコマーシャルの少なくとも一方の配置に基づいて、コマーシャルを表示すべき区間であるか否かを判定する。合成部２０６は、画面全体に時間的に連続するように番組本編を表示させると共に、コマーシャルを表示すべき区間であると判定された場合、画面の右下にコマーシャルを表示させるように、記憶されている番組本編とコマーシャルとを合成する。本発明は、映像信号を記録する記録装置に適用できる。
【選択図】 図２４

Description

【０００１】
【発明の属する技術分野】
本発明は映像処理装置および方法、記録媒体、並びにプログラムに関し、特に、コマーシャルが含まれている映像信号を処理する映像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
テレビジョン放送により放送された番組をビデオカセットに録画するという行為は、既に一般に広く定着している。これにより、視聴者は、ビデオカセットに録画された番組を所望するときに視聴することが可能となる。録画された番組を視聴者が視聴するとき、視聴者にとって便利な機能がビデオカセットレコーダーに搭載されていることが少なくない。その機能の一つとしてコマーシャル（Ｃｏｍｍｅｒｃｉａｌ）（以下、ＣＭとも称する。）を飛ばす機能がある。地上波などの無料放送では、大抵の場合、番組本編と番組本編の合間や番組本編の途中（以下、両者をまとめて番組本編間と称する）にＣＭが挿入されている。しかしながら、番組本編を楽しみたい視聴者にとってこのＣＭを飛ばして番組本編だけを視聴したいという要求がある。その要求に応えるべく多くのビデオカセットレコーダーにＣＭを飛ばす機能が搭載されている。
【０００３】
図１は、放送局より放送されるテレビジョン放送の番組本編およびＣＭの構成例を示す図である。図１において、１つの四角は、所定の時間の動画像を表している。以下の図においても同様である。
【０００４】
図１において、区間Ｐ１、区間Ｐ２、および区間Ｐ３は、番組本編が表示される期間を示し、区間Ｃ１および区間Ｃ２はＣＭが表示される期間を示す。ビデオカセットなどに録画することなくテレビジョン放送を視聴する場合、視聴者は、区間Ｐ１の番組本編、区間Ｃ１のＣＭ、区間Ｐ２の番組本編、区間Ｃ２のＣＭ、および区間Ｐ３の番組本編の順に視聴することとなる。
【０００５】
図２は、図１に示したテレビジョン放送を録画して再生したときに表示される画像を示す図である。図２における区間Ｐ１、区間Ｐ２、および区間Ｐ３は、録画された番組本編が表示される期間を示し、区間Ｃ１および区間Ｃ２は録画された番組本編間のＣＭが表示される期間を示している。通常の再生方法では、まず区間Ｐ１の番組本編が再生され、続いて区間Ｃ１のＣＭ、区間Ｐ２の番組本編、区間Ｃ２のＣＭ、区間Ｐ３の番組本編の順に通常の再生速度で再生される。対して、ＣＭを飛ばす機能を利用した再生方法において、まず区間Ｐ１の番組本編が通常の再生速度で再生され、続く区間Ｃ１のＣＭは通常の再生速度よりも速い速度で再生される。区間Ｐ２の番組本編は再び通常の再生速度で再生され、続く区間Ｃ２のＣＭは通常の再生速度よりも速い速度で再生される。区間Ｐ３の番組本編は再び通常の再生速度で再生される。ＣＭは通常よりも短い時間で再生されるため、視聴者はＣＭに費やす時間を節約し、番組本編により集中して楽しむことが可能となる。
【０００６】
図３は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などランダムアクセス可能な記録媒体に、図１に示したテレビジョン放送を録画した場合の再生の例を示す図である。通常の再生方法では、まず区間Ｐ１の番組本編が再生され、続いて区間Ｃ１のＣＭ、区間Ｐ２の番組本編、区間Ｃ２のＣＭ、区間Ｐ３の番組本編が順に通常の再生速度で再生される。対して、ＣＭを飛ばす機能を利用した再生方法では、図２で示される再生方法の他に次の再生方法が可能である。まず区間Ｐ１の番組本編を通常の再生速度で再生し、続く区間Ｃ１のＣＭは再生せずに（スキップし）、区間Ｐ２の番組本編を通常の再生速度で再生する。続く区間Ｃ２のＣＭは再生せずに（スキップし）、区間Ｐ３の番組本編を通常の再生速度で再生する。ビデオカセットではテープ媒体の性質上ランダムアクセスができないため、ＣＭを飛ばすためにＣＭを通常の再生速度よりも速い速度で再生するのに対して、ＤＶＤやＨＤＤのようにランダムアクセスが可能な記録媒体ではＣＭを再生することなく番組本編のみを連続して再生することが可能である。
【０００７】
ＣＭを再生しないため、視聴者は、ＣＭに費やす時間をビデオテープの場合よりも更に節約し、番組本編により集中して楽しむことが可能となる。
【０００８】
さらに、この機能を録画時や編集時に利用することで、図４で示されるように、区間Ｃ１のＣＭおよび区間Ｃ２のＣＭを取り除いて、区間Ｐ１の番組本編、区間Ｐ２の番組本編、および区間Ｐ３の番組本編を連続させて番組本編を構成することが可能となる。ＣＭを取り除いた番組本編を構成することによって、ＤＶＤやＨＤＤなどの記録媒体の記録量を節約できるといった利点や、この記録媒体を他のプレーヤで再生してもＣＭが取り除かれた番組本編を楽しむことがきるといった利点がある。
【０００９】
また、順次供給される一連の放送データを、供給される順序と関連付けて記憶部に記憶し、この放送データに含まれる所定の識別情報に基づいて、放送データのコマーシャル部分をコマーシャル検出部で検出し、放送データの再生時に、この検出されたコマーシャル部分がまず記憶部から順に読み出されて再生部において画像や音声などに再生され、この検出されたコマーシャル部分が全て再生された後に、コマーシャル部分を除く他の一連の放送データが供給順序に応じて記憶部から順に読み出され、再生部において再生されるようにしているものもある（例えば、特許文献１参照）。
【００１０】
【特許文献１】
特開２００２−３２５２２６号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、番組本編だけを再生し、ＣＭを再生しない機能が一般に広く利用された場合、無料放送のビジネスモデルが成立しなくなってしまう恐れがある。図５は、無料放送のビジネスモデルの大枠を示す図である。スポンサー１は、商品・役務４の販売または提供の促進のために、放送局２に広告料を払って広告（ＣＭ）の放送を依頼する。放送局２は視聴者３に広告を視聴させるようにするため、視聴者にとって魅力的な番組本編を制作し、その番組本編間にＣＭを挿入する。
【００１２】
視聴者３は放送局２が放送する番組本編を楽しむ代償として番組本編間に挿入されたＣＭをも視聴する。ＣＭは、スポンサー１の商品・役務４に対する、視聴者３の購買意欲を促進する。ＣＭを視聴した視聴者３が商品・役務４に興味を持った場合、視聴者３はスポンサー１の商品・役務４を購入し、購入代金の一部として、その料金をスポンサー１に支払うことになる。つまり、視聴者３は直接放送局２に番組本編視聴料という名目で料金を支払うことはないものの、スポンサー１の商品・役務４を購入することで放送局２に間接的に視聴料を支払っているといえる。
【００１３】
さて、図３や図４で示したような機能、つまりＣＭを全く視聴することなく番組本編のみの視聴を可能にする機能を持った録画機が普及した場合、視聴者３は、スポンサー１から放送局２に放送が依頼されたＣＭを視聴しなくなってしまう。すると、放送されたＣＭは商品・役務４の販売提供の促進に結びつかなくなる。スポンサー１は販売促進に役立たないＣＭに多額の広告料を費やすことはできないため、広告の量を減らしたり、全く止めてしまう可能性がある。スポンサー１からの広告料によって番組本編を製作している放送局２は、広告料が減少することによって番組本編製作に投資できる予算の減額を余儀なくされる。
【００１４】
すると魅力的な番組本編が減ってしまい、視聴者３はテレビジョン放送から離れてしまう。視聴者３がテレビジョン放送から離れれば、更にＣＭが商品・役務４の販売促進に繋がらなくなり、スポンサー１は更にＣＭを控えるようになるという悪循環に陥る可能性がある。このように、無料放送においては、視聴者３がＣＭを視聴することが魅力的な番組本編制作に繋がっており、録画再生時にＣＭを取り除くという行為は好ましくないといえる。
【００１５】
しかしながら、視聴者にとってＣＭを取り除くことへの要求が大きいこともまた事実である。
【００１６】
本発明はこのような状況に鑑みてなされたものであり、番組本編を連続して視聴できるようにすると共に、視聴者にＣＭを視聴させることができるようにすることを目的とする。または、連続してＣＭを視聴しなければならない時間を短縮し、すぐに番組本編の視聴を再開できるようにすることを目的する。
【００１７】
【課題を解決するための手段】
本発明の第１の映像処理装置は、第１の画像に第２の画像が時間を区切って挿入されている映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第１の画像の記憶を制御する第１の記憶制御手段と、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第２の画像の記憶を制御する第２の記憶制御手段と、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、第２の画像を表示すべき区間であるか否かを判定する判定手段と、画面上の第１の領域に時間的に連続するように第１の画像を表示させると共に、第２の画像を表示すべき区間であると判定された場合、画面上の第２の領域に第２の画像を表示させるように、記憶されている第１の画像と第２の画像とを合成する合成手段とを含むことを特徴とする。
【００１８】
第１の画像は、映像信号の本編の画像とし、第２の画像は、コマーシャルの画像とすることができる。
【００１９】
映像処理装置は、映像信号から、第２の画像を検出する画像検出手段をさらに設け、第１の記憶制御手段は、画像検出手段での第２の画像の検出の結果に基づいて、映像信号のうちの第１の画像の記憶を制御し、第２の記憶制御手段は、画像検出手段での第２の画像の検出の結果に基づいて、映像信号のうちの第２の画像の記憶を制御し、判定手段は、画像検出手段での第２の画像の検出の結果に基づいて、第２の画像を表示すべき区間であるか否かを判定するようにすることができる。
【００２０】
映像処理装置は、映像信号における第１の画像および第２の画像の少なくとも一方の配置を示す配置情報の受信を制御する受信制御手段をさらに設け、第１の記憶制御手段は、配置情報に基づいて、映像信号のうちの第１の画像の記憶を制御し、第２の記憶制御手段は、配置情報に基づいて、映像信号のうちの第２の画像の記憶を制御し、判定手段は、配置情報に基づいて、第２の画像を表示すべき区間であるか否かを判定するようにすることができる。
【００２１】
映像処理装置は、第２の画像を縮小する縮小手段をさらに設け、第２の記憶制御手段は、縮小された第２の画像の記憶を制御し、合成手段は、記憶されている第１の画像と縮小された第２の画像とを合成するようにすることができる。
【００２２】
映像処理装置は、第１の画像を縮小する第１の縮小手段と、第２の画像を縮小する第２の縮小手段とをさらに設け、第１の記憶制御手段は、縮小された第１の画像の記憶を制御し、第２の記憶制御手段は、縮小された第２の画像の記憶を制御し、合成手段は、記憶されている、縮小された第１の画像と縮小された第２の画像とを合成するようにすることができる。
【００２３】
判定手段は、第２の領域に第２の画像を時間的に繰り返して表示させるように、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、第２の画像を表示すべき区間であるか否かを判定するようにすることができる。
【００２４】
合成手段は、画面上の複数の第２の領域に第２の画像を表示させるように、記憶されている第１の画像と第２の画像とを合成するようにすることができる。
【００２５】
合成手段は、画面の横方向の中心に、横方向の中心が一致するか、または画面の縦方向の中心に、縦方向の中心が一致する第１の領域に第１の画像を表示させるように、記憶されている第１の画像と第２の画像とを合成するようにすることができる。
【００２６】
映像処理装置は、映像信号を記録する記録手段をさらに設け、第１の記憶制御手段は、記録手段から読み出された映像信号のうちの第１の画像の記憶を制御し、第２の記憶制御手段は、記録手段から読み出された映像信号のうちの第２の画像の記憶を制御するようにすることができる。
【００２７】
映像処理装置は、合成手段で合成された第１の画像と第２の画像とからなる映像信号を記録する記録手段をさらに設けることができる。
【００２８】
本発明の第１の映像処理方法は、第１の画像に第２の画像が時間を区切って挿入されている映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第１の画像の記憶を制御する第１の記憶制御ステップと、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第２の画像の記憶を制御する第２の記憶制御ステップと、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、第２の画像を表示すべき区間であるか否かを判定する判定ステップと、画面上の第１の領域に時間的に連続するように第１の画像を表示させると共に、第２の画像を表示すべき区間であると判定された場合、画面上の第２の領域に第２の画像を表示させるように、記憶されている第１の画像と第２の画像とを合成する合成ステップとを含むことを特徴とする。
【００２９】
本発明の第１の記録媒体のプログラムは、第１の画像に第２の画像が時間を区切って挿入されている映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第１の画像の記憶を制御する第１の記憶制御ステップと、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第２の画像の記憶を制御する第２の記憶制御ステップと、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、第２の画像を表示すべき区間であるか否かを判定する判定ステップと、画面上の第１の領域に時間的に連続するように第１の画像を表示させると共に、第２の画像を表示すべき区間であると判定された場合、画面上の第２の領域に第２の画像を表示させるように、記憶されている第１の画像と第２の画像とを合成する合成ステップとを含むことを特徴とする。
【００３０】
本発明の第１のプログラムは、第１の画像に第２の画像が時間を区切って挿入されている映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第１の画像の記憶を制御する第１の記憶制御ステップと、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第２の画像の記憶を制御する第２の記憶制御ステップと、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、第２の画像を表示すべき区間であるか否かを判定する判定ステップと、画面上の第１の領域に時間的に連続するように第１の画像を表示させると共に、第２の画像を表示すべき区間であると判定された場合、画面上の第２の領域に第２の画像を表示させるように、記憶されている第１の画像と第２の画像とを合成する合成ステップとをコンピュータに実行させることを特徴とする。
【００３１】
本発明の第２の映像処理装置は、第１の画像に、１または連続している複数の第２の画像が時間を区切って挿入されている映像信号における第２の画像の配置に基づいて、映像信号のうちの第１の画像の記憶を制御する第１の記憶制御手段と、映像信号における第２の画像の配置に基づいて、映像信号のうちの第２の画像の記憶を制御する第２の記憶制御手段と、映像信号における第２の画像の配置に基づいて、映像信号において第１の画像の個々の区切りに挿入されている数以下の第２の画像が第１の画像を時間を区切って配置されるように、記憶されている第１の画像および第２の画像のいずれか一方を選択することにより、第１の画像と第２の画像とを合成する合成手段とを含むことを特徴とする。
【００３２】
第１の画像は、映像信号の本編の画像とし、第２の画像は、コマーシャルの画像とすることができる。
【００３３】
映像処理装置は、映像信号から、第２の画像を検出する画像検出手段をさらに設け、第１の記憶制御手段は、画像検出手段での第２の画像の検出の結果に基づいて、映像信号のうちの第１の画像の記憶を制御し、第２の記憶制御手段は、画像検出手段での第２の画像の検出の結果に基づいて、映像信号のうちの第２の画像の記憶を制御し、合成手段は、画像検出手段での第２の画像の検出の結果に基づいて、記憶されている第１の画像および第２の画像のいずれか一方を選択することにより、第１の画像と第２の画像とを合成するようにすることができる。
【００３４】
映像処理装置は、映像信号における第２の画像の配置を示す配置情報の受信を制御する受信制御手段をさらに設け、第１の記憶制御手段は、配置情報に基づいて、映像信号のうちの第１の画像の記憶を制御し、第２の記憶制御手段は、配置情報に基づいて、映像信号のうちの第２の画像の記憶を制御し、合成手段は、配置情報に基づいて、記憶されている第１の画像および第２の画像のいずれか一方を選択することにより、第１の画像と第２の画像とを合成するようにすることができる。
【００３５】
本発明の第２の映像処理方法は、第１の画像に、１または連続している複数の第２の画像が時間を区切って挿入されている映像信号における第２の画像の配置に基づいて、映像信号のうちの第１の画像の記憶を制御する第１の記憶制御ステップと、映像信号における第２の画像の配置に基づいて、映像信号のうちの第２の画像の記憶を制御する第２の記憶制御ステップと、映像信号における第２の画像の配置に基づいて、映像信号において第１の画像の個々の区切りに挿入されている数以下の第２の画像が第１の画像を時間を区切って配置されるように、記憶されている第１の画像および第２の画像のいずれか一方を選択することにより、第１の画像と第２の画像とを合成する合成ステップとを含むことを特徴とする。
【００３６】
本発明の第２の記録媒体のプログラムは、第１の画像に、１または連続している複数の第２の画像が時間を区切って挿入されている映像信号における第２の画像の配置に基づいて、映像信号のうちの第１の画像の記憶を制御する第１の記憶制御ステップと、映像信号における第２の画像の配置に基づいて、映像信号のうちの第２の画像の記憶を制御する第２の記憶制御ステップと、映像信号における第２の画像の配置に基づいて、映像信号において第１の画像の個々の区切りに挿入されている数以下の第２の画像が第１の画像を時間を区切って配置されるように、記憶されている第１の画像および第２の画像のいずれか一方を選択することにより、第１の画像と第２の画像とを合成する合成ステップとを含むことを特徴とする。
【００３７】
本発明の第２のプログラムは、第１の画像に、１または連続している複数の第２の画像が時間を区切って挿入されている映像信号における第２の画像の配置に基づいて、映像信号のうちの第１の画像の記憶を制御する第１の記憶制御ステップと、映像信号における第２の画像の配置に基づいて、映像信号のうちの第２の画像の記憶を制御する第２の記憶制御ステップと、映像信号における第２の画像の配置に基づいて、映像信号において第１の画像の個々の区切りに挿入されている数以下の第２の画像が第１の画像を時間を区切って配置されるように、記憶されている第１の画像および第２の画像のいずれか一方を選択することにより、第１の画像と第２の画像とを合成する合成ステップとをコンピュータに実行させることを特徴とする。
【００３８】
本発明の第１の映像処理装置、第１の映像処理方法、第１の記録媒体、および第１のプログラムにおいては、第１の画像に第２の画像が時間を区切って挿入されている映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第１の画像の記憶が制御され、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第２の画像の記憶が制御される。そして、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、第２の画像を表示すべき区間であるか否かが判定され、画面上の第１の領域に時間的に連続するように第１の画像を表示させると共に、第２の画像を表示すべき区間であると判定された場合、画面上の第２の領域に第２の画像を表示させるように、記憶されている第１の画像と第２の画像とが合成される。
【００３９】
映像処理装置は、独立した装置であっても良いし、記録再生装置の映像処理を行うブロックであっても良い。
【００４０】
本発明の第２の映像処理装置、第２の映像処理方法、第２の記録媒体、および第２のプログラムにおいては、第１の画像に、１または連続している複数の第２の画像が時間を区切って挿入されている映像信号における第２の画像の配置に基づいて、映像信号のうちの第１の画像の記憶が制御され、映像信号における第２の画像の配置に基づいて、映像信号のうちの第２の画像の記憶が制御される。そして、映像信号における第２の画像の配置に基づいて、映像信号において第１の画像の個々の区切りに挿入されている数以下の第２の画像が第１の画像を時間を区切って配置されるように、記憶されている第１の画像および第２の画像のいずれか一方を選択することにより、第１の画像と第２の画像とが合成される。
【００４１】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００４２】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００４３】
請求項１に記載の映像処理装置は、第１の画像に第２の画像が時間を区切って挿入されている映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第１の画像の記憶を制御する第１の記憶制御手段（例えば、図２４の番組本編用バッファ２０５）と、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第２の画像の記憶を制御する第２の記憶制御手段（例えば、図２４のＣＭ用バッファ２０４）と、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、第２の画像を表示すべき区間であるか否かを判定する判定手段（例えば、図２４の制御部２０１）と、画面上の第１の領域に時間的に連続するように第１の画像を表示させると共に、第２の画像を表示すべき区間であると判定された場合、画面上の第２の領域に第２の画像を表示させるように、記憶されている第１の画像と第２の画像とを合成する合成手段（例えば、図２４の合成部２０６）とを含むことを特徴とする。
【００４４】
請求項３に記載の映像処理装置は、映像信号から、第２の画像を検出する画像検出手段（例えば、図６のＣＭ検出部３２）をさらに設け、第１の記憶制御手段は、画像検出手段での第２の画像の検出の結果に基づいて、映像信号のうちの第１の画像の記憶を制御し、第２の記憶制御手段は、画像検出手段での第２の画像の検出の結果に基づいて、映像信号のうちの第２の画像の記憶を制御し、判定手段は、画像検出手段での第２の画像の検出の結果に基づいて、第２の画像を表示すべき区間であるか否かを判定するようにすることができる。
【００４５】
請求項４に記載の映像処理装置は、映像信号における第１の画像および第２の画像の少なくとも一方の配置を示す配置情報の受信を制御する受信制御手段（例えば、図６の通信部３３）をさらに設け、第１の記憶制御手段は、配置情報に基づいて、映像信号のうちの第１の画像の記憶を制御し、第２の記憶制御手段は、配置情報に基づいて、映像信号のうちの第２の画像の記憶を制御し、判定手段は、配置情報に基づいて、第２の画像を表示すべき区間であるか否かを判定するようにすることができる。
【００４６】
請求項５に記載の映像処理装置は、第２の画像を縮小する縮小手段（例えば、図２４の画像縮小部２０３）をさらに設け、第２の記憶制御手段は、縮小された第２の画像の記憶を制御し、合成手段は、記憶されている第１の画像と縮小された第２の画像とを合成するようにすることができる。
【００４７】
請求項６に記載の映像処理装置は、第１の画像を縮小する第１の縮小手段（例えば、図３７の画像縮小部３６３）と、第２の画像を縮小する第２の縮小手段（例えば、図３７の画像縮小部３６２）とをさらに設け、第１の記憶制御手段は、縮小された第１の画像の記憶を制御し、第２の記憶制御手段は、縮小された第２の画像の記憶を制御し、合成手段は、記憶されている、縮小された第１の画像と縮小された第２の画像とを合成するようにすることができる。
【００４８】
請求項１０に記載の映像処理装置は、映像信号を記録する記録手段（例えば、図６の記録部３４）をさらに設け、第１の記憶制御手段は、記録手段から読み出された映像信号のうちの第１の画像の記憶を制御し、第２の記憶制御手段は、記録手段から読み出された映像信号のうちの第２の画像の記憶を制御するようにすることができる。
【００４９】
請求項１１に記載の映像処理装置は、合成手段で合成された第１の画像と第２の画像とからなる映像信号を記録する記録手段（例えば、図３０の記録部３４）をさらに設けることができる。
【００５０】
請求項１２に記載の映像処理方法は、第１の画像に第２の画像が時間を区切って挿入されている映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第１の画像の記憶を制御する第１の記憶制御ステップ（例えば、図２５のステップＳ２０５の処理）と、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第２の画像の記憶を制御する第２の記憶制御ステップ（例えば、図２５のステップＳ２０４の処理）と、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、第２の画像を表示すべき区間であるか否かを判定する判定ステップ（例えば、図２６のステップＳ２２１の処理）と、画面上の第１の領域に時間的に連続するように第１の画像を表示させると共に、第２の画像を表示すべき区間であると判定された場合、画面上の第２の領域に第２の画像を表示させるように、記憶されている第１の画像と第２の画像とを合成する合成ステップ（例えば、図２６のステップＳ２２４およびステップＳ２２７の処理）とを含むことを特徴とする。
【００５１】
請求項１３に記載の記録媒体のプログラムは、第１の画像に第２の画像が時間を区切って挿入されている映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第１の画像の記憶を制御する第１の記憶制御ステップ（例えば、図２５のステップＳ２０５の処理）と、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第２の画像の記憶を制御する第２の記憶制御ステップ（例えば、図２５のステップＳ２０４の処理）と、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、第２の画像を表示すべき区間であるか否かを判定する判定ステップ（例えば、図２６のステップＳ２２１の処理）と、画面上の第１の領域に時間的に連続するように第１の画像を表示させると共に、第２の画像を表示すべき区間であると判定された場合、画面上の第２の領域に第２の画像を表示させるように、記憶されている第１の画像と第２の画像とを合成する合成ステップ（例えば、図２６のステップＳ２２４およびステップＳ２２７の処理）とを含むことを特徴とする。
【００５２】
請求項１４に記載のプログラムは、第１の画像に第２の画像が時間を区切って挿入されている映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第１の画像の記憶を制御する第１の記憶制御ステップ（例えば、図２５のステップＳ２０５の処理）と、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第２の画像の記憶を制御する第２の記憶制御ステップ（例えば、図２５のステップＳ２０４の処理）と、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、第２の画像を表示すべき区間であるか否かを判定する判定ステップ（例えば、図２６のステップＳ２２１の処理）と、画面上の第１の領域に時間的に連続するように第１の画像を表示させると共に、第２の画像を表示すべき区間であると判定された場合、画面上の第２の領域に第２の画像を表示させるように、記憶されている第１の画像と第２の画像とを合成する合成ステップ（例えば、図２６のステップＳ２２４およびステップＳ２２７の処理）とをコンピュータに実行させることを特徴とする。
【００５３】
請求項１５に記載の映像処理装置は、第１の画像に、１または連続している複数の第２の画像が時間を区切って挿入されている映像信号における第２の画像の配置に基づいて、映像信号のうちの第１の画像の記憶を制御する第１の記憶制御手段（例えば、図４７の番組本編用バッファ２０５）と、映像信号における第２の画像の配置に基づいて、映像信号のうちの第２の画像の記憶を制御する第２の記憶制御手段（例えば、図４７のＣＭ用バッファ５０２）と、映像信号における第２の画像の配置に基づいて、映像信号において第１の画像の個々の区切りに挿入されている数以下の第２の画像が第１の画像を時間を区切って配置されるように、記憶されている第１の画像および第２の画像のいずれか一方を選択することにより、第１の画像と第２の画像とを合成する合成手段（例えば、図４７の合成部５０３）とを含むことを特徴とする。
【００５４】
請求項１７に記載の映像処理装置は、映像信号から、第２の画像を検出する画像検出手段（例えば、図６のＣＭ検出部３２）をさらに設け、第１の記憶制御手段は、画像検出手段での第２の画像の検出の結果に基づいて、映像信号のうちの第１の画像の記憶を制御し、第２の記憶制御手段は、画像検出手段での第２の画像の検出の結果に基づいて、映像信号のうちの第２の画像の記憶を制御し、合成手段は、画像検出手段での第２の画像の検出の結果に基づいて、記憶されている第１の画像および第２の画像のいずれか一方を選択することにより、第１の画像と第２の画像とを合成するようにすることができる。
【００５５】
請求項１８に記載の映像処理装置は、映像信号における第２の画像の配置を示す配置情報の受信を制御する受信制御手段（例えば、図６の通信部３３）をさらに設け、第１の記憶制御手段は、配置情報に基づいて、映像信号のうちの第１の画像の記憶を制御し、第２の記憶制御手段は、配置情報に基づいて、映像信号のうちの第２の画像の記憶を制御し、合成手段は、配置情報に基づいて、記憶されている第１の画像および第２の画像のいずれか一方を選択することにより、第１の画像と第２の画像とを合成するようにすることができる。
【００５６】
請求項１９に記載の映像処理方法は、第１の画像に、１または連続している複数の第２の画像が時間を区切って挿入されている映像信号における第２の画像の配置に基づいて、映像信号のうちの第１の画像の記憶を制御する第１の記憶制御ステップ（例えば、図４９のステップＳ５０４の処理）と、映像信号における第２の画像の配置に基づいて、映像信号のうちの第２の画像の記憶を制御する第２の記憶制御ステップ（例えば、図４９のステップＳ５０３の処理）と、映像信号における第２の画像の配置に基づいて、映像信号において第１の画像の個々の区切りに挿入されている数以下の第２の画像が第１の画像を時間を区切って配置されるように、記憶されている第１の画像および第２の画像のいずれか一方を選択することにより、第１の画像と第２の画像とを合成する合成ステップ（例えば、図５０のステップＳ５２１乃至ステップＳ５２４の処理）とを含むことを特徴とする。
【００５７】
請求項２０に記載の記録媒体のプログラムは、第１の画像に、１または連続している複数の第２の画像が時間を区切って挿入されている映像信号における第２の画像の配置に基づいて、映像信号のうちの第１の画像の記憶を制御する第１の記憶制御ステップ（例えば、図４９のステップＳ５０４の処理）と、映像信号における第２の画像の配置に基づいて、映像信号のうちの第２の画像の記憶を制御する第２の記憶制御ステップ（例えば、図４９のステップＳ５０３の処理）と、映像信号における第２の画像の配置に基づいて、映像信号において第１の画像の個々の区切りに挿入されている数以下の第２の画像が第１の画像を時間を区切って配置されるように、記憶されている第１の画像および第２の画像のいずれか一方を選択することにより、第１の画像と第２の画像とを合成する合成ステップ（例えば、図５０のステップＳ５２１乃至ステップＳ５２４の処理）とを含むことを特徴とする。
【００５８】
請求項２１に記載のプログラムは、第１の画像に、１または連続している複数の第２の画像が時間を区切って挿入されている映像信号における第２の画像の配置に基づいて、映像信号のうちの第１の画像の記憶を制御する第１の記憶制御ステップ（例えば、図４９のステップＳ５０４の処理）と、映像信号における第２の画像の配置に基づいて、映像信号のうちの第２の画像の記憶を制御する第２の記憶制御ステップ（例えば、図４９のステップＳ５０３の処理）と、映像信号における第２の画像の配置に基づいて、映像信号において第１の画像の個々の区切りに挿入されている数以下の第２の画像が第１の画像を時間を区切って配置されるように、記憶されている第１の画像および第２の画像のいずれか一方を選択することにより、第１の画像と第２の画像とを合成する合成ステップ（例えば、図５０のステップＳ５２１乃至ステップＳ５２４の処理）とをコンピュータに実行させることを特徴とする。
【００５９】
図６は、本発明に係る録画装置の一実施の形態の構成を示すブロック図である。本発明に係る録画装置においては、番組本編に、コマーシャルが時間を区切って挿入されている映像信号から、コマーシャルが検出され、コマーシャルの検出の結果に基づいて、番組本編を時間的に連続させると共に、画面上の所定の領域に番組本編の画像を表示させ、画面上の他の領域にコマーシャルの画像を表示させるように、番組本編の画像とコマーシャルの画像とが合成されることにより、映像信号が再構成される。
【００６０】
録画装置１１は、映像信号を記録し、記録している映像信号を読み出して、映像信号を表示装置１６に供給する。表示装置１６は、録画装置１１から供給された映像信号を基に、画像を表示する。
【００６１】
録画装置１１には、図示せぬ放送局から送信され、アンテナ１２によって受信されたテレビジョン放送の信号、またはネットワーク１３を介してサーバ１４から供給された映像信号が入力される。映像信号を録画装置１１に供給する放送または通信は、地上波または人工衛星による放送だけでなく、有線放送、インターネットなどのネットワーク１３を介した映像信号の送信など多数の形態がある。放送または通信の形態は、映像信号を録画装置１１に供給できれば足り、本発明を限定するものではない。
【００６２】
ここで、ネットワーク１３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはインターネットなどでなり、有線通信または無線通信によって、サーバ１４またはサーバ１５から供給される、映像信号またはＣＭ情報などの各種のデータを録画装置１１に供給する通信網である。サーバ１４は、ネットワーク１３を介して、映像信号を録画装置１１に供給する。サーバ１５は、ネットワーク１３を介して、ＣＭ情報を録画装置１１に供給する。
【００６３】
ここで、ＣＭ情報は、映像信号における番組本編およびコマーシャルの少なくとも一方の時間的な配置を示す情報である。例えば、ＣＭ情報は、映像信号の始めを基準として、ＣＭの最初の時刻およびＣＭの最後の時刻を示す。より詳細に説明すれば、例えば、ＣＭ情報は、映像信号の始めを基準として、ＣＭの最初のフレームの番号およびＣＭの最後のフレームの番号を示す。
【００６４】
また、例えば、ＣＭ情報は、映像信号の始めを基準として、ＣＭが終わって番組本編が始まる時刻、および番組本編が終わってＣＭが始まる時刻を示すようにしてもよい。
【００６５】
録画装置１１は、信号入力部３１、ＣＭ検出部３２、通信部３３、記録部３４、ＣＭ再構成部３５、および信号出力部３６を含む。
【００６６】
録画装置１１に入力された映像信号は、信号入力部３１に供給される。信号入力部３１は、地上波による放送、衛星放送、または有線放送を受信するチューナなどでなり、録画装置１１に入力された映像信号を取得し、取得した映像信号をＣＭ検出部３２および記録部３４に供給する。また、信号入力部３１は、ネットワーク１３を介してサーバ１４から送信された映像信号を受信するＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）などのネットワークインターフェースまたはモデムなどの受信装置とすることができる。
【００６７】
ＣＭ検出部３２は、映像信号の番組本編に、コマーシャルが時間を区切って挿入されている映像信号から、コマーシャルを検出する。すなわち、ＣＭ検出部３２は、後述する処理で、映像信号からＣＭを検出して、映像信号に対するＣＭ情報を生成して、生成したＣＭ情報を記録部３４に供給する。
【００６８】
なお、ＣＭ検出部３２は、デジタル放送におけるＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ：電子番組案内）から、ＣＭ情報を生成するようにしてもよい。
【００６９】
通信部３３は、ネットワーク１３を介して、サーバ１５にＣＭ情報を要求し、サーバ１５から送信されたＣＭ情報の受信を制御する。すなわち、通信部３３は、ネットワーク１３を介してサーバ１５から送信された、所定の番組、すなわち映像信号に対するＣＭ情報を受信して、記録部３４に供給する。
【００７０】
記録部３４は、内蔵しているかまたは装着された、ハードディスク、光ディスク、光磁気ディスク、または半導体メモリなどの、固定記録媒体またはリムーバブル（ｒｅｍｏｖａｂｌｅ）記録媒体に、信号入力部３１から供給された映像信号と、ＣＭ検出部３２または通信部３３から供給されたＣＭ情報とを記録させる。この場合において、ＣＭ情報は、対応する映像信号（番組）に関係付けられて記録される。
【００７１】
ＣＭ再構成部３５は、記録部３４にＣＭ情報および映像信号を再生させて、記録部３４からＣＭ情報および映像信号を読み出して、読み出した映像信号のコマーシャルの画像と本編の画像とを合成することにより、映像信号を再構成する。
【００７２】
図７および図８は、ＣＭ再構成部３５によって、再構成された映像信号により表示される画像の例を示す図である。
【００７３】
図７は、１つの画面における、番組本編とコマーシャルとの再構成の例を説明する図である。前述したようにテレビジョン放送において、番組本編とＣＭとは時間を区切って時系列に送られてくる。ＣＭ再構成部３５は、この時系列に送られてくる番組本編とＣＭの時間的順序関係や空間的位置関係を再構成する。すなわち、例えば、ＣＭ再構成部３５は、画面全体に表示される番組本編の画像である本編画像５１に対して、右下にＣＭの画像５２が表示されるように、映像信号を再構成する。
【００７４】
図８は、時間を考慮した、番組本編とコマーシャルとの再構成の例を説明する図である。記録部３４は、信号入力部３１によって取得された映像信号をそのまま記録している。すなわち、区間Ｐ１の番組本編、区間Ｃ１のＣＭ、区間Ｐ２の番組本編、区間Ｃ２のＣＭ、および区間Ｐ３の番組本編の順序で放送された映像信号がそのまま記録部３４に記録されている。
【００７５】
ＣＭ再構成部３５は、記録部３４に記録されている映像信号を再生するとき、区間Ｃ１のＣＭの画像を縮小してから区間Ｃ１の次の区間Ｐ２の番組本編の画像に空間的に挿入するように、ＣＭの画像と番組本編の画像とを合成する。同様に、ＣＭ再構成部３５は、区間Ｃ２のＣＭの画像を縮小してから区間Ｃ２の次の区間Ｐ３の番組の本編の画像に空間的に挿入するように、ＣＭの画像と番組本編の画像とを合成する。
【００７６】
このようにＣＭの画像をそのＣＭに後続する番組の本編の画像に空間的に挿入することにより、視聴者が実際に視聴する映像において、図８の下側で示されるように本編が、時間的に連続することになる。
【００７７】
図６に戻り、ＣＭ再構成部３５は、このように再構成された（合成された）映像信号を信号出力部３６に供給する。信号出力部３６は、ＣＭ再構成部３５から供給された映像信号を、必要に応じて復号し、復号された映像信号を表示装置１６に出力する。表示装置１６は、録画装置１１から供給された映像信号を基に、番組本編の画像とＣＭの画像とが再構成された画像を表示する。
【００７８】
このように、ＣＭを取り除くことによる上述の弊害を防ぎつつ、ＣＭによって途切れることなく、視聴者は番組本編を連続的に楽しむことが可能となる。
【００７９】
図６で構成が示される録画装置１１において、記録部３４は、映像信号およびＣＭ情報を記録するので、ＣＭ検出部３２は、１つの映像信号に対して、ＣＭ検出の処理を１回実行すればよい。
【００８０】
また、記録部３４は、信号入力部３１で取得された映像信号をそのまま記録するので、録画装置１１は、ＣＭの画像と本編の画像とを合成しないで、信号入力部３１で取得された映像信号をそのまま使用して番組を視聴させることができる。
【００８１】
図９は、録画装置１１による、記録の処理を説明するフローチャートである。ステップＳ１１において、信号入力部３１は、放送若しくは有線放送によって、またはネットワーク１３を介してサーバ１４から送られてくる映像信号を入力し、映像信号を取得する。ステップＳ１２において、ＣＭ検出部３２は、ステップＳ１１の処理によって取得された映像信号を基に、ＣＭ検出の処理を実行する。ＣＭ検出の処理の詳細は、後述する。
【００８２】
なお、ステップＳ１２において、通信部３３が、ネットワーク１３を介して、サーバ１５から送信された、映像信号における、コマーシャルの画像での配置を示すＣＭ情報を受信するようにしてもよい。
【００８３】
ステップＳ１３において、記録部３４は、ステップＳ１１の処理によって取得された映像信号、およびステップＳ１２の処理の結果得られたＣＭ情報を記録する。ステップＳ１４において、録画装置１１は、入力信号が終了したか否かを判定し、入力信号が終了していないと判定された場合、ステップＳ１１に戻り、上述した処理を繰り返す。
【００８４】
ステップＳ１４において、入力信号が終了したと判定された場合、処理は終了する。
【００８５】
このように、記録部３４には、映像信号、および映像信号における番組本編およびコマーシャルの少なくとも一方の時間的な配置を示すＣＭ情報が記録される。
【００８６】
図１０は、録画装置１１による、出力の処理を説明するフローチャートである。ステップＳ３１において、記録部３４は、内蔵されているか、または装着されている記録媒体に記録されている映像信号およびＣＭ情報を再生することにより、映像信号およびＣＭ情報を読み出す。読み出された映像信号およびＣＭ情報は、ＣＭ再構成部３５に供給される。
【００８７】
ステップＳ３２において、ＣＭ再構成部３５は、記録部３４から供給された、ＣＭ情報を基に、映像信号のＣＭ再構成の処理を実行する。ＣＭ再構成の処理の詳細は、後述する。ＣＭ再構成部３５は、ＣＭ再構成の処理によって、ＣＭが再構成された映像信号を信号出力部３６に供給する。
【００８８】
ステップＳ３３において、信号出力部３６は、必要に応じて、映像信号を復号して、映像信号を表示装置１６に出力する。ステップＳ３４において、録画装置１１は、記録信号が終了したか否かを判定し、記録信号が終了していないと判定された場合、ステップＳ３１に進み、上述した処理を繰り返す。ステップＳ３４において、記録信号が終了したと判定された場合、処理は終了する。
【００８９】
次に、ＣＭ検出部３２について述べる前に、ＣＭ検出部３２において、例えばＴＶ放送信号である映像信号および音声信号からＣＭ部分を検出する際の原理について概説する。
【００９０】
一般に、ＴＶ放送されるＣＭは、放送者の指定する規格に基づいて製作されるため、その「時間長（１つのＣＭの時間）はごく少数の種類に限定」される。例えば日本国内においては、特殊な例を除くほぼ全てのＣＭが、１５秒、３０秒、６０秒の長さで製作されている。
【００９１】
また、ＣＭの放送時には、番組本編や他のＣＭとは独立に製作されたものがＴＶ放送ストリーム中に挿入されるため、各ＣＭの前後では必然的に「音声レベルが下がる（すなわち小音量となる）」こと、及び、「映像信号が切り替わる」こと、という特徴を持つ。ここで、「音声レベルが下がる」とは、必ずしも無音（ここでは極微小なノイズしかない部分という意味）と同義ではない。すなわち、実際には、ＣＭと本編との切り替えのタイミングなどにより、必ずしも完全に無音とはならないまま切り替わることがあるからである。
【００９２】
上述したように、ＣＭについての「規定時間長（少数種類の時間長）」、「小音量」、「映像切り替わり」という３つの特徴は、ほぼ全てのＣＭが示すパターンである。本発明では、このようにほぼ全てのＣＭが示す信号のパターンを「特徴的パターン」と称し、それを検出するための条件を「必須条件」と称することにする。
【００９３】
したがって、ＴＶ放送信号から当該必須条件に対応する信号部分を検出するようにすれば、誤棄却がほとんどなく決定論的にＣＭの候補（すなわちＣＭであろうと思われる信号部分）を検出することが可能となる。但し、番組本編内にも、偶然そのような必須条件を満たしてしまう部分が多く存在するため、上記必須条件を用いただけでは、番組本編の一部をＣＭ候補として誤検出してしまう虞が残る。
【００９４】
一方で、上記必須条件と比べて例外は多く存在するものの、ＣＭの性質上、多くのＣＭが満たすか若しくは一定の傾向を示す特徴としては、以下のようなものがある。
【００９５】
１）ＣＭの前後（ＣＭが開始される直前とＣＭが終了して本編番組が開始又は再開される直前）では、通常の番組本編内よりも音声レベルが低くなることが多い。
【００９６】
２）ＣＭと番組本編との間、及び、あるＣＭと他のＣＭとの間の、ほぼ無音となる区間長は、数百ミリ秒程度であることが多い。
【００９７】
３）ＴＶ放送内に含まれる有音区間は、ＣＭの規定時間長（１５秒、３０秒、６０秒等）より百ミリ秒程度以上短いことが多く、また１秒程度以上短いことは少ない。
【００９８】
４）ステレオ音声信号の左チャンネル（Ｌチャンネル）と右チャンネル（Ｒチャンネル）の相関値は、１より有意に小さいことが多い。
【００９９】
５）ＣＭ期間中は、番組本編より音量が大きめである傾向がある。
【０１００】
６）ＣＭの放送モードは、ステレオモードであることが多い。
【０１０１】
７）ＣＭ区間では、複数のＣＭが連続して放送されることが多い。
【０１０２】
８）ＣＭ期間中は、映像カットの切り替わり頻度が高いことが多い。
【０１０３】
９）逆に、ＣＭ期間中であっても、カットの切り替わり頻度が極端に低いものがある（例えば静止画によるＣＭなど）。
【０１０４】
１０）番組本編とＣＭとの境界や、あるＣＭと他のＣＭの境界では、音質が大きく変化することが多い。
【０１０５】
１１）ＣＭは、音声と音楽を同時に含むことが多い。
【０１０６】
１２）番組編成上、毎時丁度の時刻近辺では、ＣＭが放送される確率が高い。
【０１０７】
１３）同様に、毎時３０分付近でもＣＭが放送される確率が高い。
【０１０８】
１４）番組のジャンルによってＣＭが放送される確率の高い時間帯がある（例えばサッカー中継のハーフタイムなど）。
【０１０９】
ＣＭ検出部３２では、以下、これらの特徴に基づく条件を「付加条件」と称することにする。すなわち、当該付加条件は、ＣＭが、規格に基づいて製作されるという制約、短い時間で宣伝効果を上げるためのものであるという制約、及び、番組構成上の都合などによる制約の元で製作された結果として、ＴＶ放送信号上に現れてくることによる条件である。したがって、この付加条件は、決定論的な取り扱いができるほど確実な条件ではないものの、ＣＭである可能性（ＣＭらしさ）を評価する際の有効な条件となる。
【０１１０】
さらに、ＴＶ放送においては、同時に同じチャンネルで複数の映像及び音声が放送されることは物理的にありえないという特徴がある。すなわち、ＴＶ放送信号からＣＭであろうと思われる信号部分（ＣＭ候補）を検出しようとする場合において、例えば、ＴＶ放送信号中に、上記付加条件を満たす複数の映像及び音声区間がオーバーラップして存在し、何らかの処理の結果、当該オーバーラップ区間でＣＭ候補が検出されたとしても、そのオーバーラップしている複数の映像及び音声内の少なくともどちらかの区間は、正しいＣＭ区間ではあり得ない。本発明では、ＴＶ放送におけるこのような特徴に基づく条件を、「論理条件」と称することにする。
【０１１１】
ＣＭ検出部３２では、以上説明した「必須条件」、「論理条件」、「付加条件」を合理的かつ効果的に利用することにより、ＴＶ放送信号から高精度でＣＭ部分を検出可能としている。
【０１１２】
より具体的に言うと、ＣＭ検出部３２では、「必須条件」に基づき、決定論的にＴＶ放送信号中からＣＭ候補（ＣＭであろうと思われる信号部分）を抽出し、「付加条件」に基づくＣＭらしさ（ＣＭである可能性）の統計論的な評価によってＣＭ候補を選択し、「論理条件」によりＣＭ候補のオーバーラップ関係を解消することにより、精度の高いＣＭ検出を実現するものである。
【０１１３】
図１１には、上記ＣＭ検出部３２の詳細な構成を示す。当該ＣＭ検出部３２は、大別して、復号部１０１、時計部１０２、フロントエンド部、およびバックエンド部とから構成されている。また、図中の動作制御部１２３は、復号部１０１から供給された後述するチャンネル情報１０１ｄに基づいて、上記復号部１０１において明らかにＣＭが放送されない放送チャンネルの指定がなされているか否か判断し、その判断結果に応じて、当該図１１の各部におけるＣＭ検出動作を行わないように制御するものである。
【０１１４】
信号入力部によって取得された映像信号は、復号部１０１に入力される。復号部１０１は、映像信号の放送モード（モノラルモード／ステレオモード／音声多重モード）を判別し、また、映像信号に含まれる映像及び音声の変調信号を復号する。このとき、音声変調信号は、上記判別した放送モードに応じて復号される。当該復号部１０１により復号された映像信号１０１ａ、音声信号１０１ｂ、及び放送モード信号１０１ｃは、それぞれ、Ａ／Ｄ変換器１１０、Ａ／Ｄ変換器１１３、および特徴量バッファ１１８に入力される。
【０１１５】
時計部１０２は、時刻を表す時間信号１０２ａを発生し、当該時間信号１０２ａを特徴量バッファ１１８に供給する。また、この特徴量バッファ１１８には、復号部１０１から、上記同調された放送チャンネルを示すチャンネル情報１０１ｄも供給される。当該チャンネル情報１０１ｄは、ＣＭが含まれない放送チャンネルが指定されたか否かを、ＣＭ検出部３２において判断する為に用いられる。すなわち、ＣＭ検出部３２は、上記チャンネル情報１０１ｄにより、上記復号部１０１において明らかにＣＭが放送されない放送チャンネルの映像信号の復号がなされていると判断した場合、上記ＣＭ検出動作を行わないようにする。なお、ここでは、ＣＭ検出部３２自身がチャンネル情報１０１ｄに基づいてＣＭ検出動作を行うか否か判断することとしているが、信号入力部３１がチャンネル情報１０１ｄによりＣＭ検出部３２でのＣＭ検出動作を制御するようにしても良い。
【０１１６】
次に、図１１のフロントエンド部を説明する。
【０１１７】
この図１１において、復号部１０１より供給された映像信号１０１ａは、Ａ／Ｄ変換器１１０にてデジタル化され、フレームメモリ１１１に蓄えられる。なお、フレームメモリ１１１は、少なくとも２フレーム分の映像信号を蓄積可能なメモリである。当該フレームメモリ１１１からフレーム毎に読み出された映像信号は、カットチェンジ検出器１１２に送られる。
【０１１８】
カットチェンジ検出器１１２は、フレームメモリ１１１より供給されたフレーム毎の映像信号に基づいて、映像が急激に変化するフレーム（以下、映像変化フレームと呼ぶ）と、輝度が一様となるフレーム（以下、一様輝度フレームと呼ぶ）を検出する。
【０１１９】
すなわち、カットチェンジ検出器１１２は、フレームメモリ１１１に蓄えられた時間的に隣接する２つのフレーム映像間で、各画素毎に輝度の差分の自乗和を求め、当該自乗和が所定の閾値を越えた場合に、上記隣接する２つのフレームのうちの時間的に後のフレームを、上記映像が急激に変化する映像変化フレームとして検出する。また、カットチェンジ検出器１１２は、フレームメモリ１１１に蓄えられた各フレーム映像の輝度の分散を求め、その輝度の分散値が所定の閾値以下である場合に、そのフレームを一様輝度フレームであるとして検出する。なお、フレームの間隔（ＮＴＳＣ方式では約３０ｍｓ）が、後述する音声信号処理において説明するフレーム周期と一致しない場合には、当該フレーム間隔を再離散化することによって、フレーム周期と一致させておくようにする。
【０１２０】
以下、当該カットチェンジ検出器１１２における映像変化フレームと一様輝度フレームの検出について、より具体的に説明する。
【０１２１】
ここで、離散化された映像信号の横サイズをＸ、縦サイズをＹ、縦横の画素番号をｘ，ｙとし、第ｎフレームの映像をＩ_ｎ（ｘ，ｙ）、当該第ｎフレームに対して時間的に１フレーム前の第ｎ−１フレームの映像をＩ_ｎ−１（ｘ，ｙ）として表わすと、第ｎフレームと第ｎ−１フレームの間の各画素毎の輝度差分の自乗和Ｄ［ｎ］は、式（１）により得られ、また、第ｎフレームの輝度分散値Ｖ［ｎ］は、式（２）により得られる。
【０１２２】
【数１】

【０１２３】
また、このときのカットチェンジ検出器１１２の検出出力Ｃ［ｎ］は、式（３）により表わされる。
【０１２４】
【数２】

【０１２５】
ただし、式中のＤ_ｔｈｓｄは上記映像変化フレームを検出する際の前記自乗和に対する所定の閾値であり、Ｖ_ｔｈｓｄは上記一様輝度フレームを検出する際の前記輝度の分散値に対する所定の閾値である。
【０１２６】
当該カットチェンジ検出器１１２の検出出力Ｃ［ｎ］は、映像信号についての特徴量として特徴量バッファ１１８へ送られる。
【０１２７】
なお、上記の２つのフレーム映像間で輝度差分を求める際には、２フレーム分の映像信号を蓄積可能なメモリが必要となり、また、２フレーム分の映像信号に対する演算量も必要となる。そこで、例えばフレーム映像全面を同時に処理する代わりに、フレーム映像を適切な小ブロック毎に分け、その小ブロック毎に輝度差分を求めるようにしたり、或いは、フレーム映像間の各画素毎に輝度差分を求めるのではなく、各フレーム映像毎に輝度ヒストグラムを求めて、その輝度ヒストグラムのフレーム間差分を求めるようにしたり、又は、各フレーム映像毎に平均輝度を求めて、その平均輝度のフレーム間差分を求めるようにすることで、メモリ容量や演算量を減らすことも可能である。逆に、メモリや演算量に余裕がある場合には、例えば、カラー映像におけるＲ（赤），Ｇ（緑），Ｂ（青）成分のようなカラー成分毎に、上記輝度差分やカラーヒストグラム差分を求めることで、より検出精度を高めることも可能である。
【０１２８】
次に、復号部１０１より供給された音声信号１０１ｂは、Ａ／Ｄ変換器１１３にてデジタル化され、音声信号バッファ１１４に蓄えられる。なお、音声信号バッファ１１４は、少なくとも所定時間Ｔ_１（例えば３０ｍｓ、以下、これを１フレーム長とする）分の左（Ｌ）右（Ｒ）２チャンネルのステレオ音声信号を蓄積可能なメモリである。当該音声信号バッファ１１４から読み出された音声信号は、振幅検出器１１５、相関検出器１１６、スペクトル検出器１１７に送られる。
【０１２９】
振幅検出器１１５は、音声信号バッファ１１４に蓄えられた音声信号を用いて、所定の時間Ｔ_２（例えば１５ｍｓ、以下、これを１フレーム周期とする）毎の短時間平均自乗振幅を検出する。すなわち、振幅検出器１１５は、音声信号バッファ１１４に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１１４より読み出された左右２チャンネルのステレオ音声信号Ｓ_Ｌ［ｍ］，Ｓ_Ｒ［ｍ］から、所定の時間Ｔ_２（１５ｍｓ、１フレーム周期）毎に、短時間平均自乗振幅を検出する。なお、上記ｍ（ｍ＝０，・・・，Ｍ−１）は、離散化された時間を表わすバッファ内のサンプル番号であり、最大番号Ｍが１フレーム長Ｔ_１に対応する。
【０１３０】
より具体的に説明すると、振幅検出器１１５は、第ｎフレームにおける左右２チャンネルの音声信号の平均自乗振幅Ａ［ｎ］を式（４）により計算する。すなわち、平均自乗振幅は１５ｍｓ（１／２フレーム）毎に計算され、その１５ｍｓ毎の平均自乗振幅の３０ｍｓ（１フレーム）の期間における平均値がさらに演算され、最終的な、１フレームの平均自乗振幅とされる。
【０１３１】
【数３】

【０１３２】
当該振幅検出器１１５の検出出力である平均自乗振幅Ａ［ｎ］は、音声信号についての特徴量の一つとして特徴量バッファ１１８へ送られる。
【０１３３】
相関検出器１１６は、音声信号バッファ１１４に蓄えられた音声信号を用いて、１フレーム毎の音声信号について規格化前の相関係数を検出すると共に、後段にて行われる規格化のための短時間エネルギーも同時に検出する。すなわち、相関検出器１１６は、音声信号バッファ１１４に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１１４より読み出された左右２チャンネルのステレオ音声信号Ｓ_Ｌ［ｍ］，Ｓ_Ｒ［ｍ］から、１フレーム毎の左右２チャンネルの音声信号について規格化前の相関係数を検出すると共に、後段にて行われる規格化のための短時間エネルギーも同時に検出する。
【０１３４】
より具体的に説明すると、相関検出器１１６は、第ｎフレームにおける左右２チャンネルの音声信号の相関係数Ａ_ＬＲ［ｎ］を式（５）により計算し、左チャンネルの音声信号エネルギーＡ_ＬＬ［ｎ］を式（６）により計算し、右チャンネルの音声信号エネルギーＡ_ＲＲ［ｎ］を式（７）により計算する。
【０１３５】
【数４】

【０１３６】
当該相関検出器１１６の検出出力である相関係数Ａ_ＬＲ［ｎ］と音声信号エネルギーＡ_ＬＬ［ｎ］、Ａ_ＲＲ［ｎ］は、それぞれが音声信号についての特徴量の一つとして特徴量バッファ１１８へ送られる。
【０１３７】
スペクトル検出器１１７は、音声信号バッファ１１４に蓄えられた音声信号を用いて、短時間スペクトルを計算する。すなわち、スペクトル検出器１１７は、音声信号バッファ１１４に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１１４より読み出された左右２チャンネルのステレオ音声信号Ｓ_Ｌ［ｍ］，Ｓ_Ｒ［ｍ］から、短時間スペクトルを計算する。
【０１３８】
より具体的に説明すると、スペクトル検出器１１７は、第ｎフレームにおける左右２チャンネルの音声信号の離散スペクトルＦ［ｋ；ｎ］を求める。なお、ｋ＝０，・・・，Ｋ−１を離散化された周波数を表わす番号とすると、離散スペクトルＦ［ｋ；ｎ］は式（８）により表わされる。
【０１３９】
【数５】

【０１４０】
この式（８）の演算は、例えば、高速フーリエ変換（ＦＦＴ）又は線形予測分析（ＬＰＣ）などを用いて実現される。
【０１４１】
当該スペクトル検出器１１７の計算出力である短時間離散スペクトルＦ［ｋ；ｎ］は、音声信号についての特徴量の一つとして特徴量バッファ１１８へ送られる。
【０１４２】
次に、復号部１０１より供給された放送モード信号１０１ｃは、上述した音声信号処理のフレームに合わせて離散化された数値となされる。
【０１４３】
より具体的に説明すると、第ｎフレームにおける放送モード信号１０１ｃは、例えば式（９）のような数値Ｂ［ｎ］となされる。
【０１４４】
【数６】

【０１４５】
この放送モード信号１０１ｃを離散化した数値Ｂ［ｎ］は、ＴＶ放送信号の特徴量の一つとして特徴量バッファ１１８へ送られる。
【０１４６】
同様に、時計部１０２より供給された時間信号１０２ａも、音声信号処理のフレームに合わせて離散化された数値Ｔ［ｎ］となされ、特徴量の一つとして特徴量バッファ１１８へ送られる。
【０１４７】
特徴量バッファ１１８は、上記カットチェンジ検出器１１２からの検出出力Ｃ［ｎ］と、振幅検出器１１５からの平均自乗振幅Ａ［ｎ］と、相関検出器１１６からの相関係数Ａ_ＬＲ［ｎ］、音声信号エネルギーＡ_ＬＬ［ｎ］，Ａ_ＲＲ［ｎ］と、スペクトル検出器１１７からの短時間離散スペクトルＦ［ｋ；ｎ］と、放送モード信号１０１ｃの離散化数値Ｂ［ｎ］と、時間信号１０２ａの離散化数値Ｔ［ｎ］とからなる、式（１０）に示される特徴量Ｇ［ｎ］を、所定の時間Ｔ_３に渡って蓄積する。なお、時間Ｔ_３はＣＭ部分を最低でも１つ以上に渡って記憶できる時間であり、例えば８０秒などとする。
Ｇ［ｎ］＝｛Ｃ［ｎ］，Ａ［ｎ］，Ａ_ＬＲ［ｎ］，Ａ_ＬＬ［ｎ］，Ａ_ＲＲ［ｎ］，Ｆ［ｋ；ｎ］，Ｂ［ｎ］，Ｔ［ｎ］｝（１０）
【０１４８】
以上のＡ／Ｄ変換器１１０から特徴量バッファ１１８までが、図１１に示したＣＭ検出部３２のフロントエンド部の構成であり、以下、図１２、図１３のフローチャートを用いて当該フロントエンド部における処理の流れを説明する。なお、図１２のステップＳ１３０乃至Ｓ１３２までは映像信号１０１ａについての処理の流れを表しており、図１３のステップＳ１３３乃至Ｓ１４０までは音声信号１０１ｂ及び放送モード信号１０１ｃ、時間信号１０２ａについての処理の流れを表している。
【０１４９】
また、図１２、図１３、図１４、および図２０のフローチャートで示される処理全体が、図９のステップＳ１２のＣＭ検出の処理の詳細を示している。
【０１５０】
先ず、映像信号１０１ａについての処理の流れを表す図１２において、フロントエンド部は、ステップＳ１３０の処理として、Ａ／Ｄ変換器１１０によりデジタル化された、少なくとも１フレーム分の映像信号１０１ａをフレームメモリ１１１に蓄える。このフレームメモリ１１１は、１フレーム分の映像信号１０１ａを１サンプルとして扱うようになされており、１フレーム分の映像信号１０１ａが入力されると、当該フレームメモリ１１１内に既に蓄積されている映像信号１０１ａが１フレーム分シフトし、最も時間的に過去に入力された１フレームの映像信号１０１ａが押し出されて出力されるようになっている。
【０１５１】
次に、フロントエンド部は、ステップＳ１３１の処理として、フレームメモリ１１１から映像信号１０１ａを読み出してカットチェンジ検出器１１２に送り、前述のようにして検出出力Ｃ［ｎ］を求める。
【０１５２】
その後、フロントエンド部は、ステップＳ１３２の処理として、当該検出出力Ｃ［ｎ］を特徴量バッファ１１８に蓄える。
【０１５３】
一方、音声信号１０１ｂについての処理の流れを表す図１３において、フロントエンド部は、ステップＳ１３３及びステップＳ１３４の処理として、Ａ／Ｄ変換器１１３によりデジタル化された、音声信号１０１ｂを音声信号バッファ１１４に入力すると共に、当該音声信号バッファ１１４に少なくとも１フレーム周期Ｔ_２分の音声信号１０１ｂを蓄積する。この音声信号バッファ１１４は、１フレーム周期Ｔ_２分の音声信号１０１ｂを１サンプルとして扱うようになされており、１フレーム周期Ｔ_２分の音声信号１０１ｂが入力されると、当該音声信号バッファ１１４内に既に蓄積されている音声信号１０１ｂが１フレーム周期Ｔ_２分だけシフトし、最も時間的に過去に入力された１フレーム周期Ｔ_２分の音声信号１０１ｂが押し出されて出力されるようになっている。
【０１５４】
上記音声信号バッファ１１４に少なくとも１フレーム周期Ｔ_２分の音声信号１０１ｂが蓄積されると、フロントエンド部は、ステップＳ１３５の処理として、当該音声信号バッファ１１４に蓄積された音声信号１０１ｂを読み出して振幅検出器１１５に送り、前述のようにして、平均自乗振幅Ａ［ｎ］を求める。
【０１５５】
同時に、フロントエンド部は、ステップＳ１３６の処理として、音声信号バッファ１１４に蓄積された音声信号１０１ｂを相関検出器１１６に送り、前述のようにして、相関係数Ａ_ＬＲ［ｎ］と音声信号エネルギーＡ_ＬＬ［ｎ］、Ａ_ＲＲ［ｎ］を求める。
【０１５６】
また同時に、フロントエンド部は、ステップＳ１３７の処理として、音声信号バッファ１１４に蓄積された音声信号１０１ｂをスペクトル検出器１１７に送り、前述のようにして、短時間離散スペクトルＦ［ｋ；ｎ］を求める。
【０１５７】
さらに、フロントエンド部は、ステップＳ１３８の処理として、復号部１０１より供給された放送モード信号１０１ｃから、前述のように離散化した数値Ｂ［ｎ］を求めると共に、時計部１０２より供給された時間信号１０２ａから、前述のように離散化された数値Ｔ［ｎ］を求める。
【０１５８】
フロントエンド部は、以上にようにして求められた、上記カットチェンジ検出器１１２からの検出出力Ｃ［ｎ］と、振幅検出器１１５からの平均自乗振幅Ａ［ｎ］と、相関検出器１１６からの相関係数Ａ_ＬＲ［ｎ］、音声信号エネルギーＡ_ＬＬ［ｎ］，Ａ_ＲＲ［ｎ］と、スペクトル検出器１１７からの短時間離散スペクトルＦ［ｋ；ｎ］と、放送モード信号１０１ｃの離散化数値Ｂ［ｎ］と、時間信号１０２ａの離散化数値Ｔ［ｎ］とからなる特徴量Ｇ［ｎ］を、特徴量バッファ１１８に蓄積する。
【０１５９】
図１１に戻り、バックエンド部の説明を行う。なお、以下の説明において、番号ｎは、特徴量バッファ１１８内にフレーム毎に蓄積される特徴量の、各フレーム番号を表わすものとする。また、最新のフレームの特徴量をＧ［０］とし、過去のフレームの特徴量となるにしたがってｎの値が増加し、新たなフレームの特徴量が入力された場合には、全てのデータが１ずつシフト（フレーム番号が１ずつシフト）するものとする。
【０１６０】
図１１において、特徴量バッファ１１８に蓄積された特徴量は、フレーム毎にＣＭ候補検出器１１９に送られる。
【０１６１】
当該ＣＭ候補検出器１１９は、ほぼ全てのＣＭが満たす、前述した「必須条件」に基づき、フレーム毎にＣＭ区間の候補を算出する。ここで、必須条件とは、前述したように、ＣＭの音声信号が「小音量」であること、すなわち音声信号の音量が所定の閾値以下となっているフレーム（以下、音量条件と呼ぶ）であり、且つ、ＣＭの「映像切り替わり」があること、すなわち映像信号が急激に変換するフレーム又は一様な輝度となるフレーム（以下、映像条件と呼ぶ）であり、さらに、「規定時間長（少数種類の時間長）」であること、すなわち上記音量条件と映像条件を満たす２つのフレームの間隔が所定のＣＭ長と合致する区間（以下、時間条件と呼ぶ）となるような条件であり、具体的には、前述の特徴量を用いて、以下のような式（１１）で且つ式（１２）で且つ式（１３）の条件として書き下すことができる。
【０１６２】
Ａ［０］＜Ａ_ｔｈｓｄ （１１）
Ｃ［０］＝１ （１２）
Ａ［ｎ_１］＜Ａ_ｔｈｓｄ，Ｃ［ｎ_１］＝１又はＡ［ｎ_２］＜Ａ_ｔｈｓｄ，Ｃ［ｎ_２］＝１又は
Ａ［ｎ_３］＜Ａ_ｔｈｓｄ，Ｃ［ｎ_３］＝１ （１３）
ただし、Ａ_ｔｈｓｄは所定の自乗振幅の閾値であり、ｎ_１，ｎ_２，ｎ_３はそれぞれＣＭ長として規定されている時間長（本実施の形態では、一例として１５秒、３０秒、６０秒の３種類の時間長がある場合を説明に用いている）を、フレーム周期単位に換算した数である。なお、ＣＭの実際の放送時間には誤差があるため、実用上は、ｎ_１，ｎ_２，ｎ_３にはそれぞれ多少の幅を持たせる。
【０１６３】
ここで、図１４を用いて、上記ＣＭ候補検出器１１９の動作の流れを説明する。
【０１６４】
図１４において、特徴量バッファ１１８では、ステップＳ１５０のバッファシフト処理とステップＳ１５１の特徴量入力処理として、図１２のステップＳ１３２で説明したフレームメモリと図１３のステップＳ１４０で説明した音声信号バッファと同様に、１フレーム単位の入力、シフト及び出力の動作を行うようになされている。すなわち、特徴量バッファ１１８は、１フレーム分の特徴量を１サンプルとして扱うようになされており、１フレーム分の特徴量が入力されると、当該特徴量バッファ１１８内に既に蓄積されている特徴量が１フレーム分だけシフトし、最も時間的に過去に入力された１フレーム分の特徴量が押し出されて出力されるようになっている。
【０１６５】
上記ステップＳ１５０及びステップＳ１５１の処理により、特徴量バッファ１１８から１フレーム（１サンプル）分の特徴量が入力されると、ＣＭ候補検出器１１９は、ステップＳ１５２及びステップＳ１５３の処理として、１フレーム（サンプル）に特徴量が上記必須条件の音量条件、映像条件、時間条件を満たすか否かの評価を行う。すなわち。ＣＭ候補検出器１１９は、ステップＳ１５２において、先ず最初のフレームの平均自乗振幅Ａ［０］と所定の自乗振幅の閾値Ａ_ｔｈｓｄを比較し、次に、ステップＳ１５３の処理として、前記検出出力Ｃ［０］が１となるか否か調べることにより、当該フレームが上記必須条件である音量条件、映像条件、時間条件を満たすか否かの判定を行う。ＣＭ候補検出器１１９では、これらステップＳ１５２，Ｓ１５３の判定処理の結果、上記平均自乗振幅Ａ［０］が所定の自乗振幅の閾値Ａ_ｔｈｓｄを超えず、且つ、上記必須条件を満たしていると判定した場合、当該フレームをＣＭ候補としてステップＳ１５７以降（ステップＳ１５４乃至Ｓ１５６については後述する）の処理に進み、逆に、上記平均自乗振幅Ａ［０］が所定の自乗振幅の閾値Ａ_ｔｈｓｄを超えたか、或いは上記必須条件を満たしていないと判定した場合、当該フレームがＣＭ候補にはならないとしてステップＳ１５０の処理に戻る。
【０１６６】
上記ステップＳ１５２，Ｓ１５３の各判定処理の結果、上記平均自乗振幅Ａ［０］が所定の自乗振幅の閾値Ａ_ｔｈｓｄを超えず、且つ、上記必須条件を満たしていると判定された場合、ＣＭ候補検出器１１９は、ステップＳ１５７の処理としてＣＭ開始フレームｎ_ｓを検索し、次に、ステップＳ１５８の処理としてＣＭ終了フレームｎ_ｅの検索を行い、更に、ステップＳ１５９の処理としてＣＭ開始時刻Ｔ_ｓを計算し、ステップＳ１６０としてＣＭ長さＴ_ｗを計算する。
【０１６７】
ＣＭ候補検出器１１９は、以上のステップＳ１５７乃至Ｓ１６０の検索及び計算を行った後、ステップＳ１６１において後述するＣＭ候補テーブルを参照し、もし、ＣＭ開始時刻Ｔ_ｓ及びＣＭ長さＴ_ｗの一致する候補がすでに当該ＣＭ候補テーブル中に存在するならば、そのまま再びステップＳ１５４乃至Ｓ１５６の処理に戻り、逆に存在しない場合には、新たなＣＭ候補としてＣＭ候補テーブルに追加した後、再びステップＳ１５４乃至Ｓ１５６の処理に戻る。
【０１６８】
ステップＳ１５４乃至Ｓ１５６では、全ての時間長に対して上述同様の処理を行った後、ステップＳ１５０に戻り、次の入力に対して同じ処理を繰り返すことを表している。
【０１６９】
なお、上記ＣＭ開始フレームｎ_ｓとは、ｎ_１，ｎ_２，ｎ_３で表される各フレームのうち時間条件に合致したフレームから、最新フレームの方向へ向かって、平均自乗振幅Ａ［ｎ］が自乗振幅の閾値Ａ_ｔｈｓｄを越える最初のフレーム番号である。また、ＣＭ終了フレームｎ_ｅとは、０番目のフレームより過去の方向に向かって、平均自乗振幅Ａ［ｎ］が自乗振幅の閾値Ａ_ｔｈｓｄを越えない最後のフレーム番号である。さらにＣＭ開始時刻Ｔ_ｓは、ＣＭ開始フレーム番号ｎ_ｓを用いてＴ_ｓ＝Ｔ［ｎ_ｓ］として求められる。同様にＣＭ長さＴ_ｗは、Ｔ_ｗ＝Ｔ［ｎ_ｅ］−Ｔ［ｎ_ｓ］として求められる。
【０１７０】
ここで、図１５に、上記必須条件の算出例を示す。この図１５に示すＡ［ｎ］の項において、「ｏ」は自乗振幅の閾値Ａ_ｔｈｓｄを超えない平均自乗振幅を持つフレームを示し、「ｘ」は自乗振幅の閾値Ａ_ｔｈｓｄを超える平均自乗振幅を持つフレームを示している。この例では、Ａ［０］，Ｃ［０］及びＡ［ｎ_１］，Ｃ［ｎ_１］が条件を満たし、ｎ_１より左方で最初にＡ［ｎ］＝ｘとなるフレームがｎ_ｓ、０より右方に連続する最後のＡ［ｎ］＝ｏとなるフレームがｎ_ｅとなる。
【０１７１】
以上の処理により、ＣＭ候補検出器１１９では、１フレーム（１サンプル）の特徴量が入力される毎にＣＭ候補の検出を行い、ＣＭ候補が検出された場合にはＣＭ候補テーブルにエントリーする。
【０１７２】
図１６には、ＣＭ候補テーブルの構成例を示す。この図１６において、ＣＭ候補テーブルの項目は、開始時刻Ｔ_ｓ、長さＴ_ｗ、及び後述する付加条件算出器１２０で算出する特徴量Ｑ_１乃至Ｑ_１１、及び後述する付加条件判定器１２１で算出するスコアＲとスコア判定結果Ｚからなる。ＣＭ候補検出器１１９によるＣＭ候補テーブル１１９ａの段階では、開始時刻Ｔｓ、長さＴｗのみが記述される。このように、ＣＭ候補テーブルは、ＣＭ候補検出器１１９で得られるＣＭ開始時刻Ｔｓ、長さＴｗと、付加条件算出器１２０で算出される特徴量Ｑ_１乃至Ｑ_１１と、付加条件判定器１２１で算出されるスコアＲ及びスコア判定結果Ｚとを記述し、それら特徴量を管理するための表である。また、ＣＭ候補テーブルは、そのエントリーがＣＭであるかないかの判定を受けるまで保持され、ＣＭであると判断された場合には、後述するルール判定器１２２からＣＭ検出出力１２２ａとして出力され、ＣＭでないと判断された場合には破棄される。
【０１７３】
上記ＣＭ候補検出器１１９により開始時刻Ｔｓ、長さＴｗのみが記述されたＣＭ候補テーブル１１９ａは、付加条件算出器１２０に送られる。
【０１７４】
付加条件算出器１２０では、ＣＭ候補テーブル１１９ａにエントリーされた候補区間より、特徴量バッファ１１８を参照しながら、以下に示すような特徴量Ｑ_１乃至Ｑ_１１を抽出し、それをＣＭ候補テーブル１１９ａに追加記述し、ＣＭ候補テーブル１２０ａとして付加条件判定器１２１に出力する。
【０１７５】
図１７には、当該付加条件算出器１２０における特徴量Ｑ_１乃至Ｑ_１１の算出例を示す。
【０１７６】
この図１７において、横軸はフレーム番号（離散時間に相当）を表し、図１７Ａはカットチェンジ検出出力Ｃ［ｎ］、図１７Ｂは放送モード信号１０１ｃの離散化数値Ｂ［ｎ］、図１７Ｃは音声信号の短時間離散スペクトルＦ［ｋ；ｎ］、図１７Ｄは音声信号の平均自乗振幅Ａ［ｎ］を表わし、ｎ_１の間隔（図中点線で挟まれた区間）がＣＭ候補である。なお、図１７Ａにおいて、図中ＣＴで示す位置はカットチェンジ検出出力Ｃ［ｎ］が１となっている位置（すなわちカットチェンジが検出された位置）を示している。また、図１７Ｂにおいて、図中Ｍで示す区間はその区間が何らかの放送モードとなっていることを示している。図１７Ｃにおいて、図中Ｓ１，Ｓ２，Ｓ３，Ｓ４は何らかのスペクトル成分が存在することを示し、図１７Ｄにおいて、図中ＡＭは自乗振幅の変化を表している。また、図中Ｑ_１からＱ_１１は、上記付加条件算出器１２０にて特徴量Ｑ_１乃至Ｑ_１１が計算される場所を示している。
【０１７７】
以下、付加条件算出器１２０で算出される各特徴量Ｑ_１乃至Ｑ_１１について個々に説明する。
【０１７８】
特徴量Ｑ_１は前ブレーク長である。当該前ブレーク長とは、ＣＭ候補区間直前の小音量区間（前ブレーク区間と称する）、すなわち連続してＡ［ｎ］が所定の閾値Ａ_ｔｈｓｄ以下である時間長であり、図１７中の一点鎖線で挟まれた区間長ＢＢが前ブレーク長Ｑ_１である。
【０１７９】
特徴量Ｑ_２は後ブレーク長である。当該後ブレーク長とは、ＣＭ候補区間直後の小音量区間（後ブレーク区間と称する）、すなわち連続してＡ［ｎ］が所定の閾値Ａ_ｔｈｓｄ以下である時間長であり、図１７中の一点鎖線で挟まれた区間長ＡＢが後ブレーク長Ｑ_２である。
【０１８０】
特徴量Ｑ_３は前ブレーク最小振幅である。当該前ブレーク最小振幅Ｑ_３は、前記の前ブレーク区間におけるＡ［ｎ］の最小値である。
【０１８１】
特徴量Ｑ_４は後ブレーク最小振幅である。当該後ブレーク最小振幅Ｑ_４は、前記の後ブレーク区間におけるＡ［ｎ］の最小値である。
【０１８２】
特徴量Ｑ_５は左右相関値である。当該左右相関値Ｑ_５は、ＣＭ候補区間の音声の左右２チャンネルの音声信号Ｓ_Ｌ［ｍ］、Ｓ_Ｒ［ｍ］の相関値である。これは、式（５）乃至式（７）のＡ_ＬＲ［ｎ］，Ａ_ＬＬ［ｎ］，Ａ_ＲＲ［ｎ］を利用して、式（１４）に従って算出することができる。
【０１８３】
【数７】

【０１８４】
この式（１４）の演算では、フレームのオーバーラップにより原波形が部分的に複数回加算されることになるが、そのことはこのシステムに実質的な影響は及ぼさない。また、原波形をそのまま保持できるだけのメモリ容量及び処理速度がある場合には、この演算は原波形の相互相関と置き換えることもできる。
【０１８５】
特徴量Ｑ_６は平均振幅値である。当該平均振幅値Ｑ_６は、ＣＭ候補区間の音声信号の振幅のＲＭＳ値（平均自乗振幅）である。これは、式（１５）により計算することができる。
【０１８６】
【数８】

【０１８７】
この式（１５）の演算では、上記左右相関演算の場合と同様に、フレームのオーバーラップ次第では原波形が部分的に複数回加算されることになるが、そのことは実質的な影響を及ぼさない。また、原波形をそのまま保持できるだけのメモリ容量及び処理速度がある場合には、この演算は原波形のＲＭＳ演算と置き換えることもできる。
【０１８８】
特徴量Ｑ_７はカット数である。当該カット数Ｑ_７は、ＣＭ候補区間中に存在するカットチェンジの回数（上記ＣＴの数）を数える演算となる。すなわちこれは、［ｎ_ｓ，ｎ_ｅ）の区間でＣ［ｎ］＝１となる回数を数える演算となる。
【０１８９】
特徴量Ｑ_８は放送モードである。ここでの放送モードは、ＣＭ候補区間中で最も支配的な放送モードのことである。これは、［ｎ_ｓ，ｎ_ｅ）の区間のＢ［ｎ］値の中で、最も頻発する放送モードＱ_８を選ぶ演算である。
【０１９０】
特徴量Ｑ_９は隣接候補数である。当該隣接候補数Ｑ_９は、あるＣＭ候補に対して、その前後にある有音区間もＣＭ候補であるかどうかを表わし、両側ともＣＭ候補であれば「２」、片側のみＣＭ候補であれば「１」、どちらもＣＭ候補でなければ「０」の値をとる。この演算は、ＣＭ候補テーブルを検索することで行われ、開始時刻Ｔ_ｓと長さＴ_ｗと後ブレーク長Ｑ_２の和（Ｔ_ｓ＋Ｔ_ｗ＋Ｑ_２）が、他のＣＭ候補の開始時刻（Ｔ’_ｓ）と一致するかどうかで後側候補の判定が行われる。同様に、開始時刻Ｔ_ｓと前ブレーク長Ｑ_１の差（Ｔ_ｓ−Ｑ_１）が、他のＣＭ候補の開始時刻Ｔ’_ｓと長さＴ’_ｗの和（Ｔ’_ｓ＋Ｔ’_ｗ）と一致するかどうかで、前側候補の判定が行われる。
【０１９１】
特徴量Ｑ_１０，Ｑ_１１はスペクトル差分エネルギーである。当該スペクトル差分エネルギーＱ_１０，Ｑ_１１は、ＣＭと番組本編やＣＭと他のＣＭとの境界での音質変化を定量化するために用いられる。これは、上記境界の両側における平均スペクトルの差の自乗和として定義され、式（１６）乃至（２１）に従って計算される。
【０１９２】
【数９】

【０１９３】
但し、式中のＮはスペクトルの平均をとるフレーム数、ｎ’_ｅはＣＭ候補区間の直前の有音区間の終了フレーム番号（図１７参照）、ｎ’_ｓはＣＭ候補区間の直後の有音区間の開始フレーム番号、Ｓ_１［ｋ］はＣＭ候補区間の直前の有音区間の終了直前の平均スペクトラム、Ｓ_２［ｋ］はＣＭ候補区間開始直後の平均スペクトラム、Ｓ_３［ｋ］はＣＭ候補区間終了直前の平均スペクトラム、Ｓ_４［ｋ］はＣＭ候補区間の直後の有音区間の開始直後の平均スペクトラム、Ｓ_ｎｏｒｍは適切な規格化定数である。
【０１９４】
上記付加条件算出器１２０は、以上により算出したＱ_１からＱ_１１までの特徴量を、ＣＭ候補テーブル１１９ａに追加記述し、ＣＭ候補テーブル１２０ａとして出力する。当該ＣＭ候補テーブル１２０ａは、付加条件判定器１２１に送られる。
【０１９５】
付加条件判定器１２１は、ＣＭ候補テーブル１２０ａを入力とし、ＣＭ候補の特徴量を、閾値関数などにより非線型にパラメータ変換した後、荷重加算することでＣＭ候補に対するスコアＲを算出し、Ｒが所定の閾値以上である場合には有力ＣＭ候補と判定する。付加条件判定器１２１は、これらスコアＲとスコア判定結果ＺをＣＭ候補テーブル１２０ａに追加記述し、ＣＭ候補テーブル１２１ａとして出力する。
【０１９６】
図１８には、付加条件判定器１２１の概略構成を示す。
【０１９７】
この図１８において、ＣＭ候補テーブル１２１ａの各特徴量Ｑ_１乃至Ｑ_Ｌは、それぞれ対応する関数演算器１５０_１乃至１５０_Ｌに送られ、それぞれ対応するパラメータ変換関数Ｈ_１（）乃至Ｈ_Ｌ（）による変換演算が施された後、さらにそれぞれ対応する重み付け器１５１_１乃至１５１_Ｌにより荷重Ｗ_１乃至Ｗ_Ｌとの積がとられる。各重み付け器１５１_１乃至１５１_Ｌにより重み付けがなされた後の特徴量は、総和加算器１５２での総和加算によりスコアＲが算出される。この総和加算器１５２から出力されたスコアＲは、スコア判定器１５３にて所定の閾値と比較され、スコアＲが所定の閾値以上である場合には有力ＣＭ候補である旨を示す判定結果が出力される。なお、スコア判定器１５３によるスコア判定により所定の閾値未満であると判定されたＣＭ候補は、テーブルから消去される。
【０１９８】
より具体的に説明すると、当該付加条件判定器１２１におけるスコア算出演算は、式（２２）に従って行われる。
【０１９９】
【数１０】

【０２００】
ただし、Ｈ_ｌ（）は各特徴量に対して予め定めるパラメータ変換関数、Ｗ_ｌは予め決定しておく荷重、Ｌは特徴量数（＝１１）である。なお、ｌは１乃至１１のうちの任意の数である。
【０２０１】
ここで、各関数演算器１５０_１乃至１５０_Ｌにおけるパラメータ変換関数Ｈ_ｌ（）は、最も簡単には矩形関数でよい。すなわち例えば、図１９Ｂに示すような矩形関数Ｒｅｃｔ（ｘ；ｔ_１，ｔ_２）を用い、予め各特徴量について決定しておく標準値の下上限値をｔ_１ｌ，ｔ_２ｌとし、式（２３）により例えばＱ_１が標準値の範囲内ならば１、範囲外ならば０となるようにする。
【０２０２】
Ｈ_ｌ（Ｑ_ｌ）＝Ｒｅｃｔ（Ｑ_ｌ；ｔ_１，ｔ_２） （２３）
なお、前記境界付近で滑らかに０から１、１から０へ推移させるようにする場合には、例えば式（２４）のような、シグモイド関数Ｓｉｇｍ（ｘ；ｔ_１，ｔ_２）を用いることもできる。
【０２０３】
【数１１】

【０２０４】
図１９Ｃにシグモイド関数の概形を示す。ただし、ｓ_１ｌ，ｓ_２ｌは推移の程度を表わす定数であり、予め特徴量の分布などに基づき決定しておく。
【０２０５】
また、上記各重み付け器１５１_１乃至１５１_Ｌによる加算荷重Ｗ_ｌは、予め特徴量の統計的性質に基づき人為的に決定しておくこともできるが、既知の学習サンプルに対して、ニューラルネットワーク（例えば中川著「パターン情報処理」丸善（１９９９）などに詳説）の要領で学習することで、自動的に荷重を決定することも可能である。なお、ｌは１乃至１１のうちの任意の数である。
【０２０６】
さらに、上記判定器１５３におけるスコア判定は、式（２５）のように、スコアＲの閾値処理により行う。
【０２０７】
Ｚ＝Ｕｎｉｔ（Ｒ−ｔ_ｒ） （２５）
ただし、Ｕｎｉｔ（ｘ）は、図１９Ａに示すように、ｘ＞０で１、ｘ＜０で０となる単位ステップ関数であり、ｔ_ｒは予め定めるか或いは学習により自動的に決まる判定閾値である。
【０２０８】
次に、ルール判定器１２２は、上記付加条件判定器１２１でのスコア判定により得られたＣＭ候補テーブル１２１ａを入力とし、後述するような所定のルール判定により最終的なＣＭ検出出力１２２ａとしてＣＭ開始時刻と長さを出力する。すなわち、当該ルール判定器１２２では、同一時刻に複数のＣＭ候補があった場合（以下、競合関係という）に、どちらがよりＣＭとして確からしいかをルール処理により判定する。
【０２０９】
以下、ルール判定器１２２の動作を図２０のフローチャートを用いて説明する。
【０２１０】
先ず、ルール判定器１２２は、ステップＳ１７０として、ＣＭ候補テーブルより、判定すべきＣＭ候補を選択する。この選択は、ＣＭ候補テーブル中で最古の候補であり、予め設定された時間Ｔ_４が経過したものから順に行われる。Ｔ_４は、数個のＣＭが十分含まれる程度の時間長であり、例えば１５０秒間とする。
【０２１１】
続いて、ルール判定器１２２は、ステップＳ１７１として、選択したＣＭ候補の区間中（ＴｓからＴｓ＋Ｔｗまでの間）に、他のＣＭ候補が存在するかどうか、ＣＭ候補テーブル中を検索する。このステップＳ１７１において、他のＣＭ候補が存在しないと判定した場合（Ｎｏ）、このＣＭ候補はＣＭ検出出力として出力され、ＣＭ候補テーブルより消去される。
【０２１２】
一方、ステップＳ１７１において、他のＣＭ候補が存在すると判定された場合（Ｙｅｓ）、それらは競合関係にあるとして、ステップＳ１７２にて先ず最小長さ優先ルールが適用される。ここで、最小長さ優先ルールは、ある時区間が、複数の長さの異なるＣＭ候補の組み合わせにより構成され得る場合、より短いＣＭ候補で構成されている方を優先するというルールである。すなわち、例えば３０秒という時区間に対して、１つの３０秒ＣＭという可能性と、２つの１５秒ＣＭの組み合わせという可能性の、両方が同時に候補として存在する場合には、１５秒ＣＭを選択し、３０秒ＣＭを棄却するというルールである。
【０２１３】
図２１を用いて、この最小長さ優先ルールの一例を説明する。
【０２１４】
なおこの例には、図２１Ａのように、実際には４つのＣＭ１乃至ＣＭ４が連続して放送されている区間に対し、図２１Ｂ中Ａ乃至Ｈで示すような８つの候補がＣＭ候補テーブルに存在する場合が示されている。
【０２１５】
先ず、図２１Ｃに示すように、ＡのＣＭ候補が判定中であるとすると、この候補Ａと競合する候補はＥとＨである。しかしながら、Ｅの区間はＡとＢで記述でき、また、Ｈの区間はＡとＢとＣとＤ等で記述できることから、それぞれ棄却され、Ａが採用される。続いて、図２１Ｄに示すように、Ｂが判定中となったときには、Ｆが競合相手となる（このとき、Ｅ、ＨはＡの判定により棄却済みとなっている）が、Ｆの区間はＢとＣで記述できることから棄却され、Ｂが採用される。同様に、図２１Ｅに示すように、Ｃが判定中の場合には、Ｇが競合相手となるが、Ｇの区間はＣとＤで記述されることから棄却され、Ｃが採用される。最後に、図２１Ｆに示すように、Ｄが判定されるときには、すでに競合相手は存在しないので、そもそもこのルールを適用する必要はなく、当該Ｄがそのまま採用される。
【０２１６】
以上により、この時区間からは、ＣＭ候補としてＡ，Ｂ，Ｃ，Ｄが選択されることとなる。このルールが適用できない競合関係については、そのままＣＭ候補テーブルに残してこの処理を終了する。
【０２１７】
図２０に戻り、ステップＳ１７２のルール判定の後、ルール判定器１２２の処理は、ステップＳ１７３に進む。ステップＳ１７３に進むと、ルール判定器１２２は、最小長さ優先ルールを適用した結果、判定中のＣＭが棄却されたか否か判断する。このステップＳ１７３において、判定中のＣＭが棄却されたと判断した場合（Ｙｅｓ）、ルール判定器１２２は、その候補をＣＭ候補テーブルから消去し、ステップＳ１７０に戻る。一方、ステップＳ１７３において、判定中のＣＭが棄却されていないと判断した場合（Ｎｏ）、ルール判定器１２２は、ステップＳ１７４において、再び判定中のＣＭ候補の区間中に他のＣＭ候補が存在するかどうか、テーブル中を検索する。
【０２１８】
このステップＳ１７４において他のＣＭ候補が存在しないと判定した場合（Ｎｏ）、ルール判定器１２２は、ステップＳ１８０において判定中のＣＭ候補をＣＭ検出出力から出力し、ＣＭ候補テーブルから消去する。一方、ステップＳ１７４にて他のＣＭ候補が存在すると判断した場合（Ｙｅｓ）、ルール判定器１２２の処理は、ステップＳ１７５に進む。
【０２１９】
ステップＳ１７５に進むと、ルール判定器１２２は、隣接優先ルールを適用する。ここで、隣接優先ルールとは、複数のＣＭ候補が競合関係にある場合、それぞれ直前又は直後に隣接するＣＭ候補を検索し、それが存在する方を優先するというルールである。
【０２２０】
図２２を用いて、当該隣接優先ルールについて説明する。
【０２２１】
なおこの例には、図２２Ａのように、実際には４つのＣＭ１１乃至ＣＭ１４が連続して放送されている区間に対し、図２２Ｂ中Ｉ乃至Ｎで示すような６つの候補が存在する場合が示されている。また、この例の場合、候補Ｍ及びＮは、偶然ＣＭ中にカットチェンジや小音量区間が存在したために候補となっているが、このような候補は、実際には誤った区間であるとはいえ、内容的にはＣＭを含んでいるため、ＣＭらしさを判定する付加条件のスコア判定によっても、棄却されない場合があるものである。
【０２２２】
このような例において、先ず、図２２Ｃに示すように、最古のＩが判定される候補となる。当該Ｉと競合するものとしてＭがあるが、Ｉには隣接する候補Ｊが存在するのに対し、Ｍには隣接する候補がないため、Ｉを採用し、Ｍを棄却する。次に、図２２Ｄに示すように、Ｊが判定される候補となった場合、Ｊと競合する候補としてＮがあるが、Ｊには隣接する候補Ｉ、Ｋが存在するのに対し、Ｎには存在しないため、Ｊが採用されＮが棄却される。次に、図２２Ｅ，Ｆに示すように、残りの候補Ｋ、Ｌには、既に競合する候補がなくなるため、このルールは適用されず、これらＫ、Ｌがそのまま採用される。
【０２２３】
以上により、この図２２に例示した区間からは、Ｉ，Ｊ，Ｋ，ＬがＣＭ候補として選択されることとなる。
【０２２４】
なお、競合関係の候補のいずれにも隣接候補が無い場合、及び複数の候補にそれぞれ隣接候補がある場合には、それらはどちらも棄却されず、ＣＭ候補テーブルに残される。
【０２２５】
図２０に戻り、ステップＳ１７５の処理後、ルール判定器１２２の処理は、ステップＳ１７６に進む。ステップＳ１７６に進むと、ルール判定器１２２は、隣接優先ルールを適用の結果、判定中のＣＭが棄却されたか否か判断する。このステップＳ１７６において、判定中のＣＭが棄却されたと判断した場合（Ｙｅｓ）、ルール判定器１２２は、その候補をＣＭ候補テーブルから消去し、ステップＳ１７０の処理に戻る。一方、ステップＳ１７６において棄却されていないと判定された場合（Ｎｏ）、ルール判定器１２２は、次のステップＳ１７７において、再び判定中のＣＭ候補の区間中に、他のＣＭ候補が存在するかどうか、ＣＭ候補テーブル中を検索する。
【０２２６】
このステップＳ１７７において、他のＣＭ候補が存在しないと判定された場合（Ｎｏ）、ルール判定器１２２は、ステップＳ１８０において、判定中のＣＭ候補をＣＭ検出出力から出力し、ＣＭ候補テーブルから消去する。一方、ステップＳ１７７において、他のＣＭ候補が存在すると判定した場合（Ｙｅｓ）、ルール判定器１２２は、ステップＳ１７８において、スコア優先ルールを適用する。ここで、スコア優先ルールとは、上記の各ルールによっても競合関係が解消されない場合、付加条件判定器１２１により得られた判定スコアＲの高い候補を優先するというルールである。このスコア優先ルールは、対象となる競合関係が解消するまで繰り返し適用する。
【０２２７】
図２３を用いて、当該スコア優先ルールについて説明する。
【０２２８】
なおこの例には、図２３Ａのように、実際には４つのＣＭ２１乃至ＣＭ２４が連続して放送されている区間に対し、図２３Ｂ中Ｐ乃至Ｗで示すような７つの候補が存在する場合が示されている。
【０２２９】
この例において、先ず、図２３Ｃに示すように、最古のＰが判定される候補となるが、この候補ＰはＵと競合関係がある。但し、このときの競合関係は、前記最小長さ優先ルールによっても、また、隣接優先ルールによっても競合が解消されない。
【０２３０】
したがって、この場合には、これら競合関係にある候補と関連する全ての競合関係を、ＣＭ候補テーブル中から検索する。すなわち、この場合は、（Ｐ−Ｕ）、（Ｕ−Ｑ）、（Ｑ−Ｖ）、（Ｖ−Ｒ）、（Ｒ−Ｗ）、（Ｗ−Ｓ）という、７候補に対する６つの競合関係が全て関連しているので、スコア優先ルールでは、これら関連する候補の中で最もスコアの高い候補を採用する。この例の場合、判定スコアＲ（２．０）が最も高いスコアであるため、図２３Ｄに示すように、このスコアが採用され、その結果、Ｒと競合関係にある候補Ｖ、Ｗは棄却される。
【０２３１】
しかしながら、図２３Ｅに示すように、これによっても（Ｐ−Ｕ）の競合関係は解消されていない。したがって、再びこれらと関連する全ての競合関係を、ＣＭ候補テーブル中から検索する。今回は、Ｖが棄却されたことにより、（Ｐ−Ｕ）、（Ｕ−Ｑ）という、３つの候補が関係する２つの競合関係のみとなる。
【０２３２】
さらに、これらの候補の中で最もスコアの高い候補Ｑ（１．９）を採用し、図２３Ｆに示すように、Ｑと競合関係にある候補Ｕを棄却する。
【０２３３】
以上によって、Ｐに関係する競合関係はなくなり、Ｐが採用される。また、Ｕ、Ｖ、Ｗは全て棄却され、Ｑ、Ｒ、Ｓが採用されることとなる。
【０２３４】
なお、仮に、関連する全ての競合関係を検索せず、対象となる競合関係（この例の場合、Ｐ，Ｕ）のみでスコア優先ルールを適用すると、先ずＵが採用され、Ｐは棄却される。後にＵとＱとの競合関係により、一時採用されたＵもまた棄却されてしまう。このように、ルール判定器１２２では、偶然の処理順序により候補Ｐが棄却されるようなことのないよう、関連競合関係の検索を行っている。
【０２３５】
以上のスコア優先ルールにより、選択された候補に関する競合関係は必ず解消されることになる。
【０２３６】
図２０に戻り、ステップＳ１７８の処理後、ルール判定器１２２の処理は、ステップＳ１７９に進む。ステップＳ１７９に進むと、ルール判定器１２２は、スコア優先ルールを適用の結果、判定中の候補が棄却されたか否か判断する。このステップＳ１７９において、判定中の候補が棄却されたと判断した場合（Ｙｅｓ）、ルール判定器１２２は、その候補をＣＭ候補テーブルより消去し、ステップＳ１７０に戻る。一方、ステップＳ１７９において、棄却されなかった場合、ルール判定器１２２は、ステップＳ１８０のＣＭ検出出力として、開始時刻とその長さを出力し、ＣＭ候補テーブルから消去した後、ステップＳ１７０に戻る。
【０２３７】
以上説明したように、ＣＭ検出部３２においては、ほぼ全てのＣＭが満足する必須条件に基づき、決定論的に番組中からＣＭの候補を抽出し、ＣＭらしさの指標である付加条件に基づく特徴量の統計論的な評価により候補を選択し、論理条件により候補のオーバーラップ関係を解消することで、精度の高いＣＭ検出を実現している。また、ＣＭ検出部３２では、例えば現行のアナログＴＶ放送の映像音声記録装置を例にとったが、デジタルＴＶ放送等に適用される場合にも同様のＣＭ検出部３２が適用できることは明らかである。
【０２３８】
なお、ＣＭ検出部３２は、他の処理で映像信号におけるＣＭを検出するようにしてもよい。例えば、ＣＭ検出部３２は、放送モード信号の変化のみによって、映像信号におけるＣＭを検出するようにしてもよい。また、例えば、ＣＭ検出部３２は、画像のＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）またはＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）の切り替わりから、映像信号におけるＣＭを検出するようにしてもよい。
【０２３９】
次に、ＣＭ再構成部３５について説明する。図２４は、ＣＭ再構成部３５の構成を示すブロック図である。
【０２４０】
ＣＭ再構成部３５においては、番組本編の画像である第１の画像に、ＣＭの画像である第２の画像が時間を区切って挿入されている映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第１の画像の記憶が制御され、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第２の画像の記憶が制御され、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、第２の画像を表示すべき区間であるか否かが判定され、画面上の第１の領域に時間的に連続するように第１の画像を表示させると共に、第２の画像を表示すべき区間であると判定された場合、画面上の第２の領域に第２の画像を表示させるように、記憶されている第１の画像と第２の画像とが合成される。
【０２４１】
すなわち、ＣＭ再構成部３５は、制御部２０１、復号部２０２、画像縮小部２０３、ＣＭ用バッファ２０４、番組本編用バッファ２０５、合成部２０６、および符号化部２０７を含む。制御部２０１は、記録部３４から読み出されたＣＭ情報、復号部２０２において復号されている映像信号の映像上の時刻、ＣＭ用バッファ２０４に格納されているＣＭの画像を表示させる映像信号の量、番組本編用バッファ２０５に格納されている番組本編の画像を表示させる映像信号の量、および合成部２０６において合成されている番組本編の映像上の時刻を基に、復号部２０２および合成部２０６を制御する。
【０２４２】
より具体的には、制御部２０１は、記録部３４から読み出されたＣＭ情報、復号部２０２において復号されている映像信号の映像上の時刻、ＣＭ用バッファ２０４に格納されているＣＭの画像を表示させる映像信号の量、および番組本編用バッファ２０５に格納されている番組本編の画像を表示させる映像信号の量を基に、ＣＭ用バッファ２０４および番組本編用バッファ２０５があふれないように、かつ、合成部２０６における合成の処理に必要な映像信号がＣＭ用バッファ２０４および番組本編用バッファ２０５に記憶されるように、復号部２０２に映像信号の復号の速度を指示する。
【０２４３】
また、制御部２０１は、記録部３４から読み出されたＣＭ情報、および復号部２０２において復号されている映像信号の映像上の時刻を基に、復号部２０２に、復号された映像信号を画像縮小部２０３に供給させるか、または復号された映像信号を番組本編用バッファ２０５に供給させるかを指示する。
【０２４４】
さらに、制御部２０１は、ＣＭ情報および合成部２０６において合成されている映像信号の番組本編の映像上の時刻を基に、ＣＭの画像を表示すべき区間であるか否かを判定し、判定の結果に基づいて、合成部２０６に、ＣＭ用バッファ２０４に格納されているＣＭの画像（を表示させる映像信号）と、番組本編用バッファ２０５に格納されている番組本編の画像（を表示させる映像信号）との合成を指示する。
【０２４５】
復号部２０２は、制御部２０１の制御の基に、記録部３４から読み出された映像信号を取得し、必要に応じて、取得した映像信号を復号する。復号部２０２は、制御部２０１の制御の基に、復号されたＣＭの映像信号を、画像縮小部２０３に供給し、復号された番組本編の映像信号を番組本編用バッファ２０５に供給する。例えば、記録部３４から読み出された映像信号がＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式で符号化されているとき、復号部２０２は、映像信号をＭＰＥＧ方式で復号する。
【０２４６】
画像縮小部２０３は、復号部２０２から供給されたＣＭの映像信号から、図７で示される、縮小された画像を表示させる映像信号を生成する。例えば、画像縮小部２０３は、復号部２０２から供給されたＣＭの映像信号から、空間的に隣接する４つの画素の画素値の平均値を画素値として１つの画素に設定することにより、画素を間引き、縮小された画像を表示させる映像信号を生成する。画像縮小部２０３は、縮小された画像を表示させる映像信号をＣＭ用バッファ２０４に供給する。
【０２４７】
ＣＭ用バッファ２０４は、いわゆるＦＩＦＯ（ｆｉｒｓｔ−ｉｎ ｆｉｒｓｔ−ｏｕｔ）バッファであり、画像縮小部２０３から供給された、縮小されたＣＭの画像を表示させる映像信号を一時的に記憶し、記憶している映像信号を記憶した順に合成部２０６に供給する。ＣＭ用バッファ２０４は、格納されているＣＭの画像の量（映像信号の量）を示す信号を制御部２０１に供給する。
【０２４８】
番組本編用バッファ２０５は、いわゆるＦＩＦＯバッファであり、復号部２０２から供給された、番組本編の映像信号を一時的に記憶し、記憶している映像信号を記憶した順に合成部２０６に供給する。ＣＭ用バッファ２０４は、格納されている番組本編の画像の量（映像信号の量）を示す信号を制御部２０１に供給する。
【０２４９】
合成部２０６は、制御部２０１の制御の基に、番組本編の画像を時間的に連続させると共に、画面上の第１の領域に番組本編の画像を表示させ、画面上の第２の領域に縮小されたＣＭの画像を表示させるように、番組本編の画像と縮小されたＣＭの画像とを合成する。すなわち、合成部２０６は、制御部２０１の制御の基に、ＣＭの画像を表示させる区間であるとき、画面上の第１の領域に番組本編の画像を表示させ、画面上の第２の領域に縮小されたＣＭの画像を表示させ、ＣＭの画像を表示させる区間でないとき、画面上の第１の領域に番組本編の画像を表示させるように、番組本編の画像と縮小されたＣＭとを合成する。
【０２５０】
例えば、合成部２０６は、制御部２０１の制御の基に、番組本編の画像を時間的に連続させると共に、画面全体に番組本編の画像を表示させ、画面の右下に縮小されたＣＭの画像を表示させるように、番組本編の画像と縮小されたＣＭとを合成する。合成部２０６は、番組本編の画像と縮小されたＣＭとが合成された映像信号を符号化部２０７に供給する。
【０２５１】
符号化部２０７は、必要に応じて、合成部２０６から供給された、番組本編の画像と縮小されたＣＭの画像とが合成された映像信号を符号化して、符号化された映像信号を出力する。例えば、番組本編の画像と縮小されたＣＭの画像とが合成された映像信号を基に、表示装置１６で単に画像を表示するとき、符号化の処理は必要とされない。しかしながら、番組本編の画像と縮小されたＣＭの画像とが合成された映像信号をさらに記録するとき、符号化の処理は、通常、必要とされる。
【０２５２】
次に、図２５および図２６のフローチャートを参照して、ＣＭ再構成部３５の処理を説明する。図２５のフローチャートを参照して説明する復号の処理、および図２６のフローチャートを参照して説明する合成の処理は、並列に実行される。
【０２５３】
図２５は、制御部２０１乃至番組本編用バッファ２０５による、復号の処理を説明するフローチャートである。ステップＳ２０１において、復号部２０２は、制御部２０１の制御の基に、映像信号を復号する。復号部２０２における映像信号の復号の速度は、通常の再生の速度とは限らず、適宜、通常の再生の２倍乃至８倍など、より高速とされる。復号部２０２における映像信号の復号の速度は、ＣＭ用バッファ２０４または番組本編用バッファ２０５に記憶されている映像信号の量、および合成部２０６で合成される映像信号の映像上の時刻などによって、制御部２０１により決定される。
【０２５４】
ステップＳ２０２において、制御部２０１は、記録部３４から読み出されたＣＭ情報および復号部２０２において復号されている映像信号の映像上の時刻を基に、復号されている映像信号の映像上の時刻がＣＭ区間であるか否かを判定し、ＣＭ区間であると判定された場合、ステップＳ２０３に進み、復号部２０２に、復号された映像信号を画像縮小部２０３に供給させ、画像縮小部２０３は、復号部２０２から供給された、ＣＭの画像を縮小し、画像を縮小して得られた映像信号をＣＭ用バッファ２０４に供給する。
【０２５５】
ステップＳ２０４において、ＣＭ用バッファ２０４は、ステップＳ２０３の処理で縮小されたＣＭの画像の映像信号を記憶し、ステップＳ２０１に戻り、上述した処理を繰り返す。
【０２５６】
一方、ステップＳ２０２において、ＣＭ区間でないと判定された場合、番組本編の区間なので、ステップＳ２０５に進み、番組本編用バッファ２０５は、番組本編の画像の映像信号を記憶し、ステップＳ２０１に戻り、上述した処理を繰り返す。
【０２５７】
図２５のフローチャートで説明される処理により、ＣＭ用バッファ２０４には、縮小されたＣＭの画像の映像信号が記憶され、番組本編用バッファ２０５には、番組本編の画像の映像信号が記憶されることになる。
【０２５８】
図２６は、制御部２０１、合成部２０６、および符号化部２０７による、合成の処理を説明するフローチャートである。ステップＳ２２１において、制御部２０１は、記録部３４から読み出されたＣＭ情報および合成部２０６において合成されている映像信号の映像上の時刻を基に、ＣＭを合成すべき番組本編の区間であるか否かを判定し、ＣＭを合成すべき番組本編の区間であると判定された場合、ステップＳ２２２に進み、合成部２０６は、番組本編用バッファ２０５から、ＣＭの画像が合成される、番組本編の画像の映像信号を読み出す。ステップＳ２２３において、合成部２０６は、ＣＭ用バッファ２０４から、番組本編の画像に合成される、縮小されたＣＭの画像の映像信号を読み出す。
【０２５９】
ステップＳ２２４において、合成部２０６は、ステップＳ２２２の処理において読み出された本編の画像と、ステップＳ２２３の処理において読み出された縮小されたＣＭ区間の画像とを合成する。この場合、合成部２０６は、画面上の第１の領域に番組本編の画像を表示させ、画面上の第２の領域に縮小されたＣＭの画像を表示させるように、番組本編の画像と縮小されたＣＭの画像とを合成する。例えば、合成部２０６は、画面全体に番組本編の画像を表示させると共に、画面右下の領域に縮小されたＣＭの画像を表示させるように（番組本編の画像にＣＭの画像が上書きされるように）、番組本編の画像と縮小されたＣＭの画像とを合成する。
【０２６０】
これにより、ＣＭを合成すべき番組本編区間において、画面上で本編の画像と縮小されたＣＭ区間の画像とが合成されることになる。
【０２６１】
ステップＳ２２５において、符号化部２０７は、ステップＳ２２４の処理において合成された画像を符号化して、符号化された映像信号を出力して、ステップＳ２２１に戻り、上述した処理を繰り返す。
【０２６２】
ステップＳ２２１において、ＣＭを合成すべき番組本編区間でないと判定された場合、ステップＳ２２６に進み、合成部２０６は、番組本編用バッファ２０５から番組本編の画像の映像信号を読み出す。ステップＳ２２７において、合成部２０６は、ステップＳ２２６の処理において読み出された番組本編の画像の映像信号をそのまま符号化部２０７に出力し、手続きは、ステップＳ２２５に進む。
【０２６３】
これにより、ＣＭを合成すべきでない番組本編の区間において、番組本編の画像のみが出力されることになる。すなわち、例えば、ＣＭを合成すべきでない番組本編の区間において、番組本編の画像が画面全体に表示される。
【０２６４】
以上のように、ＣＭを合成すべき番組本編区間において、画面上で本編の画像と縮小されたＣＭ区間の画像とが合成され、ＣＭを合成すべきでない番組本編の区間において、番組本編の画像のみが出力されるので、視聴者は、番組本編を連続して視聴できるようになると共に、視聴者に、ＣＭを視聴させることができるようになる。
【０２６５】
図２７は、ＣＭ再構成部３５の他の構成を示すブロック図である。図２４に示す場合と同様の部分には同一の番号を付してあり、その説明は省略する。
【０２６６】
すなわち、図２７で示されるＣＭ再構成部３５は、制御部２３１、復号部２３２、復号部２３３、画像縮小部２０３、ＣＭ用バッファ２０４、番組本編用バッファ２０５、合成部２０６、および符号化部２０７を含む。
【０２６７】
制御部２３１は、記録部３４から読み出されたＣＭ情報、復号部２３２において復号されている映像信号の映像上の時刻、復号部２３３において復号されている映像信号の映像上の時刻、ＣＭ用バッファ２０４に格納されているＣＭの画像の量、および番組本編用バッファ２０５に格納されている番組の本編の画像の量を基に、復号部２３２、復号部２３３、および合成部２０６を制御する。
【０２６８】
より具体的には、制御部２３１は、記録部３４から読み出されたＣＭ情報を基に、復号部２３２に、記録部３４から、ＣＭの区間の映像信号を順次読み出させる。また、制御部２３１は、記録部３４から読み出されたＣＭ情報を基に、復号部２３３に、記録部３４から、番組本編の区間の映像信号を順次読み出させる。
【０２６９】
そして、制御部２３１は、記録部３４から読み出されたＣＭ情報、復号部２３２において復号されている映像信号の映像上の時刻、およびＣＭ用バッファ２０４に格納されているＣＭの画像を表示させる映像信号の量を基に、ＣＭ用バッファ２０４があふれないように、かつ、合成部２０６における合成の処理に必要な映像信号がＣＭ用バッファ２０４に記憶されるように、復号部２３２に映像信号の復号の速度を指示する。
【０２７０】
また、制御部２３１は、記録部３４から読み出されたＣＭ情報、復号部２３３において復号されている映像信号の映像上の時刻、および番組本編用バッファ２０５に格納されている番組の本編の画像を表示させる映像信号の量を基に、番組本編用バッファ２０５があふれないように、かつ、合成部２０６における合成の処理に必要な映像信号が番組本編用バッファ２０５に記憶されるように、復号部２３３に映像信号の復号の速度を指示する。
【０２７１】
さらに、制御部２３１は、ＣＭ情報および合成部２０６において合成されている映像信号の番組本編の映像上の時刻を基に、ＣＭの画像を表示すべき区間であるか否かを判定し、判定の結果に基づいて、合成部２０６に、ＣＭ用バッファ２０４に格納されているＣＭの画像（を表示させる映像信号）と、番組本編用バッファ２０５に格納されている番組本編の画像（を表示させる映像信号）との合成を指示する。
【０２７２】
復号部２３２は、制御部２３１の制御の基に、記録部３４からＣＭの区間の映像信号を読み出し、読み出した映像信号を復号する。復号部２３２は、制御部２３１の制御の基に、復号されたＣＭの区間の映像信号を画像縮小部２０３に供給する。
【０２７３】
復号部２３３は、制御部２３１の制御の基に、記録部３４から番組本編の区間の映像信号を読み出し、読み出した映像信号を復号する。復号部２３３は、制御部２３１の制御の基に、復号された番組本編の区間の映像信号を番組本編用バッファ２０５に供給する。
【０２７４】
図２７で構成が示されるＣＭ再構成部３５においては、ＣＭの区間の映像信号の復号と、本編の区間の映像信号の復号とが並列して実行される。復号部２３２または復号部２３３の処理速度が遅いときであっても、ＣＭ再構成部３５を構成することができる。
【０２７５】
図２８は、制御部２３１、復号部２３２、画像縮小部２０３、および番組ＣＭ用バッファ２０４による、ＣＭ区間の映像信号の復号の処理を説明するフローチャートである。ステップＳ２４１において、復号部２３２は、制御部２３１の制御の基に、記録部３４からＣＭの区間の映像信号を読み出し、読み出したＣＭの区間の映像信号を復号する。ステップＳ２４２において、画像縮小部２０３は、復号部２３２から供給された、ＣＭ区間の画像を縮小し、画像を縮小して得られた映像信号をＣＭ用バッファ２０４に供給する。
【０２７６】
ステップＳ２４３において、ＣＭ用バッファ２０４は、ステップＳ２４２の処理で縮小されたＣＭ区間の画像の映像信号を記憶し、ステップＳ２４１に戻り、上述した処理を繰り返す。
【０２７７】
図２９は、制御部２３１、復号部２３３、および番組本編用バッファ２０５による、本編の区間の映像信号の復号の処理を説明するフローチャートである。ステップＳ２６１において、復号部２３３は、制御部２３１の制御の基に、記録部３４から番組本編の区間の映像信号を読み出し、読み出した番組本編の区間の映像信号を復号する。ステップＳ２６２において、番組本編用バッファ２０５は、ステップＳ２６１の処理で復号された番組本編の画像の映像信号を記憶し、ステップＳ２６１に戻り、上述した処理を繰り返す。
【０２７８】
図２７で構成を示すＣＭ再構成部３５による、合成の処理は、図２６のフローチャートを参照して説明した処理と同様なのでその説明は省略する。
【０２７９】
図２７で構成が示されるＣＭ再構成部３５によっても、ＣＭを合成すべき番組本編区間において、画面上で本編の画像と縮小されたＣＭ区間の画像とが合成され、ＣＭを合成すべきでない番組本編の区間において、番組本編の画像のみが出力されるので、視聴者は、番組本編を連続して視聴できるようになると共に、視聴者に、ＣＭを視聴させることができるようになる。
【０２８０】
図３０は、本発明に係る録画装置の一実施の形態の他の構成を示すブロック図である。図６に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。図３０で構成が示される録画装置においては、再構成された映像信号が記録され、記録されている、再構成された映像信号が読み出されて出力される。
【０２８１】
すなわち、録画装置３０１は、信号入力部３１、ＣＭ検出部３２、通信部３３、記録部３４、および信号出力部３６を含むと共に、ＣＭ再構成部３５に代えてＣＭ再構成部３１１を含む。
【０２８２】
ＣＭ再構成部３１１は、ＣＭ検出部３２または通信部３３から供給されたＣＭ情報を基に、画面上の第１の領域に時間的に連続するように番組本編の画像を表示させると共に、コマーシャルの画像を表示すべき区間であると判定された場合、画面上の第２の領域にコマーシャルの画像を表示させるように、番組本編の画像とコマーシャルの画像とを合成する。
【０２８３】
ＣＭ再構成部３１１は、図２４で示されるＣＭ再構成部３５と同様の構成を有するので、その説明は省略する。
【０２８４】
図３０に構成を示す録画装置３０１において、記録部３４は、番組本編の画像とコマーシャルの画像とが合成された映像信号を記録するので、記録されている映像信号を出力する回数にかかわらず、ＣＭ検出部３２は、１つの映像信号に対して、ＣＭ検出の処理を１回実行すればよい。
【０２８５】
また、記録部３４は、本編の画像とコマーシャルの画像とが合成された映像信号を記録し、ＣＭ情報を記録する必要がないので、図６で示される場合に比較して、より少ない記録容量で足りる。さらに、本編の画像とコマーシャルの画像とが合成された映像信号においては、合成される前に比較して、コマーシャルの区間の時間だけ画像の時間が短くなり、データ量がより少なくなる。
【０２８６】
図３１は、録画装置３０１による、記録の処理を説明するフローチャートである。ステップＳ３０１およびステップＳ３０２の処理は、それぞれ、図９のステップＳ１１およびステップＳ１２の処理と同様なので、その説明は省略する。
【０２８７】
ステップＳ３０３において、ＣＭ再構成部３１１は、ＣＭ検出部３２または通信部３３から供給されたＣＭ情報を基に、映像信号のＣＭ再構成の処理を実行する。ステップＳ３０３における、ＣＭ再構成の処理は、図２５および図２６のフローチャートを参照して説明した処理と同様なので、その説明は省略する。
【０２８８】
ステップＳ３０４において、記録部３４は、ステップＳ３０３の処理によって再構成された映像信号を記録する。ステップＳ３０５において、録画装置３０１は、入力信号が終了したか否かを判定し、入力信号が終了していないと判定された場合、ステップＳ３０１に戻り、上述した処理を繰り返す。
【０２８９】
ステップＳ３０５において、入力信号が終了したと判定された場合、処理は終了する。
【０２９０】
図３２は、録画装置３０１による、出力の処理を説明するフローチャートである。ステップＳ３３１において、記録部３４は、記録されている映像信号を再生することにより、映像信号を読み出す。読み出された映像信号は、信号出力部３６に供給される。
【０２９１】
ステップＳ３３２において、信号出力部３６は、必要に応じて、記録部３４から読み出された映像信号を復号して、映像信号を表示装置１６に出力する。ステップＳ３３３において、録画装置３０１は、記録信号が終了したか否かを判定し、記録信号が終了していないと判定された場合、ステップＳ３３１に進み、上述した処理を繰り返す。ステップＳ３３３において、記録信号が終了したと判定された場合、処理は終了する。
【０２９２】
図３３は、本発明に係る録画装置の一実施の形態のさらに他の構成を示すブロック図である。図６に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。図３３で構成が示される録画装置においては、映像信号が記録され、記録されている映像信号からＣＭ情報が検出され、検出されたＣＭ情報を基に映像信号が再構成される。
【０２９３】
すなわち、録画装置３２１は、信号入力部３１、記録部３４、および信号出力部３６を含むと共に、ＣＭ検出部３４１およびＣＭ再構成部３４２を含む。
【０２９４】
ＣＭ検出部３４１は、記録部３４に記録されている映像信号からＣＭを検出して、映像信号におけるＣＭの区間などＣＭに関する情報であるＣＭ情報をＣＭ再構成部３４２に供給する。
【０２９５】
ＣＭ検出部３４１は、図１１で示されるＣＭ検出部３２と同様の構成を有するので、その説明は省略する。
【０２９６】
ＣＭ再構成部３４２は、ＣＭ検出部３４１から供給されたＣＭ情報を基に、画面上の第１の領域に時間的に連続するように番組本編の画像を表示させると共に、コマーシャルの画像を表示すべき区間であると判定された場合、画面上の第２の領域にコマーシャルの画像を表示させるように、記録部３４から読み出された番組本編の画像（の映像信号）とコマーシャルの画像（の映像信号）とを合成する。
【０２９７】
ＣＭ再構成部３４２は、図２４で示されるＣＭ再構成部３５と同様の構成を有するので、その説明は省略する。
【０２９８】
録画装置３２１においては、記録部３４から読み出された映像信号を基に、ＣＭ情報を検出し、検出したＣＭ情報を基に、記録部３４から読み出された映像信号の番組本編の画像とコマーシャルの画像とを合成するので、録画装置３２１は、他の録画装置によって記録された映像信号であっても、本編の画像とコマーシャルの画像とを合成することができる。
【０２９９】
図３４は、録画装置３２１による、記録の処理を説明するフローチャートである。ステップＳ３５１の処理は、図９のステップＳ１１の処理と同様なので、その説明は省略する。
【０３００】
ステップＳ３５２において、記録部３４は、ステップＳ３５１の処理によって取得された映像信号を記録する。ステップＳ３５３において、録画装置３２１は、入力信号が終了したか否かを判定し、入力信号が終了していないと判定された場合、ステップＳ３５１に戻り、上述した処理を繰り返す。
【０３０１】
ステップＳ３５３において、入力信号が終了したと判定された場合、処理は終了する。
【０３０２】
図３５は、録画装置３２１による、出力の処理を説明するフローチャートである。ステップＳ３７１において、記録部３４は、記録されている映像信号を再生することにより、映像信号を読み出す。読み出された映像信号は、ＣＭ検出部３４１およびＣＭ再構成部３４２に供給される。
【０３０３】
ステップＳ３７２において、ＣＭ検出部３４１は、ステップＳ３７１の処理によって取得された映像信号を基に、ＣＭ検出の処理を実行する。ステップＳ３７２のＣＭ検出の処理の詳細は、図１２乃至図１４および図２０のフローチャートを参照して説明した処理と同様なのでその説明は省略する。
【０３０４】
ステップＳ３７３において、ＣＭ再構成部３４２は、ステップＳ３７２の処理で検出されたＣＭ情報を基に、ステップＳ３７１の処理で読み出された映像信号のＣＭ再構成の処理を実行する。ステップＳ３７３のＣＭ再構成の処理の詳細は、図２５および図２６のフローチャートを参照して説明した処理と同様なので、その説明は省略する。
【０３０５】
ステップＳ３７４において、信号出力部３６は、必要に応じて、ステップＳ３７３の処理において再構成された映像信号を復号して、映像信号を表示装置１６に出力する。ステップＳ３７５において、録画装置３２１は、記録信号が終了したか否かを判定し、記録信号が終了していないと判定された場合、ステップＳ３７１に進み、上述した処理を繰り返す。ステップＳ３７５において、記録信号が終了したと判定された場合、処理は終了する。
【０３０６】
図３６は、録画装置１１、録画装置３０１、および録画装置３２１による、番組本編の画像とコマーシャルの画像との合成の他の例を示す図である。
【０３０７】
図８で示される場合においては、１つのＣＭが１回表示されるように映像信号に合成されるのに対して、図３６で示されるように、録画装置１１、録画装置３０１、および録画装置３２１は、ＣＭの画像を縮小してから、そのＣＭの区間の次の番組本編の区間の番組本編の画像に、ＣＭを時間的に繰り返して表示させるように、番組本編の画像にＣＭの画像を空間的に挿入することができる。すなわち、この場合において、制御部２０１または制御部２３１は、第２の領域にＣＭの画像を時間的に繰り返して表示させるように、映像信号における本編の画像およびＣＭの画像の少なくとも一方の配置に基づいて、ＣＭの画像を表示すべき区間であるか否かを判定する。
【０３０８】
録画装置１１、録画装置３０１、および録画装置３２１は、区間Ｃ１の１または複数のＣＭの画像を縮小してから区間Ｃ１の次の区間Ｐ２の番組本編の画像に、区間Ｐ２が終了するまで（区間Ｐ３が始まるまで）、区間Ｃ１の１または複数のＣＭが時間的に繰り返して表示されるように、番組本編の画像にＣＭの画像を空間的に挿入する（合成する）。
【０３０９】
同様に、録画装置１１、録画装置３０１、および録画装置３２１は、区間Ｃ２の１または複数のＣＭの画像を縮小してから区間Ｃ２の次の区間Ｐ３の番組本編の画像に、区間Ｐ３が終了するまで、区間Ｃ２の１または複数のＣＭの画像が時間的に繰り返して表示されるように、番組本編の画像にＣＭの画像を空間的に挿入する。
【０３１０】
より具体的には、図３６Ａで示されるように、ＣＭの区間における複数のＣＭの順序を維持したまま繰り返すように、例えば、信号入力部３１で取得された映像信号において区間Ｃ１にＣＭ１およびＣＭ２が挿入されているとき、録画装置１１、録画装置３０１、および録画装置３２１は、区間Ｃ１のＣＭ１およびＣＭ２の画像を縮小してから区間Ｃ１の次の区間Ｐ２の番組本編の画像に、ＣＭ１およびＣＭ２の画像を、ＣＭ１、ＣＭ２、ＣＭ１、ＣＭ２、ＣＭ１、ＣＭ２の順に、時間的に繰り返して表示させるように、番組本編の画像にＣＭの画像を空間的に挿入する。
【０３１１】
そして、信号入力部３１で取得された映像信号において区間Ｃ２にＣＭ３およびＣＭ４が挿入されているとき、録画装置１１、録画装置３０１、および録画装置３２１は、区間Ｃ２のＣＭ３およびＣＭ４を縮小してから区間Ｃ２の次の区間Ｐ３の番組本編の画像に、ＣＭ３およびＣＭ４の画像を、ＣＭ３、ＣＭ４、ＣＭ３、ＣＭ４、ＣＭ３、ＣＭ４の順に、時間的に繰り返して表示させるように、番組本編の画像にＣＭの画像を空間的に挿入する。すなわち、ＣＭの区間のＣＭが一巡してから再度繰り返されるように、映像信号に合成される。
【０３１２】
また、図３６Ｂで示されるように、ＣＭの区間における個々のＣＭを繰り返すように、例えば、信号入力部３１で取得された映像信号において区間Ｃ１にＣＭ１およびＣＭ２が挿入されているとき、録画装置１１、録画装置３０１、および録画装置３２１は、区間Ｃ１のＣＭ１およびＣＭ２の画像を縮小してから区間Ｃ１の次の区間Ｐ２の番組本編の画像に、ＣＭ１およびＣＭ２の画像を、ＣＭ１、ＣＭ１、ＣＭ１、ＣＭ２、ＣＭ２、ＣＭ２の順に、時間的に繰り返して表示させるように、番組本編の画像にＣＭの画像を空間的に挿入する。
【０３１３】
そして、信号入力部３１で取得された映像信号において区間Ｃ２にＣＭ３およびＣＭ４が挿入されているとき、録画装置１１、録画装置３０１、および録画装置３２１は、区間Ｃ２のＣＭ３およびＣＭ４を縮小してから区間Ｃ２の次の区間Ｐ３の番組本編の画像に、ＣＭ３およびＣＭ４の画像を、ＣＭ３、ＣＭ３、ＣＭ３、ＣＭ４、ＣＭ４、ＣＭ４の順に、時間的に繰り返して表示させるように、番組本編の画像にＣＭの画像を空間的に挿入する。すなわち、個々のＣＭが連続して繰り返されるように、映像信号に合成される。
【０３１４】
さらに、図３６Ｃで示されるように、信号入力部３１で取得された映像信号における個々のＣＭを繰り返すように、例えば、区間Ｃ１にＣＭ１およびＣＭ２が挿入され、区間Ｃ２にＣＭ３およびＣＭ４が挿入されているとき、録画装置１１、録画装置３０１、および録画装置３２１は、ＣＭ１乃至ＣＭ４の画像を縮小してから、番組の本編の画像に、ＣＭ１乃至ＣＭ４の画像を、ＣＭ１、ＣＭ２、ＣＭ３、ＣＭ４、ＣＭ１、ＣＭ２、ＣＭ３、ＣＭ４の順に、時間的に繰り返して表示させるように、番組本編の画像にＣＭの画像を空間的に挿入する。
【０３１５】
この場合、縮小したＣＭの画像を繰り返し表示させることができるので、単にＣＭの画像を縮小して表示する場合に比較して、コマーシャルの購買意欲を喚起させる効果を維持することができる。
【０３１６】
図３７は、ＣＭ再構成部３５のさらに他の構成を示すブロック図である。図２４に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０３１７】
すなわち、図３７で構成が示されるＣＭ再構成部３５は、復号部２０２、ＣＭ用バッファ２０４、番組本編用バッファ２０５、および符号化部２０７、並びに制御部３６１、画像縮小部３６２、画像縮小部３６３、および合成部３６４を含む。
【０３１８】
制御部３６１は、ＣＭ情報、復号部２０２において復号されている映像信号の映像上の時刻、ＣＭ用バッファ２０４に格納されているＣＭの画像の量、番組本編用バッファ２０５に格納されている番組の本編の画像の量、および合成部３６４において合成されている番組本編の映像上の時刻を基に、復号部２０２、画像縮小部３６２、画像縮小部３６３、および合成部３６４を制御する。
【０３１９】
制御部３６１は、制御部２０１が実行する制御に加えて、さらに、ＣＭ情報、復号部２０２において復号されている映像信号の映像上の時刻、および合成部３６４において合成されている番組本編の映像上の時刻を基に、画像縮小部３６２および画像縮小部３６３に、画像を縮小する割合を指示する。例えば、制御部３６１は、画像縮小部３６２および画像縮小部３６３に、ＣＭの画像または番組本編の画像を、その全体が画面に表示されるように縮小させる。例えば、制御部３６１は、画像縮小部３６２および画像縮小部３６３に、ＣＭの画像または番組本編の画像を、その大きさが時間的に変化するように縮小させる。
【０３２０】
復号部２０２は、制御部３６１の制御の基に、映像信号を取得し、取得した映像信号を復号する。復号部２０２は、制御部３６１の制御の基に、復号されたＣＭの映像信号を、画像縮小部３６２に供給し、復号された番組本編の映像信号を画像縮小部３６２に供給する。
【０３２１】
画像縮小部３６２は、制御部３６１の制御の基に、復号部２０２から供給されたＣＭの映像信号から、縮小されたＣＭの画像を表示させる映像信号を生成する。画像縮小部３６２は、縮小されたＣＭの画像を表示させる映像信号をＣＭ用バッファ２０４に供給する。画像縮小部３６３は、制御部３６１の制御の基に、復号部２０２から供給された番組本編の映像信号から、縮小された番組本編の画像を表示させる映像信号を生成する。画像縮小部３６３は、縮小された番組本編の画像を表示させる映像信号を番組本編用バッファ２０５に供給する。
【０３２２】
合成部３６４は、制御部３６１の制御の基に、画面上の第１の領域に時間的に連続するように、縮小された番組本編の画像を表示させると共に、ＣＭの画像を表示すべき区間であると判定された場合、画面上の第２の領域に、縮小されたＣＭの画像を表示させるように、記憶されている番組本編の画像とＣＭの画像とを合成する。
【０３２３】
この場合において、図３８で示されるように、表示装置１６は、縮小された本編画像５１の全体を表示すると共に、縮小されたＣＭの画像５２の全体を表示する。表示装置１６は、本編画像５１またはＣＭの画像５２以外の領域を黒などで表示する。
【０３２４】
このようにすることで、図７で示される本編画像５１およびＣＭの画像５２においては、本編画像５１の一部がＣＭの画像５２によって隠されてしまうという問題があったが、本編画像５１の全体を視聴者に見せることができるようになる。
【０３２５】
また、ＣＭの画像５２が表示されたりされなかったりすると、本編画像５１が突然小さくなったり大きくなったりして視聴者に不快感を与えるという問題がある。すなわち、ＣＭの画像５２の表示または非表示によって、画面上の本編画像５１の位置が移動するので、視聴者は視点を移動させなければならない。
【０３２６】
そこで、図３９で示されるように、本編画像５１のみを表示している状態から、本編画像５１およびＣＭの画像５２を表示させる状態に遷移するとき、図３７で構成が示されるＣＭ再構成部３５は、本編画像５１を徐々に小さくするとともに、ＣＭの画像５２を徐々に大きくするように画面を表示させるように映像信号を合成することができる。
【０３２７】
逆に、本編画像５１およびＣＭの画像５２を表示している状態から、本編画像５１のみを表示している状態に遷移するとき、図３７で構成が示されるＣＭ再構成部３５は、本編画像５１を徐々に大きくするとともに、ＣＭの画像５２を徐々に小さくするように画面を表示させるように映像信号を合成する。
【０３２８】
このようにすることで、番組の本編画像５１の大きさが突然変わることを防ぐことが可能となり、視聴者にとって、不快感の少ない番組本編の視聴が可能となる。
【０３２９】
なお、図３９で示される例では空間的に徐々にＣＭの画像が大きくなる例を示したが、不快感の少ない番組本編の視聴が可能となれば良い。例えば、図には示さないが、図３７で構成が示されるＣＭ再構成部３５は、ＣＭの画像５２をフェードイン、またはフェードアウトさせる（徐々に透明度を低くするか、徐々に透明度を高くする）ようにしても良い。この場合、画像縮小部３６２および画像縮小部３６３は、画像を縮小するとともに、画像の透明度を変化させる。
【０３３０】
番組本編の画像とＣＭの画像との合成を行なったとき、音声もそのまま合成してしまうと、番組本編の音声とＣＭの音声とが共にスピーカから出力されてしまい、音が混ざってしまうという問題がある。
【０３３１】
この問題を解決する画面の例を図４０に示す。図４０Ａで示されるように、ＣＭ再構成部３５は、図示せぬ音声認識部を有し、ＣＭの音声を音声認識により認識する。そして、ＣＭ再構成部３５は、認識されたＣＭの音声を画面に表示する。例えば、図４０Ａで示されるように、認識されたＣＭの音声は、キャプション４０１として、文字によって表示される。キャプション４０１には、ＣＭの音声から音声認識によって得られた音声の他にＥＰＧによって送信されてくる情報が表示されたり、ネットワーク１３を介してサーバ１５から得られる情報が表示されるようにしても良い。
【０３３２】
なお、図４０Ｂで示されるように、認識されたＣＭの音声をキャプション４０１に表示させ、ＣＭの画像５２を表示しないようにしてもよい。
【０３３３】
また、番組本編とＣＭの音声が混ざることを避けるため、本編画像５１およびＣＭの画像５２が同時に表示されているとき、番組本編およびＣＭのどちらか一方の音声のみがスピーカから出力されるようにすることができる。例えば、基本的に番組本編の音声が優先的に出力され、視聴者がＣＭに注目した場合に（図示せぬ、リモートコントローラの操作によって指示された場合に）、出力される音声がＣＭの音声に切り換えられるようにしてもよい。
【０３３４】
さらに、ＣＭに注目した場合に、ＣＭがそのＣＭの最初から表示され直したり、ＣＭの画像５２の表示面積が拡大されるか、またはＣＭの画像５２が全画面表示されるようにしてもよい。このとき、視聴者がＣＭを視聴している間、番組本編を一時停止するようにしてもよく、このようにしたとき、視聴者における利便性が向上する。視聴者がＣＭに注目したか否かを、録画装置１１、録画装置３０１、または録画装置３２１は、視聴者によるリモートコントローラ等の操作などによって生成される信号により認識することができる。
【０３３５】
図３８で示される、本編画像５１またはＣＭの画像５２が表示される画面において、黒などが表示される領域があり、表示領域が有効に利用されていないと言える。そこで、図４１で示されるように、１つの本編画像５１に対して、複数のＣＭの画像５２−１乃至５２−５が同時に表示される（並列して挿入される）ようにしてもよい。このようにすることで、表示装置１６の表示領域全体に画像が表示され、表示装置１６の表示領域が有効に利用されることになる。
【０３３６】
なお、図４１におけるＣＭの画像５２−１乃至５２−５は、異なる画像であっても、同一の画像であってもよい。
【０３３７】
さらに、図４２で示されるように、ＣＭの画像５２を時間の経過によって、順次入れ換えるようにしてもよい。例えば、図４２における左側の図で示されるように、画面の下側および右側にＣＭの画像５２−１乃至５２−５が表示されている場合、次のＣＭの画像５２−６を表示するとき、図４２における中央の図で示されるように、ＣＭの画像５２−２乃至５２−５を反時計回りに移動させて、ＣＭの画像５２−６を画面の左下に表示させる。さらに、図４２における中央の図で示されるように、画面の下側および右側にＣＭの画像５２−２乃至５２−６が表示されている場合、次のＣＭの画像５２−７を表示するとき、図４２における右側の図で示されるように、ＣＭの画像５２−３乃至５２−６を反時計回りに移動させて、ＣＭの画像５２−７を画面の左下に表示させる。
【０３３８】
このように、本編画像５１および複数のＣＭの画像５２を同時に表示させるとき、１または複数のＣＭの画像５２を追加することによって画面を更新することが可能である。なお、１度に全てのＣＭの画像５２を新たなものに入れ換えても良い。
【０３３９】
図４３は、番組の本編画像５１の水平方向の中心位置とスピーカの水平方向の中心位置のずれの例を示す図である。表示装置１６は、画像を表示する表示部４２１およびスピーカ４２２−１および４２２−２を有する。
【０３４０】
図３８で示される本編画像５１およびＣＭの画像５２を表示部４２１に表示させた場合、本編画像５１の中心位置Ａは、表示装置１６の表示部４２１の中心位置とずれたものとなる。スピーカ４２２−１および４２２−２の中心位置Ｂは、表示部１６の中心位置と合わせてあることが多い。従って、結果的に本編画像５１の中心位置Ａとスピーカ４２２−１および４２２−２の中心位置Ｂには、Ｃのずれが生じることになる。表示部４２１が小さい場合、このずれＣは大きな問題となることは少ないが、例えば１００インチを超えるような大きな表示部４２１を持つ表示装置１６では視聴者が視聴時に違和感を感じる恐れがある。
【０３４１】
そこで、図４４で示されるように、本編画像５１の横方向の中心位置と、表示部４２１の横方向の中心位置とを一致させる。すなわち、本編画像５１が水平方向に関して画面の中央に配される。図４４Ａで示されるように、本編画像５１およびＣＭの画像５２が水平方向に関して画面の中央に配される。このようにすることで、本編画像５１の水平方向の中心位置とスピーカ４２２−１および４２２−２の水平方向の中心位置が一致するため、画像の位置と音像の位置とが一致し、違和感を無くすことができるようになる。ここで、音像とは、スピーカ４２２−１および４２２−２によって出力される音声により、視聴者が認識する、空間的な広がりまたは位置をもった音声による像である。
【０３４２】
図４４Ｂは、ＣＭの画像５２が、表示部４２１の水平方向に中央ではない位置に配されている例を示す図である。ＣＭの音を出していない場合、ＣＭの画像５２の位置は特に問題となることは少ない。また、視聴者がＣＭに注目した場合にＣＭの画像５２を表示部４２１の中央に再配置し、音声を番組本編の音声からＣＭの音声に切り替えるようにしてもよい。録画装置１１、録画装置３０１、または録画装置３２１は、視聴者がＣＭに注目したか否かを、視聴者によるリモートコントローラ等の操作などによって生成される信号により認識することができる。
【０３４３】
図４４においては、１つの本編画像５１と、１つのＣＭの画像５２とが表示される例を示したが、図４５で示されるように、複数のＣＭの画像５２を並列して（同時に）表示するようにしても良い。このとき、図４５Ａで示されるように、ＣＭの画像５２−１乃至５２−３として同一のＣＭを複数並列して表示するようにしても、図４５Ｂで示されるように、ＣＭの画像５２−１乃至５２−３として、異なるＣＭを並列に表示するようにしても良い。
【０３４４】
なお、図には示さないが、図４５Ａと図４５Ｂの中間的配置として、画面に配される複数のＣＭの画像５２のうち一部を同一のＣＭとするようにしてもよい。
【０３４５】
さらに、画面の垂直方向の中心の位置と、本編画像５１の垂直方向の中心の位置とを一致させることができる。すなわち、図４６で示される例のように、垂直方向に関しても本編画像５１を表示部４２１の中央に配することで、本編画像５１と音声（音像）の位置のずれを防ぐことが可能である。図４６Ａは、本編画像５１に対して１つのＣＭの画像５２を表示させるようにした例を示す図であり、図４６Ｂは、同一のＣＭの画像５２−１乃至５２−１６を複数並列に（同時に）表示させるようにした例を示す図である。図４６Ｃは複数種類（異なる内容）のＣＭの画像５２−１乃至５２−１６を複数並列に（同時に）表示させるようにした例を示す図である。
【０３４６】
本編画像５１やＣＭの画像５２を縮小表示する場合、細かい部分の認識が困難になる可能性がある。この問題は、縮小表示する画像に適切な画像処理を加え細かい部分の認識も容易にすることで解決が可能である。例えば、特願２００２−３０４５１７号において、本出願人が提案している画像処理方法を適用することができる。すなわち、例えば、入力された第１の映像信号の中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出し、抽出されたオブジェクトデータに対応するオブジェクトが、第１の映像信号に対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の映像信号を調整して第２の映像信号を生成し、生成した第２の映像信号に対応する画像の表示を制御するようにすることができる。この場合、オブジェクトは、ＣＭにおいて宣伝の対象となる商品、商号、または商標などとすることができる。
【０３４７】
図４７は、ＣＭ再構成部３５のさらに他の構成を示すブロック図である。図２４に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０３４８】
すなわち、図４７で構成が示されるＣＭ再構成部３５は、復号部２０２、番組本編用バッファ２０５、および符号化部２０７、並びに制御部５０１、ＣＭ用バッファ５０２、および合成部５０３を含む。
【０３４９】
制御部５０１は、ＣＭ情報、復号部２０２において復号されている映像信号の映像上の時刻、ＣＭ用バッファ５０２に格納されているＣＭの画像の量、および番組本編用バッファ２０５に格納されている番組の本編の画像の量を基に、復号部２０２および合成部５０３を制御する。
【０３５０】
より具体的には、制御部５０１は、ＣＭ情報、復号部２０２において復号されている映像信号の映像上の時刻、ＣＭ用バッファ５０２に格納されているＣＭの画像を表示させる映像信号の量、および番組本編用バッファ２０５に格納されている番組本編の画像を表示させる映像信号の量を基に、ＣＭ用バッファ５０２および番組本編用バッファ２０５があふれないように、かつ、合成部５０３における合成の処理に必要な映像信号がＣＭ用バッファ５０２および番組本編用バッファ２０５に記憶されるように、復号部２０２に映像信号の復号の速度を指示する。
【０３５１】
また、制御部５０１は、ＣＭ情報および復号部２０２において復号されている映像信号の映像上の時刻を基に、復号部２０２に、復号された映像信号をＣＭ用バッファ５０２に供給させるか、または復号された映像信号を番組本編用バッファ２０５に供給させるかを指示する。
【０３５２】
さらに、制御部５０１は、ＣＭ情報および合成部５０３において合成されている映像信号の番組本編の映像上の時刻を基に、ＣＭの画像を表示すべき区間であるか否かを判定し、判定の結果に基づいて、合成部５０３に、ＣＭ用バッファ５０２に格納されているＣＭの画像（を表示させる映像信号）と、番組本編用バッファ２０５に格納されている番組本編の画像（を表示させる映像信号）との合成を指示する。
【０３５３】
復号部２０２は、制御部５０１の制御の基に、映像信号を取得し、取得した映像信号を復号する。復号部２０２は、制御部５０１の制御の基に、復号されたＣＭの映像信号を、ＣＭ用バッファ５０２に供給し、復号された番組本編の映像信号を番組本編用バッファ２０５に供給する。
【０３５４】
番組本編用バッファ２０５は、いわゆるＦＩＦＯバッファであり、復号部２０２から供給された、復号された番組本編の映像信号を一時的に記憶し、記憶している映像信号を記憶した順に合成部５０３に供給する。ＣＭ用バッファ５０２は、いわゆるＦＩＦＯバッファであり、復号部２０２から供給された、復号されたＣＭの映像信号を一時的に記憶し、記憶している映像信号を記憶した順に合成部５０３に供給する。
【０３５５】
合成部５０３は、映像信号における、ＣＭの画像である第２の画像の配置に基づいて、映像信号において番組本編の画像である第１の画像の個々の区切りに挿入されている数以下の第２の画像が第１の画像を時間を区切って配置されるように、記憶されている第１の画像および第２の画像のいずれか一方を選択することにより、第１の画像と第２の画像とを合成する。
【０３５６】
すなわち、合成部５０３は、制御部５０１の制御の基に、信号入力部３１において取得された映像信号において番組本編の個々の区切りに挿入されている数以下のコマーシャルが番組本編を時間を区切って配置されるように、番組本編用バッファ２０５に記憶されている番組本編の映像信号およびＣＭ用バッファ５０２に記憶されているコマーシャルの映像信号のいずれか一方を選択することにより、番組本編の画像とコマーシャルの画像とを合成する。例えば、合成部５０３は、制御部５０１の制御の基に、１つずつのコマーシャルが番組本編を時間を区切って配置されるように、番組本編用バッファ２０５に記憶されている番組本編の映像信号およびＣＭ用バッファ５０２に記憶されているコマーシャルの映像信号のいずれか一方を選択することにより、番組本編の画像とコマーシャルの画像とを合成する。
【０３５７】
図４７で構成が示されるＣＭ再構成部３５においては、本編画像およびＣＭの画像は、空間的に合成されず、時間的にのみ構成が変更される。例えば、図１で示される番組本編およびＣＭ１乃至ＣＭ４は、番組本編の間に、ＣＭ１、ＣＭ２、ＣＭ３、およびＣＭ４が個々に時間を区切って（それぞれ他のＣＭと連続せずに）挿入されるように、時間的な構成が変更される。
【０３５８】
図４８は、図４７で構成が示されるＣＭ再構成部３５が出力する映像信号を説明する図である。入力された映像信号において連続したＣＭは、ＣＭ再構成部３５が出力する映像信号において、分割される。すなわち、例えば、ＣＭ再構成部３５が出力する映像信号において、番組本編の間に、個々のＣＭが時間を区切って挿入される。
【０３５９】
図１で示されるように、放送において、複数のＣＭが連続して番組本編の間に挿入されていることが多い。この場合、視聴者は長い時間連続してＣＭを視聴しなければならない。
【０３６０】
これに対して、ＣＭ再構成部３５から出力される映像信号において、番組本編の間に、ＣＭが１つずつ時間を区切って挿入されているので、連続してＣＭを視聴しなければならない時間が短縮され、視聴者はすぐに番組本編の視聴を再開できる。
【０３６１】
図４８ではＣＭを１つずつに分割しているが、２つ以上の連続したＣＭであっても良い。すなわち、信号入力部３１において取得されたときに比較して、ＣＭの連続時間が同じであるか、または減少していれば良い。
【０３６２】
次に、図４９および図５０のフローチャートを参照して、図４７で構成が示されるＣＭ再構成部３５の処理を説明する。図４９のフローチャートを参照して説明する復号の処理、および図５０のフローチャートを参照して説明する合成の処理は、並列に実行される。
【０３６３】
図４９は、制御部５０１、復号部２０２、ＣＭ用バッファ５０２、および番組本編用バッファ２０５による、復号の処理を説明するフローチャートである。ステップＳ５０１において、復号部２０２は、映像信号を復号する。ステップＳ５０２において、制御部５０１は、ＣＭ情報および復号部２０２において復号されている映像信号の映像上の時刻を基に、復号されている映像信号の映像上の時刻がＣＭ区間であるか否かを判定し、ＣＭ区間であると判定された場合、ステップＳ５０３に進み、復号部２０２に、復号された映像信号をＣＭ用バッファ５０２に供給させ、ＣＭ用バッファ５０２は、復号部２０２から供給された、ＣＭ区間の映像信号を記憶する。そして、手続きは、ステップＳ５０１に戻り、上述した処理を繰り返す。
【０３６４】
一方、ステップＳ５０２において、ＣＭ区間でないと判定された場合、番組本編の区間なので、ステップＳ５０４に進み、制御部５０１は、復号部２０２に、復号された映像信号を番組本編用バッファ２０５に供給させ、番組本編用バッファ２０５は、番組本編の区間の映像信号を記憶し、ステップＳ５０１に戻り、上述した処理を繰り返す。
【０３６５】
図４９のフローチャートで説明される処理により、ＣＭ用バッファ５０２には、ＣＭ区間の画像を表示させる映像信号が記憶され、番組本編用バッファ２０５には、番組本編の区間の画像を表示させる映像信号が記憶されることになる。
【０３６６】
図５０は、制御部５０１、合成部５０３、および符号化部２０７による、合成の処理を説明するフローチャートである。ステップＳ５２１において、制御部５０１は、ＣＭ情報および合成部５０３において合成されている映像信号の映像上の時刻を基に、ＣＭを出力すべき番組本編区間であるか否かを判定し、ＣＭを出力すべき番組本編区間であると判定された場合、ステップＳ５２２に進み、合成部５０３は、ＣＭ用バッファ５０２からＣＭ区間の画像を読み出して、ＣＭ区間の画像を選択することにより、番組本編の区間の画像とＣＭ区間の画像とを合成する。
【０３６７】
ステップＳ５２３において、符号化部２０７は、合成された画像を符号化して、符号化された映像信号を出力して、ステップＳ５２１に戻り、上述した処理を繰り返す。
【０３６８】
ステップＳ５２１において、ＣＭを出力すべき番組本編区間でないと判定された場合、ステップＳ５２４に進み、合成部２０６は、番組本編用バッファ２０５から本編の画像を読み出して、本編の画像を選択することにより、番組本編の区間の画像とＣＭ区間の画像とを合成し、手続きは、ステップＳ５２３に進む。
【０３６９】
これにより、出力される映像信号において、取得された映像信号における場合に比較して、連続するＣＭの時間が同じであるか、または減少することになる。
【０３７０】
したがって、連続してＣＭを視聴しなければならない時間が短縮され、視聴者はすぐに番組本編の視聴を再開できる。
【０３７１】
なお、ＣＭ再構成部３１１またはＣＭ再構成部３４２は、図４７で示されるＣＭ再構成部３５と同様の構成とすることができる。
【０３７２】
また、ＣＭ再構成部３５、ＣＭ再構成部３１１、またはＣＭ再構成部３４２は、通常の再生速度の映像信号を出力するとは限らず、例えば、通常の再生速度の１．３倍乃至８倍などの所望の再生速度の映像信号を出力するようにしてもよい。この場合において、ＣＭ再構成部３５、ＣＭ再構成部３１１、またはＣＭ再構成部３４２は、映像信号に予め含まれる信号を基に、重要なシーンであると判定された場合、通常の再生速度の映像信号を出力し、重要なシーンでないと判定された場合、より高速な再生速度の映像信号を出力するようにしてもよい。また、ＣＭ再構成部３５、ＣＭ再構成部３１１、またはＣＭ再構成部３４２は、映像信号に含まれる画像オブジェクトを検出し、検出された画像オブジェクトが予め記憶している画像オブジェクトと一致するか類似すると判定された場合、重要なシーンであるとして、映像信号の再生速度を制御するようにしてもよい。
【０３７３】
このような制御は、上述したように、制御部２０１、制御部２３１、制御部３６１、または制御部５０１が復号部２０２、復号部２３２、または復号部２３３の復号の速度を制御するので、容易に実現できる。
【０３７４】
以上のように、本発明によれば、視聴者に、番組本編を連続して視聴させつつ、コマーシャルを見せることができるようになる。すなわち、視聴者の番組本編を連続して視聴したいという要求とＣＭを視聴してもらいたいというスポンサーの要求とを同時に満足させることができる。
【０３７５】
番組本編の画像と、ＣＭの画像とを共に縮小表示して、重ならないように配置することができるので、視聴者は、番組本編の画像およびＣＭの画像の全てを視聴することができる。さらに、縮小したＣＭの画像を繰り返し表示することができるので、単にＣＭの画像を縮小して表示する場合に比較して、コマーシャルの購買意欲を喚起させる効果を維持することができる。
【０３７６】
複数のＣＭの画像を同時に画面に表示させることにより、画面の未使用の領域を減少させることができる。さらに、ＣＭを徐々に表示させたり、徐々に消去したりすることができるので、視聴者に違和感を感じさせず、ＣＭを見せることができるようになる。
【０３７７】
画面の横方向の中心に、番組本編の画像の横方向の中心が一致するか、または画面の縦方向の中心に、番組本編の画像の縦方向の中心が一致するように、番組本編の画像を表示させるようにした場合、音声の位置（音像の位置）と画像の位置とが一致し、視聴者に違和感を感じさせることがない。
【０３７８】
また、例えば、縮小されたＣＭの画像において、ＣＭにおいて宣伝の対象となる商品、商号、または商標などオブジェクトに対応するオブジェクトデータを抽出し、抽出されたオブジェクトデータに対応するオブジェクトが、他のオブジェクトよりも相対的に強調されるように、ＣＭの画像の映像信号を調整してＣＭの画像の映像信号を生成し、生成したＣＭの画像の映像信号に対応する画像の表示を制御するようにしたとき、ＣＭの画像の内の注目してもらいたい画像を視聴者に見せることができるようになる。同様に、例えば、縮小された本編の画像において、注目すべきオブジェクトデータを抽出し、抽出されたオブジェクトデータに対応するオブジェクトが、他のオブジェクトよりも相対的に強調されるように、本編の画像の映像信号を調整して本編の画像の映像信号を生成し、生成した本編の画像の映像信号に対応する画像の表示を制御するようにしたとき、本編の画像の内の注目してもらいたい画像を視聴者に見せることができるようになる。
【０３７９】
取得された映像信号における場合に比較して、連続するＣＭの時間が同じであるか、または短くするように、映像信号を合成したとき、１回のコマーシャルの表示による次の本編の表示までの待ち時間を短くすることができるので、本編の視聴による意識の高揚などの視聴者の意識を変化させることなく、視聴者にコマーシャルを見せて、次の本編を見せることができるようになる。
【０３８０】
このように、画面上に時間的に連続するように番組本編である第１の画像を表示させるようにした場合には、番組本編を連続して視聴できる。
【０３８１】
また、番組本編である第１の画像にコマーシャルである第２の画像が時間を区切って挿入されている映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第１の画像の記憶を制御し、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、映像信号のうちの第２の画像の記憶を制御し、映像信号における第１の画像および第２の画像の少なくとも一方の配置に基づいて、第２の画像を表示すべき区間であるか否かを判定し、画面上の第１の領域に時間的に連続するように第１の画像を表示させると共に、第２の画像を表示すべき区間であると判定された場合、画面上の第２の領域に第２の画像を表示させるように、記憶されている第１の画像と第２の画像とを合成するようにした場合には、番組本編を連続して視聴できるようになると共に、視聴者にＣＭを視聴させることができる。
【０３８２】
第１の画像に、１または連続している複数の第２の画像が時間を区切って挿入されている映像信号における第２の画像の配置に基づいて、映像信号のうちの第１の画像の記憶を制御し、映像信号における第２の画像の配置に基づいて、映像信号のうちの第２の画像の記憶を制御し、映像信号における第２の画像の配置に基づいて、映像信号において第１の画像の個々の区切りに挿入されている数以下の第２の画像が第１の画像を時間を区切って配置されるように、記憶されている第１の画像および第２の画像のいずれか一方を選択することにより、第１の画像と第２の画像とを合成するようにした場合には、ＣＭを連続して視聴しなければならない時間を短縮し、視聴者はすぐに番組本編の視聴を再開できる。
【０３８３】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０３８４】
図５１は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０２、または記憶部６０８に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０３には、ＣＰＵ６０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ６０１、ＲＯＭ６０２、およびＲＡＭ６０３は、バス６０４により相互に接続されている。
【０３８５】
ＣＰＵ６０１にはまた、バス６０４を介して入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、キーボード、マウス、マイクロホンなどよりなる入力部６０６、ディスプレイ、スピーカなどよりなる出力部６０７が接続されている。ＣＰＵ６０１は、入力部６０６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ６０１は、処理の結果得られた画像や音声等を出力部６０７に出力する。
【０３８６】
入出力インタフェース６０５に接続されている記憶部６０８は、例えばハードディスクなどで構成され、ＣＰＵ６０１が実行するプログラムや各種のデータを記憶する。通信部６０９は、インターネット、その他のネットワーク１３を介してサーバ１４またはサーバ１５などの外部の装置と通信する。この例の場合、通信部６０９は、映像信号を取得するか、または映像信号を出力する、外部とのインタフェースとして動作する。
【０３８７】
また、通信部６０９を介してプログラムを取得し、記憶部６０８に記憶してもよい。
【０３８８】
入出力インタフェース６０５に接続されているドライブ６１０は、磁気ディスク６５１、光ディスク６５２、光磁気ディスク６５３、或いは半導体メモリ６５４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部６０８に転送され、記憶される。
【０３８９】
一連の処理をさせるプログラムが格納されている記録媒体は、図５１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク６５１（フレキシブルディスクを含む）、光ディスク６５２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）を含む）、光磁気ディスク６５３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）（商標）を含む）、若しくは半導体メモリ６５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ６０２や、記憶部６０８に含まれるハードディスクなどで構成される。
【０３９０】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０３９１】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３９２】
【発明の効果】
以上のように、第１の本発明によれば、番組本編を連続して視聴することができる。
【０３９３】
また、第１の本発明によれば、番組本編を連続して視聴できるようになると共に、視聴者にＣＭを視聴させることができる。
【０３９４】
第２の本発明によれば、番組本編の視聴の中断をより短くすることができる。
【０３９５】
また、第２の本発明によれば、ＣＭを連続して視聴しなければならない時間が短縮され、すぐに番組本編の視聴が再開できる。
【図面の簡単な説明】
【図１】放送局より放送されるテレビジョン放送の番組本編およびＣＭの構成例を示す図である。
【図２】テレビジョン放送を録画して再生したときに表示される画像を示す図である。
【図３】ランダムアクセス可能な記録媒体に録画されたテレビジョン放送の再生の例を示す図である。
【図４】編集されたテレビジョン放送の再生の例を示す図である。
【図５】無料放送のビジネスモデルの大枠を示す図である。
【図６】本発明に係る録画装置の一実施の形態の構成を示すブロック図である。
【図７】番組本編の画像へのコマーシャルの画像の挿入の例を示す図である。
【図８】番組本編の画像へのコマーシャルの画像の挿入の例をより詳しく説明する図である。
【図９】記録の処理を説明するフローチャートである。
【図１０】出力の処理を説明するフローチャートである。
【図１１】ＣＭ検出部３２の詳細な構成を示す図である。
【図１２】フロントエンド部における処理を説明するフローチャートである。
【図１３】フロントエンド部における処理を説明するフローチャートである。
【図１４】ＣＭ候補検出の処理を説明するフローチャートである。
【図１５】必須条件の算出例を示す図である。
【図１６】ＣＭ候補テーブルの構成例を示す図である。
【図１７】特徴量Ｑ_１乃至Ｑ_１１の算出例を示す図である。
【図１８】付加条件判定器１２１の概略構成を示すブロック図である。
【図１９】ユニット関数、矩形関数、およびシグモイド関数を説明する図である。
【図２０】ルール判定器１２２の動作を説明するフローチャートである。
【図２１】最小長さ優先ルールの一例を説明する図である。
【図２２】隣接優先ルールを説明する図である。
【図２３】スコア優先ルールを説明する図である。
【図２４】ＣＭ再構成部３５の構成を示すブロック図である。
【図２５】復号の処理を説明するフローチャートである。
【図２６】合成の処理を説明するフローチャートである。
【図２７】ＣＭ再構成部３５の他の構成を示すブロック図である。
【図２８】ＣＭ区間の映像信号の復号の処理を説明するフローチャートである。
【図２９】本編の区間の映像信号の復号の処理を説明するフローチャートである。
【図３０】本発明に係る録画装置の一実施の形態の他の構成を示すブロック図である。
【図３１】記録の処理を説明するフローチャートである。
【図３２】出力の処理を説明するフローチャートである。
【図３３】本発明に係る録画装置の一実施の形態のさらに他の構成を示すブロック図である。
【図３４】記録の処理を説明するフローチャートである。
【図３５】録画装置３２１による、出力の処理を説明するフローチャートである。
【図３６】番組本編の画像へのコマーシャルの画像の挿入の他の例を示す図である。
【図３７】ＣＭ再構成部３５のさらに他の構成を示すブロック図である。
【図３８】番組本編の画像へのコマーシャルの画像の挿入のさらに他の例を示す図である。
【図３９】番組本編の画像へのコマーシャルの画像の挿入のさらに他の例を示す図である。
【図４０】番組本編の画像へのコマーシャルの画像の挿入のさらに他の例を示す図である。
【図４１】番組本編の画像へのコマーシャルの画像の挿入のさらに他の例を示す図である。
【図４２】番組本編の画像へのコマーシャルの画像の挿入のさらに他の例を示す図である。
【図４３】番組の本編画像５１の水平方向の中心位置とスピーカの水平方向の中心位置のずれの例を示す図である。
【図４４】番組本編の画像へのコマーシャルの画像の挿入のさらに他の例を示す図である。
【図４５】番組本編の画像へのコマーシャルの画像の挿入のさらに他の例を示す図である。
【図４６】番組本編の画像へのコマーシャルの画像の挿入のさらに他の例を示す図である。
【図４７】ＣＭ再構成部３５のさらに他の構成を示すブロック図である。
【図４８】ＣＭ再構成部３５が出力する映像信号を説明する図である。
【図４９】復号の処理を説明するフローチャートである。
【図５０】合成の処理を説明するフローチャートである。
【図５１】一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。
【符号の説明】
１１ 録画装置， ３２ ＣＭ検出部， ３３ 通信部， ３４ 記録部， ３５ ＣＭ再構成部， ２０１ 制御部， ２０２ 復号部， ２０３ 画像縮小部， ２０４ ＣＭ用バッファ， ２０５ 番組本編用バッファ， ２０６ 合成部， ２０７ 符号化部， ２３１ 制御部， ２３２ 復号部， ２３３復号部， ３０１ 録画装置， ３１１ ＣＭ再構成部， ３２１ 録画装置， ３４１ ＣＭ検出部， ３４２ ＣＭ再構成部， ３６１ 制御部， ３６２ 画像縮小部， ３６３ 画像縮小部， ３６４ 合成部， ５０１ 制御部， ５０２ ＣＭ用バッファ， ５０３ 合成部， ６０１ ＣＰＵ， ６０２ＲＯＭ， ６０３ ＲＡＭ， ６０８ 記憶部， ６５１ 磁気ディスク， ６５２ 光ディスク， ６５３ 光磁気ディスク， ６５４ 半導体メモリ

Claims (21)

1. 第１の画像に第２の画像が時間を区切って挿入されている映像信号における前記第１の画像および前記第２の画像の少なくとも一方の配置に基づいて、前記映像信号のうちの前記第１の画像の記憶を制御する第１の記憶制御手段と、
   前記映像信号における前記第１の画像および前記第２の画像の少なくとも一方の配置に基づいて、前記映像信号のうちの前記第２の画像の記憶を制御する第２の記憶制御手段と、
   前記映像信号における前記第１の画像および前記第２の画像の少なくとも一方の配置に基づいて、前記第２の画像を表示すべき区間であるか否かを判定する判定手段と、
   画面上の第１の領域に時間的に連続するように前記第１の画像を表示させると共に、前記第２の画像を表示すべき区間であると判定された場合、前記画面上の第２の領域に前記第２の画像を表示させるように、記憶されている前記第１の画像と前記第２の画像とを合成する合成手段と
   を含むことを特徴とする映像処理装置。
2. 前記第１の画像は、前記映像信号の本編の画像であり、
   前記第２の画像は、コマーシャルの画像である
   ことを特徴とする請求項１に記載の映像処理装置。
3. 前記映像信号から、前記第２の画像を検出する画像検出手段をさらに含み、
   前記第１の記憶制御手段は、前記画像検出手段での前記第２の画像の検出の結果に基づいて、前記映像信号のうちの前記第１の画像の記憶を制御し、
   前記第２の記憶制御手段は、前記画像検出手段での前記第２の画像の検出の結果に基づいて、前記映像信号のうちの前記第２の画像の記憶を制御し、
   前記判定手段は、前記画像検出手段での前記第２の画像の検出の結果に基づいて、前記第２の画像を表示すべき区間であるか否かを判定する
   ことを特徴とする請求項１に記載の映像処理装置。
4. 前記映像信号における前記第１の画像および前記第２の画像の少なくとも一方の配置を示す配置情報の受信を制御する受信制御手段をさらに含み、
   前記第１の記憶制御手段は、前記配置情報に基づいて、前記映像信号のうちの前記第１の画像の記憶を制御し、
   前記第２の記憶制御手段は、前記配置情報に基づいて、前記映像信号のうちの前記第２の画像の記憶を制御し、
   前記判定手段は、前記配置情報に基づいて、前記第２の画像を表示すべき区間であるか否かを判定する
   ことを特徴とする請求項１に記載の映像処理装置。
5. 前記第２の画像を縮小する縮小手段をさらに含み、
   前記第２の記憶制御手段は、縮小された前記第２の画像の記憶を制御し、
   前記合成手段は、記憶されている前記第１の画像と縮小された前記第２の画像とを合成する
   ことを特徴とする請求項１に記載の映像処理装置。
6. 前記第１の画像を縮小する第１の縮小手段と、
   前記第２の画像を縮小する第２の縮小手段と
   をさらに含み、
   前記第１の記憶制御手段は、縮小された前記第１の画像の記憶を制御し、
   前記第２の記憶制御手段は、縮小された前記第２の画像の記憶を制御し、
   前記合成手段は、記憶されている、縮小された前記第１の画像と縮小された前記第２の画像とを合成する
   ことを特徴とする請求項１に記載の映像処理装置。
7. 前記判定手段は、前記第２の領域に前記第２の画像を時間的に繰り返して表示させるように、前記映像信号における前記第１の画像および前記第２の画像の少なくとも一方の配置に基づいて、前記第２の画像を表示すべき区間であるか否かを判定する
   ことを特徴とする請求項１に記載の映像処理装置。
8. 前記合成手段は、前記画面上の複数の前記第２の領域に前記第２の画像を表示させるように、記憶されている前記第１の画像と前記第２の画像とを合成する
   ことを特徴とする請求項１に記載の映像処理装置。
9. 前記合成手段は、前記画面の横方向の中心に、横方向の中心が一致するか、または前記画面の縦方向の中心に、縦方向の中心が一致する前記第１の領域に前記第１の画像を表示させるように、記憶されている前記第１の画像と前記第２の画像とを合成する
   ことを特徴とする請求項１に記載の映像処理装置。
10. 前記映像信号を記録する記録手段をさらに含み、
    前記第１の記憶制御手段は、前記記録手段から読み出された前記映像信号のうちの前記第１の画像の記憶を制御し、
    前記第２の記憶制御手段は、前記記録手段から読み出された前記映像信号のうちの前記第２の画像の記憶を制御する
    ことを特徴とする請求項１に記載の映像処理装置。
11. 前記合成手段で合成された前記第１の画像と前記第２の画像とからなる前記映像信号を記録する記録手段をさらに含む
    ことを特徴とする請求項１に記載の映像処理装置。
12. 第１の画像に第２の画像が時間を区切って挿入されている映像信号における前記第１の画像および前記第２の画像の少なくとも一方の配置に基づいて、前記映像信号のうちの前記第１の画像の記憶を制御する第１の記憶制御ステップと、
    前記映像信号における前記第１の画像および前記第２の画像の少なくとも一方の配置に基づいて、前記映像信号のうちの前記第２の画像の記憶を制御する第２の記憶制御ステップと、
    前記映像信号における前記第１の画像および前記第２の画像の少なくとも一方の配置に基づいて、前記第２の画像を表示すべき区間であるか否かを判定する判定ステップと、
    画面上の第１の領域に時間的に連続するように前記第１の画像を表示させると共に、前記第２の画像を表示すべき区間であると判定された場合、前記画面上の第２の領域に前記第２の画像を表示させるように、記憶されている前記第１の画像と前記第２の画像とを合成する合成ステップと
    を含むことを特徴とする映像処理方法。
13. 第１の画像に第２の画像が時間を区切って挿入されている映像信号における前記第１の画像および前記第２の画像の少なくとも一方の配置に基づいて、前記映像信号のうちの前記第１の画像の記憶を制御する第１の記憶制御ステップと、
    前記映像信号における前記第１の画像および前記第２の画像の少なくとも一方の配置に基づいて、前記映像信号のうちの前記第２の画像の記憶を制御する第２の記憶制御ステップと、
    前記映像信号における前記第１の画像および前記第２の画像の少なくとも一方の配置に基づいて、前記第２の画像を表示すべき区間であるか否かを判定する判定ステップと、
    画面上の第１の領域に時間的に連続するように前記第１の画像を表示させると共に、前記第２の画像を表示すべき区間であると判定された場合、前記画面上の第２の領域に前記第２の画像を表示させるように、記憶されている前記第１の画像と前記第２の画像とを合成する合成ステップと
    を含むことを特徴とする映像処理をコンピュータに実行させるプログラムが記録されている記録媒体。
14. 第１の画像に第２の画像が時間を区切って挿入されている映像信号における前記第１の画像および前記第２の画像の少なくとも一方の配置に基づいて、前記映像信号のうちの前記第１の画像の記憶を制御する第１の記憶制御ステップと、
    前記映像信号における前記第１の画像および前記第２の画像の少なくとも一方の配置に基づいて、前記映像信号のうちの前記第２の画像の記憶を制御する第２の記憶制御ステップと、
    前記映像信号における前記第１の画像および前記第２の画像の少なくとも一方の配置に基づいて、前記第２の画像を表示すべき区間であるか否かを判定する判定ステップと、
    画面上の第１の領域に時間的に連続するように前記第１の画像を表示させると共に、前記第２の画像を表示すべき区間であると判定された場合、前記画面上の第２の領域に前記第２の画像を表示させるように、記憶されている前記第１の画像と前記第２の画像とを合成する合成ステップと
    をコンピュータに実行させることを特徴とするプログラム。
15. 第１の画像に、１または連続している複数の第２の画像が時間を区切って挿入されている映像信号における前記第２の画像の配置に基づいて、前記映像信号のうちの前記第１の画像の記憶を制御する第１の記憶制御手段と、
    前記映像信号における前記第２の画像の配置に基づいて、前記映像信号のうちの前記第２の画像の記憶を制御する第２の記憶制御手段と、
    前記映像信号における前記第２の画像の配置に基づいて、前記映像信号において前記第１の画像の個々の区切りに挿入されている数以下の前記第２の画像が前記第１の画像を時間を区切って配置されるように、記憶されている前記第１の画像および前記第２の画像のいずれか一方を選択することにより、前記第１の画像と前記第２の画像とを合成する合成手段と
    を含むことを特徴とする映像処理装置。
16. 前記第１の画像は、前記映像信号の本編の画像であり、
    前記第２の画像は、コマーシャルの画像である
    ことを特徴とする請求項１５に記載の映像処理装置。
17. 前記映像信号から、前記第２の画像を検出する画像検出手段をさらに含み、
    前記第１の記憶制御手段は、前記画像検出手段での前記第２の画像の検出の結果に基づいて、前記映像信号のうちの前記第１の画像の記憶を制御し、
    前記第２の記憶制御手段は、前記画像検出手段での前記第２の画像の検出の結果に基づいて、前記映像信号のうちの前記第２の画像の記憶を制御し、
    前記合成手段は、前記画像検出手段での前記第２の画像の検出の結果に基づいて、記憶されている前記第１の画像および前記第２の画像のいずれか一方を選択することにより、前記第１の画像と前記第２の画像とを合成する
    ことを特徴とする請求項１５に記載の映像処理装置。
18. 前記映像信号における前記第２の画像の配置を示す配置情報の受信を制御する受信制御手段をさらに含み、
    前記第１の記憶制御手段は、前記配置情報に基づいて、前記映像信号のうちの前記第１の画像の記憶を制御し、
    前記第２の記憶制御手段は、前記配置情報に基づいて、前記映像信号のうちの前記第２の画像の記憶を制御し、
    前記合成手段は、前記配置情報に基づいて、記憶されている前記第１の画像および前記第２の画像のいずれか一方を選択することにより、前記第１の画像と前記第２の画像とを合成する
    ことを特徴とする請求項１５に記載の映像処理装置。
19. 第１の画像に、１または連続している複数の第２の画像が時間を区切って挿入されている映像信号における前記第２の画像の配置に基づいて、前記映像信号のうちの前記第１の画像の記憶を制御する第１の記憶制御ステップと、
    前記映像信号における前記第２の画像の配置に基づいて、前記映像信号のうちの前記第２の画像の記憶を制御する第２の記憶制御ステップと、
    前記映像信号における前記第２の画像の配置に基づいて、前記映像信号において前記第１の画像の個々の区切りに挿入されている数以下の前記第２の画像が前記第１の画像を時間を区切って配置されるように、記憶されている前記第１の画像および前記第２の画像のいずれか一方を選択することにより、前記第１の画像と前記第２の画像とを合成する合成ステップと
    を含むことを特徴とする映像処理方法。
20. 第１の画像に、１または連続している複数の第２の画像が時間を区切って挿入されている映像信号における前記第２の画像の配置に基づいて、前記映像信号のうちの前記第１の画像の記憶を制御する第１の記憶制御ステップと、
    前記映像信号における前記第２の画像の配置に基づいて、前記映像信号のうちの前記第２の画像の記憶を制御する第２の記憶制御ステップと、
    前記映像信号における前記第２の画像の配置に基づいて、前記映像信号において前記第１の画像の個々の区切りに挿入されている数以下の前記第２の画像が前記第１の画像を時間を区切って配置されるように、記憶されている前記第１の画像および前記第２の画像のいずれか一方を選択することにより、前記第１の画像と前記第２の画像とを合成する合成ステップと
    を含むことを特徴とする映像処理をコンピュータに実行させるプログラムが記録されている記録媒体。
21. 第１の画像に、１または連続している複数の第２の画像が時間を区切って挿入されている映像信号における前記第２の画像の配置に基づいて、前記映像信号のうちの前記第１の画像の記憶を制御する第１の記憶制御ステップと、
    前記映像信号における前記第２の画像の配置に基づいて、前記映像信号のうちの前記第２の画像の記憶を制御する第２の記憶制御ステップと、
    前記映像信号における前記第２の画像の配置に基づいて、前記映像信号において前記第１の画像の個々の区切りに挿入されている数以下の前記第２の画像が前記第１の画像を時間を区切って配置されるように、記憶されている前記第１の画像および前記第２の画像のいずれか一方を選択することにより、前記第１の画像と前記第２の画像とを合成する合成ステップと
    をコンピュータに実行させることを特徴とするプログラム。

Images