JP2003032631A

JP2003032631A - 信号処理装置及び方法、記録媒体、並びにプログラム

Info

Publication number: JP2003032631A
Application number: JP2001217620A
Authority: JP
Inventors: Mototsugu Abe; 素嗣安部; Masayuki Nishiguchi; 正之西口
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-07-18
Filing date: 2001-07-18
Publication date: 2003-01-31
Anticipated expiration: 2021-07-18
Also published as: JP4512969B2

Abstract

(57)【要約】【課題】例えばＴＶ放送信号のＣＭ部分を高精度に検
出又は検索可能とする。【解決手段】アンテナ６を介しチューナ１にて受信
し、さらに復調器２にて復調されたＴＶ放送信号の音声
及び映像信号から、１５，３０，６０秒間隔で発生する
特徴的パターンに基づいて、ＣＭの候補区間を検出し、
そのＣＭ候補区間内から、例えば、ＣＭには、商品名や
企業名などを表す文字やロゴ、マーク等が画面の中央に
表示され、またその文字がＣＭの初めの方と、後の方に
表示されているなどの、ＣＭらしさを表わす特徴量を抽
出し、その特徴量に基づきＣＭ区間を検出するＣＭ検出
部４を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、信号処理装置及び
方法、記録媒体、並びにプログラムに関し、特に、テレ
ビジョン放送に付加されるコマーシャルメッセージを適
切に自動的に検出することができる信号処理装置及び方
法、記録媒体、並びにプログラムに関するものである。

【０００２】

【従来の技術】一般に、放送番組についてスポンサーが
付いているテレビジョン（以下、適宜ＴＶと称する）放
送では、本編（番組そのもの）の合間に、その番組を提
供しているスポンサーのコマーシャルメッセージ（以
下、単にＣＭと称する）が挿入される。

【０００３】しかしながら、視聴者の興味は、主として
本編にあるため、ＣＭを省略して視聴したいという要望
は多い。

【０００４】その一方で、関心のある製品のＣＭや、ス
トーリー性のあるＣＭ、有名俳優が登場するＣＭなど、
ＣＭ自体を視聴対象とする場合も少なくない。

【０００５】このようなことから、特に、磁気テープや
磁気ディスク等の媒体にＴＶ放送番組等を録画する場合
において、放送番組から本編とＣＭとを分離／区別し
て、必要なときに必要な部分を視聴することが可能とな
れば、上述したような多様な要望に対する有効な解決手
段を与えることになると考えられる。

【０００６】ところで、ＴＶ放送からＣＭのみを省略し
て試聴可能とする技術としては、従来より、いわゆるＣ
Ｍスキップ機能（広義のＣＭスキップ機能）が存在し、
例えば家庭用ビデオ録画再生装置には当該ＣＭスキップ
機能が搭載されているものが多い。

【０００７】このＣＭスキップ機能（広義のＣＭスキッ
プ機能）は、その仕組みに応じて４つに大別され、それ
ぞれ一般には、ＣＭ早送り機能、ＣＭカット機能、放送
モードに基づくＣＭスキップ機能（狭義のＣＭスキップ
機能）、放送モードによらないＣＭスキップ機能（狭義
のＣＭスキップ機能）と呼ばれている。なお、これら４
つに大別されたＣＭスキップ機能のうち、上記ＣＭ早送
り機能とは、日本国内においては通例としてＣＭが１５
秒の倍数で製作されていることを利用し、家庭用ビデオ
録画再生装置でのビデオ再生中に、例えばリモコンボタ
ン操作によって（３０秒）×（ボタンを押した回数）の
時間だけ早送りを行うことにより、ＣＭ部分を飛ばす機
能である。このＣＭ早送り機能に関する技術について
は、例えば特開平１０−２６９６５１号公報などに公開
されている。また、特開平９−３０７８４１号公報に
は、上記ＣＭ早送り機能における早送り終了時刻を時間
で決定せず、映像信号のブラックフレームと音声信号の
無音部が同時に所定長さ以上にわたり生じる部分を、早
送り終了時刻とする技術が公開されている。

【０００８】ＣＭカット機能とは、日本国内においては
ＣＭがステレオ放送されることが多く、また、ＴＶ放送
信号には音声がモノラルモード／ステレオモード／音声
多重モードの何れであるかを示すパイロット信号が多重
されていることを利用し、例えば音声がモノラルモード
又は音声多重モードとなされている本編を録画するよう
な場合に、ステレオモード区間（すなわちＣＭ区間）の
み録画を停止することで、ＣＭ部分をカットすることを
可能にする機能である。このＣＭカット機能に関する技
術については、例えば特開平３−１５８０８６号、特開
平３−２６２２８７２号などの公報に公開されている。

【０００９】放送モードに基づくＣＭスキップ機能（狭
義のＣＭスキップ機能）とは、ＣＭカット機能と同様に
放送モードの違いを利用する仕組みであるが、上記ＣＭ
カット機能が録画時にＣＭをカットしているのに対し、
当該放送モードに基づくＣＭスキップ機能では、録画時
には全ての映像及び音声を記録すると同時にその放送モ
ードも記録しておき、再生時にステレオ放送区間（すな
わちＣＭ区間）のみ自動的に早送りする機能である。こ
の放送モードに基づくＣＭスキップ機能に関する技術に
ついては、例えば特開平５−２５０７６２号公報などに
公開されている。

【００１０】放送モードによらないＣＭスキップ機能
（狭義のＣＭスキップ機能）とは、放送信号中に含まれ
る音声信号の無音区間間隔や、映像信号の映像変換点
（映像が急激に変化する点）の出現間隔、映像信号の黒
レベル／白レベルの出現間隔などを利用して、これらが
１５秒の倍数間隔に合致する部分をＣＭとして早送りす
る機能である。当該放送モードによらないＣＭスキップ
機能に関する技術については、特開平８−３１７３４２
号公報や、文献「ＴＶ放送のＣＭ検出方式についての一
検討」（映像情報メディア学会技術報告、VIR97-22、19
/23（1997））などに公開されている。

【００１１】

【発明が解決しようとする課題】しかしながら、上記Ｃ
Ｍ早送り機能自体は、家庭用ビデオ録画再生装置にて録
画したＴＶ放送を再生して視聴する視聴者に対して、Ｃ
Ｍかどうかの判断を任せるものであり、ＴＶ放送から自
動的にＣＭ部分を検出するようなＣＭ検出機能は備えて
いない。

【００１２】また、上記放送モードに基づくＣＭカット
機能やＣＭスキップ機能（狭義のＣＭスキップ機能）で
は、放送モードの違い、すなわち例えばステレオモード
によるＣＭ検出を行うようになされているが、例えば本
編自体がステレオモードとなされている場合や、ＣＭが
モノラルモードや音声多重モードとなっている場合に
は、全く効果がない（すなわちＣＭカットやＣＭスキッ
プができない）。

【００１３】一方、放送モードによらないＣＭスキップ
機能（狭義のＣＭスキップ機能）では、視聴者や放送モ
ードに依存することなく、放送内容に基づいたＣＭ検出
が可能となっている。ただし、当該機能の場合は、音声
信号の無音区間間隔や、映像信号の映像変換点（映像が
急激に変化する点）の出現間隔などが、予め想定されて
いる設定値と一致することなど、非常に狭い条件に基づ
いた決定論的な判定手続きによりＣＭ区間を検出するよ
うになされている。これに対し、実際の放送番組では、
放送時間の調整の目的や人為的なスイッチングなどの要
因によって無音区間間隔が例えば短縮されていたりする
場合が少なからずあり、逆に、番組本編の中にも上記の
条件を満たす区間が多く存在している。このため、無音
区間間隔が予め想定されている長さより短いようなＣＭ
の場合は全く検出ができなくなる問題が発生し、逆に、
上記設定値の条件を満たす本編の場合は当該本編をＣＭ
区間として誤って検出してしまう等の問題点が生じてし
まう。

【００１４】さらに、上記４つの機能では、例えば複数
のＣＭが連続されて放送されている場合には、ＣＭ全体
の区間を検出することはできても、個々のＣＭの検出は
できない。このため、ＣＭを個別に抽出して視聴したい
ような場合（要望）には適さない。

【００１５】以上のようなことから、ＴＶ放送信号から
ＣＭ部分を高精度に検出又は検索できることが望まれて
いる。

【００１６】そこで、本発明は、以上のような状況を鑑
みてなされたものであり、例えばＴＶ放送信号に含まれ
るコマーシャルメッセージ部分を適切に検出する、信号
処理装置及び方法を提供することを目的とする。

【００１７】

【課題を解決するための手段】本発明の信号処理装置
は、少なくても第１の信号の区間とそれ以外の信号の区
間とが時分割的に存在する入力信号から、所定の時間間
隔を持つ信号の特徴的パターンに基づいて、第１の信号
の候補区間を検出する候補区間検出手段と、候補区間の
信号から、文字を表示する信号を検出する文字検出手段
と、文字検出手段による検出結果に基づいて、第１の信
号らしさを表す特徴量を算出する算出手段と、特徴量に
基づいて、第１の信号の区間を検出する区間検出手段と
を備えることを特徴とする。

【００１８】算出手段は、文字検出手段により文字を表
示する信号が検出されたとき、より大きい特徴量を算出
することができる。

【００１９】文字検出手段により、文字を表示する信号
が検出されたとき、文字の表示位置を検出する文字表示
位置検出手段をさらに設け、算出手段には、文字表示位
置検出手段により画面中央に文字を表示する信号が検出
されたとき、より大きい特徴量を算出させることができ
る。

【００２０】文字検出手段により、文字を表示する信号
が検出されたとき、文字の出現時刻を検出する文字出現
時刻検出手段をさらに設け、算出手段には、文字出現時
刻検出手段により検出された出現時刻が候補区間の始点
または終点付近にあるとき、より大きい特徴量を算出さ
せることができる。

【００２１】本発明の信号処理方法は、少なくても第１
の信号の区間とそれ以外の信号の区間とが時分割的に存
在する入力信号から、所定の時間間隔を持つ信号の特徴
的パターンに基づいて、第１の信号の候補区間を検出す
る候補区間検出ステップと、候補区間の信号から、文字
を表示する信号を検出する文字検出ステップと、文字検
出ステップでの検出結果に基づいて、第１の信号らしさ
を表す特徴量を算出する算出ステップと、特徴量に基づ
いて、第１の信号の区間を検出する区間検出ステップと
を含むことを特徴とする。

【００２２】本発明の記録媒体のプログラムは、少なく
ても第１の信号の区間とそれ以外の信号の区間とが時分
割的に存在する入力信号から、所定の時間間隔を持つ信
号の特徴的パターンに基づいて、第１の信号の候補区間
を検出する候補区間検出ステップと、候補区間の信号か
ら、文字を表示する信号を検出する文字検出ステップ
と、文字検出ステップでの検出結果に基づいて、第１の
信号らしさを表す特徴量を算出する算出ステップと、特
徴量に基づいて、第１の信号の区間を検出する区間検出
ステップとを含むことを特徴とする。

【００２３】本発明のプログラムは、少なくても第１の
信号の区間とそれ以外の信号の区間とが時分割的に存在
する入力信号から、所定の時間間隔を持つ信号の特徴的
パターンに基づいて、第１の信号の候補区間を検出する
候補区間検出ステップと、候補区間の信号から、文字を
表示する信号を検出する文字検出ステップと、文字検出
ステップでの検出結果に基づいて、第１の信号らしさを
表す特徴量を算出する算出ステップと、特徴量に基づい
て、第１の信号の区間を検出する区間検出ステップとを
含む処理をコンピュータに実行させることを特徴とす
る。

【００２４】本発明の信号処理装置および方法、並びに
プログラムにおいては、少なくても第１の信号の区間と
それ以外の信号の区間とが時分割的に存在する入力信号
から、所定の時間間隔を持つ信号の特徴的パターンに基
づいて、第１の信号の候補区間が検出され、候補区間の
信号から、文字を表示する信号が検出され、検出結果に
基づいて、第１の信号らしさを表す特徴量が算出され、
特徴量に基づいて、第１の信号の区間が検出される。

【００２５】

【発明の実施の形態】先ず、本発明実施の形態の具体的
構成について述べる前に、本発明に基づき、例えばＴＶ
放送信号からＣＭ部分を検出する際の原理について概説
する。

【００２６】一般に、ＴＶ放送されるＣＭは、放送者の
指定する規格に基づいて製作されるため、その「時間長
（１つのＣＭの時間）はごく少数の種類に限定」され
る。例えば日本国内においては、特殊な例を除くほぼ全
てのＣＭが、１５秒、３０秒、６０秒の長さで製作され
ている。

【００２７】また、ＣＭの放送時には、番組本編や他の
ＣＭとは独立に製作されたものがＴＶ放送ストリーム中
に挿入されるため、各ＣＭの前後では必然的に「音声レ
ベルが下がる（すなわち小音量となる）」こと、及び、
「映像信号が切り替わる」こと、という特徴を持つ。こ
こで、「音声レベルが下がる」とは、必ずしも無音（こ
こでは極微小なノイズしかない部分という意味）と同義
ではない。すなわち、実際には、ＣＭと本編との切り替
えのタイミングなどにより、必ずしも完全に無音とはな
らないまま切り替わることがあるからである。

【００２８】上述したように、ＣＭについての「規定時
間長（少数種類の時間長）」、「小音量」、「映像切り
替わり」という３つの特徴は、ほぼ全てのＣＭが示すパ
ターンである。本発明では、このようにほぼ全てのＣＭ
が示す信号のパターンを「特徴的パターン」と称し、そ
れを検出するための条件を「必須条件」と称することに
する。

【００２９】したがって、ＴＶ放送信号から当該必須条
件に対応する信号部分を検出するようにすれば、誤棄却
がほとんどなく決定論的にＣＭの候補（すなわちＣＭで
あろうと思われる信号部分）を検出することが可能とな
る。但し、番組本編内にも、偶然そのような必須条件を
満たしてしまう部分が多く存在するため、上記必須条件
を用いただけでは、番組本編の一部をＣＭ候補として誤
検出してしまう虞が残る。

【００３０】一方で、上記必須条件と比べて例外は多く
存在するものの、ＣＭの性質上、多くのＣＭが満たすか
若しくは一定の傾向を示す特徴としては、以下のような
ものがある。

【００３１】１）ＣＭの前後（ＣＭが開始される直前と
ＣＭが終了して本編番組が開始又は再開される直前）で
は、通常の番組本編内よりも音声レベルが低くなること
が多い。

【００３２】２）ＣＭと番組本編との間、及び、あるＣ
Ｍと他のＣＭとの間の、ほぼ無音となる区間長は、数百
ミリ秒程度であることが多い。

【００３３】３）ＴＶ放送内に含まれる有音区間は、Ｃ
Ｍの規定時間長（１５秒、３０秒、６０秒等）より百ミ
リ秒程度以上短いことが多く、また１秒程度以上短いこ
とは少ない。

【００３４】４）ステレオ音声信号の左チャンネル（Ｌ
チャンネル）と右チャンネル（Ｒチャンネル）の相関値
は、１より有意に小さいことが多い。

【００３５】５）ＣＭ期間中は、番組本編より音量が大
きめである傾向がある。

【００３６】６）ＣＭの放送モードは、ステレオモード
であることが多い。

【００３７】７）ＣＭ区間では、複数のＣＭが連続して
放送されることが多い。

【００３８】８）ＣＭ期間中は、映像カットの切り替わ
り頻度が高いことが多い。

【００３９】９）逆に、ＣＭ期間中であっても、カット
の切り替わり頻度が極端に低いものがある（例えば静止
画によるＣＭなど）。

【００４０】１０）番組本編とＣＭとの境界や、あるＣ
Ｍと他のＣＭの境界では、音質が大きく変化することが
多い。

【００４１】１１）ＣＭは、音声と音楽を同時に含むこ
とが多い。

【００４２】１２）番組編成上、毎時丁度の時刻近辺で
は、ＣＭが放送される確率が高い。

【００４３】１３）同様に、毎時３０分付近でもＣＭが
放送される確率が高い。

【００４４】１４）番組のジャンルによってＣＭが放送
される確率の高い時間帯がある（例えばサッカー中継の
ハーフタイムなど）。

【００４５】１５）ＣＭ期間中には、商品名や企業名な
どを表す文字やロゴ、マーク等が表示される場合が多
い。

【００４６】１６）商品名等を表す文字は、視聴者に強
い印象を与えるため、画面の中央に表示されることが多
い。

【００４７】１７）企業名等を表す文字は、企業や団体
の統一感を与えるために、ＣＭの初めの方と、後の方に
表示されることが多い。

【００４８】本発明では、以下、これらの特徴に基づく
条件を「付加条件」と称することにする。すなわち、当
該付加条件は、ＣＭが、規格に基づいて製作されるとい
う制約、短い時間で宣伝効果を上げるためのものである
という制約、及び、番組構成上の都合などによる制約の
元で製作された結果として、ＴＶ放送信号上に現れてく
ることによる条件である。したがって、この付加条件
は、決定論的な取り扱いができるほど確実な条件ではな
いものの、ＣＭである可能性（ＣＭらしさ）を評価する
際の有効な条件となる。本発明は、上記の１５）乃至１
７）を付加条件とすることに特徴がある。

【００４９】さらに、ＴＶ放送においては、同時に同じ
チャンネルで複数の映像及び音声が放送されることは物
理的にありえないという特徴がある。すなわち、ＴＶ放
送信号からＣＭであろうと思われる信号部分（ＣＭ候
補）を検出しようとする場合において、例えば、ＴＶ放
送信号中に、上記付加条件を満たす複数の映像及び音声
区間がオーバーラップして存在し、何らかの処理の結
果、当該オーバーラップ区間でＣＭ候補が検出されたと
しても、そのオーバーラップしている複数の映像及び音
声内の少なくともどちらかの区間は、正しいＣＭ区間で
はあり得ない。本発明では、ＴＶ放送におけるこのよう
な特徴に基づく条件を、「論理条件」と称することにす
る。

【００５０】本発明では、以上説明した「必須条件」、
「論理条件」、「付加条件」を合理的かつ効果的に利用
することにより、ＴＶ放送信号から高精度でＣＭ部分を
検出可能としている。

【００５１】より具体的に言うと、本発明では、「必須
条件」に基づき、決定論的にＴＶ放送信号中からＣＭ候
補（ＣＭであろうと思われる信号部分）を抽出し、「付
加条件」に基づくＣＭらしさ（ＣＭである可能性）の統
計論的な評価によってＣＭ候補を選択し、「論理条件」
によりＣＭ候補のオーバーラップ関係を解消することに
より、精度の高いＣＭ検出を実現するものである。

【００５２】図１には、上述のようにＴＶ放送信号から
ＣＭを検出可能とした、本発明の実施の形態としての映
像音声記録装置の概略構成を示す。

【００５３】図１において、アンテナ６により受信され
たＴＶ放送信号は、チューナ１により同調され、放送信
号１ａとして復調器２に入力する。

【００５４】復調器２は、入力された放送信号１ａに含
まれるパイロット信号の変調周波数から、その入力時点
での放送モード（モノラルモード／ステレオモード／音
声多重モード）を判別し、また、放送信号１ａに含まれ
る映像及び音声の変調信号を復調する。このとき、音声
変調信号は、上記判別した放送モードに応じて復調され
る。当該復調器２により復調された映像信号２ａ、音声
信号２ｂ、及び放送モード信号２ｃは、ＣＭ検出部４に
入力される。また、映像信号２ａおよび音声信号２ｂ
は、映像音声記録部５にも入力される。

【００５５】映像音声記録部５は、磁気テープ、磁気デ
ィスク、光ディスク若しくは光磁気ディスク等を記録媒
体として用い、上記映像信号２ａ及び音声信号２ｂを記
録再生可能な装置である。なお、映像音声記録部５は、
映像信号及び音声信号に対して符号化や圧縮などを施し
て記録し、再生時にはその符号化や圧縮された映像信号
及び音声信号を復号化、伸張する装置であってもよい。

【００５６】時計部３は、時刻を表す時間信号３ａを発
生し、当該時間信号３ａをＣＭ検出部４に供給する。

【００５７】ＣＭ検出部４は、詳細については後述する
が、上記復調器２からの映像信号２ａ、音声信号２ｂ、
および放送モード信号２ｃ、並びに時計部３からの時間
信号３ａを入力とし、放送信号１ａの映像及び音声信号
に含まれるＣＭ区間を検出し、その開始時刻と長さをＣ
Ｍ検出出力４ａとして出力する。当該ＣＭ検出部４によ
るＣＭ検出出力４ａは、映像音声記録部５に送られ、上
記映像信号２ａ及び音声信号２ｂと共に記録される。

【００５８】また、このＣＭ検出部４には、チューナ１
から、上記同調された放送チャンネルを示すチャンネル
情報１ｂも供給される。当該チャンネル情報１ｂは、Ｃ
Ｍが含まれない放送チャンネルが指定されたか否かを、
ＣＭ検出部４において判断する為に用いられる。すなわ
ち、ＣＭ検出部４は、上記チャンネル情報１ｂにより、
上記チューナ１において明らかにＣＭが放送されない放
送チャンネルの指定がなされていると判断した場合、上
記ＣＭ検出動作を行わないようにする。なお、ここで
は、ＣＭ検出部４自身がチャンネル情報１ｂに基づいて
ＣＭ検出動作を行うか否か判断することとしているが、
チューナ１がチャンネル情報１ｂによりＣＭ検出部４で
のＣＭ検出動作を制御するようにしても良い。

【００５９】以上、チューナ１、復調器２、時計部３、
映像音声記録部５に示した各構成要素は、現在広く知ら
れているビデオ装置などの磁気記録再生装置のものと同
様であるため、以下では、ＣＭ検出部４に限って詳細に
説明する。

【００６０】図２は、上記ＣＭ検出部４の構成例を示
す。なお、この図２中の各信号のうち、図１と共通の信
号については、図１と同じ指示符号を付している。ま
た、当該ＣＭ検出部４は、大別して、フロントエンド部
とバックエンド部とから構成されている。また、図中の
動作制御部２４は、チューナ１から供給された上記チャ
ンネル情報１ｂに基づいて、上記チューナ１において明
らかにＣＭが放送されない放送チャンネルの指定がなさ
れているか否かを判断し、その判断結果に応じて、当該
図２の各部におけるＣＭ検出動作を行わないように制御
するものである。

【００６１】先ず、フロントエンド部から説明する。こ
の図２において、図１の復調器２より供給された映像信
号２ａは、Ａ／Ｄ変換器１０にてディジタル化され、フ
レームメモリ１１に蓄えられる。なお、フレームメモリ
１１は、少なくとも２フレーム分の映像信号を蓄積可能
なメモリである。当該フレームメモリ１１からフレーム
毎に読み出された映像信号は、文字検出器１２およびカ
ットチェンジ検出器１３に送られる。

【００６２】文字検出器１２は、フレームメモリ１１よ
り供給されるフレーム毎の映像信号に基づいて、フレー
ム中に文字が含まれているか否かを判定するとともに、
文字が含まれている場合、それがフレームの中央に位置
しているか否かをさらに判定する。文字検出器１２は、
それらの判定結果に基づいて、式（１）のような離散化
数値Ｍ［ｎ］を決定する。

【００６３】

【数１】

【００６４】すなわち、第ｎフレーム中に文字が含まれ
ていない場合、離散化数値Ｍ［ｎ］は０となる。一方、
第ｎフレーム中に文字が含まれており、かつ、それがフ
レームの中央に位置する場合、離散化数値Ｍ［ｎ］は２
となり、中央以外に位置する場合（周辺に位置する場
合）、数値Ｍ［ｎ］は１となる。

【００６５】ここで、文字検出器１２の動作を、図３の
フローチャートを参照して説明する。なお、ここでは、
文字パターンは、多くの線分により構成されていること
から、多くの線分を含む領域を文字領域とすることでフ
レーム上の文字が検出される。

【００６６】ステップＳ１において、文字検出器１２
は、フレームメモリ１１に蓄えられた時間的に隣接す
る、第ｎフレーム、および第ｎフレームに対して時間的
に１フレーム前の第ｎ−１フレームを読み出す。ステッ
プＳ２において、文字検出器１２は、ステップＳ１で読
み出した隣接する２つのフレームに対して、微分法によ
るエッジ処理を施し、２つのエッジ画像を生成し、それ
らを２値化する。

【００６７】次に、ステップＳ３において、文字検出器
１２は、ステップＳ２で２値化されたそれぞれのエッジ
画像間でＡＮＤ演算を行って、動き部分を消去し、静止
部分についてのエッジ画像を生成する。

【００６８】ステップＳ４において、文字検出器１２
は、ステップＳ３で生成した静止エッジ画像を、Ｐ個の
小領域に分割するとともに、各小領域に、図４に示すよ
うに番号ｐ（ｐ＝１、２，・・・Ｐ）を割り当てる。図
４の例の場合、小領域には、反時計回転方向、かつフレ
ームの周辺から中心に向う順番で番号が割り当てられる
ので、フレームの中央に位置する小領域には大きい番号
が割り当てられる。

【００６９】次に、ステップＳ５において、文字検出器
１２は、小領域の番号を示すカウンタｐの値を１に初期
化する。ステップＳ６において、文字検出器１２は、カ
ウンタｐの値の番号を有する小領域ｐ内のエッジ線分の
密度を算出する。なお、線分密度は、２値化画像の白黒
比により求められる。

【００７０】次に、ステップＳ７において、文字検出器
１２は、ステップＳ６で算出した線分密度が、所定の閾
値以上であるか否かを判定し、それ以上であると判定し
た場合、ステップＳ８に進み、小領域ｐは文字領域であ
ると判定する。一方、ステップＳ７で、閾値より小さい
と判定された場合、ステップＳ９に進み、小領域ｐは文
字領域ではないと判定される。

【００７１】ステップＳ８またはステップＳ９で、小領
域ｐが文字領域である、または文字領域ではないと判定
されたとき、ステップＳ１０に進み、文字検出器１２
は、カウンタｐの値が、小領域の数Ｐより大きいか否か
を判定し、それより大きくはないと判定した場合（それ
以下である場合）、ステップＳ１１に進み、カウンタｐ
の値を１だけインクリメントして、ステップＳ６に戻
り、次の小領域に対して、それ以降の処理を実行する。

【００７２】ステップＳ１０で、カウンタｐの値が小領
域の数Ｐより大きいと判定された場合、すなわち、すべ
ての少領域について文字領域であるか否かが判定された
とき、ステップＳ１２に進み、文字検出器１２は、ステ
ップＳ８で文字領域であると判定された少領域が、所定
の数以上あるか否かを判定し、それ以上あると判定した
場合、第ｎフレームには文字が含まれるとし、ステップ
Ｓ１３に進む。

【００７３】ステップＳ１３において、文字検出器１２
は、文字領域であると判定された小領域の群（文字）
が、フレームの中央に位置するか否かを判定する。

【００７４】例えば、図４の例では、小領域に割り当た
られた番号は、フレームの周辺から中央に向かって大き
くなっている。そこでこの場合、文字検出器１２は、文
字領域とされた小領域の番号を検出し、その番号が所定
の番号より大きいか否かを判定することで、フレーム中
の文字が中央に位置するか否かを判定することができ
る。

【００７５】ステップＳ１３で、文字領域とされた小領
域の群（文字）は、フレームの中央に位置すると判定さ
れた場合、ステップＳ１４に進み、文字検出器１２は、
離散化数値Ｍ[ｎ］を値２とする。一方、ステップＳ１
３で、文字領域とされた少領域の群が、フレームの中央
に位置しないと判定された場合、ステップＳ１５に進
み、文字検出器１２は、離散化数値Ｍ［ｎ］を値１とす
る。

【００７６】ステップＳ１２で、ステップＳ８で文字領
域であると判定された小領域が、所定の数以上ないと判
定された場合、ステップＳ１６に進み、文字検出器１２
は、第ｎフレームには文字が含まれていないとし、離散
化数値Ｍ［ｎ］を値０とする。

【００７７】ステップＳ１４，１５，１６で、離散化数
値Ｍ［ｎ］が決定されたとき、ステップＳ１に戻り、次
にフレームに対して同様の処理が行われる。

【００７８】なお、ここでは、線分密度を利用して文字
領域を検出したが、例えば、「画像処理アルゴリズムの
最新動向」（新技術コミュニケーションズ，1987)に紹
介されている他の方法などを利用することもできる。

【００７９】文字検出器１２の出力である離散化数値Ｍ
［ｎ］は、ＴＶ送信信号の特徴量の一つとして特徴量バ
ッファ１９へ送られる。

【００８０】図２に戻り、カットチェンジ検出器１３
は、フレームメモリ１１より供給されたフレーム毎の映
像信号に基づいて、映像が急激に変化するフレーム（以
下、映像変化フレームと呼ぶ）と、輝度が一様となるフ
レーム（以下、一様輝度フレームと呼ぶ）を検出する。

【００８１】すなわち、カットチェンジ検出器１３は、
フレームメモリ１１に蓄えられた時間的に隣接する２つ
のフレーム映像間で、各画素毎に輝度の差分の自乗和を
求め、当該自乗和が所定の閾値を越えた場合に、上記隣
接する２つのフレームのうちの時間的に後のフレーム
を、上記映像が急激に変化する映像変化フレームとして
検出する。また、カットチェンジ検出器１３は、フレー
ムメモリ１１に蓄えられた各フレーム映像の輝度の分散
を求め、その輝度の分散値が所定の閾値以下である場合
に、そのフレームを一様輝度フレームであるとして検出
する。なお、フレームの間隔（ＮＴＳＣ方式では約３０
ｍｓ）が、後述する音声信号処理において説明するフレ
ーム周期と一致しない場合には、当該フレーム間隔を再
離散化することによって、フレーム周期と一致させてお
くようにする。

【００８２】以下、当該カットチェンジ検出器１３にお
ける映像変化フレームと一様輝度フレームの検出につい
て、より具体的に説明する。

【００８３】ここで、離散化された映像信号の横サイズ
をＸ、縦サイズをＹ、縦横の画素番号をｘ，ｙとし、第
ｎフレームの映像をＩ_n（ｘ，ｙ）、当該第ｎフレーム
に対して時間的に１フレーム前の第ｎ−１フレームの映
像をＩ_n-1（ｘ，ｙ）として表わすと、第ｎフレームと
第ｎ−１フレームの間の各画素毎の輝度差分の自乗和Ｄ
[n]は、式（２）により得られ、また、第ｎフレームの
輝度分散値Ｖ[n]は、式（３）により得られる。

【００８４】

【数２】

【００８５】また、このときのカットチェンジ検出器１
３の検出出力Ｃ[n]は、式（４）により表わされる。

【００８６】

【数３】

【００８７】ただし、式中のＤ_thsdは上記映像変化フレ
ームを検出する際の自乗和に対する所定の閾値であり、
Ｖ_thsdは上記一様輝度フレームを検出する際の輝度の分
散値に対する所定の閾値である。

【００８８】当該カットチェンジ検出器１３の検出出力
Ｃ[n]は、映像信号についての特徴量として特徴量バッ
ファ１９へ送られる。

【００８９】なお、上記の２つのフレーム映像間で輝度
差分を求める際には、２フレーム分の映像信号を蓄積可
能なメモリが必要となり、また、２フレーム分の映像信
号に対する演算量も必要となる。そこで、例えばフレー
ム映像全面を同時に処理する代わりに、フレーム映像を
適切な小ブロック毎に分け、その小ブロック毎に輝度差
分を求めるようにしたり、或いは、フレーム映像間の画
素毎に輝度差分を求めるのではなく、フレーム映像毎に
輝度ヒストグラムを求めて、その輝度ヒストグラムのフ
レーム間差分を求めるようにしたり、又は、フレーム映
像毎に平均輝度を求めて、その平均輝度のフレーム間差
分を求めるようにするで、メモリ容量や演算量を減らす
ことも可能である。逆に、メモリや演算量に余裕がある
場合には、例えば、カラー映像におけるＲ（赤），Ｇ
（緑），Ｂ（青）成分のようなカラー成分毎に、上記輝
度差分やカラーヒストグラム差分を求めることで、より
検出精度を高めることも可能である。

【００９０】図２に戻り、図１の復調器２より供給され
た音声信号２ｂは、Ａ／Ｄ変換器１４にてディジタル化
され、音声信号バッファ１５に蓄えられる。なお、音声
信号バッファ１５は、少なくとも所定時間Ｔ₁（例えば
３０ｍｓ、以下、これを１フレーム長とする）分の左
（Ｌ）右（Ｒ）２チャンネルのステレオ音声信号を蓄積
可能なメモリである。当該音声信号バッファ１５から読
み出された音声信号は、振幅検出器１６、相関検出器１
７、およびスペクトル検出器１８に送られる。

【００９１】振幅検出器１６は、音声信号バッファ１５
に蓄えられた音声信号を用いて、所定の時間Ｔ₂（例え
ば１５ｍｓ、以下、これを１フレーム周期とする）毎の
短時間平均自乗振幅を検出する。すなわち、振幅検出器
１６は、音声信号バッファ１５に左右２チャンネルのス
テレオ音声信号が蓄積されている場合、当該音声信号バ
ッファ１５より読み出された左右２チャンネルのステレ
オ音声信号Ｓ_L[m]，Ｓ _R[m]から、所定の時間Ｔ₂（１５
ｍｓ、１フレーム周期）毎に、短時間平均自乗振幅を検
出する。なお、上記ｍ（ｍ＝０，・・・，Ｍ−１）は、
離散化された時間を表わすバッファ内のサンプル番号で
あり、最大番号Ｍが１フレーム長Ｔ₁に対応する。

【００９２】より具体的に説明すると、振幅検出器１６
は、第ｎフレームにおける左右２チャンネルの音声信号
の平均自乗振幅Ａ[n]を式（５）により計算する。すな
わち、平均自乗振幅は１５ms（１／２フレーム）毎に計
算され、その１５ms毎の平均自乗振幅の３０ms（１フレ
ーム）の期間における平均値がさらに演算され、最終的
な、１フレームの平均自乗振幅とされる。

【００９３】

【数４】

【００９４】当該振幅検出器１６の検出出力である平均
自乗振幅Ａ[n]は、音声信号についての特徴量の一つと
して特徴量バッファ１９へ送られる。

【００９５】相関検出器１７は、音声信号バッファ１５
に蓄えられた音声信号を用いて、１フレーム毎の音声信
号について規格化前の相関係数を検出すると共に、後段
にて行われる規格化のための短時間エネルギーも同時に
検出する。すなわち、相関検出器１７は、音声信号バッ
ファ１５に左右２チャンネルのステレオ音声信号が蓄積
されている場合、当該音声信号バッファ１５より読み出
された左右２チャンネルのステレオ音声信号Ｓ_L[m]，Ｓ
_R[m]から、１フレーム毎の左右２チャンネルの音声信号
について規格化前の相関係数を検出すると共に、後段に
て行われる規格化のための短時間エネルギーも同時に検
出する。

【００９６】より具体的に説明すると、相関検出器１７
は、第ｎフレームにおける左右２チャンネルの音声信号
の相関係数Ａ_LR[n]を式（６）により計算し、左チャン
ネルの音声信号エネルギーＡ_LL[n]を式（７）により計
算し、そして右チャンネルの音声信号エネルギーＡ
_RR[n]を式（８）により計算する。

【００９７】

【数５】

【００９８】当該相関検出器１７の検出出力である相関
係数Ａ_LR[n]と音声信号エネルギーＡ_LL[n]，Ａ_RR[n]
は、それぞれが音声信号についての特徴量の一つとして
特徴量バッファ１９へ送られる。

【００９９】スペクトル検出器１８は、音声信号バッフ
ァ１５に蓄えられた音声信号を用いて、短時間スペクト
ルを計算する。すなわち、スペクトル検出器１８は、音
声信号バッファ１５に左右２チャンネルのステレオ音声
信号が蓄積されている場合、当該音声信号バッファ１５
より読み出された左右２チャンネルのステレオ音声信号
Ｓ_L[m]，Ｓ_R[m]から、短時間スペクトルを計算する。

【０１００】より具体的に説明すると、スペクトル検出
器１８は、第ｎフレームにおける左右２チャンネルの音
声信号の離散スペクトルＦ[k;n]を求める。なお、ｋ＝
０，・・・，Ｋ−１を離散化された周波数を表わす番号
とすると、離散スペクトルＦ[k;n]は式（９）により表
わされる。

【０１０１】

【数６】

【０１０２】この式（９）の演算は、例えば、高速フー
リエ変換（ＦＦＴ）又は線形予測分析（ＬＰＣ）などを
用いて実現される。

【０１０３】当該スペクトル検出器１８の計算出力であ
る短時間離散スペクトルＦ[k;n]は、音声信号について
の特徴量の一つとして特徴量バッファ１９へ送られる。

【０１０４】次に、図１の復調器２より供給された放送
モード信号２ｃは、上述した音声信号処理のフレームに
合わせて離散化された数値となされる。

【０１０５】より具体的に説明すると、第ｎフレームに
おける放送モード信号２ｃは、例えば式（１０）のよう
な数値Ｂ[n]となされる。

【０１０６】

【数７】

【０１０７】この放送モード信号２ｃを離散化した数値
Ｂ[n]は、ＴＶ放送信号の特徴量の一つとして特徴量バ
ッファ１９へ送られる。

【０１０８】同様に、図１の時計部３より供給された時
間信号３ａも、音声信号処理のフレームに合わせて離散
化された数値Ｔ[n]となされ、特徴量の一つとして特徴
量バッファ１９へ送られる。

【０１０９】特徴量バッファ１９は、上記文字検出器１
２からの離散化数値Ｍ［ｎ］、カットチェンジ検出器１
３からの検出出力Ｃ[n]、振幅検出器１６からの平均自
乗振幅Ａ[n]、相関検出器１７からの相関係数Ａ_LR[n]お
よび音声信号エネルギーＡ_LL[n]，Ａ_RR[n]、スペクトル
検出器１８からの短時間離散スペクトルＦ[k;n]、放送
モード信号２ｃの離散化数値Ｂ[n]、並びに時間信号３
ａの離散化数値Ｔ[n]とからなる、式（１０）に示され
る特徴量Ｇ[n]を、所定の時間Ｔ₃に渡って蓄積する。な
お、時間Ｔ₃はＣＭ部分を最低でも１つ以上に渡って記
憶できる時間であり、例えば８０秒などとする。Ｇ[n]=｛Ｍ[n],Ｃ[n],Ａ[n],Ａ_LR[n],Ａ_LL[n],Ａ_RR[n],Ｆ[k;n],Ｂ[n],Ｔ[n]｝ (10)

【０１１０】以上のＡ／Ｄ変換器１０乃至特徴量バッフ
ァ１９までが、図２に示したＣＭ検出部４のフロントエ
ンド部の構成であり、以下、図５、図６のフローチャー
トを用いて当該フロントエンド部における処理の流れを
説明する。なお、図５のステップＳ３０乃至Ｓ３３まで
は映像信号２ａについての処理の流れを表しており、図
６のステップＳ３４乃至Ｓ４１までは音声信号２ｂ及び
放送モード信号２ｃ、時間信号３ａについての処理の流
れを表している。

【０１１１】先ず、映像信号２ａについての処理の流れ
を表す図５において、フロントエンド部は、ステップＳ
３０の処理として、Ａ／Ｄ変換器１０によりディジタル
化された、少なくとも１フレーム分の映像信号２ａをフ
レームメモリ１１に蓄える。このフレームメモリ１１
は、１フレーム分の映像信号２ａを１サンプルとして扱
うようになされており、１フレーム分の映像信号２ａが
入力されると、当該フレームメモリ１１内に既に蓄積さ
れている映像信号２ａが１フレーム分シフトし、最も時
間的に過去に入力された１フレームの映像信号２ａが押
し出されて出力されるようになっている。

【０１１２】次に、フロントエンド部は、ステップＳ３
１の処理として、フレームメモリ１１から映像信号２ａ
を読み出して文字検出器１２に送り、前述のようにして
離散化数値Ｍ［ｎ］を求める。

【０１１３】フロントエンド部は、ステップＳ３２の処
理として、フレームメモリ１１から映像信号２ａを読み
出してカットチェンジ検出器１３に送り、前述のように
して検出出力Ｃ[n]を求める。

【０１１４】その後、フロントエンド部は、ステップＳ
３３の処理として、離散化数値Ｍ［ｎ］および検出出力
Ｃ[n]を特徴量バッファ１９に蓄える。

【０１１５】一方、音声信号２ｂについての処理の流れ
を表す図６において、フロントエンド部は、ステップＳ
３４及びステップＳ３５の処理として、Ａ／Ｄ変換器１
４によりディジタル化された、音声信号２ｂを音声信号
バッファ１５に入力すると共に、当該音声信号バッファ
１５に少なくとも１フレーム周期Ｔ₂分の音声信号２ｂ
を蓄積する。この音声信号バッファ１５は、１フレーム
周期Ｔ₂分の音声信号２ｂを１サンプルとして扱うよう
になされており、１フレーム周期Ｔ₂分の音声信号２ｂ
が入力されると、当該音声信号バッファ１５内に既に蓄
積されている音声信号２ｂが１フレーム周期Ｔ₂分だけ
シフトし、最も時間的に過去に入力された１フレーム周
期Ｔ₂分の音声信号２ｂが押し出されて出力されるよう
になっている。

【０１１６】上記音声信号バッファ１５に少なくとも１
フレーム周期Ｔ₂分の音声信号２ｂが蓄積されると、フ
ロントエンド部は、ステップＳ３６の処理として、当該
音声信号バッファ１５に蓄積された音声信号２ｂを読み
出して振幅検出器１６に送り、前述のようにして、平均
自乗振幅Ａ[n]を求める。

【０１１７】同時に、フロントエンド部は、ステップＳ
３７の処理として、音声信号バッファ１５に蓄積された
音声信号２ｂを相関検出器１７に送り、前述のようにし
て、相関係数Ａ_LR[n]と音声信号エネルギーＡ_LL[n]，Ａ
_RR[n]を求める。

【０１１８】また同時に、フロントエンド部は、ステッ
プＳ３８の処理として、音声信号バッファ１５に蓄積さ
れた音声信号２ｂをスペクトル検出器１８に送り、前述
のようにして、短時間離散スペクトルＦ[k;n]を求め
る。

【０１１９】さらに、フロントエンド部は、ステップＳ
３９の処理として、図１の復調器２より供給された放送
モード信号２ｃから、前述のように離散化した数値Ｂ
[n]を求めると共に、ステップＳ４０の処理として、図
１の時計部３より供給された時間信号３ａから、前述の
ように離散化された数値Ｔ[n]を求める。

【０１２０】その後、フロントエンド部は、ステップＳ
４１の処理として、振幅検出器１６からの平均自乗振幅
Ａ[n]、相関検出器１７からの相関係数Ａ_LR[n]および音
声信号エネルギーＡ_LL[n]，Ａ_RR[n]、スペクトル検出器
１８からの短時間離散スペクトルＦ[k;n]、放送モード
信号２ｃの離散化数値Ｂ[n]、並びに時間信号３ａの離
散化数値Ｔ[n]を、特徴量バッファ１９に蓄積する。す
なわち、特徴量バッファ１９には、ステップＳ３３とス
テップＳ４１の処理により、特徴量Ｇ［ｎ］が蓄積され
る。

【０１２１】図２に戻り、バックエンド部の説明を行
う。なお、以下の説明において、番号ｎは、特徴量バッ
ファ１９内にフレーム毎に蓄積される特徴量の、各フレ
ーム番号を表わすものとする。また、最新のフレームの
特徴量をＧ[0]とし、過去のフレームの特徴量となるに
したがってｎの値が増加し、新たなフレームの特徴量が
入力された場合には、全てのデータが１ずつシフト（フ
レーム番号が１ずつシフト）するものとする。

【０１２２】図２において、特徴量バッファ１９に蓄積
された特徴量は、フレーム毎にＣＭ候補検出器２０に送
られる。

【０１２３】当該ＣＭ候補検出器２０は、ほぼ全てのＣ
Ｍが満たす、前述した「必須条件」に基づき、フレーム
毎にＣＭ区間の候補を算出する。ここで、必須条件と
は、前述したように、ＣＭの音声信号が「小音量」であ
ること、すなわち音声信号の音量が所定の閾値以下とな
っているフレーム（以下、音量条件と呼ぶ）であり、且
つ、ＣＭの「映像切り替わり」があること、すなわち映
像信号が急激に変換するフレーム又は一様な輝度となる
フレーム（以下、映像条件と呼ぶ）であり、さらに、
「規定時間長（少数種類の時間長）」であること、すな
わち上記音量条件と映像条件を満たす２つのフレームの
間隔が所定のＣＭ長と合致する区間（以下、時間条件と
呼ぶ）となるような条件であり、具体的には、前述の特
徴量を用いて、以下のような式（１１）で且つ式（１
２）で且つ式（１３）の条件として書き下すことができ
る。

【０１２４】Ａ[0]＜Ａ_thsd (11) Ｃ[0]＝１ (12) Ａ[n₁]＜Ａ_thsd，Ｃ[n₁]＝１又はＡ[n₂]＜Ａ_thsd，Ｃ[n₂]＝１又はＡ[n₃]＜Ａ_thsd，Ｃ[n₃]＝１ (13)

【０１２５】ただし、Ａ_thsdは所定の自乗振幅の閾値で
あり、ｎ₁，ｎ₂，ｎ₃はそれぞれＣＭ長として規定され
ている時間長（本実施の形態では、一例として１５秒、
３０秒、６０秒の３種類の時間長がある場合を説明に用
いている）を、フレーム周期単位に換算した数である。
なお、ＣＭの実際の放送時間には誤差があるため、実用
上は、ｎ₁，ｎ₂，ｎ₃にはそれぞれ多少の幅を持たせ
る。

【０１２６】ここで、図７を用いて、上記ＣＭ候補検出
器２０の動作を説明する。

【０１２７】図７において、特徴量バッファ１９では、
ステップＳ５０のバッファシフト処理とステップＳ５１
の特徴量入力処理として、図５のステップＳ３０で説明
したフレームメモリと図６のステップＳ３４で説明した
音声信号バッファと同様に、１フレーム単位の入力、シ
フト及び出力の動作を行うようになされている。すなわ
ち、特徴量バッファ１９は、１フレーム分の特徴量を１
サンプルとして扱うようになされており、１フレーム分
の特徴量が入力されると、当該特徴量バッファ１９内に
既に蓄積されている特徴量が１フレーム分だけシフト
し、最も時間的に過去に入力された１フレーム分の特徴
量が押し出されて出力されるようになっている。

【０１２８】上記ステップＳ５０およびステップＳ５１
の処理により、特徴量バッファ１９から１フレーム（１
サンプル）分の特徴量が入力されると、ＣＭ候補検出器
２０は、ステップＳ５２およびステップＳ５３の処理と
して、１フレーム（サンプル）に特徴量が上記必須条件
の音量条件、映像条件、時間条件を満たすか否かの評価
を行う。

【０１２９】すなわち、ＣＭ候補検出器２０は、ステッ
プＳ５２において、先ず最初のフレームの平均自乗振幅
Ａ[0]と所定の自乗振幅の閾値Ａ_thsdを比較し、次に、
ステップＳ５３の処理として、検出出力Ｃ[0]が１とな
るか否か調べることにより、当該フレームが上記必須条
件である音量条件、映像条件、時間条件を満たすか否か
の判定を行う。ＣＭ候補検出器２０では、これらステッ
プＳ５２，Ｓ５３の判定処理の結果、上記平均自乗振幅
Ａ[0]が所定の自乗振幅の閾値Ａ_thsdを超えず、且つ、
上記必須条件を満たしていると判定した場合、当該フレ
ームをＣＭ候補としてステップＳ５７以降（ステップＳ
５４乃至Ｓ５６については後述する）の処理に進み、逆
に、上記平均自乗振幅Ａ[0]が所定の自乗振幅の閾値Ａ
_thsdを超えたか、或いは上記必須条件を満たしていない
と判定した場合、当該フレームがＣＭ候補にはならない
としてステップＳ５０の処理に戻る。

【０１３０】上記ステップＳ５２，Ｓ５３の各判定処理
の結果、上記平均自乗振幅Ａ[0]が所定の自乗振幅の閾
値Ａ_thsdを超えず、且つ、上記必須条件を満たしている
と判定された場合、ＣＭ候補検出器２０は、ステップＳ
５７の処理としてＣＭ開始フレームｎ_sを検索し、次
に、ステップＳ５８の処理としてＣＭ終了フレームｎ_e
の検索を行い、更に、ステップＳ５９の処理としてＣＭ
開始時刻Ｔ_sを計算し、ステップＳ６０としてＣＭ長さ
Ｗを計算する。

【０１３１】ＣＭ候補検出器２０は、以上のステップＳ
５７乃至Ｓ６０の検索及び計算を行った後、ステップＳ
６１において後述するＣＭ候補テーブルを参照し、も
し、ＣＭ開始時刻Ｔ_s及びＣＭ長さＴ_wが一致する候補が
すでに当該ＣＭ候補テーブル中に存在するならば、その
まま再びステップＳ５４乃至Ｓ５６の処理に戻り、逆に
存在しない場合には、ステップＳ６２において、新たな
ＣＭ候補としてＣＭ候補テーブルに追加した後、再びス
テップＳ５４乃至Ｓ５６の処理に戻る。

【０１３２】ステップＳ５４乃至Ｓ５６では、全ての時
間長に対して上述同様の処理を行った後、ステップＳ５
０に戻り、次の入力に対して同じ処理を繰り返すことを
表している。

【０１３３】なお、上記ＣＭ開始フレームｎ_sとは、
ｎ₁，ｎ₂，ｎ₃で表される各フレームのうち時間条件に
合致したフレームから、最新フレームの方向へ向かっ
て、平均自乗振幅Ａ[n]が自乗振幅の閾値Ａ_thsdを越え
る最初のフレーム番号である。また、ＣＭ終了フレーム
ｎ_eとは、０番目のフレームより過去の方向に向かっ
て、平均自乗振幅Ａ[n]が自乗振幅の閾値Ａ_thsdを越え
ない最後のフレーム番号である。さらにＣＭ開始時刻Ｔ
_sは、ＣＭ開始フレーム番号ｎ_sを用いてＴ_s＝Ｔ[n_s]と
して求められる。同様にＣＭ長さＴ_wは、Ｔ_w＝Ｔ[n_e]−
Ｔ[n_s]として求められる。

【０１３４】ここで、図８に、上記必須条件の算出例を
示す。この図８に示すＡ[n]の項において、「ｏ」は自
乗振幅の閾値Ａ_thsd未満の平均自乗振幅を持つフレーム
を示し、「ｘ」は自乗振幅の閾値Ａ_thsd以上の平均自乗
振幅を持つフレームを示している。この例では、Ａ
[0]，Ｃ[0]及びＡ[n₁]，Ｃ[n₁]が条件を満たし、ｎ₁よ
り左方で最初にＡ[n]＝ｘとなるフレームがｎ_s、０より
右方に連続する最後のＡ[n]＝ｏとなるフレームがｎ_eと
なる。

【０１３５】以上の処理により、ＣＭ候補検出器２０で
は、１フレーム（１サンプル）の特徴量が入力される毎
にＣＭ候補の検出を行い、ＣＭ候補が検出された場合に
はＣＭ候補テーブルにエントリーする。

【０１３６】図９には、ＣＭ候補テーブルの構成例を示
す。この図９において、ＣＭ候補テーブルの項目は、開
始時刻Ｔ_s、長さＴ_w、及び後述する付加条件算出器２１
で算出する特徴量Ｑ₁乃至Ｑ₁₄、及び後述する付加条件
判定器２２で算出するスコアＲとスコア判定結果Ｚから
なる。ＣＭ候補検出器２０によるＣＭ候補テーブル２０
ａの段階では、開始時刻Ｔｓ、長さＴｗのみが記述され
る。このように、ＣＭ候補テーブルは、ＣＭ候補検出器
２０で得られるＣＭ開始時刻Ｔｓ、長さＴｗと、付加条
件算出器２１で算出される特徴量Ｑ₁乃至Ｑ₁₄と、付加
条件判定器２２で算出されるスコアＲ及びスコア判定結
果Ｚとを記述し、それら特徴量を管理するための表であ
る。また、ＣＭ候補テーブルは、そのエントリーがＣＭ
であるかないかの判定を受けるまで保持され、ＣＭであ
ると判断された場合には、後述するルール判定器２３か
らＣＭ検出出力４ａとして出力され、ＣＭでないと判断
された場合には破棄される。

【０１３７】上記ＣＭ候補検出器２０により開始時刻Ｔ
ｓ、長さＴｗのみが記述されたＣＭ候補テーブル２０ａ
は、付加条件算出器２１に送られる。

【０１３８】付加条件算出器２１では、ＣＭ候補テーブ
ル２０ａにエントリーされた候補区間より、特徴量バッ
ファ１９を参照しながら、以下に示すような特徴量Ｑ₁
乃至Ｑ₁₄を抽出し、それをＣＭ候補テーブル２０ａに追
加記述し、ＣＭ候補テーブル２１ａとして付加条件判定
器２２に出力する。

【０１３９】図１０には、当該付加条件算出器２１にお
ける特徴量Ｑ₁乃至Ｑ₁₁の算出例を示す。

【０１４０】この図１０において、横軸はフレーム番号
（離散時間に相当）を表し、図１０（Ａ）はカットチェ
ンジ検出出力Ｃ[n]、図１０（Ｂ）は放送モード信号２
ｃの離散化数値Ｂ[n]、図１０（Ｃ）は音声信号の短時
間離散スペクトルＳ[k,n]、図１０（Ｄ）は音声信号の
平均自乗振幅Ａ[n]を表わし、ｎ₁の間隔（図中点線で挟
まれた区間）がＣＭ候補である。なお、図１０（Ａ）に
おいて、図中ＣＴで示す位置はカットチェンジ検出出力
Ｃ[n]が１となっている位置（すなわちカットチェンジ
が検出された位置）を示している。また、図１０（Ｂ）
において、図中Ｍで示す区間はその区間が何らかの放送
モードとなっていることを示している。図１０の（Ｃ）
において、図中Ｓ１，Ｓ２，Ｓ３，Ｓ４は何らかのスペ
クトル成分が存在することを示し、図１０（Ｄ）におい
て、図中ＡＭは自乗振幅の変化を表している。また、図
中Ｑ₁乃至Ｑ₁₁は、上記付加条件算出器２１にて特徴量
Ｑ₁乃至Ｑ₁₁が計算される場所を示している。

【０１４１】以下、付加条件算出器２１で算出される各
特徴量Ｑ₁乃至Ｑ₁₄について個々に説明する。

【０１４２】特徴量Ｑ₁は、前ブレーク長である。当該
前ブレーク長とは、ＣＭ候補区間直前の小音量区間（前
ブレーク区間と称する）、すなわち連続してＡ[n]が所
定の閾値Ａ_thsd以下である時間長であり、図１０中の一
点鎖線で挟まれた区間長ＢＢが前ブレーク長Ｑ₁であ
る。

【０１４３】特徴量Ｑ₂は、後ブレーク長である。当該
後ブレーク長とは、ＣＭ候補区間直後の小音量区間（後
ブレーク区間と称する）、すなわち連続してＡ[n]が所
定の閾値Ａ_thsd以下である時間長であり、図１０中の一
点鎖線で挟まれた区間長ＡＢが後ブレーク長Ｑ₂であ
る。

【０１４４】特徴量Ｑ₃は、前ブレーク最小振幅であ
る。当該前ブレーク最小振幅Ｑ₃は、の前ブレーク区間
におけるＡ[n]の最小値である。

【０１４５】特徴量Ｑ₄は、後ブレーク最小振幅であ
る。当該後ブレーク最小振幅Ｑ₄は、の後ブレーク区間
におけるＡ[n]の最小値である。

【０１４６】特徴量Ｑ₅は、左右相関値である。当該左
右相関値Ｑ₅は、ＣＭ候補区間の音声の左右２チャンネ
ルの音声信号Ｓ_L[m]，Ｓ_R[m]の相関値である。これは、
式（６）乃至式（８）のＡ_LR[n]，Ａ_LL[n]，Ａ_RR[n]を
利用して、式（１５）に従って算出することができる。

【０１４７】

【数８】

【０１４８】この式（１５）の演算では、フレームのオ
ーバーラップにより原波形が部分的に複数回加算される
ことになるが、そのことはこのシステムに実質的な影響
は及ぼさない。また、原波形をそのまま保持できるだけ
のメモリ容量及び処理速度がある場合には、この演算は
原波形の相互相関と置き換えることもできる。

【０１４９】特徴量Ｑ₆は、平均振幅値である。当該平
均振幅値Ｑ₆は、ＣＭ候補区間の音声信号の振幅のＲＭ
Ｓ値（平均自乗振幅）である。これは、式（１６）によ
り計算することができる。

【０１５０】

【数９】

【０１５１】この式（１６）の演算では、上記左右相関
演算の場合と同様に、フレームのオーバーラップ次第で
は原波形が部分的に複数回加算されることになるが、そ
のことは実質的な影響を及ぼさない。また、原波形をそ
のまま保持できるだけのメモリ容量及び処理速度がある
場合には、この演算は原波形のＲＭＳ演算と置き換える
こともできる。

【０１５２】特徴量Ｑ₇は、カット数である。当該カッ
ト数Ｑ₇は、ＣＭ候補区間中に存在するカットチェンジ
の回数（上記ＣＴの数）を数える演算となる。すなわち
これは、[n_s,n_e］の区間でＣ[n]＝１となる回数を数え
る演算となる。

【０１５３】特徴量Ｑ₈は、放送モードである。ここで
の放送モードは、ＣＭ候補区間中で最も支配的な放送モ
ードのことである。これは、［n_s,n_e］の区間のＢ[n］
値の中で、最も頻発する放送モードＱ₈を選ぶ演算であ
る。

【０１５４】特徴量Ｑ₉は、隣接候補数である。当該隣
接候補数Ｑ₉は、あるＣＭ候補に対して、その前後にあ
る有音区間もＣＭ候補であるかどうかを表わし、両側と
もＣＭ候補であれば「２」、片側のみＣＭ候補であれば
「１」、どちらもＣＭ候補でなければ「０」の値をと
る。この演算は、ＣＭ候補テーブルを検索することで行
われ、開始時刻Ｔ_sと長さＴ_wと後ブレーク長Ｑ₂の和
（Ｔ_s＋Ｔ_w＋Ｑ₂）が、他のＣＭ候補の開始時刻
（Ｔ'_s）と一致するかどうかで後側候補の判定が行われ
る。同様に、開始時刻Ｔ_sと前ブレーク長Ｑ₁の差（Ｔ_s
−Ｑ₁）が、他のＣＭ候補の開始時刻Ｔ'_sと長さＴ'_wの
和（Ｔ'_s＋Ｔ'_w）と一致するかどうかで、前側候補の判
定が行われる。

【０１５５】特徴量Ｑ₁₀，Ｑ₁₁はスペクトル差分エネル
ギーである。当該スペクトル差分エネルギーＱ₁₀，Ｑ₁₁
は、ＣＭと番組本編やＣＭと他のＣＭとの境界での音質
変化を定量化するために用いられる。これは、上記境界
の両側における平均スペクトルの差の自乗和として定義
され、式（１７）乃至（２２）に従って計算される。

【０１５６】

【数１０】

【０１５７】但し、式中のＮはスペクトルの平均をとる
フレーム数、ｎ'_eはＣＭ候補区間の直前の有音区間の終
了フレーム番号（図１０参照）、ｎ'_sはＣＭ候補区間の
直後の有音区間の開始フレーム番号、Ｓ₁[k]はＣＭ候補
区間の直前の有音区間の終了直前の平均スペクトラム、
Ｓ₂[k]はＣＭ候補区間開始直後の平均ズクトラム、Ｓ
₃[k]はＣＭ候補区間終了直前の平均スペクトラム、Ｓ
₄[k]はＣＭ候補区間の直後の有音区間の開始直後の平均
スペクトラム、Ｓ_normは適切な規格化定数である。

【０１５８】特徴量Ｑ₁₂は、式（２３）に示すように、
ＣＭ候補区間中に存在するフレーム（フレームＮ_s乃至
フレームＮ_e）の離散化数値Ｍ［ｎ］に基づく値であ
る。

【０１５９】

【数１１】

【０１６０】従って、フレームＮ_s乃至フレームＮ_eの中
に、文字が中央に表示される（位置する）フレームが存
在する場合、すなわち、離散化数値Ｍ［ｎ］が値２のフ
レームが存在する場合、特徴量Ｑ₁₂は、値２となる。

【０１６１】フレームＮ_s乃至フレームＮ_eの中に、文字
が中央に位置するフレームは存在しないが、文字が中央
以外の部分（周辺）に位置するフレームが存在する場
合、すなわち、離散化数値Ｍ［ｎ］が値２のフレームは
存在しないが、離散化数値Ｍ［ｎ］が値１のフレームが
存在する場合、特徴量Ｑ₁₂は、値１となる。

【０１６２】そしてフレームＮ_s乃至フレームＮ_eの中
に、文字を含むフレームが存在しない場合、すなわち、
離散化数値Ｍ［ｎ］が値１または値２のフレームは存在
しない場合（すべてが離散化数値Ｍ［ｎ］が値０のフレ
ームである場合）、特徴量Ｑ₁₂は、値０となる。

【０１６３】ここで、特徴量Ｑ₁₂を決定する場合の付加
条件算出器２１の動作を、図１１のフローチャートを参
照して説明する。

【０１６４】ステップＳ７１において、付加条件算出器
２１は、ＣＭ候補区間中のフレームＮ_s乃至フレーム
Ｎ_e）の離散化数値Ｍ［ｎ］を取得し、ステップＳ７２
において、その中に、数値Ｍ［ｎ］が値２のフレームが
存在するか否かを判定し、存在すると判定した場合、ス
テップＳ７３に進み、特徴量Ｑ₁₂を値２とする。

【０１６５】ステップＳ７２で、数値Ｍ［ｎ］が値２の
フレームが存在しないと判定された場合、ステップＳ７
４に進み、付加条件算出器２１は、数値Ｍ［ｎ］が値１
のフレームが存在するか否かを判定し、存在すると判定
した場合、ステップＳ７５に進み、特徴量Ｑ₁₂を値１に
する。

【０１６６】ステップＳ７４で、数値Ｍ［ｎ］が値１の
フレームが存在しないと判定された場合、すなわち、結
局、数値Ｍ［ｎ］が値２，値１のフレームが存在しない
場合、ステップＳ７６に進み、付加条件算出器２１は、
特徴量Ｑ₁₂を値０にする。

【０１６７】ステップＳ７３，７５，７６で特徴量Ｑ₁₂
が決定されたとき、処理は終了する。

【０１６８】特徴量Ｑ₁₃は、式（２４）に示すように、
ＣＭ候補区間の最初の部分のフレーム（この例の場合、
フレームＮ_sが入力されてから１秒間に入力された、フ
レームＮ_sを含む３０個のフレーム）の離散化数値Ｍ
［ｎ］に基づく値である。

【０１６９】

【数１２】

【０１７０】従って、この最初の部分のフレームの中
に、文字が中央に位置するフレームが存在する場合、す
なわち、離散化数値Ｍ［ｎ］が値２のフレームが存在す
る場合、特徴量Ｑ₁₃は、値２となる。

【０１７１】最初の部分のフレームの中に、文字が中央
に位置するフレームが存在しないが、文字が周辺に位置
するフレームが存在する場合、すなわち、離散化数値Ｍ
［ｎ］が値２のフレームは存在しないが、離散化数値Ｍ
［ｎ］が値１のフレームが存在する場合、特徴量Ｑ
₁₃は、値１となる。

【０１７２】そして最初の部分のフレームの中に、文字
を含むフレームが存在しない場合、すなわち、離散化数
値Ｍ［ｎ］が値１または値２のフレームが存在しない場
合（すべてが離散化数値Ｍ［ｎ］が値０のフレームであ
る場合）、特徴量Ｑ₁₃は、値０となる。

【０１７３】特徴量Ｑ₁₄は、式（２５）に示すように、
ＣＭ候補区間の最後の部分のフレーム（この例の場合、
フレームＮ_eが入力される１秒前から入力された、フレ
ームＮ_eを含む３０個のフレーム）の離散化数値Ｍ
［ｎ］に基づく値である。

【０１７４】

【数１３】

【０１７５】従って、この最後の部分のフレームの中
に、文字が中央に位置するフレームが存在する場合、す
なわち、離散化数値Ｍ［ｎ］が値２のフレームが存在す
る場合、特徴量Ｑ₁₄は、値２となる。

【０１７６】最後の部分のフレームの中に、文字が中央
に位置するフレームが存在しないが、文字が周辺に位置
するフレームが存在する場合、すなわち、離散化数値Ｍ
［ｎ］が値２のフレームは存在しないが、離散化数値Ｍ
［ｎ］が値１のフレームが存在する場合、特徴量Ｑ
₁₄は、値１となる。

【０１７７】そして最後の部分のフレームの中に、文字
を含むフレームが存在しない場合、すなわち、離散化数
値Ｍ［ｎ］が値１または値２のフレームが存在しない場
合（すべてが離散化数値Ｍ［ｎ］が値０のフレームであ
る場合）、特徴量Ｑ₁₄は、値０となる。

【０１７８】特徴量Ｑ₁₃，Ｑ₁₄を算出する場合、特徴量
Ｑ₁₂を算出する場合における図１１のステップＳ７１に
相当する処理で、最初の部分のフレームまたは最後の部
分のフレームの数値Ｍ［ｎ］が取得された後、ステップ
Ｓ７２乃至ステップＳ７６に相当する処理が同様に行わ
れる。

【０１７９】上記付加条件算出器２１は、以上により算
出したＱ₁からＱ₁₄までの特徴量を、ＣＭ候補テーブル
２０ａに追加記述し、ＣＭ候補テーブル２１ａとして出
力する。当該ＣＭ候補テーブル２１ａは、付加条件判定
器２２に送られる。

【０１８０】付加条件判定器２２は、ＣＭ候補テーブル
２１ａを入力とし、ＣＭ候補の特徴量を、閾値関数など
により非線型にパラメータ変換した後、荷重加算するこ
とでＣＭ候補に対するスコアＲを算出し、Ｒが所定の閾
値以上である場合には有力ＣＭ候補と判定する。付加条
件判定器２２は、これらスコアＲとスコア判定結果Ｚを
ＣＭ候補テーブル２１ａに追加記述し、ＣＭ候補テーブ
ル２２ａとして出力する。

【０１８１】図１２には、付加条件判定器２２の概略構
成を示す。

【０１８２】この図１２において、ＣＭ候補テーブル２
１ａの各特徴量Ｑ₁乃至Ｑ_Lは、それぞれ対応する関数演
算器５０₁乃至５０_Lに送られ、それぞれ対応するパラメ
ータ変換関数Ｈ₁()乃至Ｈ_L()による変換演算が施された
後、さらにそれぞれ対応する重み付け器５１₁乃至５１_L
により荷重Ｗ₁乃至Ｗ_Lとの積がとられる。各重み付け器
５１₁乃至５１_Lにより重み付けがなされた後の特徴量
は、総和加算器５２での総和加算によりスコアＲが算出
される。この総和加算器５２から出力されたスコアＲ
は、スコア判定器５３にて所定の閾値と比較され、スコ
アＲが所定の閾値以上である場合には有力ＣＭ候補であ
る旨を示す判定結果が出力される。なお、スコア判定器
５３によるスコア判定により所定の閾値未満であると判
定されたＣＭ候補は、テーブルから消去される。

【０１８３】より具体的に説明すると、当該付加条件判
定器２２におけるスコア算出演算は、式（２６）に従っ
て行われる。

【０１８４】

【数１４】

【０１８５】ただし、Ｈ_l()は各特徴量に対して予め定
めるパラメータ変換関数、Ｗ_lは予め決定しておく荷
重、そしてＬは特徴量数（＝１４）である。なお、ｌは
１乃至１４のうちの任意の数である。

【０１８６】ここで、各関数演算器５０₁乃至５０_Lにお
けるパラメータ変換関数Ｈ_l()は、最も簡単には矩形関
数でよい。すなわち例えば、図１３（Ｂ）に示すような
矩形関数Ｒect（x;t₁,t₂）を用い、予め各特徴量につい
て決定しておく標準値の下上限値をｔ_1l，ｔ_2lとし、式
（２７）により例えばＱ₁が標準値の範囲内ならば１、
範囲外ならば０となるようにする。

【０１８７】Ｈ_l（Ｑ_l）＝Ｒect（Ｑ_l;t₁,t₂） (27)

【０１８８】なお、境界付近で滑らかに０から１、１か
ら０へ推移させるようにする場合には、例えば式（２
８）のような、シグモイド関数Ｓigm(x;t₁,t₂)を用いる
こともできる。

【０１８９】

【数１５】

【０１９０】図１３（Ｃ）にシグモイド関数の概形を示
す。ただし、σ_1l,σ_2lは推移の程度を表わす定数であ
り、予め特徴量の分布などに基づき決定しておく。

【０１９１】また、上記各重み付け器５１₁乃至５１_Lに
よる加算荷重Ｗ_lは、予め特徴量の統計的性質に基づき
人為的に決定しておくこともできるが、既知の学習サン
プルに対して、ニューラルネットワーク（例えば中川著
「パターン情報処理」丸善（1999）などに詳説）の要領
で学習することで、自動的に荷重を決定することも可能
である。なお、ｌは１乃至１４のうちの任意の数であ
る。

【０１９２】さらに、上記判定器５３におけるスコア判
定は、式（２９）のように、スコアＲの閾値処理により
行う。

【０１９３】Ｚ＝Ｕnit（Ｒ−ｔ_r） (29)

【０１９４】ただし、Ｕnit（ｘ）は、図１３（Ａ）に
示すように、ｘ＞０で１、ｘ＜０で０となる単位ステッ
プ関数であり、ｔ_rは予め定めるか或いは学習により自
動的に決まる判定閾値である。

【０１９５】次に、ルール判定器２３は、上記付加条件
判定器２２でのスコア判定により得られたＣＭ候補テー
ブル２２ａを入力とし、後述するような所定のルール判
定により最終的なＣＭ検出出力４ａとしてＣＭ開始時刻
と長さを出力する。すなわち、当該ルール判定器２３で
は、同一時刻に複数のＣＭ候補があった場合（以下、競
合関係という）に、どちらがよりＣＭとして確からしい
かをルール処理により判定する。

【０１９６】以下、ルール判定器２３の動作を図１４の
フローチャートを用いて説明する。

【０１９７】先ず、ルール判定器２３は、ステップＳ８
０として、ＣＭ候補テーブルより、判定すべきＣＭ候補
を選択する。この選択は、ＣＭ候補テーブル中で最古の
候補であり、予め設定された時間Ｔ₄が経過したものか
ら順に行われる。Ｔ₄は、数個のＣＭが十分含まれる程
度の時間長であり、例えば１５０秒間とする。

【０１９８】続いて、ルール判定器２３は、ステップＳ
８１として、選択したＣＭ候補の区間中（ＴｓからＴｓ
＋Ｔｗまでの間）に、他のＣＭ候補が存在するかどう
か、ＣＭ候補テーブル中を検索する。このステップＳ８
１において、他のＣＭ候補が存在しないと判定した場合
（Ｎｏ）、このＣＭ候補はＣＭ検出出力として出力さ
れ、ＣＭ候補テーブルより消去される。

【０１９９】一方、ステップＳ８１において、他のＣＭ
候補が存在すると判定された場合（Ｙｅｓ）、それらは
競合関係にあるとして、ステップＳ８２にて先ず最小長
さ優先ルールが適用される。ここで、最小長さ優先ルー
ルは、ある時区間が、複数の長さの異なるＣＭ候補の組
み合わせにより構成され得る場合、より短いＣＭ候補で
構成されている方を優先するというルールである。すな
わち、例えば３０秒という時区間に対して、１つの３０
秒ＣＭという可能性と、２つの１５秒ＣＭの組み合わせ
という可能性の、両方が同時に候補として存在する場合
には、１５秒ＣＭを選択し、３０秒ＣＭを棄却するとい
うルールである。

【０２００】図１５を用いて、この最小長さ優先ルール
の一例を説明する。

【０２０１】なおこの例には、図１５（Ａ）のように、
実際には４つのＣＭ１乃至ＣＭ４が連続して放送されて
いる区間に対し、図１５（Ｂ）中Ａ乃至Ｈで示すような
８つの候補がＣＭ候補テーブルに存在する場合が示され
ている。

【０２０２】先ず、図１５（Ｃ）に示すように、ＡのＣ
Ｍ候補が判定中であるとすると、この候補Ａと競合する
候補はＥとＨである。しかしながら、Ｅの区間はＡとＢ
で記述でき、また、Ｈの区間はＡとＢとＣとＤ等で記述
できることから、それぞれ棄却され、Ａが採用される。
続いて、図１５（Ｄ）に示すように、Ｂが判定中となっ
たときには、Ｆが競合相手となる（このとき、Ｅ、Ｈは
Ａの判定により棄却済みとなっている）が、Ｆの区間は
ＢとＣで記述できることから棄却され、Ｂが採用され
る。同様に、図１５（Ｅ）に示すように、Ｃが判定中の
場合には、Ｇが競合相手となるが、Ｇの区間はＣとＤで
記述されることから棄却され、Ｃが採用される。最後
に、図１５（Ｆ）に示すように、Ｄが判定されるときに
は、すでに競合相手は存在しないので、そもそもこのル
ールを適用する必要はなく、当該Ｄがそのまま採用され
る。

【０２０３】以上により、この時区間からは、ＣＭ候補
としてＡ，Ｂ，Ｃ，Ｄが選択されることとなる。このル
ールが適用できない競合関係については、そのままＣＭ
候補テーブルに残してこの処理を終了する。

【０２０４】図１４に戻り、ステップＳ８２のルール判
定の後、ルール判定器２３の処理は、ステップＳ８３に
進む。ステップＳ８３に進むと、ルール判定器２３は、
最小長さ優先ルールを適用した結果、判定中のＣＭが棄
却されたか否か判断する。このステップＳ８３におい
て、判定中のＣＭが棄却されと判断した場合（Ｙｅ
ｓ）、ルール判定器２３は、その候補をＣＭ候補テーブ
ルから消去し、ステップＳ８０に戻る。一方、ステップ
Ｓ８３において、判定中のＣＭが棄却されていないと判
断した場合（Ｎｏ）、ルール判定器２３は、ステップＳ
８４において、再び判定中のＣＭ候補の区間中に他のＣ
Ｍ候補が存在するかどうか、テーブル中を検索する。

【０２０５】このステップＳ８４において他のＣＭ候補
が存在しないと判定した場合（Ｎｏ）、ルール判定器２
３は、ステップＳ９０において判定中のＣＭ候補をＣＭ
検出出力から出力し、ＣＭ候補テーブルから消去する。
一方、ステップＳ８４にて他のＣＭ候補が存在すると判
断した場合（Ｙｅｓ）、ルール判定器２３の処理は、ス
テップＳ８５に進む。

【０２０６】ステップＳ８５に進むと、ルール判定器２
３は、隣接優先ルールを適用する。ここで、隣接優先ル
ールとは、複数のＣＭ候補が競合関係にある場合、それ
ぞれ直前又は直後に隣接するＣＭ候補を検索し、それが
存在する方を優先するというルールである。

【０２０７】図１６を用いて、当該隣接優先ルールにつ
いて説明する。

【０２０８】なおこの例には、図１６（Ａ）のように、
実際には４つのＣＭ１１乃至ＣＭ１４が連続して放送さ
れている区間に対し、図１６（Ｂ）中Ｉ乃至Ｎで示すよ
うな６つの候補が存在する場合が示されている。また、
この例の場合、候補Ｍ及びＮは、偶然ＣＭ中にカットチ
ェンジや小音量区間が存在したために候補となっている
が、このような候補は、実際には誤った区間であるとは
いえ、内容的にはＣＭを含んでいるため、ＣＭらしさを
判定する付加条件のスコア判定によっても、棄却されな
い場合があるものである。

【０２０９】このような例において、先ず、図１６
（Ｃ）に示すように、最古のＩが判定される候補とな
る。当該Ｉと競合するものとしてＭがあるが、Ｉには隣
接する候補Ｊが存在するのに対し、Ｍには隣接する候補
がないため、Ｉを採用し、Ｍを棄却する。次に、図１６
（Ｄ）に示すように、Ｊが判定される候補となった場
合、Ｊと競合する候補としてＮがあるが、Ｊには隣接す
る候補Ｉ、Ｋが存在するのに対し、Ｎには存在しないた
め、Ｊが採用されＮが棄却される。次に、図１６
（Ｅ），（Ｆ）に示すように、残りの候補Ｋ、Ｌには、
既に競合する候補がなくなるため、このルールは適用さ
れず、これらＫ、Ｌがそのまま採用される。

【０２１０】以上により、この図１６に例示した区間か
らは、Ｉ，Ｊ，Ｋ，ＬがＣＭ候補として選択されること
となる。

【０２１１】なお、競合関係の候補のいずれにも隣接候
補が無い場合、及び複数の候補にそれぞれ隣接候補があ
る場合には、それらはどちらも棄却されず、ＣＭ候補テ
ーブルに残される。

【０２１２】図１４に戻り、ステップＳ８５の処理後、
ルール判定器２３の処理は、ステップＳ８６に進む。ス
テップＳ８６に進むと、ルール判定器２３は、隣接優先
ルールを適用の結果、判定中のＣＭが棄却されたか否か
判断する。このステップＳ８６において、判定中のＣＭ
が棄却されたと判断した場合（Ｙｅｓ）、ルール判定器
２３は、その候補をＣＭ候補テーブルから消去し、ステ
ップＳ８０の処理に戻る。一方、ステップＳ８６におい
て棄却されていないと判定された場合（Ｎｏ）、ルール
判定器２３は、次のステップＳ８７において、再び判定
中のＣＭ候補の区間中に、他のＣＭ候補が存在するかど
うか、ＣＭ候補テーブル中を検索する。

【０２１３】このステップＳ８７において、他のＣＭ候
補が存在しなと判定された場合（Ｎｏ）、ルール判定器
２３は、ステップＳ９０において、判定中のＣＭ候補を
ＣＭ検出出力から出力し、ＣＭ候補テーブルから消去す
る。一方、ステップＳ８７において、他のＣＭ候補が存
在すると判定した場合（Ｙｅｓ）、ルール判定器２３
は、ステップＳ８８において、スコア優先ルールを適用
する。ここで、スコア優先ルールとは、上記の各ルール
によっても競合関係が解消されない場合、付加条件判定
器２２により得られた判定スコアＲの高い候補を優先す
るというルールである。このスコア優先ルールは、対象
となる競合関係が解消するまで繰り返し適用する。

【０２１４】図１７を用いて、当該スコア優先ルールに
ついて説明する。

【０２１５】なおこの例には、図１７（Ａ）のように、
実際には４つのＣＭ２１乃至ＣＭ２４が連続して放送さ
れている区間に対し、図１７（Ｂ）中Ｐ乃至Ｗで示すよ
うな７つの候補が存在する場合が示されている。

【０２１６】この例において、先ず、図１７（Ｃ）に示
すように、最古のＰが判定される候補となるが、この候
補ＰはＵと競合関係がある。但し、このときの競合関係
は、最小長さ優先ルールによっても、また、隣接優先ル
ールによっても競合が解消されない。

【０２１７】したがって、この場合には、これら競合関
係にある候補と関連する全ての競合関係を、ＣＭ候補テ
ーブル中から検索する。すなわち、この場合は、(Ｐ−
Ｕ)、(Ｕ−Ｑ)、(Ｑ−Ｖ)、(Ｖ−Ｒ)、(Ｒ−Ｗ)、(Ｗ−
Ｓ)という、７候補に対する６つの競合関係が全て関連
しているので、スコア優先ルールでは、これら関連する
候補の中で最もスコアの高い候補を採用する。この例の
場合、判定スコアＲ(2.0)が最も高いスコアであるた
め、図１７（Ｄ）に示すように、このスコアが採用さ
れ、その結果、Ｒと競合関係にある候補Ｖ、Ｗは棄却さ
れる。

【０２１８】しかしながら、図１７（Ｅ）に示すよう
に、これによっても（Ｐ−Ｕ）の競合関係は解消されて
いない。したがって、再びこれらと関連する全ての競合
関係を、ＣＭ候補テーブル中から検索する。今回は、Ｖ
が棄却されたことにより、(Ｐ−Ｕ)、(Ｕ−Ｑ)という、
３つの候補が関係する２つの競合関係のみとなる。

【０２１９】さらに、これらの候補の中で最もスコアの
高い候補Ｑ(1.9)を採用し、図１７（Ｆ）に示すよう
に、Ｑと競合関係にある候補Ｕを棄却する。

【０２２０】以上によって、Ｐに関係する競合関係はな
くなり、Ｐが採用される。また、Ｕ、Ｖ、Ｗは全て棄却
され、Ｑ、Ｒ、Ｓが採用されることとなる。

【０２２１】なお、仮に、関連する全ての競合関係を検
索せず、対象となる競合関係（この例の場合、Ｐ，Ｕ）
のみでスコア優先ルールを適用すると、先ずＵが採用さ
れ、Ｐは棄却される。後にＵとＱとの競合関係により、
一時採用されたＵもまた棄却されてしまう。このよう
に、ルール判定器２３では、偶然の処理順序により候補
Ｐが棄却されるようなことのないよう、関連競合関係の
検索を行っている。

【０２２２】以上のスコア優先ルールにより、選択され
た候補に関する競合関係は必ず解消されることになる。

【０２２３】図１４に戻り、ステップＳ８８の処理後、
ルール判定器２３の処理は、ステップＳ８９に進む。ス
テップＳ８９に進むと、ルール判定器２３は、スコア優
先ルールを適用の結果、判定中の候補が棄却されたか否
か判断する。このステップＳ８９において、判定中の候
補が棄却されたと判断した場合（Ｙｅｓ）、ルール判定
器２３は、その候補をＣＭ候補テーブルより消去し、ス
テップＳ８０に戻る。一方、ステップＳ８９において、
棄却されなかった場合、ルール判定器２３は、ステップ
Ｓ９０のＣＭ検出出力として、開始時刻とその長さを出
力し、ＣＭ候補テーブルから消去した後、ステップＳ８
０に戻る。

【０２２４】なお、本実施の形態では、例えば現行のア
ナログＴＶ放送の映像音声記録装置を例にとったが、デ
ィジタルＴＶ放送等に適用される場合にも同様のＣＭ検
出部４が適用できることは明らかである。また、例えば
ラジオ放送に適用される場合には、上記ＣＭ検出部４か
ら映像信号の処理を担当する部分を省略することで同様
の機能が実現できる。

【０２２５】上述した一連の処理は、ハードウエアによ
り実現させることもできるが、ソフトウエアにより実現
させることもできる。一連の処理をソフトウエアにより
実現する場合には、そのソフトウエアを構成するプログ
ラムがコンピュータにインストールされ、そのプログラ
ムがコンピュータで実行されることより、上述した映像
音声記録装置が機能的に実現される。

【０２２６】図１８は、上述のような映像音声記録装置
として機能するコンピュータ１０１の一実施の形態の構
成を示すブロック図である。CPU（Central Processing
Unit）１１１にはバス１１５を介して入出力インタフェ
ース１１６が接続されており、CPU１１１は、入出力イ
ンタフェース１１６を介して、ユーザから、キーボー
ド、マウスなどよりなる入力部１１８から指令が入力さ
れると、例えば、ROM（Read Only Memory）１１２、ハ
ードディスク１１４、またはドライブ１２０に装着され
る磁気ディスク１３１、光ディスク１３２、光磁気ディ
スク１３３、若しくは半導体メモリ１３４などの記録媒
体に格納されているプログラムを、RAM（Random Access
Memory）１１３にロードして実行する。これにより、
上述した各種の処理が行われる。さらに、CPU１１１
は、その処理結果を、例えば、入出力インタフェース１
１６を介して、LCD（Liquid Crystal Display）などよ
りなる出力部１１７に必要に応じて出力する。なお、プ
ログラムは、ハードディスク１１４やROM１１２に予め
記憶しておき、コンピュータ１０１と一体的にユーザに
提供したり、磁気ディスク１３１、光ディスク１３２、
光磁気ディスク１３３，半導体メモリ１３４等のパッケ
ージメディアとして提供したり、衛星、ネットワーク等
から通信部１１９を介してハードディスク１１４に提供
することができる。

【０２２７】なお、本明細書において、記録媒体により
提供されるプログラムを記述するステップは、記載され
た順序に沿って時系列的に行われる処理はもちろん、必
ずしも時系列的に処理されなくとも、並列的あるいは個
別に実行される処理をも含むものである。

【０２２８】

【発明の効果】本発明の信号処理装置および方法、並び
にプログラムによれば、少なくても第１の信号の区間と
それ以外の信号の区間とが時分割的に存在する入力信号
から、所定の時間間隔を持つ信号の特徴的パターンに基
づいて、第１の信号の候補区間を検出し、候補区間の信
号から、文字を表示する信号を検出し、検出結果に基づ
いて、第１の信号らしさを表す特徴量を算出し、特徴量
に基づいて、第１の信号の区間を検出するようにしたの
で、第１の信号を適切に検出することができる。

【図面の簡単な説明】

【図１】本発明を適用した映像音声記録装置の構成例を
表すブロック図である。

【図２】図１のＣＭ検出部の構成例を表すブロック図で
ある。

【図３】文字検出器１２の動作を説明するフローチャー
トである。

【図４】小領域に割り当てられる番号を説明するための
図である。

【図５】ＣＭ検出部のフロントエンド部における映像信
号処理の流れを示すフローチャートである。

【図６】ＣＭ検出部のフロントエンド部における音声信
号処理の流れを示すフローチャートである。

【図７】ＣＭ検出部のＣＭ候補検出器における動作の流
れを示すフローチャートである。

【図８】必須条件の算出例の説明に用いる図である。

【図９】ＣＭ候補テーブルを示す図である。

【図１０】ＣＭ検出部の付加条件算出器における特徴量
の算出例の説明に用いる図である。

【図１１】特徴量Ｑ₁₂を算出する場合の付加条件算出器
の動作を説明するフローチャートである。

【図１２】付加条件算出器の構成例を示すブロック図で
ある。

【図１３】スコア算出演算の際の単位ステップ関数、矩
形関数、シグモイド型関数の説明に用いる図である。

【図１４】ルール判定器の動作の流れを示すフローチャ
ートである。

【図１５】最小長さ優先ルールの説明に用いる図であ
る。

【図１６】隣接優先ルールの説明に用いる図である。

【図１７】スコア優先ルールの説明に用いる図である。

【図１８】コンピュータ１０１の構成例を示すブロック
図である。

【符号の説明】

１チューナ，２復調器，３時計部，４Ｃ
Ｍ検出器，５映像音声記録部，１０，１４Ａ／
Ｄ変換器，１１フレームメモリ，１２文字検出
器，１３カットチェンジ検出器，１５音声信号
バッファ，１６振幅検出器，１７相関検出器，１
８スペクトル検出器，１９特徴量バッファ，２
０ＣＭ候補検出器，２１付加条件算出器，２２
付加条件判定器，２３ルール判定器，２４動
作制御部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/78 Ｈ０４Ｎ 5/92 Ｚ 5/91 7/08 Ｚ 7/08 5/91 Ｚ 7/081 Ｆターム(参考） 5C025 BA25 BA30 DA08 DA10 5C052 AA01 AB02 CC06 DD04 5C053 FA14 FA21 FA23 GB06 GB11 GB12 JA01 JA16 KA03 KA05 KA25 KA26 LA06 LA07 5C063 AA01 AB01 AB05 AC01 AC05 AC10 CA20 CA23 CA36 DA01 DA05 DA07 DA11 DB10 5L096 AA06 DA02 FA00 FA44 FA69 GA08 JA11 JA28

Claims

【特許請求の範囲】

【請求項１】少なくても第１の信号の区間とそれ以外
の信号の区間とが時分割的に存在する入力信号から、所
定の時間間隔を持つ信号の特徴的パターンに基づいて、
前記第１の信号の候補区間を検出する候補区間検出手段
と、前記候補区間の信号から、文字を表示する信号を検出す
る文字検出手段と、前記文字検出手段による検出結果に基づいて、前記第１
の信号らしさを表す特徴量を算出する算出手段と、前記特徴量に基づいて、前記第１の信号の区間を検出す
る区間検出手段とを備えることを特徴とする信号処理装
置。
【請求項２】前記算出手段は、前記文字検出手段によ
り文字を表示する信号が検出されたとき、より大きい前
記特徴量を算出することを特徴とする請求項１に記載の
信号処理装置。
【請求項３】前記文字検出手段により、文字を表示す
る信号が検出されたとき、前記文字の表示位置を検出す
る文字表示位置検出手段をさらに備え、前記算出手段は、前記文字表示位置検出手段により画面
中央に文字を表示する信号が検出されたとき、より大き
い前記特徴量を算出することを特徴とする請求項２に記
載の信号処理装置。
【請求項４】前記文字検出手段により、文字を表示す
る信号が検出されたとき、前記文字の出現時刻を検出す
る文字出現時刻検出手段をさらに備え、前記算出手段は、前記文字出現時刻検出手段により検出
された出現時刻が前記候補区間の始点または終点付近に
あるとき、より大きい前記特徴量を算出することを特徴
とする請求項２に記載の信号処理装置。
【請求項５】少なくても第１の信号の区間とそれ以外
の信号の区間とが時分割的に存在する入力信号から、所
定の時間間隔を持つ信号の特徴的パターンに基づいて、
前記第１の信号の候補区間を検出する候補区間検出ステ
ップと、前記候補区間の信号から、文字を表示する信号を検出す
る文字検出ステップと、前記文字検出ステップでの検出結果に基づいて、前記第
１の信号らしさを表す特徴量を算出する算出ステップ
と、前記特徴量に基づいて、前記第１の信号の区間を検出す
る区間検出ステップとを含むことを特徴とする信号処理
方法。
【請求項６】少なくても第１の信号の区間とそれ以外
の信号の区間とが時分割的に存在する入力信号から、所
定の時間間隔を持つ信号の特徴的パターンに基づいて、
前記第１の信号の候補区間を検出する候補区間検出ステ
ップと、前記候補区間の信号から、文字を表示する信号を検出す
る文字検出ステップと、前記文字検出ステップでの検出結果に基づいて、前記第
１の信号らしさを表す特徴量を算出する算出ステップ
と、前記特徴量に基づいて、前記第１の信号の区間を検出す
る区間検出ステップとを含むことを特徴とするコンピュ
ータが読み取り可能なプログラムが記録されている記録
媒体。
【請求項７】少なくても第１の信号の区間とそれ以外
の信号の区間とが時分割的に存在する入力信号から、所
定の時間間隔を持つ信号の特徴的パターンに基づいて、
前記第１の信号の候補区間を検出する候補区間検出ステ
ップと、前記候補区間の信号から、文字を表示する信号を検出す
る文字検出ステップと、前記文字検出ステップでの検出結果に基づいて、前記第
１の信号らしさを表す特徴量を算出する算出ステップ
と、前記特徴量に基づいて、前記第１の信号の区間を検出す
る区間検出ステップとを含む処理をコンピュータに実行
させることを特徴とするプログラム。