JP2007082091A - 映像信号の区切り情報設定装置及び方法 - Google Patents

Abstract

【課題】ＣＭ前区間とＣＭ後区間の映像繰り返し区間が、ある程度ずれていても、類似映像として判定できるようにする。
【解決手段】ＣＭ区間の前と後の第１、第２の判定対象区間の画像のシーンチェンジ箇所を検出するシーンチェンジ検出部Ｂ１と、前記第１、第２の判定対象区間に属する複数ショット同士の映像類似判定を行なう類似映像区間検出部Ｂ２と、類似しているショットには同じ識別情報を付する識別情報割当部Ｂ３と、前記識別情報を用いて第１と第２の判定対象区間の映像信号の類似度を求め、類似度が所定の条件を満たしたとき前記第１と第２の判定対象区間が類似であると決定する判定対象区間類似度判定部Ｂ４とを有する。
【選択図】 図１

Description

この発明は、映像構造化を得るために、映像信号から判定した映像信号の区切り情報設定を行う装置及び方法に関するものである。つまり映像信号の特徴を捕らえて、例えばチャプター分割して映像を構造化する場合に利用される装置及び方法である。

テレビジョン放送信号では、通常は、プログラムの境界、あるいはプログラムの途中においてコマーシャル（ＣＭ）タイムが設けられている。このＣＭの候補区間を、検出し、チャプター分割を行うという技術がある（例えば特許文献１）。
特開２０００−５７７４９公報

上記した特許文献１には、ＣＭ区間より前の一部区間（ＣＭ前区間）と、ＣＭ区間より後の一部区間（ＣＭ後区間）との一致する特徴情報を検出するというコンセプトが示されている。特徴情報は、シーンチェンジ点、無音期間などの情報を組み合わせて示されている。ＣＭ前区間とＣＭ後区間の特徴情報が一致している場合には、比較された２つの特徴情報が存在する区間は、同じ映像が繰り返されている繰り返し区間であると判定している。

しかし、繰り返し区間の検出は、必ずしも正しいとは限らない。これは、繰り返し区間であっても、多少画像内容が異なる場合があるからである。特に、バラエティー番組や、クイズ番組では、コマーシャルの前の区間と、コマーシャル後の区間で、繰り返し映像が存在していても、その映像内容が若干異なることが多い。例えば、ＣＭ前後の繰り返し区間において、ＣＭ前区間では、映像の一部にモザイク処理が施されている場合もある。そして、ＣＭ後区間では、モザイクが離されている場合がある。このような場合、従来の繰り返し区間検出方法であると、ＣＭ前区間と、ＣＭ後区間の映像が異なる内容であると判定することがあった。

そこで、この発明は、ＣＭ前区間とＣＭ後区間の映像繰り返し区間が、ある程度、ずれていても、類似映像として判定できるようにした映像信号の区切り情報設定装置及び方法を提供することを目的とする。

この発明の一面では、動画像内の任意区間の前と後の第１、第２の判定対象区間の画像のシーンチェンジ箇所を検出するシーンチェンジ検出部Ｂ１と、前記シーンチェンジ箇所に挟まれている複数のショットであって、前記第１判定対象区間に属する複数ショットと前記第２判定対象区間に属する複数ショット同士の映像類似判定を行なう類似映像区間検出部Ｂ２と、類似しているショットには同じ識別情報を付する識別情報割当部Ｂ３と、前記ショットに割当られた識別情報を用いて、前記第１と第２の判定対象区間の映像信号の類似度を求め、類似度が所定の条件を満たしたとき前記第１と第２の判定対象区間が類似であると決定する判定対象区間類似度判定部Ｂ４と、を有する。

上記したように、前記第１と第２の判定対象区間の類似度を計算し、閾値との関連で、類似、非類似を決定するようにしたので、例えばＣＭ前区間とＣＭ後区間の映像繰り返し区間が、ある程度、ずれていても、また多少異なった内容であっても類似映像として判定できる。

以下、図面を参照してこの発明の実施の形態を詳細に説明する。図１はこの発明が適用された信号処理装置の構成例である。この信号処理装置は、例えばデジタルテレビジョン受信装置、あるいは情報記録再生装置などに適用可能である。

チューナ１は、例えばデジタル放送信号を受信し、受信信号を復調し、復調出力をトランスポートデコーダ２に供給する。トランスポートデコーダ２で選択された番組の映像信号・音声信号はパケット毎オーディオビデオ（ＡＶ）デコーダ３に入力されて復調される。ＡＶデコーダ３で復調された音声出力は、出力端子４Ａに出力され、映像出力は、出力端子４Ｐに出力される。出力端子４Ｐの映像信号には、合成回路５にて、オンスクリーンディスプレイ（ＯＳＤ）コントローラ６からの映像信号が合成される場合もある。

ダイレクトＲＤＲＡＭ７は、ＡＶデコーダ３、或いはＯＳＤコントローラ６からのデータを一時的に格納するために利用される。ＳＤＲＡＭ８は、例えば受信信号のエラー訂正処理などを行うときに、一時的にデータを格納する場合に利用される。また、ＥＥＰＲＯＭ９は、例えば装置の機能を実行するプログラムあるいはパラメータなどを保存しておくために利用される。

１０は、メインバスであり、上記のトランスポートデコーダ２、ＡＶデコーダ３、ＯＳＤコントローラ６、ＳＤＲＡＭ８、ＥＥＰＲＯＭ９などに接続されている。そしてメインバス１０には、装置を統括する制御部であるＣＰＵ１１が接続されている。さらにこの装置は、バス１０を介して外部機器と接続することが可能である。このためにメインバス１０には、モデムインターフェース１２ａ，ＬＡＮ端子１２ｂ、ブルーツース（商標）インターフェース１２ｃ、リモコンインターフェース１２ｄ、ＡＴＡＰＩインターフェース１２ｅが接続されている。インターフェース１２ｅを介してハードディスクドライブ１３を接続することも可能である。またメインバス１０には、ＡＶエンコーダ１４が接続されており、映像信号を記録媒体に記録する所定のフォーマット（例えばＤＶＤ規格）に変換することができる。

ここでＣＰＵ１１内部には、任意区間（例えばＣＭ区間）検出処理部１１Ａと、類似度処理部１１Ｂを有する。そして、類似度処理部１１Ｂには、シーンチェンジ検出部Ｂ１、類似映像区間検出部Ｂ２、識別情報（ＩＤ）割当部Ｂ３、判定対象区間類似度判定部Ｂ４を含む。また、制御部１１内には、プレイリスト作成部（或いはチャプター境界設定処理部）１１Ｃ、ジャンル判別部１１Ｄを含む。さらには、ＥＰＧ情報処理部１１Ｅ，操作入力判別部１１Ｆも有する。

今、ＣＭ区間検出部１１Ａにより、ＣＭ区間が検出されたとする。すると、類似度処理部１１Ｂにより、ＣＭ区間の直前の判定対象区間（ＣＭ前区間）と、ＣＭ区間の直後の判定対象区間（ＣＭ後区間）との動画像の類似度判定が以下のように行なわれる。

まず、シーンチェンジ検出部Ｂ１は、第１、第２の判定対象区間（ＣＭ前区間と、ＣＭ後区間））の各動画像のシーンチェンジ箇所を検出する（図２で説明する）。次に、類似映像区間検出Ｂ２は、シーンチェンジ箇所に挟まれている映像区間（ショット）であって、第１判定対象区間に属する映像区間（ショット）と第２判定対象区間に属する映像区間（ショット）との映像類似判定を行なう（図３で説明する）。そして識別情報割当部Ｂ３は、類似している映像区間（ショット）には同じ識別情報（ＩＤ）を付する。

次に、対象区間類似度判定部Ｂ４が、映像区間（ショット）に割当られた識別情報を用いて、前記第１と第２の判定対象区間の映像信号の類似度を求め、類似度が所定の閾値以上の値であれば、前記第１と第２の判定対象区間が類似であると決定する。そして最後に、動画像全体の第２のプレイリストをプレイリスト作成部１１Ｃが生成する。

このプレイリスト生成部１１Ｃにより作成されたプレイリストは、たとえば、上記処理された動画像が記録されている記録媒体（例えばハードディスク、或いはＤＶＤなど）の管理情報として保存される。ここで、プレイリスト生成部１１Ｃは、プレイリストを作成する場合、ＣＭ前区間（第１の判定対象区間）の動画像は、再生時には省略されるシーケンスとなるように作成する。

また、上記したプレイリストの作成処理は、ＥＰＧ（電子番組案内）情報から、ジャンルを判別し、バラエティー番組に関してＣＭ区間を省略したプレイリストを作成するようにしてもよい。

図２は、上記したシーンチェンジ検出部Ｂ１が、動画像のシーンチェンジ箇所を検出するときの動作を説明するために示している。この機能は、主として映像データを分析し、隣り合うフィールド或いはフレーム画像の類似度を判定する。比較するフレーム画像が大きく異なる場合には、非類似であると判定する。

例えば、０．５秒離れたフレーム同士を順次比較し、非類似のフレームの組の数が、閾値以上の区間があった場合には、この区間の任意の点にカット点を設定する方法である。図２には、矢印で示すフレーム相互間の類似性を判定している様子を示している。そして、非類似のフレームの組が多数存在している部分で、カット点（“？”の位置で示す）を設定した様子を示している。ｆｎ−７、ｆｎ−６，ｆｎ−５，ｆｎ−４，ｆｎ−３，ｆｎ−２，ｆｎ−１，ｆｎ，…、は、フレームである。このようにカット検出、を行い、ここではカット点とカット点との間を映像区間（ショット）と称している。

上記の「カット検出」とは、ＩピクチャフレームとＩピクチャフレーム（もしくは０．５秒ごとのフレーム）を比較し、さらに画面全体の色相が大きく異なるか、輝度変化が大きい領域が予め設定しているパラメータより多い場合も判定要素に入れて、フレームの非類似を判定する。この非類似と定めた点を転換点と称してもよい。

このように、第１、第２の判定対象区間（ＣＭ前区間と、ＣＭ後区間）の各動画像が用いられて、各区間のシーンチェンジ箇所が検出され、映像区間（ショット：小区間と称してもよい）が決まる。

図３は、類似映像区間検出部Ｂ２が、シーンチェンジ箇所に挟まれている映像区間（ショット）であって、第１判定対象区間に属する映像区間（ショット）と第２判定対象区間に属する映像区間（ショット）との映像類似判定を行なう動作を示している。

「類似ショット検出」とは、過去のカット点からさかもどった数フレームと、直近のカット点から後の数フレームとの総当りでフレーム間の類似判定を行うことである。つまりショット間のフレームの総当りを行い、輝度・色度などの情報を総合して、比較するショット同士が類似しているかどうかを判定する。図３は、総当りの様子を示している。そして、「類似」と判断したフレームの組の数が閾値以上の場合、双方のショットは、類似であると判定するものである。つまり、図３に示すように、カット点の前のショットＡとカット点の後のショットＢ間のフレームが類似しているかどうかを判定する。図の例であると、類似判定は、例えば丸印の数分得られることになる。

今、ショットＡとショットＢとが類似しているとの判定が得られた場合には、識別情報割当部Ｂ３により、ショットＡと、ショットＢには同じ識別情報（ＩＤ）が付される。

図４には、上記の処理の結果、任意の区間Ｒ０（ＣＭ区間）の前後である、第１、第２の判定対象区間Ｒ１，Ｒ２（ＣＭ前区間と、ＣＭ後区間）の様子を示している。第１の判定対象区間Ｒ１には、識別情報ＩＤ５，ＩＤ６，ＩＤ７が付され、第２の判定対象区間Ｒ２にも識別情報ＩＤ５，ＩＤ６，ＩＤ７が付されているものとする。なお識別情報は、任意の値でよい。

図５には、同じＩＤを有する類似ショットを見つけ、各ＩＤを取得する手順を示している。つまり類似判定区間Ｒ１，Ｒ２を確定し、類似度を求めるときの手順を示している。まず、任意の区間の始点（例えばＣＭ区間の始まり）を時点Ａとし、終点（ＣＭ区間の終わり）を時点Ｂとする。そして、時点Ａの直前の類似ショットを（Ｓ１）とし、このショットの識別情報ＩＤ７を取得する。次に、時点Ｂよりも後で、類似ショット（Ｓ１）と同じ識別情報ＩＤ７を有する類似ショットがあるかどうかを調べる。この図の例であると類似ショット（Ｓ２）が識別情報ＩＤ７を有することが判明している。

次に、時点Ｂから、類似ショット（Ｓ２）の先頭までの時間をＴ１とする。そして、類似ショット（Ｓ１）の先頭から時間Ｔ１分戻った時点Ｃを設定する。そして、時点Ｃから時点Ａまでを第１の判定対象区間Ｒ１として確定する。また時点Ｂから類似ショット（Ｓ２）の終点までを第２の判定対象区間Ｒ２として確定する。

次に、上記した第１と第２の判定対象区間Ｒ１とＲ２の識別情報が収集されて、ＩＤリストが生成される。なお図５では説明を分かりやすくするために、時点Ａの前区間と、時点Ｂの後区間には、それぞれ３つのショットを示しているが、実際には多数のショット（言い換えれば識別情報群）が用意される。また第１と第２の判定対称区間に含まれるＩＤ数も異なる場合もあり得る。

図６には、第１の判定対象区間Ｒ１から識別情報を取得したリストＬ１と、第２の判定対象区間Ｒ２から識別情報を取得したリストＬ２を用いて、類似度を計算する計算例を示している。計算は以下のように行なわれる。

Ｌ１＝（ＩＤ５，ＩＤ６，ＩＤ７）
Ｌ２＝（ＩＤ５，ＩＤ６，ＩＤ７）
類似度Ｓ＝｜Ｌ１−Ｌ２｜／Ｌ１
＝｜（ＩＤ５，ＩＤ６，ＩＤ７）−（ＩＤ５，ＩＤ６，ＩＤ７）｜／｜（ＩＤ５，ＩＤ６，ＩＤ７）｜
＝|()|／｜（ＩＤ５，ＩＤ６，ＩＤ７）｜
＝０／３＝０
となる。このときは類似度Ｓが極めて高いとすることができる。類似度Ｓの値が大きくなるにしたがって非類似の程度を表す。そこで、この発明では、最終的には、類似、非類似を決定する場合には、閾値を設け、Ｓが閾値以上のときは、非類似と判定するようにしている。

この結果、第１、第２の判定対象区間Ｒ１、Ｒ２が完全一致でなくても類似しているという判定を行なうことができる。つまり類似しているという判定の度合いを閾値により設定することが可能となる。またこの閾値は、ユーザにより任意の値に調整できるように構成されてもよい。

図７、図８は、本発明の装置において、上述した類似度処理が実行されるときのフローチャートを示している。図８は図７の続きである。まず所望の番組が処理対象として設定され、例えば「チャプター分割」の指定が行なわれると、動作が開始する。処理対象の動画が存在するかどうかの判定が行なわれ（ステップＳＡ１）る。処理対象の動画が存在する場合には、動画から静止画がフレームとして取り出され、シーンチェンジ箇所の検出が行われる（ステップＳＡ２）。シーンチェンジ箇所が第１、第２判定対象区間で検出された後は、ショットの類似判定が行なわれる（ステップＳＡ３）。そして類似ショットには、同じＩＤが付される。処理対象の動画について全てが終了すると、図８の処理に移る。処理していない判定開始点Ａ（図５を参照）があるかどうかの判定を行う。処理していない判定開始点Ａがあれば、図５で説明したように、任意の区間の始点（例えばＣＭ区間の始まり）を時点Ａとし、終点（ＣＭ区間の終わり）を時点Ｂとする。そして、時点Ａの直前の類似ショットを（Ｓ１）とし、このショットの識別情報ＩＤ７を取得する。次に、時点Ｂよりも後で、類似ショット（Ｓ１）と同じ識別情報ＩＤ７を有する類似ショットがあるかどうかを調べる。次に、時点Ｂから、類似ショット（Ｓ２）の先頭までの時間をＴ１とする。そして、類似ショット（Ｓ１）の先頭から時間Ｔ１分戻った時点Ｃを設定する。そして、時点Ｃから時点Ａまでを第１の判定対象区間Ｒ１として確定する。また時点Ｂから類似ショット（Ｓ２）の終点までを第２の判定対象区間Ｒ２として確定する。次に、上記した第１と第２の判定対象区間Ｒ１とＲ２の識別情報が収集されて、ＩＤリストＬ１，Ｌ２が生成される（ステップＳＡ５）。

次にステップＳ６において、図６で説明したような計算が行なわれる。そしてＳがある閾値と比較し、所定の条件を満たす場合には、第１と第２の判定対象区間Ｒ１とＲ２が類似しているとして判定し、上記リストが属する区間の開始時刻情報、終了時刻情報などを管理情報として設定する（ステップＳＡ６、ＳＡ７）。

例えば、処理対象となった動画（プログラム）のタイムテーブルの再生時刻情報（タイムスタンプなど）が利用されて、類似する判定対象区間Ｒ１とＲ２を示すサブテーブルが作成される。そして、このサブテーブルを利用して、重複再生を避けるようなプレイリストが作成される。

図９には、チャプター分割後のプレイリストにより、上記した動画が再生されるときのジャンプ位置を点線の矢印で示している。本発明の装置では、ジャンプ区間は、任意区間（例えばＣＭ区間）とその前の第１の判定対象区間Ｒ１がジャンプ対象となる。これは、例えばバラエティー番組などでは、区間Ｒ１において、ＣＭ後の番組に視聴者をひきつけるために映像にモザイクをかけて放送することがあるからである。言い換えると、モザイクがあることにより、視聴者がＣＭ後の映像に期待を寄せることを狙ってプロデュースしていることがある。

なお任意区間（例えばコマーシャル区間）を検出する方法としては、これまでに各種の技術が知られている。例えば、１つの番組である動画像のストリーム全体から、ステレオ音声の開始と終了時点の検出と、映像信号の特徴（輝度平均レベル、色相平均など）の情報を総合的に用いて、ＣＭ区間と見られる区間を推定する。また、ＣＭ区間の推定区間が複数得られるので、その時間隔を測定し、定期的に現れる区間は、ＣＭ区間として推定する。そして最後には、これらの全体情報からＣＭ区間を特定するのである。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

図１はこの発明が適用された信号処理装置の構成例を示す図である。 シーンチェンジ箇所の検出動作を説明するために示した説明図である。 類似ショットを判定するための判定動作を説明するために示した説明図である。 類似ショットに対して同一ＩＤを付するときの処理を説明するために示した説明図である。 同一ＩＤが付されている類似ショットをサーチするときの動作を示す説明図である。 判定対称区間の類似度の計算例を示す説明図である。 本発明の装置の動作例を示すフローチャートである。 図７のフローチャートの続きを示すフローチャートである。 本発明の装置により作成されたプレイリストにより動画像が再生されるときのジャンプ位置の例を示す説明図である。

符号の説明

１１…制御部（ＣＰＵ）、１１Ａ…任意区間検出処理部、１１Ｂ…類似度処理部、１１Ｃ…プレイリスト作成部、１１Ｄ…ジャンル判別部、１１Ｅ…ＥＰＧ情報処理部、１１Ｆ…操作入力判別部、Ｂ１…シーンチェンジ検出部、Ｂ２…類似映像区間検出部、Ｂ３…識別情報割当部、Ｂ４…判定対象区間累次度判定部。

Claims (9)

1. 動画像内の任意区間の前と後の第１、第２の判定対象区間の画像のシーンチェンジ箇所を検出するシーンチェンジ検出部と、
   前記シーンチェンジ箇所に挟まれている複数のショットであって、前記第１判定対象区間に属する複数ショットと前記第２判定対象区間に属する複数ショット同士の映像類似判定を行なう類似映像区間検出部と、
   類似しているショットには同じ識別情報を付する識別情報割当部と、
   前記ショットに割当られた識別情報を用いて、前記第１と第２の判定対象区間の映像信号の類似度を求め、類似度が所定の条件を満たしたとき前記第１と第２の判定対象区間が類似であると決定する判定対象区間類似度判定部と、
   を有したことを特徴とする映像信号の区切り情報設定装置。
2. 前記任意区間は、コマーシャル期間を検出する任意区間検出処理部により検出される請求項１記載の映像信号の区切り情報設定装置。
3. 類似であると判定された前記第１と第２の判定対象区間の再生用時間情報を用いて、前記任意区間と前記第１の判定対象区間をジャンプするように設定された、前記動画像の再生用プレイリストを作成するプレイリスト作成部を有したことを特徴とする請求項１記載の映像信号の区切り情報設定装置。
4. 前記プレイリスト作成部は、前記動画像が特定のジャンルである場合に前記再生用プレイリストを作成することを特徴とする請求項１記載の映像信号の区切り情報設定装置。
5. 動画像を記録再生する記録再生装置と、動作を統括する制御部とを有し、前記制御部では、任意区間検出処理部により、前記動画像の複数の条件を検出して前記動画像の中の複数の任意区間を検出し、類似度処理部では、前記各任意区間の前後である第１と第２の判定対象区間の類似度を判断する映像信号の区切り情報設定方法において、
   シーンチェンジ検出部により、前記動画像内の任意区間の前と後の第１、第２の判定対象区間の画像のシーンチェンジ箇所を検出し、
   類似映像区間検出部により、前記シーンチェンジ箇所に挟まれている複数のショットであって、前記第１判定対象区間に属する複数ショットと前記第２判定対象区間に属する複数ショット同士の映像類似判定を行ない、
   識別情報割当部により、類似しているショットには同じ識別情報を付し、
   判定対象区間類似度判定部により、前記ショットに割当られた識別情報を用いて、前記第１と第２の判定対象区間の映像信号の類似度を求め、類似度が所定の条件を満たしたとき前記第１と第２の判定対象区間が類似であると決定する、
   ことを特徴とする映像信号の区切り情報設定方法。
6. プレイリスト作成部により、前記動画像が特定のジャンルである場合に前記再生用プレイリストを作成することを特徴とする請求項５記載の映像信号の区切り情報設定方法。
7. 前記再生用プレイリストは、類似であると判定された前記第１と第２の判定対象区間の再生用時間情報を用いて、前記任意区間と前記第１の判定対象区間をジャンプするように設定されるたことを特徴とする請求項６記載の映像信号の区切り情報設定方法。
8. 前記任意区間は、コマーシャル期間である請求項５記載の映像信号の区切り情報設定方法。
9. 前記第１と第２の判定対象区間の映像信号の類似度Ｓを求める場合、第１の判定対象区間の識別情報（ＩＤ５，ＩＤ６，ＩＤ７）のリストをＬ１，第２の判定対象区間の識別情報（ＩＤ５，ＩＤ６，ＩＤ７）のリストをＬ２とし、
   Ｌ１＝（ＩＤ５，ＩＤ６，ＩＤ７）
   Ｌ２＝（ＩＤ５，ＩＤ６，ＩＤ７）
   Ｓ＝｜Ｌ１−Ｌ２｜／Ｌ１
   が計算されることを特徴とする請求項５記載の映像信号の区切り情報設定方法。

Images