JP2000511743A - 映像信号の解析と記憶 - Google Patents

Abstract

(57)【要約】 音声／映像信号の（ショットカットまたは編集点とは異なる）シーンチェンジを検出する装置が開示されるとともに、かかる検出を使用した映像記録およびロッギング装置を開示している。シーンチェンジを検出する手段は、背景音声信号レベルを周期的に決定するため映像を伴う音声音響トラックを受信しフィルタする回路配置（２０）を具えている。現在と以前に決定された（２２）背景レベルを比較して（２４）、現在の背景音声レベルが以前の背景レベルと予め定められた量以上差がある時シーンチェンジ（ＳＣ）が印付けされる。シーンチェンジ位置の表が次に作り上げられ映像および音声データとともに記憶される。

Description

【発明の詳細な説明】 映像信号の解析と記憶 この発明は音声および映像（ＡＶと称す）データ流れを処理し記録するのに使 用される方法および装置と、特に、排他的ではないが、シーンチェンジ（ｓｃｅ ｎｅ ｃｈａｎｇｅ）の自動検出および自動記録（ロギング：ｌｏｇｇｉｎｇ） に関するものである。 幾つかの先行公報でシーンチェンジまたはシーンカット（ｓｃｅｎｅ ｃｕｔ ）という言葉で示されてきた所のものと本明細書で使用されるこれら言葉の意味 との間の差を以下に説明する。これら先行公報では、シーンチェンジ（または編 集点およびショットカットとも種々言われる）とは映像の編集から生ずる映像流 れの何か不連続性とかシーン中のカメラショットの変化を示すものとして使用さ れてきたが：ここではかかる瞬時は適切にはショットチェンジまたはショットカ ットと称せられるものである。シーンチェンジ（またはシーンカット）とはこの 明細書では表示物の背景の変化を伴うものとされる。例えば、シーンは、それぞ れが俳優の顔にフォーカスされる２つのカメラとより広いまたは異なったアング ルショット（ａｎｇｌｅ ｓｈｏｔ）を与えるおそらく１つまたは複数の付加的 カメラとの間の繰り返されるショットチェンジで話し合う２人の俳優を示すこと ができる。シーンチエンジはアクション（活動）位置とか時間に変化がある時に のみに発生する。引き続く映像フィールド（ｆｉｅｌｄ）またはフレーム（ｆｒ ａｍｅ）の内容を比較してショットカットを検出するシステム（ｓｙｓｔｅｍ） は、映像プリンタの分野（文献ＵＳ４，９２０，４２３号公報参照：この文献で は“ｓｃｅｎｅ ｔｒａｎｓｉｔｉｏｎ（シーン変遷）”として中断を示してい る）およびフォーマット変換システムの分野（文献ＥＰ−Ａ０，６８５，９６８ 号公報参照：フィールド組み合わせの不整合を避けるための編集点検出と補正） で公知である。 映像テープロギングにおける不連続性検出に使用される別の例がＤｕｂｎｅｒ らによる国際特許出願ＷＯ９４／１１９９５号公報に記載されている。これに記 載されている装置は、映像を同時に受信するために連結され、かつカット点で映 像フレームを捕獲しそれをビデオテープとは別の、例えばシステムを取り扱うパ ソコン（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）のハード ディスク（ｈａｒｄ ｄｉｓｋ）に記憶することにより検出カット点のインデックスを発生させるよ う配置されるデータ処理システムとともに、映像データおよび付随音声音響トラ ックの両者を記録するビデオテープレコーダを具えている。Ｄｕｂｎｅｒのシス テムは監視カメラ、特に通常は無人の場所の長い一連の画像を記録しがちな監視 カメラからの映像信号をロギングするのに適していると説明されている。言い換 えれば、引き続くフレームからの画素値の比較が、その瞬時には変化のしるしが シーン内容に存在するけれども（例えば視野内に突然発生する動きの如き）、可 能な関心ある“ｂｒｅａｋ（中断）”点を見分けるのに使用される。データ取り 扱いの要求を簡単化するために、引き続くフレームの小さな部分間でのみ比較が なされ、その際引き続くフレームの小さな部分間の変化について数値が導出され 、予め定められた閾値を越える値の場合にはシーン内容にショットカットまたは 注目に値する変化が存在するとする。 色々説明されている実施例では、Ｄｕｂｎｅｒシステムは獲得フレームを幾つ かの減少させたスケールで形成したスクリーン表示を提供し、それは全フレーム またはそれの部分をスクロール（ｓｃｒｏｌｌ）する機能を備えている。もとの フレームが次に選択された時再び呼び出されるコメント（ｃｏｍｍｅｎｔ）でタ イプ（ｔｙｐｅ）することにより、映像テープのもとのフレームの位置を示す時 間スタンプ（ｓｔａｍｐ：刻印）に加うるに、選択されたフレームを注釈する手 段を備えている。さらに、一連の捕獲フレームが付随する音声波形のグラフ表示 を提供する注釈機能を有し、その波形表示にユーザはシステムにより記録される 付加的なカット点を示すマーカ（ｍａｒｋｅｒ）を置くことができる。 Ｄｕｂｎｅｒシステムは映像流れの監視および編集については数多くの有用な 特徴を提供するが、シーンカットおよびショットカット両者をよく似て取り扱う のでそれらを区別することができない。かかる区別の可能なシステム特により複 雑な映像編集および記録の組みに加うるに国産の映像記録機器で使用可能なシス テムの要望があることが我々に認められてきた。 従って本発明の目的は映像流れでシーンチェンジを検出しそれをショットカッ トと区別する手段を提供せんとするものである。 さらに本発明の目的は記録された映像流れでシーンチェンジを検出し区別する ことの可能な映像記録手段を提供せんとするものである。 この目的を達成するため本発明にかかる第１の態様は、音声音響トラックを伴 う映像信号の映像シーンチェンジを検出する方法であって、当該方法が以下のス テップすなわち： 背景音声信号レベルを周期的に決定する音声音響トラックをフィルタするステ ップと； 背景レベルの不連続性を識別するため現在および以前に決定された背景音声信 号レベルを比較するステップと； 新しい映像シーンの第１のフレームとして、背景音声不連続時または直後に始 まる映像信号を印（しるし）付けるステップと を含むことを特徴とするものである。 背景レベルで音声の不連続を検出することにより、シーンチェンジは識別され そして背景音声レベルがかなり一定に残る単なるショットチェンジとは区別され る。 本発明はまた、音声音響トラックを伴う映像信号用入力と当該入力を介して受 信された映像信号のシーンチェンジを検出する手段とを具える映像シーンチェン ジ検出装置において、そのシーンチェンジ検出手段が、背景音声信号レベルを周 期的に決定するよう前記音声音響トラックを受信しフィルタするために連結され たフィルタ回路配置と、最後に決定された背景レベルの記録を保持するために配 置された第１の記憶手段と、現在の背景レベルが記憶された最後の背景レベルと 予め定められた量以上差があるときシーンチェンジを印（しるし）付けるために 配置された比較手段とを具えることを特徴とするものである。 個々の背景レベル値の誤計算に許容度を導入するため、第１の記憶手段はさら に最後のＮ個の決定された背景レベルを保持するよう配置されることができ、こ こでＮは２またはそれ以上の値であるとともに、前記装置が前記最後のＮ個の決 定された背景レベルから平均化背景音声信号レベルを発生するよう配置されて第 １の記憶手段に連結される平均化手段を具え。前以て計算されたレベルのこの平 均化で、現在の背景レベルが決定された平均化背景レベルと前記予め定められた 量以上差があるとき、シーンチェンジを印（しるし）付けるよう比較手段が配置 されることができる。 前記決定装置はさらに映像信号の個々のフレームを識別するよう操作可能な手 段、およびシーンチェンジフレームとして音声背景レベルの検出された不連続に 対する予め定められた基準に適うそれらに印を付けるよう配置される手段を含む ことができ：そこでは映像データがＭＰＥＧ標準方式に従ってエンコードされ、 この予め定められた基準はシーンチェンジフレームが音声背景レベルの不連続に 従って検出されたはじめのＩフレームであるということを的確に可能とする。 本発明にかかる別の態様によれば、上に引用したシーンチェンジ検出装置を具 えるとともに、受信した音声および映像信号を移動可能な記録キャリア上に記録 するよう動作する記録手段を具える映像記録装置が用意される。 かかるビデオレコーダでは、シーンチェンジ検出装置と記録手段に連結されて 処理手段が用意され、かかる処理手段はシーンチェンジフレームのリストと記録 キャリア上のそれぞれの記録位置を発生するよう操作可能である。好適には、こ のプロセッサはさらにシーンチェンジフレーム位置のリストを記録キャリア上に 記憶するよう操作可能である。 上述の映像記録装置はさらに記録キャリアから音声と映像信号を再生するよう 操作可能である。かかる場合、前記装置は記録キャリアがシーンチェンジフレー ムのリストを含むかどうかを識別し、もしそうならユーザ制御の下に１つまたは 複数のシーンチェンジフレームを識別し、表示手段を介してユーザにそのフレー ムまたは各前記フレームを提示するよう配置可能である。かかる提示を達成する ために、前記装置はさらに記録キャリアから抽出し、大きさを削減し、予め定め られた配置に一連のシーンチェンジフレームを静的メニュスクリーンとして表示 するよう配置される画像データ処理手段を具えることができる。かかるメニュス クリーン配置の機能を強調するために前記装置はさらにユーザ操作可能な入力手 段（例えばマウス（ｍｏｕｓｅ）またはジョイスティック（ｊｏｙｓｔｉｃｋ） 制御器）を具えることができ、それによってユーザはメニュスクリーン上で複数 のシーンチェンジフレームから１つを選択することができ、その場合前記装置は 記録キャリアから選択シーンチェンジフレームよりはじまる記憶された映像を再 生するよう配置される。 本発明によればさらに上述の如く、装置によりその上に記録される音声および 映像データとシーンチェンジフレームのリストを有する記録キャリアが用意され る。好適な実施例では、ビデオテープと比較して可能なより速いアクセス（ａｃ ｃｅｓｓ）時間を考慮すると、その時は記録キャリアはＤＶＤ−ＲＡＭまたは等 価の方式に従った光学ディスクになるだろう。 本発明のさらなる特徴および利点は、以下に記載する図面を参照し実施例によ り詳細に説明されよう。図面で： 図１は音声信号レベルで、映像ショットカットおよび映像シーンチェンジ間の 関係を示し、 図２は本発明を具体化した音声／映像記録および再生装置のブロック略線図を 示し、 図３は図２の装置により発生したスクリーン上のメニュ表示を示す。 はじめに図１を参照するに、この図は本発明のよってたつ原理、すなわちショ ットカットと対抗してシーンチェンジを検出するための背景音声レベル変化検出 の使用を略図的に示している。図の頂部は音声信号成分の時間対振幅のグラフで ある。図の底部は付随映像ならびを示し、１つのシーン（Ｓｃ（Ｎ−１））の最 後のいくつかのショット（Ｓｈ（ｘ−１）；Ｓｈ（ｘ））に次のシーン（Ｓｃ（ Ｎ））のはじめのいくつかのショット（Ｓｈ（１）；Ｓｈ（２ｘ）；Ｓｈ（３） ）が続くことを示している。図示のように、図の左側の音声信号の部分は俳優の 話し方または話し方の音声の特徴に起因していくつかのピークを示しているが、 下に示す音声振幅Ａ₁を有し、一方図の右側の音声信号の部分は下に示す（背景 の）振幅Ａ₂を有し、これらレベル間の変化の瞬時はラインｔ_ADで示されている 。 わずかな時間づれ（ｔｉｍｅ ｌａｇ）Ｌが、新しいシーンＳｃ（Ｎ）の映像 成分の開始前に、Ａ₁からＡ₂までの背景音声レベル変化後に続くのは注目されよ う。このことは前記録された音声／映像提供で一般に見いだされる特徴で、その 時シーン（Ｓｃ（Ｎ））の開始は、シーン（音声伴奏をともなった）が別々に 記録されていて大急ぎで接合される相互作用適用の場合に両者がｔ_ADでのみ一致 する。決定されたｔ_ADを有するシーン（Ｓｃ（Ｎ））の開始を正確に決定するた めに、別の技術が使用されてもよい。映像がＭＰＥＧ標準方式に従う公知の配列 Ｉ，ＰおよびＢフレームのような個々にエンコードされ別々に符号化されたフレ ームの混合の場合には、引き続くシーンのはじめのフレームはｔ_AD後に遭遇する はじめの個々に符号化化されたフレーム（Ｉフレーム）として適切に取り上げら れる。かなりうまくいく選択に加えて、この選択は以下に説明するように表示の 抽出をまた簡単にする。 一寸高価ではあるが、シーン（Ｓｃ（Ｎ））の開始を正確に決定する別の技術 は、引き続くフレームの画素データの比較に基づく慣用のショットカット検出技 術と組み合わされた背景音声レベル検出の技術を用いるものである。すべてのシ ョットチェンジは検出可能であるけれども、背景音声レベルの検出されたチェン ジと一致するか、その直後のショットチェンジのみがシーンチェンジとして区別 されロッグ（ｌｏｇ）される。 次に図２に移るが、ここには本発明を具体化する音声／映像記録および再生シ ステムのブロック略線図が示されている。例えばビデオテーププレーヤまたはテ レビジョン放送受信機からの出力であってよい音声／映像データＡＶ_IN源から、 信号は音声および映像成分を分離する第１の段１０に通過させられる。入力音声 ／映像データＡＶ_INはまたフォーマット化段１２へ通過させられ、そこでは中央 処理ユニットＣＰＵ１４の制御のもとに、いかなる信号処理もまたは記憶される べき形態にとり必要とされるフォーマット構成が取り扱われる。示された実施例 では、段１２からのフォーマット化されたデータはそれを高密度光学ディスク１ ８に記録する記録／再生段１６へ通過させられる。記憶手段としての高密度光学 ディスクの使用は、とりわけ、明らかになるだろうようにアクセス速度にとって 好適である。 入力段１０からの分離した音声成分は、音声波形の振幅を周期的にサンプルし （一定に監視し）、正規の間隔で、多数の先行する導出背景レベルを保持するメ モリ２２へ背景音声振幅レベルに関する導出値を出力するフィルタ段２０へ通過 させられる。各瞬時に導出された音声背景レベルはまたメモリ２２と連結される 比較段２４へ通過させられる。比較段２４はメモリ２２からの先行する値に対し 最終の導出背景振幅レベルを比較し、内容のある差の（例えば予め定められた閾 値を越える大きさの）場合には、比較器はシーンチェンジＳＣをＣＰＵ１４に示 す。次に偽りの結果を避けるために、ＣＰＵ１４はクリア（ｃｌｅａｒ）信号Ｃ ＬＲをメモリ２２へ送り、その結果最後の記憶背景振幅値以外のすべてが削除さ れる。 比較器２４からのシーンチェンジＳＣ信号を受信すると、ＣＰＵ１４はフォー マット化段１２を介して（前に説明したような）新しいシーンのありそうなはじ めの映像フレームを識別し、ディスク記録／再生段１６の制御を介して、ディス ク１８のこのフレームの記憶位置を識別する。前に述べたように新しいシーンの はじめの映像フレームの識別はフレーム内容比較手段の使用により適宜なされ、 それは２６で破線の外囲いで示され、入力段１０から分離映像成分を受信するた めそれに連結されている。 映像信号が実時間で受信されると、ＣＰＵ１４はディスク１８にシーンチェン ジフレームおよびそれが位置の表を作り上げ；その表は適切にまた入力映像の結 果としてディスク１８上に記録される。ＣＰＵ１４と連結したシステムクロック ２８は適宜にまた入力映像信号の経過時間を監視し、ユーザに付加情報としての 次の提示のためにシーンチェンジフレームデータの表に含まれるものに関する時 間スタンプ（ｓｔａｍｐ：刻印）を発生するのに使用される。 ディスクからのデータの再生は記録／再生段１６を介してＣＰＵ１４により再 び制御される。ディスクから読み取られた映像および音声データを受信するため 、表示器３２へ信号を出力する表示駆動器３０および１つまたは複数のスピーカ ３６へ音声信号を出力する音声増幅段３４がそれぞれ連結される。ＣＰＵ１４の 制御のもとに、さらに局部メモリ３８に記憶されたデータを参照して表示駆動器 ３０は表示器３２にメニュスクリーンを発生することができ、それによって捕獲 シーンチェンジフレーム（および随意な時間スタンプ）がディスク１８の内容に インデックスとしてユーザに提示することができる。 かかるメニュスクリーンは図３に示され、さらに以前に発生され記憶された表 を参照してディスク１８から読み取られた８つの順次の捕獲シーンチェンジフレ ームＦ１からＦ８を具え、これらのフレームは図示のように大きさが削減され表 示される。好適な配置では、装置はＣＰＵを介してユーザをして表示スクリーン 上カーソル（ｃｕｒｓｏｒ）４２を動かさせるマウスまたはジョイスティックの ようなユーザ操作可能な入カデバイス４０（図２参照）を含んでいる。表示画像 Ｆ１からＦ８とカーソル４２に加うるに、表示スクリーンはカーソルおよびユー ザ入力デバイス４０で選択され、またはおそらくそのボタンの上にカーソルを丁 度位置付けて作用させる多数のユーザ可動ボタン（ｂｕｔｔｏｎ）を含んでいる 。これらボタンと関連する機能は好適には、図示されている８個以上の画像が捕 獲されそうだから、捕獲シーンチェンジフレームを介して正方向および逆方向に スクロールする手段を含んでいる。他の可能な機能は一連の捕獲フレームの開始 に戻すインストラクション（ｉｎｓｔｒｕｃｔｉｏｎ），メニュスクリーンを除 く（正規の再生動作に戻す）インストラクションおよび表示されたシーンチェン ジフレームの選択された１つで記憶された映像開始を再生するインストラクショ ンを含んでいる。 この後者の特徴と関連して、もたらされるだろう利点はメニュからのシーンチ ェンジフレームの選択でそのシーンチェンジフレームに続く選択された一連のフ レームを再生することによりシーン内容をいち早く検閲できるだろうことである 。このことは比較的簡単な流儀で達成でき、例えば、それらフレームがメニュス クリーンのそれらシーンチェンジフレームの位置に削減された形態で適切に表示 されるだろうＩフレーム（ここで記録されたデータはＭＰＥＧフォーマットであ る）を簡単に再生して達成される。これらシーンの小型板は表示シーンチェンジ フレームの所望の１つにカーソル４２を位置付けることにより簡単に作用させる ことができる。 要約するに、音声／映像信号のシーンチェンジを（ショットカットまたは編集 点と区別して）検出する装置が、かかる検出を使用する映像記録およびロッギン グ装置をともなって開示されている。シーンチェンジを検出する手段は、背景音 声信号レベルを周期的に決定するため、映像信号を伴った音声音響トラックを受 信しフィルタするフィルタ回路配置を具えている。現在と以前に決定した背景レ ベルとを比較して、現在の背景レベルが以前の背景レベルと予め定められた量以 上差がある時シーンチェンジがあるとされる。シーンチェンジ位置の表はその時 確立され映像および音声データとともに記憶される。 以上添付図面を参照し実施例により本発明の実施の形態を説明してきたが、本 発明はこれに限定されることなく発明の要旨内で各種の変形、変更の可能なこと は当業者に自明であろう。

Claims (1)

1. 【特許請求の範囲】 １．音声音響トラックを伴う映像信号用入力と当該入力を介して受信された映像 信号のシーンチェンジを検出する手段とを具える映像シーンチェンジ検出装置 において、 そのシーンチェンジ検出手段が、背景音声信号レベルを周期的に決定するよ う前記音声音響トラックを受信しフィルタするために連結されたフィルタ回路 配置と、最後に決定された背景レベルの記録を保持するために配置された第１ の記憶手段と、現在の背景レベルが記憶された最後の背景レベルと予め定めら れた量以上差があるとき、シーンチェンジを印付けるために配置された比較手 段とを具えることを特徴とする映像シーンチェンジ検出装置。 ２．請求項１記載の装置において、前記第１の記憶手段がＮを２個またはそれ以 上の値としたとき最後のＮ個の決定された背景レベルの記録を保持するよう配 置されるとともに、前記装置がさらに前記最後のＮ個の決定された背景レベル から平均化背景音声信号レベルを発生するよう配置された第１の記憶手段に連 結された平均化手段を具え、前記比較手段が前記現在の背景レベルが決定され た平均化背景レベルと前記予め定められた量以上差があるとき、シーンチェン ジを印付けるよう配置されたことを特徴とする映像シーンチェンジ検出装置。 ３．請求項１または２記載の装置において、映像信号の個々のフレームを識別す るよう操作可能な手段と、音声背景レベルの検出された不連続に対し予め定め られた基準に整合するフレームをシーンチェンジフレームとして印付けるよう 配置する手段とをさらに具えることを特徴とする映像シーンチェンジ検出装置 。 ４．請求項３記載の装置において、前記映像データがＭＰＥＧ標準方式に従って エンコードされ、シーンチェンジフレームが音声背景レベルの不連続に続いて 検出されたはじめのＩフレームであるとするのが前記予め定められた基準であ ることを特徴とする映像シーンチェンジ検出装置。 ５．請求項３記載のシーンチェンジ検出装置と移動可能な記録キャリアに受信音 声および映像信号を記録するよう操作可能な記録手段とを具えたことを特徴と する映像記録装置。 ６．請求項４記載の装置がさらに、シーンチェンジ検出装置および記録手段に連 結される処理手段を具え、該処理手段が前記シーンチェンジフレームとそれが 前記記録キャリアで記録された位置とのリストを発生し、そのリストを前記記 録キャリアに記憶するよう操作可能であることを特徴とする映像シーンチェン ジ検出装置。 ７．請求項６記載の装置がさらに、記録キャリアからの音声および映像信号を再 生するよう操作可能であり、記録キャリアがシーンチェンジフレームのリスト を含むかどうかを識別するよう配置され、もしそうなら、ユーザ制御のもとに １つまたは複数のシーンチェンジフレームを識別し、ユーザに表示手段を介し て前記１つまたは複数の各フレームを識別するよう配置されることを特徴とす る映像シーンチェンジ検出装置。 ８．請求項７記載の装置がさらに、記録キャリアから抽出され、大きさが削減さ れ、予め定められた配置で一連のシーンチェンジフレームを静的メニュスクリ ーンとして表示するよう配置された画像データ処理手段を具えることを特徴と する映像シーンチェンジ検出装置。 ９．請求項８記載の装置がさらに、前記メニュスクリーン上複数のシーンチェン ジフレームからの１つをユーザが選択できるとともに、前記装置が選択された シーンチェンジフレームからはじまる記録キャリアに記憶された映像を再生す るよう配置されたユーザ操作可能な入力手段を具えたことを特徴とする映像シ ーンチェンジ検出装置。 １０．請求項６から９いずれか記載の装置によりそれに記録された音声および映 像データとシーンチェンジフレームのリストを有することを特徴とする記録キ ャリア。 １１．請求項１０記載のキャリアがＤＶＤ−ＲＡＭ標準方式に従う光学ディスク であることを特徴とする記録キャリア。 １２．音声音響トラックを伴う映像信号の映像シーンチェンジを検出する方法で あって、当該方法が以下のステップすなはち： 背景音声信号レベルを周期的に決定する音声音響トラックをフィルタするス テップと； 背景レベルの不連続性を識別するため現在および以前に決定された背景音声信 号レベルを比較するステップと； 新しい映像シーンの第１のフレームとして、背景音声不連続時または直後には じまる映像信号を印付けるステップと を含むことを特徴とする映像シーンチェンジを検出する方法。