JP2005045843A - 動画像の変化点検出方法及び装置 - Google Patents

Abstract

【目的】 本発明の目的は，検出感度を落とすことなく，瞬間的な画像の乱れに対する誤検出を抑制するとともに，対象の動画像の特性の変化に柔軟に対応して正しく変化点を検出できる動画像の変化点検出方法ならびに装置を提供することにある。
【構成】 対象となる動画像をフレーム単位で時系列に処理装置に入力する手段と，処理装置において，各フレーム単位に該画像データが有する特徴量を計算する手段と，その特徴量と直前の複数枚のフレームの特徴量との間で各々相関係数を求める手段と，求められた相関係数の組み合わせのパターンから動画像の変化点か否かを判定する手段とを設ける。また，過去に計算された相関係数のうち，最近の値を常に保持する手段と，保持されている相関係数の値，もしくは過去のフレームの特徴量をもとに動的に変化点検出の基準を変化させる手段とを設ける。
【選択図】 図２

Description

本発明は，ビデオや映画等の動画像をカット（１台のカメラで撮影された途切れのない動画像区間）別に頭出しすることができる動画像編集システムや動画像のブラウジング方法に係り，特にビデオテープやビデオディスクに格納された動画像からカット間の変わり目を検出するための動画像変化点検出方法及び装置に関する。

近年，計算機の高速化と大容量化を背景にして，従来は扱えなかった映画やビデオなどの動画像情報を扱うことのできるデータベースシステムやプレゼンテーションツールが注目されている。しかしながら，膨大な情報量を有する動画像情報の中から必要な部分だけを探したり，それを加工したりするのは，ユーザにとって手間のかかる作業である。そこで，計算機による作業負担軽減方法として，例えば，情報処理学会論文誌 Vol.33, No.4, 「カラービデオ映像における自動索引付け法と物体探索法」や特開平４−１１１１８１号公報「動画像の変化点検出方法」等で示された方法がある。これは，動画像をカット単位に自動的に分割し，各カットを代表する画像の一覧を作成して，それを書籍の索引のように用いることで，動画像の検索や編集の一助とする方法である。これによれば，動画像の中身が一覧上で一目で把握できるので所望の場面が見つかりやすく，また，カットという区切れのよい単位で扱えるので大まかな編集が簡単にできる。

動画像をカット単位に分割するには，動画像の変化点，すなわちカットの変わり目を検出する必要がある。従来の動画像の変化点検出方法は，例えば，前掲の特開平４−１１１１８１号公報では，動画像中の連続する２枚のフレーム（動画像を構成する一枚一枚の静止画。一般のテレビで秒３０枚表示される）の間に画像的な相異が見られた場合，そのフレーム間に動画像の変化点，すなわちカットの変わり目があると判定することを基本にしている。

特開平４−１１１１８１号公報

しかしながら，上記の方法では，記者会見などの映像でしばしば見られる写真撮影のストロボ発光や，あるいは機器の障害等に起因する瞬間的な画像の乱れが生じた場合，それをも変化点として検出してしまう。こうした画像の乱れは，１つのカット中で連続して発生する傾向があり，カットが不必要に分断されてしまう問題がある。また，夜間の場面など全体に暗い画像が続く動画像区間では，連続するフレーム間の画像的相異度は，カットの変わり目においても，明るい場面の相異度と比べて小さくなる傾向があるため，暗い場面も明るい場面も同一の基準で変化点か否かの判定を行うと，明るい場面で誤って過剰に変化点を検出したり，逆に暗い場面で検出漏れが生じる場合がある。

本発明の目的は，従来の方法よりも検出感度を落とすことなく，瞬間的な画像の乱れに対する誤検出を抑制するとともに，対象の動画像の特性の変化に柔軟に対応して正しく変化点を検出できる動画像の変化点検出方法及び装置を提供することにある。

上記目的を達成するため，本発明の一形態として，対象となる動画像をフレーム単位で時系列に処理装置に入力する手段と，処理装置において各フレーム単位に該画像データが有する特徴量を計算する手段と，その特徴量と直前の１枚以上のフレームの特徴量との間で各々相関係数を求める手段と，求められた相関係数の組み合わせのパターンから動画像の変化点か否かを判定する手段とを設ける。
また，過去に計算された相関係数のうち，最近の値を常に保持する手段と，保持されている相関係数の値，もしくは過去のフレーム画像や音声情報の特徴量をもとに動的に変化点検出の基準を変化させる手段とを設ける。
瞬間的な画像の乱れがあった場合，乱れたフレームと，その直前のフレームとの画像的相異，ならびに直後のフレームとの画像的相異は大きくなるが，乱れたフレームを間に鋏む２枚のフレームの間では画像的相異は小さくなるという特徴があるので，本発明によれば，このような状態を示す相関係数の組み合わせパターンを検出した場合には，真の動画像変化点ではないと正しく判定することができる。逆に，そのような画像の乱れの発生した部分だけを検出することもできる。また，直前の動画像の特徴に応じて変化点検出の閾値を動的に変化させる手段によって，動画像の特徴に合わせた，きめ細かな変化点か否かの判定ができ，誤検出を抑制することができる。

本発明によれば，瞬間的な画像の乱れと，カットの変わり目とを区別して検出できるので，乱れのある部分を変化点として間違って検出しないようにできるほか，乱れた部分だけを選び出すこともできる。また，直前の動画像の特徴に応じて変化点検出の閾値が動的に変化するので，動画像の特徴に合った，きめ細かな変化点検出ができ，誤検出を抑制することができる。

（実施例）

以下，本発明の１実施例を詳細に説明する。
図１は，本発明を実現するためのシステム構成の概略ブロック図の一例である。１はＣＲＴ等のディスプレイ装置であり，コンピュータ４の出力画面を表示する。コンピュータ４に対する命令は，キーボードやポインティングデバイス等の入力装置５を使って行うことができる。１０の動画像再生装置は，光ディスクやビデオデッキ等である。動画像再生装置１０から出力される映像信号は，逐次，３のＡ／Ｄ変換器によってデジタル画像データに変換され，コンピュータ４に送られる。コンピュータ４内部では，デジタル画像データは，インタフェース８を介してメモリ９に入り，メモリ９に格納されたプログラムに従って，ＣＰＵ７によって処理される。動画像再生装置１０が扱う動画像の各フレームに，動画像の先頭から順に番号（フレーム番号）が割り付けられている場合には，フレーム番号を制御線２によって動画像再生装置１０に送ることで，当該場面の動画像が再生される。処理の必要に応じて，各種情報を６の外部情報記憶装置に蓄積することができる。メモリ９には，以下に説明する処理によって作成される各種のデータが格納され，必要に応じて参照される。

まず最初に，以下では，動画像の変化点検出にあたって，瞬間的な画像の乱れを間違って変化点として検出することを防ぐことができる変化点検出方法について詳細に説明する。

図２は，図１で示したシステム上で実行される，動画像の変化点検出プログラムのフローチャートの一例である。プログラムはメモリ９に格納され，ＣＰＵ７はまず最初に初期化処理として，現在の処理対象のフレーム番号を表す変数ｎを初期値にし，ヒストグラムに用いるメモリ領域をリセットする（２００）。ｎの初期値としては，処理対象の動画像区間の先頭のフレーム番号が与えられる。次に，２０２でフレーム番号ｎのフレーム画像fnを取り込み，fnの色ヒストグラムHnを作成する（２０４）。色ヒストグラムは，１枚のフレーム画像全体における，同じ色を示す画素の出現頻度を求めたものである。例えば，RGB各2ビット６４色の色ヒストグラムを作成する場合，フレームの各画素のRGBカラー値をそのRGB各上位2ビットのみで表現した６ビット６４色に縮退し，６４色のそれぞれについて，縮退によってその色を示す画素の数をカウントする。この場合，色ヒストグラムは配列Hn(i)で表され，iは０から６３の値をとる。例えば，iが０のときの度数Hn(0)は，RGBカラー値の上位２ビットがRGB各々全て０である画素がフレーム中に幾つあるかを示している。続く処理２０６では，Hnと，１つ前のフレームfn-1の色ヒストグラムHn-1との間の相異度R1nを求める。また，さらに１つ前のフレームfn-2の色ヒストグラムHn-2とHnとの間の相異度R2nも計算する（２０８）。ヒストグラム間の相異度R1n及びR2nは，カイ二乗検定等の計算式により求めることができる。計算式の種類は，前掲の文献に記載されているので，詳細な説明は省略する。

図３は，瞬間的な画像の乱れが生じた場合のフレーム画像の時間変化を模式的に示した図である。fn-1で乱れが生じている。この場合，fn-2とfn-1との相異度は大きくなり，R1n-1は大きな値を示す。また，fn-1とfnも相異度が高く，R1nは大きな値を示す。しかし，fn-2とfnとは良く似ているのでR2nは小さな値をとる。一方，図４は，通常のカットの変わり目付近のフレーム画像の時間変化を模式的に示した図である。fn-2とfn-1の間でカットが変わっている。このとき，fn-2とfn-1との相異度は大きくなり，R1n-1は大きな値を示す。しかし，fn-1とfnは良く似ているのでR1nは小さな値をとる。また，fn-2とfnは相異度が大きく，R2nは大きな値をとる。従来の方法では，R1nの値にのみ着目していたので，図３の場合も図４の場合も区別がつかずに，fn-2とfn-1の間を動画像の変化点として検出してしまっていた。R2nを判定に用いることにより，図３の場合と図４の場合とを区別できるようになる。すなわち，R1n-1とR1nがともに閾値th4より大きく，R2nが閾値th5より小さいときには，これを瞬間的な乱れが生じたものとして判定する（２１０）。そして，R1n-1が閾値th1より大きく，かつR1nが閾値th2より小さく，かつR2nが閾値th3よりも大きいときに，fn-2とfn-1の間にカットの変わり目があったとして判定し（２１４），変化点検出に伴う各種処理を行う（２１６）。

もちろん，(1) R1n-1とR1nが両方とも大きいのか，(2) R1n-1が大きくてもR1nの方は小さいのか，という条件だけでも，(1)は図３に示すように，(2)は図４に示すように区別できないことはない。しかしながら，R2nの値を併用することにより，乱れた後に確かに元の画像に戻ったことが確認できるので判定の信頼性が極めて高い。処理２１０で瞬間的な乱れと判定された場合，R1n-1とR1nを０にリセットする（２１２）。もし，０にリセットしなければ，図３にあるように，R1nが大きく，かつR1n+1が小さく，かつR2n+1が大きいという組み合わせが生じるため，次回すなわちn+1番目のフレームの処理において，処理２１４でfn-1とfnの間をカットの変わり目として検出してしまうためである。

これらの処理により，瞬間的な画像の乱れに対しても安定して動画像の変化点を検出することができる。あるいは，この判定条件を用いることにより，逆に瞬間的な乱れが生じた箇所だけを検出することもできる。瞬間的な乱れを起こす最も典型的なケースは，記者会見等におけるカメラ撮影のストロボフラッシュである。ストロボフラッシュは，記者が決定的な場面だと判断して撮影した場合に生じるものであるから，これが発生した箇所は非常に重要な場面であることが多い。したがって，動画像中から重要な場面だけを選びだすための一つの手段として用いることができる。また，もう１つの典型的なケースは，サブリミナル効果と呼ばれる，視聴者に対する不正な心理操作の場合がある。これは，動画像中に一定時間ごとに１フレームだけ特殊な画像を挿入することで，その画像が視聴者の気づかぬうちに深層心理に働きかけ，一種の暗示をかけることができるとされる。こうした不正な効果が含まれている動画像かどうかを自動的に判定し，そのような動画像の放送を未然に阻止することができる。

上記の方法では，説明を簡単にするため，１フレームだけの乱れについて述べたが，R2nを計算する際のフレーム間隔を長くとれば，任意のフレーム枚数分の乱れについても同様の方法で対応できる。図５で示した例では，fn-1とfnの２フレームに乱れが生じているが，それをまたぐ形で相違度を求めているR2n+1は，R1n-1, R1n, R1n+1が大きめの値をとって推移するのに対して，小さな値をとる。
この組み合わせから画像の乱れなのか変化点なのかを判定することができる。このようにして，R2nの計算を，１フレーム飛びの場合，次いで２フレーム飛びの場合というように，順に間隔を広げながら行っていくことで，任意のフレーム枚数分の乱れを変化点と区別することができる。
最後に，処理２１８で，処理対象のフレーム番号値を１つ増やして次のフレーム取り込みに備える。

次に，以下では，動画像の変化点検出にあたって，例えば，明るい場面での過剰な変化点検出を抑制しながら，逆に暗い場面での検出漏れをも抑制するといったように，対象の動画像の特性の変化に柔軟に対応して正しく変化点を検出する変化点検出方法について詳細に説明する。

図６に，図１で示したシステム上で実行される，動画像の変化点検出プログラムのフローチャートの一例を示す。アルゴリズムの基本的な流れは前述の図２のフローチャートと同様であるが，動画像変化点だと判定する閾値が図２では固定型だったのに対し，図６では変動型になっている。閾値を変動型にする利点を図７を使って説明する。図７は，明るく動きの激しい場面（７０８），暗い場面１（７１０），暗い場面２（７１２）の３つのカットが連続する動画像を例にとり，フレーム間相関係数の典型的な時間推移を示したものである。図中，７０２と７０４が各々カットの変わり目の位置である。

動きの激しい場面の場合，連続するフレーム間の画像的相異が大きい。したがって，７０８の区間では相関係数は比較的大きな値が続くことになる。一方，暗い場面では，そのフレーム画像を構成する色が，黒を中心とした少種類の色に集中するため，ヒストグラムの形が類似し，７１０と７１２の区間で相関係数は小さな値をとる。この区間では，上記の理由からカットの変わり目でも相関係数は小さめになる。このとき，カットの変わり目として判定する閾値を，７０６の破線で示したような一定値に設定した場合，その値を高めに設定すると７０４のような暗い場面間の変化点では検出漏れが生じ，逆に低めに設定すると７００のような動きの激しい区間の相関係数の一部に対して敏感に反応してしまう。動きの激しい場面での過剰検出を抑制するための方法として，前述の特開平４−１１１１８１号公報では，直前の相関係数の値と現在の相関係数の値との変化率を求め，その変化率が許容値を超えた場合にカットの変わり目であると判定する方法が示されている。この方法において，相関係数の値は単位時間あたりの画像変化量であるから，カメラや動画像中の物体が動く速度に対応する。多くの場合，カメラや動画像中の物体の動き速度は，それほど大きく変化しないので，変化率の値は動きのある場面でもない場面でも小さな値をとり，カットの変わり目のときの値だけが突出して大きな値をとるようになる。このため，暗い場面でも動きのある場面でも同じ閾値で対応できることになる。しかしながら，カメラのぶれや，物体がカメラの直前を通過した場合など，急激に変化する場合も少なくなく，このような場合には，７００のように直前の相関係数との変化率７１４が，暗い場面での変化率７１６と同じかそれ以上の大きさになることもある。動画像の各場面の特性の変化に柔軟に対応して閾値を変化させる必要がでてくる。

以下，再び図６のフローチャートに戻ってアルゴリズムを説明する。
まず最初に初期化処理として，現在の処理対象のフレーム番号を表す変数ｎを初期値にし，ヒストグラムに用いるメモリ領域をリセットする（６００）。ｎの初期値としては，処理対象の動画像区間の先頭のフレーム番号が与えられる。次に，処理６０２でフレーム番号ｎのフレーム画像fnを取り込み，fnの色ヒストグラムHnを作成する（６０４）。続いて，処理６０６でfnの輝度平均Bnを求める。
処理６０６の詳細なフローチャートを図８に示す。フレーム画像fnのサイズは幅w, 高さhであるとする。まず変数Bnを０にリセットする（８００）。そして，fn中の各画素について，その輝度Bp(x, y)を求める。ここで，(x, y)はfn内における画素の二次元平面座標を表す。Bp(x, y)は，fnがモノクロ濃淡画像の場合には，その画素の明るさであり，カラー画像の場合には，その画素の色の輝度成分である。色が，YUV表色系といった輝度成分が分離された形で表現されている場合には，その輝度成分の値をそのまま，すなわちYUV表色系の場合ではYの値を利用すればよい。計算機中で一般的に使用されているRGB表色系等では，RGB各成分の値から計算によって輝度成分を求める必要がある。８０２で示した例では，RGB各成分の最大値を輝度値としている。R(x, y)は，(x, y)の位置にある画素の赤成分の値を表し，同様にG(x, y)は緑成分，B(x, y)は青成分の値である。画素の輝度は緑成分にほぼ比例するので緑成分の値をBp(x, y)の値として近似的に用いてもよい。こうして求まったBp(x, y)の値をBnに足し込んでいき（８０４），最終的にフレーム全体の輝度をBnに得る。以上の処理は，６０４の色ヒストグラムの計算と同時に行うことで，各画素の値読み出しや変数xやyのインクリメント等の処理の重複を省くことができ，高速化が図れる。

続く処理６０８では，直前のフレームのヒストグラムHn-1と現在のヒストグラムHnとの相異度R1nを計算する。次いで，処理６１０では，直前の動画像の特徴に合わせた閾値の変更を行う。この例では，直前の動画像の明るさと動きの大きさを特徴量とし，式th7 = th6 + Bn-1*α+ R1n-1*βにより，新しい閾値th7を得る。ここで，th6には，明るさが標準的で動きの少ない動画像に対して最もうまく機能する値を与える。αは，明るさの変化に対してth6をどれくらい上下させるかの重み値であり，βは，同様に動きの大きさに対してth6をどの程度変化させるかを決定する重み値である。このほかにも閾値を変更するべきファクターがあれば，式に必要なだけ追加する。例えば，直前の動画像に対する処理フレーム枚数も重要なファクターのひとつである。フレーム画像はNTSC方式の動画像の場合で秒３０枚あるが，計算機の能力によっては，フレーム間相関係数を求めている間に，次のフレーム画像の取り込みタイミングを過ぎてしまう場合もある。このとき，動画像が通常の速度で再生されていれば，当然ながら１フレーム飛びのフレーム間相関係数を求めていることになる。すなわち，処理フレーム枚数は，計算機の処理能力により秒３０枚のケースも数枚程度のケースもありうる。比較するフレームの間隔が広がるほど画像的相異は大きくなるので，相関係数の値も処理フレーム枚数の低い区間ほど大きな値をとる傾向がある。したがって，このような区間では，閾値は高めにしたほうが過剰検出を抑制できる。プログラム実行中に処理フレーム枚数が大きく変動することがない場合には，計算機の能力があらかじめわかっていれば，最初の段階でth6を変更しておくことにより，th7を計算する時点で考慮する必要はなくなる。

以上のようにして求めたth7よりもR1nが大きいかどうかを判定し（６１２），大きい場合，n-1番目とn番目のフレームの間にカットの変わり目があったとして検出処理を行う（６１４）。最後に，処理６１６で，処理対象のフレーム番号値を１つ増やして次のフレーム取り込みに備える。

上記の例では，fnの直前の１フレーム分だけの特徴から閾値を変更していたが，直前の任意枚数分のフレームの特徴の履歴から変更するようにしてもよい。例えば，動きの激しさの尺度として，直前の数フレーム分の相関係数の平均値や最大値を，６１０の式におけるR1n-1のかわりに用いることができる。また，fnの直後のフレームfn+1, fn+2, ...の特徴によってもR1nを判定する閾値に変更を加えてもよく，これによりR1nが閾値を超えた場合には，時間を遡ってfn-1とfnの間にカットの変わり目があったと判定する。
さらに，上記の例では，閾値を変更していたが，閾値を定数にして，その替わりに相関係数の値を変化させるようにしても構わない。

また，図２で示した方式と図６の方式とを組み合わせることにより，より信頼性の高い動画像の変化点検出方法を実現することができる。図９にそのフローチャートの例を示す。フローチャートを構成する各処理の内容は，上記で説明した通りである。まず最初に初期化処理として，現在の処理対象のフレーム番号を表す変数ｎを初期値にし，ヒストグラムに用いるメモリ領域をリセットする（９００）。ｎの初期値としては，処理対象の動画像区間の先頭のフレーム番号が与えられる。次に，処理９０２でフレーム番号ｎのフレーム画像fnを取り込み，fnの色ヒストグラムHnを作成する（９０４）。続いて，処理９０６でfnの輝度平均Bnを求める。続く処理９０８では，Hnと，１つ前のフレームfn-1の色ヒストグラムHn-1との間の相異度R1nを求める。また，さらに１つ前のフレームfn-2の色ヒストグラムHn-2とHnとの間の相異度R2nも計算する（９１０）。次いで，処理９１２では，直前の動画像の特徴に合わせ，閾値th8を計算する。R1n-1とR1nがともに閾値th4より大きく，R2nが閾値th5より小さいときには，これを瞬間的な乱れが生じたものとして判定する（９１４）。そして，R1n-1が閾値th8より大きく，かつR1nが閾値th2より小さく，かつR2nが閾値th3よりも大きいときに，fn-2とfn-1の間にカットの変わり目があったとして判定し（９１８），変化点検出に伴う各種処理を行う（９２０）。処理９１４で瞬間的な乱れと判定された場合，R1n-1とR1nを０にリセットする（９１６）。最後に，処理９２２で，処理対象のフレーム番号値を１つ増やして次のフレーム取り込みに備える。

上記で説明した動画像の変化点検出方法において相関係数を求める際，前述の文献にも記載されているように，フレーム画像を幾つかのブロックに分割して，分割した各ブロックごとにヒストグラムを求めて相関係数を計算し，それらの相関係数の組み合わせを総合的に判定することでフレーム全体の相関係数を求めてもよい。これにより，カットの変わり目とそうでない区間との相関係数の値の差が大きくなる効果も得られる。

一方，上記で説明した動画像の変化点検出方法を用いて検出される変化点のほかに，利用者が，処理中の動画像を見ながら，その場の判断で変化点を追加登録したい場合もある。しかし，人間の反応速度には限界があるので，利用者が変化点を見つけて登録したいと思ってから計算機に指示が伝わるまでの間に相当の時間が過ぎていることが多い。その時間遅れにより，指定された変化点位置は，当初意図していた変化点の位置とは許容できないほど違っている可能性がある。そこで，利用者の反応速度に応じて予め設定された時間分を常に差し引いた変化点位置を登録する手段を設けると都合がよい。また，逆に予め設定された時間分だけ足した位置を変化点として登録する方法も役に立つ。

変化点を検出することによって，動画像を部分部分の区間に分割するわけであるが，音声に関係なく分割してしまうと，後々扱いにくいケースが生じる。例えば，ある人が話をしている途中で区間を分割すると，分割された１つの区間だけを見たのでは話が閉じなくなる。変化点検出によって分割された各カットを単位として，取捨選択や並べ変えを行うような動画像編集システムにおいては，特に問題となる。そこで，変化点を検出した際には，そのときの音声信号も調べ，音声が入っているようならば，次に音声が途絶えた時点，すなわち無音部を待って，その時点のほうを変化点として登録する。無音部か否かは，音量から判定できる。図１０に音声信号の典型的な例を示す。横軸が時間で，縦軸が音の振幅を示す。音量は振幅の大きさであるから，振幅が予め設定した閾値よりも小さい場合に，そこを無音部と判定できる。もちろん，音声のある区間でも振幅は瞬間的に小さい値をとるので，それによって誤って判定しないように，一定時間分の振幅を調べて，振幅が小さい状態が続いていることを確認した上で無音部の検出を行うようにする。この方法は，計算機が自動的に変化点を検出する場合と，利用者の判断で変化点として検出する場合とにかかわらず，利用可能であることは言うまでもない。

以上述べた方法によって動画像をカット分割すると，カットを単位とした検索や編集が行えるようになる。こうしたカット単位の操作を利用者がもっと簡単に行えるようにするためには，そのカットの内容が絵で確認できるようになっていると都合がよい。そこで，カットの変わり目が検出された時点で，そのときのフレーム画像を代表画像として抽出し，その代表画像を，検索や編集のアプリケーションで扱いやすい大きさにサイズを変更して，ディスク等の記録装置にファイルとして格納しておき，必要に応じて呼び出せるようにする。こうした格納に関わる処理は，図２を例にとると２１６の処理の中で行われる。もちろん，フレーム画像のような静止画だけではなく，変化点からはじまる一定時間の動画像を同様に取り込んで記録してもよい。また，カットを代表する画像としては，カットの変わったばかりの時点の画像よりも少し時間がたった時点の画像のほうが適切なことが多いので，変化点から一定時間オフセットを加えた時点の画像を代表画像として使用してもよい。しかしながら，図２や図９で述べた変化点検出方法を用いると，カットの変わり目のフレームから数フレームを経た時点で初めて変化点か否かが判定されるので，判定が定まったときに代表画像を抽出しようとすると，すでにして一定時間オフセットを加えた時点の画像を取り込むことになる。
このとき，どうしても正確にカットの変わり目のフレーム画像を取り込みたい場合には，フレーム画像を過去に遡って数フレーム分をバッファに蓄えておくとよい。バッファには最新のフレーム画像が入り，１枚入るとバッファ中の最も古いフレーム画像が１枚消去される。

検索や編集にあたっては，代表画像で確認できたカットが，ビデオテープ等に記録されているオリジナルの動画像のどこにあるのかが，すぐに知れなくては意味がない。そこで，オリジナルのビデオテープのフレーム番号やタイムコードを代表画像と関連づけて格納する手段を設ける。また，そのカットがどれくらいの時間長なのか，テレビ等で放送された動画像ならば放送された実際の時刻や日付はいつなのか，といった関連情報も必要である。時刻や日付は計算機に内蔵されている時計を読み出すことで簡単に得られるし，カットの時間長は，隣接する２つの変化点の間の時刻もしくはフレーム番号の差分としてリアルタイムで計算できる。そこで，代表画像の格納の際に併せ，代表画像と関連づけて，これらの情報も記憶するようにする。また，必要に応じて利用者が付加した各代表画像に対応する属性情報も同じように，代表画像と関連づけて格納する。上記で示したような代表画像と関連情報との関連づけは，例えば，一般的なディスクオペレーションシステム（DOS）のファイル管理システムの下では，代表画像のファイルとファイル名が同じで拡張子だけが異なるファイルを関連情報用に割り当てることで管理できる。具体的には，代表画像をCUT00001.IMGで格納し，その画像に対応する時刻はCUT00001.TIM，時間長はCUT00001.DURというように定義すればよい。
しかしながら，動画像は複数のカットから構成されるので，この方法では，ファイルの数が多くなりすぎて管理しにくいという問題もある。そこで，単一のファイルの中で，これらの情報を管理するようにしてもよい。図１１にファイル構造の例を示す。１１００はヘッダー情報であり，他のファイル形式との識別子や登録されているカットの総数といったファイル全体に関わる情報が入る。１１０２は，代表画像の格納アドレスのテーブルであり，各カットの代表画像のデータがファイル中のどの位置からに格納されているかを表すオフセット値が，カットの総数分だけ順番に格納される。同様に，１１０４はタイムコード，１１０６は属性情報に関するテーブルである。ほかにも関連情報を格納する場合には，必要なだけ同様のテーブルが作成される。これらのテーブルの間では，それぞれのテーブルの先頭から数えて同じ位置に格納されているアドレス情報は，同じ代表画像に関する情報となるように格納され，相互に対応がとれるようになっている。１１０８から１１１８は，それぞれの情報を格納するデータ領域である。

ビデオや映画等の動画像をカット別に頭出しできる動画像編集システムの画面例を図１２に示す。１はディスプレイ装置であり，１２３２は音声やＢＧＭ等を出力するスピーカ，５はマウスやジョイステイツク等の間接的なポインティングデバイス，１２３４はキーボード，１２３０はタッチパネルのような直接的なポインティングデバイスである。

ディスプレイ装置１中のモニタウインドウ１２１０は，モニタ画面になっており，ＶＴＲと同形式の操作パネル１２０２があって，映像を自由に再生し視聴することができる。モニタ画面に表示される映像が「本」における「本文」，パネル（ボタン）操作は「頁めくり」に対応する。右下のウインドウ１２０８は，対象とする映像の各シーンの代表画像のシーン一覧表示，右中のウインドウ１２１２は，その映像に登場する被写体の一覧表示である。これらの一覧表示を総称して，「インデクス」と呼ぶ。ウインドウ１２０８のシーン一覧表示は，本発明の動画像変化点検出方法を用いて，映像中の各シーンから典型的なフレーム画像を選び，縮小して時間順にアイコン１２１０として一覧に並べたものである。これらの画像はシーンの「見出し」に相当するものとして考えることができ，それらを時系列に並べたシーン一覧は「本」の「目次」にあたる。一方，被写体は，シーンの重要な構成要素の一つであり，その意味でテキストにおける「キーワード」に相当する。したがって，ウインドウ１２１２の被写体の一覧表示は，「索引」に当たる。シーン一覧表示中のアイコン１２１０がマウスクリックされると，モニタ画面の映像が切り替わり，そのアイコンの示すシーンが再生される。被写体の一覧表示は，被写体が何であるかを示すアイコン１２１４と，その右側の時間軸表示部（棒グラフ）１２１６から成る。時間軸表示部（棒グラフ）は，左端が映像の先頭，右端が末尾を示す時間軸になっていて，棒として表示された部分が，その被写体の現れている時間区間を示している。棒の部分をクリックすると，その区間の映像をモニタ画面に表示する。尚，１２０４は，マウスのようなポインティングデバイスの動きに合わせて移動するカーソル，１２０６のウインドウは，映像の各種関連情報を表示する汎用入出力ウインドウである。このような，ＧＵＩを用いることにより，ユーザフレンドリな動画像編集が可能となる。

本発明は，放送局向けなどのハイエンドなシステムの他，ワークステーション（ＷＳ），パーソナルコンピュータ（ＰＣ）などに対しても，動画像編集プログラムの機能として組込むことが出来る。また，ＶＴＲやＴＶなどの電子機器の一機能として実現することも可能である。更に，ビデオオンデマンド（ＶＯＤ）を実現する各種装置やシステムへの展開も可能である。

本発明の実施例を実現するためのシステムブロック図である。 瞬間的な乱れにロバストな変化点検出アルゴリズムのフローチャートである。 瞬間的な乱れが発生した箇所を有する動画像の模式図である。 通常のカットの変わり目の箇所を有する動画像の模式図である。 複数のフレームに渡って乱れが発生した箇所を有する動画像の模式図である。 動画像の特徴に合わせて閾値が変化する変化点検出アルゴリズムのフローチャートである。 相関係数の時間推移の典型例を示した図である。 フレーム全体の明るさを求めるアルゴリズムのフローチャートである。 図２と図６のアルゴリズムを組み合わせた変化点検出アルゴリズムのフローチャートである。 音声信号の典型例を示した図である。 ファイル構造の例を示す図である。 動画像編集システムの画面例を示す図である。

符号の説明

１…ディスプレイ，２…制御信号線，３…Ａ／Ｄ変換器，４…コンピュータ，５…入力装置，６…外部情報記憶装置，７…ＣＰＵ，８…接続インタフェース，９…メモリ，１０…動画像再生装置，１２０８…シーン一覧表示のためのウインドウ。

Claims (16)

1. 連続する複数枚の画像よりなる動画像からカットの変わり目を検出する動画像の変化点検出方法において，
   対象となる動画像をフレーム単位で時系列に処理装置に入力し，
   処理装置では，各フレーム単位に動画像の画像データが有するカラーヒストグラムを含む特徴量を計算し，
   その特徴量と直前のフレームで計算した特徴量との間で第１の相関係数を求め，同様に特徴量とその更に以前のフレームで計算した特徴量との間で第２の相関係数を求め，
   第１の相関係数と第２の相関係数の値がそれぞれ予め定めた許容範囲外となった時点を，動画像のカットの変わり目の判定に用いることを特徴とする動画像の変化点検出方法。
2. 請求項１記載の動画像の変化点検出方法において，上記第１の相関係数と上記第２の相関係数の値がそれぞれ予め定めた許容範囲外か否かを判定する際，許容範囲を，直前もしくは直後の動画像の特徴量の値によって変化させることを特徴とする動画像の変化点検出方法。
3. 連続する複数枚の画像よりなる動画像からカットの変わり目を検出する動画像の変化点検出方法において，
   対象となる動画像をフレーム単位で時系列に処理装置に入力し，
   処理装置では，各フレーム単位に動画像の画像データが有するカラーヒストグラムを含む特徴量を計算し，
   その特徴量と直前のフレームで計算した特徴量との間で相関係数を求め，
   その相関係数の値が，直前もしくは直後の動画像の特徴量の値によって変化する許容範囲の外となった時点を，該動画像のカットの変わり目の判定に用いることを特徴とする動画像の変化点検出方法。
4. 請求項２または３記載の動画像の変化点検出方法において，直前もしくは直後の動画像の特徴量とは，直前もしくは直後の動画像全体の輝度であることを特徴とする動画像の変化点検出方法。
5. 請求項２または３記載の動画像の変化点検出方法において，直前もしくは直後の動画像の特徴量とは，直前もしくは直後の動画像におけるフレーム間の相関係数であることを特徴とする動画像の変化点検出方法。
6. 請求項２または３記載の動画像の変化点検出方法において，直前もしくは直後の動画像の特徴量とは，直前もしくは直後の動画像に対する単位時間あたりの処理フレーム枚数であることを特徴とする動画像の変化点検出方法。
7. 連続する複数枚の画像よりなる動画像からカットの変わり目を検出する動画像の変化点検出方法において，
   利用者が手動でカットの変わり目を検出する際，利用者がカットの変わり目であると指定した時点より一定時間遡った時点もしくは一定時間経過した時点をカットの変わり目として登録することを特徴とする動画像の変化点検出方法。
8. 連続する複数枚の画像よりなる動画像からカットの変わり目を検出する動画像の変化点検出方法において，
   利用者が手動でカットの変わり目を検出する際，利用者がカットの変わり目であると指定した時点に最も近い音声の切れ目をカットの変わり目として登録することを特徴とする動画像の変化点検出方法。
9. 連続する複数枚の画像よりなる動画像からカットの変わり目を検出する動画像の変化点検出装置において，
   対象となる動画像をフレーム単位で時系列に入力する手段と，
   各フレーム単位に動画像の画像データが有するカラーヒストグラムを含む特徴量を計算する手段と，
   その特徴量と直前のフレームで計算した特徴量との間で第１の相関係数を求め，同様に特徴量とその更に以前のフレームで計算した特徴量との間で第２の相関係数を求める手段と，
   第１の相関係数と第２の相関係数の値がそれぞれ予め定めた許容範囲外となった時点を，動画像のカットの変わり目として判定する手段と，
   を備えたことを特徴とする動画像の変化点検出装置。
10. 請求項９記載の動画像の変化点検出装置において，上記判定手段にて，上記第１の相関係数と上記第２の相関係数の値がそれぞれ予め定めた許容範囲外か否かを判定する際，許容範囲を，直前もしくは直後の動画像の特徴量の値によって変化させることを特徴とする動画像の変化点検出装置。
11. 連続する複数枚の画像よりなる動画像からカットの変わり目を検出する動画像の変化点検出装置において，
    対象となる動画像をフレーム単位で時系列に入力する手段と，
    各フレーム単位に動画像の画像データが有するカラーヒストグラムを含む特徴量を計算する手段と，
    その特徴量と直前のフレームで計算した特徴量との間で相関係数を求める手段と，
    その相関係数の値が，直前もしくは直後の動画像の特徴量の値によって変化する許容範囲の外となった時点を，動画像のカットの変わり目として判定する手段と，
    を備えたことを特徴とする動画像の変化点検出装置。
12. 請求項１０または１１記載の動画像の変化点検出装置において，直前もしくは直後の動画像の特徴量とは，（１）直前もしくは直後の動画像全体の輝度であること，（２）直前もしくは直後の動画像におけるフレーム間の相関係数であること，（３）直前もしくは直後の動画像に対する単位時間あたりの処理フレーム枚数であること，のうち少なくともいずれか一つを用いることをを特徴とする動画像の変化点検出装置。
13. 請求項９から１２いずれかに記載の動画像の変化点検出装置において，
    変化点もしくは変化点の位置から所定のオフセットを加えた位置のフレーム画像を抽出する手段と，
    そのフレーム画像を予め設定した大きさにスケーリングする手段と，
    スケーリングした画像を記録装置もしくは媒体に格納するための手段と，
    を備えたことを特徴とする動画像の変化点検出装置。
14. 請求項１３記載の動画像の変化点検出装置において，スケーリングした画像を，動画像中における変化点の位置を示す第１の情報，変化点が発生したときの時刻情報を表す第２の情報，変化点とその直前の変化点の間の距離もしくは時間を表す第３の情報，変化点もしくは該変化点から始まるカットの属性を記述する第４の情報の４種類の関連情報のうち，少なくともいずれか一つの関連情報と関係づけて記録装置もしくは媒体に格納するための手段を有することを特徴とする動画像の変化点検出装置。
15. 請求項１４記載の動画像の変化点検出装置において，画像と関連情報とを単一のファイルで管理することを特徴とする動画像の変化点検出装置。
16. 請求項１３記載の動画像の変化点検出装置において，最新のフレーム画像もしくはスケーリング処理後の画像を常時２枚以上記憶するためのバッファを設け，過去に遡って変化点が検出された場合に，そのときの変化点に対応する画像を上記バッファから抽出することを特徴とする動画像の変化点検出装置。

Images