JP2006518960A - ショット切れ目検出 - Google Patents

Abstract

セグメンテーションによって決定される第１のセグメントのセット（
【数７１】

【数７２】

【数７３】

及び
【数７４】

）及び第２のセグメントのセット（
【数７５】

【数７６】

【数７７】

及び
【数７８】

）に基づいてビデオ画像のシーケンスにおいてショット切れ目を検出する方法は、前記第１のセグメントのセット（
【数７９】

【数８０】

【数８１】

及び
【数８２】

）に基づいて第３のセグメントのセット（
【数８３】

【数８４】

【数８５】

及び
【数８６】

）を作成するステップと、セグメントの各対が、前記第３のセグメントのセットのセグメント（
【数８７】

）のうちの１つと、前記第２のセグメントのセットのセグメント（
【数８８】

）のうちの１つとを有するセグメントの各々の対の間の重なりを表わす多くの値（Ａ_ｉｊ）に基づいて整合性測度Ｃ（ｎ−１，ｎ）を計算するステップと、所定のしきい値（Ｔ_ｃ）と前記整合性測度（Ｃ（ｎ−１，ｎ））を比較し、前記整合性測度（Ｃ（ｎ−１，ｎ））が前記所定のしきい値（Ｔ_ｃ）未満である場合には前記ショット切れ目が検出されると決定するステップとを有する。

Description

本発明は、ビデオ画像のシーケンスにおいてショット切れ目(shot-cut)を検出する方法に関する。

更に、本発明は、ビデオ画像のシーケンスにおいてショット切れ目を検出するためのショット切れ目検出器に関する。

更に、本発明は、
−ビデオ画像のシーケンスに対応する信号を受け取るための受け取り手段と、
−前記ビデオ画像のシーケンスにおいてショット切れ目を検出するためのショット切れ目検出器と、
−前記ショット切れ目検出器によって制御される画像処理ユニットとを有する画像処理装置に関する。

更に、本発明は、コンピュータ装置によってロードされるべきコンピュータプログラム製品であって、ビデオ画像のシーケンスにおいてショット切れ目を検出するための命令を有するコンピュータプログラム製品に関する。

利用可能なデジタルビデオコンテンツの増大のために、索引付け、ビデオ・オン・デマンド、デジタルライブラリ及びコンテンツ分析などの高レベルのアプリケーションは、完全なビデオシーケンスを多数のシーン及び／又はショット(shot)に分割することを必要とする。シーンは、１つ又は多数のショットを有する。ショットの取得中、カメラは静止する、又は随意に、同じシーンの画像を取得しながら継続的に動く。ショット切れ目検出器は、ショットの境界を示すよう構成される。他のビデオ処理アプリケーションもまた、ショット切れ目の検出から多大な恩恵を受けることができ、例えば、
−ビデオ圧縮、即ち、例えばMPEG規格に従う符号化又は復号化においては、ショット切れ目を知ることにより、ショットの各先頭フレームがＩフレーム（参照フレーム）として符号化されることが可能であり、
−シーン分類、即ち、例えばスポーツの試合又は映画又はアニメといったビデオコンテンツのタイプの決定においては、適切なショット切れ目の検出が、ショット又はシーンに基づく分析におけるノイズの発生を防止し、
−２Ｄから３Ｄへのコンテンツの変換においては、セグメンテーション及びカメラキャリブレーション／奥行き(camera calibration/depth)推定プロセスがショット切れ目後に再始動されるであろう。

文献においては、様々なタイプのショット切れ目検出器が発表されている。例えば、"Fast scene change detection using direct feature extraction from MPEG compressed video", by S.W. Lee et al., in IEEE Transactions on Multimedia, 2: 240-254, 2000及び"A robust scene-change detection method for video segmentation", by C.L. Huang , in IEEE Transactions on Circuits and Systems for Video Technology, 11:1281-1288, 2001である。既知のショット切れ目検出器は、例えばカラーヒストグラム、画素値差、動きベクトルといった該検出器が用いる特徴に従って、又は該検出器が非圧縮ドメイン用に設計されているか、若しくは圧縮(MPEG)ドメイン用に設計されているかに従って分類され得る。

多くのショット切れ目検出器は、ビデオシーケンスにおける位置であって、その位置の前の画像のセットと、その位置の後の画像のセットとの間に大きな相違点がある位置を見つけるために、多数の画像の統計量(statistical measure)の比較に依存する。この統計量は、例えば画素ベースの画像差といった局所的な基準、又は例えばカラーヒストグラムの比較といった大域的な基準のいずれかに基づき得る。最近、フェード(fading)などの緩やかな遷移を検出することにも、より注意が払われている。例えば、"A unified approach to scene change detection in uncompressed and compressed video", by W.A.C. Fernando et al, in IEEE Transactions on Consumer
Electronics, 46:769-779, 2001を参照されたい。

画素ベースのショット切れ目検出器は、該検出器は、ノイズに弱く、動いているオブジェクト又はカメラの動きのいずれかに起因する動きを取り扱うのが難しいという不利な点を持つ。他方、ヒストグラムベースの大域的なショット切れ目検出器は、よりロバストであるが、画像内のデータの空間分布を無視する。

本発明の目的は、相対的にロバストである冒頭の段落に記載されている種類のショット切れ目を検出する方法を提供することにある。

本発明のこの目的は、第１画像及び第２画像を有するビデオ画像のシーケンスにおいてショット切れ目を検出する方法であって、前記第１画像が、セグメンテーションによって決定される第１のセグメントのセットを有し、前記第２画像が、セグメンテーションによって決定される第２のセグメントのセットを有する方法が、
−前記第２画像のために前記第１のセグメントのセットに基づいて第３のセグメントのセットを作成するステップと、
−セグメントの各対が、前記第３のセグメントのセットのセグメントのうちの１つと、前記第２のセグメントのセットのセグメントのうちの１つとを有するセグメントの各々の対の間の重なりを表わす多くの値に基づいて整合性測度(consistency measure)を計算するステップと、
−所定のしきい値と前記整合性測度を比較し、前記整合性測度が前記所定のしきい値未満である場合には前記ショット切れ目が検出されると決定する(establish)ステップとを有することで達成される。

ショット切れ目を検出する既知の方法との違いは、演繹的に既知な画素のグループの代わりに、画像のセグメントが、互いと比較されることにある。換言すると、本発明による方法においては、前記セグメントがセグメンテーションによって決定されることから、前記画像のコンテンツに関連するセグメントが互いと比較される。それは、本発明による方法においては、前記整合性測度が、前記画像内の幾何学的構造、即ち、オブジェクトの表示の比較に基づくことを意味する。前記第１画像内に表わされているオブジェクトと、前記第２画像内に表わされているオブジェクトとの間に相対的に強い関係があるように見える場合には、前記第１画像と前記第２画像とが同じショットに属する可能性は相対的に高い。しかしながら、前記第１画像内に表わされているオブジェクトと、前記第２画像内に表わされているオブジェクトとの間に相対的に弱い関係があるように見える場合には、前記第１画像と前記第２画像とが同じショットに属する可能性は相対的に低く、従って、前記第１画像と前記第２画像とは異なるショットに属する。それは、前記第１画像と前記第２画像との間にショット切れ目があることを意味する。

好ましくは、前記第３のセグメントのセットの作成は、前記第１のセグメントのセットの各々のセグメントのために推定される動きベクトルに基づいて行なわれる。本発明によるこの実施例の利点は、相対的に大きい動きを持つ画像シーケンスに対してロバストであることにある。

本発明による方法の実施例においては、前記セグメントの各々の対の間の重なりを表わす値の第１の値が、前記第２のセグメントのセットのセグメントのうちの第１セグメントに属し、前記第３のセグメントのセットのセグメントのうちの第１セグメントに属する画素の数を数えることによって計算される。本発明によるこの実施例の利点は、２つのセグメントに属する画素を数えることは相対的に容易であることにある。

数えるのに代わる変形例は、前記２つのセグメントに属する画素のために重み係数が利用されるものである。前記第１画像及び／又は前記第２画像の画素値から導き出される重み係数を利用することによってロバストさが高められる。

重み係数が利用される本発明による方法の実施例においては、前記セグメントの各々の対の間の重なりを表わす値の第１の値が、重み付けされた値の累積によって計算され、前記重み付けされた値の第１の値は、前記第２のセグメントのセットのセグメントのうちの第１セグメントの第１画素の第１輝度値と、前記第１画像の第２画素の第２輝度値との間の差に関し、前記第１画素は、前記第３のセグメントのセットのセグメントのうちの第１セグメントにも属する。前記第１画素と前記第２画素とは、互いに等しい座標を持つかもしれないが、好ましくは、前記第１画素と前記第２画素とは、同じシーンポイント(scene point)に対応していると推定される。換言すると、前記第１画素と前記第２画素との間の関係を表わす動きベクトルがある。

重み係数が利用される本発明による画像処理装置の別の実施例においては、前記セグメントの各々の対の間の重なりを表わす値の第１の値が、重み付けされた値の累積によって計算され、前記重み付けされた値の第１の値は、前記第２のセグメントのセットのセグメントのうちの第１セグメントの第１画素の第１明度(first color value)と、前記第１画像の第２画素の第２明度との間の差に関し、前記第１画素は、前記第３のセグメントのセットのセグメントのうちの第１セグメントにも属する。前記第１画素と前記第２画素とは、互いに等しい座標を持つかもしれないが、好ましくは、前記第１画素と前記第２画素とは、同じシーンポイントに対応していると推定される。換言すると、前記第１画素と前記第２画素との間の関係を表わす動きベクトルがある。

本発明による方法の実施例は、各々の重なりを表わす値に基づいて、セグメントの対のセットからセグメントの対を選択することによって、前記セグメントの各々の対を決定するステップを有する。前記整合性測度は、対応している可能性が最も高いセグメントの対に基づく。対応しているということは、同じセグメントを有するセグメントの他の対と比較して重なりの量が相対的に多いことを意味する。それは、前記整合性測度を計算するのに利用されるセグメントの対は、より大きな、セグメントのありうる対のセットから選択されなければならないことを意味する。

本発明による方法の実施例においては、前記第３のセグメントのセットのセグメントのうちの第１セグメントと、前記第２のセグメントのセットのセグメントのうちの第１セグメントとを有する、前記セグメントの対のセットのうちの第１の対は、対応する重なりの値が、
−各々が、前記第３のセグメントのセットのセグメントのうちの前記第１セグメントと、前記第２のセグメントのセットのセグメントのうちの前記第１セグメントではない他のセグメントとを有するセグメントの他の対に対応する他の重なりの値より大きく、
−各々が、前記第２のセグメントのセットのセグメントのうちの前記第１セグメントと、前記第３のセグメントのセットのセグメントのうちの前記第１セグメントではない他のセグメントとを有するセグメントの他の対に対応する他の重なりの値より大きい場合に選択される。

本発明によるこの実施例の利点は、セグメントの関連する対しか用いられないことにある。セグメントの関連しない対は、合計に対しては無視される。

本発明による方法の実施例においては、前記所定のしきい値が、前記第１のセグメントのセットのセグメントの数に基づく。セグメントの数が増加する場合には、前記セグメントの大きさは当然縮小するであろう。これは、良好な一致を見いだせる可能性が低い前記セグメントのまわりのより多くの境界領域をもたらすであろう。セグメントの数の増大は、重なりの可能性の低下をもたらすであろう。この知識は、前記ショット切れ目のための前記所定のしきい値を、セグメントの数、即ち、セグメントの平均的な大きさに依存させるのに利用される。

本発明による方法の実施例においては、前記所定のしきい値が、前記動きベクトルに基づく。動きの量が多い場合には、オクルージョン(occlusion)の平均的な大きさも相対的に大きい。オクルージョンは、重なりの割合を低減させる。なぜなら、当然、一致は見つからないからである。その他に、動きの増大は、正しい動き推定のより低い確率をもたらすであろう。

他の例においては、前記所定のしきい値は、テクスチャ(texture)の量、即ち、平均一様性に基づく。前記テクスチャは、前記画像をセグメントに分けるのに用いられる。ぼやけたテクスチャは、前記整合性測度を低減させるであろう不安定なセグメンテーションをもたらすであろう。前記ショット切れ目検出器の前記所定のしきい値は、テクスチャ／一様性に依存し得る。

本発明の他の目的は、相対的にロバストである冒頭の段落に記載されている種類のショット切れ目検出器を提供することにある。

この目的は、第１画像及び第２画像を有するビデオ画像のシーケンスにおいてショット切れ目を検出するためのショット切れ目検出器であって、前記第１画像が、セグメンテーションによって決定される第１のセグメントのセットを有し、前記第２画像が、セグメンテーションによって決定される第２のセグメントのセットを有するショット切れ目検出器が、
−前記第２画像のために前記第１のセグメントのセットに基づいて第３のセグメントのセットを作成するための作成手段と、
−セグメントの各対が、前記第３のセグメントのセットのセグメントのうちの１つと、前記第２のセグメントのセットのセグメントのうちの１つとを有するセグメントの各々の対の間の重なりを表わす多くの値に基づいて整合性測度を計算するための計算手段と、
−所定のしきい値と前記整合性測度を比較し、前記整合性測度が前記所定のしきい値未満である場合には前記ショット切れ目が検出されると決定するための比較手段とを有することで達成される。

本発明の他の目的は、相対的にロバストである冒頭の段落に記載されている種類のショット切れ目検出器を有する画像処理装置を提供することにある。

この目的は、第１画像及び第２画像を有するビデオ画像のシーケンスにおいてショット切れ目を検出するためのショット切れ目検出器であって、前記第１画像が、セグメンテーションによって決定される第１のセグメントのセットを有し、前記第２画像が、セグメンテーションによって決定される第２のセグメントのセットを有するショット切れ目検出器が、
−前記第２画像のために前記第１のセグメントのセットに基づいて第３のセグメントのセットを作成するための作成手段と、
−セグメントの各対が、前記第３のセグメントのセットのセグメントのうちの１つと、前記第２のセグメントのセットのセグメントのうちの１つとを有するセグメントの各々の対の間の重なりを表わす多くの値に基づいて整合性測度を計算するための計算手段と、
−所定のしきい値と前記整合性測度を比較し、前記整合性測度が前記所定のしきい値未満である場合には前記ショット切れ目が検出されると決定するための比較手段とを有することで達成される。

本発明による画像処理装置の実施例においては、前記画像処理ユニットが、ビデオ圧縮を行なうよう構成される。本発明による画像処理装置の別の実施例においては、前記画像処理ユニットが、シーン分類を行なうよう構成される。

本発明の他の目的は、相対的にロバストである冒頭の段落に記載されている種類のコンピュータプログラム製品を提供することにある。

この目的は、第１画像及び第２画像を有するビデオ画像のシーケンスにおいてショット切れ目を検出するためのコンピュータプログラム製品であって、前記第１画像が、セグメンテーションによって決定される第１のセグメントのセットを有し、前記第２画像が、セグメンテーションによって決定される第２のセグメントのセットを有するコンピュータプログラム製品が、ロードされた後に、処理手段に、
−前記第２画像のために前記第１のセグメントのセットに基づいて第３のセグメントのセットを作成すること、
−セグメントの各対が、前記第３のセグメントのセットのセグメントのうちの１つと、前記第２のセグメントのセットのセグメントのうちの１つとを有するセグメントの各々の対の間の重なりを表わす多くの値に基づいて整合性測度を計算すること、及び
−所定のしきい値と前記整合性測度を比較し、前記整合性測度が前記所定のしきい値未満である場合には前記ショット切れ目が検出されると決定することを実行するための機能を与えることで達成される。

前記方法の修正例及び変形例は、記載されている前記ショット切れ目検出器、前記画像処理装置及び前記コンピュータプログラム製品の修正例及び変形例に対応し得る。

添付図面を参照して、下記の実施例に関して、本発明による方法、ショット切れ目検出器、画像処理装置及びコンピュータプログラム製品のこれら及び他の特徴を、説明し、明らかにする。

これらの図を通して、同じ参照符号は同様の部分を示すのに用いられる。
図１は、第１のセグメントのセット

及び

を備える第１画像ｎ−１と、第２のセグメントのセット

及び

を備える第２画像ｎとを概略的に示している。第２画像ｎは、第３のセグメントのセット

及び

も有する。第３のセグメントのセットのセグメント

及び

は、各々、セグメント

及び

に基づく。それは、例えば

及び

といった対応するセグメントが、各々の画像ｎ−１及びｎの対応する画素を有することを意味するかもしれない。この場合には、第３のセットのセグメントは、第１のセットのセグメントの第２画像への直接的な射影(direct projection)として理解され得る。他の例においては、２つの対応するセグメントは、等しい大きさ及び形状を持つが、対応する画素を有さない。その場合には、第３のセグメントのセグメントは、第１のセットの射影されたセグメントに基づき、それは、第１のセットのそのセグメントのために推定された動きベクトルを表わすベクトルでシフトされる。

画像ｎ−１は、ビデオ画像のシーケンスにおける前又は次の画像ｎであり得ることに注意されたい。

図２は、本発明によるショット切れ目検出器２００を概略的に示している。ショット切れ目検出器２００は、セグメンテーションによって見出されるセグメントに基づいてビデオ画像のシーケンスにおいてショット切れ目を検出するよう構成される。セグメンテーションは、ショット切れ目検出器の一部であるセグメンテーションユニット（図示せず）によって行なわれてもよい。他の例においては、セグメンテーションは外部で行なわれ、セグメントはショット切れ目検出器の入力コネクタ２０８において供給される。セグメントは、セグメントの輪郭の記述によって表わされ得る。他の例においては、セグメントは行列によって表わされる。第１のセグメントのセットは、ビデオ画像のシーケンスの第１画像に対応し、第２のセグメントのセットは、ビデオ画像のシーケンスの第２画像に対応する。

ショット切れ目検出器２００は、
−第２画像のために、第１のセグメントのセット

及び

に基づいて、第３のセグメントのセット

及び

を作成するためのセット作成器２０２であって、セグメントの作成が、第１のセットのセグメントの直接的な射影に基づくことができ、好ましくは、前記作成が、第１のセットのセグメントのために推定され、入力コネクタ２１６によって供給される動きベクトルにも基づくセット作成器２０２と、
−セグメントの各対が、第３のセグメントのセットのセグメント

のうちの１つと、第２のセグメントのセットのセグメント

のうちの１つとを有するセグメントの各々の対の間の重なりを表わす多くの値Ａ_ｉｊに基づいて整合性測度Ｃ（ｎ−１，ｎ）を計算するための整合性測度計算ユニット２０４と、
−所定のしきい値Ｔ_ｃと整合性測度Ｃ（ｎ−１，ｎ）を比較し、整合性測度Ｃ（ｎ−１，ｎ）が所定のしきい値Ｔ_ｃ未満である場合には、出力コネクタ２１０において、ショット切れ目が検出されると決定するための比較ユニット２０６であって、所定のしきい値Ｔ_ｃが入力コネクタ２１２によって供給される比較ユニット２０６とを有する。

セット作成器２０２、整合性測度計算ユニット２０４及び比較ユニット２０６は１つのプロセッサを用いて実施されてもよい。通常、これらの機能はソフトウェアプログラム製品の制御の下で実行される。通常、実行中、ソフトウェアプログラム製品は、ＲＡＭのようなメモリにロードされ、そこから実行される。プログラムは、ＲＯＭ、ハードディスク又は磁気的及び／若しくは光学的記憶装置のようなバックグラウンドメモリからロードされてもよく、又はインターネットのようなネットワークを介してロードされてもよい。随意に、特定用途向け集積回路が、開示されている機能を供給する。

ショット切れ目検出器２００の動作は、以下に例を用いて説明されている。現在の画像ｎの１つのセグメント

と、前の画像ｎ−１のセグメント

から導き出される１つのセグメント

とから成るセグメントの各対のために、重なりを表わす値Ａ_ｉｊが計算される。これは、式１において明示されているように、セグメント

と

との両方に属する画像ｎの座標

を持つ画素を数えることによって行なわれる。

両方のセグメントのセット、即ち、各々、第２のセグメントのセット及び第３のセグメントのセットの全てのセグメント

及び

に対してこれが行われる場合に、行列Ａが決まる。行列Ａの要素は、表わす各々の値Ａ_ｉｊに対応する。この行列Ａから、所謂対応するセグメントが選択される。それは、セグメントのセット全体からセグメントの特定の対が選択されることを意味する。第３のセグメントのセットのセグメント

のうちの第１セグメントと、第２のセグメントのセットのセグメント

のうちの第１セグメントとを有するセグメントの特定の対は、対応する重なりを表わす値Ａ_ｉｊが、
−各々が、第３のセグメントのセットのセグメントのうちの第１セグメントと、第２のセグメントのセットのセグメントのうちの第１セグメントではない他のセグメントとを有するセグメントの他の対に対応する他の重なりの値より大きく、
−各々が、第２のセグメントのセットのセグメントのうちの第１セグメントと、第３のセグメントのセットのセグメントのうちの第１セグメントではない他のセグメントとを有するセグメントの他の対に対応する他の重なりの値より大きい場合に、選択される。
換言すると、Ａ_ｉｊが列ｉと行ｊとの両方において最大の要素である場合に、セグメントは対応すると呼ばれる。これは、

が

上に重なる最大のセグメントであり、

が

上に重なる最大のセグメントであることを意味する。

整合性測度Ｃ（ｎ−１，ｎ）は、セグメントの選択された対に対応する重なりを表わす値の合計によって計算される。例えば、表１参照。
表１：セグメントの各々の対の間の重なりを表わす実例値

以下の対応するセグメントの対、即ち、

及び

が選択されるように思える。各々の重なりの値は、Ａ_２１＝３００、Ａ_３３＝４００及びＡ_４４＝６５である。例えば

及び

といった幾つかのセグメントは全く選択されないことに注意されたい。それは、対応するセグメントが見つからなかったことを意味する。

整合性測度Ｃ（ｎ−１，ｎ）は、対応するセグメントの対の重なりの値の合計によって計算される。従って、Ｃ（ｎ−１，ｎ）は７６５（＝３００＋４００＋６５）に等しい。
好ましくは、画素数Ｎ∈ｎ、即ち画像ｎの画素数による除算によって正規化整合性測度

が計算される。

正規化整合性測度

の値は［０，１］の範囲内である。
正規化整合性測度

の値は、ショット切れ目を検出するために所定のしきい値Ｔ_ｃと比較され、

＜Ｔ_ｃの場合には、画像ｎ−１とｎとの間にショット切れ目がある。Ｔ_ｃの典型的な値は０．４である。

別の実施例においては、所定のしきい値Ｔ_ｃは、固定されず、画像対ごとに異なる。この浮動的な所定のしきい値Ｔ_ｃ（ｎ）は、整合性測度の移動平均に基づくことができ、現在の整合性測度の値がその平均を著しく下回る場合にショット切れ目が検出される。各検出ショット切れ目の後で、移動平均はリセットされる。

ショット切れ目の決定的なパラメータは、画像中の全画素数と比較しての画像ｎ−１のセグメントと画像ｎのセグメントとの相対的な重なりである。画像ｎ−１及び画像ｎのマッチング画素の数が増加させられ得る場合には重なりは増大する。動き推定及び補償は、より良いマッチング結果を得るための可能な改善である。動き補償は、画像ｎ−１及び画像ｎのセグメントのマッチングの前に行なわれる。それは、第３のセグメントのセットのセグメントが、第１のセグメントのセットのセグメントと、これらのセグメントの各々の動きベクトルとに基づくことを意味する。これは、マッチング結果における動きの影響を低減する。従って、動き推定及び補償が利用される場合、ロバストさは高められる。

本発明による別の実施例においては、重なりを表わす値は、画像ｎ−１及びｎの画素の値に基づく。それは、前記値が画素ごとの重み係数

の合計によって計算されることを意味する。

重み係数

の例は、式４乃至７によって与えられる。

又は

は、画像ｎにおいて座標

を持つ画素の輝度値であり、

は、動きベクトルに基づく

の推定座標である。

又は

は、画像ｎにおいて座標

を持つ画素の明度である。

輝度値又は明度は入力コネクタ２１４によって供給される。

随意に、２つの輝度値又は明度の間の最大差に関する値で、重なりを表わす計算値を除算することによって、付加的な正規化が行なわれる。

セグメンテーションがビデオエンコーダにおいて行なわれる場合には、整合性測度はビデオエンコーダによっても計算され得る。その場合、圧縮されたストリームにも整合性測度の表示が挿入され得る（フレームごとに０と１との間の１つの値、それ故、例えば、フレームごとに８ビットの追加ビットで十分であろう）。符号化側においては所定のしきい値についての決定がなされる必要がないことに注意されたい。このアプローチでは、圧縮されたストリームを受け取るよう設計されている装置により、圧縮ドメインにおいてショット切れ目検出が行なわれ得る。

図３は、本発明に基づいて、音楽ビデオクリップの画像番号の関数として計算される整合性測度を概略的に示している。ｘ軸は、画像（フレーム）番号を表わし、ｙ軸は整合性測度を表わす。所定のしきい値Ｔ_ｃ＝０．４を利用することによって、ショット切れ目が検出され得る。ビデオシーケンス中のショット切れ目の実際の数は相対的に多い可能性があることに注意されたい。７２０枚の画像を有するこのビデオ材料の例においては、３０個のショット切れ目がある。

図４は、本発明による画像処理装置４００を概略的に示している。画像処理装置４００は、
−入力画像を表わす信号を受け取るための受け取り手段４０２と、
−図２と関連して記載されているようなショット切れ目検出器２００と、
−ショット切れ目検出器によって制御される画像処理ユニット４０６と、
−画像処理ユニット４０６の出力画像を表示するための表示装置４０８とを有する。

信号は、アンテナ又はケーブルを介して受け取られるブロードキャスト信号であってもよいが、ＶＣＲ(Video Cassette Recorder)又はＤＶＤ(Digital Versatile Disk)のような記憶装置からの信号であってもよい。信号は、入力コネクタ４１０において供給される。画像処理装置４００は、例えばＴＶであってもよい。他の例においては、画像処理装置４００は、随意の表示装置４０８を含まないが、表示装置を有する装置に出力画像を供給する。その場合、画像処理装置４００は、例えば、セットトップボックス、衛星受信機、ＶＣＲプレーヤ、ＤＶＤプレーヤ又はレコーダであってもよい。随意に、画像処理装置４００は、例えば光ディスクといった取り外し可能な媒体における記憶のための手段又はハードディスクのうような記憶手段を有する。画像処理装置４００はまた、映画スタジオ又はブロードキャスタによって利用されるシステムであってもよい。

画像処理ユニット４０６は、以下のタイプの画像処理、即ち、
−ビデオ圧縮、即ち、例えばＭＰＥＧ規格に従う符号化又は復号、
−デインターレーシング(de-interlacing)（インターレーシングは、奇数番号をつけられた画像線又は偶数番号をつけられた画像線を交互に伝送するための一般的なビデオブロードキャストプロシージャであり、デインターレーシングは、フルの垂直解像度を復元しようとする、即ち、各画像のために奇数線と偶数線とを同時に利用可能にしようとする）、
−画像レート変換（元の入力画像の連続から出力画像のより大きい連続が計算され、出力画像が時間的に２つの元の入力画像の間に配置される）、及び
−時間的なノイズの低減（これは、空間的・時間的なノイズの低減をもたらす空間的な処理も含むことが出来る）のうちの１つ以上をサポートし得る。
全てのこれらのタイプの画像処理にとって、入ってくるビデオ画像のシーケンスをサブシーケンスに分割することは適切である。なぜなら、これらのタイプの画像処理において関連しない画像を組み合わせることはアーチファクトをもたらし得るからである。

本発明による方法及び検出器はビデオシーケンスにおいて異なるタイプのショット切れ目を検出するのに利用され得ることに注意されたい。これらのショット切れ目は、鮮明な切れ目(hard cut)を含むが、緩やかな切れ目(soft-cut)、即ち、所謂ワイプ、フェードイン、フェードアウト又はディゾルブも含む。それは、例えば、第１ショットの画像と、第２ショットの画像とが部分的に混合されることを意味する。

上記の実施例は、本発明を限定するものではなく、説明するものであり、当業者は、添付されている特許請求の範囲の範囲から外れない別の実施例を設計することが出来るであろうことに注意されたい。特許請求の範囲においては、括弧内に配置されている如何なる参照符号も特許請求の範囲を限定するものとして解釈されるべきではない。「有する」という文言は、請求項において列挙されていない要素又はステップの存在を除外しない。要素の単数形表記は、このような要素の複数の存在を除外しない。本発明は、幾つかの別個の素子を有するハードウェア、及び適当にプログラムされたコンピュータによって実施され得る。幾つかの手段を列挙する装置クレームにおいて、これらの手段の幾つかはハードウェアの同一アイテムによって実施され得る。

第１のセグメントのセットを備える第１画像と、第２のセグメントのセット及び第３のセグメントのセットを備える第２画像とを概略的に示す。 本発明によるショット切れ目検出器を概略的に示す。 本発明に従って、音楽ビデオクリップの画像数の関数として計算されている整合性測度を概略的に示す。 本発明による画像処理装置を概略的に示す。

Claims (14)

1. 第１画像及び第２画像を有するビデオ画像のシーケンスにおいてショット切れ目を検出する方法であり、前記第１画像が、セグメンテーションによって決定される第１のセグメントのセットを有し、前記第２画像が、セグメンテーションによって決定される第２のセグメントのセットを有する方法であって、
   −前記第２画像のために前記第１のセグメントのセットに基づいて第３のセグメントのセットを作成するステップと、
   −セグメントの各対が、前記第３のセグメントのセットのセグメントのうちの１つと、前記第２のセグメントのセットのセグメントのうちの１つとを有するセグメントの各々の対の間の重なりを表わす多くの値に基づいて整合性測度を計算するステップと、
   −所定のしきい値と前記整合性測度を比較し、前記整合性測度が前記所定のしきい値未満である場合には前記ショット切れ目が検出されると決定するステップとを有する方法。
2. 前記第３のセグメントのセットの作成が、前記第１のセグメントのセットの各々のセグメントのために推定される動きベクトルに基づいて行なわれることを特徴とする請求項１に記載の方法。
3. 前記セグメントの各々の対の間の重なりを表わす値の第１の値が、前記第２のセグメントのセットのセグメントのうちの第１セグメントに属し、前記第３のセグメントのセットのセグメントのうちの第１セグメントに属する画素の数を数えることによって計算されることを特徴とする請求項１に記載の方法。
4. 前記セグメントの各々の対の間の重なりを表わす値の第１の値が、重み付けされた値の累積によって計算され、前記重み付けされた値の第１の値が、前記第２のセグメントのセットのセグメントのうちの第１セグメントの第１画素の第１輝度値と、前記第１画像の第２画素の第２輝度値との間の差に関し、前記第１画素が、前記第３のセグメントのセットのセグメントのうちの第１セグメントにも属することを特徴とする請求項１に記載の方法。
5. 前記セグメントの各々の対の間の重なりを表わす値の第１の値が、重み付けされた値の累積によって計算され、前記重み付けされた値の第１の値が、前記第２のセグメントのセットのセグメントのうちの第１セグメントの第１画素の第１明度と、前記第１画像の第２画素の第２明度との間の差に関し、前記第１画素が、前記第３のセグメントのセットのセグメントのうちの第１セグメントにも属することを特徴とする請求項１に記載の方法。
6. 各々の重なりを表わす値に基づいて、セグメントの対のセットからセグメントの対を選択することによって、前記セグメントの各々の対を決定するステップを有することを特徴とする請求項１に記載の方法。
7. 前記第３のセグメントのセットのセグメントのうちの第１セグメントと、前記第２のセグメントのセットのセグメントのうちの第１セグメントとを有する、前記セグメントの対のセットのうちの第１の対が、対応する重なりの値が、
   −各々が、前記第３のセグメントのセットのセグメントのうちの前記第１セグメントと、前記第２のセグメントのセットのセグメントのうちの前記第１セグメントではない他のセグメントとを有するセグメントの他の対に対応する他の重なりの値より大きく、
   −各々が、前記第２のセグメントのセットのセグメントのうちの前記第１セグメントと、前記第３のセグメントのセットのセグメントのうちの前記第１セグメントではない他のセグメントとを有するセグメントの他の対に対応する他の重なりの値より大きい場合に選択されることを特徴とする請求項６に記載の方法。
8. 前記所定のしきい値が、前記第１のセグメントのセットのセグメントの数に基づくことを特徴とする請求項１に記載の方法。
9. 前記所定のしきい値が、前記動きベクトルに基づくことを特徴とする請求項２に記載の方法。
10. 第１画像及び第２画像を有するビデオ画像のシーケンスにおいてショット切れ目を検出するためのショット切れ目検出器であり、前記第１画像が、セグメンテーションによって決定される第１のセグメントのセットを有し、前記第２画像が、セグメンテーションによって決定される第２のセグメントのセットを有するショット切れ目検出器であって、
    −前記第２画像のために前記第１のセグメントのセットに基づいて第３のセグメントのセットを作成するための作成手段と、
    −セグメントの各対が、前記第３のセグメントのセットのセグメントのうちの１つと、前記第２のセグメントのセットのセグメントのうちの１つとを有するセグメントの各々の対の間の重なりを表わす多くの値に基づいて整合性測度を計算するための計算手段と、
    −所定のしきい値と前記整合性測度を比較し、前記整合性測度が前記所定のしきい値未満である場合には前記ショット切れ目が検出されると決定するための比較手段とを有するショット切れ目検出器。
11. −ビデオ画像のシーケンスに対応する信号を受け取るための受け取り手段と、
    −請求項１に記載されているように前記ビデオ画像のシーケンスにおいてショット切れ目を検出するためのショット切れ目検出器と、
    −前記ショット切れ目検出器によって制御される画像処理ユニットとを有する画像処理装置。
12. 前記画像処理ユニットが、ビデオ圧縮を行なうよう構成されることを特徴とする請求項１１に記載の画像処理装置。
13. 前記画像処理ユニットが、シーン分類を行なうよう構成されることを特徴とする請求項１１に記載の画像処理装置。
14. コンピュータ装置によってロードされるコンピュータプログラムであり、第１画像及び第２画像を有するビデオ画像のシーケンスにおいてショット切れ目を検出するための命令を有し、前記第１画像が、セグメンテーションによって決定される第１のセグメントのセットを有し、前記第２画像が、セグメンテーションによって決定される第２のセグメントのセットを有し、前記コンピュータ装置が、処理手段とメモリとを有するコンピュータプログラムであって、ロードされた後に、前記処理手段に、
    −前記第２画像のために前記第１のセグメントのセットに基づいて第３のセグメントのセットを作成すること、
    −セグメントの各対が、前記第３のセグメントのセットのセグメントのうちの１つと、前記第２のセグメントのセットのセグメントのうちの１つとを有するセグメントの各々の対の間の重なりを表わす多くの値に基づいて整合性測度を計算すること、及び
    −所定のしきい値と前記整合性測度を比較し、前記整合性測度が前記所定のしきい値未満である場合には前記ショット切れ目が検出されると決定することを実行するための機能を与えるコンピュータプログラム。

Images