JP2008083894A - プログラム、検出方法、及び検出装置 - Google Patents

Abstract

【課題】カットチェンジの検出を高精度に行う。
【解決手段】ヒストグラム生成部１０１は、前フレームと現フレームのそれぞれの輝度または色のヒストグラムを生成し、空間相関画像生成部１０２は、前フレームと現フレームのそれぞれの空間配置の相関関係を表す画像である空間相関画像を生成する。ヒストグラム類似度計算部１０４は、前フレームのヒストグラムと現フレームのヒストグラムの類似度であるヒストグラム類似度を計算し、空間相関画像類似度計算部１０５は、前フレームの空間相関画像と現フレームの空間相関画像の類似度である空間相関画像類似度を計算する。判定部６４は、ヒストグラム類似度と空間相関画像類似度に基づいて、前フレームと現フレームにおける画像の変化がカットチェンジであるかを判定する。本発明は、例えば、画像処理用のパーソナルコンピュータに適用できる。
【選択図】図１２

Description

本発明は、プログラム、検出方法、及び検出装置に関し、特に、カットチェンジの検出を高精度に行うことができるようにするプログラム、検出方法、及び検出装置に関する。

画像からカットチェンジを検出する処理は、画像の分析、符号化、検索等を行う場合に有用である。

ここで、カットとは、空間的に連続するひとまとまりの画像区間（画像クリップ）を意味し、カットチェンジは、カットの切り替え点、すなわち、時間的若しくは空間的に不連続な画像クリップどうしが連結された境界である画像の変化点のことを意味する。

なお、カットチェンジは、ショットチェンジ、シーンチェンジ、画像変化点等と称される場合があるが、本明細書においては、カットチェンジと称する。

ところで、従来のカットチェンジの検出方法として、統計量差分法、画素差分法、符号化データ法、エッジ法等が知られているが、最も精度がよいと認識されているのは、ヒストグラム差分法である。

ヒストグラム差分法においては、ヒストグラムの差分値が用いられる。

ここで、ヒストグラムは、あるフレームの画像の各ピクセルを、その輝度または色の画素値に対応して、適当な階調数（一般には、16乃至64階調がよく用いられる）に分割された各要素（ビン）に投票することで、その画像の輝度または色の頻度分布を求めたものである。

ヒストグラム差分法には、単純ヒストグラム差分法と分割ヒストグラム差分法がある。

単純ヒストグラム差分法においては、処理対象とする、例えば２フレームの画像のそれぞれのヒストグラムどうしの違いが評価量として算出される（例えば、非特許文献１参照）。

また、単純ヒストグラム差分法においては、一般に、ヒストグラムどうしの違いとして、ヒストグラムの同じビンどうしの差分値のヒストグラム全体に関する絶対和（以下、適宜、ヒストグラム差分絶対和という）が評価量として算出される。

分割ヒストグラム差分法においては、処理対象とする、例えば２フレームの画像のそれぞれの画像全体が所定数のブロック（例えば、非特許文献１では、１６個のブロック）に分割され、各ブロックのヒストグラムどうしの違いが求められ、そのヒストグラムどうしの違いが小さい方から所定数のブロックのみが、評価量の算出に用いられる（例えば、非特許文献１及び２参照）。

カット内の画像の変化には、カメラモーション、撮影対象の移動や変形等の変化（以下、適宜、位置姿勢形状系変化という）、カメラの絞りやカラーバランスの変化、撮影対象の明るさや色等の変化（以下、適宜、明るさ色系変化という）、そして、テロップ等の出現、高速に移動する物体の出現や消滅等の変化（以下、適宜、出現系変化という）等がある。

ヒストグラム差分法を用いた場合、ヒストグラムを生成する処理の過程で、撮影対象の形状や空間配置等の情報がほとんど無くなるので、カット内で最も頻発する位置姿勢形状系変化に対する感度を低く抑えることができる。したがって、ヒストグラム差分法のカットチェンジ検出の精度は、他の方法のカットチェンジ検出の精度に比べて高くなっている。

また、ヒストグラム差分法を用いた場合、ヒストグラムを生成する処理の過程で、撮影対象の形状や空間配置等の情報がほとんど無くなるので、副作用として、明るさ色系変化や出現系変化に対して、必要以上に感度が高くなってしまう。

非特許文献２によれば、ヒストグラム差分法は、上述した方法の中では最も検出の精度が高いとされており、単純ヒストグラム差分法で85%程度、分割ヒストグラム差分法で90%程度の検出率が達成されたと報告されている。

しかしながら、最も精度が高い分割ヒストグラム差分法であっても、カットチェンジとされるべきカットチェンジ（正しいカットチェンジ）の10個につき1個程度の割合で、過剰検出や検出の漏れが発生していることになり、十分な精度があるとは言えなかった。

図１及び図２を参照して、ヒストグラム差分法を用いた場合のカット内の画像の変化とヒストグラムの関係について説明する。

図１は、画像全体の明るさが変化した場合のヒストグラムの変化を示している。

図１において、フレームＦ１とフレームＦ２は、時間的に隣接する処理対象とする２フレームの画像であり、ヒストグラムＨ１とヒストグラムＨ２は、それぞれフレームＦ１とフレームＦ２の画像全体に関する輝度のヒストグラムである。

図１において、フレームＦ１とフレームＦ２の間では、撮影対象の形状や空間配置はほとんど変化せず、画像全体の輝度が暗くなるように変化しているので、ヒストグラムＨ２は、ヒストグラムＨ１に較べて、ヒストグラムが全体的に図中左方向（輝度値が小さい方向）にずれている。

フレームＦ１とフレームＦ２の間の画像の変化は、本来、カット内の画像の変化とすべきであるにもかかわらず、単純ヒストグラム差分法を用いた場合、ヒストグラムＨ１とヒストグラムＨ２の間の違いが所定の閾値以上になると、フレームＦ１とフレームＦ２の間の切り替え点がカットチェンジと誤って判定されてしまうおそれが高い。

また、分割ヒストグラム差分法を用いた場合も、画像全体の輝度が変化すると、すべてのブロックでフレームＦ１とフレームＦ２のそれぞれのヒストグラムどうしの違いが生じるので、カットチェンジの誤検出が生じるおそれが高い。

図２は、テロップが出現した場合のヒストグラムの変化を示している。

図２において、フレームＦ１１とフレームＦ１２は、時間的に隣接する処理対象とする２フレームの画像であり、ヒストグラムＨ１１とヒストグラムＨ１２は、それぞれフレームＦ１１とフレームＦ１２の画像全体に関する輝度のヒストグラムである。

図２において、フレームＦ１１とフレームＦ１２の間の画像の変化は、主に、突然出現したテロップの分であり、ヒストグラムＨ１２は、ヒストグラムＨ１１と比べて、テロップの領域のヒストグラムが加わり、また、テロップで隠蔽された領域のヒストグラムが差し引かれるように変化している。

フレームＦ１１とフレームＦ１２との間の画像の変化は、本来、カット内の画像の変化とすべきであるにもかかわらず、単純ヒストグラム差分法を用いた場合、ヒストグラムＨ１１とヒストグラムＨ１２の間の違いが所定の閾値以上となると、フレームＦ１１とフレームＦ１２の切り替え点がカットチェンジと誤って判定されてしまうおそれが高い。

一方、分割ヒストグラム差分法を用いた場合には、テロップの領域に対応するブロック以外のブロックどうしのヒストグラムの違いが小さいので、評価量の算出に用いるブロックの数が適切であれば、フレームＦ１１とフレームＦ１２の間の画像の変化がカットチェンジでないと判定され、カットチェンジの誤検出が生じるおそれが低い。

以上のように、分割ヒストグラム差分法では、ヒストグラムどうしの違いが小さい方から所定数のブロックを、評価量の算出に用いるブロックとすることにより、撮影対象の形状や空間配置等に関する情報を部分的にではあるが利用していることになるので、単純ヒストグラム差分法に比べてカットチェンジ検出の精度が高くなる。ただし、分割ヒストグラム差分法を用いた場合でも、図１の場合のように、画像の全体の輝度が変化する場合や、撮影対象がブロックの境界を跨いで高速に移動する場合等には、カットチェンジの誤検出が発生するおそれが高い。

また、ヒストグラム差分法（単純ヒストグラム差分法及び分割ヒストグラム差分法）を用いた場合、輝度の微小変動が、カットチェンジと誤って判定されてしまうおそれがある。

次に、図３乃至図５を参照して、ヒストグラム差分法を用いた場合の輝度の微小変動とヒストグラムの関係について説明する。

図３は、カットチェンジが正しく検出される場合のヒストグラムの変化を示している。

図３において、フレームＦ３１乃至Ｆ３３は、時間的に隣接する一連の画像であり、フレームＦ３１から順番に２フレームずつの画像が、カットチェンジを検出する処理対象とされる。すなわち、最初に、フレームＦ３１とフレームＦ３２が処理対象とされ、次に、フレームＦ３２とフレームＦ３３が処理対象とされる。

また、ヒストグラムＨ３１乃至Ｈ３３は、それぞれフレームＦ３１乃至Ｆ３３の画像全体に関する輝度のヒストグラムである。

図３において、フレームＦ３１とフレームＦ３２の間の画像の変化は、主に、撮影対象としての人の移動の分なので、ヒストグラムＨ３１とヒストグラムＨ３２の分布はほぼ一致している。

この場合、ヒストグラムＨ３１とヒストグラムＨ３２の違いとして、例えば、ヒストグラムＨ３１とヒストグラムＨ３２のヒストグラム差分絶対和を計算すると、そのヒストグラム差分絶対和は十分に小さくなる。したがって、ヒストグラムＨ３１とヒストグラムＨ３２の間の違いは十分に小さいので、フレームＦ３１とフレームＦ３２の間の画像の変化は、カットチェンジではないと正しく判定することができる。

これに対して、フレームＦ３２とフレームＦ３３の間では、撮影対象が全く異なっている（前者は人であるのに対して後者は山である）ので、ヒストグラムＨ３２とヒストグラムＨ３３の間で、ヒストグラムが大きく変化している。

この場合、ヒストグラムＨ３２とヒストグラムＨ３３の間の違いとして、例えば、ヒストグラムＨ３２とヒストグラムＨ３３のヒストグラム差分絶対和を計算すると、そのヒストグラム差分絶対和は十分に大きく、したがって、ヒストグラムＨ３２とヒストグラムＨ３３の間の違いは十分に大きいので、フレームＦ３２とフレームＦ３３の間の画像の変化は、カットチェンジと正しく判定することができる。

図４は、輝度の微小変動が生じた場合のヒストグラムの変化を示している。

図４において、フレームＦ４１乃至Ｆ４５は、時間的に隣接する一連の画像であり、フレームＦ４１から順番に２つずつの画像がカットチェンジを検出する処理対象とされる。すなわち、最初に、フレームＦ４１とフレームＦ４２が処理対象とされ、次に、フレームＦ４２とフレームＦ４３が処理対象とされる。以下、同様に、２フレームずつの画像が処理対象とされる。

また、ヒストグラムＨ４１乃至Ｈ４５は、それぞれフレームＦ４１乃至Ｆ４５の画像全体に関する輝度のヒストグラムである。

フレームＦ４１乃至Ｆ４５は、例えば、それぞれ単色の画像であり、さらに、各画像の輝度は画像全体で同じである。

図４において、ヒストグラムのビンの数は64個、ビンの幅は4階調である。また、ビンの分割境界は、例えば、76階調と77階調の間、80階調と81階調の間等とされている。そして、フレームＦ４１乃至Ｆ４５には、73，75，77，79，81と、微小な輝度変動が生じており、画像全体の輝度がわずかずつ増加している。また、フレームＦ４１乃至Ｆ４５のそれぞれの画像全体の輝度は同じであるので、ヒストグラムＨ４１乃至Ｈ４５のそれぞれは、１つのビンに頻度が集中している。ヒストグラムの、あるビンに頻度が集中している部分を、以下、適宜、ヒストグラムピークという。

フレームＦ４１乃至Ｆ４５の画像の変化、つまり、輝度の微小変動は、カット内の画像の変化であり、カットチェンジではない。

フレームＦ４３は、フレームＦ４２に比べて、画像全体の輝度が75から77に微かではあるが増えており、画像全体の輝度がビンの分割境界の１つの76と77の間を跨いだので、ヒストグラムＨ４３は、ヒストグラムＨ４２と比べて、ヒストグラムピークが右隣のビンに移動するように、大きく変化している。そして、例えば、ヒストグラムＨ４２とヒストグラムＨ４３のヒストグラム差分絶対和を計算すると、そのヒストグラム差分絶対和は、ヒストグラムの違いとしては最大となるので、フレームＦ４２とフレームＦ４３の間の切り替え点がカットチェンジと誤検出されてしまう。

同様に、フレームＦ４５は、フレームＦ４４に比べて、画像全体の輝度が79から81に微かではあるが増えており、画像全体の輝度がビンの分割境界の１つの80と81の間を跨いだので、ヒストグラムＨ４５は、ヒストグラムＨ４４と比べて、ヒストグラムピークが右隣のビンに移動するように変化している。そして、例えば、ヒストグラムＨ４４とヒストグラムＨ４５のヒストグラム差分絶対和を計算すると、そのヒストグラム差分絶対和は、ヒストグラムの違いとしては最大となるので、フレームＦ４４とフレームＦ４５の間の切り替え点がカットチェンジと誤検出されてしまう。

かかるカットチェンジの誤検出は、上述したように、特に、単色の画像を処理する場合に典型的に観測されるが、複数色の画像である一般の画像を処理する場合であっても、輝度または色の微小変動に伴って、輝度または色のヒストグラムのビンの分割境界を跨ぐピクセルの数が大きく変化する場合に観測される。このように、処理対象とする２フレームの画像の間の輝度または色の微小変動に伴って、その２つの画像のヒストグラムどうしの違いのブレが生じることは、カットチェンジの検出精度を下げる原因の１つとなっている。

特許文献１には、処理対象とする２つの画像どうしの画像全体の輝度の平均値を一致させる処理を行うことにより、２つの画像のそれぞれのヒストグラムの全体を輝度の軸の方向にシフトさせ（以下、適宜、ヒストグラムシフトという）、ヒストグラムシフト後のヒストグラムどうしの違いを計算する方法が提案されている。この方法を、例えば、図４のような比較的単純な例に採用すると、ヒストグラムシフト後のヒストグラムどうしがほぼ同じ形状、位置となるので、ヒストグラムどうしの違いのブレは吸収され、誤検出が抑制される。

しかし、図５に示されるような場合、誤検出が発生する。すなわち、図５は、画像の左半分と右半分のそれぞれに輝度の微小変動が生じた場合のヒストグラムの変化を示している。

図５において、フレームＦ５１とフレームＦ５２は、時間的に隣接する処理対象とする２つの画像であり、ヒストグラムＨ５１とヒストグラムＨ５２は、それぞれフレームＦ５１とフレームＦ５２の画像全体に関する輝度のヒストグラムである。

フレームＦ５１及びフレームＦ５２の左半分と右半分の領域は、それぞれ単色の画像となっている。

図５において、ヒストグラムのビンの数は64個、ビンの幅は4階調である。また、ビンの分割境界は、例えば、76階調と77階調の間、80階調と81階調の間等とされている。

図５において、フレームＦ５１の左半分と右半分のそれぞれの輝度は、75と81であり、フレームＦ５２の左半分と右半分のそれぞれの輝度は、77と83である。したがって、ヒストグラムＨ５１には、75と81を含むビンのそれぞれにヒストグラムピークがあり、また、フレームＦ５２には、77と83を含むビンのそれぞれにヒストグラムピークがある。

フレームＦ５１とフレームＦ５２の間の画像の変化、つまり、輝度の微小変動は、カット内の画像の変化であり、したがって、フレームＦ５１とフレームＦ５２の境界は、カットチェンジではない。

フレームＦ５２の左半分は、フレームＦ５１の左半分に比べて、画像全体の輝度が75から77に微かではあるが増えており、画像左半分の輝度がビンの分割境界の１つの76と77の間を跨いでいる。一方、フレームＦ５２の右半分は、フレームＦ５１の右半分に比べて、画像全体の輝度が81から83に微かではあるが増えているが、ビンの分割境界を跨いでいない。したがって、ヒストグラムＨ５１とヒストグラムＨ５２の間では、左のヒストグラムピークのみが分割境界である76と77の間を跨いで右隣のビンに移動している。その結果、例えば、ヒストグラムＨ５１とヒストグラムＨ５２のヒストグラム差分絶対和を計算した場合、そのヒストグラム差分絶対和が所定の閾値以上になると、フレームＦ５１とフレームＦ５２の間の画像の変化がカットチェンジと誤検出されてしまう。

このように輝度の微小変動に伴ってヒストグラムの形状が変化する場合には、ヒストグラムシフトだけでは、ヒストグラムどうしの違いのブレを吸収することは難しい。つまり、画像の変化が図４に示した場合より少し複雑化するだけで、ヒストグラムシフトが有効に機能しなくなってしまう。

そこで、特許文献２には、ヒストグラムの生成時に、投票をするビンだけでなく、そのビンに隣接するビンにも所定の割合で投票する方法が提案されている。

かかる方法を用いた場合、画像全体の輝度の変動量が、ヒストグラムのビンの幅に対して十分に小さい場合は、ヒストグラムどうしの違いのブレを緩和させる効果を期待できるが、画像全体の輝度の変動量が、ヒストグラムのビンの幅に対して無視できないほどである場合は、隣接するビンへの投票だけでは、ヒストグラムどうしの違いのブレを吸収できなくなってしまう。

以上のように、ヒストグラム差分法では、輝度または色の微小変動に伴って生じるカットチェンジの誤検出を減らすことが困難であった。

ところで、カットチェンジは、一般に、上述したような隣り合う画像の間に生じることが多く、かかるカットチェンジを、以下、適宜、通常カットチェンジという。これに対して、前後の画像が混合されたような画像内で、２つのカットが連結されるようなカットチェンジもある。これを、ブレンドカットチェンジという。

通常カットチェンジの検出方法では、上述したように、処理対象とする２つの画像どうしの類似度が評価量として計算され、その類似度が所定の閾値よりも低い場合に、すなわち、非類似度が所定の閾値よりも高い場合に、２つの画像の間の画像の変化がカットチェンジであると判定される。

しかし、このような方法では、ブレンドカットチェンジを正確に検出することが困難である。すなわち、通常カットチェンジの例を示している図６において、フレームＦ６１乃至フレームＦ６３は、時間的に隣接する一連の画像であり、フレームＦ６１から順番に２つずつの画像がカットチェンジを検出する処理対象とされる。すなわち、最初に、フレームＦ６１とフレームＦ６２が処理対象とされ、次に、フレームＦ６２とフレームＦ６３が処理対象とされる。

図６において、人が撮影対象となっているフレームＦ６１と家が撮影対象となっているフレームＦ６２の類似度が低くなっており、その類似度が所定の閾値以下であれば、フレームＦ６１とフレームＦ６２の間の画像の変化が、通常カットチェンジであると判定される。また、家が撮影対象となっているフレームＦ６２とやはり家が撮影対象となっているフレームＦ６３の類似度が高くなっており、その類似度が閾値以下でなければ、カットチェンジではないと判定される。

これに対して、ブレンドカットチェンジの例を示している図７において、フレームＦ７１乃至フレームＦ７３は、時間的に隣接する一連の画像であり、フレームＦ７１から順番に２つずつの画像がカットチェンジ検出の処理対象とされる。すなわち、最初に、フレームＦ７１とフレームＦ７２が処理対象とされ、次に、フレームＦ７２とフレームＦ７３が処理対象とされる。

人と家が撮影対象となっているフレームＦ７２は、人が撮影対象である前のフレームＦ７１と、家が撮影対象である後のフレームＦ７３が混合したような画像となっており、フレームＦ７２内で２つのカットが連結されているので、フレームＦ７２はブレンドカットチェンジとなっている。

このようなブレンドカットチェンジは、例えば、カットチェンジが同一画像内のフィールド間で生じる場合（かかるカットチェンジを、以下、適宜、フィールドカットチェンジという）、画像フィルタにより隣接する画像どうしが混合された場合、符号化若しくは復号化時に隣接する画像どうしが混合された場合、編集時に隣接する画像どうしが混合された場合等に生じる。

図７において、フレームＦ７２は、フレームＦ７１またはＦ７３と類似する部分をそれぞれ含んでおり、フレームＦ７２はフレームＦ７１とフレームＦ７３のどちらに対しても類似度が高くなっているので、隣り合う２つの画像どうしの類似度に基づいて、カットチェンジを検出する方法を採用しても、ブレンドカットチェンジを検出することは困難である。

ブレンドカットチェンジの１つであるフィールドカットチェンジを検出する方法が、特許文献３に提案されている。特許文献３の方法では、隣接する２つの画像どうしの類似度ではなく、１フレームおいた２つのフレームの画像どうしの類似度に基づいて、カットチェンジが検出される。

しかしながら、特許文献３の方法を用いた場合、各フレームの画像が撮影対象が早く動く画像である場合には、カットチェンジが検出できないおそれがある。

例えば、図８において、フレームＦ８１乃至フレームＦ８３は、時間的に隣接する一連の画像であり、人が家から画面内の左方向に次第に離れていく画像を表している。フレームＦ８１乃至フレームＦ８３の画像は、人が画面内の左方向に高速に移動している画像であり、カットチェンジは生じていない。

図８において、人の全部と家の左側の一部を含む画像のフレームＦ８１と、人の全部と家の左側のより広い範囲を含む画像のフレームＦ８２の類似度、並びに、そのフレームＦ８２と人の右側半分と家の全部を含む画像のフレームＦ８３の類似度はそれぞれ高くなっているが、人の動きが早いので、人の全部と家の左側の一部を含む画像のフレームＦ８１と、人の右側半分と家の全部を含む画像のフレームＦ８３の類似度は低くなっている。

上述した特許文献３の方法を用いた場合、カットチェンジを検出する処理対象とするフレームＦ８１乃至フレームＦ８３のうちの、例えば、１つおきのフレームＦ８１とフレームＦ８３の類似度を求めるとすると、フレームＦ８１とフレームＦ８３の類似度は低いので、フレームＦ８１乃至フレームＦ８３の間の画像の変化がブレンドカットチェンジと誤って判定されてしまうおそれが高い。

また、特許文献４には、符号化データを用いて、フィールドカットチェンジを検出する方法が提案されている。しかし、この方法は、特定の符号化方式の符号化画像に特有の特徴量を利用するため、その符号化方式を用いて符号化された画像にしか適用できない。

特許文献５には、処理対象とする２つの画像のピクセルどうしの差分値の画像全体に関する絶対和（以下、適宜、差分絶対和という）を求めるとともに、さらに、差分絶対和どうしの差分値を求めることにより、通常カットチェンジとフィールドカットチェンジを区別して検出する方法が提案されている。しかしながら、この方法を用いた場合でも、ブレンドカットチェンジ（フィールドカットチェンジを含む）を精度よく検出することは困難である。

情報処理学会論文誌，長坂晃朗，田中譲，１９９２年４月，Vol.33，No.4，P.543-550 Comparison of Video Shot Boundary Detection Techniques, John S. Boreczky, Lawrence A. Rowe. Storage and Retrieval for Image and Video Databases (SPIE) (1996) p170-179 特開２００６−１２１２７４号公報 特開２００４−２８２３１８号公報 特開２０００−２９５６２４号公報 特開２００２−６４８２３号公報 特開２０００−３２４４９９号公報

以上のように、従来の方法では、カットチェンジを正確に検出することが困難であった。特に、最近、放送画像にテロップが挿入されることが多くなり、このような画像からカットチェンジを正確に検出することが困難であった。

よって、カットチェンジの検出をさらに高い精度で行う方法の提案が望まれている。

本発明は、このような状況に鑑みてなされたものであり、カットチェンジの検出を高精度に行うことができるようにするものである。

本発明の一側面のプログラムまたは検出方法は、第１の画像と第２の画像の類似度に基づいて、カットチェンジを検出する検出処理をコンピュータに実行させるプログラムまたは検出方法において、前記第１の画像と前記第２の画像のそれぞれの輝度または色のヒストグラムを生成し、前記第１の画像と前記第２の画像のそれぞれの空間配置の相関関係を表す画像である空間相関画像を生成し、前記第１の画像の前記ヒストグラムと前記第２の画像の前記ヒストグラムの類似度であるヒストグラム類似度を計算し、前記第１の画像の前記空間相関画像と前記第２の画像の前記空間相関画像の類似度である空間相関画像類似度を計算し、前記ヒストグラム類似度と前記空間相関画像類似度に基づいて、前記第１の画像と前記第２の画像の境界がカットチェンジであるかを判定するステップを備える。

本発明の一側面のプログラムには、前記ヒストグラム類似度計算ステップによって計算された、近傍の複数フレームの画像の前記ヒストグラム類似度の平均、若しくは、前記空間相関画像類似度計算手段によって計算された、近傍の複数フレームの画像の前記空間相関画像類似度の平均のいずれか一方または両方である平均類似度を計算する平均類似度計算ステップをさらに設け、前記判定ステップには、前記ヒストグラム類似度、前記空間相関画像類似度、及び前記平均類似度に基づいて、前記第１の画像と前記第２の画像の境界が、カットチェンジであるかを判定させることができる。

本発明の一側面のプログラムには、前記第１の画像の近傍の複数フレームの画像の輝度または色の平均である近傍平均色を計算する近傍平均色計算ステップをさらに設け、前記判定ステップには、前記ヒストグラム類似度、前記空間相関画像類似度、及び前記近傍平均色に基づいて、前記第１の画像と前記第２の画像の境界がカットチェンジであるかを判定させることができる。

本発明の一側面のプログラムには、前記第１の画像と前記第２の画像のそれぞれの輝度または色の精細ヒストグラムを生成し、前記精細ヒストグラムに対してフィルタ処理を施して特徴分布を算出し、前記第１の画像と前記第２の画像のそれぞれの前記特徴分布の類似度を算出し、前記第１の画像と前記第２の画像以外に、さらに第３の画像の特徴を抽出し、前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度を算出し、前記第１の画像、前記第２の画像及び前記第３の画像の縮小画像を生成し、前記第１の画像と前記第３の画像の縮小画像の合成画像を生成し、前記第２の画像の縮小画像と前記合成画像の類似度を算出するステップをさらに設け、前記判定ステップには、さらに前記特徴分布の類似度、前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度、並びに前記第２の画像の縮小画像と前記合成画像の類似度に基づいて、前記第１の画像と前記第２の画像の境界が、カットチェンジであるかを判定させることができる。

本発明の一側面の検査装置は、第１の画像と第２の画像の類似度に基づいて、カットチェンジを検出する検出装置において、前記第１の画像と前記第２の画像のそれぞれの輝度または色のヒストグラムを生成するヒストグラム生成手段と、前記第１の画像と前記第２の画像のそれぞれの空間配置の相関関係を表す画像である空間相関画像を生成する空間相関画像生成手段と、前記第１の画像の前記ヒストグラムと前記第２の画像の前記ヒストグラムの類似度であるヒストグラム類似度を計算するヒストグラム類似度計算手段と、前記第１の画像の前記空間相関画像と前記第２の画像の前記空間相関画像の類似度である空間相関画像類似度を計算する空間相関画像類似度計算手段と、前記ヒストグラム類似度と前記空間相関画像類似度に基づいて、前記第１の画像と前記第２の画像の境界がカットチェンジであるかを判定する判定手段とを備える。

本発明の一側面においては、第１の画像と第２の画像のそれぞれの輝度または色のヒストグラムが生成され、第１の画像と第２の画像のそれぞれの空間配置の相関関係を表す画像である空間相関画像が生成される。また、第１の画像のヒストグラムと第２の画像のヒストグラムの類似度であるヒストグラム類似度が計算され、第１の画像の空間相関画像と第２の画像の空間相関画像の類似度である空間相関画像類似度が計算される。そして、ヒストグラム類似度と空間相関画像類似度に基づいて、第１の画像と第２の画像の境界がカットチェンジであるかが判定される。

本発明の一側面によれば、カットチェンジの検出を高精度に行うことができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面のプログラムまたは検出方法は、
第１の画像と第２の画像の類似度に基づいて、カットチェンジを検出する検出処理をコンピュータに実行させるプログラムまたは検出方法において、
前記第１の画像と前記第２の画像のそれぞれの輝度または色のヒストグラムを生成し（例えば、図１３のステップＳ３１）、
前記第１の画像と前記第２の画像のそれぞれの空間配置の相関関係を表す画像である空間相関画像を生成し（例えば、図１３のステップＳ３２）、
前記第１の画像の前記ヒストグラムと前記第２の画像の前記ヒストグラムの類似度であるヒストグラム類似度を計算し（例えば、図１３のステップＳ３４）、
前記第１の画像の前記空間相関画像と前記第２の画像の前記空間相関画像の類似度である空間相関画像類似度を計算し（例えば、図１３のステップＳ３５）、
前記ヒストグラム類似度と前記空間相関画像類似度に基づいて、前記第１の画像と前記第２の画像の境界がカットチェンジであるかを判定する（例えば、図１１のステップＳ５）
ステップを備える。

本発明の一側面のプログラムには、
前記ヒストグラム類似度計算ステップによって計算された、近傍の複数フレームの画像の前記ヒストグラム類似度の平均、若しくは、前記空間相関画像類似度計算手段によって計算された、近傍の複数フレームの画像の前記空間相関画像類似度の平均のいずれか一方または両方である平均類似度を計算する平均類似度計算ステップ（例えば、図３３のステップＳ２４８）をさらに設け、
前記判定ステップには、前記ヒストグラム類似度、前記空間相関画像類似度、及び前記平均類似度に基づいて、前記第１の画像と前記第２の画像の境界が、カットチェンジであるかを判定させることができる。

本発明の一側面のプログラムには、
前記第１の画像の近傍の画像の輝度または色の平均である近傍平均色を計算する近傍平均色計算ステップ（例えば、図３５のステップＳ２６９）をさらに設け、
前記判定ステップには、前記ヒストグラム類似度、前記空間相関画像類似度、及び前記近傍平均色に基づいて、前記第１の画像と前記第２の画像の境界がカットチェンジであるかを判定させることができる。

本発明の一側面のプログラムには、
前記第１の画像と前記第２の画像のそれぞれの輝度または色の精細ヒストグラムを生成し（例えば、図３７のステップＳ４０１）、
前記精細ヒストグラムに対してフィルタ処理を施して特徴分布を算出し（例えば、図３７のステップＳ４０２）、
前記第１の画像と前記第２の画像のそれぞれの前記特徴分布の類似度を算出し（例えば、図３７のステップＳ４０４）、
前記第１の画像と前記第２の画像以外に、さらに第３の画像の特徴を抽出し（例えば、図４５のステップＳ６０１）、
前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度を算出し（例えば、図４５のステップＳ６０２）、
前記第１の画像、前記第２の画像及び前記第３の画像の縮小画像を生成し（例えば、図４５のステップＳ６０３）、
前記第１の画像と前記第３の画像の縮小画像の合成画像を生成し（例えば、図４５のステップＳ６０４）、
前記第２の画像の縮小画像と前記合成画像の類似度を算出する（例えば、図４５のステップＳ６０５）
ステップをさらに設け、
前記判定ステップには、さらに前記特徴分布の類似度、前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度、並びに前記第２の画像の縮小画像と前記合成画像の類似度に基づいて、前記第１の画像と前記第２の画像の境界が、カットチェンジであるかを判定させることができる。

本発明の一側面の検査装置は、
第１の画像と第２の画像の類似度に基づいて、カットチェンジを検出する検出装置（例えば、図９のパーソナルコンピュータ１）において、
前記第１の画像と前記第２の画像のそれぞれの輝度または色のヒストグラムを生成するヒストグラム生成手段（例えば、図１２のヒストグラム生成部１０１）と、
前記第１の画像と前記第２の画像のそれぞれの空間配置の相関関係を表す画像である空間相関画像を生成する空間相関画像生成手段（例えば、図１２の空間相関画像生成部１０２）と、
前記第１の画像の前記ヒストグラムと前記第２の画像の前記ヒストグラムの類似度であるヒストグラム類似度を計算するヒストグラム類似度計算手段（例えば、図１２のヒストグラム類似度計算部１０４）と、
前記第１の画像の前記空間相関画像と前記第２の画像の前記空間相関画像の類似度である空間相関画像類似度を計算する空間相関画像類似度計算手段（例えば、図１２の空間相関画像類似度計算部１０５）と、
前記ヒストグラム類似度と前記空間相関画像類似度に基づいて、前記第１の画像と前記第２の画像の境界がカットチェンジであるかを判定する判定手段（例えば、図１０の判定部６４）と
を備える。

以下、図面を参照して本発明を適用した実施の形態について説明する。

図９は、本発明を適用した検出装置の一実施の形態の構成例を示すブロック図である。

図９において、検出装置としてのパーソナルコンピュータ１は、CPU（Central Processing Unit）２１，ROM（Read Only Memory）２２，RAM（Random Access Memory）２３、バス２４、入出力インタフェース２５、入力部２６、出力部２７、記憶部２８、通信部２９、ドライブ３０、及びリムーバブルメディア３１から構成される。

バス２４には、CPU２１、ROM２２、RAM２３、および入出力インタフェース２５が接続され、入出力インタフェース２５には、バス２４、入力部２６、出力部２７、記憶部２８、通信部２９、及びドライブ３０が接続されている。

CPU２１は、ROM２２または記憶部２８に記憶されたプログラムに従って各種の処理を実行する。また、CPU２１は、入力部２６から入力される指令に対応して各種の処理を実行し、また、処理の結果を出力部２７に出力する。

ROM２２は、CPU２１が実行するプログラム等を記憶する。

RAM２３は、CPU２１が実行するプログラムやデータなどを適宜記憶する。また、RAM２３は、例えば、外部から入力される画像を一時的に記憶するバッファを有する。

入力部２６は、キーボード、マウス、マイクロホン等で構成される。

出力部２７は、ディスプレイ、スピーカ等で構成される。

記憶部２８は、例えばハードディスクからなり、CPU２１が実行するプログラムや各種のデータを記憶する。

通信部２９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

なお、通信部２９を介してプログラムが取得され、記憶部２８に記憶されてもよい。

ドライブ３０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図９に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１、ROM２２や、記憶部２８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部２９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

また、パーソナルコンピュータ１のCPU２１は、ROM２２または記憶部２８に記憶されたプログラムを実行することにより、カットチェンジを検出するカットチェンジ検出部として機能する。

図１０は、パーソナルコンピュータ１のソフトウェアにより構成されるカットチェンジ検出部５１の実施の形態の構成を示すブロック図である。

図１０において、カットチェンジ検出部５１は、外部からの画像を、例えば、RAM２３のバッファから読み出すことにより入力し、カットチェンジ検出処理を行う。

すなわち、カットチェンジ検出部５１は、第１処理部６１、第２処理部６２、第３処理部６３、及び判定部６４から構成される。

第１処理部６１、第２処理部６２、及び第３処理部６３には、それぞれカットチェンジ検出部５１に入力された画像データが供給される。

第１処理部６１は、そこに供給される画像データに基づいて、後述する第１の処理を行い、その結果得られる第１の類似度を判定部６４に供給する。

第２処理部６２は、そこに供給される画像データに基づいて、後述する第２の処理を行い、その結果得られる第２の類似度を判定部６４に供給する。

第３処理部６３は、そこに供給される画像データに基づいて、後述する第３の処理を行い、その結果得られる第３の類似度を判定部６４に供給する。

判定部６４は、第１処理部６１から供給される第１の類似度、第２処理部６２から供給される第２の類似度、及び第３処理部６３から供給される第３の類似度のそれぞれに基づいて、後述する判定処理を行う。

次に、図１１のフローチャートを参照して、図１０のカットチェンジ検出部５１によるカットチェンジ検出処理について説明する。

カットチェンジ検出処理は、例えば、ユーザがカットチェンジ検出処理の開始を指示すると、開始される。

ステップＳ１において、カットチェンジ検出部５１の第１処理部６１、第２処理部６２、及び第３処理部６３は、例えば、RAM２３のバッファから画像データを入力する。

いま、カットチェンジ検出部５１に入力された直近の３つのフレームを、時間順に、前々フレーム、前フレーム、現フレームということとする。

ステップＳ２において、第１処理部６１は、そこに供給される直近の２つのフレーム、すなわち、前フレームと現フレームに基づいて、第１の処理を行い、その結果得られる第１の処理の類似度を判定部６４に供給する。第１の処理の詳細は、図１２乃至図３５を参照して後述するが、ヒストグラムと空間相関画像から類似度が算出される。

ステップＳ３において、第２処理部６２は、そこに供給される直近の２つのフレーム、すなわち、前フレームと現フレームに基づいて、第２の処理を行い、その結果得られる第２の処理の類似度を判定部６４に供給する。第２の処理の詳細は、図３６乃至図４３を参照して後述するが、特徴分布を間引き処理することで、類似度が算出される。

ステップＳ４において、第３処理部６３は、そこに供給される直近の３つのフレーム、すなわち、前々フレーム、前フレーム、及び現フレームに基づいて、第３の処理を行い、その結果得られる第３の処理の類似度を判定部６４に供給する。第３の処理の詳細は、図４４乃至図５１を参照して後述するが、縮小画像を合成した画像を用いて類似度が算出される。

なお、ステップＳ２乃至ステップＳ４の第１の処理乃至第３の処理は、実際には、並行して実行される。

ステップＳ５において、判定部６４は、第１処理部６１から供給される第１の処理の類似度、第２処理部６２から供給される第２の処理の類似度、及び第３処理部６３から供給される第３の処理の類似度に基づいて、判定処理を行う。判定処理の詳細は、図２８乃至図３１を参照して後述するが、第１の処理乃至第３の処理により求められた類似度を総合して、最終的に、対象フレームの画像がカットチェンジであるかを判定する。

ステップＳ６において、判定部６４は、例えば、RAM２３のバッファを参照し、次のフレームはあるかを判定する。ステップＳ６において、次のフレームはあると判定されると、処理はステップＳ１に戻り、以下、同様の処理が繰り返される。

一方、ステップＳ６において、次のフレームはないと判定されると、カットチェンジ検出処理は終了される。

次に、第１の処理について詳しく説明する。

図１２は、図１０の第１処理部６１の実施の形態の構成を示すブロック図である。

図１２において、第１処理部６１は、ヒストグラム生成部１０１、空間相関画像生成部１０２、バッファ１０３、ヒストグラム類似度計算部１０４、及び空間相関画像類似度計算部１０５から構成されている。

ヒストグラム生成部１０１には、第１処理部６１に入力された、第１の処理の処理対象とする前フレームと現フレームの画像データが供給される。

ヒストグラム生成部１０１は、そこに供給される前フレームと現フレームのそれぞれの輝度または色のヒストグラムを生成し、バッファ１０３に供給する。

輝度のヒストグラムには、例えば、輝度信号（Ｙ信号）に対応するY画像のヒストグラムが用いられ、色のヒストグラムには、例えば、RGB(Red, Green, Blue)信号に対応するR画像、G画像、及びB画像のヒストグラムが用いられる。

一般に、色のヒストグラを用いる方がより高い精度でカットチェンジの検出を行うことができる。

空間相関画像生成部１０２には、第１処理部６１に入力された第１の処理の処理対象とする前フレームと現フレームの画像データが供給される。

空間相関画像生成部１０２は、そこに供給される前フレームと現フレームの画像のそれぞれの空間配置の相関関係を表す空間相関画像を生成し、バッファ１０３に供給する。

バッファ１０３は、ヒストグラム生成部１０１から供給される前フレームと現フレームのそれぞれのヒストグラムを記憶するとともに、空間相関画像生成部１０２から供給される前フレームと現フレームのそれぞれの空間相関画像を記憶する。

ヒストグラム類似度計算部１０４は、バッファ１０３から前フレームと現フレームのそれぞれのヒストグラムを読み出し、その前フレームのヒストグラムと現フレームのヒストグラムの類似度であるヒストグラム類似度を計算し、そのヒストグラム類似度を、判定部６４に供給する。

空間相関画像類似度計算部１０５は、バッファ１０３から前フレームと現フレームのそれぞれの空間相関画像を読み出し、その前フレームの空間相関画像と現フレームの空間相関画像の類似度である空間相関画像類似度を計算し、その空間相関画像類似度を、判定部６４に供給する。

次に、図１３のフローチャートを参照して、図１２の第１処理部６１による第１の処理について説明する。

ヒストグラム生成部１０１には、第１処理部６１に入力された第１の処理の処理対象とする前フレームと現フレームの画像データが供給される。ステップＳ３１において、ヒストグラム生成部１０１は、そこに供給される前フレームの画像データと現フレームの画像データのそれぞれのヒストグラムを生成する。

空間相関画像生成部１０２には、第１処理部６１に入力された第１の処理の処理対象とする前フレームと現フレームの画像データが供給される。ステップＳ３２において、空間相関画像生成部１０２は、そこに供給される前フレームと現フレームの画像それぞれの空間配置の相関関係を表す空間相関画像を生成する。

ヒストグラムと空間相関画像は、元となる画像（原画像）の特徴を表す特徴量であり、Ｓ３１及びＳ３２の処理は、特徴量抽出処理である。

ステップＳ３３において、バッファ１０３は、ヒストグラム生成部１０１から供給される前フレームと現フレームのそれぞれのヒストグラムを記憶するとともに、空間相関画像生成部１０２から供給される前フレームと現フレームのそれぞれの空間相関画像を記憶する。

ステップＳ３４において、ヒストグラム類似度計算部１０４は、バッファ１０３から前フレームと現フレームのそれぞれのヒストグラムを読み出し、その前フレームのヒストグラムと現フレームのヒストグラムの類似度であるヒストグラム類似度を計算し、そのヒストグラム類似度を、判定部６４に供給する。ヒストグラムの生成とその類似度の算出の具体的例については、図２０、図２１、及び図２３を参照して後述する。

ステップＳ３５において、空間相関画像類似度計算部１０５は、バッファ１０３から前フレームと現フレームのそれぞれの空間相関画像を読み出し、その前フレームの空間相関画像と現フレームの空間相関画像の類似度である空間相関画像類似度を計算し、その空間相関画像類似度を、判定部６４に供給する。その後、処理は、図１１のステップＳ２に戻る。空間相関画像の生成とその類似度の計算の具体的例は、フィルタ画像またはモザイク画像の生成とその類似度の計算である。その詳細は、図２０乃至図２２、図２５、図２７を参照して後述する。

なお、ヒストグラムや空間相関画像等の特徴量どうしの類似度を計算する処理を、以下、適宜、類似度計算処理という。図１３のステップＳ３４及びＳ３５の処理は、類似度計算処理である。

図１４は、図１０の第１処理部６１の他の実施の形態の機能的な構成を示すブロック図である。

なお、図１４において、図１２と対応する部分については、同一の符号を付してあり、その説明は繰り返しになるので、適宜省略する。他の図においても同様とする。

図１４において、第１処理部６１は、ヒストグラム生成部１０１、バッファ１０３、ヒストグラム類似度計算部１０４、空間相関画像生成部１０２としてのフィルタ画像生成部１２１、及び空間相関画像類似度計算部１０５としてのフィルタ画像類似度計算部１２２から構成される。

フィルタ画像生成部１２１には、第１処理部６１に入力された第１の処理の処理対象とする前フレームと現フレームの画像が供給される。

フィルタ画像生成部１２１は、そこに供給される前フレームと現フレームの画像から空間相関画像としてのフィルタ画像を生成し、バッファ１０３に供給する。

ここで、フィルタ画像とは、元となる画像の空間周波数の低周波成分及び高周波数成分を低減させた画像をいう。

つまり、フィルタ画像は、低周波成分、特に、直流成分を低減させるローカットフィルタの効果と、高周波数成分を低減させて細かいパターンを鈍らせるハイカットフィルタの効果とが得られるフィルタで画像データを処理することで生成される。

ハイカットフィルタの効果は、例えば、原画像を複数のブロックに区分し、そのブロックごとに画素値を平均することによって得ることができ、また、ローカットフィルタの効果は、原画像の各ピクセルの値から、全ピクセルの平均値を減じることによって得ることができる。また、ハイカットフィルタとローカットフィルタの効果は、より精密に設計されたバンドパスフィルタを用いることによっても得ることができる。

なお、フィルタ画像を生成することで、原画像の高周波数成分を低減させると、実質的に有効なピクセルの数は減少するので、実質的に有効でないピクセルを適宜間引くことで、空間的なサンプリングレートを下げることができる。また、データ量を削減することもでき、後段における演算の効率を上げることができる。

フィルタ画像類似度計算部１２２は、バッファ１０３から前フレームと現フレームのそれぞれのフィルタ画像を読み出し、その前フレームのフィルタ画像と現フレームのフィルタ画像の類似度であるフィルタ画像類似度を計算し、そのフィルタ画像類似度を、判定部６４に供給する。

次に、図１５のフローチャートを参照して、図１４の第１処理部６１による第１の処理について説明する。

図１４のヒストグラム生成部１０１には、第１処理部６１に入力された第１の処理の処理対象とする前フレームと現フレームが供給される。ステップＳ５１において、ヒストグラム生成部１０１は、そこに供給される前フレームと現フレームのそれぞれのヒストグラムを生成し、バッファ１０３に供給する。

図１４のフィルタ画像生成部１２１には、第１処理部６１に入力された第１の処理の処理対象とする前フレームと現フレームが供給される。ステップＳ５２において、フィルタ画像生成部１２１は、そこに供給される前フレームと現フレームのそれぞれのフィルタ画像を空間相関画像として生成し、バッファ１０３に供給する。

このステップＳ５１及びＳ５２の処理は、特徴量抽出処理である。

ステップＳ５３において、バッファ１０３は、ヒストグラム生成部１０１から供給される前フレームと現フレームのそれぞれのヒストグラムを記憶するとともに、フィルタ画像生成部１２１から供給される前フレームと現フレームのそれぞれのフィルタ画像を記憶する。

ステップＳ５４において、ヒストグラム類似度計算部１０４は、バッファ１０３から前フレームと現フレームのそれぞれのヒストグラムを読み出し、その前フレームのヒストグラムと現フレームのヒストグラムの類似度であるヒストグラム類似度を計算し、そのヒストグラム類似度を、判定部６４に供給する。

ステップＳ５５において、フィルタ画像類似度計算部１２２は、バッファ１０３から前フレームと現フレームのそれぞれのフィルタ画像を読み出し、その前フレームのフィルタ画像と現フレームのフィルタ画像の類似度であるフィルタ画像類似度を計算し、そのフィルタ画像類似度を、判定部６４に供給する。その後、処理は図１１のステップＳ２に戻る。フィルタ画像の生成とその類似度の計算については、図２０乃至図２２、図２５を参照して後述する。

ステップＳ５４及びＳ５５の処理は、類似度計算処理である。

図１６は、図１０の第１処理部６１の他の実施の形態の機能的な構成を示すブロック図である。

図１６において、第１処理部６１は、ヒストグラム生成部１０１、バッファ１０３、ヒストグラム類似度計算部１０４、空間相関画像生成部１０２としてのモザイク画像生成部１３１、及び空間相関画像類似度計算部１０５としてのモザイク画像類似度計算部１３２から構成される。

モザイク画像生成部１３１には、第１処理部６１に入力された第１の処理の処理対象とする前フレームと現フレームが供給される。モザイク画像生成部１３１は、そこに供給される前フレームと現フレームのそれぞれのモザイク画像を、空間相関画像として生成し、バッファ１０３に供給する。

ここで、モザイク画像は、元の画像（原画像）の画像全体を、例えば、横８×縦８から横３２×縦３２程度に区分した場合の各領域の輝度または色の平均をその領域の輝度または色とする画像である。モザイク画像は、原画像内の輝度または色の大まかな空間配置を特徴化したものであり、特に、画像全体が横８×縦８に分割されたモザイク画像は、カラーレイアウトと呼ばれることもある。

モザイク画像類似度計算部１３２は、バッファ１０３から前フレームと現フレームのそれぞれのモザイク画像を読み出し、その前フレームのモザイク画像と現フレームのモザイク画像の類似度であるモザイク画像類似度を計算し、そのモザイク画像類似度を、判定部６４に供給する。

次に、図１７のフローチャートを参照して、図１６の第１処理部６１による第１の処理について説明する。

ヒストグラム生成部１０１には、第１処理部６１に入力された第１の処理の処理対象とする前フレームと現フレームが供給される。ステップＳ９１において、ヒストグラム生成部１０１は、そこに供給される前フレームと現フレームのそれぞれのヒストグラムを生成し、バッファ１０３に供給する。

モザイク画像生成部１３１には、第１処理部６１に入力された第１の処理の処理対象とする前フレームと現フレームが供給される。ステップＳ９２において、モザイク画像生成部１３１は、そこに供給される前フレームと現フレームのそれぞれのモザイク画像を空間相関画像として生成し、バッファ１０３に供給する。

ステップＳ９１及びＳ９２の処理は、特徴量抽出処理である。

ステップＳ９３において、バッファ１０３は、ヒストグラム生成部１０１から供給される前フレームと現フレームのそれぞれのヒストグラムを記憶するとともに、モザイク画像生成部１３１から供給される前フレームと現フレームのそれぞれのモザイク画像を記憶する。

ステップＳ９４において、ヒストグラム類似度計算部１０４は、バッファ１０３から前フレームと現フレームのそれぞれのヒストグラムを読み出し、その前フレームのヒストグラムと現フレームのヒストグラムの類似度であるヒストグラム類似度を計算し、そのヒストグラム類似度を、判定部６４に供給する。

ステップＳ９５において、モザイク画像類似度計算部１３２は、バッファ１０３から前フレームと現フレームのそれぞれのモザイク画像を読み出し、その前フレームのモザイク画像と現フレームのモザイク画像の類似度であるモザイク画像類似度を計算し、そのモザイク画像類似度を、判定部６４に供給する。その後、処理は、図１１のステップＳ２に戻る。モザイク画像の生成とその類似度の計算の具体的例は、図２０、図２１、図２７を参照して後述する。

ステップＳ９４及びＳ９５の処理は、類似度計算処理である。

図１８は、図１０の第１処理部６１の他の実施の形態の機能的な構成例を示すブロック図である。

図１８において、第１処理部６１は、ヒストグラム生成部１０１、空間相関画像生成部１０２、バッファ１０３、ヒストグラム類似度計算部１０４、及び空間相関画像類似度計算部１０５から構成される。そして、空間相関画像生成部１０２は、フィルタ画像生成部１２１及びモザイク画像生成部１３１から構成される。さらに、空間相関画像類似度計算部１０５は、フィルタ画像類似度計算部１２２及びモザイク画像類似度計算部１３２から構成される。

次に、図１９のフローチャートを参照して、図１８の第１処理部６１による第１の処理について説明する。

ヒストグラム生成部１０１には、第１処理部６１に入力された第１の処理の処理対象とする前フレームと現フレームが供給される。ステップＳ１２１において、ヒストグラム生成部１０１は、そこに供給される前フレームと現フレームのそれぞれのヒストグラムを生成し、バッファ１０３に供給する。この処理は、図１３のステップＳ３１、図１５のステップＳ５１、図１７のステップＳ９１における処理と同様の処理である。

例えば、図２０に示される原画像の画像データが入力されると、図２１Ａに示されるようなヒストグラムが生成される。

図２１Ａにおいて、横軸は、輝度を表し、縦軸は、頻度を表している。原画像Ｐ１０１には、背景の灰色の領域と、中央の白と黒の領域があるので、ヒストグラムＨ１０１では、比較的小さい輝度（黒）、中間的な輝度（灰色）、及び比較的大きい輝度（白）のそれぞれに頻度が集中している。

空間相関画像生成部１０２には、第１処理部６１に入力された第１の処理の処理対象とする前フレームと現フレームが供給され、その前フレームと現フレームは、フィルタ画像生成部１２１及びモザイク画像生成部１３１に供給される。

ステップＳ１２２において、フィルタ画像生成部１２１は、そこに供給される前フレームと現フレームのフィルタ画像を、空間相関画像として生成する。この処理は、図１５のステップＳ５２の処理と同様の処理である。

具体的には、フィルタ画像生成部１２１には、入力された画像データに対して、図２２に示される特性Ｃ１のフィルタを作用させることで、フィルタ画像を生成する。図２２において、横軸は、周波数を表し、縦軸は、フィルタが出力する画像データのレベルを表している。

図２２において、フィルタ特性Ｃ１は、フィルタ画像を生成する処理のフィルタ特性を示し、フィルタ特性Ｃ２は、エッジ抽出を行う処理のフィルタ特性を示している。

フィルタ特性Ｃ１により、フィルタ画像を生成する処理を行った場合、ＤＣ成分を除いた低中域成分が抽出される。この点、フィルタ特性Ｃ２に示されるような、中高域成分を抽出するエッジ抽出処理と異なっている。すなわち、フィルタ画像では、エッジ抽出された画像と異なり、比較的低中域成分の特徴が用いられる。

図２０に示される原画像Ｐ１０１をフィルタ処理することで、図２１Ｂに示されるフィルタ画像ＰＦ１０１が生成される。フィルタ画像ＰＦ１０１では、ローカットフィルタの効果で、原画像Ｐ１０１の輝度の変化が少ない領域の値は小さくなり、また、原画像Ｐ１０１の輝度の変化が大きい領域、例えば、原画像Ｐ１０１のリング状の黒い部分の輪郭となる領域の値も比較的小さい有意な値となる。また、フィルタ画像ＰＦ１０１では、ハイカットフィルタの効果で、画像全体がややぼやけたようになる。

ステップＳ１２３において、モザイク画像生成部１３１は、そこに供給される前フレームと現フレームのそれぞれのモザイク画像を空間相関画像として生成する。この処理は、図１７のステップＳ９２の処理と同様の処理である。

モザイク画像生成部１３１は、原画像Ｐ１０１を、複数のブロックに区分し、各区分の平均の画素値で各ブロックを表現することで、図２０Ｃに示されるような、精々１０×８ブロックのモザイク画像ＰＭ１０１を生成する。

モザイク画像ＰＭ１０１では、原画像Ｐ１０１の輝度または色の空間配置が大まかに表される。

図１９のステップＳ１２１乃至Ｓ１２３の処理は、特徴量抽出処理である。

ステップＳ１２４において、バッファ１０３は、ヒストグラム生成部１０１から供給される前フレームと現フレームのそれぞれのヒストグラム、フィルタ画像生成部１２１から供給される前フレームと現フレームのそれぞれのフィルタ画像、並びに、モザイク画像生成部１３１から供給される前フレームと現フレームのそれぞれのモザイク画像を記憶する。

ステップＳ１２５において、ヒストグラム類似度計算部１０４は、バッファ１０３から前フレームと現フレームのそれぞれのヒストグラムを読み出し、その前フレームのヒストグラムと現フレームのヒストグラムの類似度であるヒストグラム類似度を計算し、そのヒストグラム類似度を、判定部６４に供給する。この処理は図１３のステップＳ３４、図１５のステップＳ５４、図１７のステップＳ９４の処理と同様の処理である。

ヒストグラム類似度には、処理対象とする、前フレームと現フレームのそれぞれのヒストグラムどうしの重なり率が採用される。

例えば、図２３に示されるように、ヒストグラムＨ１１１とヒストグラムＨ１１２の重なり率は、ヒストグラムＨ１１１とヒストグラムＨ１１２に共通する部分の面積（ヒストグラムの斜線の部分の面積）とされる。

また、ヒストグラム類似度には、その他、ヒストグラムの各要素（ビン）の頻度を成分とするベクトル（以下、適宜、ヒストグラムベクトルという）どうしの類似度を用いてもよい。ヒストグラムベクトルどうしの類似度としては、例えば、ヒストグラムベクトルどうしの絶対距離である、いわゆるマンハッタン距離（実質的に、ヒストグラム間の重なり率に等しい）や、ヒストグラムベクトルどうしの２乗距離であるユークリッド距離等を用いてもよい。

以上のように、ヒストグラム類似度は、撮影対象の形状や空間配置等の情報がほとんど無いヒストグラムどうしの類似度なので、位置姿勢形状系変化に影響されにくく、また、明るさ色系変化に敏感なので、明るさ色系変化を定量化する類似度として用いられる。

ステップＳ１２６において、フィルタ画像類似度計算部１２２は、バッファ１０３から前フレームと現フレームのそれぞれのフィルタ画像を読み出し、その前フレームのフィルタ画像と現フレームのフィルタ画像の類似度であるフィルタ画像類似度を計算し、そのフィルタ画像類似度を、判定部６４に供給する。この処理は、図１５のステップＳ５５の処理と同様の処理である。

フィルタ画像類似度計算処理の詳細は、図２４のフローチャートに示されている。

フィルタ画像類似度計算部１２２はバッファ１０３から前フレームと現フレームのそれぞれのフィルタ画像を読み出し、ステップＳ１５１において、例えば、前フレームのフィルタ画像の中央部分を切り出す。

ステップＳ１５２において、フィルタ画像類似度計算部１２２は、ステップＳ１５１で切り出した前フレームのフィルタ画像の中央部分と現フレームのフィルタ画像の相対的な位置をシフトさせながら、前フレームのフィルタ画像の中央部分と現フレームのフィルタ画像の相関値を演算する。

ステップＳ１５３において、フィルタ画像類似度計算部１２２は、ステップＳ１５２で演算した相関値のうちの最大値である最大相関値を検出する。

すなわち、図２５に示されるように、前フレームとしてのフレームＦ１１１のフィルタ画像ＰＦ１１１の中央部分が切り出され、そのフィルタ画像ＰＦ１１１の中央部分と、現フレームとしてのフレームＦ１１２のフィルタ画像ＰＦ１１２の相対的な位置をシフトさせながら、フィルタ画像ＰＦ１１１の中央部分とフィルタ画像ＰＦ１１２の相関値が最大となる相対的な位置が探索され、それにより、最大相関値が得られる。

また、フィルタ画像類似度には、その他、フィルタ画像の全体または一部どうしの相対的な位置をシフトさせながら、フィルタ画像の全体または一部どうしの絶対距離（差分絶対和）や２乗距離（差分２乗和）等の距離を演算し、その最小値（以下、適宜、最小距離という）を用いてもよい。ただし、かかる最小距離は、そのままではフィルタ画像どうしの非類似度を表すので、符号を反転させる等により、類似度への変換が必要となる。

以上のように、フィルタ画像類似度は、直流成分を低減させたフィルタ画像どうしの類似度なので、画像全体の輝度の変化等の明るさ色形変化にほとんど影響されず、また、高周波成分を低減させたフィルタ画像どうしの類似度でもあるので、細かいパターンや形状の変化にほとんど影響されない。したがって、フィルタ画像類似度は、大まかに位置姿勢形状系変化を定量化する類似度となっている。

また、フィルタ画像類似度は、前フレームのフィルタ画像と現フレームのフィルタ画像の最大相関値や最小距離を求めるようにしたので、カメラモーションや撮影対象の移動等による画像の変化の影響を受け難くなっている。

さらに、フィルタ画像類似度は、画像全体の明るさの変化にほとんど影響されないため、図１に示したように、画像全体の輝度が変化する場合には、ヒストグラム類似度の低下を補うように作用する。

図１９に戻って、次に、ステップＳ１２７において、モザイク画像類似度計算部１３２は、バッファ１０３から前フレームと現フレームのそれぞれのモザイク画像を読み出し、その前フレームのモザイク画像と現フレームのモザイク画像の類似度であるモザイク画像類似度を計算し、そのモザイク画像類似度を、判定部６４に供給する。その後、処理は、図１１のステップＳ２に戻る。

図１９のステップＳ１２５乃至Ｓ１２７の処理は、類似度計算処理である。

次に、モザイク画像類似度計算処理の詳細は、図２６のフローチャートに示されている。

モザイク画像類似度計算部１３２は、バッファ１０３から前フレームと現フレームのそれぞれのモザイク画像を読み出し、ステップＳ１７１において、例えば、前フレームのモザイク画像と現フレームのモザイク画像の、対応する位置のピクセルどうしの差分値が所定の閾値以下であるピクセルである一致ピクセルを検出する。

ステップＳ１７２において、モザイク画像類似度計算部１３２は、ステップＳ１７１で検出した一致ピクセルの数、または、そのピクセルの数の全ピクセル数に対する割合をモザイク画像類似度として求める。

図２７は、一致ピクセルの計数の様子を示している。同図において、丸印はモザイク画像ＰＭ１１１とモザイク画像ＰＭ１１２の間の一致ピクセルを表し、×印は一致していないピクセルを表す。

モザイク画像類似度を用いた場合、処理対象とする、例えば、２つのモザイク画像のそれぞれのピクセルどうしの違いは定量化されないので、図２７に示すように、モザイク画像ＰＭ１１１で発生していなかったテロップがモザイク画像ＰＭ１１２で発生し、モザイク画像ＰＭ１１２の一部のピクセルが他のピクセルと全く異なる画素値に変化した場合に、その一部のピクセルの影響が支配的となってしまうのを避けることができる。

このように、モザイク画像類似度は、出現系変化に対する感度が低くなっているので、例えば、図２に示したように、テロップが出現した場合には、ヒストグラム類似度の低下を補うように作用する。

以上のように、カットチェンジを検出する処理対象とする、例えば、２つの画像のそれぞれの空間配置の相関関係を表す空間相関画像として、フィルタ画像やモザイク画像を生成するようにしたので、明るさの変動やテロップの出現といったカット内の画像の変化に対しても、カットチェンジと誤検出しないようにする頑健なカットチェンジの検出方法を提供することができる。

次に、判定部６４は、図１０に示したように、本来、第１処理部６１、第２処理部６２及び第３処理部６３から供給されるそれぞれの類似度の情報に基づいて、最終的な判定処理を行うが、ここでは、図１８の第１処理部６１の実施の形態において、第１処理部６１から供給される類似度のみに基づいて、判定処理を行う場合について説明する。

図２８は、第１処理部６１から供給される類似度のみに基づいて、判定処理を行う場合における判定部６４の機能的構成を示すブロック図である。

図２８において、判定部６４は、荷重処理部１５１乃至１５３、加算部１５４、並びに、閾値判定部１５５から構成される。

荷重処理部１５１には、図１８の第１処理部６１のヒストグラム類似度計算部１０４から、カットチェンジを検出する処理対象とする第１の画像と第２の画像のヒストグラム類似度を表すヒストグラム類似度情報が供給される。

荷重処理部１５１は、そこに供給されるヒストグラム類似度情報に、所定の荷重係数Ｗ１を乗算し、その結果得られる重み付けされたヒストグラム類似度情報を、加算部１５４に供給する。

荷重処理部１５２には、図１８の第１処理部６１のフィルタ画像類似度計算部１２２から、カットチェンジを検出する処理対象とする第１の画像と第２の画像のフィルタ画像類似度を表すフィルタ画像類似度情報が供給される。

荷重処理部１５２は、そこに供給されるフィルタ画像類似度情報に、所定の荷重係数Ｗ２を乗算し、その結果得られる重み付けされたフィルタ画像類似度情報を、加算部１５４に供給する。

荷重処理部１５３には、図１８の第１処理部６１のモザイク画像類似度計算部１３２から、カットチェンジを検出する処理対象とする第１の画像と第２の画像のモザイク画像類似度を表すモザイク画像類似度情報が供給される。

荷重処理部１５３は、そこに供給されるモザイク画像類似度情報に、所定の荷重係数Ｗ３を乗算し、その結果得られる重み付けされたモザイク画像類似度情報を、加算部１５４に供給する。

加算部１５４は、荷重処理部１５１から供給される重み付けされたヒストグラム類似度情報、荷重処理部１５２から供給される重み付けされたフィルタ画像類似度情報、並びに、荷重処理部１５３から供給される重み付けされたモザイク画像類似度情報をすべて加算し、その結果得られる加算された類似度を表す加算類度似情報を、閾値判定部１５５に供給する。

閾値判定部１５５は、加算部１５４から供給される加算類似度情報と所定の閾値とを比較することにより、カットチェンジを検出する処理対象とする第１の画像と第２の画像の境界が、時間的に不連続な画像の変化を伴う境界であるカットチェンジであるかを判定する。

次に、図２９のフローチャートを参照して、図２８の判定部６４による判定処理について説明する。

荷重処理部１５１には、図１８の第１処理部６１のヒストグラム類似度計算部１０４から、カットチェンジを検出する処理対象とする第１の画像と第２の画像のヒストグラム類似度を表すヒストグラム類似度情報が供給され、荷重処理部１５２には、図１８の第１処理部６１のフィルタ画像類似度計算部１２２から、カットチェンジを検出する処理対象とする第１の画像と第２の画像のフィルタ画像類似度を表すフィルタ画像類似度情報が供給される。また、荷重処理部１５３には、図１８の第１処理部６１のモザイク画像類似度計算部１３２から、カットチェンジを検出する処理対象とする第１の画像と第２の画像のモザイク画像類似度を表すモザイク画像類似度情報が供給される。

ステップＳ２０１において、荷重処理部１５１は、そこに供給されるヒストグラム類似度情報に、所定の荷重係数Ｗ１を乗算し、その結果得られる重み付けされたヒストグラム類似度情報を、加算部１５４に供給し、荷重処理部１５２は、そこに供給されるフィルタ画像類似度情報に、所定の荷重係数Ｗ２を乗算し、その結果得られる重み付けされたフィルタ画像類似度情報を、加算部１５４に供給し、荷重処理部１５３は、そこに供給されるモザイク画像類似度情報に、所定の荷重係数Ｗ３を乗算し、その結果得られる重み付けされたモザイク画像類似度情報を、加算部１５４に供給する。

ステップＳ２０２において、加算部１５４は、荷重処理部１５１から供給される重み付けされたヒストグラム類似度情報、荷重処理部１５２から供給される重み付けされたフィルタ画像類似度情報、並びに、荷重処理部１５３から供給される重み付けされたモザイク画像類似度情報をすべて加算し、その結果得られる加算された類似度を表す加算類度似情報を、閾値判定部１５５に供給する。

ステップＳ２０３において、閾値判定部１５５は、加算部１５４から供給される加算類似度情報が所定の閾値以下かを判定する。ステップＳ２０３において、加算類似度情報が所定の閾値以下と判定された場合、ステップＳ２０４において、閾値判定部１５５は、カットチェンジを検出する処理対象とする第１の画像と第２の画像の境界が、時間的に不連続な画像の変化を伴う境界であるカットチェンジであると判定する。

一方、ステップＳ２０３において、加算類似度情報が所定の閾値以下ではないと判定された場合、ステップＳ２０５において、閾値判定部１５５は、カットチェンジを検出する処理対象とする第１の画像と第２の画像の境界が、カットチェンジではないと判定する。

図３０は、第１処理部６１の実施の形態において、第１処理部６１から供給される類似度のみに基づいて、判定処理を行う場合における判定部６４の他の機能的構成を示すブロック図である。

図３０に示されるように、判定部６４は、図２８における荷重処理部１５１乃至１５３、加算部１５４、閾値判定部１５５以外に、非線形変換処理部１６１乃至１６３から構成される。

非線形変換処理部１６１には、図１８の第１処理部６１のヒストグラム類似度計算部１０４から、カットチェンジを検出する処理対象とする第１の画像と第２の画像のヒストグラム類似度を表すヒストグラム類似度情報が供給される。

非線形変換処理部１６１は、そこに供給されるヒストグラム類似度情報に、非線形関数による非線形変換を行い、その結果得られる非線形変換後のヒストグラム類似度情報を荷重処理部１５１に供給する。

非線形変換処理部１６２には、図１８の第１処理部６１のフィルタ画像類似度計算部１２２から、カットチェンジを検出する処理対象とする第１の画像と第２の画像のフィルタ画像類似度を表すフィルタ画像類似度情報が供給される。

非線形変換処理部１６２は、そこに供給されるフィルタ画像類似度情報に、非線形関数による非線形変換を行い、その結果得られる非線形変換後のフィルタ画像類似度情報を荷重処理部１５２に供給する。

非線形変換処理部１６３には、図１８の第１処理部６１のモザイク画像類似度計算部１３２から、カットチェンジを検出する処理対象とする第１の画像と第２の画像のモザイク画像類似度を表すモザイク画像類似度情報が供給される。

非線形変換処理部１６３は、そこに供給されるモザイク画像類似度情報に、非線形関数による非線形変換を行い、その結果得られる非線形変換後のモザイク画像類似度情報を荷重処理部１５３に供給する。

次に、図３１のフローチャートを参照して、図３０の判定部６４による判定処理について説明する。

非線形変換処理部１６１には、図１８の第１処理部６１のヒストグラム類似度計算部１０４から、カットチェンジを検出する処理対象とする第１の画像と第２の画像のヒストグラム類似度を表すヒストグラム類似度情報が供給され、非線形変換処理部１６２には、図１８の第１処理部６１のフィルタ画像類似度計算部１２２から、カットチェンジを検出する処理対象とする第１の画像と第２の画像のフィルタ画像類似度を表すフィルタ画像類似度情報が供給される。また、非線形変換処理部１６３には、図１８の第１処理部６１のモザイク画像類似度計算部１３２から、カットチェンジを検出する処理対象とする第１の画像と第２の画像のモザイク画像類似度を表すモザイク画像類似度情報が供給される。

ステップＳ２２１において、非線形変換処理部１６１は、そこに供給されるヒストグラム類似度情報に、非線形関数による非線形変換を行い、その結果得られる非線形変換後のヒストグラム類似度情報を荷重処理部１５１に供給し、非線形変換処理部１６２は、そこに供給されるフィルタ画像類似度情報に、非線形関数による非線形変換を行い、その結果得られる非線形変換後のフィルタ画像類似度情報を荷重処理部１５２に供給する。さらに、非線形変換処理部１６３は、そこに供給されるモザイク画像類似度情報に、非線形関数による非線形変換を行い、その結果得られる非線形変換後のモザイク画像類似度情報を荷重処理部１５３に供給する。

ステップＳ２２２において、荷重処理部１５１は、そこに供給されるヒストグラム類似度情報に、所定の荷重係数Ｗ１１を乗算し、その結果得られる重み付けされたヒストグラム類似度情報を、加算部１５４に供給し、荷重処理部１５２は、そこに供給されるフィルタ画像類似度情報に、所定の荷重係数Ｗ１２を乗算し、その結果得られる重み付けされたフィルタ画像類似度情報を、加算部１５４に供給し、荷重処理部１５３は、第３処理部６３から供給されるモザイク画像類似度情報に、所定の荷重係数Ｗ１３を乗算し、その結果得られる重み付けされたモザイク画像類似度情報を、加算部１５４に供給する。

ステップＳ２２３において、加算部１５４は、荷重処理部１５１から供給される重み付けされたヒストグラム類似度情報、荷重処理部１５２から供給される重み付けされたフィルタ画像類似度情報、並びに、荷重処理部１５３から供給される重み付けされたモザイク画像類似度情報をすべて加算し、その結果得られる加算された類似度を表す加算類度似情報を、閾値判定部１５５に供給する。

ステップＳ２２４において、閾値判定部１５５は、加算部１５４から供給される加算類似度情報が所定の閾値以下かを判定する。ステップＳ２２４において、加算類似度情報が所定の閾値以下と判定された場合、ステップＳ２２５において、閾値判定部１５５は、カットチェンジを検出する処理対象とする第１の画像と第２の画像の境界が、時間的に不連続な画像の変化を伴う境界であるカットチェンジであると判定する。

一方、ステップＳ２２４において、加算類似度情報が所定の閾値以下ではないと判定された場合、ステップＳ２２６において、閾値判定部１５５は、カットチェンジを検出する処理対象とする第１の画像と第２の画像の境界が、カットチェンジではないと判定する。

これにより、例えば、モザイク画像類似度として、一致ピクセルの数に線形比例した類似度を用いる代わりに、例えば、全ピクセルのうちの半数以上のピクセルが一致ピクセルである場合に最大のモザイク類似度を与えるといったような非線形変換を施した類似度を用いることで、カットチェンジ検出の精度を向上させることができる。

なお、判定部６４は、上述した判定処理の他、ベイズの定理に従って事象の確率を求めるベイズ識別法や、ニューラルネットワーク法、統計的学習理論を応用したサポートベクターマシン法等の、いわゆる統計的判別法を利用して、カットチェンジであるかを判定するようにしてもよい。

図３２は、図１０の第１処理部６１の他の実施の形態の構成を示すブロック図である。

第１処理部６１は、図１８におけるヒストグラム生成部１０１、バッファ１０３、ヒストグラム類似度計算部１０４、フィルタ画像生成部１２１、フィルタ画像類似度計算部１２２、モザイク画像生成部１３１、モザイク画像類似度計算部１３２以外に、平均類似度計算部１７１から構成される。

図３２において、平均類似度計算部１７１は、ヒストグラム類似度計算部１０４から供給されるヒストグラム類似度の、近傍の所定の数のフレーム（例えば、８フレーム）の平均である平均ヒストグラム類似度を計算し、判定部６４に供給し、また、フィルタ画像類似度計算部１２２から供給されるフィルタ画像類似度の、近傍の所定の数のフレームの平均である平均フィルタ画像類似度を計算し、判定部６４に供給する。さらに、平均類似度計算部１７１は、モザイク画像類似度計算部１３２から供給されるモザイク画像類似度の、近傍の所定の数のフレームの平均である平均モザイク画像類似度を計算し、判定部６４に供給する。

なお、平均ヒストグラム類似度、平均フィルタ画像類似度、及び平均モザイク画像類似度のことを、以下、適宜、平均類似度ともいう。

次に、図３３のフローチャートを参照して、図３２の第１処理部６１による第１の処理について説明する。

図３３において、ステップＳ２４１乃至Ｓ２４７の処理は、図１９におけるステップＳ１２１乃至Ｓ１２７の処理と同様であり、説明を省略する。

ステップＳ２４８において、図３２の平均類似度計算部１７１は、ヒストグラム類似度計算部１０４から供給されるヒストグラム類似度の、近傍の所定の数のフレームの平均である平均ヒストグラム類似度を計算し、判定部６４に供給するとともに、フィルタ画像類似度計算部１２２から供給されるフィルタ画像類似度の、近傍の所定の数のフレームの平均である平均フィルタ画像類似度を計算し、判定部６４に供給する。さらに、平均類似度計算部１７１は、モザイク画像類似度計算部１３２から供給されるモザイク画像類似度の、近傍の所定の数のフレームの平均である平均モザイク画像類似度を計算し、判定部６４に供給する。その後、処理は、図１１のステップＳ２に戻る。

一般に、画像の動きが激しい画像区間では、カットチェンジではなくても、画像どうしの類似度が低下するので、カットチェンジの過剰検出が発生しやすくなる傾向がある。このような場合に、平均類似度をあわせて用いることにより、画像の動きが激しい画像区間と、ほとんど動きのない画像区間のそれぞれの各種の類似度の違いを吸収することができる。したがって、動きの大きな画像区間と、ほとんど動きのない画像区間のどちらに対しても、高い精度のカットチェンジ検出を安定して実現することができる。

図３４は、図１０の第１処理部６１の他の実施の形態の構成を示すブロック図である。

第１処理部６１は、図１８におけるヒストグラム生成部１０１、バッファ１０３、ヒストグラム類似度計算部１０４、フィルタ画像生成部１２１、フィルタ画像類似度計算部１２２、モザイク画像生成部１３１、モザイク画像類似度計算部１３２以外に、平均色計算部１８１、及び近傍平均色計算部１８２から構成される。

図３４において、平均色計算部１８１には、第１処理部６１に入力された画像が供給される。

平均色計算部１８１は、そこに入力される画像の輝度または色の画像全体に関する平均である平均輝度または平均色を計算し、近傍平均色計算部１８２に供給する。

近傍平均色計算部１８２は、カットチェンジを検出する処理対象とする第１の画像の近傍の、例えば、所定数のフレームの、平均色計算部１８１から供給された平均輝度または平均色の平均である近傍平均色を計算し、判定部６４に供給する。

次に、図３５のフローチャートを参照して、図３４の第１処理部６１による第１の処理について説明する。

図３５において、ステップＳ２６１乃至Ｓ２６７の処理は、図１９におけるステップＳ１２１乃至Ｓ１２７の処理と同様であり、説明を省略する。

平均色計算部１８１には、第１処理部６１に入力された画像が供給される。ステップＳ２６８において、平均色計算部１８１は、そこに入力される画像の輝度または色の画像全体に関する平均である平均輝度または平均色を計算し、近傍平均色計算部１８２に供給する。

ステップＳ２６９において、近傍平均色計算部１８２は、カットチェンジを検出する処理対象とする第１の画像（現フレーム）の近傍の、例えば、所定数のフレーム（例えば、８フレーム）の、平均色計算部１８１から供給された平均輝度または平均色の平均である近傍平均色を計算し、判定部６４に供給する。その後、処理は、図１１のステップＳ２に戻る。

一般に、夜間の画像や室内での画像など、画像全体の明るさ（輝度）が暗い画像区間では、ヒストグラムどうしの違いやフィルタ画像どうしの違いが小さくなり、ヒストグラム類似度やフィルタ画像類似度が高い値となるので、検出漏れが発生しやすくなるという傾向がある。このように、輝度や色が画像全体で小さい値をとる場合に、近傍平均色をあわせて用いることにより、例えば、画像が暗い場合には、わずかの変化でもカットチェンジであると判定し、明るい場合には、大きい変化があったときにのみカットチェンジであると判定するようにする等して、画像全体の輝度や色の大きさのバラツキを補うことで、高い精度のカットチェンジ検出を安定して実現することができる。

次に、第２の処理について説明する。

図３６は、図１０の第２処理部６２の実施の形態の構成を示すブロック図である。

図３６において、第２処理部６２は、精細ヒストグラム生成部４０１、特徴分布算出部４０２、間引き処理部４０３、及び類似度算出部４０４から構成される。

精細ヒストグラム生成部４０１には、第２処理部６２に入力された画像が供給される。精細ヒストグラム生成部４０１は、そこに供給される画像のヒストグラムとして、できるだけ細かい分割幅の、例えば、256階調の場合には1階調の分割幅のヒストグラムである精細ヒストグラムを生成し、特徴分布算出部４０２に供給する。

特徴分布算出部４０２は、精細ヒストグラム生成部４０１から供給される精細ヒストグラムにフィルタ処理を施し、その結果得られる特徴分布を、間引き処理部４０３に供給する。特徴分布算出部４０２によるフィルタ処理には、適切に設計された低域通過型フィルタを用いることが望ましいが、非線形な応答を持つフィルタを用いてもよい。

間引き処理部４０３は、特徴分布算出部４０２から供給される特徴分布に対して、その特徴分布を忠実に再現する（サンプリング定理で許される）範囲のサンプリング周波数に対応する間隔で間引きを行う間引き処理を施し、その結果得られる間引き処理後の特徴分布を類似度算出部４０４に供給する。

なお、間引き処理部４０３による間引き処理は、主に、データ量を削減して演算量や記憶容量を節約するための処理であり、必要がなければ省略してもよい。

類似度算出部４０４は、間引き処理部４０３から供給される間引き処理後の第１の画像の特徴分布と間引き処理後の第２の画像の特徴分布とを比較し、その間引き処理後の第１の画像の特徴分布と間引き処理後の第２の画像の特徴分布の類似度を算出する。

特徴分布どうしの類似度は、通常のヒストグラム差分法と同様に、第１の画像の特徴分布と、例えば、第１の画像より前のフレームの第２の画像の特徴分布の間の距離を求め、その距離が小さいほど特徴分布どうしの類似度が高くなるようにすればよい。

次に、図３７のフローチャートを参照して、図１１のステップＳ３で図３６の第２処理部６２が行う第２の処理について説明する。

図３６の精細ヒストグラム生成部４０１には、第２処理部６２に入力された画像が供給される。ステップＳ４０１において、精細ヒストグラム生成部４０１は、そこに供給される画像の精細ヒストグラムを生成し、特徴分布算出部４０２に供給する。

いま、図３８Ａに示されるように、フレームＦ２１１とフレームＦ２１２が処理対象画像であるとする。これらの画像は、図５のフレームＦ５１とフレームＦ５２と同じ輝度の分布を持つ画像となっている。すなわち、フレームＦ２１１の画像の左半分は75、右半分は81の輝度を有し、フレームＦ２１２の画像の左半分は77、右半分は83の輝度を有している。図３８Ｂの精細ヒストグラムＨ２１１と精細ヒストグラムＨ２１２は、それぞれ、フレームＦ２１１とフレームＦ２１２の画像から生成された精細ヒストグラムである。精細ヒストグラムＨ２１１は、輝度75，81に、精細ヒストグラムＨ２１２は、輝度77，83にそれぞれヒストグラムピークを有している。

図３８の精細ヒストグラムＨ２１１は、入力される画像がN階調の画像であれば、ビンの分割数をN段階とすることが望ましい。その場合、後述するヒストグラム生成の演算の不連続性は、画像がそもそも有する量子化レベルに留まり、新たな誤差が導入されることがない。また、演算量や記憶容量を節約する観点からすると、ビンの分割数をN段階未満とすることも可能ではあるが、分割が粗ければ粗い程、一般のヒストグラム差分法と同様に、ヒストグラム生成の演算の不連続性によって生じる誤差が導入されてしまう。

ステップＳ４０２において、特徴分布算出部４０２は、精細ヒストグラム生成部４０１から供給される精細ヒストグラムにフィルタ処理を施し、その結果得られる特徴分布を、間引き処理部４０３に供給する。

図３８Ｃの特徴分布Ｃ２１１は、精細ヒストグラムＨ２１１にフィルタ処理を施すことによって得られたものであり、また、特徴分布Ｃ２１２は、精細ヒストグラムＨ２１２にフィルタ処理を施すことによって得られたものである。

フィルタ処理には、図３９に示すような低域通過型フィルタを用いるのが望ましい。低域通過型フィルタを用いることにより、隣接のビンに投票する方法を用いる場合のようにヒストグラム生成の演算の不連続性による新たな誤差を導入することなく、輝度の微小変動によるヒストグラムの違いのブレを吸収することができる。

また、低域通過型フィルタによるフィルタ処理によって得られる特徴分布は、ヒストグラムに比べて高周波成分が低減されているので、サンプリング定理に従う範囲で間引き処理を行うことにより、以降の演算量を低く抑えつつ、フィルタ処理または間引き処理による誤差を導入しないようにできるか、あるいは、非常に少ない誤差に抑えることができる。

したがって、上述した方法を採用することにより、ヒストグラム差分法が本質的に有するヒストグラム生成の演算の不連続性による誤差が排除された特徴分布を用いて、対象画像どうしの類似度を算出することができるので、より高精度のカットチェンジ検出を行うことができる。

特徴分布算出部４０２によるフィルタ処理には、上述した低域通過型フィルタの他、非線形応答を持つフィルタである非線形フィルタを用いることもできる。

例えば、非線形フィルタには、特徴分布の対数を取ることにより、特徴値軸を対数的に圧縮または伸張するものを用いることもできる。

図４０は、特定の輝度に特徴分布が集中している画像に、上述の非線形フィルタによる処理を施した場合の特徴分布を示している。

図４０Ａはフィルタ処理される画像を示し、図４０Ｂは、その画像に線形フィルタによる処理を施した場合の特徴分布を示し、図４０Ｃは、その画像に非線形フィルタによる処理を施した場合の特徴分布を示す。

図４０Ａの原画像は、単純色の物体の前景が、複雑な背景の前に位置する画像である。

図４０Ｂの特徴分布では、その単純色の物体の輝度に特徴分布が集中している。この場合、前述したように、単純色の物体の輝度の変動が、カットチェンジの検出結果に過度に支配的となってしまう。

これに対して、図４０Ｃの特徴分布では、非線形なフィルタリングによって、大きすぎる輝度が抑えられるので、特定の輝度に特徴分布が集中するのを抑制することができる。

ステップＳ４０３において、間引き処理部４０３は、特徴分布算出部４０２から供給される特徴分布に対して、例えば、４階調ごとに間引く間引き処理を施し、その結果得られる間引き処理後の特徴分布を類似度算出部４０４に供給する。図３８Ｃの特徴分布Ｃ２１１と特徴分布Ｃ２１２を間引き処理することで、それぞれ図３８Ｃの特徴分布Ｄ２１１と特徴分布Ｄ２１２が得られる。

ステップＳ４０４において、類似度算出部４０４は、間引き処理部４０３から供給される間引き処理後の第１の画像の特徴分布と間引き処理後の第２の画像（前フレームの画像）の特徴分布とを比較し、その間引き処理後の第１の画像の特徴分布と間引き処理後の第２の画像の特徴分布の類似度を算出するための類似度算出処理を実行する。その後、処理は、図１１のステップＳ３に戻る。

この類似度算出処理を実行するため、図３６の類似度算出部４０４は、図４１に示されるように構成される。すなわち、類似度算出部４０４は、対応サンプル決定部４３１及び類似度決定部４３２から構成される。

対応サンプル決定部４３１は、間引き処理部４０３から供給される、第１の画像の間引き処理後の特徴分布と第２の画像の間引き処理後の特徴分布を比較し、第１の画像と第２の画像のそれぞれの特徴分布どうしの形状が最もよく一致するようにサンプルどうしの対応関係を決定し、その対応関係を表す対応関係情報を類似度決定部４３２に供給する。

類似度決定部４３２は、対応サンプル決定部４３１から供給される対応関係情報に基づいて、例えば、第１の画像の特徴分布と第２の画像の特徴分布の距離を求め、その距離が小さいほど高くなる類似度である特徴分布類似度を、判定部６４に供給する。

図４２のフローチャートを参照して、図３６の類似度算出部４０４による類似度算出処理について説明する。

ステップＳ４２１において、対応サンプル決定部４３１は、間引き処理部４０３から供給される、第１の画像の間引き処理後の特徴分布と第２の画像の間引き処理後の特徴分布を比較し、第１の画像と第２の画像のそれぞれの特徴分布どうしの形状が最もよく一致するようにサンプルどうしの対応関係を、図４３に示されるように決定し、その対応関係を表す対応関係情報を類似度決定部４３２に供給する。ここで、サンプルは、特徴分布の要素（ビン）のことを表す。

図４３の上の図は、第１の画像としてのフレームＦ２３１の特徴分布を示し、図４３の下の図は第２の画像としてのフレームＦ２３２の特徴分布を示す。

図４３において、フレームＦ２３１の特徴分布とフレームＦ２３２の特徴分布のそれぞれのサンプルを、矢印で示されるように対応付けることで、２つの特徴分布の形状が最もよく一致する状態になる。

特徴分布どうしの対応関係を求める方法には、例えば、特徴分布どうしの相関を最大とするように求める方法、特徴分布どうしの２乗誤差を最小とするように求める方法、あるいは、特徴分布どうしの重心を一致させるように求める方法等がある。

あるいは、一般に、輝度の変化によって特徴分布の形状の歪みが発生するため、DP(Dynamic Programming)マッチングの技法等の非線形な方法を用いて、対応関係を決定してもよい。

ステップＳ４２２において、類似度決定部４３２は、対応サンプル決定部４３１から供給される対応関係情報に基づいて、例えば、第１の画像の特徴分布と第２の画像の特徴分布の距離を求め、その距離が小さいほど高くなる類似度である特徴分布類似度を、判定部６４に供給する。

前述したように、ヒストグラム差分法では、微小な輝度変動が生じたときに、カットチェンジの誤検出が発生するおそれがあったが、その原因は、ヒストグラムを求める際に、ビンの区切りを挟んで不連続な演算を行っていることにある。特許文献２の方法を用いた場合、この演算の不連続性を緩和することができるので、カットチェンジの誤検出をある程度抑制できるが、ビンの区切り自体を解消するには至っていないので、効果が限定的となるのである。これに対して、本実施の形態では、特徴分布の形状が一致するようにサンプルを対応付けるので、ビンの区切りによる影響をより少なくすることができる。

次に、第３の処理について説明する。

図４４は、図１０の第３処理部６３の実施の形態の構成を示すブロック図である。

図４４において、第３処理部６３は、特徴抽出部８１１、特徴量バッファ８１２、類似度算出部８１３、縮小画像生成部８１４、縮小画像バッファ８１５、合成画像生成部８１６、および類似度算出部８１７から構成される。

特徴抽出部８１１には、第３処理部６３に入力された画像が供給される。

いま、第３処理部６３に入力された直近の３つの画像、すなわち、時間順に、前々の画像、前の画像、または現画像を、それぞれ、第１の注目画像、第２の注目画像、または第３の注目画像とする。

特徴抽出部８１１は、そこに供給される第１乃至第３の注目画像のそれぞれの特徴量を抽出し、特徴量バッファ８１２に供給する。

この実施の形態の場合、特徴量として、上述したヒストグラムが採用されるが、この他、フィルタ画像、モザイク画像、または特徴分布の他、一般的なカットチェンジの検出方法のものも採用することができ、例えば、非特許文献１及び非特許文献２に示されているように、輝度の平均値若しくは分散値、符号化で得られるDCT係数若しくは動きベクトル、エッジ検出で得られるエッジ等を用いることができる。

特徴量バッファ８１２は、特徴抽出部８１１から供給される第１乃至第３の注目画像の特徴量を保存する。また、特徴量バッファ８１２は、少なくとも直近の３つの画像、つまり、第１乃至第３の注目画像も保存する。

類似度算出部８１３は、特徴量バッファ８１２から、第１乃至第３の注目画像を読み出し、第１の注目画像の特徴量と第３の注目画像の特徴量の類似度（以下、適宜、類似度１という）である第１の類似度１、第１の注目画像の特徴量と第２の注目画像の特徴量の類似度１である第２の類似度１、及び第２の注目画像の特徴量と第３の注目画像の特徴量の類似度１である第３の類似度１をそれぞれ算出し、その第１乃至第３の類似度１を判定部６４にそれぞれ供給する。

この実施の形態の場合、類似度１として、上述したヒストグラム類似度が採用されるが、この他、フィルタ画像類似度、モザイク画像類似度、または特徴分布類似度の他、一般的なカットチェンジの検出方法で用いるものを採用することができ、例えば、非特許文献１または非特許文献２に示されているように、隣接する２つの画像のそれぞれの輝度の平均値若しくは分散値どうしの差分値、隣接する２つの画像の差分絶対和または差分２乗和、ヒストグラム差分絶対和、DCT係数の差分値、動きベクトルを用いて予測した画像と実際の画像との誤差である予測誤差の大きさ、エッジの数またはエッジの分布どうしの違い等を用いることができる。

縮小画像生成部８１４には、第３処理部６３に入力された画像、すなわち、第１乃至第３の注目画像がそれぞれ供給される。縮小画像生成部８１４は、そこに供給される第１乃至第３の注目画像をそれぞれ縮小した縮小画像を生成し、縮小画像バッファ８１５に供給する。縮小画像には、例えば、８ピクセル×８ピクセルから１６ピクセル×１６ピクセル程度のサイズに縮小したものが用いられる。

縮小画像バッファ８１５は、縮小画像生成部８１４から供給される第１乃至第３の注目画像のそれぞれの縮小画像を保存する。また、縮小画像バッファ８１５は、少なくとも直近の３つの画像、つまり、第１乃至第３の注目画像も保存する。

合成画像生成部８１６は、縮小画像バッファ８１５から、第２の注目画像に対して時間的に前または後に位置する第１の注目画像の縮小画像と第３の注目画像の縮小画像をそれぞれ読み出し、第１の注目画像の縮小画像と第３の注目画像の縮小画像を合成した合成画像を生成し、類似度算出部８１７に供給する。

合成画像の点(x,y)の画素値G(x, y)は、例えば、第１の画像の縮小画像の画素値をF₁(x, y)、第３の画像の縮小画像の画素値をF₃(x, y)とすると、所定の定数a、bを用いて、式（１）で表される。

ここで、xまたはyは、それぞれ各画像のX座標またはY座標を表す。

類似度算出部８１７は、縮小画像バッファ８１５から第２の注目画像の縮小画像を読み出し、合成画像生成部８１６から供給される第１の注目画像の縮小画像と第３の注目画像の縮小画像を合成した合成画像と第２の画像の縮小画像との類似度である類似度２を算出し、判定部６４に供給する。

類似度２には、例えば、合成画像と縮小画像の同一ピクセルどうしの差分値の画像全体に関する２乗和の符号を反転したものか、あるいは、合成画像と縮小画像の最大相関値等を用いてもよい。

次に、図４５のフローチャートを参照して、図４４の第３処理部６３による第３の処理について説明する。

特徴抽出部８１１には、第３処理部６３に入力された画像が供給される。

いま、第３処理部６３に入力された直近の３つの画像、すなわち、時間順に、前々の画像、前の画像、または現画像を、それぞれ、図４６に示されるフレームＦ５１１、フレームＦ５１２、またはフレームＦ５１３の画像とする。人が撮影対象とされているフレームＦ５１１の画像と家が撮影対象とされているフレームＦ５１３の画像の類似度は低く、フレームＦ５１２の画像は、前のフレームＦ５１１の画像と後のフレームＦ５１３の画像が混合したような画像となっているので、フレームＦ５１１の画像とフレームＦ５１２の画像の類似度、及びフレームＦ５１２の画像とフレームＦ５１３の画像の類似度は、それぞれ高くなっている。すなわち、フレームＦ５１２には、フレームＦ５１１までのカットとフレームＦ５１３以降のカットを連結する境界であるブレンドカットチェンジが存在する。

ステップＳ６０１において、特徴抽出部８１１は、そこに供給されるフレームＦ５１１乃至Ｆ５１３のそれぞれの特徴量を抽出する。具体的には、図１９のステップＳ１２１における場合と同様に、ヒストグラムが生成される。このヒストグラムは、特徴量バッファ８１２に保存される。

ステップＳ６０２において、類似度算出部８１３は、特徴量バッファ８１２から、フレームＦ５１１乃至Ｆ５１３のそれぞれの特徴量を読み出し、フレームＦ５１１の特徴量とフレームＦ５１３の特徴量の類似度である第１の類似度１、フレームＦ５１１の特徴量とフレームＦ５１２の特徴量の類似度である第２の類似度１、及びフレームＦ５１２の特徴量とフレームＦ５１３の特徴量の類似度である第３の類似度１をそれぞれ算出し、その第１乃至第３の類似度１を判定部６４にそれぞれ供給する。具体的には、図１９のステップＳ１２５における場合と同様に、ヒストグラム類似度が計算される。

縮小画像生成部８１４には、第３処理部６３に入力された画像、すなわち、フレームＦ５１１乃至Ｆ５１３の画像がそれぞれ供給される。

ステップＳ６０３において、縮小画像生成部８１４は、そこに供給されるフレームＦ５１１乃至Ｆ５１３の画像をそれぞれ縮小した縮小画像を生成し、縮小画像バッファ８１５に保存させる。すなわち、LCD(Liquid Crystal Display)等の表示部に表示されるサイズの画像が、例えば、８ピクセル×８ピクセルのサイズに縮小される。この縮小は、例えば、原画像を８×８個のブロックに区分し、各ブロックの平均値を求めることで行われる。

ステップＳ６０４において、合成画像生成部８１６は、縮小画像バッファ８１５からフレームＦ５１２より時間的に前のフレームＦ５１１の縮小画像と、フレームＦ５１２より時間的に後のフレームＦ５１３の縮小画像をそれぞれ読み出し、式（１）に従って、フレームＦ５１１の縮小画像とフレームＦ５１３の縮小画像を合成した合成画像を生成し、類似度算出部８１７に供給する。

ステップＳ６０５において、類似度算出部８１７は、縮小画像バッファ８１５からフレームＦ５１２の縮小画像を読み出し、合成画像生成部８１６から供給されるフレームＦ５１１の縮小画像とフレームＦ５１３の縮小画像を合成した合成画像とフレームＦ５１２の縮小画像の類似度である類似度２を算出する。具体的には、合成画像と縮小画像の２乗距離の符号を反転したもの、または、両者の相関関数の最大値が演算される。演算結果としての類似度２は、判定部６４に供給される。その後、処理は、図１１のステップＳ４に戻る。

判定部６４は、図１０に示したように、本来、第１処理部６１、第２処理部６２、及び第３処理部６３から供給される各種の類似度に基づいて、判定処理を行うが、ここでは、図４４の第３処理部６３の構成例において、第３処理部６３から供給される類似度のみに基づいて、判定処理を行う場合について図４７のフローチャートを参照して説明する。

判定処理は、図４５の第３の処理でリターンがされると開始される。

判定部６４には、図４４の類似度算出部８１３からの第１乃至第３の類似度１と類似度算出部８１７からの類似度２が供給される。

ステップＳ６３１において、判定部６４は、フレームＦ５１１の画像とフレームＦ５１３の画像の類似度１（第１の類似度１）は予め設定されている所定の閾値より大きいかを判定する。第１の類似度１が閾値より大きい場合、ステップＳ６３５において、判定部６４は、フレームＦ５１１乃至フレームＦ５１３における画像の変化を、カットチェンジではないと判定する。

例えば、図４８Aに示されるように、フレームＦ５１１乃至F５１３の画像が殆ど変化していない場合、あるいは、図４８Bに示されるように、フレームＦ５１１とフレームＦ５１３の画像は殆ど変化していないが、その間のフレームＦ５１２の画像がフレームＦ５１１，F５１３に較べて明るさが異なる場合（例えば、フラッシュがたかれたり、フレーム落ちなどの場合）、カットチェンジではないと判定される。

一方、ステップＳ６３１において、第１の類似度１は閾値より大きくないと判定された場合、ステップＳ６３２において、判定部６４は、フレームＦ５１１とフレームＦ５１２の画像の類似度１（第２の類似度１）が予め設定されている所定の閾値より大きいかを判定する。

ステップＳ６３２において、第２の類似度１が閾値より大きいと判定された場合、ステップＳ６３３において、判定部６４は、フレームＦ５１２の画像とフレームＦ５１３の画像の類似度１（第３の類似度１）は予め設定されている所定の閾値より大きいかを判定する。

ステップＳ６３３において、第３の類似度１は閾値より大きいと判定された場合、ステップＳ６３４において、判定部６４は、類似度２は予め設定されている所定の閾値より大きいかを判定する。

ステップＳ６３４において、類似度２が閾値より大きくないと判定された場合、すなわち、フレームＦ５１１とフレームＦ５１３の画像の類似度１が閾値より小さく、フレームＦ５１１とフレームＦ５１２の画像の類似度１が閾値より大きく、フレームＦ５１２とフレームＦ５１３の画像の類似度１が閾値より大きく、かつ、類似度２が閾値より小さい場合、ステップＳ６３５において、判定部６４は、フレームＦ５１１乃至フレームＦ５１３における画像の変化を、カットチェンジではないと判定する。

例えば、図４８Cに示されるように、フレームＦ５１１乃至F５１３の画像が、人が家から速い動きで離れていく画像である場合であって、フレームＦ５１１とフレームＦ５１３の画像は類似していないが、フレームＦ５１１とフレームＦ５１２の画像は類似し、フレームＦ５１２とフレームＦ５１３の画像は類似し、フレームＦ５１１とフレームＦ５１３の縮小画像を合成した画像と、フレームＦ５１２の縮小画像は類似していない場合、カットチェンジではないと判定される。

ステップＳ６３４において、類似度２が閾値より大きいと判定された場合、すなわち、フレームＦ５１１とフレームＦ５１３の画像の類似度１が閾値より小さく、フレームＦ５１１とフレームＦ５１２の画像の類似度１が閾値より大きく、フレームＦ５１２とフレームＦ５１３の画像の類似度１が閾値より大きく、かつ、類似度２が閾値より大きい場合、ステップＳ６３６において、判定部６４は、フレームＦ５１１乃至フレームＦ５１３における画像の変化を、ブレンドカットチェンジであると判定する。

例えば、図４８Gに示されるように、人の画像であるフレームＦ５１１の画像と、家の画像であるフレームＦ５１３の画像は類似していないが、フレームＦ５１２の画像は人と家を合成したような画像であるため、フレームＦ５１１とフレームＦ５１２の画像は類似し、フレームＦ５１２とフレームＦ５１３の画像は類似し、フレームＦ５１１とフレームＦ５１３の縮小画像を合成した画像と、フレームＦ５１２の縮小画像は類似する場合、ブレンドカットチェンジであると判定される。

一方、ステップＳ６３２において、第２の類似度１が閾値より小さいと判定された場合、ステップＳ６３７において、判定部６４は、フレームＦ５１２とフレームＦ５１３の類似度１（第３の類似度１）は予め設定されている所定の閾値より大きいかを判定する。ステップＳ６３７において、第３の類似度１は閾値より大きいと判定された場合、すなわち、フレームＦ５１１とフレームＦ５１３の画像の類似度１が閾値より小さく、フレームＦ５１１とフレームＦ５１２の画像の類似度１が閾値より小さく、フレームＦ５１２とフレームＦ５１３の画像の類似度１が閾値より大きい場合、ステップＳ６３９において、判定部６４は、フレームＦ５１１乃至フレームＦ５１３における画像の変化は、通常カットチェンジであると判定する。

例えば、図４８Dに示されるように、人の画像であるフレームＦ５１１の画像と、家の画像であるフレームＦ５１３の画像は類似しておらず、フレームＦ５１２の画像は家の画像であるため、フレームＦ５１１とフレームＦ５１２の画像は類似しておらず、フレームＦ５１２とフレームＦ５１３の画像は類似する場合、通常のカットチェンジであると判定される。

ステップＳ６３３において、第３の類似度１は閾値より小さいと判定された場合、すなわち、フレームＦ５１１とフレームＦ５１３の画像の類似度１が閾値より小さく、フレームＦ５１１とフレームＦ５１２の画像の類似度１が閾値より大きく、フレームＦ５１２とフレームＦ５１３の画像の類似度１が閾値より小さい場合、ステップＳ６３９において、判定部６４は、フレームＦ５１１乃至フレームＦ５１３における画像の変化は、通常カットチェンジであると判定する。

例えば、図４８Eに示されるように、人の画像であるフレームＦ５１１の画像と、家の画像であるフレームＦ５１３の画像は類似しておらず、フレームＦ５１２の画像は人の画像であるため、フレームＦ５１１とフレームＦ５１２の画像は類似し、フレームＦ５１２とフレームＦ５１３の画像は類似していない場合、通常のカットチェンジであると判定される。

ステップＳ６３７において、第３の類似度１は閾値より小さいと判定された場合、ステップＳ６３８において、判定部６４は、類似度２は予め設定されている所定の閾値より大きいかを判定する。ステップＳ６３８において、類似度２は閾値より大きいと判定された場合、すなわち、フレームＦ５１１とフレームＦ５１３の画像の類似度１が閾値より小さく、フレームＦ５１１とフレームＦ５１２の画像の類似度１が閾値より小さく、フレームＦ５１２とフレームＦ５１３の類似度１が閾値より小さく、かつ、類似度２が閾値より大きい場合、ステップＳ６３６において、判定部６４は、フレームＦ５１１乃至フレームＦ５１３における画像の変化を、ブレンドカットチェンジであると判定する。

例えば、図４８Gに示されるように、人の画像であるフレームＦ５１１の画像と、家の画像であるフレームＦ５１３の画像は類似しておらず、フレームＦ５１２の画像は人と家を合成したような画像であるが、フレームＦ５１１とフレームＦ５１２の画像、並びにフレームＦ５１２とフレームＦ５１３の画像は類似していないと判定された場合でも、フレームＦ５１１とフレームＦ５１３の縮小画像を合成した画像と、フレームＦ５１２の縮小画像が類似する場合、ブレンドカットチェンジであると判定される。

一方、ステップＳ６３８において、類似度２は閾値より小さいと判定された場合、すなわち、フレームＦ５１１とフレームＦ５１３の画像の類似度１が閾値より小さく、フレームＦ５１１とフレームＦ５１２の類似度１が閾値より小さく、フレームＦ５１２とフレームＦ５１３の類似度１が閾値より小さく、かつ、類似度２が閾値より小さい場合、判定部６４は、フレームＦ５１１乃至フレームＦ５１３における画像の変化は、通常カットチェンジであると判定する。

例えば、図４８Fに示されるように、人の画像であるフレームＦ５１１の画像と、山の画像であるフレームＦ５１３の画像は類似しておらず、フレームＦ５１２の画像は家の画像であるため、フレームＦ５１１とフレームＦ５１２の画像は類似しておらず、フレームＦ５１２とフレームＦ５１３の画像も類似していない場合、フレームＦ５１１とフレームＦ５１３の縮小画像を合成した画像と、フレームＦ５１２の縮小画像が類似していないとき、通常のカットチェンジであると判定される。

以上のように、図４４の判定部６４は、類似度算出部８１３から供給される第１乃至第３の類似度１、並びに、類似度算出部８１７から供給される類似度２に基づいて、フレームＦ５１１乃至フレームＦ５１３の間の画像の変化は、通常のカットチェンジであるか、さらに、ブレンドカットチェンジであるかを判定する。

また、判定部６４は、第１乃至第３の類似度１及び類似度２のそれぞれが、第１乃至第３の類似度１及び類似度２のそれぞれに対して設定された適切な閾値に対して大きいかまたは小さいかを判定する閾値判定を行い、第１乃至第３の類似度１及び類似度２のそれぞれに対する閾値判定結果の組み合わせに基づいて、カットチェンジであるかを判定する。なお、値が閾値と等しい場合には、大きいかまたは小さいかのいずれかに判定される。

図４９は、図４７の判定処理と図４８の３フレームの画像のパターンの関係をまとめたものである。

図４９において、類似度の欄が「大」である場合、その類似度が所定の閾値より大きいことを表し、類似度の欄が「小」である場合、その類似度が所定の閾値より小さいことを表す。

図４９の上から２行目において、フレームＦ５１１とフレームＦ５１３の類似度１が「大」の場合には、他の類似度が「大」、「小」のいずれの値であっても、カットチェンジではないと判定される。このような場合に対応する画像パターンは、例えば、図４８Ａまたは図４８Ｂに示されている。

図４９の上から３行目において、フレームＦ５１１とフレームＦ５１３の類似度１が「小」、フレームＦ５１１とフレームＦ５１２の類似度１が「大」、フレームＦ５１２とフレームＦ５１３の類似度１が「大」、類似度２が「大」の場合には、ブレンドカットチェンジであると判定される。このような場合に対応する画像パターンは、例えば、図４８Ｇに示されている。

図４９の上から４行目において、フレームＦ５１１とフレームＦ５１３の類似度１が「小」、フレームＦ５１１とフレームＦ５１２の類似度１が「大」、フレームＦ５１２とフレームＦ５１３の類似度１が「大」、類似度２が「小」の場合には、カットチェンジでないと判定される。このような場合に対応する画像パターンは、例えば、図４８Ｃに示されている。

図４９の上から５行目において、フレームＦ５１１とフレームＦ５１３の類似度１が「小」、フレームＦ５１１とフレームＦ５１２の類似度１が「大」、フレームＦ５１２とフレームＦ５１３の類似度１が「小」の場合、類似度２が「大」若しくは「小」のいずれでも、通常カットチェンジであると判定される。このような場合に対応する画像パターンは、例えば、図４８Ｅに示されている。

図４９の上から６行目において、フレームＦ５１１とフレームＦ５１３の類似度１が「小」、フレームＦ５１１とフレームＦ５１２の類似度１が「小」、フレームＦ５１２とフレームＦ５１３の類似度１が「大」の場合、類似度２が「大」若しくは「小」のいずれでも、通常カットチェンジであると判定される。このような場合に対応する画像パターンは、例えば、図４８Ｄに示されている。

図４９の上から７行目において、フレームＦ５１１とフレームＦ５１３の類似度１が「小」、フレームＦ５１１とフレームＦ５１２の類似度１が「小」、フレームＦ５１２とフレームＦ５１３の類似度１が「小」、類似度２が「大」の場合には、ブレンドカットチェンジであると判定される。このような場合に対応する画像パターンは、例えば、図４８Ｇに示されている。

図４９の上から８行目において、フレームＦ５１１とフレームＦ５１３の類似度１が「小」、フレームＦ５１１とフレームＦ５１２の類似度１が「小」、フレームＦ５１２とフレームＦ５１３の類似度１が「小」、類似度２が「小」の場合には、通常カットチェンジであると判定される。このような場合に対応する画像パターンは、例えば、図４８Ｆに示されている。

例えば、フェード、ディゾルブ、ワイプ等の連続的な画像の変化を伴う画像効果を用いた画像区間の接続における画像の変化であるブレンドカットチェンジも、カットチェンジとして検出することができ、ブレンドカットチェンジの検出を正確に行うことができる。

なお、図４４の判定部６４は、この他、ベイズ識別法やニューラルネットワーク法、サポートベクターマシン法等の統計的判別法を用いて、第１乃至第３の類似度１と類似度２に基づいて、カットチェンジであるかを判別する判別器を有する構成としてもよい。

判定部６４の構成については、第１の処理を実行する場合に関連して、図２８と図３０に示したが、図１０の判定部６４の実施の形態としての構成を示すと、図５０と図５１に示すようになる。

図５０において、荷重処理部１５１には、図１０の第１処理部６１から第１の処理の類似度が供給される。荷重処理部１５１は、そこに供給される第１の処理の類似度情報に、所定の荷重係数Ｗ３１を乗算し、その結果得られる重み付けされた第１の処理の類似度を、加算部１５４に供給する。第１の処理の類似度として、ヒストグラム類似度、空間相関画像類似度、フィルタ画像類似度、モザイク画像類似度等が入力される場合には、それぞれに対応する荷重係数が乗算されて、加算部１５４に供給される。

荷重処理部１５２には、図１０の第２処理部６２から第２の処理の類似度、すなわち、特徴分布情報が供給される。荷重処理部１５２は、そこに供給される第２の処理の類似度に、所定の荷重係数Ｗ３２を乗算し、その結果得られる重み付けされた第２の処理の類似度を、加算部１５４に供給する。

荷重処理部１５３には、図１０の第３処理部６３の第３の処理の類似度が供給される。荷重処理部１５３は、第３処理部６３から供給される第３の処理の類似度に、所定の荷重係数Ｗ３３を乗算し、その結果得られる重み付けされた第３の処理の類似度を、加算部１５４に供給する。第３の処理の類似度として第１乃至第３の類似度１、類似度３が入力される場合には、それぞれに対応する荷重係数が乗算されて、加算部１５４に供給される。

加算部１５４は、荷重処理部１５１から供給される重み付けされた第１の処理の類似度情報、荷重処理部１５２から供給される重み付けされた第２の処理の類似度情報、並びに、荷重処理部１５３から供給される重み付けされた第３の処理の類似度情報をすべて加算し、その結果得られる加算された類似度を表す加算類度似情報を、閾値判定部１５５に供給する。

閾値判定部１５５は、加算部１５４から供給される加算類似度情報と所定の閾値とを比較することにより、カットチェンジを検出する処理対象とする第１の画像と第２の画像、または第２の画像と第３の画像の境界が、時間的に不連続な画像の変化を伴う境界であるカットチェンジであるかを判定する。

図５１の判定部６４は、図５０の荷重処理部１５１乃至１５３の前段に、非線形変換処理部１６１乃至１６３が付加された構成とされている。非線形変換処理部１６１乃至１６３の機能は、図３０を参照して説明した場合と同様である。

図５２は、図１０の実施の形態によるカットチェンジ検出の性能評価の結果を表している。

図５２の上から２行目に示されるように、１本が約１２０分で１２本、カット数が２６０個のパーソナルビデオ、すなわち、個人がビデオカメラで撮影したパーソナルビデオの画像からカットチェンジを検出した場合、検出漏れ数は５個、過剰検出数は４個であったので、再現率は98.1 %(=(260-5)/260)、適合率は98.5 %(=(260-4)/260)となった。

図５２の上から３行目に示されるように、１本が約１２０分で１９本、カット数が１８９１個の放送、すなわち、DVDレコーダやTV(Television)パソコンで録画した放送番組やCM(Commercial Message)の画像からカットチェンジを検出した場合、検出漏れ数は１５個、過剰検出数は２７個であったので、再現率は99.2 %(=(1891-15)/1891)、適合率は98.6 %(=(1891-27)/1891)となった。

このように、この実施の形態は、高い精度でカットチェンジの検出を行うことができる。

なお、上述した各処理では、画像をフレーム単位で扱うように説明したが、画像をフィールド単位で扱うようにすることもできる。

また、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明は、ソフトウェアにより構成する他、ハードウェアにより構成することができる。

本発明は、放送機器、画像編集機器、カムコーダ、画像処理用のパーソナルコンピュータ、DVDレコーダ、ハードディスクレコーダ等の画像を処理するあらゆる検出装置に適用することができる。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

画像全体の明るさが変化した場合のヒストグラムの変化を示す図である。 テロップが出現した場合のヒストグラムの変化を示す図である。 カットチェンジが生じた場合のヒストグラムの変化を示す図である。 輝度の微小変動が生じた場合のヒストグラムの変化を示す図である。 フレームの左半分と右半分のそれぞれに輝度の微小変動が生じた場合のヒストグラムの変化を示す図である。 通常カットチェンジの例を示す図である。 ブレンドカットチェンジの例を示す図である。 撮影対象の早い動きの例を示す図である。 本発明を適用した検出装置の一実施の形態の構成を示すブロック図である。 カットチェンジ検出部の一実施の形態の構成を示すブロック図である。 カットチェンジ検出処理を説明するフローチャートである。 第１処理部の一実施の形態の構成を示すブロック図である。 第１の処理を説明するフローチャートである。 第１処理部の他の実施の形態の機能的な構成を示すブロック図である。 図１４の第１の処理を説明するフローチャートである。 第１処理部の他の実施の形態の機能的な構成を示すブロック図である。 図１６の第１処理部による第１の処理を説明するフローチャートである。 第１処理部の他の実施の形態の機能的な構成を示すブロック図である。 図１８の第１処理部による第１の処理を説明するフローチャートである。 原画像の例を示す図である。 ヒストグラム、フィルタ画像、及びモザイク画像の例を示す図である。 フィルタ画像を生成するフィルタのフィルタ特性を示す図である。 ヒストグラムどうしの重なり率を説明する図である。 フィルタ画像の類似度計算処理を説明するフローチャートである。 最大相関値の探索を説明する図である。 モザイク画像の類似度計算処理を説明するフローチャートである。 一致ピクセルの計数を説明する図である。 判定部の一実施の形態の構成例を示すブロック図である。 図２８の判定部による判定処理を説明するフローチャートである。 判定部の他の実施の形態の機能的構成を示すブロック図である。 図３０の判定部による判定処理を説明するフローチャートである。 第１処理部の他の実施の形態の機能的な構成を示すブロック図である。 図３２の第１処理部による第１の処理を説明するフローチャートである。 第１処理部の他の実施の形態の機能的な構成を示すブロック図である。 図３４の第１処理部による第１の処理を説明するフローチャートである。 第２処理部の一実施の形態の構成を示すブロック図である。 図３６の第２処理部による第２の処理を説明するフローチャートである。 精細ヒストグラム及び特徴分布の変化を示す図である。 低域通過型フィルタの周波数応答特性を示す図である。 非線形フィルタによるフィルタ処理を説明する図である。 類似度算出部の一実施の形態の構成を示すブロック図である。 図３７のステップＳ４０４の類似度算出処理を説明するフローチャートである。 サンプルの対応付けを説明する図である。 第３処理部の一実施の形態の構成を示すブロック図である。 第３処理部による第３の処理を説明するフローチャートである。 合成画像の生成を説明する図である。 図４４の判定部による判定処理を説明するフローチャートである。 画像パターンとカットチェンジの関係を示す図である。 類似度１及び類似度２とカットチェンジの判定結果の関係を示す図である。 図１０の判定部の実施の形態の機能的構成を示すブロック図である。 図１０の判定部の他の実施の形態の機能的構成を示すブロック図である。 カットチェンジ検出の性能評価を説明する図である。

符号の説明

１ パーソナルコンピュータ， ２１ CPU， ２２ ROM， ２３ RAM， ２４ バス， ２５ 入出力インタフェース， ２６ 入力部， ２７ 出力部， ２８ 記憶部， ２９ 通信部， ３０ ドライブ， ３１ リムーバブルメディア， ５１ カットチェンジ検出部， ６１ 第１処理部， ６２ 第２処理部， ６３ 第３処理部， ６４ 判定部， １０１ ヒストグラム生成部， １０２ 空間相関画像生成部， １０３ バッファ， １０４ ヒストグラム類似度計算部， １０５ 空間相関画像類似度計算部， １２１ フィルタ画像生成部， １２２ フィルタ画像類似度計算部， １３１ モザイク画像生成部， １３２ モザイク画像類似度計算部， １５１乃至１５３ 荷重処理部， １５４ 加算器， １５５ 閾値判定部， １６１乃至１６３ 非線形変換処理部， １７１ 平均類似度計算部， １８１ 平均色計算部， １８２ 近傍平均色計算部， ４０１ 精細ヒストグラム生成部， ４０２ 特徴分布算出部， ４０３ 間引き処理部， ４０４ 類似度算出部， ４３１ 対応サンプル決定部， ４３２ 類似度決定部， ８１１ 特徴抽出部， ８１２ 特徴量バッファ， ８１３ 類似度算出部， ８１４ 縮小画像生成部， ８１５ 縮小画像バッファ， ８１６ 合成画像生成部， ８１７ 類似度算出部

Claims (13)

1. 第１の画像と第２の画像の類似度に基づいて、カットチェンジを検出する検出処理をコンピュータに実行させるプログラムにおいて、
   前記第１の画像と前記第２の画像のそれぞれの輝度または色のヒストグラムを生成し、
   前記第１の画像と前記第２の画像のそれぞれの空間配置の相関関係を表す画像である空間相関画像を生成し、
   前記第１の画像の前記ヒストグラムと前記第２の画像の前記ヒストグラムの類似度であるヒストグラム類似度を計算し、
   前記第１の画像の前記空間相関画像と前記第２の画像の前記空間相関画像の類似度である空間相関画像類似度を計算し、
   前記ヒストグラム類似度と前記空間相関画像類似度に基づいて、前記第１の画像と前記第２の画像の境界がカットチェンジであるかを判定する
   ステップを備えるプログラム。
2. 前記ヒストグラム類似度は、前記第１の画像と前記第２の画像のそれぞれの前記ヒストグラムどうしの重なり率である
   請求項１に記載のプログラム。
3. 前記空間相関画像生成ステップは、前記第１の画像と前記第２の画像のそれぞれの低周波成分及び高周波数成分を低減させた画像であるフィルタ画像、若しくは、画像の全体を複数の領域に区分した場合における各領域の輝度または色の平均をその領域の輝度または色とする画像であるモザイク画像のいずれか一方または両方を、前記空間相関画像として生成する
   請求項１に記載のプログラム。
4. 前記空間相関画像は、前記フィルタ画像であり、
   前記空間相関画像類似度は、前記第１の画像と前記第２の画像のそれぞれの前記空間相関画像の全体若しくは一部どうしの相対的な位置をシフトさせながら計算した相関値のうちの最大値である
   請求項３に記載のプログラム。
5. 前記空間相関画像は、前記フィルタ画像であり、
   前記空間相関画像類似度は、前記第１の画像と前記第２の画像のそれぞれの前記空間相関画像の全体若しくは一部どうしの相対的な位置をシフトさせながら計算した差分絶対和若しくは差分２乗和の最小値である
   請求項３に記載のプログラム。
6. 前記空間相関画像は、前記モザイク画像であり、
   前記空間相関画像類似度は、前記第１の画像と前記第２の画像のそれぞれの前記空間相関画像の対応するピクセルどうしの差分値が所定の閾値以下であるピクセルの数、または、そのピクセルの数の全ピクセル数に対する割合である
   請求項３に記載のプログラム。
7. 前記判定ステップは、前記ヒストグラム類似度と前記空間相関画像類似度とを荷重加算した値と所定の閾値とを比較することにより、前記第１の画像と前記第２の画像の境界がカットチェンジであるかを判定する
   請求項１に記載のプログラム。
8. 前記判定ステップは、前記ヒストグラム類似度を非線形関数で変換した非線形変換後のヒストグラム類似度と、前記空間相関画像類似度を非線形関数で変換した非線形変換後の空間相関画像類似度とを荷重加算した値と所定の閾値とを比較することにより、前記第１の画像と前記第２の画像の境界がカットチェンジであるかを判定する
   請求項７に記載のプログラム。
9. 前記ヒストグラム類似度計算ステップによって計算された、近傍の複数フレームの画像の前記ヒストグラム類似度の平均、若しくは、前記空間相関画像類似度計算手段によって計算された、近傍の複数フレームの画像の前記空間相関画像類似度の平均のいずれか一方または両方である平均類似度を計算する平均類似度計算ステップをさらに備え、
   前記判定ステップは、前記ヒストグラム類似度、前記空間相関画像類似度、及び前記平均類似度に基づいて、前記第１の画像と前記第２の画像の境界が、カットチェンジであるかを判定する
   請求項１に記載のプログラム。
10. 前記第１の画像の近傍の複数フレームの画像の輝度または色の平均である近傍平均色を計算する近傍平均色計算ステップをさらに備え、
    前記判定ステップは、前記ヒストグラム類似度、前記空間相関画像類似度、及び前記近傍平均色に基づいて、前記第１の画像と前記第２の画像の境界がカットチェンジであるかを判定する
    請求項１に記載のプログラム。
11. 前記第１の画像と前記第２の画像のそれぞれの輝度または色の精細ヒストグラムを生成し、
    前記精細ヒストグラムに対してフィルタ処理を施して特徴分布を算出し、
    前記第１の画像と前記第２の画像のそれぞれの前記特徴分布の類似度を算出し、
    前記第１の画像と前記第２の画像以外に、さらに第３の画像の特徴を抽出し、
    前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度を算出し、
    前記第１の画像、前記第２の画像及び前記第３の画像の縮小画像を生成し、
    前記第１の画像と前記第３の画像の縮小画像の合成画像を生成し、
    前記第２の画像の縮小画像と前記合成画像の類似度を算出する
    ステップをさらに備え、
    前記判定ステップは、さらに前記特徴分布の類似度、前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度、並びに前記第２の画像の縮小画像と前記合成画像の類似度に基づいて、前記第１の画像と前記第２の画像の境界が、カットチェンジであるかを判定する
    請求項１に記載のプログラム。
12. 第１の画像と第２の画像の類似度に基づいて、カットチェンジを検出する検出方法において、
    前記第１の画像と前記第２の画像のそれぞれの輝度または色のヒストグラムを生成し、
    前記第１の画像と前記第２の画像のそれぞれの空間配置の相関関係を表す画像である空間相関画像を生成し、
    前記第１の画像の前記ヒストグラムと前記第２の画像の前記ヒストグラムの類似度であるヒストグラム類似度を計算し、
    前記第１の画像の前記空間相関画像と前記第２の画像の前記空間相関画像の類似度である空間相関画像類似度を計算し、
    前記ヒストグラム類似度と前記空間相関画像類似度に基づいて、前記第１の画像と前記第２の画像の境界がカットチェンジであるかを判定する
    ステップを含む検出方法。
13. 第１の画像と第２の画像の類似度に基づいて、カットチェンジを検出する検出装置において、
    前記第１の画像と前記第２の画像のそれぞれの輝度または色のヒストグラムを生成するヒストグラム生成手段と、
    前記第１の画像と前記第２の画像のそれぞれの空間配置の相関関係を表す画像である空間相関画像を生成する空間相関画像生成手段と、
    前記第１の画像の前記ヒストグラムと前記第２の画像の前記ヒストグラムの類似度であるヒストグラム類似度を計算するヒストグラム類似度計算手段と、
    前記第１の画像の前記空間相関画像と前記第２の画像の前記空間相関画像の類似度である空間相関画像類似度を計算する空間相関画像類似度計算手段と、
    前記ヒストグラム類似度と前記空間相関画像類似度に基づいて、前記第１の画像と前記第２の画像の境界がカットチェンジであるかを判定する判定手段と
    を備える検出装置。

Images