JP2005079675A - カット点検出装置及びカット点検出プログラム - Google Patents
カット点検出装置及びカット点検出プログラム Download PDFInfo
- Publication number
- JP2005079675A JP2005079675A JP2003304943A JP2003304943A JP2005079675A JP 2005079675 A JP2005079675 A JP 2005079675A JP 2003304943 A JP2003304943 A JP 2003304943A JP 2003304943 A JP2003304943 A JP 2003304943A JP 2005079675 A JP2005079675 A JP 2005079675A
- Authority
- JP
- Japan
- Prior art keywords
- cut
- cut point
- feature
- frame
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】 漸次カット点のうち、ディゾルブやフェードといった２つのショットが合成されながら切り替わるカット点を高精度で検出することができるカット点検出装置及びカット点検出プログラムを提供する。
【解決手段】 映像データより隣接したフレーム画像間のエッジ点の数の絶対値差分値を特徴量として抽出し、該特徴量を予め求めた判別関数へ代入計算して、漸次カット点を検出する。
【選択図】 図１
【解決手段】 映像データより隣接したフレーム画像間のエッジ点の数の絶対値差分値を特徴量として抽出し、該特徴量を予め求めた判別関数へ代入計算して、漸次カット点を検出する。
【選択図】 図１
Description
本発明は、漸次カット点のうち、ディゾルブやフェードといった２つのショットが合成されながら切り替わるカット点の検出を行うカット点検出装置及びカット点検出プログラムに関する。
映像の内容把握を容易にするためには、例えば本の目次のように何らかの形で構造化する必要がある。その最も基本となるのが映像をショット単位に切り分けるカット点検出である。
このカット点検出技術として、従来、以下の方法が知られている。
まず映像データより複数の特徴項目についての特徴量である特徴情報を抽出し、特徴情報に含まれる特徴量を予め求めた判別関数へ代入計算する。そしてこの計算結果を基に、カット点であるかどうかを識別する。
この判別関数によりカット点であるか非カット点であるかの判別を行うことで、カット点検出を行うことができる。
なお、この判別関数の係数決定については、カット点が既知の映像データを基に、映像データより複数の特徴項目についての特徴量である特徴情報を抽出し、カット点及び非カット点のどちらから抽出したか識別する情報を特徴情報に含めておき、特徴情報を基に判別関数の係数を求め、判別関数を生成する。そして、生成した判別関数の係数が、有意なものか所定の計算式により検定する。
このように構成することで、映像データのカット点の特徴量と、非カット点の特徴量の違いを基に判別関数を生成できる。また、生成した判別関数の係数が有意なものかを、例えば統計的に判別を行う所定の計算式で計算することができる（特許文献１を参照）。
特開２００２−２１８３７６号公報
「映像ショット切換え検出法とそのアクセスインタフェースヘの応用（信学論（D-II）、Vol.J79-D-II、No.4、pp. 538-546、April 1996）」
「部分復号を用いたＭＰＥＧデータからのカット点検出（信学論（D-II）、Vol. J81-D-II、No.7、pp. 1564-1575、July 1998）」
このカット点検出技術として、従来、以下の方法が知られている。
まず映像データより複数の特徴項目についての特徴量である特徴情報を抽出し、特徴情報に含まれる特徴量を予め求めた判別関数へ代入計算する。そしてこの計算結果を基に、カット点であるかどうかを識別する。
この判別関数によりカット点であるか非カット点であるかの判別を行うことで、カット点検出を行うことができる。
なお、この判別関数の係数決定については、カット点が既知の映像データを基に、映像データより複数の特徴項目についての特徴量である特徴情報を抽出し、カット点及び非カット点のどちらから抽出したか識別する情報を特徴情報に含めておき、特徴情報を基に判別関数の係数を求め、判別関数を生成する。そして、生成した判別関数の係数が、有意なものか所定の計算式により検定する。
このように構成することで、映像データのカット点の特徴量と、非カット点の特徴量の違いを基に判別関数を生成できる。また、生成した判別関数の係数が有意なものかを、例えば統計的に判別を行う所定の計算式で計算することができる（特許文献１を参照）。
カット点には隣接する２フレーム間で次のショットに入る瞬時カット点と複数のフレーム間の漸次変化によりショットが切り替わる「漸次カット点」の２つがある。
このうち、出願人は瞬時カット点の検出について、既に「特願２００１−３９８２３３（カット点検出装置及びそのプログラム）」の出願を行っている。
ただし、この技術では漸次カット点が検出できないという問題がある。
また、これまでに提案された漸次カット点検出法は、例えば、「映像ショット切換え検出法とそのアクセスインタフェースヘの応用」（非特許文献１を参照）や「部分復号を用いたＭＰＥＧデータからのカット点検出」（非特許文献２を参照）などが知られている。
これら従来の検出技術では、フレーム間から単一の特徴を抽出し、その変化量の時間的な累積値や時系列パターンを分析することでディゾルブやフェードの検出している。
具体的には、従来の技術には主に二通りの方法がある。
１つは、ディゾルブやフェードが複数のフレームを経たカット点であることに着目し、間隔を開けたフレーム間で、色や輝度のヒストグラムなど単一の特徴を抽出し、しきい値判定によりディゾルブやフェードを検出する方法である。
このような手法の場合、フレーム間隔を開けてしまうため、カメラワークやショット内での明るさの変化があったショットにおいても、ディゾルブやフェードとして誤検出してしまう問題がある。
もう１つは、まず隣接する２フレーム間から色あるいは輝度のヒストグラムなど、単一の特徴を抽出し、次にその変化量の時間的な累積値に対するしきい値判定、あるいは特徴の変化の時系列パターンを分析することでディゾルブやフェードの検出する方法である。
このような手法の場合、物体がゆっくりと動いているショットやゆっくりとしたカメラワークのあるショット、明るさがゆっくりと変化するショットにおいても、フレーム間の特徴がディゾルブやフェードと類似した振る舞いをするため、識別が困難である。このため、これらの手法は、被写体のゆっくりとした動きを漸次カット点として誤検出し、検出精度が上がらないという問題がある。
このうち、出願人は瞬時カット点の検出について、既に「特願２００１−３９８２３３（カット点検出装置及びそのプログラム）」の出願を行っている。
ただし、この技術では漸次カット点が検出できないという問題がある。
また、これまでに提案された漸次カット点検出法は、例えば、「映像ショット切換え検出法とそのアクセスインタフェースヘの応用」（非特許文献１を参照）や「部分復号を用いたＭＰＥＧデータからのカット点検出」（非特許文献２を参照）などが知られている。
これら従来の検出技術では、フレーム間から単一の特徴を抽出し、その変化量の時間的な累積値や時系列パターンを分析することでディゾルブやフェードの検出している。
具体的には、従来の技術には主に二通りの方法がある。
１つは、ディゾルブやフェードが複数のフレームを経たカット点であることに着目し、間隔を開けたフレーム間で、色や輝度のヒストグラムなど単一の特徴を抽出し、しきい値判定によりディゾルブやフェードを検出する方法である。
このような手法の場合、フレーム間隔を開けてしまうため、カメラワークやショット内での明るさの変化があったショットにおいても、ディゾルブやフェードとして誤検出してしまう問題がある。
もう１つは、まず隣接する２フレーム間から色あるいは輝度のヒストグラムなど、単一の特徴を抽出し、次にその変化量の時間的な累積値に対するしきい値判定、あるいは特徴の変化の時系列パターンを分析することでディゾルブやフェードの検出する方法である。
このような手法の場合、物体がゆっくりと動いているショットやゆっくりとしたカメラワークのあるショット、明るさがゆっくりと変化するショットにおいても、フレーム間の特徴がディゾルブやフェードと類似した振る舞いをするため、識別が困難である。このため、これらの手法は、被写体のゆっくりとした動きを漸次カット点として誤検出し、検出精度が上がらないという問題がある。
本発明は、このような事情を考慮してなされたものであり、その目的は、漸次カット点のうち、ディゾルブやフェードといった２つのショットが合成されながら切り替わるカット点を高精度で検出することができるカット点検出装置及びカット点検出プログラムを提供することにある。
この発明は上記の課題を解決すべくなされたもので、本発明は、映像データより複数の特徴項目についての特徴量を抽出し、該特徴量を予め求めた判別関数へ代入計算して、漸次カット点を検出するカット点検出装置において、前記特徴量は、隣接したフレーム画像間のエッジ点の数の絶対値差分値であることを特徴とする。
また、本発明は、映像データより複数の特徴項目についての特徴量を抽出し、該特徴量を予め求めた判別関数へ代入計算して、漸次カット点を検出するカット点検出装置において、前記特徴量は、隣接したフレーム画像間の高周波成分の絶対値差分値であることを特徴とする。
また、本発明は、映像データより複数の特徴項目についての特徴量を抽出し、該特徴量を予め求めた判別関数へ代入計算して、漸次カット点を検出するカット点検出装置において、前記特徴量は、隣接したフレーム画像間の動きベクトルの向きのヒストグラムの絶対値差分値であることを特徴とする。
また、本発明は、前記漸次カット点について、さらに、一定フレーム画像数先のフレームが漸次カット点のフレーム画像であれば、該一定フレーム画像数先のフレーム画像と現フレーム画像との間のフレーム画像のうち、一定フレーム画像数以上のフレーム画像を漸次カット点と判別することを特徴とする。
また、本発明は、映像データより複数の特徴項目についての特徴量を抽出し、該特徴量を予め求めた判別関数へ代入計算して、漸次カット点を検出する処理をコンピュータに実行させるためのプログラムにおいて、前記特徴量は、隣接したフレーム画像間のエッジ点の数の絶対値差分値であることを特徴とする。
また、本発明は、映像データより複数の特徴項目についての特徴量を抽出し、該特徴量を予め求めた判別関数へ代入計算して、漸次カット点を検出する処理をコンピュータに実行させるためのプログラムにおいて、前記特徴量は、隣接したフレーム画像間の高周波成分の絶対値差分値であることを特徴とする。
また、本発明は、映像データより複数の特徴項目についての特徴量を抽出し、該特徴量を予め求めた判別関数へ代入計算して、漸次カット点を検出する処理をコンピュータに実行させるためのプログラムにおいて、前記特徴量は、隣接したフレーム画像間の動きベクトルの向きのヒストグラムの絶対値差分値であることを特徴とする。
また、本発明は、カット点が既知の映像データを基に、前記映像データより複数の特徴項目についての特徴量である特徴情報を抽出し、カット点および非カット点のどちらから抽出したか識別する情報を前記特徴情報に含め、前記特徴情報を基に判別関数の係数を求め、判別関数を生成することを特徴とする。
以上説明したように、本発明によれば、映像データより複数の特徴項目についての特徴量を抽出し、該特徴量を予め求めた判別関数へ代入計算して、漸次カット点を検出するカット点検出装置において、特徴量は、隣接したフレーム画像間のエッジ点の数の絶対値差分値である。
ここで、ディゾルブやフェードなどの漸次カット点では、フレーム画像のエッジ点の数がフレーム間で大きく変化するため、物体が動いているショットやカメラワークのショット、明るさがゆっくりと変化するショットを誤検出する可能性を排除できる。したがって、漸次カット点検出を高精度で実行することが出来る効果が得られる。
ここで、ディゾルブやフェードなどの漸次カット点では、フレーム画像のエッジ点の数がフレーム間で大きく変化するため、物体が動いているショットやカメラワークのショット、明るさがゆっくりと変化するショットを誤検出する可能性を排除できる。したがって、漸次カット点検出を高精度で実行することが出来る効果が得られる。
また、本発明によれば、映像データより複数の特徴項目についての特徴量を抽出し、該特徴量を予め求めた判別関数へ代入計算して、漸次カット点を検出するカット点検出装置において、特徴量は、隣接したフレーム画像間の高周波成分の絶対値差分値である。
ここで、ディゾルブやフェードなどの漸次カット点では、フレーム画像の周波数特性が非カット点部分に比較して大きく変化する。したがって、漸次カット点検出を高精度で実行することが出来る効果が得られる。
ここで、ディゾルブやフェードなどの漸次カット点では、フレーム画像の周波数特性が非カット点部分に比較して大きく変化する。したがって、漸次カット点検出を高精度で実行することが出来る効果が得られる。
また、本発明によれば、映像データより複数の特徴項目についての特徴量を抽出し、該特徴量を予め求めた判別関数へ代入計算して、漸次カット点を検出するカット点検出装置において、特徴量は、隣接したフレーム画像間の動きベクトルの向きのヒストグラムの絶対値差分値である。
ここで、ディゾルブやフェードなどの漸次カット点では、動き方向ヒストグラム特徴が非カット点部分に比較して大きくなる。したがって、漸次カット点検出を高精度で実行する効果が得られる。
ここで、ディゾルブやフェードなどの漸次カット点では、動き方向ヒストグラム特徴が非カット点部分に比較して大きくなる。したがって、漸次カット点検出を高精度で実行する効果が得られる。
また、本発明によれば、漸次カット点について、さらに、一定フレーム画像数先のフレームが漸次カット点のフレーム画像であれば、該一定フレーム画像数先のフレーム画像と現フレーム画像との間のフレーム画像のうち、一定フレーム画像数以上のフレーム画像を漸次カット点と判別する。
したがって、漸次カット点で漸次カット点として検出できなかったフレーム画像を、漸次カット点として正確に特定できる効果が得られるとともに、誤検出を抑え、検出精度を向上させることが出来る効果が得られる。
したがって、漸次カット点で漸次カット点として検出できなかったフレーム画像を、漸次カット点として正確に特定できる効果が得られるとともに、誤検出を抑え、検出精度を向上させることが出来る効果が得られる。
以下、本発明を実施するための最良の形態について説明する。
最初に、本発明に関する用語について説明する。
ショット ：映像のまとまりを表す最小単位で、１台のカメラで連続的に撮影された映像区間のこと。
輝度 ：両面を構成するピクセルの明るさを表す値。赤、緑、青の３色の値を変換することで求められる。
カット点 ：ショットとショットの切り替わり点のこと。隣接する２フレーム間でショットが切り替わる瞬時カット点と、複数のフレームを使ってショットが切り替わる漸次カット点の２つがある。ディゾルブやフェードは漸次カット点の一種である。
ディゾルブ ：２つのショットが複数のフレームにわたって合成されながら切り替わるカット点のこと
フェードイン ：白あるいは黒の単色の画面から、複数のフレームを使用して、次のショットと合成されながら、次のショットに入っていくカット点のこと
フェードアウト：あるショットから、複数のフレームを使用して、白あるいは黒の単色の画面へと徐々に消えていくカット点のこと。
動きベクトル ：隣接する２フレーム間で、前のフレームのある部分が次のフレームのどこに対応するのかを表すベクトル。
ショット ：映像のまとまりを表す最小単位で、１台のカメラで連続的に撮影された映像区間のこと。
輝度 ：両面を構成するピクセルの明るさを表す値。赤、緑、青の３色の値を変換することで求められる。
カット点 ：ショットとショットの切り替わり点のこと。隣接する２フレーム間でショットが切り替わる瞬時カット点と、複数のフレームを使ってショットが切り替わる漸次カット点の２つがある。ディゾルブやフェードは漸次カット点の一種である。
ディゾルブ ：２つのショットが複数のフレームにわたって合成されながら切り替わるカット点のこと
フェードイン ：白あるいは黒の単色の画面から、複数のフレームを使用して、次のショットと合成されながら、次のショットに入っていくカット点のこと
フェードアウト：あるショットから、複数のフレームを使用して、白あるいは黒の単色の画面へと徐々に消えていくカット点のこと。
動きベクトル ：隣接する２フレーム間で、前のフレームのある部分が次のフレームのどこに対応するのかを表すベクトル。
次に、本発明の基本的な考え方について説明する。
出願人は、ディゾルブ・フェード検出を「ディゾルブ及びフェードと非カット点の識別問題」として捉え、本願発明において、複数の特徴を識別器により統合したカット点検出法を提案する。
ここで、漸次カット点のうち、ディゾルブやフェードといった２つのショットが合成されながら切り替わるカット点を検出するために用いる新たな特徴は、
（１）エッジ特徴
（２）フレーム画像の高周波成分の絶対値差分
（３）動き方向ヒストグラム特徴
が挙げられる。
出願人は、ディゾルブ・フェード検出を「ディゾルブ及びフェードと非カット点の識別問題」として捉え、本願発明において、複数の特徴を識別器により統合したカット点検出法を提案する。
ここで、漸次カット点のうち、ディゾルブやフェードといった２つのショットが合成されながら切り替わるカット点を検出するために用いる新たな特徴は、
（１）エッジ特徴
（２）フレーム画像の高周波成分の絶対値差分
（３）動き方向ヒストグラム特徴
が挙げられる。
（１）エッジ特徴について
エッジ（エッジ点）とは画像中で物体の輪郭線などで現れる、濃度が急激な空間的変化をしている部分（点）をいう。具体例としては、物体の輪郭のほかに、影や塗装の変化する部分もエッジに該当する。
また、エッジ特徴とは、「隣接したフレーム画像間のエッジ点の数の絶対値差分値」をいう。
エッジ（エッジ点）とは画像中で物体の輪郭線などで現れる、濃度が急激な空間的変化をしている部分（点）をいう。具体例としては、物体の輪郭のほかに、影や塗装の変化する部分もエッジに該当する。
また、エッジ特徴とは、「隣接したフレーム画像間のエッジ点の数の絶対値差分値」をいう。
ディゾルブやフェードの検出に、このエッジ特徴を利用する。
ディゾルブでは、前のショット画像が徐々に消えていくため、エッジ部分がぼやけていく。従ってエッジ点の数が減少する。一方、次のショット画像が徐々に現れてくるため、エッジ部分が明らかになってくる。従って、エッジ点の数が増加する。
同様にフェードインの場合は、次のショット画像が徐々に現れてくることによりエッジ点の数が増加し、反対にフェードアウトの場合は、前のショット画像が徐々に消えていくことによりエッジ点の数が減少する。
ディゾルブでは、前のショット画像が徐々に消えていくため、エッジ部分がぼやけていく。従ってエッジ点の数が減少する。一方、次のショット画像が徐々に現れてくるため、エッジ部分が明らかになってくる。従って、エッジ点の数が増加する。
同様にフェードインの場合は、次のショット画像が徐々に現れてくることによりエッジ点の数が増加し、反対にフェードアウトの場合は、前のショット画像が徐々に消えていくことによりエッジ点の数が減少する。
これに対して、物体が動いているショットやカメラワークのショット、明るさがゆっくりと変化するショットの場合、フレーム間で画画全体がぼやけるといった、ディゾルブやフェードの区間のような変化は発生しない。このため、エッジ点の数もそれほど大きく変化しない。
すなわち、ディゾルブやフェードなどの漸次カット点では、フレーム画像のエッジ点の数がフレーム間で大きく変化するため、物体が動いているショットやカメラワークのショット、明るさがゆっくりと変化するショットを誤検出する可能性を排除できるため、漸次カット点検出を高精度で実行することが出来る。なお、具体的なフレーム画像からのエッジ点の検出方法、エッジ点の計数方法及び漸次カット点検出方法については後述する。
（２）フレーム画像の高周波成分の絶対値差分について
画像における周波数成分は、画像内の空間的な相関関係を表す。相関が強ければ周波数は低くなり、反対に相関が弱ければ周波数は高くなる。例えば、無地の画像であれば、隣接した画素間の相関が大きいため、周波数が低くなる。これに対して市松模様の画像であれば、隣接した画素間の相関が小さいため、周波数が高くなる。
画像における周波数成分は、画像内の空間的な相関関係を表す。相関が強ければ周波数は低くなり、反対に相関が弱ければ周波数は高くなる。例えば、無地の画像であれば、隣接した画素間の相関が大きいため、周波数が低くなる。これに対して市松模様の画像であれば、隣接した画素間の相関が小さいため、周波数が高くなる。
より具体的な例として、フレーム画像の高周波成分の絶対値差分とは、例えば、ＤＣＴ（離散コサイン変換）係数の高周波成分のヒストグラムにおける、それぞれの段階（変換基底）毎の係数値等の絶対値差分をいう。
ＤＣＴ係数とは、例えばＭＰＥＧ符号化の場合、図２に示す２次元ＤＣＴの変換基底の６４個のパターンが、フレーム画像から切り出した８×８のブロックの中に、それぞれどの程度の割合で含まれているかを表す値である。
フレーム画像から切り出したブロックが、均一な領域であれば、2次元ＤＣＴ変換基底の低周波数領域（左上のブロック）に対する係数が大きくなる。逆に樹木のような複雑な領域であれば、2次元ＤＣＴ変換基底の高周波領域（右下のブロック）に対する係数が大きくなる。
ＤＣＴ係数とは、例えばＭＰＥＧ符号化の場合、図２に示す２次元ＤＣＴの変換基底の６４個のパターンが、フレーム画像から切り出した８×８のブロックの中に、それぞれどの程度の割合で含まれているかを表す値である。
フレーム画像から切り出したブロックが、均一な領域であれば、2次元ＤＣＴ変換基底の低周波数領域（左上のブロック）に対する係数が大きくなる。逆に樹木のような複雑な領域であれば、2次元ＤＣＴ変換基底の高周波領域（右下のブロック）に対する係数が大きくなる。
ディゾルブやフェードの検出に、この高周波成分の絶対値差分を利用する。
ディゾルブ区間では、ショットが徐々に合成されていくため、画素間の相関が小さくなる。そのため高周波成分が多くなる。フェードインの場合は、無地の画面から徐々にショットが現れてくるために、ディゾルブと同様に高周波成分が増えていく。逆にフェードアウトの場合は、ショット画像が徐々に無地の画像へと変化していくため、高周波成分が減っていく。
これに対して、物体が動いているショットやカメラワークのショット、明るさがゆっくりと変化するショットの場合、フレーム内の相関関係が大きく変化することがないため、フレーム画像の高周波成分は、それほど大きく変化しない。
ディゾルブ区間では、ショットが徐々に合成されていくため、画素間の相関が小さくなる。そのため高周波成分が多くなる。フェードインの場合は、無地の画面から徐々にショットが現れてくるために、ディゾルブと同様に高周波成分が増えていく。逆にフェードアウトの場合は、ショット画像が徐々に無地の画像へと変化していくため、高周波成分が減っていく。
これに対して、物体が動いているショットやカメラワークのショット、明るさがゆっくりと変化するショットの場合、フレーム内の相関関係が大きく変化することがないため、フレーム画像の高周波成分は、それほど大きく変化しない。
すなわち、ディゾルブやフェードなどの漸次カット点では、フレーム画像の周波数特性が大きく変化するため、漸次カット点検出を高精度で実行することが出来る。なお、具体的なフレーム画像からの高周波成分の絶対値差分算出方法及び漸次カット点検出方法については後述する。
（３）動き方向ヒストグラム特徴
動き方向ヒストグラム特徴とは、隣接したフレーム間における、動きベクトルの向きのヒストグラムの絶対値差分をいう。
ディゾルブやフェードの区間では、フレーム画像全体が時間とともに変化しているため、動きベクトルの探索を行っても対応点が見つからない。そのため、動きベクトルが求められたとしても偶然に誤差が最小となったブロックヘの動きベクトルでしかなく、フレーム内の動きベクトルの向きは揃っていない。
動き方向ヒストグラム特徴とは、隣接したフレーム間における、動きベクトルの向きのヒストグラムの絶対値差分をいう。
ディゾルブやフェードの区間では、フレーム画像全体が時間とともに変化しているため、動きベクトルの探索を行っても対応点が見つからない。そのため、動きベクトルが求められたとしても偶然に誤差が最小となったブロックヘの動きベクトルでしかなく、フレーム内の動きベクトルの向きは揃っていない。
これに対して、物体が動いているショットやカメラワークがあるショットでは隣接する２フレーム間で対応点が存在する。そのため、求められた動きベクトルの向きは比較的、揃ったものになる。
このように、ディゾルブやフェードの区間と、物体が動いているショットやカメラワークがあるショットでは動きベクトルの向きに差がある。この動きベクトルの向きについてヒストグラムを作成し、フレーム間におけるヒストグラムと絶対値差分をとって、数値化したものが動き方向ヒストグラム特徴である。
このように、ディゾルブやフェードの区間と、物体が動いているショットやカメラワークがあるショットでは動きベクトルの向きに差がある。この動きベクトルの向きについてヒストグラムを作成し、フレーム間におけるヒストグラムと絶対値差分をとって、数値化したものが動き方向ヒストグラム特徴である。
これは、出願人が「特願２００１−３９８２３３（カット点検出装置及びそのプログラム）」で提案した特徴であり、この特徴を用いることで動きの激しいショットを瞬時カット点として誤検出するのを抑える。本願発明においては、さらに、この特徴をディゾルブ・フェード検出における物体の動きによる誤検出防止のために適用する。
すなわち、ディゾルブやフェードなどの漸次カット点では、動き方向ヒストグラム特徴が非カット点部分に比較して大きくなるため、漸次カット点検出を高精度で実行することが出来る。なお、具体的な漸次カット点検出方法については後述する。
すなわち、ディゾルブやフェードなどの漸次カット点では、動き方向ヒストグラム特徴が非カット点部分に比較して大きくなるため、漸次カット点検出を高精度で実行することが出来る。なお、具体的な漸次カット点検出方法については後述する。
以下、図面を参照して、本発明の漸次カット点検出装置の一実施形態について説明する。
図１は、本実施形態の漸次カット点検出装置１の構成図である。本実施形態の漸次カット点検出装置１は、図１に示すように、学習部１０と識別部２０とから構成される。
学習部１０は、漸次カット点が既知の映像データから、漸次カット点検出用の判別関数を学習する。具体的には、学習部１０は、映像信号入力部１１、情報抽出部１２、判別関数学習部１３、判別関数出力部１４から構成される。
図１は、本実施形態の漸次カット点検出装置１の構成図である。本実施形態の漸次カット点検出装置１は、図１に示すように、学習部１０と識別部２０とから構成される。
学習部１０は、漸次カット点が既知の映像データから、漸次カット点検出用の判別関数を学習する。具体的には、学習部１０は、映像信号入力部１１、情報抽出部１２、判別関数学習部１３、判別関数出力部１４から構成される。
映像信号入力部１１は、漸次カット点が既知の映像データを入力して、情報抽出部１２に１フレーム毎に映像データのフレーム列を出力する。
情報抽出部１２は、映像信号入力部１１から入力する１フレーム分の映像信号について、漸次カット点検出に用いる有効特微量を計算する。具体的には、上述したエッジ点の数の絶対値差分、フレーム画像の高周波成分の絶対値差分、動き方向ヒストグラムの絶対値差分、周知の色や輝度のヒストグラム差分を算出する。
情報抽出部１２は、映像信号入力部１１から入力する１フレーム分の映像信号について、漸次カット点検出に用いる有効特微量を計算する。具体的には、上述したエッジ点の数の絶対値差分、フレーム画像の高周波成分の絶対値差分、動き方向ヒストグラムの絶対値差分、周知の色や輝度のヒストグラム差分を算出する。
例えば、エッジ点の数の絶対値差分を算出する場合、情報抽出部１２は、まずエッジ点を検出する。エッジ点検出の一般的な方法として、情報抽出部１２は、画像信号を関数としてとらえ、ガウシアンなどで画像をぼかした後に、2階微分を行って０となった点をエッジ点と判別する。
次に、情報抽出部１２は、このエッジ点を計数する。すなわち、図３に示すように、入力する１フレーム分の映像信号からエッジ点だけ抽出したエッジ画像を作成し、作成したエッジ画像に存在するエッジ点の数を数える。
そして、隣接する２フレームのエッジ画像について、情報抽出部１２は、「エッジ特徴」を抽出する。具体的には、情報抽出部１２は、計数したエッジ点数の絶対値差分を算出する。ここで、エッジ点数の絶対値差分とは、以下のように定義される。
１）エッジ点数の絶対値差分
隣接する２フレームそれぞれのエッジ画像において、エッジ点の数を計測し、その値の絶対値差分をとった値
次に、情報抽出部１２は、このエッジ点を計数する。すなわち、図３に示すように、入力する１フレーム分の映像信号からエッジ点だけ抽出したエッジ画像を作成し、作成したエッジ画像に存在するエッジ点の数を数える。
そして、隣接する２フレームのエッジ画像について、情報抽出部１２は、「エッジ特徴」を抽出する。具体的には、情報抽出部１２は、計数したエッジ点数の絶対値差分を算出する。ここで、エッジ点数の絶対値差分とは、以下のように定義される。
１）エッジ点数の絶対値差分
隣接する２フレームそれぞれのエッジ画像において、エッジ点の数を計測し、その値の絶対値差分をとった値
なお、カット点検出精度をさらに向上させるために、上述した「エッジ特徴」に加えて、または、上述した「エッジ特徴」とは独立した形で、さらに、情報抽出部１２が、以下の２つの値を抽出するようにしてもよい。
２）継続したエッジ点の数
隣接する２フレームそれぞれのエッジ画像を比較し、互いのエッジ画像の同じ座標にエッジ点があれば「継続したエッジ点」としてカウントした値
３）変化したエッジ点の数
隣接する２フレームそれぞれのエッジ画像を比較し以下のエッジ点の数を合計した値
・前フレームｎに存在するエッジ点のうち、フレームn＋1で消滅したエッジ点の数
・後フレームｎ＋１で新たに出現したエッジ点の数
２）継続したエッジ点の数
隣接する２フレームそれぞれのエッジ画像を比較し、互いのエッジ画像の同じ座標にエッジ点があれば「継続したエッジ点」としてカウントした値
３）変化したエッジ点の数
隣接する２フレームそれぞれのエッジ画像を比較し以下のエッジ点の数を合計した値
・前フレームｎに存在するエッジ点のうち、フレームn＋1で消滅したエッジ点の数
・後フレームｎ＋１で新たに出現したエッジ点の数
ディゾルブやフェード区間内のフレームでは、2つのショットが違う明るさで重なり合っているため、フレーム画像の輪郭がぼやけている。つまり、ディゾルブ・フェード以外のフレームと比べてエッジが検出されにくい。そのため、上記に挙げたようなエッジ特徴（エッジ点数の多寡）を調べることで、ディゾルブ・フェードとそれ以外を識別する。
また、フレーム画像の高周波成分の絶対値差分を算出する場合、情報抽出部１２は、隣接するフレームそれぞれで、ＭＰＥＧ符号化の際に用いられるＤＣＴ係数の高周波成分のヒストグラムを作成し、それぞれのヒストグラムの段階ごとに絶対値差分を求めて合計する。
また、動き方向ヒストグラムの絶対値差分を算出する場合、情報抽出部１２は、まず「隣接した２フレーム間の動きベクトル」と「その前の２フレーム間の動きベクトル」それぞれを算出した後、算出した動きベクトルの角度についてヒストグラムを作成する。そして、それぞれのヒストグラムの段階ごとに絶対値差分を求めて合計する。
また、動き方向ヒストグラムの絶対値差分を算出する場合、情報抽出部１２は、まず「隣接した２フレーム間の動きベクトル」と「その前の２フレーム間の動きベクトル」それぞれを算出した後、算出した動きベクトルの角度についてヒストグラムを作成する。そして、それぞれのヒストグラムの段階ごとに絶対値差分を求めて合計する。
例えば、図４に示す３フレームについて、動き方向ヒストグラムの絶対値差分を算出する場合、情報抽出部１２は、まず動きベクトルの角度について、例えば、８段階のヒストグラムを作成する。すなわち、情報抽出部１２は、動きベクトルを求めるごとに、その角度を水平方向で右向きを0度として測定する。そして、情報抽出部１２は、この角度が、０度〜４５度、４５度〜９０度、９０度〜１３５度、１３５度〜１８０度、１８０度〜２２５度、２２５度〜２７０度、２７０度〜３１５度、３１５度〜３６０度のいずれに該当するかを判別し度数分布にカウントする。
図４のベクトルの向きはこの角度を示し、ベクトルの長さはカウント値を示す。
そして、前２フレーム間（フレームｎ−１とフレームｎ）の動き方向ヒストグラムと、後２フレーム間（フレームｎとフレームｎ＋１）の動き方向ヒストグラムとの間で絶対値差分をとる。
図４のベクトルの向きはこの角度を示し、ベクトルの長さはカウント値を示す。
そして、前２フレーム間（フレームｎ−１とフレームｎ）の動き方向ヒストグラムと、後２フレーム間（フレームｎとフレームｎ＋１）の動き方向ヒストグラムとの間で絶対値差分をとる。
なお、図４の上部に示す３フレームでは、前２フレーム間（フレームｎ−１とフレームｎ ともに電車を示す）の動き方向ヒストグラムと、後２フレーム間（フレームｎとフレームｎ＋１ 電車から家に変わる）の動き方向ヒストグラムとの絶対値差分は、図４の下部に示す３フレーム（ｎ−１〜ｎ＋１まですべて電車を示す）に比較して大きくなる。
判別関数学習部１３は、情報抽出部１２で得られた特徴量（エッジ点の数の絶対値差分、フレーム画像の高周波成分の絶対値差分、動き方向ヒストグラムの絶対値差分、周知の色や輝度のヒストグラム差分）から所定の判別関数の定数項と各特微量への係数を、漸次カット点区間内のフレーム間では判別関数値が正になるように設定するとともに、非カット点では負になるように設定する。
判別関数出力部１４は、判別関数学習部１３から入力する別関数の定数項と各特微量への係数を識別部２０の判別関数計算部２３に出力する。
判別関数出力部１４は、判別関数学習部１３から入力する別関数の定数項と各特微量への係数を識別部２０の判別関数計算部２３に出力する。
識別部２０は、漸次カット点が未知の映像データに、学習部で得られた判別関数を適用して、漸次カット点検出を行う。具体的には、識別部２０は、映像信号入力部２１、情報抽出部２２、判別関数計算部２３、漸次カット点識別部２４、カット点出力部２５から構成される。
映像信号入力部２１は、漸次カット点が未知の映像データを入力して、情報抽出部２２に１フレーム毎に映像データのフレーム列を出力する。
情報抽出部２２は、情報抽出部１２と同様に、映像信号入力部２１から入力する１フレーム分の映像信号について、隣接する２フレーム間で、学習部１０で得られた判別関数で使われている特微量の値を求める。すなわち、情報抽出部２２は、漸次カット点検出に用いる有効特微量を計算し、判別関数計算部２３に出力する。具体的には、上述したエッジ点の数の絶対値差分、フレーム画像の高周波成分の絶対値差分、動き方向ヒストグラムの絶対値差分、周知の色や輝度のヒストグラム差分を算出する。
判別関数計算部２３は、情報抽出部２２で得られた特徴量（エッジ点の数の絶対値差分、フレーム画像の高周波成分の絶対値差分、動き方向ヒストグラムの絶対値差分、周知の色や輝度のヒストグラム差分）を学習部１０で得られた判別関数に代入し、判別関数値を計算する。
漸次カット点識別部２４は、判別関数計算部２３で計算した判別関数値が正であれば漸次カット点区間内のフレームと識別し、負であれば非カット点と識別する。そして、漸次カット点識別部２４は、漸次カット点と判別されたフレームと、そのフレームから一定数以上連続で漸次カット点と判別されたフレームとの間の連続した区間を漸次カット点の区間として検出する。
カット点出力部２５は、漸次カット点識別部２４において検出された漸次カット点、漸次カット点の区間等の情報（カット点情報）を映像の概要把握のための装置や映像検索装置（図示せず）等に出力する。
情報抽出部２２は、情報抽出部１２と同様に、映像信号入力部２１から入力する１フレーム分の映像信号について、隣接する２フレーム間で、学習部１０で得られた判別関数で使われている特微量の値を求める。すなわち、情報抽出部２２は、漸次カット点検出に用いる有効特微量を計算し、判別関数計算部２３に出力する。具体的には、上述したエッジ点の数の絶対値差分、フレーム画像の高周波成分の絶対値差分、動き方向ヒストグラムの絶対値差分、周知の色や輝度のヒストグラム差分を算出する。
判別関数計算部２３は、情報抽出部２２で得られた特徴量（エッジ点の数の絶対値差分、フレーム画像の高周波成分の絶対値差分、動き方向ヒストグラムの絶対値差分、周知の色や輝度のヒストグラム差分）を学習部１０で得られた判別関数に代入し、判別関数値を計算する。
漸次カット点識別部２４は、判別関数計算部２３で計算した判別関数値が正であれば漸次カット点区間内のフレームと識別し、負であれば非カット点と識別する。そして、漸次カット点識別部２４は、漸次カット点と判別されたフレームと、そのフレームから一定数以上連続で漸次カット点と判別されたフレームとの間の連続した区間を漸次カット点の区間として検出する。
カット点出力部２５は、漸次カット点識別部２４において検出された漸次カット点、漸次カット点の区間等の情報（カット点情報）を映像の概要把握のための装置や映像検索装置（図示せず）等に出力する。
次に、図面を参照して、本実施形態の漸次カット点検出装置１の動作について説明する。
図１に示すように、まず学習部１０において、漸次カット点が既知の映像フレーム列が入力されると、この漸次カット点が既知の映像データから、漸次カット点検出用の判別関数を学習する。すなわち、映像情報入力部１１は、上述したように、入力された１フレーム分の映像データを情報抽出部１２に出力する。情報抽出部１２は、この１フレーム分の映像データについて、エッジの点数、フレーム画像の高周波成分、動き方向ヒストグラム、色や輝度のヒストグラムを算出し、これに隣接する１フレーム分の映像データについても、同様に映像情報入力部１１から入力して、計算する。
図１に示すように、まず学習部１０において、漸次カット点が既知の映像フレーム列が入力されると、この漸次カット点が既知の映像データから、漸次カット点検出用の判別関数を学習する。すなわち、映像情報入力部１１は、上述したように、入力された１フレーム分の映像データを情報抽出部１２に出力する。情報抽出部１２は、この１フレーム分の映像データについて、エッジの点数、フレーム画像の高周波成分、動き方向ヒストグラム、色や輝度のヒストグラムを算出し、これに隣接する１フレーム分の映像データについても、同様に映像情報入力部１１から入力して、計算する。
次に、情報抽出部１２は、上述した有効特微量、すなわち、隣接する２フレーム間のエッジの点数の絶対値差分、フレーム画像の高周波成分の絶対値差分、動き方向ヒストグラムの絶対値差分、色や輝度のヒストグラム差分を計算する。
ここで、抽出された有効特微量を用いて、判別関数学習部１３は、判別関数の定数項と各特微量への係数を、漸次カット点区間内のフレーム間では判別関数値が正に、非カット点では負になるように設定する。具体的には、情報抽出部１２は、特開２００２−２１８３７６号公報に記載された判別関数の定数項と各特微量への係数設定方法を用いて、判別関数の定数項と各特微量への係数を、漸次カット点区間内のフレーム間では判別関数値が正に、非カット点では負になるように設定する。
そして、判別関数学習部１３は、判別関数出力部１４を介して、判別関数の定数項と各特微量への係数とを識別部２０の判別関数計算部２３に出力する。
ここで、抽出された有効特微量を用いて、判別関数学習部１３は、判別関数の定数項と各特微量への係数を、漸次カット点区間内のフレーム間では判別関数値が正に、非カット点では負になるように設定する。具体的には、情報抽出部１２は、特開２００２−２１８３７６号公報に記載された判別関数の定数項と各特微量への係数設定方法を用いて、判別関数の定数項と各特微量への係数を、漸次カット点区間内のフレーム間では判別関数値が正に、非カット点では負になるように設定する。
そして、判別関数学習部１３は、判別関数出力部１４を介して、判別関数の定数項と各特微量への係数とを識別部２０の判別関数計算部２３に出力する。
識別部２０は、判別関数出力部１４を介して、判別関数学習部１３から入力される判別関数の定数項と各特微量への係数を判別関数計算部２３で用いる判別関数に設定する。
そして、判別関数設定後、識別部２０は、漸次カット点が未知の映像データを入力して、この判別関数を適用して、漸次カット点検出を行う。
すなわち、情報抽出部２２は、映像入力部２１を介して入力する漸次カット点が未知の映像データのうちの隣接する２フレーム間で、情報抽出部１１と同様に、学習部１０で得られた判別関数で使われている特微量の値を求める。
次に、判別関数計算部２３は、学習部１０で得られた判別関数の定数項と各特微量への係数を設定した判別関数に、情報抽出部２２が漸次カット点が未知の映像データから抽出した特徴量を代入し、判別関数値を計算する。
漸次カット点識別部２４は、この判別関数値が正であれば、漸次カット点区間内のフレームと識別し、負であれば非カット点と識別する。そして、漸次カット点識別部２４は、漸次カット点と判別されたフレームと、そのフレームから一定数以上連続で漸次カット点と判別されたフレームとの間の連続した区間を漸次カット点の区間として検出する。
カット点出力部２５は、漸次カット点識別部２４において検出された漸次カット点、漸次カット点の区間等の情報（カット点情報）を映像の概要把握のための装置や映像検索装置（図示せず）等に出力する。
以上のカット点識別処理を最後のフレームまで繰り返すと、漸次カット点検出装置１は、カット点検出処理を終了する。
そして、判別関数設定後、識別部２０は、漸次カット点が未知の映像データを入力して、この判別関数を適用して、漸次カット点検出を行う。
すなわち、情報抽出部２２は、映像入力部２１を介して入力する漸次カット点が未知の映像データのうちの隣接する２フレーム間で、情報抽出部１１と同様に、学習部１０で得られた判別関数で使われている特微量の値を求める。
次に、判別関数計算部２３は、学習部１０で得られた判別関数の定数項と各特微量への係数を設定した判別関数に、情報抽出部２２が漸次カット点が未知の映像データから抽出した特徴量を代入し、判別関数値を計算する。
漸次カット点識別部２４は、この判別関数値が正であれば、漸次カット点区間内のフレームと識別し、負であれば非カット点と識別する。そして、漸次カット点識別部２４は、漸次カット点と判別されたフレームと、そのフレームから一定数以上連続で漸次カット点と判別されたフレームとの間の連続した区間を漸次カット点の区間として検出する。
カット点出力部２５は、漸次カット点識別部２４において検出された漸次カット点、漸次カット点の区間等の情報（カット点情報）を映像の概要把握のための装置や映像検索装置（図示せず）等に出力する。
以上のカット点識別処理を最後のフレームまで繰り返すと、漸次カット点検出装置１は、カット点検出処理を終了する。
なお、以上の実施形態においては、線形判別分析を用いる識別器を採用した場合の例を説明したが、本発明は、これに限られるものではなく、漸次カット点検出に特徴量として、エッジ点の数の絶対値差分、フレーム画像の高周波成分の絶対値差分、動き方向ヒストグラムの絶対値差分を用いるものは、これ以外の識別器を用いても基本的技術思想は同一の範疇に含まれるものである。
以上説明したように、本実施形態の漸次カット点検出装置１によれば、漸次カット点のうち、ディゾルブやフェードといった２つのショットが合成されながら切り替わるカット点を検出するために、新たな特徴量として、（１）エッジ特徴、（２）フレーム画像の高周波成分の絶対値差分、（３）動き方向ヒストグラム特徴を用いる。
このようにする構成することで、本実施形態の漸次カット点検出装置１によれば、漸次カット点と、物体のゆっくりとした動きとを識別することが出来る。
したがって、この手法により漸次カット点検出の精度を上げることが出来る。特に、本実施形態の漸次カット点検出装置１が検出の対象としているディゾルブやフェードといった特徴は、スポーツ中継等の映像で多用されることが多く、これらの映像のカット点検出に有効である。
また、カット点検出をした映像は、カット点画像の一覧表示による内容の把握、映像検索のベースとなる映像インデクシングヘの適用などの映像ハンドリングに幅広く応用できるため、今後の技術開発を行っていく上でベースとなる。
また、今後、情報機器とネットワーク技術の進歩により、コンテンツ流通システムが重要となってくる。この中で映像アーカイブシステムは中心となるシステムであり、その利便性を高めるためには映像から最適なものを検索する技術が欠かせない。よって、このようなカット点検出技術を確立しておくと、より便利な映像検索システムが構築が出来る効果が得られる。
このようにする構成することで、本実施形態の漸次カット点検出装置１によれば、漸次カット点と、物体のゆっくりとした動きとを識別することが出来る。
したがって、この手法により漸次カット点検出の精度を上げることが出来る。特に、本実施形態の漸次カット点検出装置１が検出の対象としているディゾルブやフェードといった特徴は、スポーツ中継等の映像で多用されることが多く、これらの映像のカット点検出に有効である。
また、カット点検出をした映像は、カット点画像の一覧表示による内容の把握、映像検索のベースとなる映像インデクシングヘの適用などの映像ハンドリングに幅広く応用できるため、今後の技術開発を行っていく上でベースとなる。
また、今後、情報機器とネットワーク技術の進歩により、コンテンツ流通システムが重要となってくる。この中で映像アーカイブシステムは中心となるシステムであり、その利便性を高めるためには映像から最適なものを検索する技術が欠かせない。よって、このようなカット点検出技術を確立しておくと、より便利な映像検索システムが構築が出来る効果が得られる。
以上、本発明の一実施形態について説明してきたが、本発明はこれに限られるものではなく、例えば、漸次カット点識別部２４における「漸次カット点の区間決定」のアルゴリズムを以下のように変更してよりカット点検出精度を向上させるようにしてもよい。
具体的には、漸次カット点識別部２４は、判別関数を用いて、「ディゾルブ／フェード」と判別したフレームに対して、さらに「ディゾルブ／フェード区間決定ルール」を適用し、これによりディゾルブ／フェード区間を特定する。
これは、ディゾルブ及びフェード区間には、フレーム間の変化が少ない場合があるため、識別関数を適用しても、「ディゾルブ／フェード」と判別されないフレームがあることや、一方で、水面や樹木など複雑な背景において、物体がゆっくりと動いているショットや、ゆっくりとしたカメラワークのあるショットの場合も、今回の発明で用いる特徴の振る舞いがディゾルブ／フェードと類似する場合があるため、フレーム間に識別関数を適用した場合に、「ディゾルブ／フェード」と誤検出されるフレームがあることによるものである。
具体的には、漸次カット点識別部２４は、判別関数を用いて、「ディゾルブ／フェード」と判別したフレームに対して、さらに「ディゾルブ／フェード区間決定ルール」を適用し、これによりディゾルブ／フェード区間を特定する。
これは、ディゾルブ及びフェード区間には、フレーム間の変化が少ない場合があるため、識別関数を適用しても、「ディゾルブ／フェード」と判別されないフレームがあることや、一方で、水面や樹木など複雑な背景において、物体がゆっくりと動いているショットや、ゆっくりとしたカメラワークのあるショットの場合も、今回の発明で用いる特徴の振る舞いがディゾルブ／フェードと類似する場合があるため、フレーム間に識別関数を適用した場合に、「ディゾルブ／フェード」と誤検出されるフレームがあることによるものである。
以下、この「ディゾルブ／フェード区間決定ルール」について詳述する。
漸次カット点識別部２４は、以下の２点を満たす場合、非カット点として判別されたフレームもディゾルブ／フェード区間内のフレームと判別する。
１）nフレーム先もディゾルブ／フェード区間内のフレームであること（実験ではn＝１０を適用）
２）1の条件を満たすとき、nフレーム先のフレームとの間にあるフレームのうち、一定フレーム（実験では７フレーム）数以上をディゾルブ／フェード区間と判別する。但し、連続して一定フレーム数（実験では３フレーム）以上、非カット点と判別されている場合を除く。
３）２）でディゾルブ／フェード区間と判別された区間について、先頭のフレームと最終フレームとの間で色ヒストグラムの絶対値差分和によるしきい値判定で、ショットが変わっていることを確認する。
漸次カット点識別部２４は、以下の２点を満たす場合、非カット点として判別されたフレームもディゾルブ／フェード区間内のフレームと判別する。
１）nフレーム先もディゾルブ／フェード区間内のフレームであること（実験ではn＝１０を適用）
２）1の条件を満たすとき、nフレーム先のフレームとの間にあるフレームのうち、一定フレーム（実験では７フレーム）数以上をディゾルブ／フェード区間と判別する。但し、連続して一定フレーム数（実験では３フレーム）以上、非カット点と判別されている場合を除く。
３）２）でディゾルブ／フェード区間と判別された区間について、先頭のフレームと最終フレームとの間で色ヒストグラムの絶対値差分和によるしきい値判定で、ショットが変わっていることを確認する。
これらのルールの適用により、「ディゾルブ／フェード」と判別された連続したフレーム列のうち、ｎフレーム以上連続している区間を「ディゾルブ／フェード」区間と判別する。
図５は、識別部２０に、漸次カット点が未知の映像のフレーム列が入力されてから、「ディゾルブ／フェード区間決定ルール」が適用される過程を示す。
漸次カット点が未知の映像のフレーム列について、上記実施形態と同様に、情報抽出部２２で特徴量が抽出され、判別関数計算部２３で判別関数値を計算されると、漸次カット点識別部２４は、この判別関数値が正であれば、漸次カット点区間内のフレームと識別し、負であれば非カット点と識別する。そして、漸次カット点識別部２４は、漸次カット点と判別されたフレームと、そのフレームから一定数以上連続で漸次カット点と判別されたフレームとの間の連続した区間を漸次カット点の区間として検出する。
ここで、漸次カット点識別部２４は、さらに、上述した「ディゾルブ／フェード区間決定ルール」を適用する。
図５は、識別部２０に、漸次カット点が未知の映像のフレーム列が入力されてから、「ディゾルブ／フェード区間決定ルール」が適用される過程を示す。
漸次カット点が未知の映像のフレーム列について、上記実施形態と同様に、情報抽出部２２で特徴量が抽出され、判別関数計算部２３で判別関数値を計算されると、漸次カット点識別部２４は、この判別関数値が正であれば、漸次カット点区間内のフレームと識別し、負であれば非カット点と識別する。そして、漸次カット点識別部２４は、漸次カット点と判別されたフレームと、そのフレームから一定数以上連続で漸次カット点と判別されたフレームとの間の連続した区間を漸次カット点の区間として検出する。
ここで、漸次カット点識別部２４は、さらに、上述した「ディゾルブ／フェード区間決定ルール」を適用する。
これにより、本実施形態の漸次カット点検出装置１によれば、ディゾルブ／フェード区間内で「ディゾルブ／フェード」として検出できなかったフレームを、ディゾルブ／フェード区間として正確に特定できる効果が得られる。
一方、上記に挙げた物体の動きやカメラワークにより「ディゾルブ／フェード」と誤検出された区間は、正しい「ディゾルブ／フェード」区間と比較して、「ディゾルブ／フェード」と検出されるフレームが飛び飛びになる傾向がある。
このため、「ディゾルブ／フェード区間決定ルール」を適用することで、物体の動きやカメラワークにより「ディゾルブ／フェード」と誤検出された区間が「ディゾルブ／フェード」の検出対象から外される。
したがって、誤検出が抑えられ、「ディゾルブ／フェード」検出の精度を上げることができる効果が得られる。
また、本実施形態の漸次カット点検出装置１によれば、さらに、ここでディゾルブ／フェード区間と判別された区間について、先頭のフレームと最終フレームとの間で色ヒストグラムの絶対値差分和によるしきい値判定で、ショットが変わっていることを確認する。
したがって、建物などを固定カメラで撮影している「動きのないショット」を「ディゾルブ／フェード」として誤検出することを防止することが出来る効果が得られる。
一方、上記に挙げた物体の動きやカメラワークにより「ディゾルブ／フェード」と誤検出された区間は、正しい「ディゾルブ／フェード」区間と比較して、「ディゾルブ／フェード」と検出されるフレームが飛び飛びになる傾向がある。
このため、「ディゾルブ／フェード区間決定ルール」を適用することで、物体の動きやカメラワークにより「ディゾルブ／フェード」と誤検出された区間が「ディゾルブ／フェード」の検出対象から外される。
したがって、誤検出が抑えられ、「ディゾルブ／フェード」検出の精度を上げることができる効果が得られる。
また、本実施形態の漸次カット点検出装置１によれば、さらに、ここでディゾルブ／フェード区間と判別された区間について、先頭のフレームと最終フレームとの間で色ヒストグラムの絶対値差分和によるしきい値判定で、ショットが変わっていることを確認する。
したがって、建物などを固定カメラで撮影している「動きのないショット」を「ディゾルブ／フェード」として誤検出することを防止することが出来る効果が得られる。
上述の漸次カット点検出装置は、内部に、コンピュータシステムを有している。
そして、上述した漸次カット点検出処理に関する一連の処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
すなわち、漸次カット点検出装置における、各処理手段、処理部は、ＣＰＵ等の中央演算処理装置がＲＯＭやＲＡＭ等の主記憶装置に上記プログラムを読み出して、情報の加工・演算処理を実行することにより、実現されるものである。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
そして、上述した漸次カット点検出処理に関する一連の処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
すなわち、漸次カット点検出装置における、各処理手段、処理部は、ＣＰＵ等の中央演算処理装置がＲＯＭやＲＡＭ等の主記憶装置に上記プログラムを読み出して、情報の加工・演算処理を実行することにより、実現されるものである。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
１…漸次カット点検出装置
１０…学習部
１１、２１…映像信号入力部
１２、２２…情報抽出部
１３…判定関数学習部
１４…判定関数出力部
２０…識別部
２３…判定関数計算部
２４…漸次カット点識別部
２５…カット点出力部
１０…学習部
１１、２１…映像信号入力部
１２、２２…情報抽出部
１３…判定関数学習部
１４…判定関数出力部
２０…識別部
２３…判定関数計算部
２４…漸次カット点識別部
２５…カット点出力部
Claims (5)
- 映像データより複数の特徴項目についての特徴量を抽出し、該特徴量を予め求めた判別関数へ代入計算して、漸次カット点を検出するカット点検出装置において、
前記特徴量は、隣接したフレーム画像間のエッジ点の数の絶対値差分値である
ことを特徴とするカット点検出装置。 - 映像データより複数の特徴項目についての特徴量を抽出し、該特徴量を予め求めた判別関数へ代入計算して、漸次カット点を検出するカット点検出装置において、
前記特徴量は、隣接したフレーム画像間の高周波成分の絶対値差分値である
ことを特徴とするカット点検出装置。 - 映像データより複数の特徴項目についての特徴量を抽出し、該特徴量を予め求めた判別関数へ代入計算して、漸次カット点を検出するカット点検出装置において、
前記特徴量は、隣接したフレーム画像間の動きベクトルの向きのヒストグラムの絶対値差分値である
ことを特徴とするカット点検出装置。 - 前記漸次カット点について、さらに、一定フレーム画像数先のフレームが漸次カット点のフレーム画像であれば、該一定フレーム画像数先のフレーム画像と現フレーム画像との間のフレーム画像のうち、一定フレーム画像数以上のフレーム画像を漸次カット点と判別する
ことを特徴とする請求項１から請求項３のいずれかに記載のカット点検出装置。 - 映像データより複数の特徴項目についての特徴量を抽出し、該特徴量を予め求めた判別関数へ代入計算して、漸次カット点を検出する処理をコンピュータに実行させるためのプログラムにおいて、
前記特徴量は、隣接したフレーム画像間のエッジ点の数の絶対値差分値である
ことを特徴とするカット点検出プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003304943A JP2005079675A (ja) | 2003-08-28 | 2003-08-28 | カット点検出装置及びカット点検出プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003304943A JP2005079675A (ja) | 2003-08-28 | 2003-08-28 | カット点検出装置及びカット点検出プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005079675A true JP2005079675A (ja) | 2005-03-24 |
Family
ID=34408496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003304943A Withdrawn JP2005079675A (ja) | 2003-08-28 | 2003-08-28 | カット点検出装置及びカット点検出プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005079675A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007318634A (ja) * | 2006-05-29 | 2007-12-06 | Nippon Hoso Kyokai <Nhk> | フェード検出装置 |
| WO2008143167A1 (ja) * | 2007-05-21 | 2008-11-27 | Mitsubishi Electric Corporation | 画像差検出方法および装置、シーンチェンジ検出方法および装置、並びに画像差分検出方法および装置 |
| JP2009540667A (ja) * | 2006-06-08 | 2009-11-19 | トムソン ライセンシング | シーン変化を検出する方法及び装置 |
| KR101436369B1 (ko) | 2013-06-25 | 2014-09-11 | 중앙대학교 산학협력단 | 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법 |
-
2003
- 2003-08-28 JP JP2003304943A patent/JP2005079675A/ja not_active Withdrawn
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007318634A (ja) * | 2006-05-29 | 2007-12-06 | Nippon Hoso Kyokai <Nhk> | フェード検出装置 |
| JP4690250B2 (ja) * | 2006-05-29 | 2011-06-01 | 日本放送協会 | フェード検出装置 |
| JP2009540667A (ja) * | 2006-06-08 | 2009-11-19 | トムソン ライセンシング | シーン変化を検出する方法及び装置 |
| WO2008143167A1 (ja) * | 2007-05-21 | 2008-11-27 | Mitsubishi Electric Corporation | 画像差検出方法および装置、シーンチェンジ検出方法および装置、並びに画像差分検出方法および装置 |
| JPWO2008143167A1 (ja) * | 2007-05-21 | 2010-08-05 | 三菱電機株式会社 | シーンチェンジ検出方法および装置、並びに画像差分検出方法および装置 |
| JP4698754B2 (ja) * | 2007-05-21 | 2011-06-08 | 三菱電機株式会社 | シーンチェンジ検出方法および装置 |
| US8509592B2 (en) | 2007-05-21 | 2013-08-13 | Mitsubishi Electric Corporation | Image difference detection method and apparatus, scene change detection method and apparatus, and image difference value detection method and apparatus |
| KR101436369B1 (ko) | 2013-06-25 | 2014-09-11 | 중앙대학교 산학협력단 | 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법 |
| WO2014208963A1 (ko) * | 2013-06-25 | 2014-12-31 | 중앙대학교 산학협력단 | 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법 |
| US9836851B2 (en) | 2013-06-25 | 2017-12-05 | Chung-Ang University Industry-Academy Cooperation Foundation | Apparatus and method for detecting multiple objects using adaptive block partitioning |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Janwe et al. | Video shot boundary detection based on JND color histogram | |
| JP2009512246A (ja) | 画像のショットタイプを決定する方法及び装置 | |
| CN109194955B (zh) | 一种场景切换检测方法及系统 | |
| JP4496992B2 (ja) | 動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体 | |
| US8306123B2 (en) | Method and apparatus to improve the convergence speed of a recursive motion estimator | |
| US8311269B2 (en) | Blocker image identification apparatus and method | |
| Lan et al. | A novel motion-based representation for video mining | |
| Najafzadeh et al. | Object tracking using Kalman filter with adaptive sampled histogram | |
| Priya et al. | Video cut detection using block based histogram differences in RGB color space | |
| KR100963701B1 (ko) | 영상 식별 장치 | |
| Chung et al. | A scene boundary detection method | |
| JP2005079675A (ja) | カット点検出装置及びカット点検出プログラム | |
| US10686969B2 (en) | Detecting shot changes in a video | |
| RU2446471C1 (ru) | Способ обнаружения движущихся объектов и определения их параметров | |
| JP4167245B2 (ja) | デジタル映像処理方法及びその装置 | |
| JPH03214364A (ja) | シーン変化検出方法 | |
| KR100468843B1 (ko) | 동영상 데이터에서 장면전환을 자동검출하는 방법 및 그장치 | |
| Zhao et al. | BUPT at TRECVID 2007: Shot Boundary Detection. | |
| Kumar et al. | Cut scene change detection using spatio temporal video frame | |
| GG | Video shot cut detection using least square approximation method | |
| Hwang et al. | Change detection using a statistical model of the noise in color images | |
| Hattarge et al. | A survey on shot boundary detection algorithms and techniques | |
| JP4510749B2 (ja) | ショット境界検出装置 | |
| Tsai et al. | An efficient foreground object detection method using a color cluster-based background modeling algorithm | |
| Gomez-Krämer et al. | Camera motion detection in the rough indexing paradigm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20061107 |