JP2004194197A

JP2004194197A - Device, method and program for detecting scene change

Info

Publication number: JP2004194197A
Application number: JP2002362383A
Authority: JP
Inventors: Toshinori Nagahashi; 敏則長橋
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-12-13
Filing date: 2002-12-13
Publication date: 2004-07-08

Abstract

<P>PROBLEM TO BE SOLVED: To provide a scene change detecting device, scene change detecting method and program capable of detecting a scene change in a moving picture and extracting a still picture with the scene change not by using a physical characteristic amount to mechanically detect the scene change in the moving picture but by conforming to human subjectivity (sensitivity). <P>SOLUTION: This scene change detecting means is provided with a still picture generating means for segmenting still pictures from the target moving picture on the basis of a prescribed rule, a noticing area calculating means for calculating a pattern of a noticing area of the segmented still pictures, and a pattern identifying means for comparing patterns of noticing areas between the segmented still pictures to detect the scene change. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、動画のシーンチェンジ検出装置、シーンチェンジ検出方法、及びプログラムに関し、特に、人間の主観（感性）に即した注目領域のパターンを用い、動画のシーンの変化（シーンチェンジ）を検出し、シーンチェンジした静止画を抽出することができる、シーンチェンジ検出装置、シーンチェンジ検出方法、及びプログラムに関する。
【０００２】
【従来の技術】
近時、インターネットやＤＶＤビデオなど様々な分野で、動画情報（本明細書では、単に「動画」ともいう）をコンピューターで扱う機会が増えている。また、現在では、パーソナルコンピュータ上でのビデオ編集が可能になり、簡単に動画の作成も行えるようになってきた。
このような動画については、利用者が興味を持つ目的のシーンだけを見たい場合もある。このような場合に、動画を順次再生しながら目的のシーンを見つける方法では、煩雑で時間がかかり、特に、長時間の動画の場合に問題となる。そこで、動画中のシーンチェンジの検出を行い、シーンチェンジのあったフレームだけを表示し、目的のシーンを効率的に探すためのツールが幾つか提供されている。
【０００３】
このような、従来のシーンチェンジ検出方法としては、例えば、以下に示す方法がある。
（１）画像の符号量の変化に基づいてシーンの変化を検出する方法
（２）画像の色相、再度、明度の特徴量の変化に基づいてシーンの変化を検出する方法
【０００４】
上述した（１）の方法としては、例えば、特許文献１「画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置」に開示された発明がある。
特許文献１の発明では、一連の動画像データに含まれるシーン変化のフレームを自動的に抽出（検出）し、動画像データをシーン変化のフレーム（変化フレーム）とそれ以外の通常フレームに識別する。そして、変化フレームの検出条件として、連続するフレーム間の符号量の差か、連続するフレーム間の符号量の変化率の差を使用する。
【０００５】
また、（２）の方法としては、例えば、特許文献２「映像特徴処理方法」に開示された発明がある。特許文献２の発明は、映像から自動的に特徴量を取り出し、映像を自動的に分類することを目的とした発明である。
そして、上記の目的を達成するため、映像のかたまりを変換した色相、彩度、明度のいずれか又はそれらの組み合わせからなる情報より、ヒストグラムを計測し、そのヒストグラムから極値等を代表値として取り出して特徴量とする。これにより、特徴量の取り出しを自動的に行えるようにする。また、特徴量の数を次元とする特徴空間に前記の映像のかたまりを展開し、その位置から複数の映像のかたまり相互間の距離を計算し、一定距離内の前記映像のかたまり同志をクラスタリングすることにより、それら映像のかたまりを自動的に分類可能とする。それとともに、そのクラスタリング条件パラメータによって映像全体の記述を可能にしている。
【０００６】
しかしながら、（１）、（２）の何れの方法にしても、画像の符号量や色情報などの物理的な特徴量の変化を検出する機械的な処理になるため、必ずしも人間の主観から見たシーンチェンジの検出が行われているとは言い難く、人間の主観（感性）を主体としたシーンチェンジの検出装置の提供が望まれていた。
【０００７】
【特許文献１】
特開平６−１３３３０５号公報
【特許文献２】
特開平６−２５１１４７号公報
【０００８】
【発明が解決しようとする課題】
本発明はこのような問題を解決するためになされたもので、その目的は、シーンチェンジの検出を物理的な特徴量を用いて機械的に処理するのではなく、人間の主観（感性）に即して、動画のシーンチェンジを検出し、シーンチェンジした静止画を抽出することのできる、シーンチェンジ検出装置、シーンチェンジ検出方法、及びプログラムを提供することにある。
【０００９】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明のシーンチェンジ検出装置は、動画のシーンチェンジを検出するシーンチェンジ検出装置であって、対象となる動画から、所定のルールに基づき、静止画を切り出すための静止画生成手段と、前記切り出した静止画の注目領域のパターンを算出するための注目領域算出手段と、前記切り出した静止画間の注目領域のパターンを比較し、シーンチェンジを検出するためのパターン識別手段とを具備することを特徴とする。
このような構成によれば、前記静止画生成手段が、シーンチェンジ検出の検出対象となる動画から、所定のルールに基づき、例えば、所定のフレーム間隔ごとに静止画を切り出す。また、前記注目領域算出手段が、前記切り出した静止画の注目領域のパターンを算出する。そして、前記パターン識別手段により、前記切り出した静止画間の注目領域のパターンを比較し、変化が大きい場合は、シーンチェンジした静止画として抽出する。これにより、動画からシーンチェンジした静止画を検出（抽出）する場合に、より人間の主観に適合したシーンチェンジ画面を抽出することができる。
【００１０】
また、本発明のシーンチェンジ検出装置は、前記パターン識別手段により、シーンチェンジの検出を行う際には、直前にシーンチェンジしたとして抽出された静止画の注目領域のパターンと、新たに切り出した静止画の注目領域のパターンを比較することを特徴とする。
このような構成によれば、パターン識別手段により、シーンチェンジの検出を行う際には、直前に切り出された静止画ではなく、直前にシーンチェンジしたとして抽出された静止画を使用する。そして、この直前にシーンチェンジしたとして抽出された静止画の注目領域のパターンと、新たに切り出した静止画の注目領域のパターンを比較する。これにより、人間の主観に適合したシーンチェンジ画面を抽出することができると共に、シーンチェンジの検出処理を効率的に行うことができる。
【００１１】
また、本発明のシーンチェンジ検出装置は、シーンチェンジしたとして抽出された静止画に、該静止画の動画中の位置を関連づけるための動画リンク手段をさらに具備することを特徴とする。
このような構成によれば、前記動画リンク手段が、シーンチェンジしたとして抽出された静止画に、該静止画の動画中の位置を関連づけるための動画リンク情報を付与してデータベースに記録する。そして、シーンチェンジした静止画を選択すると、該静止画の動画リンク情報を基に、当該静止画から後の動画が再生される。これにより、目的のシーンを選択し、そこから動画を再生することができる。
【００１２】
また、本発明のシーンチェンジ検出装置は、対象となる動画から静止画を切り出す際のルールとして、全画像、所定のフレーム間隔ごと、または所定の時間ごとに切り出すことを指定することを特徴とする。
このような構成によれば、動画から静止画を切り出す場合、全部のフレームの画像を選択するか、所定のフレーム間隔（例えば、１００フレーム）ごとに選択するか、所定の時間（例えば、０．１秒）ごとに選択するかを、利用者の選択により設定できる。これにより、シーンチェンジの検出処理の条件を、動画の種類や、内容を把握したい程度や、利用者の好みなどに応じて、設定することができる。
【００１３】
また、本発明のシーンチェンジ検出方法は、動画のシーンチェンジを検出するシーンチェンジ検出装置におけるシーンチェンジ検出方法であって、対象となる動画から、所定のルールに基づき、静止画を切り出すための静止画生成手順と、前記切り出した静止画の注目領域のパターンを算出するための注目領域算出手順と、前記切り出した静止画間の注目領域のパターンを比較し、シーンチェンジを検出するためのパターン識別手順とを含むことを特徴とする。
このような手順によれば、前記静止画生成手順により、シーンチェンジ検出の検出対象となる動画から、所定のルールに基づき、例えば、所定のフレーム間隔ごとに静止画が切り出される。また、前記注目領域算出手順により、前記切り出した静止画の注目領域のパターンが算出される。そして、前記パターン識別手順により、前記切り出した静止画間の注目領域のパターンが比較され、変化が大きい場合は、シーンチェンジした静止画として抽出される。これにより、動画からシーンチェンジした静止画を抽出する場合に、より人間の主観に適合したシーンチェンジ画面を抽出することができる。
【００１４】
また、本発明のコンピュータプログラムは、動画のシーンチェンジを検出するシーンチェンジ検出装置内のコンピュータに、対象となる動画から、所定のルールに基づき、静止画を切り出すための静止画生成手順と、前記切り出した静止画の注目領域のパターンを算出するための注目領域算出手順と、前記切り出した静止画間の注目領域のパターンを比較し、シーンチェンジを検出するためのパターン識別手順とを実行させるためのプログラムである。
【００１５】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【００１６】
図１は、本発明のシーンチェンジ検出装置１００が備える手段の構成例を示す図である。図１に示すシーンチェンジ検出装置１００に設けられた各手段は、以下の処理を行う。
・シーン検出条件入力手段１０１は、動画から静止画を切り出す条件や、シーンチェンジ検出条件を設定するための手段である。例えば、動画の中から静止画を切り出する条件（ルール）として、静止画を切り出す対象となる動画の指定、静止画を切り出すフレーム間隔または時間間隔、再生時間の期間（シーンチェンジ検出を行う対象時間）など指定するための手段である。なお、必要に応じて、シーンチェンジ検出（抽出）画面の枚数（例えば、３００枚など）、または、シーンチェンジ検出画像の再生時間の長さ（例えば、３０フレーム／秒の再生速度で１０秒間など）を指定するようにもできる。
・動画読取手段１０２は、シーンチェンジ検出の対象となる動画を読み取るための手段である。
・静止画生成手段１０３は、入力された動画から静止画を生成する（切り出す）ための手段である。
【００１７】
・注目領域算出手段１０４は、注目領域を算出するための手段である。画像内を複数の領域に分割し、分割した領域ごとに、注目度の程度を２段階以上に区分けする。この注目領域の算出には、例えば、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）」に開示された「誘目度」を使用することができる。なお、この誘目度については、後述する「誘目度についての補足説明」の項目で、その概要について説明する。
【００１８】
・パターン識別手段１０５は、切り出した静止画間で、注目領域（誘目度）のパターンがどの程度変化したかを識別（比較）するための手段である。誘目度のパターンの変化が大きい場合は、シーンチェンジした画面として選択され、データベース１１１に記録される。なお、パターン識別手段１０５におけるシーンチェンジ検出方法については後述する。
・静止画選択手段１０６は、ユーザが望むシーンから動画を再生するために、シーンチェンジした静止画を選択するための手段である。例えば、あるシーンチェンジを示す静止画を選択すると、その静止画から後の動画が再生される。
・動画リンク手段１０７は、動画中の静止画（シーンチェンジを示すものとして抽出された静止画）が切り取られた部分に関する情報（フレームや再生位置など）を、「動画リンク情報」として、データベース１１１に記録するための手段である。
・動画再生手段１０８は、指定された個所から動画を再生するための手段である。
・印刷手段１０９は、選択した静止画を印刷するための手段である。
・表示手段１１０は、動画、静止画を表示するための手段である。
なお、データベース１１１には、シーンチェンジ検出を行う対象となる動画１１１ａ、シーンチェンジしたとして抽出された静止画１１１ｂと、該静止画１１１ｂの動画リンク情報１１１ｃなどが記録される。
【００１９】
また、図２は、注目領域算出手段１０４により、誘目度のパターンを算出する例を示す図であり、注目度として「誘目度」を使用し、誘目度のパターンを算出した例を示す図である。図２（ａ）は、人物１１が左端に配置されている画像１０の例を模式的に示した図であり、図２（ｂ）は、図２（ａ）の画像に対応する誘目度のパターンを模式的に示した図である。図２（ｂ）に示す誘目度のパターン画面２０中で、誘目度は領域Aが最も高く算出され、領域B、領域Cがこの順に低く算出されている。
また、図３は、誘目度のパターンの他の算出例を示す図である。図３（ａ）は花３１が右端に配置されている画像３０の例を模式的に示した図であり、図３（ｂ）は、図３（ａ）に対応する誘目度のパターンを模式的に示した図である。図３（ｂ）に示す誘目度のパターン画面４０中で、誘目度は領域Ａが最も高く算出され、領域B、領域Cがこの順に低く算出されている。
【００２０】
次に、パターン識別手段１０５により、シーンチェンジの検出を行う手法について説明する。本発明では、誘目度のパターンが閾値以上に変化していれば、シーンが変化していると考える。
（１）まず、誘目度のパターン変化を式（１）を用いて定義する。
【数１】

ここで、
n：:画像の画素数
Ｘi：以前にシーンチェンジと見なした静止画の、画素iの誘目度
ｔi：新たに切り出した静止画の、画素iにおける誘目度
ωi：重み係数（＝１）
なお、重み係数ωｉは、本例では‘１’を使用しているが、ユーザの好みや経験値により異なる値とすることができる。
【００２１】
なお、式（１）を適用するに先立って、必要に応じて、次のように誘目度の値を正規化する。あるいは、必要に応じて、通常よく用いるように標準偏差により正規化するようにしてもよい。
【数２】

（２）そして、式（１）の値が予め設定した閾値以上に大きくなれば、シーンチェンジがあったと見なす。
【００２２】
例えば、図４は、シーンチェンジ検出が行われない場合の例を示す図であり、図４において、５１は直前にシーンチェンジしたとして選択された静止画、５２は静止画５１の誘目度パターンを示している。また、６１は新たに切り出された静止画、６２は静止画６１の誘目度パターンを示している。
図４に示す例において、誘目度パターン５２と誘目度パターン５３とを比較すると、その変化は少なく、シーンチェンジはないと見なされる。
【００２３】
また、図５は、シーンチェンジが行われる例を示す図であり、図５おいて、７１は直前にシーンチェンジしたとして選択された静止画、７２は静止画７１の誘目度パターンを示している。８１は新たに切り出された静止画、８２は静止画８１の誘目度パターンを示している。
図５に示す例において、誘目度パターン７２と誘目度パターン８２とを比較すると、その変化は大きく、その差は所定の閾値以上となり、シーンチェンジしたと見なされ、静止画８１が新たにシーンチェンジした静止画として抽出される。
【００２４】
このようにして、本発明のシーンチェンジ検出装置では、動画から静止画を切り取り、注目領域（誘目度）の二次元分布のパターンを検出、パターンが閾値以上に変化した場合、シーンが変化したとして静止画を抽出するものである。
【００２５】
また、図６は、動画から静止画を切り出す方法を説明するための図である。図６に示す例では、動画の再生時間の期間Ｔ中に含まれる「フレーム−１〜フレーム−ｎ」の各フレームの全部を「静止画−１〜静止画−ｎ」として切り出した例を示している。静止画の切り出し方法は、その他に、所定のフレーム間隔ごと（例えば、１０フレームごと）に切り出すことができ、また、所定の時間間隔ごと（例えば、０．１秒ごと）に切り出すこともできる。
【００２６】
また、図７は、切り出した静止画を選択し、動画を再生する方法を説明するための図である。図７に示す例では、シーンチェンジが検出され抽出された静止画が、静止画−１と静止画−ｎであり、各静止画にはフレームと再生開始時間（動画中の再生開始位置）の情報が、動画リンク情報として付与されて記録される。従って、例えば、静止画１を選択すると、再生開始時間−ａから動画を再生するようにできる。同様に、静止画ｎを選択すると、再生開始時間−ｂから動画を再生するようにできる。
【００２７】
また、図８は、シーンチェンジを検出する処理手順を示すフローチャートである。
（１）ステップＳ１：シーン検出条件入力手段１０１により指定された動画を、動画読取手段１０２により読み込む。
（２）ステップＳ２：静止画生成手段１０３により、指定された時間間隔で動画中のフレームを選び、静止画を切り出す。
（３）ステップＳ３：注目領域算出手段１０４により、静止画の誘目度のパターンを算出する。
（４）ステップＳ４：パターン識別手段１０５により、誘目度のパターン変化の度合いを算出する。
（５）ステップＳ５：誘目度のパターン変化の度合いと閾値とを比較する。
（６）ステップＳ６：誘目度が閾値よりも変化している場合は、シーンチェンジを示す静止画として抽出する。
（７）ステップＳ７：対象とした動画の処理が全て終了したかどうかを判定する。
（８）ステップＳ８：表示手段１１０により、抽出した静止画を表示する。または、印刷手段１０９により印刷する。
（９）ステップＳ９：静止画選択手段１０６により、シーンチェンジしたとして抽出された静止画を選択し、該静止画の動画リンク情報を基に再生位置を決め、動画再生手段１０８により動画の再生を行う。
以上手順により、動画のシーンチェンジの検出と再生を行うことができる。
【００２８】
また、図９は、シーンチェンジ検出装置の構成例を示すブロック図であり、本発明に直接関係する部分についてのみ示したものである。図９において、１００はシーンチェンジ検出装置、１はインターネット網などの通信ネットワーク、１１２はシーンチェンジ検出装置１００と通信ネットワーク１とを接続する通信用インタフェース、１１３はシーンチェンジ検出装置の全体を統括制御する制御部、１２０は処理プログラム部を示している。なお、シーンチェンジ検出装置１００には、ＰＣ（パーソナルコンピュータ）を使用してもよい。
【００２９】
また、処理プログラム部１２０には、以下の処理部が含まれる。
・シーン検出条件入力処理部１２１は、シーンを切り出す対象となる動画の指定や、静止画を切り出すフレーム間隔または時間間隔、再生時間の期間（シーンチェンジ検出を行う対象時間）などを指定するための処理部である。なお、必要に応じて、シーンチェンジ検出画面の枚数（例えば、３００枚など）、または、シーンチェンジ検出画像の再生時間の長さ（例えば、３０フレーム／秒の再生速度で１０秒間など）を指定するようにもできる。
・動画読取処理部１２２は、シーンチェンジ検出の対象となる動画を読み取るための処理部である。
・静止画生成処理部１２３は、入力された動画から静止画を生成するための処理部である。
・注目領域算出処理部１２４は、注目領域を算出するための処理部である。画像内を複数の領域に分割し、分割した領域ごとに、注目度の程度を２段階以上に区分けする。
・パターン識別処理部１２５は、切り出した静止画間で、注目領域（誘目度）のパターンがどの程度変化したかを識別（比較）するための処理部である。誘目度のパターンの変化が大きい場合は、シーンチェンジした画面として抽出され、データベース１１１に記録される。
・静止画選択処理部１２６は、ユーザが望むシーンから動画を再生するために、シーンチェンジした静止画を選択するための手段である。例えば、あるシーンチェンジを示す静止画を選択すると、その静止画から後の動画が再生される。
・動画リンク処理部１２７は、動画中の静止画が切り取られた部分に関する情報（フレームや再生位置など）を、「動画リンク情報」として、データベース１１１に記憶するための手段である。
・動画再生処理部１２８は、指定された個所から動画を再生するための処理部である。
・印刷処理部１２９は、選択した静止画を印刷するための処理部である。
・表示処理部１３０は、動画、静止画を表示するための処理部である。
【００３０】
なお、この処理プログラム部１２０は専用のハードウエアにより実現されるものであってもよく、またこの処理プログラム部はメモリおよびＣＰＵ（中央処理装置）等の汎用の情報処理装置により構成され、この処理部の機能を実現するためのプログラム（図示せず）をメモリにロードして実行することによりその機能を実現させるものであってもよい。また、このシーンチェンジ検出装置１００には、周辺機器として入力装置、表示装置、印刷装置等（いずれも図示せず）が接続されているものとする。ここで、入力装置としては、キーボード、マウス等の入力デバイスのことをいう。表示装置とは、ＣＲＴ（Cathode Ray Tube）や液晶表示装置等のことをいう。印刷装置とは、レーザープリンタ、インクジェットプリンタ等のことをいう。
【００３１】
また、図９に示すシーンチェンジ検出装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明のシーンチェンジ検出装置１００に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可般媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの(伝送媒体ないしは伝送波)、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３２】
以上、本発明の実施の形態について説明したが、本発明のシーンチェンジ検出装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００３３】
［誘目度についての補足説明］
本発明の実施の形態では、注目領域の抽出基準として「誘目度」を使用しているが、この「誘目度」の算出方法の一例が、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）に詳細に開示されている。
ここでは、その概要についてだけ説明する。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ（模様）の異質度をさらに含むので、この４つの異質度の少なくとも１つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
また、色の３要素（色相、彩度、明度）についても評価する場合であれば、人間の主観による目立つ色（赤色）に近い領域を最も目立つ領域と評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【００３４】
また、誘目度の評価は、以下の手順により行う。
（１）最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。この領域分割の方法には、１９９７ＩＥＥＥにおいてW.Y.MaやB.S.Manjunath らが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した“edge flow ”に基づく境界検出方法が適用される。
（２）次に、分割した図領域を抽出し、領域の誘目度を評価する。
この誘目度の評価は、概略以下のようにして行う。
・最初に各領域の異質性誘目度を求める。この場合、色の異質度，テクスチャの異質度，形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
・次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
・次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、この特徴量統合値を、所定のベータ関数により評価して、誘目度を算出する。
（３）また、原画像から誘目度を評価したパターン図を生成する。
【図面の簡単な説明】
【図１】シーンチェンジ検出装置が備える手段の構成例を示す図。
【図２】誘目度のパターンを算出する例を示す図。
【図３】誘目度のパターンの他の算出例を示す図。
【図４】シーンチェンジ検出が行われない場合の例を示す図。
【図５】シーンチェンジ検出が行われる場合の例を示す図。
【図６】動画から静止画を切り出す方法を示す図。
【図７】切り出した静止画から動画を再生する方法を示す図。
【図８】シーンチェンジ検出装置の処理手順を示す図。
【図９】シーンチェンジ検出装置の構成例を示すブロック図。
【符号の説明】
１００シーンチェンジ検出装置、１０１シーン検出条件入力手段
１０２動画読取手段、１０３静止画生成手段
１０４注目領域算出手段、１０５パターン識別手段
１０６静止画選択手段、１０７動画リンク手段
１０８動画再生手段、１０９印刷手段、１１０表示手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving image scene change detecting device, a scene change detecting method, and a program, and more particularly, to detecting a change in a moving image scene (scene change) using a pattern of a region of interest according to human subjectivity (sensitivity). The present invention relates to a scene change detection device, a scene change detection method, and a program that can extract a scene-changed still image.
[0002]
[Prior art]
2. Description of the Related Art Recently, in various fields such as the Internet and DVD video, the opportunity to handle moving image information (hereinafter, also simply referred to as “moving image”) on a computer has been increasing. At present, video editing on a personal computer has become possible, and moving images can be easily created.
For such a moving image, there are cases where the user wants to see only the intended scene in which the user is interested. In such a case, the method of finding a target scene while sequentially reproducing moving images is cumbersome and time-consuming, and is particularly problematic for long-time moving images. Therefore, there are provided some tools for detecting a scene change in a moving image, displaying only a frame where a scene change has occurred, and efficiently searching for a target scene.
[0003]
Such a conventional scene change detection method includes, for example, the following method.
(1) A method for detecting a change in a scene based on a change in a code amount of an image (2) A method for detecting a change in a scene based on a change in a feature amount of a hue and a brightness of an image again
As the method (1) described above, for example, Patent Document 1 “Image data encoding method, image data encoding device using the method, image data restoration method, image data restoration device using the method, scene change Detection Method, Scene Change Detection Apparatus Using the Method ".
In the invention of Patent Document 1, a scene change frame included in a series of moving image data is automatically extracted (detected), and the moving image data is identified as a scene change frame (change frame) and other normal frames. . Then, as a change frame detection condition, a difference in code amount between consecutive frames or a difference in change rate of code amount between consecutive frames is used.
[0005]
As the method (2), for example, there is an invention disclosed in Patent Document 2 “Video feature processing method”. The invention of Patent Literature 2 is an invention for automatically extracting a feature amount from a video and automatically classifying the video.
Then, in order to achieve the above object, a histogram is measured from information including any one of hue, saturation, and lightness obtained by converting a block of video, or a combination thereof, and an extreme value or the like is extracted from the histogram as a representative value. As the feature value. Thus, the feature amount can be automatically extracted. In addition, the above image cluster is developed in a feature space having the number of feature amounts as a dimension, a distance between a plurality of image clusters is calculated from the position, and clusters of the image clusters within a certain distance are clustered. This makes it possible to automatically classify the cluster of these images. At the same time, the entire video can be described by the clustering condition parameters.
[0006]
However, any of the methods (1) and (2) is a mechanical process for detecting a change in a physical feature amount such as a code amount and color information of an image. It is hard to say that a scene change has been detected, and it has been desired to provide a scene change detection device mainly based on human subjectivity (sensitivity).
[0007]
[Patent Document 1]
JP-A-6-133305 [Patent Document 2]
JP-A-6-251147
[Problems to be solved by the invention]
The present invention has been made to solve such a problem, and its purpose is not to mechanically process the detection of a scene change using physical feature values, but to a human subjectivity (sensitivity). Accordingly, it is an object of the present invention to provide a scene change detection device, a scene change detection method, and a program capable of detecting a scene change of a moving image and extracting a scene-changed still image.
[0009]
[Means for Solving the Problems]
The present invention has been made in order to solve the above problems, and a scene change detection device of the present invention is a scene change detection device that detects a scene change of a moving image. Based on the still image generation means for cutting out a still image, the attention area calculation means for calculating the pattern of the attention area of the cut out still image, and comparing the pattern of the attention area between the cut out still images, Pattern identification means for detecting a scene change.
According to such a configuration, the still image generation unit cuts out still images at predetermined frame intervals, for example, from a moving image to be detected for scene change detection based on a predetermined rule. Further, the attention area calculation means calculates a pattern of the attention area of the cut-out still image. Then, the pattern identification means compares the pattern of the region of interest between the cut-out still images, and if the change is large, extracts as a scene-changed still image. This makes it possible to extract a scene change screen that is more suitable for human subjectivity when detecting (extracting) a still image whose scene has been changed from a moving image.
[0010]
Further, the scene change detection device of the present invention, when detecting a scene change by the pattern identification means, includes a pattern of a region of interest of a still image extracted as a scene change immediately before, and a newly cut still image. It is characterized in that the pattern of the attention area of the image is compared.
According to such a configuration, when a scene change is detected by the pattern identification means, a still image extracted as a scene change immediately before is used instead of a still image cut out immediately before. Then, the pattern of the attention area of the still image extracted as the scene change immediately before this is compared with the pattern of the attention area of the newly cut out still image. Thus, a scene change screen suitable for human subjectivity can be extracted, and the process of detecting a scene change can be performed efficiently.
[0011]
Further, the scene change detecting device of the present invention is characterized by further comprising moving image link means for associating a still image extracted as a scene change with a position in the moving image of the still image.
According to such a configuration, the moving image linking means adds the moving image link information for associating the position of the still image in the moving image to the still image extracted as the scene change, and records it in the database. Then, when a still image whose scene has been changed is selected, a moving image subsequent to the still image is reproduced based on the moving image link information of the still image. As a result, a target scene can be selected, and a moving image can be reproduced therefrom.
[0012]
Further, the scene change detection device of the present invention is characterized in that, as a rule for cutting out a still image from a target moving image, it is specified to cut out all images, at a predetermined frame interval, or at a predetermined time. .
According to such a configuration, when cutting out a still image from a moving image, an image of all frames is selected, a frame is selected at a predetermined frame interval (for example, 100 frames), or a predetermined time (for example, 0. 1 second) can be set by the user. This makes it possible to set the conditions for the scene change detection process according to the type of the moving image, the degree to which the contents are desired to be grasped, and the preference of the user.
[0013]
Further, the scene change detection method of the present invention is a scene change detection method in a scene change detection device for detecting a scene change of a moving image, wherein a still image for cutting out a still image from a target moving image based on a predetermined rule is provided. An image generation procedure, an attention area calculation procedure for calculating a pattern of an attention area of the cut out still image, and a pattern identification for detecting a scene change by comparing the attention area pattern between the cut out still images. And a procedure.
According to such a procedure, a still image is cut out from the moving image to be detected for scene change detection based on a predetermined rule, for example, at predetermined frame intervals, by the still image generation procedure. Further, the pattern of the attention area of the cut-out still image is calculated by the attention area calculation procedure. Then, the pattern of the region of interest between the cut-out still images is compared by the pattern identification procedure, and if the change is large, the still image is extracted as a scene-changed still image. Thus, when extracting a still image whose scene has been changed from a moving image, a scene change screen more suitable for human subjectivity can be extracted.
[0014]
Further, the computer program of the present invention provides a computer in a scene change detection device that detects a scene change of a moving image, a still image generation procedure for cutting out a still image from a target moving image based on a predetermined rule, To execute a region-of-interest calculation procedure for calculating the pattern of the region of interest of the extracted still image, and a pattern identification procedure for detecting a scene change by comparing the pattern of the region of interest between the extracted still images. Program.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0016]
FIG. 1 is a diagram showing a configuration example of the means provided in the scene change detection device 100 of the present invention. Each means provided in the scene change detection device 100 shown in FIG. 1 performs the following processing.
The scene detection condition input unit 101 is a unit for setting a condition for cutting out a still image from a moving image and a scene change detection condition. For example, as conditions (rules) for cutting out a still image from a moving image, designation of a moving image to be cut out of a still image, a frame interval or a time interval of cutting out a still image, a playback time period (a target time for scene change detection ). If necessary, the number of scene change detection (extraction) screens (for example, 300) or the length of the playback time of a scene change detection image (for example, 10 seconds at a playback speed of 30 frames / second, etc.) ) Can be specified.
The moving image reading unit 102 is a unit for reading a moving image to be subjected to scene change detection.
The still image generation unit 103 is a unit for generating (cutting out) a still image from an input moving image.
[0017]
The attention area calculation means 104 is means for calculating the attention area. The image is divided into a plurality of regions, and the degree of attention is divided into two or more levels for each of the divided regions. For the calculation of the attention area, for example, the “attraction degree” disclosed in “Japanese Patent Application Laid-Open No. 2001-126070 (attention area extraction apparatus and automatic composition determination apparatus using the same)” can be used. In addition, about this attraction degree, the outline | summary is demonstrated in the item of "supplementary explanation about attraction degree" mentioned later.
[0018]
The pattern identification unit 105 is a unit for identifying (comparing) how much the pattern of the attention area (attraction level) has changed between the extracted still images. When the pattern of the attraction level is large, the screen is selected as a scene-changed screen and recorded in the database 111. The method for detecting a scene change in the pattern identification means 105 will be described later.
The still image selecting unit 106 is a unit for selecting a scene-changed still image in order to reproduce a moving image from a scene desired by the user. For example, when a still image indicating a certain scene change is selected, a moving image subsequent to the still image is reproduced.
The moving image linking unit 107 uses information (frames, playback positions, etc.) relating to a portion of a moving image in which a still image (still image extracted as a scene change) is cut out as “moving image link information” in the database 111. Means for recording the information.
The moving image reproducing means 108 is a means for reproducing a moving image from a specified location.
The printing unit 109 is a unit for printing the selected still image.
The display unit 110 is a unit for displaying a moving image and a still image.
The database 111 records a moving image 111a to be subjected to scene change detection, a still image 111b extracted as a scene change, moving image link information 111c of the still image 111b, and the like.
[0019]
FIG. 2 is a diagram illustrating an example of calculating the pattern of the degree of interest by the attention area calculation unit 104, and is a diagram illustrating an example of calculating the pattern of the degree of interest using “attraction degree” as the degree of interest. is there. FIG. 2A is a diagram schematically illustrating an example of an image 10 in which a person 11 is arranged at the left end, and FIG. 2B is a diagram illustrating an attraction degree corresponding to the image of FIG. It is the figure which showed the pattern typically. In the pattern screen 20 of the degree of attraction shown in FIG. 2B, the degree of attraction is calculated to be highest in the area A, and to be lower in the area B and the area C in this order.
FIG. 3 is a diagram illustrating another example of calculating the pattern of the degree of attraction. FIG. 3A is a diagram schematically illustrating an example of an image 30 in which a flower 31 is arranged at the right end, and FIG. 3B schematically illustrates a pattern of the degree of attraction corresponding to FIG. FIG. In the pattern screen 40 of the degree of attraction shown in FIG. 3B, the degree of attraction is calculated to be highest in the area A, and the areas B and C are calculated to be lower in this order.
[0020]
Next, a method of detecting a scene change by the pattern identification unit 105 will be described. In the present invention, it is considered that a scene has changed if the pattern of the degree of attraction changes to a value equal to or greater than the threshold.
(1) First, a pattern change of the degree of attraction is defined by using Expression (1).
(Equation 1)

here,
n :: Number of pixels Xi of the image: Attraction degree ti of pixel i of a still image which was previously regarded as a scene change: Attraction degree ωi of pixel i of a newly cut out still image: weight coefficient (= 1)
Although the weighting coefficient ωi uses “1” in this example, it may be different depending on the user's preference or experience value.
[0021]
Prior to applying Equation (1), the value of the degree of attraction is normalized as necessary, as follows. Alternatively, if necessary, the data may be normalized by the standard deviation so as to be often used.
(Equation 2)

(2) If the value of the equation (1) becomes larger than a predetermined threshold value, it is determined that a scene change has occurred.
[0022]
For example, FIG. 4 is a diagram illustrating an example in which scene change detection is not performed. In FIG. 4, reference numeral 51 denotes a still image selected as a scene change immediately before, and 52 denotes an attractiveness pattern of the still image 51. Is shown. Reference numeral 61 denotes a newly cut out still image, and reference numeral 62 denotes an attraction pattern of the still image 61.
In the example shown in FIG. 4, when the attractiveness pattern 52 and the attractiveness pattern 53 are compared, the change is small and it is considered that there is no scene change.
[0023]
FIG. 5 is a diagram showing an example in which a scene change is performed. In FIG. 5, reference numeral 71 denotes a still image selected as a scene change immediately before, and reference numeral 72 denotes an attractiveness pattern of the still image 71. . Reference numeral 81 denotes a newly cut out still image, and reference numeral 82 denotes an attractiveness pattern of the still image 81.
In the example shown in FIG. 5, when the attractiveness pattern 72 and the attractiveness pattern 82 are compared, the change is large, the difference is equal to or greater than a predetermined threshold value, it is considered that a scene change has occurred, and the still image 81 is newly changed. Extracted as a still image.
[0024]
In this way, the scene change detection device of the present invention cuts a still image from a moving image, detects a pattern of a two-dimensional distribution of a region of interest (attraction level), and determines that the scene has changed if the pattern has changed to a threshold or more. A still image is extracted.
[0025]
FIG. 6 is a diagram for explaining a method of cutting out a still image from a moving image. In the example illustrated in FIG. 6, an example is shown in which all the frames of “frame-1 to frame-n” included in the moving image playback time period T are cut out as “still image-1 to still image-n”. ing. In addition, the still image can be extracted at a predetermined frame interval (for example, every 10 frames) or at a predetermined time interval (for example, every 0.1 second).
[0026]
FIG. 7 is a diagram for explaining a method of selecting a cut-out still image and playing back a moving image. In the example shown in FIG. 7, the still images from which a scene change is detected and extracted are still image-1 and still image-n, and each still image has a frame and a reproduction start time (reproduction start position in a moving image). Information is added and recorded as moving image link information. Therefore, for example, when the still image 1 is selected, the moving image can be reproduced from the reproduction start time -a. Similarly, when the still image n is selected, the moving image can be reproduced from the reproduction start time −b.
[0027]
FIG. 8 is a flowchart illustrating a processing procedure for detecting a scene change.
(1) Step S1: The moving image specified by the scene detection condition input unit 101 is read by the moving image reading unit 102.
(2) Step S2: The still image generation unit 103 selects a frame in the moving image at specified time intervals and cuts out a still image.
(3) Step S3: The attention area calculation unit 104 calculates a pattern of the degree of attraction of the still image.
(4) Step S4: The pattern identification unit 105 calculates the degree of pattern change of the degree of attraction.
(5) Step S5: The degree of pattern change of the degree of attraction is compared with a threshold.
(6) Step S6: If the degree of attraction changes more than the threshold value, it is extracted as a still image indicating a scene change.
(7) Step S7: It is determined whether or not all the processes of the target moving image have been completed.
(8) Step S8: The extracted still image is displayed by the display means 110. Alternatively, printing is performed by the printing unit 109.
(9) Step S9: The still image selection unit 106 selects a still image extracted as a scene change, determines a reproduction position based on the moving image link information of the still image, and reproduces the moving image by the moving image reproduction unit 108. Do.
Through the above procedure, scene change detection and playback of a moving image can be performed.
[0028]
FIG. 9 is a block diagram showing a configuration example of the scene change detection device, and shows only a portion directly related to the present invention. In FIG. 9, reference numeral 100 denotes a scene change detection device, 1 denotes a communication network such as the Internet, 112 denotes a communication interface for connecting the scene change detection device 100 and the

communication network

1, and 113 denotes general control of the entire scene change detection device. The control unit 120 indicates a processing program unit. Note that a PC (personal computer) may be used as the scene change detection device 100.
[0029]
Further, the processing program unit 120 includes the following processing units.
The scene detection condition input processing unit 121 is used to specify a moving image from which a scene is to be cut out, a frame interval or a time interval from which a still image is cut out, a reproduction time period (a target time for performing scene change detection), and the like. It is a processing unit. If necessary, specify the number of scene change detection screens (for example, 300) or the length of the scene change detection image playback time (for example, 10 seconds at a playback speed of 30 frames / second). You can do it.
The moving image reading processing unit 122 is a processing unit for reading a moving image to be subjected to scene change detection.
The still image generation processing unit 123 is a processing unit for generating a still image from an input moving image.
The attention area calculation processing section 124 is a processing section for calculating the attention area. The image is divided into a plurality of regions, and the degree of attention is divided into two or more levels for each of the divided regions.
The pattern identification processing unit 125 is a processing unit for identifying (comparing) how much the pattern of the attention area (attraction level) has changed between the cut out still images. When the pattern of the attraction level is large, it is extracted as a scene-changed screen and recorded in the database 111.
The still image selection processing unit 126 is means for selecting a scene-changed still image in order to reproduce a moving image from a scene desired by the user. For example, when a still image indicating a certain scene change is selected, a moving image subsequent to the still image is reproduced.
The moving image link processing unit 127 is a means for storing information (frames, playback positions, and the like) regarding a portion of a moving image from which a still image has been cut out as “moving image link information” in the database 111.
The moving image reproduction processing unit 128 is a processing unit for reproducing a moving image from a specified location.
The print processing unit 129 is a processing unit for printing the selected still image.
The display processing unit 130 is a processing unit for displaying a moving image and a still image.
[0030]
Note that the processing program unit 120 may be realized by dedicated hardware, and the processing program unit includes a general-purpose information processing device such as a memory and a CPU (central processing unit). A program (not shown) for realizing the function of the unit may be loaded into a memory and executed to realize the function. Further, it is assumed that an input device, a display device, a printing device, and the like (all are not shown) are connected to the scene change detection device 100 as peripheral devices. Here, the input device refers to an input device such as a keyboard and a mouse. The display device refers to a CRT (Cathode Ray Tube), a liquid crystal display device, or the like. The printing device refers to a laser printer, an inkjet printer, or the like.
[0031]
A program for realizing the functions of the scene change detection device 100 shown in FIG. 9 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read by a computer system and executed. Processing necessary for the scene change detection device 100 of the present invention may be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices.
The “computer system” includes a homepage providing environment (or a display environment) if a WWW system is used.
The “computer-readable recording medium” refers to a general medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, and a storage device such as a hard disk built in a computer system.
Further, a “computer-readable recording medium” refers to a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, which dynamically holds the program for a short time. This includes transmission media (transmission media or transmission waves), and those in which programs are held for a certain period of time, such as volatile memories in computer systems serving as servers and clients in that case.
Further, the above-mentioned program may be for realizing a part of the above-mentioned functions, and may be a program for realizing the above-mentioned functions in combination with a program already recorded in a computer system, that is, a so-called difference file (difference file). Program).
[0032]
Although the embodiment of the present invention has been described above, the scene change detecting device of the present invention is not limited to the above-described illustrated example, and various changes can be made without departing from the gist of the present invention. Of course.
[0033]
[Supplementary explanation on the degree of attraction]
In the embodiment of the present invention, “attraction level” is used as a reference for extracting a region of interest. One example of a method of calculating the “attraction level” is disclosed in Japanese Patent Laid-Open No. 2001-126070 (attention region extraction device). And an automatic composition determination device using the same).
Here, only the outline will be described.
To extract a region of interest, the degree of attraction is evaluated according to the physical characteristics of the original image. Here, the degree of attraction means a parameter suitable for human subjectivity. The region of interest is extracted by extracting a region that stands out from the evaluation result as a region of interest. In other words, when the attention area is evaluated, the evaluation is performed in accordance with the human subjectivity according to the physical characteristics, so that the attention area suitable for the human subjectivity can be extracted.
For example, when the physical characteristics include the degree of heterogeneity of color, the degree of attraction can be evaluated based on the difference in color of each region.
In addition, since the physical characteristics further include, in addition to the color heterogeneity, the shape heterogeneity, the area heterogeneity, and the texture (pattern) heterogeneity, the physical heterogeneity is determined based on at least one of the four heterogeneities. By evaluating the degree of eye-catching, the degree of eye-catching can be accurately evaluated according to the characteristics of the original image.
In the case where three color components (hue, saturation, and lightness) are also evaluated, a region close to a prominent color (red) according to human subjectivity can be evaluated as the most prominent region.
Furthermore, by evaluating the spatial frequency and the area of each region in the original image, the evaluation of the most prominent region can be more accurately determined.
[0034]
The evaluation of the degree of attraction is performed according to the following procedure.
(1) First, the original image is divided into regions. In this case, the original image is divided into a drawing area and a picture area. As a method of this area division, a boundary detection method based on “edge flow” described in “Edge Flow: A Framework of Boundary Detection and Image Segmentation” by WYMa and BS Manjunath et al. In 1997 IEEE is applied.
(2) Next, the divided figure region is extracted, and the degree of attraction of the region is evaluated.
The evaluation of the degree of attraction is roughly performed as follows.
First, determine the degree of heterogeneity attraction in each area. In this case, the heterogeneity of color, the heterogeneity of texture, the heterogeneity of shape, and the heterogeneity of area are obtained, and weighting factors are assigned to each of them to perform linear combination, thereby obtaining the heterogeneity attractiveness of each region.
Next, the feature attractiveness in each area is obtained. In this case, the attraction of color, the attraction of spatial frequency, and the attraction of area are obtained, and weighting factors are assigned to each of them to perform linear combination to obtain the characteristic attraction of each region.
Next, the heterogeneous attractiveness and the feature attractiveness of each area are added to obtain a feature integrated value, and the feature integrated value is evaluated by a predetermined beta function to calculate the attractiveness.
(3) Also, a pattern diagram in which the degree of attraction is evaluated is generated from the original image.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration example of a means provided in a scene change detection device.
FIG. 2 is a diagram showing an example of calculating an attractiveness degree pattern.
FIG. 3 is a diagram showing another example of calculation of the pattern of the degree of attraction.
FIG. 4 is a diagram showing an example in which scene change detection is not performed.
FIG. 5 is a diagram showing an example of a case where scene change detection is performed.
FIG. 6 is a diagram showing a method of cutting out a still image from a moving image.
FIG. 7 is a diagram showing a method of reproducing a moving image from a cut-out still image.
FIG. 8 is a diagram showing a processing procedure of the scene change detection device.
FIG. 9 is a block diagram illustrating a configuration example of a scene change detection device.
[Explanation of symbols]
REFERENCE SIGNS LIST 100 scene change detecting device 101 scene detecting condition input means 102 moving image reading means 103 still image generating means 104 attention area calculating means 105 pattern identifying means 106 still image selecting means 107 moving image linking means 108 moving image reproducing means 109 printing means , 110 display means

Claims

A scene change detection device that detects a scene change of a video,
A still image generation unit for extracting a still image from a target moving image based on a predetermined rule;
Attention area calculation means for calculating a pattern of the attention area of the cut-out still image,
A scene change detecting device, comprising: a pattern identification unit for comparing a pattern of a region of interest between the extracted still images and detecting a scene change.

When detecting a scene change by the pattern identification unit, the pattern of the attention area of the still image extracted as the scene change immediately before and the pattern of the attention area of the newly cut still image are compared. The scene change detection device according to claim 1, wherein:

3. The scene change detecting device according to claim 1, further comprising a moving image link unit for associating a still image extracted as a scene change with a position in the moving image of the still image.

4. The rule according to claim 1, wherein a rule for cutting out a still image from a target moving image is specified to cut out all images, at a predetermined frame interval, or at a predetermined time. 5. Scene change detection device.

A scene change detection method in a scene change detection device that detects a scene change of a moving image,
A still image generation procedure for cutting out a still image from a target moving image based on a predetermined rule;
An attention area calculation procedure for calculating a pattern of the attention area of the cut-out still image;
A pattern identification procedure for comparing a pattern of a region of interest between the extracted still images and detecting a scene change.

The computer in the scene change detection device that detects the scene change of the video,
A still image generation procedure for cutting out a still image from a target moving image based on a predetermined rule;
An attention area calculation procedure for calculating a pattern of the attention area of the cut-out still image;
A program for comparing the pattern of the region of interest between the extracted still images and performing a pattern identification procedure for detecting a scene change.