JP2002204392A - 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 対象動画において、カメラのパン等による滑
らかなシーンの変化であっても、当該シーンの変化（シ
ーンチェンジ）を正確に検出できる画像処理装置を提供
する。 【解決手段】 シーンチェンジ検出手段２０５は、対象
動画像中の明確なシーン区間において、２つのフレーム
画像間の類似度に基づいて、当該２つのフレーム画像間
のシーンチェンジを検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、動画から
シーンの変わり目（以下、「シーン変化点」又は「シー
ンチェンジ」と言う）を検出するための装置或いはシス
テムに用いられる、画像処理装置、画像処理システム、
画像処理方法、及びそれを実施するための処理ステップ
をコンピュータが読出可能に格納した記憶媒体に関する
ものである。

【０００２】

【従来の技術】従来より例えば、動画からシーンチェン
ジを検出（抽出）する方法としては、対象フレームの前
後の数フレームに関する画像特徴量を取得し、その変化
を求めることで、カットやディゾルブ、或いはワイプ等
のシーンチェンジを検出する方法がある。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
たような従来のシーンチェンジ検出方法は、対象フレー
ムの前後の数フレームを考慮した局所的なシーンチェン
ジを検出するのには有効であるが、例えば、カメラのゆ
っくりとしたシフト（パン等）による、ゆっくりとした
変化（滑らかなシーンの変化）を検出することができな
かった。これは、シーンチェンジのフレームを、動画の
シーンを代表するフレームとして取得する場合等に非常
に不都合である。

【０００４】他方、ゆっくりとしたシーンチェンジにお
いては、シーン変化前、シーン変化後のフレームだけで
はなく、当該のシーンの内容をより良く把握するために
はそれらのシーン変化の中間で、更に幾つかのシーンを
代表するフレーム（ローカルなシーン変化点に対応す
る）が必要であり、特にカメラのパンにおいては刻々と
映っている内容が変化しているので顕著な問題である。

【０００５】そこで、本発明は、上記の欠点を除去する
ために成されたもので、対象動画において、カメラのパ
ン等による滑らかなシーンの変化であっても、当該シー
ンの変化（シーンチェンジ）を正確に検出できる、画像
処理装置、画像処理システム、画像処理方法、及びそれ
を実施するための処理ステップをコンピュータが読出可
能に格納した記憶媒体を提供することを目的とする。

【０００６】

【課題を解決するための手段】斯かる目的下において、
第１の発明は、動画像を処理する画像処理装置であっ
て、対象動画像中の２つのフレーム画像間の類似度を取
得する類似度取得手段と、上記類似度取得手段により得
られた類似度に基づいて、上記２つのフレーム画像間の
シーンチェンジを検出する第１のシーンチェンジ検出手
段とを備えることを特徴とする。

【０００７】第２の発明は、上記第１の発明において、
上記類似度取得手段は、対象動画像中において、第１の
フレームと第２のフレームの間の任意の第３のフレーム
と当該第１のフレームの第１の類似度、及び当該第３の
フレームと当該第２のフレームの第２の類似度をそれぞ
れ取得し、上記第１のシーンチェンジ検出手段は、上記
第１の類似度及び上記第２の類似度と所定の閾値の比較
結果に基づいて、上記第１のフレーム又は上記第２のフ
レームをシーンチェンジのフレームとして検出すること
を特徴とする。

【０００８】第３の発明は、上記第２の発明において、
上記第１のシーンチェンジ検出手段は、上記所定の閾値
より低い類似度を有する上記第１のフレーム又は上記第
２のフレームをシーンチェンジのフレームとして検出す
ることを特徴とする。

【０００９】第４の発明は、上記第１の発明において、
対象動画中のシーンチェンジを検出する第２のシーンチ
ェンジ検出手段と、上記第２のシーンチェンジ検出手段
の検出結果に基づいて、対象動画像を部分動画像に分割
する動画像分割手段とを備え、上記類似度取得手段は、
上記動画像分割手段による部分動画像の２つのフレーム
画像間の類似度を取得し、上記第１のシーンチェンジ検
出手段は、上記類似度取得手段により得られた類似度に
基づいて、上記シーンチェンジ検出を行うことを特徴と
する。

【００１０】第５の発明は、上記第４の発明において、
上記動画像分割手段による部分動画像を細分化するか否
かを判定する細分化判定手段と、上記細分化判定手段の
判定結果に基づいて、上記部分動画像を複数の部分動画
像に細分化する部分動画像細分化手段とを備え、上記類
似度取得手段は、上記部分動画像細分化手段による部分
動画像中の２つのフレーム画像間の類似度を取得し、上
記第１のシーンチェンジ検出手段は、上記類似度取得手
段により得られた類似度に基づいて、上記シーンチェン
ジ検出を行うことを特徴とする。

【００１１】第６の発明は、上記第５の発明において、
上記細分化判定手段は、上記類似度取得手段により得ら
れた類似度に基づいて、上記部分動画像の細分化の判定
を行うことを特徴とする。

【００１２】第７の発明は、上記第５の発明において、
上記第１のシーンチェンジ検出手段は、上記細分化判定
手段で上記部分動画像を細分化すると判定された場合、
上記部分動画像細分化手段による部分動画像に対して再
帰的に上記シーンチェンジ検出を行い、上記細分化判定
手段で上記部分動画像を細分化しないと判定された場
合、上記部分動画像中の先頭フレーム又は最終フレーム
をシーンチェンジのフレームとして検出し、上記細分化
判定手段は、上記第１のシーンチェンジ検出手段での再
帰的な処理実行の回数に基づいて、上記部分動画像の細
分化の判定を行うことを特徴とする。

【００１３】第８の発明は、上記第５の発明において、
上記細分化判定手段は、上記部分動画像の時間の長さに
基づいて、上記部分動画像の細分化の判定を行うことを
特徴とする。

【００１４】第９の発明は、上記第５の発明において、
上記部分動画像細分化手段は、上記部分動画像の中間地
点で２つの部分動画像に分割することを特徴とする。

【００１５】第１０の発明は、上記第５の発明におい
て、上記部分動画像細分化手段は、上記部分動画像を任
意の間隔で分割することを特徴とする。

【００１６】第１１の発明は、上記第５の発明におい
て、上記類似度取得手段は、上記部分動画像中の先頭フ
レームと最終フレームの類似度を取得し、上記部分動画
像細分化手段は、上記類似度取得手段で得られた類似度
が所定の閾値よりも低い場合には上記部分動画像を細分
化し、上記第１のシーンチェンジ検出手段は、上記部分
動画像細分化手段により細分化された各部分動画像に対
して再帰的に上記シーンチェンジの検出を行い、上記類
似度取得手段は、上記第１のシーンチェンジ検出手段に
よりシーンチェンジとして検出されたフレームと上記先
頭フレーム及び最終フレームの類似度を取得し、上記部
分動画像細分化手段は、上記類似度取得手段により得ら
れた上記検出フレームと上記先頭フレームの類似度が所
定の閾値よりも高い場合には上記部分動画像の細分化を
処理を終了し、上記類似度取得手段により得られた上記
検出フレーム画像と上記最終フレームの類似度が所定の
閾値よりも高い場合には上記検出フレームから上記最終
フレームまでからなる部分動画像に対する細分化を終了
することを特徴とする。

【００１７】第１２の発明は、上記第１の発明におい
て、上記第１のシーンチェンジ検出手段は、シーンチェ
ンジとして検出したフレームを時系列で並べた場合に隣
り合ったフレーム間の類似度が所定の閾値よりも低くな
るフレームをシーンチェンジとして検出することを特徴
とする。

【００１８】第１３の発明は、動画像を処理する画像処
理装置であって、対象動画像を構成するフレーム画像か
ら特徴量を抽出する特徴量抽出手段と、上記特徴量抽出
手段により得られた特徴量を、上記フレーム画像に対応
付けて記憶する記憶手段と、上記特徴量抽出手段により
得られた特徴量と、上記記憶手段に記憶された過去のフ
レーム画像の特徴量との類似度を取得する類似度取得手
段と、任意のシーンチェンジ検出手段によりシーンチェ
ンジが存在すると確定されたシーンに対して、当該シー
ンの先頭フレーム画像及び最終フレーム画像を含め互い
に類似度の低いフレーム画像を決定するフレーム画像決
定手段と、上記シーンの先頭フレーム及び最終フレーム
と共に、上記フレーム画像決定手段により決定されたフ
レーム画像の位置情報を提示する提示手段とを備えるこ
とを特徴とする。

【００１９】第１４の発明は、動画像を処理する画像処
理装置であって、対象動画像を構成するフレーム画像か
ら特徴量を抽出する特徴量抽出手段と、上記特徴量抽出
手段により得られた特徴量を、上記フレーム画像に対応
付けて記憶する記憶手段と、上記特徴量抽出手段により
得られた特徴量と、上記記憶手段に記憶された過去のフ
レーム画像の特徴量との類似度を取得する類似度取得手
段と、任意のシーンチェンジ検出手段によりシーンチェ
ンジが存在すると確定されたシーンを代表する静止画像
であるフレーム画像を決定する際に、当該決定フレーム
画像を時系列順で並べたときに隣接するフレーム画像が
互いに類似度の低いフレーム画像となるようなフレーム
画像を決定するフレーム画像決定手段と、上記シーンの
先頭フレーム及び最終フレームと共に、上記フレーム画
像決定手段により決定されたフレーム画像の位置情報を
提示する提示手段とを備えることを特徴とする。

【００２０】第１５の発明は、上記第１４の発明におい
て、上記フレーム画像決定手段は、上記任意のシーンチ
ェンジ検出手段によりシーンチェンジが存在すると確定
されたシーンの先頭フレームＦ１及び最終フレームＦ２
の間に存在するフレームＦ３の特徴量と、先頭フレーム
Ｆ１及び最終フレームＦ２の特徴量とを比較し、これら
の両方の類似度が任意の閾値より低い場合、類似度が低
い方の先頭フレームＦ１又は最終フレームＦ２を候補と
して決定し、当該候補フレームとフレームＦ３の間に存
在するフレームＦ４の特徴量と、当該候補フレーム及び
フレームＦ３の特徴量とを比較し、これらの両方の類似
度が任意の閾値より低い場合、類似度が低い方の当該候
補フレーム又はフレームＦ３を候補として決定する、と
いう処理を再帰的に繰り返し実行することで、決定フレ
ーム画像候補群を取得し、当該決定フレーム画像候補群
に含まれるフレーム画像を時系列順にソートした結果
を、代表フレーム画像群とし、上記提示手段は、上記代
表フレーム画像群に含まれるフレーム画像の位置情報を
提示することを特徴とする。

【００２１】第１６の発明は、上記第１５の発明におい
て、上記フレーム画像決定手段は、先頭フレームＦ１及
び最終フレームＦ２の中間フレーム或いは中間とみなせ
るフレームを上記フレームＦ３とし、上記候補フレーム
及び当該フレームＦ３の中間フレーム或いは中間とみな
せるフレームを上記フレームＦ４とすることを特徴とす
る。

【００２２】第１７の発明は、上記第１４の発明におい
て、上記フレーム画像決定手段は、上記代表フレーム画
像群において、隣接するフレーム画像同士の類似度の比
較結果に基づいて、これらのフレーム画像のうちの一方
を削除することを特徴とする。

【００２３】第１８の発明は、上記第１７の発明におい
て、上記フレーム画像決定手段は、時系列的に早い方の
フレーム画像とその１つ前のフレーム画像との類似度
と、時系列的に遅い方のフレーム画像とその１つ後のフ
レーム画像との類似度との比較を行い、類似度の高い方
のフレーム画像を削除することを特徴とする。

【００２４】第１９の発明は、上記第１３又は１４の発
明において、上記任意のシーンチェンジ検出手段は、少
なくともカット、ディゾルブ、及びワイプの何れかを含
む明示的なシーンチェンジを検出する手段を含むことを
特徴とする。

【００２５】第２０の発明は、上記第１５の発明におい
て、上記フレーム画像決定手段は、上記類似度が任意の
閾値より大きい場合、上記シーンの中にローカルなシー
ンチェンジが存在しないとして、処理をアボートするこ
とを特徴とする。

【００２６】第２１の発明は、複数の機器が互いに通信
可能に接続されてなる画像処理システムであって、上記
複数の機器のうち少なくとも１つの機器は、請求項１〜
２０の何れかに記載の画像処理装置の機能を有すること
を特徴とする。

【００２７】第２２の発明は、動画像からシーンチェン
ジを検出するための画像処理方法であって、対象動画像
中の２つのフレーム画像間の類似度を取得する類似度取
得ステップと、上記類似度取得ステップにより得られた
類似度に基づいて、上記２つのフレーム画像間のシーン
チェンジを検出する第１のシーンチェンジ検出ステップ
とを含むことを特徴とする。

【００２８】第２３の発明は、動画像からシーンチェン
ジを検出するための画像処理方法であって、対象動画像
を構成するフレーム画像から特徴量を抽出する特徴量抽
出ステップと、上記特徴量抽出ステップにより得られた
特徴量を、上記フレーム画像に対応付けて記憶する記憶
ステップと、上記特徴量抽出ステップにより得られた特
徴量と、上記記憶ステップにより記憶された過去のフレ
ーム画像の特徴量との類似度を取得する類似度取得ステ
ップと、任意のシーンチェンジ検出処理によりシーンチ
ェンジが存在すると確定されたシーンに対して、当該シ
ーンの先頭フレーム画像及び最終フレーム画像を含め互
いに類似度の低いフレーム画像を決定するフレーム画像
決定ステップと、上記シーンの先頭フレーム及び最終フ
レームと共に、上記フレーム画像決定手段により決定さ
れたフレーム画像の位置情報を提示する提示ステップと
を含むことを特徴とする。

【００２９】第２４の発明は、動画像からシーンチェン
ジを検出するための画像処理方法であって、対象動画像
を構成するフレーム画像から特徴量を抽出する特徴量抽
出ステップと、上記特徴量抽出ステップにより得られた
特徴量を、上記フレーム画像に対応付けて記憶する記憶
ステップと、上記特徴量抽出ステップにより得られた特
徴量と、上記記憶ステップにより記憶された過去のフレ
ーム画像の特徴量との類似度を取得する類似度取得ステ
ップと、任意のシーンチェンジ検出処理によりシーンチ
ェンジが存在すると確定されたシーンを代表する静止画
像であるフレーム画像を決定する際に、当該決定フレー
ム画像を時系列順で並べたときに隣接するフレーム画像
が互いに類似度の低いフレーム画像となるようなフレー
ム画像を決定するフレーム画像決定ステップと、上記シ
ーンの先頭フレーム及び最終フレームと共に、上記フレ
ーム画像決定ステップにより決定されたフレーム画像の
位置情報を提示する提示ステップとを備えることを特徴
とする。

【００３０】第２５の発明は、請求項１〜２０の何れか
に記載の画像処理装置の機能、又は請求項２１記載の画
像処理システムの機能をコンピュータに実現させるため
のプログラムをコンピュータ読出可能な記憶媒体に記録
したことを特徴とする。

【００３１】第２６の発明は、請求項２２〜２４の何れ
かに記載の画像処理方法の処理ステップをコンピュータ
に実行させるためのプログラムをコンピュータ読出可能
な記憶媒体に記録したことを特徴とする。

【００３２】第２７の発明は、動画像データを処理する
画像処理装置であって、対象動画像データ中の隣接する
フレーム間を比較することにより画像変化を検出する検
出する第１の検出手段と、上記第１の検出手段により検
出された第１フレームと第２フレーム間に存在する任意
の第３のフレームを、当該第１フレームと第２フレーム
の少なくともどちらか一方と比較することにより画像変
化を検出する第２の検出手段と、上記第１の検出手段と
上記第２の検出手段との出力に応じてシーンチェンジが
発生したフレームを判断する判断手段とを有することを
特徴とする。

【００３３】第２８の発明は、上記第２７の発明のおい
て、上記判断手段により判断されたフレームの画像デー
タを表示する表示手段を有することを特徴とする。

【００３４】第２９の発明は、上記第２８の発明のおい
て、上記表示手段は、上記第１の検出手段の検出結果に
より上記判断手段が判断したフレームの画像データを表
示することを特徴とする。

【００３５】第３０の発明は、上記第２９の発明のおい
て、上記表示手段は、上記第２の検出手段の検出結果に
より上記判断手段が判断したフレームの画像データを、
上記第１の検出手段の検出結果により上記判断手段が判
断したフレームの画像データと関連させて表示すること
を特徴とする。

【００３６】第３１の発明は、上記第２７の発明のおい
て、上記判断手段により判断されたフレームを示す情報
を上記動画像データと関連させて記憶する記憶手段を有
することを特徴とする。

【００３７】第３２の発明は、動画像データを処理する
画像処理方法であって、対象動画像データ中の隣接する
フレーム間を比較することにより画像変化を検出する検
出する第１の検出ステップと、上記第１の検出ステップ
により検出された第１フレームと第２フレーム間に存在
する任意の第３のフレームを、当該第１フレームと第２
フレームの少なくともどちらか一方と比較することによ
り画像変化を検出する第２の検出ステップと、上記第１
の検出ステップと上記第２の検出ステップとの検出結果
に応じてシーンチェンジが発生したフレームを判断する
判断ステップとを有することを特徴とする。

【００３８】第３３の発明は、請求項３２記載の画像処
理方法の処理ステップをコンピュータに実行させるため
のプログラムをコンピュータ読取可能な記憶媒体に記録
したことを特徴とする。

【００３９】具体的には例えば、対象動画像からフレー
ム画像を取り出し、このフレーム画像から特徴量を取得
し、２つフレーム画像の特徴量を比較して類似度を取得
し、この類似度に基づいて、２つのフレーム画像間の区
間（任意のシーンチェンジ検出手段で得られた明確なシ
ーン区間等）におけるシーンチェンジ点を追跡する。こ
のとき、高速でシーンチェンジを検出するために、対象
シーンを再起的に細分化し、これにより得られた部分シ
ーンの中間フレームと先頭フレーム及び末尾フレームの
類似度が、任意の閾値値以上である場合、それ以上当該
部分シーン内部にシーンチェンジ点が存在しないもとし
て、当該部分シーンに関しては、再起的な細分化を停止
する。

【００４０】シーンチェンジ点に対応するフレーム画像
を代表フレームとするが、あるシーンに対する代表フレ
ーム群を時系列で並べた場合、互いに隣り合う代表フレ
ームが類似している場合がしばしば存在する。これを防
ぐために、隣接する代表フレーム同士の類似度を、上記
の類似度の取得と同様にして求め、その類似度が任意の
閾値以上の場合、代表フレーム群において、できるだけ
互いに類似度が低くなるように片方のフレーム画像を削
除する。このとき、時系列ではなくて、フレーム画像が
互いに低い類似度となるような組み合わせで、代表フレ
ームを求めてもよい。

【００４１】フレーム画像の特徴量としては、カラーヒ
ストグラム等のような公知のものを適用可能であり、そ
の性質は問わない。また、類似度の取得方法に関して
も、例えば、先のカラーヒストグラムについての各階級
値の差の二乗和を計算し、この計算結果を類似度に変換
する方法等を適用可能である。

【００４２】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。

【００４３】＜本実施の形態の全体構成＞本発明は、例
えば、図１に示すような画像処理装置１００に適用され
る。本実施の形態の画像処理装置１００は、処理対象の
動画において、第１のフレームと第２のフレームの間の
フレームを第３のフレームとし、第１のフレームと第３
のフレームの類似度、及び第２のフレームと第３のフレ
ームの類似度を求め、これらの類似度と所定の閾値の比
較結果に基づいて、シーンの変化を検出する構成によ
り、ビデオカメラのパン等による滑らかなシーンの変化
であっても、当該シーンの変化（シーンチェンジ）を正
確に検出できるシーンチェンジ検出機能を有し、上記図
１に示すように、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ
１０３、キーボード１０４、マウス１０５、外部記憶装
置１０６、表示器１０７、ＮＩＣ１０８、及び動画入力
のための周辺機器１１０のインターフェース（Ｉ／Ｆ）
１０９が、システムバス１１１を介して互いに通信可能
なように接続された構成としている。

【００４４】ＣＰＵ１０１は、所定の処理プログラムを
実行することで、画像処理装置１００全体の動作制御を
司る。ＲＯＭ１０２には、ＣＰＵ１０１での動作制御を
実施するための処理プログラム（画像処理装置１００の
立ち上げ時に実行されるブートプログラム等）や各種デ
ータが格納される。ＲＡＭ１０３は、ＣＰＵ１０１によ
りＲＯＭ１０２等から処理プログラムがロードされるメ
モリであると共に、ＣＰＵ１０１が各種動作制御を実行
する際の作業用メモリを提供する。

【００４５】キーボード１０４及びマウス１０５は、ユ
ーザによる画像処理装置１００に対する各種動作指示の
環境（各種入力操作環境）を提供する。外部記憶装置１
０６は、ハードディスクやフロッピー（登録商標）ディ
スク、或いはＣＤ−ＲＯＭ等で構成される。表示器１０
７は、ＣＲＴディスプレイ等で構成され、処理結果等を
ユーザに対して表示する。ＮＩＣ１０８は、ネットワー
クインターフェースであり、ネットワーク上の各機器或
いはシステムとの通信を可能とする。

【００４６】Ｉ／Ｆ１０９は、動画像入力のための周辺
機器（カメラ等）１１１との通信を可能とする。

【００４７】尚、上記図１に示した構成において、外部
記憶装置１０６を、ＮＩＣ１０８により接続されるネッ
トワーク上に配置するようにしてもよい。また、周辺機
器１１０としては、ビデオカメラやビデオデッキ、或い
はビデオプレーヤー、或いはテレビチューナー等、動画
を入力する様々な機器を適用可能である。

【００４８】図２は、上記図１の画像処理装置１００を
機能的に示したものである。画像処理装置１００は、上
記図２に示すように、キーボード１０４、マウス１０
５、及び表示器１０７から実施されるユーザインターフ
ェース部２０１と、周辺機器１１０及びそのＩ／Ｆ１０
９から実施される動画像入力部２０２と、外部記憶装置
１０６から実施される動画像管理データベース（ＤＢ）
２０７、フレーム画像メモリ２０３、及びシーンチェン
ジ情報管理データベース（ＤＢ）２０６と、ＣＰＵ１０
１により実施される画像特徴量抽出部２０４及びシーン
チェンジ検出部２０５とを備えている。

【００４９】ユーザインターフェース部２０１は、ユー
ザが、キーボード１０４、マウス１０５、及び表示器１
０７により各種動作指示を画像処理装置１００に対して
与えるためのものである。

【００５０】動画像入力部２０２は、Ｉ／Ｆ１０９を介
して周辺機器１１０から動画像を取り込む。フレーム画
像メモリ２０３は、例えば、ＲＡＭ１０３の所定の領域
メモリであり、動画像入力部２０２により得られた動画
像のフレームのデータを記憶する。

【００５１】動画像管理ＤＢ２０７は、動画像入力部２
０２により得られた動画像を記憶して管理する。図３
は、動画像管理ＤＢ２０７で動画像を管理するための情
報（動画像データファイル情報）の一例を示したもので
ある。上記図３は、ある動画像（対象動画像）について
の動画像データファイル情報３００を示したものであ
り、シーンチェンジ情報３００は、同図に示すように、
対象動画像に付与されたユニークなＩＤである動画像Ｉ
Ｄ３０１、対象動画像のフルパスのファイル名３０２、
及びその他の属性３０３を含んでいる。

【００５２】画像特徴量抽出部２０４は、フレーム画像
メモリ２０３に記憶されたフレームデータについて、詳
細は後述する処理実行により、画像特徴量を抽出する。

【００５３】シーンチェンジ検出部２０５は、フレーム
画像メモリ２０３に記憶された対象フレームについて、
Ｎ個の隣接或いは近傍のフレームの画像特徴量との類似
度を算出し、その結果に基づいて、詳細は後述するアル
ゴリズムによりシーン変化点のフレームを検出する。ま
た、シーンチェンジ検出部２０５は、ＦＩＦＯ（Ｆｉｒ
ｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）の原理でフレーム画
像メモリ２０３へ記憶された最も古いフレームの画像の
画像特徴量を破棄し、現在のフレームの画像の画像特徴
量をフレーム画像メモリ２０３に記憶する。

【００５４】シーンチェンジ情報蓄積ＤＢ２０６は、シ
ーンチェンジ検出部２０５での検出情報（動画像入力部
２０２により得られた動画像において、どのフレームが
シーンチェンジ点であるかの結果の情報等）を記憶す
る。シーンチェンジ情報蓄積ＤＢ２０６は、上記図１に
示したＲＡＭ１０３或いは外部記憶装置１０６で実施さ
れる。尚、対象動画像を構成する各フレームには、当該
動画像中におけるユニークな画像フレームＩＤが付与さ
れているものとする。したがって、シーンチェンジ情報
蓄積ＤＢ２０６では、画像フレームＩＤによって、シー
ンチェンジの検出情報を記憶して管理する。

【００５５】図４は、シーンチェンジ情報蓄積ＤＢ２０
６に記憶される情報（シーンチェンジ情報）の一例を示
したものである。上記図４は、ある動画像（対象動画
像）についてのシーンチェンジ情報４００を示したもの
であり、シーンチェンジ情報４００は、同図に示すよう
に、動画像ＩＤ４０１、シーンチェンジフレームＩＤ４
０２（Ｘ）、及びシーンチェンジ属性４０３（Ｘ）を含
んでいる。

【００５６】動画像ＩＤ４０１は、対象動画像に付与さ
れたユニークなＩＤである。シーンチェンジフレームＩ
Ｄ４０２（Ｘ）は、シーンチェンジのあったフレームを
示すＩＤ（画像フレームＩＤ）であり、シーンチェンジ
属性４０３（Ｘ）は、当該シーンチェンジの属性であ
る。

【００５７】シーンチェンジ属性４０３（Ｘ）として
は、例えば、“任意のカット点検出アルゴリズム等によ
る急激なフレームの変化による新しいシーン開始フレー
ム”という属性と、“本実施の形態でのアルゴリズムに
よるローカルシーン変化点フレーム”という２種類の属
性を与えるものとする。このようなシーンチェンジ属性
４０３（Ｘ）により、例えば、シーン単位の編集の際に
は、新しいシーン開始フレームの情報を使用することが
でき、また、シーン内容のプラウジングの際には、新し
いシーン開始フレームの表示に加えて、ローカルシーン
変化点フレームの表示を行なう等を実施することができ
る。

【００５８】上述のようなシーンチェンジフレームＩＤ
４０２（Ｘ）及びシーンチェンジ属性４０３（Ｘ）は、
対象動画像（動画像ＩＤ４０１で示される動画像）にお
いて、シーンチェンジのあるフレーム分、設定される。
また、シーンチェンジ情報蓄積ＤＢ２０６内のシーンチ
ェンジ情報と、上述した動画像管理ＤＢ２０７内の動画
像データファイル情報及び動画像データ自身とは、動画
像ＩＤに基づいて対応付けられている。

【００５９】＜画像処理装置１００でのシーンチェンジ
検出処理＞画像処理装置１００の最も特徴とするところ
は、動画像のシーンチェンジ処理にある。ここでは、そ
の一例として、先ず、対象動画像からフレーム画像を順
次取り出し、フレーム画像毎に、画像特徴量を算出し、
当該画像特徴量を、過去のＮフレーム分の情報が記憶可
能なメモリ（ＲＡＭ１０３の任意の領域メモリ等）へ記
憶する。そして、当該メモリに記憶された現在及び過去
のフレームの画像特徴量の比較を所定のアルゴリズムに
より実行し、この結果に基づいて、シーン変地点（シー
ンチェンジ）の有無を判定する。このような画像処理装
置１００の動作は、例えば、図５及び図６のフローチャ
ートによって示される。

【００６０】尚、本実施の形態では、その一例として、
画像特徴量を、フレーム画像の色に着目した特徴量と
し、当該色としては、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の
三色を採用し、３次元の色空間での処理によるカラーヒ
ストグラムにより、画像特徴量を求めるようにしている
が、これに限られるものではない。

【００６１】ステップＳ５０１：上記図５参照 ＣＰＵ１０１は、ユーザーインターフェース部２０１を
介してのユーザからの指示に従って、動画像管理ＤＢ２
０７で管理されている動画像の中で、シーンチェンジ検
出を行なう動画像ファイル（対象動画像）を指示する。
この指定された対象動画像を構成する全てのフレームに
対して、ステップＳ５０１〜ステップＳ５０５の処理が
実行される。このため、先ず、ＣＰＵ１０１は、対象動
画像を構成する全てのフレームにおいて、未処理のフレ
ームが存在するか否かを判別する（ステップＳ５０
１）。

【００６２】ステップＳ５０１の判別の結果、未処理の
フレーム有りの場合、次のステップＳ５０２へ進み、未
処理のフレーム無しの場合、後述するステップＳ５０６
へ進む。

【００６３】ステップＳ５０２：動画像入力部２０２
は、ステップＳ５０１で指定された動画像管理ＤＢ２０
７内の対象動画像から、処理対象となる１フレームの画
像（対象フレーム画像）を取り出してフレーム画像メモ
リ２０３に記憶する。

【００６４】ステップＳ５０３：画像特徴量抽出部２０
４は、フレーム画像メモリ２０３に記憶された対象フレ
ーム画像を構成する画素値のカラーヒストグラムを作成
し、その結果を対象フレーム画像の画像特徴量として、
ＲＡＭ１０３に記憶する。

【００６５】具体的には例えば、画像特徴量抽出部２０
４は、図７に示すように、対象フレーム画像について、
ＲＧＢカラー空間を複数のブロック（色ブロック）に分
割し、すなわちビン（色ビン）に分割し、それぞれのビ
ン（色ビン）に対して、各画素のＲＧＢ値の組み合わせ
がどのビンに属するかを算出してゆき、最終的に各ビン
に対する頻度の情報（カラーヒストグラムの情報、すな
わちここでは画像特徴量）として、ＲＡＭ１０３に記憶
する。

【００６６】ＲＡＭ１０３には、今回のステップＳ５０
３の処理実行、及び前回のステップＳ５０３の処理実行
により、現在のフレームを含め複数フレームの画像特徴
量が蓄積される。

【００６７】ステップＳ５０４：シーンチェンジ検出部
２０５は、詳細は後述するが、上記メモリ内の画像特徴
量により、過去のフレームの画像特徴量と、現在のフレ
ームの画像特徴量との類似度を算出し、この結果によ
り、明示的なシーンチェンジ点（画像変化点）の検出を
行なう。

【００６８】ステップＳ５０５：シーンチェンジ検出部
２０５は、ステップＳ５０４での検出の結果、明示的な
シーンチェンジ点があるか否かを判別する。この判別の
結果、明示的なシーンチェンジ無しの場合、対象フレー
ム画像を次のフレームに進め、当該フレーム対する処理
のために再びステップＳ５０１へ戻り、以降のステップ
処理を繰り返し実行する。一方、明示的なシーンチェン
ジ有りの場合、後述するステップＳ５０７に進む。

【００６９】ステップＳ５０６：上述したステップＳ５
０１の判別の結果、対象動画像の全フレームについてス
テップＳ５０１〜ステップＳ５０５の処理を終えた場
合、ＣＰＵ１０１は、対象動画像の対象フレーム画像
を、対象シーン画像の最終フレームと見なす。

【００７０】ステップＳ５０７：ステップＳ５０６の処
理後、或いはステップＳ５０５において明示的なシーン
チェンジ点が有ると判別された場合、シーンチェンジ検
出部２０５は、上記図６に示すようなアルゴリズムに基
づいて、当該シーンチェンジ点があるシーン（現在のシ
ーン）におけるローカルなシーン変地点の検出を行う。

【００７１】すなわち、上記図６に示すように、先ず、
シーンチェンジ検出部２０５は、明示的なシーンチェン
ジ点の検出によって得たシーン（現在のシーン）の最初
のフレーム（第１のフレーム）と、当該現在のシーンの
最後のフレーム（第２のフレーム）とを取得し、これら
のフレームを、処理先頭フレームＦｓ及び処理末尾フレ
ームＦｅとする（ステップＳ６０１）。

【００７２】次に、シーンチェンジ検出部２０５は、処
理先頭フレームＦｓと処理末尾フレームＦｅの中間或い
は中間とみなせる中間フレームＦｍ（第３のフレーム）
を決定し、画像特徴量抽出部２０４で得られた画像特徴
量を用いて、中間フレームＦｍの画像特徴量と、処理先
頭フレームＦｓ及び処理末尾フレームＦｅの各画像特徴
量とを比較することで、中間フレームＦｍと処理先頭フ
レームＦｓの類似度、及び中間フレームＦｍと処理末尾
フレームＦｅの類似度を取得する（ステップＳ６０
２）。

【００７３】尚、ステップＳ６０２において、中間フレ
ームＦｍとして、処理先頭フレームＦｓと処理末尾フレ
ームＦｅの中間或いは中間とみなせるフレームを用いる
理由としては、再帰的処理を行う際に最も効率が良いた
めである。

【００７４】次に、シーンチェンジ検出部２０５は、ス
テップＳ６０２で取得した類似度により、中間フレーム
Ｆｍと処理先頭フレームＦｓの類似度と、中間フレーム
Ｆｍと処理末尾フレームＦｅの類似度との何れの類似度
が低いかを判定し、低い方の類似度が、所定の閾値以下
であるか否かを判別する（ステップＳ６０３）。この判
別の結果、低い方の類似度が、所定の閾値以下でない場
合、次のステップＳ６０４の処理は実行せずに、そのま
ま後述するステップＳ６０５へ進む。

【００７５】ステップＳ６０３の判別の結果、低い方の
類似度が、所定の閾値以下である場合、すなわち両方の
類似度が所定の閾値以下である場合、シーンチェンジ検
出部２０５は、類似度が低い方の処理先頭フレームＦｓ
又は処理末尾フレームＦｅを、現在解析中のシーンのロ
ーカルなシーン変化点のフレーム群の一つとして決定
し、これに関する情報（シーンチェンジ情報：上記図４
参照）をシーンチェンジ情報管理ＤＢ２０６に追加記憶
する（ステップＳ６０４）。

【００７６】ステップＳ６０４の処理後、或いはステッ
プＳ６０３において低い方の類似度が所定の閾値以下で
ないと判定された場合、シーンチェンジ検出部２０５
は、類似度の低い方の処理先頭フレームＦｓ又は処理末
尾フレームＦｅを、新たに処理先頭フレームＦｓとし、
中間フレームＦｍを、新たに処理末尾フレームＦｅとす
ることで、新たに解析するシーンを決定する（ステップ
Ｓ６０５）。

【００７７】そして、シーンチェンジ検出部２０５は、
処理先頭フレームＦｓと処理末尾フレームＦｅの中間或
いは中間とみなせる中間フレームＦｍが存在するか否か
を判別する（ステップＳ６０６）。この判別の結果、中
間フレームＦｍが存在する場合には、再びステップＳ６
０２に進み、以降のステップ処理を繰り返し実行し、中
間フレームＦｍが存在しない場合に、上記図５のステッ
プＳ５０８に進む。

【００７８】上述のようにして、ステップＳ６０２〜ス
テップＳ６０６の処理が、中間フレームＦｍと見なせる
フレームが無くなるまで、再帰的に繰り返し実行される
ことで、複数のローカルなシーンチェンジ点が得られ
る。

【００７９】ステップＳ５０８：上記図５に戻って参照 ここで、シーンチェンジ情報管理ＤＢ２０６には、明示
的なシーンチェンジ点に関するシーンチェンジ情報、及
びローカルなシーンチェンジ点に関するシーンチェンジ
情報が、必ずしも時系列的には並んで記憶されていな
い。そこで、本ステップＳ５０８において、シーンチェ
ンジ検出部２０５は、後処理を効率良く行えるように、
シーンチェンジ情報管理ＤＢ２０６内のシーンチェンジ
情報を、フレームＩＤの昇順にソートする。

【００８０】ステップＳ５０９：画像特徴量抽出部２０
４は、ステップＳ５０３の処理により現在まで取得して
ＲＡＭ１０３で管理している画像特徴量において、現在
のフレーム（対象フレーム画像）より古いフレーム群の
画像特徴量を削除する。

【００８１】ステップＳ５１０：ＣＰＵ１０１は、現在
のフレーム（対象フレーム画像）が、対象動画像の最終
フレームであるか否かを判別する。この判別の結果、最
終フレームでない場合、再びステップＳ５０１からの処
理を繰り返し実行し、最終フレームであった場合に、本
処理終了となる。

【００８２】尚、上記図５のステップＳ５０４での、明
示的なシーンチェンジ点の検出方法については、その手
段及び方法は任意である。例えば、従来から提案されて
いる手段或いは方法を適用可能である。これは、本実施
の形態は、任意の手段或いは方法で検出された明示的な
シーンチェンジ点の検出情報に基づいて、更に、当該シ
ーンチェンジ点で区切られたシーンの内容を詳しく解析
して、当該シーンのローカルなシーン変地点を検出する
構成を特徴としているためである。また、上記図６のス
テップＳ６０１において、新たな開始フレーム（第１の
フレーム）と最終フレーム（第２のフレーム）の決定、
すなわち次の解析フレーム区間に関しては、次のシーン
区間を決定するまで近傍フレームを用いたカット検出を
行ない、カット、すなわちシーンの最後のフレームが検
出された時に、そのシーンの最初のフレームを開始フレ
ームとし、そのシーンの最後のフレームを最終フレーム
として、以降のステップ処理を実行する。

【００８３】上述のようして得られたシーンチェンジ情
報は、ＣＰＵ１０１の制御により、表示器１０７におい
て参照できるように構成されている。

【００８４】具体的には例えば、シーンチェンジ情報管
理ＤＢ２０６に記憶されるシーンチェンジ情報は、上記
図４に示したようなデータ形式で記憶されるが、シーン
チェンジ属性４０３（Ｘ）として、明示的なシーンチェ
ンジとローカルなシーンチェンジを区別するための情報
を用いる。これにより、シーンチェンジ属性４０３
（Ｘ）に基づいて、明示的なシーンチェンジによるシー
ン開始フレームを、当該シーンの代表のフレームとし、
ローカルなシーンチェンジに相当するフレームを、当該
シーンの子供の階層の代表のフレームとして、階層的な
動画要約表示することができ、動画の内容把握に大変有
効であると共に、シーン単位の編集にも有効である。

【００８５】図８は、表示器１０７による上記階層的な
動画要約表示の一例を示したものである。表示器１０７
は、ＧＵＩとして機能し、上記図８の表示画面上におい
て、ユーザから指示されたフレーム画像から頭だし再生
する、或いはユーザから指示された複数のシーンチェン
ジ点で定められた区間を連続再生する等、動画のシーン
のプログラム再生等が可能なように構成されている。

【００８６】また、上記図５に示したステップＳ５０４
における、フレーム画像間の類似度の算出、すなわちカ
ラーヒストグラム同士の類似比較（類似度の算出）を行
う方法の一例としては、次のような方法を適用可能であ
る。尚、以下に説明するフレーム画像間の類似度の算出
方法は、あくまでも一例であり、これに限られることは
ない。

【００８７】まず、ここでは、ステップＳ５０３におい
て画像特徴量として取得したカラーヒストグラムを、比
較元フレーム画像の比較元カラーヒストグラムとする。
カラーヒストグラム間のパターンマッチングは、それぞ
れの階級値の差の絶対値を累積することにより行ない、
これによって得た距離を類似度へ変換する。この距離Ｄ
は、

【００８８】

【数１】

【００８９】なる式で表わされる。上記式において、
“ｈ１（ｋ）”は、比較元フレーム画像の階級ｋのヒス
トグラム値を表し、“ｈ２（ｋ）”は、比較先フレーム
画像の階級ｋのヒストグラム値を表し、“Ｎ”は、ヒス
トグラムの総階級数を表す。

【００９０】上記式により取得した距離Ｄ（距離尺度
Ｄ）を類似度に変換する。この変換については、ある評
価関数、或いは距離尺度と類似度を対応させるテーブル
等を用いた変換が適用可能である。

【００９１】上述のように、本実施の形態によれば、従
来のシーンチェンジ検出方法では検出が困難であった滑
らかなシーンの変化を伴うシーンチェンジについても、
適切にローカルなシーン変地点を検出して決定する構成
により、当該シーンの内容を把握するために必要ないく
つかのシーンを代表するフレームを決定することが可能
となる。

【００９２】尚、本発明は、例えば、ホストコンピュー
タ、インターフェース機器、及び記憶装置等の複数の機
器から構成されるシステムに対しても、１つの機器から
なる装置（例えば、ビデオ編集装置等）に対しても、適
用可能である。

【００９３】また、本発明の目的は、本実施の形態のホ
スト及び端末の機能を実現するソフトウェアのプログラ
ムコードを記憶した記憶媒体を、システム或いは装置に
供給し、そのシステム或いは装置のコンピュータ（又は
ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコ
ードを読みだして実行することによっても、達成される
ことは言うまでもない。この場合、記憶媒体から読み出
されたプログラムコード自体が本実施の形態の機能を実
現することとなり、そのプログラムコードを記憶した記
憶媒体は本発明を構成することとなる。プログラムコー
ドを供給するための記憶媒体としては、ＲＯＭ、フロッ
ピーディスク、ハードディスク、光ディスク、光磁気デ
ィスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発
性のメモリカード等を用いることができる。また、コン
ピュータが読みだしたプログラムコードを実行すること
により、本実施の形態の機能が実現されるだけでなく、
そのプログラムコードの指示に基づき、コンピュータ上
で稼動しているＯＳ等が実際の処理の一部又は全部を行
い、その処理によって本実施の形態の機能が実現される
場合も含まれることは言うまでもない。さらに、記憶媒
体から読み出されたプログラムコードが、コンピュータ
に挿入された拡張機能ボードやコンピュータに接続され
た機能拡張ユニットに備わるメモリに書き込まれた後、
そのプログラムコードの指示に基づき、その機能拡張ボ
ードや機能拡張ユニットに備わるＣＰＵなどが実際の処
理の一部又は全部を行い、その処理によって本実施の形
態の機能が実現される場合も含まれることは言うまでも
ない。

【００９４】

【発明の効果】以上説明したように本発明によれば、パ
ン等の滑らかなシーンの変化があった場合であっても、
適切なフレームをシーンチェンジ点のフレームとして検
出することができ、前後数秒だけのカット検出だけでは
不十分な動画像のシーンを代表するフレームを複数取得
することが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の構成を示すブ
ロック図である。

【図２】上記画像処理装置の機能的構成を示すブロック
図である。

【図３】上記画像処理装置の動画像管理データベースに
よる動画像データファイル情報の格納形態を説明するた
めの図である。

【図４】上記画像処理装置のシーンチェンジ情報管理デ
ータベースによるシーンチェンジ情報の格納形態を説明
するための図である。

【図５】上記画像処理装置におけるシーンチェンジ検出
処理を説明するためのフローチャートである。

【図６】上記シーンチェンジ検出処理において、ローカ
ルなシーンチェンジを検出する処理を説明するためのフ
ローチャートである。

【図７】上記シーンチェンジ検出処理において、画像特
徴量の取得の際の対象フレーム画像における色空間上の
色ビンを説明するための図である。

【図８】上記シーンチェンジの検出結果（本実施形態に
よる、明示的なシーンチェンジ点のフレームとローカル
なシーン変地点のフレームの検出結果）を用いた階層的
な動画表示の一例を説明するための図である。

【符号の説明】

１００ 画像処理装置 １０１ ＣＰＵ １０２ ＲＯＭ １０３ ＲＡＭ １０４ キーボード １０５ マウス １０６ 外部記憶装置 １０７ 表示器 １０８ ＮＩＣ １０９ Ｉ／Ｆ １１０ カメラ １１１ バス ２０１ ユーザインターフェース部 ２０２ 動画像入力部 ２０３ フレーム画像メモリ ２０４ 画像特徴量抽出部 ２０５ シーンチェンジ検出部 ２０６ シーンチェンジ情報管理データベース ２０７ 動画像管理データベース

Claims (33)

【特許請求の範囲】
1. 【請求項１】 動画像を処理する画像処理装置であっ
   て、 対象動画像中の２つのフレーム画像間の類似度を取得す
   る類似度取得手段と、上記類似度取得手段により得られ
   た類似度に基づいて、上記２つのフレーム画像間のシー
   ンチェンジを検出する第１のシーンチェンジ検出手段と
   を備えることを特徴とする画像処理装置。
2. 【請求項２】 上記類似度取得手段は、対象動画像中に
   おいて、第１のフレームと第２のフレームの間の任意の
   第３のフレームと当該第１のフレームの第１の類似度、
   及び当該第３のフレームと当該第２のフレームの第２の
   類似度をそれぞれ取得し、 上記第１のシーンチェンジ検出手段は、上記第１の類似
   度及び上記第２の類似度と所定の閾値の比較結果に基づ
   いて、上記第１のフレーム又は上記第２のフレームをシ
   ーンチェンジのフレームとして検出することを特徴とす
   る請求項１記載の画像処理装置。
3. 【請求項３】 上記第１のシーンチェンジ検出手段は、
   上記所定の閾値より低い類似度を有する上記第１のフレ
   ーム又は上記第２のフレームをシーンチェンジのフレー
   ムとして検出することを特徴とする請求項２記載の画像
   処理装置。
4. 【請求項４】 対象動画中のシーンチェンジを検出する
   第２のシーンチェンジ検出手段と、 上記第２のシーンチェンジ検出手段の検出結果に基づい
   て、対象動画像を部分動画像に分割する動画像分割手段
   とを備え、 上記類似度取得手段は、上記動画像分割手段による部分
   動画像の２つのフレーム画像間の類似度を取得し、 上記第１のシーンチェンジ検出手段は、上記類似度取得
   手段により得られた類似度に基づいて、上記シーンチェ
   ンジ検出を行うことを特徴とする請求項１記載の画像処
   理装置。
5. 【請求項５】 上記動画像分割手段による部分動画像を
   細分化するか否かを判定する細分化判定手段と、 上記細分化判定手段の判定結果に基づいて、上記部分動
   画像を複数の部分動画像に細分化する部分動画像細分化
   手段とを備え、 上記類似度取得手段は、上記部分動画像細分化手段によ
   る部分動画像中の２つのフレーム画像間の類似度を取得
   し、 上記第１のシーンチェンジ検出手段は、上記類似度取得
   手段により得られた類似度に基づいて、上記シーンチェ
   ンジ検出を行うことを特徴とする請求項４記載の画像処
   理装置。
6. 【請求項６】 上記細分化判定手段は、上記類似度取得
   手段により得られた類似度に基づいて、上記部分動画像
   の細分化の判定を行うことを特徴とする請求項５記載の
   画像処理装置。
7. 【請求項７】 上記第１のシーンチェンジ検出手段は、
   上記細分化判定手段で上記部分動画像を細分化すると判
   定された場合、上記部分動画像細分化手段による部分動
   画像に対して再帰的に上記シーンチェンジ検出を行い、
   上記細分化判定手段で上記部分動画像を細分化しないと
   判定された場合、上記部分動画像中の先頭フレーム又は
   最終フレームをシーンチェンジのフレームとして検出
   し、 上記細分化判定手段は、上記第１のシーンチェンジ検出
   手段での再帰的な処理実行の回数に基づいて、上記部分
   動画像の細分化の判定を行うことを特徴とする請求項５
   記載の画像処理装置。
8. 【請求項８】 上記細分化判定手段は、上記部分動画像
   の時間の長さに基づいて、上記部分動画像の細分化の判
   定を行うことを特徴とする請求項５記載の画像処理装
   置。
9. 【請求項９】 上記部分動画像細分化手段は、上記部分
   動画像の中間地点で２つの部分動画像に分割することを
   特徴とする請求項５記載の画像処理装置。
10. 【請求項１０】 上記部分動画像細分化手段は、上記部
    分動画像を任意の間隔で分割することを特徴とする請求
    項５記載の画像処理装置。
11. 【請求項１１】 上記類似度取得手段は、上記部分動画
    像中の先頭フレームと最終フレームの類似度を取得し、 上記部分動画像細分化手段は、上記類似度取得手段で得
    られた類似度が所定の閾値よりも低い場合には上記部分
    動画像を細分化し、 上記第１のシーンチェンジ検出手段は、上記部分動画像
    細分化手段により細分化された各部分動画像に対して再
    帰的に上記シーンチェンジの検出を行い、 上記類似度取得手段は、上記第１のシーンチェンジ検出
    手段によりシーンチェンジとして検出されたフレームと
    上記先頭フレーム及び最終フレームの類似度を取得し、 上記部分動画像細分化手段は、上記類似度取得手段によ
    り得られた上記検出フレームと上記先頭フレームの類似
    度が所定の閾値よりも高い場合には上記部分動画像の細
    分化を処理を終了し、上記類似度取得手段により得られ
    た上記検出フレーム画像と上記最終フレームの類似度が
    所定の閾値よりも高い場合には上記検出フレームから上
    記最終フレームまでからなる部分動画像に対する細分化
    を終了することを特徴とする請求項５記載の画像処理装
    置。
12. 【請求項１２】 上記第１のシーンチェンジ検出手段
    は、シーンチェンジとして検出したフレームを時系列で
    並べた場合に隣り合ったフレーム間の類似度が所定の閾
    値よりも低くなるフレームをシーンチェンジとして検出
    することを特徴とする請求項１記載の画像処理装置。
13. 【請求項１３】 動画像を処理する画像処理装置であっ
    て、 対象動画像を構成するフレーム画像から特徴量を抽出す
    る特徴量抽出手段と、 上記特徴量抽出手段により得られた特徴量を、上記フレ
    ーム画像に対応付けて記憶する記憶手段と、 上記特徴量抽出手段により得られた特徴量と、上記記憶
    手段に記憶された過去のフレーム画像の特徴量との類似
    度を取得する類似度取得手段と、 任意のシーンチェンジ検出手段によりシーンチェンジが
    存在すると確定されたシーンに対して、当該シーンの先
    頭フレーム画像及び最終フレーム画像を含め互いに類似
    度の低いフレーム画像を決定するフレーム画像決定手段
    と、 上記シーンの先頭フレーム及び最終フレームと共に、上
    記フレーム画像決定手段により決定されたフレーム画像
    の位置情報を提示する提示手段とを備えることを特徴と
    する画像処理装置。
14. 【請求項１４】 動画像を処理する画像処理装置であっ
    て、 対象動画像を構成するフレーム画像から特徴量を抽出す
    る特徴量抽出手段と、 上記特徴量抽出手段により得られた特徴量を、上記フレ
    ーム画像に対応付けて記憶する記憶手段と、 上記特徴量抽出手段により得られた特徴量と、上記記憶
    手段に記憶された過去のフレーム画像の特徴量との類似
    度を取得する類似度取得手段と、 任意のシーンチェンジ検出手段によりシーンチェンジが
    存在すると確定されたシーンを代表する静止画像である
    フレーム画像を決定する際に、当該決定フレーム画像を
    時系列順で並べたときに隣接するフレーム画像が互いに
    類似度の低いフレーム画像となるようなフレーム画像を
    決定するフレーム画像決定手段と、 上記シーンの先頭フレーム及び最終フレームと共に、上
    記フレーム画像決定手段により決定されたフレーム画像
    の位置情報を提示する提示手段とを備えることを特徴と
    する画像処理装置。
15. 【請求項１５】 上記フレーム画像決定手段は、上記任
    意のシーンチェンジ検出手段によりシーンチェンジが存
    在すると確定されたシーンの先頭フレームＦ１及び最終
    フレームＦ２の間に存在するフレームＦ３の特徴量と、
    先頭フレームＦ１及び最終フレームＦ２の特徴量とを比
    較し、これらの両方の類似度が任意の閾値より低い場
    合、類似度が低い方の先頭フレームＦ１又は最終フレー
    ムＦ２を候補として決定し、当該候補フレームとフレー
    ムＦ３の間に存在するフレームＦ４の特徴量と、当該候
    補フレーム及びフレームＦ３の特徴量とを比較し、これ
    らの両方の類似度が任意の閾値より低い場合、類似度が
    低い方の当該候補フレーム又はフレームＦ３を候補とし
    て決定する、という処理を再帰的に繰り返し実行するこ
    とで、決定フレーム画像候補群を取得し、当該決定フレ
    ーム画像候補群に含まれるフレーム画像を時系列順にソ
    ートした結果を、代表フレーム画像群とし、上記提示手
    段は、上記代表フレーム画像群に含まれるフレーム画像
    の位置情報を提示することを特徴とする請求項１４記載
    の画像処理装置。
16. 【請求項１６】 上記フレーム画像決定手段は、先頭フ
    レームＦ１及び最終フレームＦ２の中間フレーム或いは
    中間とみなせるフレームを上記フレームＦ３とし、上記
    候補フレーム及び当該フレームＦ３の中間フレーム或い
    は中間とみなせるフレームを上記フレームＦ４とするこ
    とを特徴とする請求項１５記載の画像処理装置。
17. 【請求項１７】 上記フレーム画像決定手段は、上記代
    表フレーム画像群において、隣接するフレーム画像同士
    の類似度の比較結果に基づいて、これらのフレーム画像
    のうちの一方を削除することを特徴とする請求項１４記
    載の画像処理装置。
18. 【請求項１８】 上記フレーム画像決定手段は、時系列
    的に早い方のフレーム画像とその１つ前のフレーム画像
    との類似度と、時系列的に遅い方のフレーム画像とその
    １つ後のフレーム画像との類似度との比較を行い、類似
    度の高い方のフレーム画像を削除することを特徴とする
    請求項１７記載の画像処理装置。
19. 【請求項１９】 上記任意のシーンチェンジ検出手段
    は、少なくともカット、ディゾルブ、及びワイプの何れ
    かを含む明示的なシーンチェンジを検出する手段を含む
    ことを特徴とする請求項１３又は１４記載の画像処理装
    置。
20. 【請求項２０】 上記フレーム画像決定手段は、上記類
    似度が任意の閾値より大きい場合、上記シーンの中にロ
    ーカルなシーンチェンジが存在しないとして、処理をア
    ボートすることを特徴とする請求項１５記載の画像処理
    装置。
21. 【請求項２１】 複数の機器が互いに通信可能に接続さ
    れてなる画像処理システムであって、 上記複数の機器のうち少なくとも１つの機器は、請求項
    １〜２０の何れかに記載の画像処理装置の機能を有する
    ことを特徴とする画像処理システム。
22. 【請求項２２】 動画像からシーンチェンジを検出する
    ための画像処理方法であって、 対象動画像中の２つのフレーム画像間の類似度を取得す
    る類似度取得ステップと、 上記類似度取得ステップにより得られた類似度に基づい
    て、上記２つのフレーム画像間のシーンチェンジを検出
    する第１のシーンチェンジ検出ステップとを含むことを
    特徴とする画像処理方法。
23. 【請求項２３】 動画像からシーンチェンジを検出する
    ための画像処理方法であって、 対象動画像を構成するフレーム画像から特徴量を抽出す
    る特徴量抽出ステップと、 上記特徴量抽出ステップにより得られた特徴量を、上記
    フレーム画像に対応付けて記憶する記憶ステップと、 上記特徴量抽出ステップにより得られた特徴量と、上記
    記憶ステップにより記憶された過去のフレーム画像の特
    徴量との類似度を取得する類似度取得ステップと、 任意のシーンチェンジ検出処理によりシーンチェンジが
    存在すると確定されたシーンに対して、当該シーンの先
    頭フレーム画像及び最終フレーム画像を含め互いに類似
    度の低いフレーム画像を決定するフレーム画像決定ステ
    ップと、 上記シーンの先頭フレーム及び最終フレームと共に、上
    記フレーム画像決定手段により決定されたフレーム画像
    の位置情報を提示する提示ステップとを含むことを特徴
    とする画像処理方法。
24. 【請求項２４】 動画像からシーンチェンジを検出する
    ための画像処理方法であって、 対象動画像を構成するフレーム画像から特徴量を抽出す
    る特徴量抽出ステップと、 上記特徴量抽出ステップにより得られた特徴量を、上記
    フレーム画像に対応付けて記憶する記憶ステップと、 上記特徴量抽出ステップにより得られた特徴量と、上記
    記憶ステップにより記憶された過去のフレーム画像の特
    徴量との類似度を取得する類似度取得ステップと、 任意のシーンチェンジ検出処理によりシーンチェンジが
    存在すると確定されたシーンを代表する静止画像である
    フレーム画像を決定する際に、当該決定フレーム画像を
    時系列順で並べたときに隣接するフレーム画像が互いに
    類似度の低いフレーム画像となるようなフレーム画像を
    決定するフレーム画像決定ステップと、 上記シーンの先頭フレーム及び最終フレームと共に、上
    記フレーム画像決定ステップにより決定されたフレーム
    画像の位置情報を提示する提示ステップとを備えること
    を特徴とする画像処理方法。
25. 【請求項２５】 請求項１〜２０の何れかに記載の画像
    処理装置の機能、又は請求項２１記載の画像処理システ
    ムの機能をコンピュータに実現させるためのプログラム
    を記録したコンピュータ読出可能な記憶媒体。
26. 【請求項２６】 請求項２２〜２４の何れかに記載の画
    像処理方法の処理ステップをコンピュータに実行させる
    ためのプログラムを記録したコンピュータ読取可能な記
    憶媒体。
27. 【請求項２７】 動画像データを処理する画像処理装置
    であって、 対象動画像データ中の隣接するフレーム間を比較するこ
    とにより画像変化を検出する検出する第１の検出手段
    と、 上記第１の検出手段により検出された第１フレームと第
    ２フレーム間に存在する任意の第３のフレームを、当該
    第１フレームと第２フレームの少なくともどちらか一方
    と比較することにより画像変化を検出する第２の検出手
    段と、 上記第１の検出手段と上記第２の検出手段との出力に応
    じてシーンチェンジが発生したフレームを判断する判断
    手段とを有することを特徴とする画像処理装置。
28. 【請求項２８】 上記判断手段により判断されたフレー
    ムの画像データを表示する表示手段を有することを特徴
    とする請求項２７記載の画像処理装置。
29. 【請求項２９】 上記表示手段は、上記第１の検出手段
    の検出結果により上記判断手段が判断したフレームの画
    像データを表示することを特徴とする請求項２８記載の
    画像処理装置。
30. 【請求項３０】 上記表示手段は、上記第２の検出手段
    の検出結果により上記判断手段が判断したフレームの画
    像データを、上記第１の検出手段の検出結果により上記
    判断手段が判断したフレームの画像データと関連させて
    表示することを特徴とする請求項２９記載の画像処理装
    置。
31. 【請求項３１】 上記判断手段により判断されたフレー
    ムを示す情報を上記動画像データと関連させて記憶する
    記憶手段を有することを特徴とする請求項２７記載の画
    像処理装置。
32. 【請求項３２】 動画像データを処理する画像処理方法
    であって、 対象動画像データ中の隣接するフレーム間を比較するこ
    とにより画像変化を検出する検出する第１の検出ステッ
    プと、 上記第１の検出ステップにより検出された第１フレーム
    と第２フレーム間に存在する任意の第３のフレームを、
    当該第１フレームと第２フレームの少なくともどちらか
    一方と比較することにより画像変化を検出する第２の検
    出ステップと、 上記第１の検出ステップと上記第２の検出ステップとの
    検出結果に応じてシーンチェンジが発生したフレームを
    判断する判断ステップとを有することを特徴とする画像
    処理方法。
33. 【請求項３３】 請求項３２に記載の画像処理方法の処
    理ステップをコンピュータに実行させるためのプログラ
    ムを記録したコンピュータ読取可能な記憶媒体。