JP2000125250A - 動画場面転換部検出装置および方法、動画場面転換部検出制御プログラムを記憶した媒体、ならびに動画処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 動画内から、トランジション効果を用いた場
面転換部を検出する。 【解決手段】 動画場面転換部検出装置５０において、
相違度演算部５５は、与えられた動画内の各フレーム毎
に、該各フレームよりも予め定める第２および第３フレ
ーム間距離だけ表示順が異なるフレームと該各フレーム
との特徴の相違の程度をそれぞれ表す第２および第３フ
レーム間相違度を、それぞれ算出する。算出後、特徴形
状検出部５７は、各フレームの第２および第３フレーム
間相違度のフレームの並べ順に従う変化パターン内に、
トランジション効果を用いた場面転換部に特有の状態に
なっている部分があるか否かを判断する。前記部分が検
出された場合、検出結果出力部は、前記動画内に前記場
面転換部があることを示すデータを出力する。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、動画中のカット
点、ならびにディゾルブおよびワイプを含むトランジシ
ョン効果を用いた場面の転換点を検出するための動画場
面検出装置および方法ならびに該検出制御プログラムを
記憶した媒体と、該装置を用いた動画処理装置とに関す
る。

【０００２】

【従来の技術】図２２は、動画の一般的な構成を説明す
るための模式図である。動画は、１または複数のショッ
トから構成される。ショットとは、すなわち場面であ
り、１つの場面を得るための１連の操作によって連続的
に撮影された１または複数のフレームの集合である。フ
レームとは、動画を構成する静止画に相当する。動画内
の連続する２つのショットが転換される部分、すなわち
動画転換部は、いわゆるカット点と、いわゆるトランジ
ション効果のためのフレームの集合がある部分であるト
ランジション部分との２種類がある。

【０００３】カット点とは、前記２つのショットがフレ
ーム間で切換わる点である。トランジション効果とは、
ショットの転換が、表示順が連続する複数のフレーム間
で徐々に起きるようにした効果であり、具体的には、た
とえばディゾルブおよびワイプが挙げられる。ディゾル
ブは、視聴者から見て、連続する２つのショットのうち
の先行ショットから該２つのショットのうちの後続ショ
ットが徐々に浮出してくるように見える効果である。ワ
イプは、先行ショットが後続ショットによって拭い去ら
れるように変化して、後続ショットに移る効果である。

【０００４】図２３（Ａ）〜（Ｃ）は、動画内の動画転
換部およびその近傍のフレームを、表示順に並列に並べ
て示す図である。図２３（Ａ）で示すように、２つのシ
ョット１１，１２がカット点１３で転換される場合、２
つのショット１１，１２のうちの先行ショット１１の末
尾のフレーム１４が表示された後、該２つのフレームの
うちの後続ショット１２の先頭のフレーム１５が表示さ
れる。すなわち前記場合、カット点１３は、先行ショッ
ト１１の末尾のフレーム１４と、後続ショット１２の先
頭のフレーム１５との間の点に相当する。またカット点
１３の直前または直後のフレーム１４，１５が、カット
点のフレームと称されることがある。

【０００５】図２３（Ｂ），（Ｃ）で示すように、２つ
のショット２１，２２がトランジション部分２３で転換
される場合、前記２つのショットのうちの先行ショット
２１内の末尾から１または複数遡ったフレーム２４が表
示された後、トランジション部分２３を構成する１また
は複数の合成フレームが表示され、表示後、２つのショ
ットのうちの後続ショット２２内の先頭から１または複
数進んだフレーム２５が表示される。前記複数の合成フ
レームは、先行ショット２１内の前記遡ったフレーム２
４の次から該先行ショット２１の末尾までの１または複
数のフレームと、後続ショット２２内の先頭から該後続
ショット２２の前記進んだフレーム２５よりも１つ手前
までの１または複数のフレームとが、それぞれ合成され
て構成される。これらフレームの合成手法は、トランジ
ション効果の具体的な手法に応じて異なる。

【０００６】近年、動画の内容把握を容易にするために
動画内の各ショットの一覧表示を行うため、または動画
内のショットの検索を容易にするために、動画内の場面
転換部の検出に関する従来技術が多数提案されている。
特開平３−２１４３６４号公報、特開平６−８９５４５
号公報、特開平６−３１９１０８号公報、特開平８−１
３９９９５号公報および特開平４−１１１１８１号公報
は、前記従来技術のうちのカット点の検出に関する技術
を開示する。また特開平７−２８８８４０号公報および
特開平８−２１４２１０号公報は、前記カット点および
トランジション部分の検出に関する技術を開示する。こ
れら公報において、動画は映像と称されることがあり、
ショットはシーンと称されることがあり、カット点はシ
ーン変化と称されることがある。

【０００７】一般的にカット点検出に関する従来技術
は、動画内の連続する２つのフレーム間の相関に関する
指標を、該フレームを該動画内でずらしながらそれぞれ
求め、該指標が予め定める閾値未満になった２つのフレ
ーム間にカット点があると判断する。特開平３−２１４
３６４号公報のシーン変化検出方法を用いる装置は、前
記指標として、前記２つのフレームの輝度ヒストグラム
の差分を求める。特開平６−８９５４５号公報の場面転
換部検出方法を用いた装置は、前記指標として、前記２
つのフレームをそれぞれ構成する複数の画素のうち、両
フレームで相互に異なる画素の数を用いる。特開平６−
３１９１０８号公報のシーン変化検出装置は、前記指標
として、前記２つのフレームをそれぞれ構成する複数の
画素のうち、該２つのフレーム間の特徴ベクトルの分布
の誤差に相当する距離が予め定める閾値未満である画素
の数を用いる。特開平８−１３９９９５号公報のシーン
変化点検出方法を用いる装置は、前記指標として、前記
２つのフレーム間の画素値ヒストグラムのχ二乗分布を
用いる。また特開平４−１１１１８１号公報の変換点検
出方法を用いる装置は、カット点の誤検出を防止するた
めに、前記相関の変化率を前記指標として用いている。

【０００８】特開平７−２８８８４０号公報の映像変化
点検出方法を用いる装置は、１つの動画内の複数種類の
動画転換部を検出するために、ディゾルブおよびそれに
類似の効果を用いる場面転換部と、ワイプおよびそれに
類似の効果を用いる場面転換部と、カメラ動作に起因す
る場面転換部と、カット点とをそれぞれ検出するための
処理を、１つの動画に対し順次行う。特開平８−２１４
２１０号公報の映像カット点検出装置は、動画内の連続
する複数のフレームからなる区間内の全ての組合わせの
フレーム間の画像間距離を求めてテーブルとして記憶
し、該テーブル内の画像間距離に基づいて前記区間内の
フレームの変化率を求め、該変化率と予め定める閾値と
の大小関係に基づいて、該区間が動画転換部であるかど
うかを判断する。該公報において、画像間距離とは、前
記組合わせのフレームの相違度に相当する。

【０００９】

【発明が解決しようとする課題】トランジション部分を
含む動画内の任意の連続する２つのフレームの相関は、
該フレームが動画内のどの位置にある場合でも、カット
点を挟む２つのフレームの相関よりも充分に高いことが
多い。このため上述の複数の公報にそれぞれ開示された
カット点検出のための装置を用い、連続する２つのフレ
ームの相関と閾値との大小関係に基づいて、トランジシ
ョン部分を検出することは困難である。

【００１０】また特開平７−２８８８４０号公報の方法
を用いる装置において、動画に施される前記複数の処理
は、相互に異なる種類のトランジション効果をそれぞれ
用いた動画転換部だけを、それぞれ検出する。このため
前記装置は、検出するべき動画転換部の種類が複数ある
ならば、各種類の動画転換部の検出に特有の処理を１つ
の動画にそれぞれ施す必要がある。この結果検出するべ
き動画転換部の種類が増加するほど、動画に施すべき処
理の数が増加するため、動画転換部検出に拘わる処理全
体が複雑になる。また前記装置は前記複数の処理のため
の手段をそれぞれ備える必要があるので、装置が複雑に
なる。

【００１１】さらにまた特開平８−２１４２１０号公報
の装置は、前記区間内の全てのフレーム間の画像間距離
をテーブルの作成に際し、動画内で前記区間が１フレー
ム分だけシフトされた場合、少なくとも該区間内のフレ
ームの数と同数の画像間距離を新たに演算する必要があ
る。このため前記装置は、前記動画転換部の検出に関す
る演算に、非常に時間がかかる。

【００１２】本発明の目的は、トランジション効果の種
類に拘わりなく、トランジション効果を用いた動画転換
部を、容易に検出することができる動画転換部検出装置
および方法ならびに動画転換部検出制御プログラムを記
憶した媒体と、該動画転換部検出装置を用いた動画処理
装置とを、提供することである。

【００１３】

【課題を解決するための手段】第１の発明は、複数のシ
ョットから構成される動画を記憶し、該各ショットは特
徴が同一または近似しかつ時間経過に伴って順次的に表
示されるべき複数のフレームからそれぞれ構成される動
画記憶手段と、前記動画内のいずれか１つのフレームで
ある第１フレームの、前記動画内のフレームの表示順に
予め定める複数の基準枚数だけ該第１フレームからそれ
ぞれ離れた複数の第２フレームとの特徴の相違の程度を
それぞれ表す複数の離反フレーム間相違度を、前記第１
フレームをずらしてそれぞれ演算する離反フレーム間相
違度演算手段と、前記フレームの前記各第２フレームに
対応する離反フレーム間相違度の前記表示順に従う変化
の特性を、それぞれ検出する特性検出手段と、前記特性
検出手段によって検出された特性に基づいて、動画内の
表示順が隣接するべきフレームが重なって合成されたト
ランジション効果を有する合成フレームを、動画内から
検出するトランジション検出手段とを含むことを特徴と
する動画場面転換部検出装置である。

【００１４】第１の発明に従えば、動画場面転換部検出
装置は、前記複数の各離反フレーム間相違度の表示順に
基づく変化の特性を検出し、該特性に基づいて、前記動
画内から前記合成フレームを検出する。この結果前記装
置は、トランジション効果の種類に拘わりなく、前記合
成フレーム、すなわち動画内のトランジション効果を用
いた場面転換部を検出することができる。さらに前記装
置は、前記場面転換部の検出のための計算量を、従来技
術の場面転換部の検出のための装置の計算量よりも減少
させることができ、かつ、該検出の精度を、前記従来技
術の装置よりも向上させることができる。

【００１５】第２の発明の動画場面転換部分検出装置
は、前記各フレームを１または複数の領域に区分し、前
記各フレーム内の各領域を代表する少なくとも１つの色
と該各領域内の該色の出現頻度とをそれぞれ検出して、
該各フレーム内の全ての領域の検出された色および出現
頻度の組合わせを、前記各フレームの前記特徴を示す特
徴データとして出力する特徴データ生成手段をさらに含
み、前記離反フレーム間相違度算出手段は、前記特徴デ
ータに基づき、前記各離反フレーム間相違度をそれぞれ
算出することを特徴とする。

【００１６】第２の発明に従えば、前記動画場面転換部
検出装置は、第１の発明の動画場面転換部検出装置に加
えて、前記特徴データ生成手段をさらに含み、かつ、前
記離反フレーム間相違度演算手段が上述のように動作す
る構成になっている。単一の領域内の色の出現頻度は、
該領域内の前記色の部分の面積と等価である。この結果
前記離反フレーム間相違度が、前記２つのフレームの差
異の変化に応答して過敏および鈍感にそれぞれ変化する
ことがなく、該変化に適切に応答する。この結果前記離
反フレームの前記変化の特徴が崩れにくくなるので、第
２の発明の動画場面転換部検出装置は、トランジション
効果を用いた場面転換部の検出精度を、さらに向上させ
ることができる。

【００１７】第３の発明の動画場面転換部検出装置は、
前記特性検出手段は、前記表示順が連続する複数のフレ
ームの複数の離反フレーム間相違度の前記表示順に伴う
変化パターンが、予め定める複数の基準パターンとそれ
ぞれ一致するか否かを判断し、前記全ての基準パターン
のうち、前記いずれか１つの離反フレーム間相違度の変
化パターンと比較されるべき第１基準パターン、および
該いずれか１つの離反フレーム間相違度よりも算出時の
前記基準枚数が多い離反フレーム間相違度の変化パター
ンと比較されるべき第２基準パターンは、該第１および
第２基準パターンをそれぞれ示すグラフの形状が凸状で
あり、かつ、前記第１基準パターンのグラフの高さおよ
び幅がそれぞれ前記第２基準パターンのグラフの高さお
よび幅未満であることを特徴とする。

【００１８】第３の発明に従えば、前記動画場面転換部
検出装置は、第１の発明の動画場面転換部検出装置にお
いて、前記特性検出手段が上述のように動作する構成に
なっている。この結果前記特性検出手段は、前記特性と
して、各離反フレーム間相違度の変化パターンと前記複
数の基準パターンとの比較結果を出力する。すなわち前
記第３の発明の動画場面転換部検出装置は、前記複数の
離反フレーム間相違度の変化パターンに基づき、前記動
画から前記場面転換部を容易に検出することができる。

【００１９】第４の発明の動画場面転換部検出装置は、
前記表示順が連続する複数のフレームの各離反フレーム
間相違度の変化パターンをそれぞれ近似するグラフの数
式をそれぞれ求める近似式算出手段をさらに含み、前記
特性検出手段は、求められた複数の前記数式に基づいて
定められるパラメータに基づき、該各数式のグラフで近
似される変化パターンが前記各基準パターンと一致する
か否かを判断することを特徴とする。

【００２０】第４の発明に従えば、前記動画場面転換部
検出装置は、第１の発明の動画場面転換部検出装置に加
えて、前記近似式算出手段をさらに含み、かつ前記特性
検出手段が上述のように動作する構成になっている。こ
の結果前記各離反フレーム間相違度の変化パターンと前
記各基準パターンとの比較を、たとえば各フレーム内の
ノイズに起因する各離反フレーム間相違度の変動に対し
てロバストに行うことができる。この結果前記第４の発
明の動画場面転換部検出装置は、トランジション効果を
用いた場面転換部の検出精度を、さらに向上させること
ができる。

【００２１】第５の発明の動画場面転換部検出装置は、
前記数式は、２次関数であり、前記パラメータは、前記
算出された２次関数の係数であることを特徴とする。

【００２２】第５の発明に従えば、前記動画場面転換部
検出装置は、第４の発明の動画場面転換部検出装置にお
いて、前記数式およびパラメータが上述のものになって
いる。前記２次関数のグラフは、凸部が１つなので、前
記基準パターンに近似しやすい。また前記２次関数の式
は構成が簡単なので、前記グラフの凸部の中心、幅、位
置、高さに関するパラメータを抽出しやすい。この結果
前記第５の発明の装置内の特性検出手段は、前記各変化
パターンと前記各基準パターンとの比較を、容易に行う
ことができる。

【００２３】第６の発明の動画場面転換部検出装置は、
前記数式は、正弦関数を含む関数であり、前記パラメー
タは、前記算出された関数内の正弦関数の位相およびゲ
インであることを特徴とする。

【００２４】第６の発明に従えば、前記動画場面転換部
検出装置は、第４の発明の動画場面転換部検出装置にお
いて、前記数式およびパラメータが上述のものになって
いる。前記正弦関数を含む関数のグラフのうちの半周期
分の部分は、凸部が１つなので、前記基準パターンに近
似しやすい。また前記関数の式は構成が簡単なので、前
記グラフの凸部の中心、幅、位置、高さに関するパラメ
ータを抽出しやすい。この結果前記第６の発明の装置内
の特性検出手段は、前記各変化パターンと前記各基準パ
ターンとの比較を、容易に行うことができる。

【００２５】また第１の発明の動画場面転換部検出装置
は、上記の構成に加えて、前記動画内の各フレーム毎
に、該各フレームの表示順と１つだけ異なる表示順のフ
レームと該各フレームとの特徴の違いを示す隣接フレー
ム間相違度を、それぞれ算出する隣接フレーム間相違度
算出手段と、前記動画内から、隣接フレーム間相違度が
予め定めるカット点検出用閾値以上のフレームを検出す
るフレーム検出手段と、前記検出されたフレームに基づ
き、前記動画内のカット点を検出するカット点検出手段
とをさらに含んでいても良い。この結果前記動作場面転
換部検出装置は、トランジション効果を用いた場面転換
部に加えて、カット点である場面転換部も検出すること
ができる。

【００２６】第７の発明の動画場面転換部検出装置は、
前記動画内の各フレーム毎に、該各フレームの表示順と
１つだけ異なる表示順のフレームと該各フレームとの特
徴の違いを示す隣接フレーム間相違度を、それぞれ算出
する隣接フレーム間相違度算出手段と、前記各フレーム
の隣接フレーム間相違度から、該各フレームを含み表示
順が連続した複数のフレームのうちの該各フレームを除
く残余のフレームの隣接フレーム間相違度と予め定める
複数の重み係数との積の総和を、それぞれ減算する隣接
フレーム間相違度補正手段と、前記減算後の隣接フレー
ム間相違度が予め定めるカット点検出用閾値以上のフレ
ームを、前記動画内から検出するフレーム検出手段と、
前記検出されたフレームに基づき、前記動画内のカット
点を検出するカット点検出手段とをさらに含み、前記残
余の各フレームの隣接フレーム間相違度に乗算される各
重み係数は、前記残余のフレームの隣接フレーム間相違
度のうちの該各隣接フレーム間相違度よりも小さい隣接
フレーム間相違度に乗算される重み係数以上であること
を特徴とする。

【００２７】第７の発明に従えば、前記動画場面転換部
検出装置は、第１の発明の動画場面転換部検出装置に加
えて、カット点検出に拘わる上述の手段を含む構成にな
っている。前記補正によって、前記各隣接フレーム相違
度内の、動画内の各ショットの撮影時のカメラおよび被
写体の動きに起因する該各ショット内の連続するフレー
ムの差異に起因する成分が、小さくなる。この結果前記
第７の発明の動画場面転換部検出装置は、カット点の検
出精度を向上させることができる。

【００２８】第８の発明の動画場面転換部検出装置は、
前記動画内の各フレーム毎に、該各フレームの表示順と
１つだけ異なる表示順のフレームと該各フレームとの特
徴の違いを示す隣接フレーム間相違度を、それぞれ算出
する隣接フレーム間相違度算出手段と、前記動画内か
ら、隣接フレーム間相違度が予め定めるカット点検出用
閾値以上の全てのフレームのうち、該各フレームを含み
配列順が連続する複数の各フレームのいずれか１つの離
散フレーム間相違度が、全て予め定める閾値以上である
フレームを、検出するフレーム検出手段と、前記検出さ
れたフレームに基づき、前記動画内のカット点を検出す
るカット点検出手段とをさらに含むことを特徴とする。

【００２９】第８の発明に従えば、前記動画場面転換部
検出装置は、第１の発明の動画場面転換部検出装置に加
えて、カット点検出に拘わる上述の手段を含む構成にな
っている。この結果前記フレーム検出手段は、動画内の
各ショット内の連続する２つのフレームの隣接フレーム
間相違度が前記カット点検出用閾値以上になっている場
合、該２つのフレームを含み連続する複数のフレームの
離反フレーム間相違度と前記閾値との大小関係に応じ
て、前記２つのフレームを検出するか否かを定める。前
記離反フレーム相違度の増加は、たとえば、単一のショ
ット内の連続する２つのフレームのうちの一方の撮影時
だけに、フラッシュがたかれている場合に、起こる。こ
の結果前記第８の発明の動画場面転換部検出装置は、フ
ラッシュの影響に起因するカット点の誤検出を防止する
ことができるので、カット点の検出精度を向上させるこ
とができる。

【００３０】第９の発明は、複数のショットから構成さ
れる動画を記憶し、該各ショットは特徴が同一または近
似しかつ時間経過に伴って順次的に表示されるべき複数
のフレームからそれぞれ構成される動画記憶手段と、前
記動画内のいずれか１つのフレームである第１フレーム
の、前記動画内のフレームの表示順に予め定める複数の
基準枚数だけ該第１フレームからそれぞれ離れた複数の
第２フレームとの相関をそれぞれ表す複数の離反フレー
ム間相関を、前記第１フレームをずらしてそれぞれ演算
する離反フレーム間相関演算手段と、前記フレームの前
記各第２フレームに対応する離反フレーム間相関の前記
表示順に従う変化の特性を、それぞれ検出する特性検出
手段と、前記特性検出手段によって検出された特性に基
づいて、動画内の表示順が隣接するべきフレームが重な
って合成されたトランジション効果を有する合成フレー
ムを、動画内から検出するトランジション検出手段とを
含むことを特徴とする動画場面転換部検出装置である。

【００３１】第９の発明に従えば、動画場面転換部検出
装置は、前記複数の各離反フレーム間相関の表示順に基
づく変化の特性を検出し、該特性に基づいて、前記動画
内から前記合成フレームを検出する。この結果前記９の
発明の動画場面転換部検出装置は、前記離反フレーム間
相違度の代わりに、前記離反フレーム間相関を用いて、
第１の発明の動画場面転換部検出装置と同様に、動画内
のトランジション効果を用いた場面転換部を検出するこ
とができる。また前記第９の発明の装置は、前記場面転
換部の検出のための計算量の減少と、該検出の精度の向
上とを行うことができる。このように離反フレーム間相
関を用いる場合、前記動画転換部を構成する複数のフレ
ームの各離反フレーム間相関の変化パターンは、凹状に
なる。このため前記場合、前記変化パターンと凹状の基
準パターンとを比較することによって、容易に場面転換
部を検出することができる。

【００３２】第１０の発明は、特徴が同一または近似し
かつ時間経過に伴って順次的に表示されるべき複数のフ
レームからそれぞれ構成される複数のショットから構成
される動画を記憶させる処理と、前記動画内のいずれか
１つのフレームである第１フレームの、前記動画内のフ
レームの表示順に予め定める複数の基準枚数だけ該第１
フレームからそれぞれ離れた複数の第２フレームとの特
徴の相違の程度をそれぞれ表す複数の離反フレーム間相
違度を、前記第１フレームをずらしてそれぞれ演算する
処理と、前記フレームの前記各第２フレームに対応する
離反フレーム間相違度の前記表示順に従う変化の特性
を、それぞれ検出する処理と、前記検出された特性に基
づいて、動画内の表示順が隣接するべきフレームが重な
って合成されたトランジション効果を有する合成フレー
ムを、動画内から検出する処理とを含むことを特徴とす
る動画場面転換部検出方法である。

【００３３】第１０の発明に従えば、前記動画場面転換
部検出方法において、前記複数の各離反フレーム間相違
度の表示順に基づく変化の特性が検出され、該特性に基
づいて、前記動画内から前記合成フレームが検出され
る。この結果前記方法が用いられた場合、第１の発明と
同様の理由に基づき、動画内のトランジション効果を用
いた場面転換部が、該トランジション効果の種類に拘わ
らず、検出される。かつ前記方法が用いられる場合、前
記場面転換部の検出に要する計算量の減少、および該検
出の精度の向上を図ることができる。

【００３４】第１１の発明は、特徴が同一または近似し
かつ時間経過に伴って順次的に表示されるべき複数のフ
レームからそれぞれ構成される複数のショットから構成
される動画から、該動画内の表示順が隣接するべきフレ
ームが重なって合成されたトランジション効果を有する
合成フレームを、コンピュータに検出させるための動画
場面転換部検出制御プログラムを記憶する媒体であっ
て、前記動画場面転換部検出制御プログラムは、コンピ
ュータに、前記動画内のいずれか１つのフレームである
第１フレームの、前記動画内のフレームの表示順に予め
定める複数の基準枚数だけ該第１フレームからそれぞれ
離れた複数の第２フレームとの特徴の相違の程度をそれ
ぞれ表す複数の離反フレーム間相違度を、前記第１フレ
ームをずらしてそれぞれ演算させ、前記フレームの前記
各第２フレームに対応する離反フレーム間相違度の前記
表示順に従う変化の特性を、それぞれ検出させ、前記検
出された特性に基づいて、前記合成フレームを動画内か
ら検出させることを特徴とする動画場面転換部検出制御
プログラムを記憶する媒体である。

【００３５】第１１の発明に従えば、前記媒体は、前記
動画場面転換部検出制御プログラムを含む。前記プログ
ラムをコンピュータにインストールして実行させた場
合、該コンピュータは、第１の発明の動画場面転換部検
出装置と同様に動作する。この結果前記コンピュータ
は、第１の発明の装置と同様に、動画内のトランジショ
ン効果を用いた場面転換部を、該トランジション効果の
種類に拘わらず、検出することができ、かつ、前記場面
転換部の検出に要する計算量の減少、および該検出の精
度の向上を図ることができる。

【００３６】第１２の発明は、フレームが表示可能な表
示手段と、請求項１〜９のうちのいずれかに記載の動画
場面転換部検出装置と、前記動画場面検出装置によって
検出された合成フレームの画像内の位置に基づき、前記
動画内の各ショット内から、少なくとも１枚のフレーム
をそれぞれ抽出するフレーム抽出手段と、抽出された前
記フレームを前記表示手段に表示させる表示制御手段と
を含むことを特徴とする動画処理装置である。

【００３７】第１２の発明に従えば、前記動画処理装置
は、前記第１〜第９の発明のうちのいずれかの動画場面
転換部検出装置を備える。この結果前記動画処理装置
は、前記検出装置によって検出された場面転換部に基づ
き、前記動画内の各ショットを自動的に認識することが
でき、かつ該各ショットのフレームを抽出して表示する
ことができる。この結果前記動画処理装置は、動画をシ
ョット単位で処理する場合に、前記場面転換部の検出に
要する負担を軽減し、かつ動画の処理精度を向上するこ
とができる。

【００３８】第１３の発明の動画処理装置は、前記表示
制御手段は、前記抽出された全てのフレームを、前記動
画内の表示順が早いものから順に、時間経過に伴って順
次的に、前記表示手段に表示させることを特徴とする。

【００３９】第１３の発明に従えば、前記動画処理装置
は、第１２の発明の動画処理装置において、前記表示制
御手段が上述のように動作する。この結果第１３の発明
の動画処理装置は、前記抽出された複数のフレームから
構成される動画、すなわちフレームの抽出元である元の
動画の早見のための動画を、前記表示手段に表示するこ
とができる。この結果該動画処理装置の操作者は、元の
動画の内容を、適確かつ短時間に把握することができ
る。

【００４０】第１４の発明の動画処理装置は、前記表示
制御手段は、前記抽出された各フレームを縮小し、縮小
された該各フレームを合成した合成フレームを、前記表
示手段に表示させることを特徴とする。

【００４１】第１４の発明に従えば、前記動画処理装置
は、第１２の発明の動画処理装置において、前記表示制
御手段が上述のように動作する。この結果第１４の発明
の動画処理装置は、前記抽出された複数のフレームの縮
小フレームの合成フレーム、すなわちフレームの抽出元
である元の動画の各ショットの一覧のためのフレーム
を、前記表示手段に表示することができる。この結果該
動画処理装置の操作者は、元の動画の内容を、適確かつ
短時間に把握することができる。

【００４２】

【発明の実施の形態】図１は、本発明の第１の実施の形
態である動画場面転換部検出装置５０の機能的構成を示
すブロック図である。第１の実施の形態の動画場面転換
部検出装置（以後、「第１転換部検出装置」と略称す
る）５０は、機能的には、フレーム展開部５１、フレー
ム記憶部５２、フレーム内特徴抽出部５３、フレーム内
特徴記憶部５４、相違度計算部５５、相違度記憶部５
６、特徴形状検出部５７、カット検出部５８、検出結果
出力部５９、および制御回路６０を含む。制御回路６０
は、第１転換部検出装置５０内の他の部５１〜５９の動
作タイミングを制御する。

【００４３】処理対象となる動画、すなわち対象動画
は、前述の図２２で説明したものと同様に、複数のショ
ットが場面転換部を介して順次接続されて構成されてい
るとする。前記各ショットは、時間経過に伴って順次表
示するべき１または複数のフレームの集合である。前記
対象動画内の場面転換部は、図２３（Ａ）で説明したカ
ット点でもよく、図２３（Ｂ），（Ｃ）で説明したトラ
ンジション部分、すなわちトランジション効果を用いた
ショットの転換のための合成フレームの集合であっても
よい。各フレームは、動画を構成するための静止画に相
当する。このような構成の対象動画の各フレームをそれ
ぞれ示すデータが、予め定める表示順に従い、時間経過
に伴って順次的に、第１転換部検出装置５０に入力され
る。

【００４４】入力された前記対象動画の各フレームを示
すデータは、与えられた順に、フレーム展開部５１にそ
れぞれ与えられる。フレーム展開部５１は、各フレーム
のデータの形態を、転換部検出装置３１内で処理するの
に適した形態に、それぞれ変換する。以後の説明では、
形態変換後のデータが示すフレームは、複数個の画素が
行列状に配置されて構成される静止画であるとし、該形
態変換後の各フレームのデータは、該各フレームを構成
する全ての画素の色および輝度をそれぞれ示す画素デー
タセットの集合、すなわちいわゆる格子状データである
とする。

【００４５】すなわちたとえばフレーム展開部５１は、
入力時点の各フレームのデータがアナログデータである
ならば、該データをアナログ／デジタル変換した後に格
子状データに変換し、入力時点の各フレームのデータが
圧縮されたデジタルデータであるならば、該データを展
開した後に格子状データに変換する。なお第１転換部検
出装置３１内で、対象動画内の各フレームは前記格子状
データの形態で取扱われ、対象動画は該動画を構成する
全てのフレームの格子状データの集合として取扱われる
が、以後の説明では取扱われる形態に拘わらず、「フレ
ーム」，「対象動画」と称する。

【００４６】形態変換後の対象動画内の各フレームは、
フレーム記憶部５２に順次記憶される。以後、対象動画
を構成する全てのフレームのうち、表示順に従い、先頭
からｎ番目のフレームを、第ｎフレームと称する。ｎ
は、０以上でかつ対象画像の全フレーム数Ｎ未満の任意
の整数である。すなわち前記対象動画は、第０フレーム
〜第Ｎ−１フレームによって構成されるとする。フレー
ム記憶部５２は、少なくとも１枚の形態変換後のフレー
ムを記憶可能であるとする。

【００４７】フレーム内特徴抽出部５３は、フレーム記
憶部５２内のフレームに基づき、該フレームのフレーム
内特徴を求める。第ｎフレームのフレーム内特徴Ｒｎ
は、第ｎフレームを対象動画内の他のフレームと区別す
るために用いる定量的な数値の集まりである。添字ｎは
０以上Ｎ−１以下の整数である。

【００４８】フレーム内特徴記憶部５４は、縦列接続さ
れた予め定める数ＮＦの特徴バッファＢＦ［０］〜ＢＦ
［ＮＦ−１］を備え、各特徴バッファＢＦ［ｆ］にそれ
ぞれ１つのフレーム内特徴Ｒｎを記憶する。ＮＦは、１
以上Ｎ以下の任意の整数であり、ｆは０以上ＮＦ−１以
下の任意の整数である。すなわちフレーム内特徴記憶部
５４は、少なくとも３つ以上の特徴バッファＢＦ［ｆ］
を備える。各特徴バッファＢＦ［ｆ］は、添字ｆが大き
いほど、対象動画内の表示順の早いフレームのフレーム
内特徴を記憶するものとする。

【００４９】相違度計算部５５は、フレーム内特徴記憶
部５４内の複数のフレーム内特徴Ｒ 〜Ｒ_n-NF+1を用い、
対象動画内の各フレーム毎に、複数のフレーム間相違度
をそれぞれ求める。第ｎフレームのいずれか１つのフレ
ーム間相違度Ｄ（ｎ，ｎ−Ｌｘ）は、第ｎフレームと、
該第ｎフレームから予め定める第ｘフレーム間距離Ｌｘ
だけそれぞれ離れた他のフレームとの相違性をそれぞれ
数量化したものである。ｘは、１以上の任意の整数であ
る。フレーム間相違度が大きいほど、第ｎフレームと前
記他のフレームとの違いが大きい。フレーム間距離と
は、基準の第ｎフレームと比較対象である前記他のフレ
ームとの表示順番の差である。フレーム間距離は、基本
的には、検出しようとしているトランジション部分内の
全フレーム数以下であればよく、該フレーム数は、基本
的には、単一ショットを構成する全フレーム数未満であ
る。

【００５０】本実施の形態では、第ｎフレームに関し、
該第ｎフレームと、該第ｎフレームよりも第１〜第３フ
レーム間距離Ｌ１〜Ｌ３だけ表示順が早いフレーム、す
なわち第ｎ−Ｌ１，第ｎ−Ｌ２，第ｎ−Ｌ３フレームと
の相違性をそれぞれ数量化した第１〜第３フレーム間相
違度Ｄ（ｎ，ｎ−Ｌ１），Ｄ（ｎ，ｎ−Ｌ２），Ｄ
（ｎ，ｎ−Ｌ３）がそれぞれ求められるとする。この
際、第１フレーム間距離Ｌ１は１であり、第２フレーム
間距離Ｌ２は２以上の整数であり、第３フレーム間相違
度Ｌ３は第２フレーム間距離Ｌ３よりも大きく、かつ前
記トランジション部分の全フレーム数以下であるとす
る。すなわち第１フレーム間相違度Ｄ（ｎ，ｎ−Ｌ１）
は、対象動画内で連続する２つのフレーム間の相違度、
すなわち隣接フレーム間相違度であり、第２および第３
フレーム間相違度Ｄ（ｎ，ｎ−Ｌ２），Ｄ（ｎ，ｎ−Ｌ
３）は、対象動画内で少なくとも１つの他のフレームを
挟んで並ぶ２つのフレーム間の相違度、すなわち離反フ
レーム間相違度である。本実施の形態では、１秒分の動
画が３０フレームから構成され、トランジション効果が
およそ１秒間（３０フレーム）として、第２フレーム間
距離Ｌ２を１０とし、第３フレーム間距離Ｌ３を３０と
する。

【００５１】相違度記憶部５６は、縦列接続された予め
定める数の相違度バッファから構成されるバッファ群
を、１つのフレームに対するフレーム間相違度の数と同
数備える。すなわち本実施の形態では、相違度記憶部５
６は、第１〜第３バッファ群、すなわちそれぞれ縦列接
続された予め定める数ＮＤずつの第１〜第３相違度バッ
ファＢＤＬ１［０］〜ＢＤＬ１［ＮＤ−１］，ＢＤＬ２
［０］〜ＢＤＬ２［ＮＤ−１］，ＢＤＬ３［０］〜ＢＤ
Ｌ３［ＮＤ−１］をそれぞれ備え、各相違度バッファＢ
ＤＬ１［ｄ］，ＢＤＬ２［ｄ］，ＢＤＬ３［ｄ］がそれ
ぞれ１つの第１〜第３フレーム間相違度Ｄ（ｎ，ｎ−Ｌ
１），Ｄ（ｎ，ｎ−Ｌ２），Ｄ（ｎ，ｎ−Ｌ３）をそれ
ぞれ記憶する。ＮＤは１以上Ｎ以下の任意の整数であ
り、ｄは０以上ＮＤ−１以下の任意の整数である。各第
１〜第３相違度バッファＢＤＬ１［ｄ］〜ＢＤＬ３
［ｄ］は、添字ｄが大きいほど、対象動画内の表示順の
早いフレームの第１〜第３フレーム間相違度を記憶する
ものとする。

【００５２】カット検出部５８は、少なくとも相違度記
憶部５６内の複数のフレームの第１フレーム間相違度Ｄ
（ｎ，ｎ−Ｌ１）を用い、対象動画内からカット点を検
出する。特徴形状検出部５７は、少なくとも相違度記憶
部５６内の複数のフレームの第２および第３フレーム間
相違度Ｄ（ｎ，ｎ−Ｌ２），Ｄ（ｎ，ｎ−Ｌ３）を用
い、対象動画内から、トランジション部分を検出する。
検出結果出力部５９は、カットおよび特徴形状検出部５
８，５７の検出結果に基づき、対象動画内にカット点ま
たはトランジション部分のうちの少なくとも一方、すな
わち場面転換部があるか否かを、検出結果として出力す
る。

【００５３】一般的に、任意の２つのフレームが同一シ
ョット内のフレームである場合、該２つのフレーム間の
フレーム間距離が短いほど、該２つのフレーム間の相違
度が小さく、該フレーム間距離が長いほど、該相違度が
大きくなる。これは以下の理由からである。前記場合、
前記フレーム間距離が短いほど、前記２つの各フレーム
の撮影時点間の時間間隔が短くなるので、該２つの撮影
時点間の被写体とカメラとの相対的な位置関係のずれが
小さくなる。この結果２つの各フレームには、前記被写
体がほぼ同一の位置に写っているので、該２つのフレー
ムの相関が高い。これと逆に、前記場合、前記フレーム
間距離が長いほど、前記２つの各フレームの撮影時点間
の時間間隔が長くなるので、該２つの撮影時点間の前記
位置関係のずれが大きくなる。この結果２つのフレーム
の相関が低くなる。２つのフレームの相関が高いほど、
該２つのフレーム間の前記フレーム間相違度は低い。

【００５４】具体的な前記トランジション効果は、たと
えば、ディゾルブ、ワイプ、スライド、プッシュ、スト
レッチ、およびピール等がある。ディゾルブは、先行シ
ョットと後続ショットとの切換えの際に、先行ショット
内から後続ショットを浮き出させる。ワイプは、前記切
換えの際に、先行ショットが後続ショットによって拭い
去らせる。スライドは、前記切換えの際に、先行ショッ
トに後続ショットをスライドして挿入させる。プッシュ
は、前記切換の際に、後続ショットが先行ショットを押
し出すように挿入させる。ストレッチは、前記切換えの
際に、先行ショットと後続ショットとをそれぞれ縮小し
て並べ、かつ該各ショットの面積比率を変更する、ピー
ルは、先行ショットを紙がめくれるように変化させて後
続ショットと切換える。具体的なトランジション効果
は、この他に、たとえば２つのショットのうちの一方を
３次元的に変形かつ移動させるものがある。またたとえ
ばワイプ、スライド、プッシュおよびストレッチは、シ
ョットの変形する方向が、表示装置の画面の上下左右の
うちのどの方向でもよく、またワイプは後続ショットが
画面中央、画面両端、画面の四隅のうちのどこから現れ
ても良い。

【００５５】図２は、対象動画内のトランジション部分
および該部分の前後のショット内のフレームを、表示順
に並べた模式図である。複数の合成フレームから構成さ
れるトランジション部分ＴＲを介して、２つのショット
ＳＡ，ＳＢが連結されている。トランジション部分ＴＲ
内のフレームＣ（１）〜Ｃ（ＮＮ）は、２つのショット
のうちの先行ショットＳＡの末尾よりも表示順が予め定
める数ＮＮだけ早いフレームから末尾のフレームまでの
複数のフレームＡと、２つのショットのうちの後続ショ
ットＳＢの先頭フレームから該先頭フレームよりも表示
順が予め定める数ＮＮだけ遅いフレームまでの複数のフ
レームＢとが、それぞれ式１に基づいて合成されたもの
である。

【００５６】 Ｃ（ｎ）＝ α（ｎ）Ｂ＋（１−α（ｎ））Ａ ｎ ＝ １，２，３，…，ＮＮ …（１） ０ ＜ α（ｎ）＜ １ …（２） α（ｎ）＝ ｎ÷（ＮＮ＋１） …（３） 式１において、「ＮＮ」はトランジション効果を用いた
場面転換部に用いられるフレームの数であり、係数「α
（ｎ）」は式２，３によって定義される。前記フレーム
の数ＮＮに規定はなく、どのような数値でもよい。具体
的には、たとえばトランジション部分がディゾルブ効果
を用いる場合、前述の２つのショットＳＡ，ＳＢのフレ
ームＡ，Ｂの対応画素の色が、式１の関係で混合され
る。対応画素とは、２枚のフレームを座標系を一致させ
て重ね合わせた場合に、相互に重なり合う画素を指す。
またたとえばトランジション部分Ｔがワイプ効果を用い
る場合、表示装置の画面上に占める前述の２つのショッ
トＳＡ，ＳＢのフレームＡ，Ｂの面積比率が、式１の関
係で変化する。

【００５７】対象動画内のフレームの離反フレーム間相
違度、すなわち本実施の形態の第２および第３フレーム
間相違度の表示順に従う変化と、トランジション効果と
の関係を、以下に説明する。

【００５８】図３は、対象動画内のトランジション部分
内およびその近傍のフレームの第２および第３フレーム
間相違度Ｄ（ｎ，ｎ−Ｌ２），Ｄ（ｎ，ｎ−Ｌ３）を、
該フレームの表示順に従ってプロットしたグラフであ
る。グラフＧＤ１，ＧＤ２は、第２および第３フレーム
間相違度Ｄ（ｎ，ｎ−Ｌ２），Ｄ（ｎ，ｎ−Ｌ３）の表
示順に従う変化を、それぞれ示す。なお図３において、
先行ショット内の複数のフレームおよび後続ショット内
の複数のフレームは、それぞれほとんど相違がないと仮
定する。またフレーム間相違度の演算において、演算対
象となる第ｎフレームを着目フレーム、該第ｎフレーム
よりも前記フレーム間距離だけ表示順が早いフレーム
を、比較用フレームと称する。

【００５９】グラフＧＤ１，ＧＤ２のうちの区間ＷＡ
１，ＷＡ２内の離反フレーム間相違度の算出時、着目お
よび比較用フレームの両方が先行ショット内のフレーム
である。この場合前記離反フレーム間相違度は比較的低
い値を保ち、かつ離反フレーム該相違度の表示順に伴う
変化は小さい。グラフＧＤ１，ＧＤ２のうちの区間ＷＢ
１，ＷＢ２内の離反フレーム間相違度の算出時、着目フ
レームだけがトランジション部分内のフレームであり、
比較用フレームは先行ショット内のフレームである。こ
の場合、着目フレームの表示順が増加するほど該着目フ
レームは先行ショットから離れるので、着目フレームの
表示順が大きいほど、前記離反フレーム間相違度は大き
い。

【００６０】グラフＧＤ１，ＧＤ２のうちの区間ＷＣ
１，ＷＣ２内の離反フレーム間相違度の算出時、着目お
よび比較用フレームの両方がトランジション部分内のフ
レームであるか、または、両フレームがトランジション
部分を挟む２つのショットそれぞれのフレームである。
すなわち後者の場合、着目フレームだけが先行ショット
内のフレームであり、比較用フレームだけが後続ショッ
ト内のフレームである。これらの場合前記離反フレーム
間相違度は比較的高い値を保ち、かつ該相違度の表示順
に伴う変化は小さい。

【００６１】グラフＧＤ１，ＧＤ２のうちの区間ＷＤ
１，ＷＤ２内の離反フレーム間相違度の算出時、着目フ
レームだけが後続ショット内のフレームであり、比較用
フレームはトランジション部分内のフレームである。こ
の場合、着目フレームの表示順が大きくなるほど該着目
フレームは後続ショットに近付くので、着目フレームの
表示順が大きいほど、前記離反フレーム間相違度は小さ
い。グラフＧＤ１，ＧＤ２のうちの区間ＷＥ１，ＷＥ２
内の離反フレーム間相違度の算出時、着目および比較用
フレームの両方が後続ショット内のフレームである。こ
の場合前記離反フレーム間相違度は比較的低い値を保
ち、かつ離反フレーム該相違度の表示順に伴う変化は小
さい。

【００６２】またグラフＧＤ１，ＧＤ２に基づき、区間
ＷＢ１，ＷＢ２の開始時点、すなわち第２および第３フ
レーム間相違度が増加し始める時点ＴＢは相互にほぼ等
しく、かつ、区間ＷＣ１，ＷＤ１，ＷＥ１の開始時点、
すなわち増加開始後の第２フレーム間相違度のグラフＧ
Ｄ１の変化点よりも、区間ＷＣ２，ＷＤ２，ＷＥ２の開
始時点、すなわち増加開始後の第３フレーム間相違度の
グラフの変化点のほうが、それぞれ遅いことがわかる。
またグラフＧＤ１，ＧＤ２に基づき、区間ＷＣ１内の第
２フレーム間相違度Ｄ（ｎ，ｎ−Ｌ２）よりも、区間Ｗ
Ｃ２内の第３フレーム間相違度Ｄ（ｎ，ｎ−Ｌ３）のほ
うが大きく、かつ、区間ＷＣ１よりも区間ＷＣ２のほう
が短いことが分かる。

【００６３】すなわち対象動画内のトランジション部分
およびその近傍のフレームの第２および第３フレーム間
相違度の表示順に従う変化パターンをそれぞれ示すグラ
フＧＤ１，ＧＤ２は、凸状部分ＧＰ１，ＧＰ２をそれぞ
れ含み、かつ、両グラフＧＤ１，ＧＤ２の凸状部分ＧＰ
１，ＧＰ２の起点が相互にほぼ等しく、かつ前者のグラ
フＧＤ１の凸状部分ＧＰ１は後者のグラフＧＰ２の凸状
部分ＧＰ２よりも幅および高さがそれぞれ小さい。

【００６４】各離反フレーム相違度の変化パターン内の
凸状部分は、フレーム撮影時のカメラおよび被写体間の
相対的な動きによってそれぞれ生じることがある。前記
各離反フレーム間相違度の変化パターン内の凸状部分
が、前記着目フレームが対象動画内の前記トランジショ
ン部分およびその近傍のフレームであることに起因して
生じている場合、これらの凸状部分は、前述の関係を満
たす。このような複数の離反フレーム間相違度の変化パ
ターンの関係は、トランジション部分に用いられるトラ
ンジション効果が具体的にどのような効果であっても、
当てはまる。

【００６５】図４は、トランジション効果としてディゾ
ルブ効果が用いられた場合の対象動画内のトランジショ
ン部分ＴＲ内およびその近傍のフレームの実際の第１〜
第３フレーム間相違度Ｄ（ｎ，ｎ−Ｌ１），Ｄ（ｎ，ｎ
−Ｌ２），Ｄ（ｎ，ｎ−Ｌ３）を、該フレームの表示順
に従ってプロットしたグラフである。図５（Ａ）〜
（Ｃ）は、図４のグラフにおいて、着目フレームが、ト
ランジション部分ＴＲの先頭フレームＫ０、トランジシ
ョン部分ＴＲ内のフレーム、および後続ショット内のフ
レームである場合の第１〜第３フレーム間相違度演算用
の比較用フレームを示すための模式図である。図５
（Ａ）〜（Ｃ）の数直線は、それぞれトランジション部
分ＴＲ内およびその近傍のフレームを表示順に並べたも
のに相当し、該数直線の各目盛りが各フレームに相当す
るとする。

【００６６】グラフＧＬ１に示すように、着目フレーム
がトランジション部分ＴＲ内にある場合の第１フレーム
間相違度、すなわち隣接フレーム間相違度の変化パター
ンは、着目フレームが先行および後続ショットＳＡ，Ｓ
Ｂ内にある場合の第１フレーム間相違度の変化パターン
とほぼ等しい。後者の場合の第１フレーム間相違度の微
小な変化は、各フレーム撮影時の被写体およびカメラ間
の相対的な位置関係の変化に起因して、生じている。す
なわち第１フレーム間相違度は、着目フレームが先行お
よび後続ショット内ならびにトランジション部分内のど
こにある場合も、ほぼ同じ値を保つ。これは、トランジ
ション効果を用いた場面転換部、すなわちトランジショ
ン部分は、複数フレームにわたってショットを徐々に転
換させているので、連続する２つのフレーム間の差が小
さいためである。

【００６７】グラフＧＬ２に示すように、第２フレーム
間相違度は、着目フレームがトランジション部分ＴＲの
先頭フレームＫ０になった後、徐々に大きくなり、着目
フレームがトランジション部分ＴＲのほぼ中央のフレー
ムＫ１になった場合にほぼ最大になり、さらに前記場合
から着目フレームがトランジション部分ＴＲの末尾のフ
レームＫＴを越えて後続ショット内のフレームＫ２にな
るまでの間、減少する。このように第２フレーム相違度
の変化パターンには、着目フレームおよび比較用フレー
ムのうちの少なくとも一方がトランジション部分ＴＲ内
にあることに起因する凸状部分が含まれる。これは以下
の理由からである。

【００６８】図５（Ａ）〜（Ｃ）に示すように、着目フ
レームがトランジション部分ＴＲ内の先頭〜中央部のフ
レームＫ０〜Ｋ１に変化する間、着目および比較用フレ
ーム間にトランジション部分ＴＲ内のフレームが徐々に
多く含まれるようになる。このため第２フレーム間相違
度に対するトランジション効果を用いた場面転換の影響
が徐々に大きくなるので、第２フレーム間相違度は徐々
に大きくなる。また着目フレームが前記中央部のフレー
ムＫ１近傍である場合、着目および比較用フレーム間内
のフレームが全てトランジション部分ＴＲ内のフレーム
なので、第２フレーム間相違度は最大になる。さらにま
た着目フレームがトランジション部分ＴＲ内の中央部〜
後続ショット内のフレームＫ１〜Ｋ２に変化する間、着
目および比較用フレーム間にトランジション部分ＴＲ内
のフレームが徐々に含まれなくなる。このため第２フレ
ーム間相違度に対するトランジション効果を用いた場面
転換の影響が徐々に小さくなるので、第２フレーム間相
違度は徐々に小さくなる。

【００６９】グラフＧＬ３に示すように、第３フレーム
間相違度は、着目フレームがトランジション部分ＴＲの
先頭フレームＫ０になる時点以後、徐々に大きくなり、
着目フレームが後続ショット内のフレームＫ２になる時
点でほぼ最大になり、以後徐々に小さくなる。このよう
に第３フレーム間相違度の変化パターンには、凸状部分
が含まれる。第３フレーム間相違度の変化パターンの凸
状部分は、第２フレーム間相違度の変化パターンの凸状
部分と相似し、かつ前者の凸状部分は後者の凸状部分よ
りも大きい。これは以下の理由からである。

【００７０】図５（Ａ）〜（Ｃ）に示すように、フレー
ム間距離が長くなるほど、着目および比較用フレームが
トランジション部分ＴＲを挟む２つのショットＳＡ，Ｓ
Ｂ内のフレームになり易いので、これらショットＳＡ，
ＳＢの転換の影響が前記着目及び比較用フレーム間の相
違度に大きく影響する。この結果前記凸状部分のフレー
ム間相違度の最大値は、フレーム間距離が長いほど大き
くなる。また図５（Ａ）〜（Ｃ）に示すように、フレー
ム間距離が長くなるほど、着目および比較用フレーム間
にトランジション部分ＴＲの少なくとも一部分を含み得
る着目フレームの表示順が遅くなる。この結果前記凸状
部分の幅は、フレーム間距離が長いほど広がるのであ
る。

【００７１】以上のことに基づき、転換部検出装置３１
は、複数の離反フレーム間相違度の表示順に従う変化パ
ターンの形状的特徴に基づいて、対象動画内にトランジ
ション効果を用いた場面転換部があるか否かを、容易に
判断することができる。また前記凸状部分の第２および
第３フレーム間相違度の変化率は、前記フレーム撮影時
の相対的な位置関係の変化に起因する第２および第３フ
レーム間相違度の変化分以上である。ゆえに前記形状的
特徴に基づく判断時には、実際には、前記離反フレーム
間相違度のグラフＧＬ２，ＧＬ３の凸状部分ＧＰ２，Ｇ
Ｐ３をたとえば平滑化して得られる曲線ＣＬ２，ＣＬ３
に基づいて、トランジション効果を用いた場面転換部の
有無を判断するとよい。

【００７２】図６は、対象動画内のカット点およびその
近傍のフレームの実際の第１〜第３フレーム間相違度Ｄ
（ｎ，ｎ−Ｌ１），Ｄ（ｎ，ｎ−Ｌ２），Ｄ（ｎ，ｎ−
Ｌ３）を、該フレームの表示順に従ってプロットしたグ
ラフＧＬ１〜ＧＬ３である。グラフＧＬ１に示すよう
に、第１フレーム間相違度は、着目フレームがカット点
のフレームＮＣである場合だけ、予め定める閾値ＴＣ以
上に大きくなる。閾値ＴＣは、着目フレームが先行およ
び後続ショット内のフレームである場合の第１フレーム
間相違度よりも充分に大きい。すなわち転換部検出装置
３１は、少なくとも隣接フレーム間相違度と予め定める
閾値ＴＣとの大小関係に基づいて、対象動画内のカット
点を検出することができる。

【００７３】またグラフＧＬ２に示すように、第２フレ
ーム間相違度は、着目フレームがカット点のフレームで
ある場合に前記閾値ＴＣ以上の最大値になり、かつ該着
目フレームが後続ショット内のフレームである場合、該
フレームの表示順が遅くなるのにつれて、徐々に小さく
なる。グラフＧＬ３に示すように、第３フレーム間相違
度は、着目フレームがカット点のフレームである場合に
前記閾値ＴＣ以上の最大値になり、かつ該着目フレーム
が後続ショット内のフレームである場合、前記第３フレ
ーム間距離に応じた範囲内で、前記閾値ＴＣ以上の値を
保つ。なおたとえばフレーム間距離が大きいほど、単一
ショット内の２つのフレーム間の相違度の被写体および
カメラの相対的な位置関係の変化に起因する変化分が大
きくなるので、上記第１〜第３フレーム間相違度がカッ
ト点ＮＣで同時に急激に大きくならないこともある。

【００７４】図７は、第１転換部検出装置５０における
場面転換部検出処理の主動作を説明するためのフローチ
ャートである。たとえばフレーム記憶部５２に形態変換
後の対象動画のフレームが少なくとも１つ記憶された時
点で、ステップＡ１からステップＡ２に進む。またフレ
ーム展開部５１は、ステップＡ１〜Ａ１３の処理と並行
して、対象動画のフレームの形態変換を順次行っている
とする。

【００７５】制御回路６０は、ステップＡ２で、入力さ
れるフレームの表示順の規定の基準となるカウンタ、す
なわち対象動画内の全てのフレームのうちの当座の処理
対象とする着目フレームを規定するためのカウンタｎ
を、０に初期化する、制御回路６０は、ステップＡ３
で、場面転換部の有無を示す場面転換フラグＦＣを「Ｆ
ＡＬＳＥ」にセットする。ＦＡＬＳＥにセットされた場
面転換フラグＦＣは、着目フレームに基づき場面転換部
が検出されていないことを示す。

【００７６】制御回路６０は、ステップＡ４で、フレー
ム記憶部５２内のフレームのうち、カウンタｎで規定さ
れる着目フレーム、すなわち第ｎフレームを、フレーム
内特徴抽出部５３に与える。フレーム内特徴抽出部５３
は、ステップＡ４で、着目フレームに基づき、着目フレ
ームのフレーム内特徴Ｒｎを抽出する。着目フレームの
フレーム内特徴Ｒｎは、たとえば、着目フレームの輝度
または色に関する画素の出現頻度を示すヒストグラムで
もよく、着目フレームを縮小した縮小フレームを構成す
る複数の画素の色または輝度の相互の差の総和であって
もよい。

【００７７】抽出後、制御回路６０は、ステップＡ５
で、抽出された着目フレームのフレーム内特徴Ｒｎを、
フレーム内特徴記憶部５４に記憶させる。具体的には、
フレーム内特徴抽出部５３が最新のフレーム内特徴Ｒ_n
を求めたならば、フレーム内特徴記憶部５４は、末尾の
特徴バッファＢＦ［ＮＦ−１］内のフレーム内特徴Ｒ
_n-1-(NF-1)を廃棄し、先頭〜末尾よりも１つ前の各特徴
バッファＢＦ［０］〜ＢＦ［ＮＦ−２］内のフレーム内
特徴Ｒ_n-1 〜Ｒ_n-1-(NF-2)を該各特徴バッファの前段の
特徴バッファＢＦ［１］〜ＢＦ［ＮＦ−１］にそれぞれ
転送し、先頭の特徴バッファＢＦ［０］に前記最新のフ
レーム内特徴Ｒ_n を記憶させる。この結果表１に示すよ
うに、フレーム内特徴記憶部５４は、第ｎ−ＮＦ＋１〜
第ｎフレームのフレーム内特徴Ｒ_n-(NF-1)〜Ｒ_n を記憶
する。

【００７８】

【表１】

【００７９】フレーム内特徴記憶部５４は、少なくとも
着目フレームから第３フレーム間距離Ｌ３だけ表示順が
古いフレームまでの複数のフレームのフレーム内特徴Ｒ
_n-L3を記憶する。これは、相違度計算部５５におけるフ
レーム間相違度の演算時に、着目フレームよりも表示順
がフレーム間距離Ｌ１〜Ｌ３だけ古いフレームのフレー
ム内特徴Ｒ_n-L1、Ｒ_n-L2，Ｒ_n-L3が必要になるからであ
る。

【００８０】記憶後、制御回路６０は、相違度計算部５
５に、フレーム内特徴記憶部５４の記憶内容に基づき、
着目フレームの第１〜第３フレーム間相違度Ｄ（ｎ，ｎ
−Ｌ１），Ｄ（ｎ，ｎ−Ｌ２），Ｄ（ｎ，ｎ−Ｌ３）を
それぞれ求めさせる。すなわち、相違度計算部５５は、
先頭の特徴バッファＢＦ［０］内のフレーム内特徴Ｒｎ
と、先頭のバッファから第１〜第３フレーム間距離Ｌ１
〜Ｌ３と同数だけ添字が進んだ特徴バッファＢＦ［Ｌ
１］，ＢＦ［Ｌ２］，ＢＦ［Ｌ３］内のフレーム内特徴
Ｒ_n-L1、Ｒ_n-L2，Ｒ_n-L3との相違度Ｄ（ＢＦ［０］，Ｂ
Ｆ［Ｌ１］），Ｄ（ＢＦ［０］，ＢＦ［Ｌ２］），Ｄ
（ＢＦ［０］，ＢＦ［Ｌ３］）を求める。

【００８１】たとえば各フレームのフレーム内特徴がフ
レームの輝度または色のヒストグラムであるなら、フレ
ーム間相違度として、式４に示すヒストグラムの差の絶
対値の総和、または式５に示す該ヒストグラムのχ二乗
検定が求められる。また各フレームのフレーム内特徴が
前述の縮小フレームに基づいて求められている場合、フ
レーム間相違度として、２枚のフレームの対応画素毎の
色または輝度の差の絶対値の総和が求められる。以下の
式において、「Ｈ（ｎ，ｉ）」，「Ｈ（ｘ，ｉ）」は、
第ｎおよび第ｘフレームにおけるｉ番目の色または輝度
の画素の出現頻度を示す。ｘは、０以上Ｎ以下でかつｎ
以外の整数である。ｉ番目の色または輝度とは、前記ヒ
ストグラムにおける横軸の目盛りに相当する。

【００８２】 Ｄ（ｎ，ｘ）＝Σ_i｜Ｈ（ｎ，ｉ）−Ｈ（ｘ，ｉ）｜ …（４） Ｄ（ｎ，ｘ）＝Σ_i｜Ｈ（ｎ，ｉ）−Ｈ（ｘ，ｉ）｜÷Ｈ（ｘ，ｉ） …（５） 計算後、制御回路６０は、ステップＡ７で、求められた
着目フレームの第１〜第３フレーム間相違度Ｄ（ｎ，ｎ
−Ｌ１），Ｄ（ｎ，ｎ−Ｌ２），Ｄ（ｎ，ｎ−Ｌ３）
を、相違度記憶部５６内の第１〜第３バッファ群にそれ
ぞれ記憶させる。具体的には、相違度計算部５５が着目
フレームの第１フレーム間相違度Ｄ（ｎ，ｎ−Ｌ１）を
求めたならば、相違度記憶部５６は、第１バッファ群の
末尾の相違度バッファＢＤＬ１［ＮＤ−１］内の第１フ
レーム間相違度Ｄ（ｎ−１−（ＮＤ−１），ｎ−１−
（ＮＤ−１）−Ｌ１）を廃棄し、先頭〜末尾よりも１つ
前の各相違度バッファＢＤＬ１［０］〜ＢＤＬ１［ＮＤ
−２］内の第１フレーム間相違度Ｄ（ｎ−１，ｎ−１−
Ｌ１）〜Ｄ（ｎ−１−（ＮＤ−２），ｎ−１−（ＮＤ−
２）−Ｌ１）を該各相違度バッファの前段の相違度バッ
ファＢＤＬ１［１］〜ＢＤＬ１［ＮＤ−１］にそれぞれ
転送し、先頭の相違度バッファＢＤＬ１［０］に前記着
目フレームの第１フレーム間相違度Ｄ（ｎ，ｎ−Ｌ１）
を記憶させる。第２および第３バッファ群内の各相違度
バッファＢＤＬ２［ｄ］，ＢＤＬ３［ｄ］の具体的な挙
動は、第１バッファ群内の各相違度バッファＢＤＬ１
［ｄ］と等しい。この結果表２〜表４にそれぞれ示すよ
うに、第１〜第３バッファ群内に、常に第ｎ−（ＮＤ−
１）〜第ｎフレームの第１〜第３フレーム間相違度が記
憶される。

【００８３】

【表２】

【００８４】

【表３】

【００８５】

【表４】

【００８６】記憶後、制御回路６０は、ステップＡ９
で、カット検出部５８に、相違度記憶部５６に記憶内容
に基づき、着目フレームよりも表示順が予め定める数Ｂ
Ｃだけ早い第ｎ−ＢＣフレームと、該フレームの隣のフ
レームとの間にカット点があるか否かを判断させる。具
体的には、カット検出部５８は、式６に示すように、第
１バッファ群内のＢＣ番目の相違度バッファＢＤＬ１
［ＢＣ］内の第１フレーム間相違度Ｄ（ｎ−ＢＣ，ｎ−
ＢＣ−Ｌ１）が予め定めるカット検出用閾値ＴＣを越え
ており、かつ、式７に示すように、第２バッファ群内の
先頭からＢＣ番目までの複数の相違度バッファＢＤＬ２
［０］〜ＢＤＬ２［ＢＣ］内の第２フレーム間相違度Ｄ
（ｎ，ｎ−Ｌ２）〜Ｄ（ｎ−ＢＣ，ｎ−ＢＣ−Ｌ１）
が、それぞれ前記カット検出用閾値ＴＣを越えているか
否かを判断する。前記予め定める値ＢＣは、たとえば第
２フレーム間距離Ｌ２の半分（Ｌ２／２）とする。

【００８７】 ＢＤＬ１［ＢＣ］＞ ＴＣ ａｎｄ …（６） ＢＤＬ２［ｉ］＞ ＴＣ （ｉ＝０，１，２，…，ＢＣ） …（７） 上記条件を全て満たす場合だけ、前記第ｎ−ＢＣフレー
ムとその隣のフレームとの間にカット点があると判断さ
れる。この場合制御装置６０は、場面転換フラグＦＣに
ＴＲＵＥをセットする。ＴＲＵＥがセットされた場面転
換フラグＦＣは、対象動画内に場面転換部があることを
示す。式６，７のうちの少なくとも一方が満たされない
場合、前記第ｎ−ＢＣフレームとその隣のフレームとの
間のカット点がないと判断される。この場合場面転換フ
ラグＦＣはＦＡＬＳＥのまま保たれる。

【００８８】カット点検出後、制御回路６０は、ステッ
プＡ１０で、場面転換フラグＦＣがＴＲＵＥであるか否
かを判断する。そうである場合、ステップＡ１０からス
テップ１２へ進み、そうではない場合、ステップＡ１０
からステップＡ１１に進む。

【００８９】制御装置６０は、ステップＡ１１で、特徴
形状検出部５７に、トランジション部分の検出を行わせ
る。概略的には、特徴形状検出部５７は、相違度記憶部
５６内に記憶された複数の第２および第３フレーム相違
度の変化パターン内に、前述したトランジション部分に
関連する特徴的形状、すなわち凸状部分があるかどうか
を調べる。

【００９０】図８は、第２および第３バッファ群の先頭
の相違度バッファＢＤＬ２［０］，ＢＤＬ３［０］にト
ランジション部分の末尾のフレームの第２および第３フ
レーム間相違度が記憶された状態において、第２および
第３バッファ群内の第２および第３フレーム間相違度
を、該相違度が記憶される相違度バッファＢＤＬ２
［ｊ］，ＢＤＬ３［ｊ］のバッファ番号ｊに従ってプロ
ットしたグラフである。図８のグラフは、前述の図４の
グラフのフレームＫ０〜Ｋ２の部分と、縦軸に並行な仮
想軸線を中心に線対称になっている。特徴形状検出部５
７は、最新の着目フレームを末尾とするトランジション
部分が対象動画内にあるかどうかを調べるために、第２
および第３バッファ群の記憶内容が図８に示す状態にな
っているかどうかを検出する。

【００９１】具体的には、特徴形状検出部５７は、第２
および第３バッファ群の予め定める区間ｊ、すなわち第
２および第３バッファ群内の連続する複数の相違度バッ
ファＢＤＬ２［０］〜ＢＤＬ２［Ｉ］，ＢＤＬ３［０］
〜ＢＤＬ３［Ｉ］内の第２および第３フレーム間相違度
が、以下の８つの条件を全て満たすか否かを判断する。
なお以下の表内の式において、相違度バッファの参照符
は該バッファ内のフレーム間相違度を示す。また「ＴＬ
２」，「ＴＬ３」は予め定める閾値であり、「ε」は予
め定める許容誤差であり、「Ｉ／２」は前記区間ｊの最
後尾のバッファの番号Ｉの半分の値である。さらにま
た、区間ｊ、「ＨＬ１」，「ＨＬ２」は以下の式８〜１
０で定義され、許容誤差εはたとえば式１１で設定され
る。また式１２で示すように、区間ｊ内の第３フレーム
間相違度の変化パターンの高さに相当する値ＨＬ３と比
較される閾値ＴＬ３は、区間ｊ内の第２フレーム間相違
度の変化パターンの高さに相当する値ＨＬ２と比較され
る閾値ＴＬ２以上の値である。

【００９２】

【表５】

【００９３】 ｊ＝０，１，２，…，Ｉ …（８） ＨＬ２＝ＢＤＬ２［Ｉ／２］−ｍａｘ（ＢＤＬ２［０］，ＢＤＬ２［Ｉ］） …（９） ＨＬ３＝ＢＤＬ３［０］−ＢＤＬ３［Ｉ］） …（10） ε＝ＨＬ２÷４ …（11） ＴＬ２≦ＴＬ３ …（12） 条件１，２，および５において、前記区間内の複数の相
違度バッファ内のフレーム間相違度が減少または増加傾
向であるかは、実際には、以下のように判断するとよ
い。たとえば前記区間内のフレーム間相違度の図８の実
線で示すように滑らかに変動しているならば、前記区間
内のうちの任意の１つの相違度バッファ内のフレーム間
相違度から該相違度バッファの隣の相違度バッファ内の
フレーム相違度を減算した差を、該任意の相違度バッフ
ァを前記区間内で変更しつつそれぞれ求め、得られた複
数の差それぞれの符号が正であるか負であるかに応じ
て、相違度の傾向を判断する。また図８の破線で示すよ
うに、前記相違度が滑らかに変化していない場合、傾向
の判断に先立ち、前記区間内の複数の相違度バッファ内
のフレーム内相違度の平滑化を行う。平滑化の結果、前
記フレーム間相違度は、図９に示すように滑らかに変化
するので、平滑化後のフレーム間相違度を用いて、上述
の手順で傾向を判断すればよい。以上が、フレーム間相
違度の変化傾向の判断手順である。

【００９４】再び図７を参照する。上記の８つの条件を
全て満たす場合だけ、最新の着目フレームを末尾とする
トランジション部分が対象動画内にあると判断される。
この場合制御装置６０は、場面転換フラグＦＣにＴＲＵ
Ｅをセットする。８つの条件のうちの少なくとも一１つ
が満たされない場合、前記トランジション部分がないと
判断される。この場合場面転換フラグＦＣはＦＡＬＳＥ
のまま保たれる。

【００９５】制御回路６０は、ステップＡ１２で、対象
動画内に、カット点またはトランジション部である場面
転換があるか否かを判断する。具体的には、制御回路６
０は、場面転換フラグが「ＴＲＵＥ」であるか「ＦＡＬ
ＳＥ」であるかを判断する。前者である場合、制御回路
６０は、検出結果として、場面転換部があることを示す
データを出力する。後者である場合、制御回路６０は、
検出結果として、場面転換部がないことを示すデータを
出力する。データ出力後、制御回路６０は、前記カウン
タｎに１を加算して更新し、更新後、ステップＡ３に戻
る。

【００９６】以上の処理によって、第１転換部検出装置
５０は、トランジション効果の具体的な手法に拘わら
ず、対象動画内にトランジション部分があるか否かを、
容易に判断することができる。また第１転換部検出装置
５０は、場面転換部の有無だけを示すデータを出力して
いるが、出力されるデータは、これに限らず、場面転換
部に関する他の事項であってもよい。たとえば前記場面
転換部に相当するフレームが対象動画内のどこにあるか
を示すものを、前記データとしてもよい。

【００９７】ステップＡ９の式６，７の判断は、以下の
理由に基づく。前述の図６のグラフに基づき、着目およ
び比較用フレームが単一ショット内の２つのフレームで
ある場合、フレーム間相違度は前記カット点検出用閾値
ＴＣよりも充分小さく、着目および比較用フレームがカ
ット点の前後の２つの各ショット内のフレームである場
合、フレーム間相違度は前記カット点検出用閾値ＴＣよ
りも充分大きいことが分かる。これは後者の場合、対象
動画内のこれらフレームの位置で、ショットが転換され
ているためである。ゆえに基本的には、前記閾値ＴＣ以
上の隣接フレーム間相違度を有するフレームと該フレー
ムの隣のフレームとの間に、カット点があると判断する
ことができる。

【００９８】単一ショットの撮影中にたとえばフラッシ
ュが用いられているならば、フラッシュの影響を受けた
フレームと受けていないフレームとが連続している場
合、これら２つのフレーム間の隣接フレーム相違度が、
前記閾値ＴＣ以上になることがある。この場合、前記２
つのフレームを挟んでならぶ２つのフレームは、単一シ
ョット内のフレームなので、該２つのフレームの離反フ
レーム間相違度は前記閾値ＴＣ未満になると予想され
る。すなわち式６の条件が前述のフラッシュの影響を受
けたフレームの隣接フレーム間相違度によって成立した
場合、式７の条件は全ての変数ｉにおいて成立しないと
予想される。この結果式６の条件に加えて式７の条件を
用いるならば、単一ショット内の連続する２つのフレー
ムの相違度が大きい場合に、該２つのフレーム間にカッ
ト点があると誤認することを、防止することができる。

【００９９】また式７の条件判定に用いる離反フレーム
間相違度は、演算時のフレーム間距離ができるだけ小さ
いもの、たとえば該フレーム間距離が２以上９以下程度
であることが好ましい。これは、単一ショット内の２つ
のフレームのフレーム間距離が大きいほど、該２つのフ
レームの相関が低くなる、すなわち該２つのフレームの
離反フレーム間相違度が大きくなるので、前記誤認の防
止が困難になるからである。以上が式６，７の説明であ
る。

【０１００】前記対象動画は、たとえば、ビデオカメラ
によって被写体を撮影して得られる動画、映画、あるい
はアナログまたはデジタルテレビジョン放送によって放
映される動画で実現される。前記対象動画内の各場面転
換部は、前述の図２３で説明したものと同様に、それぞ
れ、いわゆるカット点、またはトランジション効果を用
いた場面転換のための合成フレームの集合であるトラン
ジション部分であるとする。前記対象動画の各フレーム
は、テレビジョン放送におけるいわゆるフレームに限ら
ず、動画を構成するための静止画であるならばどんなも
のでもよい。また前記対象動画のデータ形式は、第１転
換部検出装置５０に入力される時点では、デジタルデー
タでもよく、アナログデータでもよい。また前記対象動
画を示すデータは、圧縮されていてもよい。

【０１０１】単一のショットは、たとえば動画を撮影可
能な撮影装置を用いた１回の一連の撮影操作において、
撮影開始から撮影終了までの間に撮影された全てのフレ
ームのうちの少なくとも一部のフレームによって、構成
される。前記撮影装置は、たとえばビデオカメラであ
る。すなわち単一のショットは、前記全てのフレームか
ら構成されてもよく、撮影後の編集処理によって前記全
てのフレームのうちから一部のフレームを除いた残余の
フレームから構成されてもよい。一般的に、単一のショ
ット内の複数のフレームのうちの任意の２枚のフレーム
は、該２枚のフレーム間のフレーム間距離が小さくなる
ほど相関が高く、該フレーム間距離が大きくなるほど無
相関になる。

【０１０２】また第１転換部検出装置５０は、電気的に
は、フレーム展開部５１と、中央演算処理回路と、前述
の各記憶部５２，５４，５６とを含む。前述のフレーム
内特徴抽出部５３、相違度計算部５５、特徴形状検出部
５７、カット検出部５８、検出結果出力部５９、および
制御回路６０は、中央演算処理回路の演算処理によって
それぞれ実現される仮想的な部品である。またこの場
合、各記憶部５２，５４，５６は、個別の記憶装置によ
って実現されてもよく、１つの記憶装置内に設定される
記憶領域として実現されてもよい。またこの場合、フレ
ーム展開部５１も、中央演算処理回路の演算処理によっ
て実現されてもよい。さらにまた第１転換部検出装置５
０は、前述の各部５３，５５，５７〜６０のうちの少な
くとも１つを、中央演算処理回路とは別個の実在の回路
によって実現してもよい。

【０１０３】また前記対象動画の代わりに、該対象動画
内から等間隔に抽出した複数のフレームを時間経過に伴
って順次表示することによって得られる動画を、用いて
も良い。この場合、対象動画が第１転換部検出装置５０
で処理される前の時点では、該対象動画内のどこにカッ
ト点がありどこにトランジション部分があるかが分かっ
ていないので、前記複数のフレームは対象動画内から等
間隔に抜出されるのが好ましい。この際、単一ショット
内の複数のフレームであってもフレーム間距離が大きく
なるほどフレーム間の相関が小さくなるので、本実施の
形態の場面転換部の検出手法を用いるためには、１秒分
のフレーム、すなわち３０枚のフレームあたり１０枚以
上１５枚以下程度のフレームを抽出することが好まし
い。すなわち対象動画内から、２〜３フレーム毎に１枚
のフレームを抽出することが好ましい。

【０１０４】本実施の形態では、第２フレーム間距離が
１０であり、第３フレーム間距離が３０であるとしてい
る。これは一般的な動画で用いられるトランジション部
分の長さが約１秒であるため、１秒以上のショットから
構成される動画内から１秒程度のトランジション部分を
検出することを目的としているからである。すなわち第
１転換部検出装置は、基本的には、動画内から、第３フ
レーム間距離以上の長さのトランジション部分を検出可
能である。

【０１０５】また本実施の形態では、２つのフレーム間
距離を用い、１フレームに対し２つの離反フレーム間相
違度を求めている。１フレームについて求められる離反
フレーム間相違度の数は、２つに限らず、３つ以上でも
よい。たとえば第３フレーム間距離よりも長い第４フレ
ーム間距離をさらに用いる場合、第２および第３フレー
ム間相違度の変化パターンの特徴に基づくトランジショ
ン部分の検出とほぼ同様の手順で、第３および第４フレ
ーム間相違度の変化パターンの特徴に基づいて、前者の
トランジション部分よりも使用フレーム数が多いトラン
ジション部分を、検出することができる。またたとえ
ば、第２および第３フレーム間相違度とは異なる第４フ
レーム間距離を用いる場合、第２〜第４フレーム間相違
度の変化パターンが前記トランジション部分においてど
のような関係になるかを予め調べておき、これら３つの
フレーム間相違度の変化パターンが前記関係になる場合
に、対象動画内のトランジション部分があると判断して
もよい。この場合、トランジション部分の検出精度が向
上する。

【０１０６】本発明の第２の実施の形態である動画場面
転換部検出装置について、以下に説明する。第２の実施
の形態の動画場面転換部検出装置（以後「第２転換部検
出装置」と略称する）は、第１転換部検出装置５０と比
較して、フレーム内特徴抽出部および相違度計算部にお
けるフレーム内特徴およびフレーム間相違度の具体的な
計算手法が異なり、他は等しい。ゆえに第２転換部検出
装置の構造および動作のうち、第１転換部検出装置５０
と同じ構造および動作の説明は省略する。また第２転換
部検出装置内の部品のうち、第１転換部検出装置５０と
同じ部品には同じ参照符を付す。

【０１０７】図１０は、第２転換部検出装置におけるフ
レーム内特徴Ｒｎおよびフレーム間相違度の概略的な検
出手法を説明するための模式図である。

【０１０８】第２転換部検出装置のフレーム内特徴抽出
部は、任意の１つのフレームＦＡのフレーム内特徴を求
めるために、まず該フレームＦＡを予め定める数ＭＭＡ
Ｘの領域に分割し、次いで該各領域内から、該領域を代
表する少なくとも１つの色と、該領域内の該色の画素の
出現頻度とを、それぞれ求める。この結果前記フレーム
ＦＡのフレーム内特徴Ｒ_FAは、該フレームＦＡ内の全て
の各領域の代表色および該色の出現頻度を含む。これら
代表色の色番号および出現頻度をそれぞれ記憶するため
に、フレーム内特徴記憶部５４の各特徴バッファは、Ｍ
ＭＡＸ×ＰＭＡＸ個の代表色領域Ｒｎ［０］［ｐ］．Ｃ
ＯＬ〜Ｒ_FA［ＭＭＡＸ−１］［ｐ］．ＣＯＬ（ｐ＝１，
２，…，ＭＰ−１）と、同数の出現頻度領域Ｒ_FA［０］
［ｐ］．ＦＲＱ〜Ｒ_FA［ＭＭＡＸ−１］［ｐ］．ＦＲＱ
とを備える。フレームの分割数ＭＭＡＸは、たとえば１
２であり、単一のフレームは３行４列の行列状の領域に
分割される。また単一の領域内から抽出される代表色の
上限値ＰＭＡＸは、たとえば画素が取得る色の数が２６
５色の場合、たとえば８である。このようなフレーム内
特徴Ｒ_FAは、たとえば図１０に示す表形式で、フレーム
内特徴記憶部５４内の特徴バッファに記憶される。

【０１０９】第２転換部検出装置の相違度計算部は、着
目フレームＦＡのフレーム内特徴Ｒ_FAと比較用フレーム
ＦＢのフレーム内特徴Ｒ_FBとに基づき、後述する図１３
で示す計算手法を用いて、第１〜第３フレーム間相違度
をそれぞれ演算する。前記各フレーム間相違度は、概略
的には、両フレームＦＡ，ＦＢのフレーム内特徴Ｒ_FA，
Ｒ_FB内の各代表色の色間距離の近いもの同士の出現頻度
の差分と該近いもの同士の代表色との積の総和に、相当
する。第２転換部検出装置の特徴形状およびカット点検
出部５７，５８は、上述の手順で求められた複数の第１
〜第３フレーム間相違度を用いて、動画内の場面転換部
をそれぞれ検出し、検出結果出力部５９に検出結果を出
力させる。

【０１１０】図１１は、第２転換部検出装置のフレーム
内特徴抽出部におけるフレーム内特徴の具体的な抽出手
法を説明するためのフローチャートである。図１１の説
明において、前記フレーム内特徴抽出部を「抽出部」と
略称する。図１１の演算は、図７で説明した場面転換部
の検出処理全体のうち、ステップＡ５の演算に置換えて
実行されるものである。すなわち図７のステップＡ４に
おいて、少なくとも処理対象の着目フレーム、すなわち
第ｎフレームがフレーム記憶部５２に記憶された時点
で、制御回路６０は、前記抽出部に、第ｎフレームのフ
レーム内特徴の抽出処理を開始させる。この結果ステッ
プＢ１からステップＢ２に進む。

【０１１１】前記抽出部は、ステップＢ２で、第ｎフレ
ームに、特徴抽出のための前処理を施す。前記前処理
は、具体的には、第ｎフレームの画素数および色数を減
少させる処理である。たとえば前記抽出部は、フレーム
の縮小のために、処理対象の第ｎフレームを構成する全
ての画素のうちから、周期的に画素をまびく。これによ
ってたとえば、６４０×４８０ドットの第ｎフレーム
が、８０×６０ドットまで縮小される。またたとえば前
記抽出部は、色数の削減のために、いわゆる均等量子化
法を用いる。これによって、元のフレーム内の単一の画
素データセットにおいて、たとえば、赤、緑、および青
を示すためのデータに８ビットずつ、すなわち２５８階
調が割振られている場合、前処理後のフレーム内の単一
の画素データセットにおいて、赤および緑を示すための
データに３ビットずつ、ならびに青を示すためのデータ
に２ビットが割振られる。すなわち単一の画素が取得る
色が、約１６００万色から２５６色まで減らされる。

【０１１２】前処理後、前記抽出部は、ステップＢ３
で、第ｎフレームを予め定める数ＭＭＡＸの領域に分割
し、かつ、領域番号カウンタｍを０に初期化する。たと
えば第ｎフレームは、図１２に示すように、行列状に分
割されるとする。また全ての領域に、たとえばラスタ順
で、領域番号０〜ＭＭＡＸ−１を付すとする。領域番号
カウンタｍは、ステップＢ５〜Ｂ１１の処理における処
理対象の領域を規定するためのものであり、該カウンタ
が記憶する数値と等しい領域番号の領域、すなわち第ｍ
領域が、処理対象の領域であるとする。初期化後、前記
抽出部は、ステップＢ４で、領域番号カウンタｍの計数
値が全ての領域の数ＭＭＡＸ未満であるか否かを判断す
る。そうである場合、ステップＢ４からステップＢ５に
進む。

【０１１３】前記抽出部は、ステップＢ５で、処理対象
の領域、すなわち第ｎフレーム内の第ｍ領域に関する色
のヒストグラムを作成する。前記ヒストグラムは、前記
第ｍ領域内における画素が取得る複数の色それぞれの出
現頻度を示す。作成後、前記抽出部は、ステップＢ６
で、色数カウンタｐを０に初期化する。初期化後、前記
抽出部は、ステップＢ７で、色数カウンタｐの計数値が
予め定める最大抽出色数ＰＭＡＸ未満であるか否かを判
断する。そうである場合、ステップＢ７からステップＢ
８に進む。

【０１１４】前記抽出部は、ステップＢ８で、画素が取
得る全ての色のうち、第ｍ領域内における出現頻度が多
いほうからｐ＋１番目の色Ｃ_p+1 を、前記ヒストグラム
から検索する。「ｐ＋１」は、現時点の色数カウンタｐ
の値よりも１大きい数である。検索後、前記抽出部は、
ステップＢ９で、検索された色Ｃ_p+1 の色番号と第ｍ領
域内における該色の出現頻度ＨＣ［Ｃ_p+1 ］を、フレー
ム内特徴記憶部５４内の先頭の特徴バッファ内の第ｍ領
域のｐ＋１番目の代表色およびその出現頻度をそれぞれ
記憶するための代表色および出現頻度領域Ｒｎ［ｍ］
［ｐ］．ＣＯＬ，Ｒｎ［ｍ］［ｐ］．ＦＲＱに記憶させ
る。記憶後、前記抽出部は、ステップＢ１０で、色数カ
ウンタｐの値に１加算して更新し、ステップＢ１０から
ステップＢ７に戻る。このように本実施の形態では、領
域の代表色として、画素が取得る全ての色のうち、該領
域における出現頻度が高いほうの色を用いる。これは、
領域内の出現頻度が高い方の色は、該領域の特徴として
安定していると考えられるからである。

【０１１５】ステップＢ７〜Ｂ１０の処理は、色数カウ
ンタｐの値が最大抽出色数ＰＭＡＸ以上になるまで、繰
返される。この結果、第ｍ領域から検出された予め定め
る数ＰＭＡＸの代表色およびそれらの出現頻度が、表６
に示すように、第ｍ領域用の代表色および出現頻度領域
Ｒｎ［ｍ］［０］．ＣＯＬ〜Ｒｎ［ｍ］［ＰＭＡＸ−
１］．ＣＯＬ，Ｒｎ［ｍ］［０］．ＦＲＱ〜Ｒｎ［ｍ］
［ＰＭＡＸ−１］．ＦＲＱにそれぞれ記憶される。また
これらの代表色および出現頻度は、表６に示すように、
得られた時点の色数カウンタｐの値に対応付けられる。
この結果第ｍ領域の代表色およびその頻度が、簡潔にま
とめられる。

【０１１６】

【表６】

【０１１７】ステップＢ７で、色数カウンタｐの計数値
が予め定める最大抽出色数ＰＭＡＸ以上であると判断さ
れる場合、ステプＢ６からステップＢ１１に進む。記
憶、前記抽出部は、ステップＢ１０で、領域番号カウン
タｍの値に１加算して更新し、ステップＢ１１からステ
ップＢ４に戻る。この結果、ステップＢ４〜Ｂ１１の処
理は、領域番号カウンタｍが前記最大領域数ＭＭＡＸ以
上になるまで、繰返される。この結果、第０〜第ＭＭＡ
Ｘ−１領域の代表色および出現頻度が、それぞれ得られ
る。ステップＢ４で、領域番号カウンタｍの計数値が予
め定める数ＭＭＡＸ以上であると判断される場合、ステ
ップＢ４からステップＢ１２に進み、当該フローチャー
トの処理動作を終了する。

【０１１８】前記特徴抽出のための処理において、処理
対象の第ｎフレームにステップＢ２で前記前処理を施す
のは、以下の理由からである。一般的に、単一のフレー
ム内の隣合う２つの画素の相関は高いので、該フレーム
に含まれる情報には冗長性がある。このためフレームの
大きさを縮小した場合、すなわち単一フレームを構成す
る画素の数を減少させた場合、縮小後のフレーム内の情
報の傾向は、縮小前の元のフレーム内の情報の傾向とほ
ぼ等しいことが多い。たとえばＶＧＡサイズ、すなわち
６４０×４８０ドットの複数のフレームを、８０×６０
ドットまでそれぞれ縮小した場合、縮小後の複数のフレ
ーム間の相関および相違度の変化の傾向は、元の複数の
フレーム間の相関および相違度の変化の傾向とほぼ等し
い。ゆえに処理対象のフレームの画素数を特徴抽出の前
に予め減少される場合、該フレームの記憶のために必要
なメモリの容量が、フレームを縮小しない場合よりも減
少する。また前記場合、縮小後のフレームの特徴抽出の
ために該フレーム内の各画素が記憶された前記メモリ内
の部分へのアクセス回数が、フレームが縮小されていな
い場合よりも減少するので、特徴抽出のための演算量が
フレームが縮小しない場合よりも減少する。また前記フ
レーム内の画素の色の数を減少させた場合、フレームの
画素数を減少させた場合と同様の理由によって、メモリ
の容量の削減および特徴抽出における計算量の削減が図
られる。このように単一のフレームの画素数および色数
を減少させることによって、フレーム内の情報の取扱い
が容易になる。以上が、フレームに前処理を施す理由で
ある。

【０１１９】図１３は、第２転換部検出装置の相違度計
算部におけるフレーム間相違度の具体的な抽出手法を説
明するためのフローチャートである。図１３の説明にお
いて、前記相違度計算部を「計算部」と略称する。図１
３の演算は、第１〜第３フレーム間相違度の演算それぞ
れに適用することができるので、以後の説明では、これ
ら３つのフレーム間相違度のうちの任意の１つだけにつ
いて説明し、該任意の１つのフレーム間相違度を「フレ
ーム間相違度」と略称する。

【０１２０】図１３の演算は、図７で説明した場面転換
部の検出処理全体のうち、ステップＡ７の演算に置換え
て実行されるものである。すなわち図７のステップＡ６
において、少なくとも着目および比較用フレームである
第ｎ，第ｎ−Ｌｘフレームのフレーム内特徴Ｒ_n ，Ｒ
_n-Lxがフレーム内特徴記憶部５４に記憶された時点で、
制御回路６０は、前記計算部に、前記フレーム間相違度
の計算を開始させる。この結果ステップＣ１からステッ
プＣ２に進む。

【０１２１】前記計算部は、ステップＣ２で、フレーム
間相違度を記憶するための変数ＤＳＵＭを０に初期化
し、ステップＣ３で、領域番号カウンタｍを０に初期化
する。初期化後、前記計算部は、ステップＣ４で、領域
番号カウンタｍの計数値が全ての領域の数ＭＭＡＸ未満
であるか否かを判断する。そうである場合、ステップＣ
４からステップＣ５に進む。前記計算部は、ステップＣ
５で、色数カウンタｐを０に初期化する。初期化後、前
記抽出部は、ステップＣ６で、色数カウンタｐの計数値
が予め定める最大抽出色数ＰＭＡＸ未満であるか否かを
判断する。そうである場合、ステップＣ６からステップ
Ｃ７に進む。着目フレームのフレーム内特徴Ｒｎのう
ち、変数ｍ，ｐが現時点の領域および色数カウンタｍ，
ｐの値とそれぞれ等しい代表色および出現頻度領域Ｒｎ
［ｍ］［ｐ］．ＣＯＬ，Ｒｎ［ｍ］［ｐ］．ＦＲＱが、
ステップＣ７〜Ｃ１４における現時点の処理対象の代表
色および出現頻度領域となる。

【０１２２】前記計算部は、ステップＣ７で、現時点の
処理対象の代表色の出現頻度領域Ｒｎ［ｍ］［ｐ］．Ｆ
ＲＱ内に現時点で記憶される出現頻度が、０以上である
か否かを判断する。そうである場合、ステップＣ７から
ステップＣ８に進む。前記計算部は、ステップＣ８で、
比較用フレームのフレーム内特徴Ｒ_n-LX内の第ｍ領域用
の全ての現時点の出現頻度のうちから、該第ｍ領域内の
全ての代表色のうちで現時点の処理対象の代表色に最も
近い色の出現頻度であり、かつ有効な出現頻度を、探索
する。前記第ｍ領域は、比較用フレームＲ_n-LX内の全て
の領域のうちで、領域番号カウンタｍの値と番号が等し
い領域である。変数ｑは、０以上ＰＭＡＸ−１以下の任
意の整数である。有効な出現頻度とは、出現頻度Ｒ_n-LX
［ｍ］［ｑ］．ＦＲＱが０以上のものである。

【０１２３】すなわち前記計算部は、比較用フレームの
フレーム内特徴Ｒ_n-LXを記憶する特徴バッファの中の、
第ｍ領域用の代表色領域Ｒ_n-LX［ｍ］［０］．ＣＯＬ〜
Ｒ_n-LX［ｍ］［ＰＭＡＸ−１］．ＣＯＬ内の代表色のう
ちで現時点の処理対象の代表色領域Ｒｎ［ｍ］［ｐ］．
ＣＯＬ内の代表色Ｃ_p+1に最も近い色を記憶する代表色
領域Ｒ_n-LX［ｍ］［ｑ］．ＣＯＬを、比較用フレームの
現時点の処理対象の代表色領域として探索し、かつ、該
特徴バッファの中の第ｍ領域用の全ての出現頻度領域Ｒ
_n-LX［ｍ］［０］．ＦＲＱ〜Ｒ_n-LX［ｍ］［ＰＭＡＸ−
１］．ＦＲＱ内に現時点で記憶される出現頻度のうちか
ら、該代表色領域Ｒ_n-LX［ｍ］［ｑ］．ＣＯＬに対応す
る出現頻度領域であり、かつ０以上の出現頻度を記憶す
る出現頻度領域Ｒ_n-LX［ｍ］［ｑ］．ＦＲＱを、比較用
フレームの現時点の処理対象の代表色の出現頻度領域と
して、探索する。

【０１２４】探索後、前記計算部は、ステップＣ９で、
有効な変数ｑが存在するか否かを判断する。変数ｑが有
効ではなくなるのは、ステップＣ７の探索処理におい
て、比較用フレームのフレーム内特徴Ｒ_n-LX内の第ｍ領
域用の出現頻度領域Ｒ_n-LX［ｍ］［０］．ＦＲＱ〜Ｒ
_n-LX［ｍ］［ＰＭＡＸ−１］．ＦＲＱの記憶内容が全て
０になっている場合であり、この場合変数ｑは不定にな
る。すなわちこの場合、前記現時点の処置対象の代表色
および出現頻度領域が定められない。変数ｑが有効であ
るならば、ステップＣ９からステップＣ１０に進む。

【０１２５】前記計算部は、ステップＣ１０で、式１３
に示すように、着目および比較用フレームの現時点の処
理対象の代表色の出現頻度領域Ｒｎ［ｍ］［ｐ］．ＦＲ
Ｑ，Ｒ_n-LX［ｍ］［ｑ］．ＦＲＱ内の出現頻度のうちか
ら、小さいほうの値ＦＭＩＮを求める。選択後、前記計
算部は、ステップＣ１１，Ｃ１２で、式１４，１５に示
すように、着目および比較用フレームの現時点の処理対
象の代表色の出現頻度領域Ｒｎ［ｍ］［ｐ］．ＦＲＱ，
Ｒ_n-LX［ｍ］［ｑ］．ＦＲＱの記憶内容から、前記小さ
いほうの出現頻度ＦＭＩＮをそれぞれ減算して、更新す
る。この結果、前記２つの出現頻度領域のうちの一方が
０になり、他方が該２つの出現頻度の差を記憶する。

【０１２６】 ＦＭＩＮ＝ｍｉｎ（Ｒｎ[ｍ][ｐ].ＦＲＱ，Ｒ_n-LX[ｍ][ｑ].ＦＲＱ） …（13） Ｒｎ［ｍ］［ｐ］．ＦＲＱ＝Ｒｎ［ｍ］［ｐ］．ＦＲＱ−ＦＭＩＮ …（14） Ｒ_n-LX［ｍ］［ｑ］．ＦＲＱ＝Ｒ_n-LX［ｍ］［ｑ］．ＦＲＱ−ＦＭＩＮ …（15） 更新後、前記計算部は、ステップＣ１３で、式１６に示
すように、着目および比較用フレームの現時点の処理対
象の代表色の色番号に基づき、該代表色の色間距離ｄを
求める。色間距離ｄとは、２つの色の違いを定量的に示
す数値である。たとえば２つの色Ｃ１，Ｃ２がＲＧＢ色
空間内部で、座標（Ｒ１，Ｇ１，Ｂ１），（Ｒ２，Ｇ
２，Ｂ２）でそれぞれ表される場合、色間距離ｄは、本
実施の形態では、前記座標（Ｒ１，Ｇ１，Ｂ１），（Ｒ
２，Ｇ２，Ｂ２）の各座標値を、該色Ｃ１，Ｃ２の画素
の画素データセット内の赤、緑、および青にそれぞれ割
付けられたビットが示す数値であるとして、式１７に示
すように、定義している。

【０１２７】 ｄ＝Ｒｎ［ｍ］［ｐ］.COLとＲ_n-LX［ｍ］［ｑ］.COLとの差 …（16） ｄ＝｜Ｒ１−Ｒ２｜＋｜Ｇ１−Ｇ２｜＋｜Ｂ１−Ｂ２｜ …（17） 算出後、前記計算部は、式１８に示すように、現時点の
相違度変数ＤＳＵＭの値に、着目および比較用フレーム
の現時点の処理対象の代表色の更新後の出現頻度領域の
記憶内容のうちの大きいほうの値と前記色間距離ｄとの
積を加算し、更新する。すなわち現時点の相違度変数
に、前記色間距離と前記２つの出現頻度の差との積が加
算される。更新後、ステップＣ１４からステップＣ１５
に戻る。この結果ステップＣ７〜Ｃ１４の処理は、着目
フレームの現時点の処理対象の代表色の出現頻度領域Ｒ
ｎ［ｍ］［ｐ］．ＦＲＱの記憶内容が０になるまで、ま
たは変数ｑが無効となるまで、繰返される。

【０１２８】 ＤＳＵＭ＝ＤＳＵＭ＋max(Rn[m][p].FRQ，R_n-LX[m][q].FRQ）×ｄ …（18） ステップＣ７で前記出現頻度領域Ｒｎ［ｍ］［ｐ］．Ｆ
ＲＱの記憶内容が０以下になったと判断された場合、ス
テップＣ７からステップＣ１５に進む。またステップＣ
９で変数ｑが有効ではないと判断された場合、ステップ
Ｃ９からステップＣ１５に進む。前記計算部は、ステッ
プＣ１５で、色数カウンタｐの計数値に１を加算して更
新し、ステップＣ１５からステップＣ６に戻る。この結
果ステップＣ６〜Ｃ１５の処理は、色数カウンタｐの計
数値が予め定める値ＰＭＡＸになるまで、すなわち着目
または比較用フレームの第ｍ領域用の全ての出現頻度領
域の記憶内容が０以下になるまで、繰返される。

【０１２９】ステップＣ６で色数カウンタｐの計数値が
前記値ＰＭＡＸ以上になったと判断された場合、ステッ
プＣ６からステップＣ１６に進む。前記計算部は、ステ
ップＣ１６で、領域番号カウンタｍの計数値に１を加算
して更新し、ステップＣ１６からステップＣ４に戻る。
この結果ステップＣ４〜Ｃ１６の処理は、領域番号カウ
ンタｍの計数値が予め定める分割数ＭＭＡＸになるま
で、繰返される。この結果、着目および比較用フレーム
の全ての領域に対して、ステップＣ４〜Ｃ１６の処理が
施される。ステップＣ４で領域番号カウンタｍの計数値
が前記分割数ＭＭＡＸ以上になったと判断された場合、
ステップＣ４からステップＣ１７に進み、当該フローチ
ャートの処理動作を終了する。この結果、図１３のフロ
ーチャートが終了した時点の相違度変数ＤＳＡＭに記憶
される値が、前記着目および比較用フレーム間のフレー
ム間相違度として、出力される。

【０１３０】以上説明したように、第２転換部検出装置
３１は、第ｎフレームのフレーム内特徴Ｒｎとして、該
第ｎフレームを分割して得られる複数の各領域を代表す
る色および該各領域内の該色の画素の出現頻度とを用
い、かつ、第ｎフレームのフレーム間相違度を図１３に
示す手法で計算する。これは以下の理由からである。

【０１３１】フレーム内特徴として、２枚のフレーム内
の対応画素の色または輝度の差の総和、すなわちいわゆ
るフレーム間差分が用いられる場合、２枚のフレームに
写る被写体のフレーム内の位置が微小量だけずれたなら
ば、該２枚のフレームのフレーム間相違度が大きく変化
する。すなわち前記場合、フレーム間相違度は２枚のフ
レームの微小な違いに過敏に反応する。またフレーム内
特徴として、２枚のフレームの画素ヒストグラムの差が
用いられる場合、該フレーム内特徴からはフレーム内の
画素の位置に関する特徴が失われている。ゆえにたとえ
ば、２枚のフレームが、内部に写る被写体の位置だけが
ずれているならば、両フレーム間のフレーム間相違度は
高くなりやすい。すなわち前記場合、フレーム間相違度
は２枚のフレームの微妙な違いに鈍感になる。また上記
２つの場合のどちらでも、フレーム間相違度は、２枚の
フレーム色合いおよび該フレームの各画素の輝度の変化
に過敏に反応しやすい。

【０１３２】第１フレーム間相違度がフレームの相違に
対し上述のように反応するならば、第１フレーム間相違
度はカット点以外のフレームでも閾値以上に増加する可
能性があるので、該フレーム間相違度を用いたカット点
の検出精度の向上が困難になる。また第２および第３フ
レーム間相違度がフレームの相違に対し上述のように反
応するならば、第２および第３フレーム間相違度の変化
パターンのうちのトランジション部分に特有のパターン
に該フレームの相違に拘わる相違度の変動が重なった
り、該相違度の変動が該特有のパターンを打消してしま
うことがある。この結果前記トランジション部分に特有
のパターンの検出が難しくなるので、前記フレーム間相
違度を用いたトランジション部分の検出精度の向上が困
難になる。

【０１３３】本実施の形態のフレーム内特徴は、上述の
ように求められる。フレーム内特徴の算出の際、算出対
象のフレームは、複数の領域に区分される。この結果、
フレームの分割数に基づき、フレーム内の被写体の動き
が各領域の特徴に吸収される程度を、調整することがで
きる。たとえば、前記分割数が少ないほど、前記フレー
ム内の動きが前記各領域の特徴に吸収されやすくなり、
前記分割数が多いほど、前記フレーム内の動きが前記各
領域の特徴に吸収されにくくなる。すなわち前記分割数
が多いほど、前記被写体の動きが各領域の特徴に反映さ
れ易くなる。

【０１３４】前記分割数が多いほど、２つのフレームの
対応領域同士の特徴の差は、前記対応画素同士の色およ
び輝度の差に近くなり、分割数が少ないほど、前記領域
の特徴の差は前記フレーム同士の特徴の差に近くなる。

【０１３５】また本実施の形態のフレーム間相違度は、
基本的には、着目および比較用フレームの対応する領域
内の代表色のうちの色が類似するもの同士の出現頻度の
差分と該色の色間距離との積の総和である。このように
前記代表色のうちの近い色の差分を用いることによっ
て、フレーム間相違度は、２枚のフレームの微小な輝度
よび色合いの差分を吸収することができるので、前記差
分に過敏に反応しない。

【０１３６】これらの理由に基づき、本実施の形態のフ
レーム内特徴およびフレーム間相違度が用いられる場
合、２枚のフレームの差異に対して、該フレーム内特徴
およびフレーム間相違度が過敏また過度に鈍感になるこ
とを防止することができる。この結果各フレーム間相違
度の変化パターン内にカット点およびトランジション部
分に特徴的な形状がそれぞれ明瞭に現れるので、カット
点およびトランジション部分の検出精度を向上させるこ
とができる。上述のフレーム内特徴の検出において、領
域内の或る色の画素の出現頻度は、該領域内の該色の画
素が占める面積と等価である。ゆえに前記フレーム内特
徴は、前記出現頻度に代わって、前記画素が示す面積を
用いて検出されても良い。

【０１３７】本発明の第３の実施の形態である動画場面
転換部検出装置について、以下に説明する。第３の実施
の形態の動画場面転換部検出装置（以後「第３転換部検
出装置」と略称する）は、第１転換部検出装置５０と比
較して、カット検出部におけるカット点の具体的な検出
手法が異なり、他は等しい。ゆえに第３転換部検出装置
の構造および動作のうち、第１転換部検出装置５０と同
じ構造および動作の説明は省略する。また第３転換部検
出装置内の部品のうち、第１の実施の形態の転換部検出
装置３１と同じ部品には同じ参照符を付す。

【０１３８】第３転換部検出装置のカット検出部におけ
るカット点の検出手法を、概略的に以下に説明する。予
め定めるカット点検出用閾値ＴＣは、一般的に、カット
点を挟み連続した２つのフレーム間の隣接フレーム間相
違度以下であり、かつ、単一ショット内の連続した２つ
のフレーム間の隣接フレーム間相違度よりも大きくなる
ように、設定されている。この結果隣接フレーム間相違
度と前記閾値ＴＣとの大小関係に基づいて、カット点を
検出することができる。

【０１３９】しかしながら前述した通り、単一ショット
において被写体とカメラとの相対的な位置変化が激しい
場合、該位置変化に起因して、該ショット内の連続する
２つのフレームであっても、隣接フレーム間相違度が前
記閾値ＴＣ以上に大きくなることある。また単一ショッ
ト内のフレームであっても複数のフレームを間に挟んで
配置される２つのフレームのフレーム間相違度は、前記
位置変化の影響のために大きくなり易い。たとえば前記
単一のショットに編集が加えられて一部分のフレームが
削除されたならば、それら２つのフレームを挟んで配置
されていた２枚のフレームが連続するフレームとなるた
め、該２つのフレーム間の隣接フレーム間相違度が前記
閾値ＴＣ以上になることがある。このように単一ショッ
ト内の連続する２つのフレーム隣接フレーム間相違度が
閾値ＴＣ以上になる場合、単一ショット内の連続する２
つのフレーム間にカット点があると誤検出されることが
ある。

【０１４０】図１４は、動画内の各フレームの隣接フレ
ーム間相違度のフレーム順序に従う変化を示すグラフで
ある。図１４において、少なくとも、範囲ＷＦＡ内の複
数のフレームは単一ショット内のものであり、範囲ＷＦ
Ｂ内の複数のフレームはカット点を挟む２つのフレーム
を含むものである。範囲ＷＦＡ内に示すショットにおけ
るカメラと被写体との位置変化は極めて激しいと仮定す
る。図１４に基づき、前記位置変化に基づき単一ショッ
ト内の２つのフレーム間の隣接フレーム間相違度が前記
閾値以上になる場合、該２つのフレームの近傍の他の２
つのフレームのフレーム間相違度も前記閾値以上になっ
ていることが分かる。これとは逆に、図１４に基づき、
カット点を挟むことに基づき２つのフレーム間の隣接フ
レーム間相違度が前記閾値以上になる場合、該２つのフ
レームの近傍の他の２つのフレームの隣接フレーム間相
違度は常に閾値未満になっていることが分かる。すなわ
ちカット点を挟む２つのフレームの隣接フレーム間相違
度は、該カット点の周囲の他の２つのフレームの隣接フ
レーム間相違度よりも突出している。

【０１４１】このため第３転換部検出装置のカット検出
部は、カット点の検出に先立ち、動画内の各フレームの
隣接フレーム間相違度Ｌ１［０］〜Ｌ１［Ｎ−１］を、
それぞれ該各フレームの前後の複数のフレームのフレー
ム間相違度を用いてそれぞれ補正する。この結果図１５
に示すように、範囲ＷＦＡ内の前記位置変化に起因する
隣接フレーム間相違度だけが抑制され、カット点に起因
する隣接フレーム間相違度は元のまま保たれる。前記カ
ット点検出部は、このように補正された隣接フレーム間
相違度を用いて、動画内のカット点を検出する。

【０１４２】図１６は、第３転換部検出装置のカット点
検出部におけるカット点の具体的な検出手法を説明する
ためのフローチャートである。図１６の説明において、
前記カット点検出部を「検出部」と略称する。図１６の
演算は、図７で説明した場面転換部の検出処理全体のう
ち、ステップＡ９の演算に置換えて実行されるものであ
る。すなわち図７のステップＡ８において、着目フレー
ム、すなわち第ｎフレームの第１〜第３フレーム間相違
度が相違度バッファに記憶された後、制御回路６０は、
前記検出部に前記カット点の検出処理を開始させる。こ
の結果ステップＤ１からステップＤ２に進む。

【０１４３】前記検出部は、ステップＤ２〜Ｄ４で、着
目フレームよりも表示順が前述した予め定める数ＢＣだ
け早い第ｎ−ＢＣフレームを、カット点検出のための注
目フレームとして選び、該注目フレームの第１フレーム
間相違度、すなわち隣接フレーム間相違度を補正する。

【０１４４】すなわち前記検出部は、ステップＤ２で、
第１バッファ群内のＢＣ番目の相違度バッファＢＤＬ１
［ＢＣ］の前および後ろにそれぞれ並ぶ予め定める数Ｌ
Ｌずつのバッファ、すなわち第１バッファ群内のＢＣ−
ＬＬ番目〜ＢＣ−１番目、ＢＣ＋１番目〜ＢＣ＋ＬＬ番
目のバッファ内の第１フレーム間相違度を、降べき順に
並換える。「２ＬＬ」は、予め定める数ＬＬの２倍の数
であり、第２フレーム間距離Ｌ２以下である。並換え後
の２ＬＬ個の第１フレーム間相違度は、配列変数ＣＳ
［０］〜ＣＳ［２ＬＬ−１］にそれぞれ格納される。配
列変数ＣＳ［ｋ］は、変数ｋが大きいほど、前記２ＬＬ
個の第１フレーム間相違度のうちの値の大きいものを記
憶する。ここで変数ｋは、０以上２ＬＬ−１以下の整数
である。この結果配列変数ＣＳ［０］〜ＣＳ［２ＬＬ−
１］は、注目フレームの前後それぞれＬＬ個のフレーム
の第１フレーム間相違度を、降べき順に記憶する。

【０１４５】記憶後、前記検出部は、注目フレーム、す
なわち第ｎ−ＢＣフレームの第１フレーム間相違度を補
正するための補正量Ｒを、式１９に基づいて求める。す
なわち補正量Ｒは、注目フレームの前後の２ＬＬ個のフ
レームの各第１フレーム間相違度と予め定める２ＬＬ個
の各重み係数α₀ 〜α_2LL-1 との積の総和である。以下
の式で「ＣＳ［ｋ］」は、ｋ番目の配列変数ＣＳ［ｋ］
内の第１フレーム間相違度を示す。

【０１４６】 全ての重み係数α₀ 〜α_2LL-1 のうちの少なくとも１つ
は０を越える係数である。前記補正量Ｒは、単一ショッ
トにおける被写体とカメラとの位置変化に起因して増大
した第１フレーム間相違度を抑制するためのものであ
る。ゆえに、全重み係数α₀ 〜α_2LL-1 のうち、変数ｋ
の大きいものほど、すなわち順番の早い配列変数ＣＳ
［ｋ］に乗算されるべきものほど、値が大きいことが好
ましい。たとえば式２０に示すように、先頭の重み係数
α₀ が１であり、残余の全ての重み係数α₁ 〜α_2LL-1
が０であってもよい。

【０１４７】

【数１】

【０１４８】補正量算出後、前記検出部は、ステップＤ
４で、式２１に示すように、注目フレームの補正された
第１フレーム間相違度ＣＲを算出する。前記補正後の第
１フレーム間相違度ＣＲは、注目フレームの元の第１フ
レーム間相違度Ｌ１（ｎ−ＢＣ，ｎ−ＢＣ−１）から、
ステップＤ３で算出された補正量Ｒを減算した値であ
る。式１９において、「ＢＤＬ１［ＢＣ］」は、第１バ
ッファ群内のＢＣ番目の相違度バッファに記憶された第
１フレーム間相違度、すなわち注目フレームの元の第１
フレーム間相違度である。 ＣＲ ＝ ＢＤＬ１［ＢＣ］−Ｒ …（21） 前述したようにこのように重み係数α₀ 〜α_2LL-1 が定
められた場合、注目フレームの第１フレーム間相違度が
カット点に起因して増大している場合よりも、該第１フ
レーム相違度が前記位置変化に起因して増大している場
合に、補正量Ｒは大きくなる。この結果前者の場合の補
正後の第１フレーム間相違度ＣＲは元の第１フレーム間
相違度Ｌ１（ｎ−ＢＣ，ｎ−ＢＣ−１）とほぼ等しく、
後者の場合の補正後の第１フレーム間相違度ＣＲは元の
第１フレーム間相違度Ｌ１（ｎ−ＢＣ，ｎ−ＢＣ−１）
よりも極めて小さくなる。この結果、動画内の各フレー
ムの補正後の第１フレーム間相違度のフレームの並べ順
に従う変化は、前述の図１５に示す通りになる。すなわ
ちステップＤ２〜Ｄ４の補正処理によって、位置変化に
起因して増大した区間ＷＦＡ内の第１フレーム間相違度
が抑制されて、元の値よりも小さくなっている。

【０１４９】再び図１６を参照する。補正処理終了後、
前記検出部は、ステップＤ５で、ステップＤ４で算出さ
れた注目フレームの補正後の第１フレーム間相違度ＣＲ
が、予め定めるカット点検出用の閾値ＴＣ以上であるか
否かを判断する。補正後の第１フレーム間相違度ＣＲが
閾値ＴＣ以上である場合だけ、注目フレーム、すなわち
前記第ｎ−ＢＣフレームとその隣のフレームとの間にカ
ット点があると判断される。この場合ステップＤ５から
ステップＤ６に進み、制御装置６０は、場面転換フラグ
ＦＣにＴＲＵＥをセットし、ステップＤ７で当該フロー
チャートの処理動作を終了する。補正後の第１フレーム
間相違度ＣＲが閾値ＴＣ未満である場合、前記第ｎ−Ｂ
Ｃフレームとその隣のフレームとの間にカット点がない
と判断される。この場合ステップＤ５からステップＤ６
を飛ばしてステップＤ７に進み、当該フローチャートの
処理動作を終了する。この結果場面転換フラグＦＣはＦ
ＡＬＳＥのまま保たれる。

【０１５０】以上のように第３転換部検出装置のカット
検出部は、注目フレームの第１フレーム間相違度を、該
注目フレームの前後の他の複数のフレームの第１フレー
ム間相違度に基づいて補正し、補正後の第１フレーム間
相違度を用いてカット点の有無を判断する。この結果前
記カット検出部は、単一ショット内の被写体とカメラと
の位置変化、すなわちいわゆる被写体の動きに起因する
カット点の誤検出を抑制することができる。したがって
第３転換部検出装置は、前記カット検出部の検出精度を
向上させることができる。

【０１５１】本発明の第４の実施の形態である動画場面
転換部検出装置について、以下に説明する。第４の実施
の形態の動画場面転換部検出装置（以後「第４転換部検
出装置」と略称する）は、第１転換部検出装置５０と比
較して、特徴形状検出部におけるトランジション部分の
具体的な検出手法が異なり、他は等しい。ゆえに第４転
換部検出装置の構造および動作のうち、第１転換部検出
装置５０と同じ構造および動作の説明は省略する。また
第４転換部検出装置内の部品のうち、第１転換部検出装
置５０と同じ部品には同じ参照符を付す。また第４転換
部検出装置の説明において、前記特徴形状検出部を「検
出部」と略称することがある。

【０１５２】第４転換部検出装置の特徴形状検出部は、
概略的には、着目フレームおよびその近傍の複数のフレ
ームの第２および第３フレーム間相違度のフレームの並
べ順に従う変化を、式２２，２３に示す２次関数によっ
て近似し、２つの近似式２２，２３のグラフである２つ
の放物線の相互の位置関係および形状を該近似式２２，
２３の係数に基づいて判断し、着目フレームおよびその
近傍のフレームがトランジション部分を構成しているか
を調べる。近似式２２，２３において、ａ_L2，ｂ_L2，ｃ
_L2，ａ_L3，ｂ_L3，ｃ_L3は係数であり、ｘ，ｙは変数であ
る。

【０１５３】 ｆ_L2（ｘ）＝ａ_L2（ｘ−ｂ_L2）²＋ｃ_L2＝０ …（22） ｆ_L3（ｘ）＝ａ_L3（ｘ−ｂ_L3）₂＋ｃ_L3＝０ …（23） また本実施の形態では、前記係数の算出に、いわゆる最
小二乗法を用いる。すなわち前記検出部は、式２４の連
立方程式の解を、誤差ベクトルｅ_i ＝０と定義して求め
る。変数ｉは、動画内の全てのフレームのうち、フレー
ム間相違度が近似式２２，２３によって近似される区
間、すなわち観測区間を定義するための変数である。変
数ｉは、具体的には、予め定める最小定数ｉ０以上でか
つ予め定める最大定数ｉｍａｘ以下の整数である。すな
わち近似式２２，２３は、着目フレームよりもｉ枚遡っ
たフレームから着目フレームまで、すなわち第ｎ−ｉフ
レームから第ｎフレームまでのｉ枚のフレームの第２お
よび第３フレーム間相違度のフレームの並べ順に従う変
化パターンを近似する。最小定数ｉ０は、トランジショ
ン部分の最小の長さ、すなわちトランジション部分を構
成するフレームの最小の数に基づいて予め定められ、本
実施の形態では５であるとする。

【０１５４】 Ａ_iＸ ＝ Ｄ_i＋ｅ_i （ｉ＝ｉ０，ｉ０＋１，…，ｉｍａｘ） …（24） 式２４において、「Ａ_i 」は式２５で示すｉ＋１行３列
（３×（ｉ＋１））の行列である。「Ｘ」は、式２６に
示すように、式２７に示す２次式の３つの未知係数ａ，
ｂ，ｃを並べた要素数３の係数ベクトルである。「Ｄ
_i 」は、式２８に示すように、観測値ｄ₀ 〜ｄ_i 、すな
わち相違度バッファＢＤ［０］〜ＢＤ［ｉ］内の値を並
べた要素数ｉ＋１のベクトルである。式２７の３つの未
知係数ａ，ｂ，ｃと式２２の３つの未知係数ａ_L2，
ｂ_L2，ｃ_L2との関係は、式２９〜３１に示すとおりであ
る。また式２７の３つの未知係数ａ，ｂ，ｃと式２３の
３つの未知係数ａ_L3，ｂ_L3，ｃ_L3との関係は、式２９〜
３１の未知係数ａ_L2，ｂ_L2，ｃ_L2を未知係数ａ_L3，
ｂ_L3，ｃ_L3に置換えたものと等しい。

【０１５５】

【数２】

【０１５６】 ａ_L2 ＝ ａ …（29） ｂ_L2 ＝ −ｂ÷（２ａ） …（30） ｃ_L2 ＝ ｃ−ａｂ² …（31） 最小二乗法を用いて式２３内の係数ベクトルＸを解くこ
とは、誤差ベクトルｅ_i が０であると定義して、式３２
に示す行列計算を行うことと等価である。「Ａ_i ^T」は行
列Ａ_i の転置行列であり、「（Ａ_i ^TＡ_i）^-1」は、転置
行列Ａ_i ^Tと行列Ａ_iとの積である行列の逆行列である。
ここで行列「（Ａ_i ^TＡ_i）^-1Ａ_i ^T」は、ｉ＋１行３列
（（ｉ＋１）×３）の行列であり、変数ｉが決定すれば
一意に定まる。ゆえに式３３に示すように、以後の説明
では、前記行列「（Ａ_i ^TＡ_i）^-1Ａ_i ^T」を、行列Ｓ_i に
置換える。また最小二乗法によって求められた近似式の
放物線と実際の相違度の変化パターンとの誤差ｅ_i は、
式３４に基づいて求められる。

【０１５７】 Ｘ ＝（Ａ_i ^TＡ_i）^-1Ａ_i ^TＤⁱ …（32） Ｓ_i ＝（Ａ_i ^TＡ_i）^-1Ａ_i ^T （ｉ＝ｉ０，ｉ０＋１，…，ｉｍａｘ） …（33） ｅ_i ＝ Ａ_i ｘ−Ｄ_i …（34） 図１７は、第４転換部検出装置の特徴形状検出部におけ
るトランジション部分の具体的な検出手法を説明するた
めのフローチャートである。図１７の演算は、図７で説
明した場面転換部の検出処理全体のうち、ステップＡ１
１の演算に置換えて実行されるものである。すなわち図
７のステップＡ１０において、場面転換フラグがＦＡＬ
ＳＥであると判断された場合、ステップＥ１からステッ
プＥ２に進み、制御装置６０は、前記検出部にトランジ
ション部分の検出処理を開始させる。

【０１５８】前記検出部は、ステップＥ２で、近似式２
０，２１の係数の算出に用いるための行列Ａ_i0，
Ａ_i0+1，…，Ａ_imax，Ｓ_i0，Ｓ_i0+1，…，Ｓ_imaxを準備
する。前述したように、各行列Ａ_i ，Ｓ_i は変数ｉが決
定されれば一意的に定まるので、該行列Ａ_i ，Ｓ_i の要
素は予め計算しておくことができる。これによって前記
検出部は、以後の計算における計算量を削減することが
できる。行列演算後、前記検出部は、予め準備されたカ
ウンタｉの初期化のために、該カウンタｉに前記最小定
数ｉ０を代入する。以後、ステップＥ４〜Ｅ１１の処理
において、変数ｉの値として、現時点のカウンタｉの値
が用いられる。初期化後、前記検出部は、ステップＥ４
で、現時点のカウンタｉの値が予め定める最大値ｉｍａ
ｘ未満であるか否かを判断する。そうである場合、ステ
ップＥ４からステップＥ５に進む。

【０１５９】前記検出部は、ステップＥ５で、観測区間
の第２および第３フレーム間相違度の簡易形状チェック
を行う。前記簡易形状チェックは、第ｎ−ｉフレームか
ら第ｎフレームまでの複数のフレーム、すなわち前記観
測区間のフレームの第２および第３フレーム間相違度の
フレームの並べ順に従う変化パターンが、明らかにトラ
ンジション部分に特有の予め定めるパターン、すなわち
凸状になっているか否かを判断するためのチェックであ
る。具体的には、前記検出部は、現時点の相違度バッフ
ァ内の第２および第３フレーム間相違度が式３５〜３７
に示す条件を満たすか否かを判断する。次式で、ＢＤＬ
２［ｉ］，ＢＤＬ３［ｉ］は、第２および第３各バッフ
ァ群内のｉ番目の相違度バッファに記憶されたフレーム
間相違度を指す。「ＴＨＬ２」，「ＴＨＬ３」は、それ
ぞれ予め定める閾値である。式３５〜３７が全て満たさ
れているならば、ステップＥ５からステップＥ６に進
む。

【０１６０】 ＢＤＬ２［ｉ／２］−ＢＤＬ２［０］＞ ＴＨＬ２ …（35） ＢＤＬ２［ｉ／２］−ＢＤＬ２［ｉ］＞ ＴＨＬ２ …（36） ＢＤＬ３［０］−ＢＤＬ３［ｉ］＞ＴＨＬ３ …（37） 前記検出部は、ステップＥ６で、第２バッファ群内の相
違度バッファ内の現時点のｉ個の観測値、すなわち前記
観測期間内のフレームの第２フレーム間相違度を用い
て、式３８に示すように、第２係数ベクトルＸ_L2を算出
する。この結果得られる未知係数ａ，ｂ，ｃと前述の式
２９〜３１とに基づき、前記観測区間内のフレームの第
２フレーム間相違度の近似式２２の未知係数ａ_L2，
ｂ_L2，ｃ_L2が求められる。算出後、前記検出部は、ステ
ップＥ７で、式３９に基づき、前記検出部は、第２フレ
ーム間相違度の近似式２２と前記観測区間のフレームの
実際の第２フレーム間相違度の変化パターンとの誤差ベ
クトルｅ_L2を求める。さらに前記検出部は、ステップＥ
８，Ｅ９で、式４０，４１に示すように、ステップＥ
６，Ｅ７とほぼ同じ手順で、観測区間内のフレームの第
３フレーム間相違度の近似式２３の未知係数ａ_L3，
ｂ_L3，ｃ_L3と、該近似式２３と前記観測区間のフレーム
の実際の第３フレーム間相違度との誤差ベクトルｅ_L3を
求める。この際、式３８，３９；４０，４１の演算に先
立ち、行列Ｄ_L2ｉ，Ｄ_L3ｉの演算を行い、該演算結果を
式３８，３９；４０，４１の演算にそれぞれ利用するこ
とが好ましい。

【０１６１】 Ｘ_L2 ＝ Ｓ_i Ｄ_L2ｉ …（38） ｅ_L2 ＝ Ａ_i Ｘ_L2−Ｄ_L2ｉ …（39） Ｘ_L3 ＝ Ｓ_i Ｄ_L3ｉ …（40） ｅ_L3 ＝ Ａ_i Ｘ_L3−Ｄ_L3ｉ …（41） 算出後、前記検出部は、ステップＥ６〜Ｅ９で求められ
た近似式２２，２３の係数ａ_L2，ｂ_L2，ｃ_L2，ａ_L3，ｂ
_L3，ｃ_L3および誤差ベクトルｅ_L2，ｅ_L3を用いて、前述
の２つの近似式２２，２３のグラフの形状がトランジシ
ョン部分に特有の予め定める形状であるか否かを判断す
る。具体的には、前記検出部は、近似式２２，２３の係
数ａ_L2，ｂ_L2，ｃ_L2，ａ_L3，ｂ_L3，ｃ_L3および誤差ベク
トルｅ_L2，ｅ_L3が以下の条件式４２〜４７を満たすか否
かを判断する。以下の式において、「ｉ／２」は変数ｉ
の半分の値である。「ε１」は未知定数ｂ_L2の許容誤差
を示す定数であり、たとえば変数ｉの８分の１の値（ε
＝ｉ／８）である。「Ｈ_L2」，「Ｈ_L3」は、第２および
第３フレーム間相違度の近似式２２，２３のグラフであ
る放物線の高さであり、具体的には式４８，４９で定義
される。「ｘｘ」は、方程式ｆ_L2（ｉ）＝ｆ_L3（ｘ）の
ｘ＞０における解である。「ε２」は許容誤差を示す定
数であり、たとえば変数ｉの１０分の１の値（ε＝ｉ／
１０）である。「｜ｅ_L2｜」，「｜ｅ_L3｜」は、誤差ベ
クトルｅ_L2，ｅ_L3の要素の大きさの平均値である。「Ｔ
Ｅ」は、予め定める閾値である。「ｍａｘ（ｃ_L3，ｆ_L3
（０））」は、未知係数ｃ_L3と、変数ｘが０の場合の近
似式ｆ_L3（ｘ）の値とのうちの大きいほうの値である。

【０１６２】 ａ_L2 ＜ ０，かつ ａ_L3 ＜ ０ …（42） ｉ／２−ε１ ＜ ｂ_L2 ＜ ｉ／２＋ε１ …（43） ｂ_L3 ＜ ｂ_L2 …（44） Ｔｈ ＜ Ｈ_L2 ＜ Ｈ_L3 …（45） ｜ｉ−ｘｘ｜ ＜ ε２ …（46） ｜ｅ_L2｜ ＜ Ｔｅ，かつ ｜ｅ_L3｜ ＜ ＴＥ …（47） Ｈ_L2 ＝ ｃ_L2−ｆ_L2（０） …（48） Ｈ_L3 ＝ ｍａｘ（ｃ_L3，ｆ_L3（０））−ｆ_L3（ｉ） …（49） 式４２は、近似式２２，２３のグラフがどちらも上に凸
な放物線である場合、満たされる。式４３は、第２フレ
ーム間相違度の近似式２２のグラフ、すなわち第１の放
物線の中心線が前記観測範囲のほぼ中心である場合、満
たされる。式４４は、第３フレーム間相違度の近似式２
３のグラフ、すなわち第２の放物線の中心線が、前記第
１の放物線の中心線よりも座標系の原点に近い場合に満
たされる。式４５は、前記第２の放物線の高さが前記第
１の放物線の高さよりも高く、かつ両者の放物線の高さ
が予め定める高さＴｈ以上である場合に満たされる。式
４６は、座標系上で、両者の放物線がｘ＝ｉ付近で接近
している場合に満たされる。式４７は、近似式２２，２
３と実際の観測値、すなわち実際の第２および第３フレ
ーム間相違度との誤差が充分に小さい場合に、満たされ
る。すなわち条件式４２〜４７が全て満たされる場合、
近似式２２，２３によって近似された第２および第３フ
レーム間相違度の前記観測区間内の変化パターンは、図
４に示すようなトランジション部分に特有のパターンに
なっていると予想される。

【０１６３】この結果前記検出部は、ステップＥ１１
で、ステップＥ１０の判定処理によって、条件式４２〜
４７が全て成立したか否かを判断する。全ての条件式４
２〜４７が成立した場合、前記観測区間において、トラ
ンジション効果が生じていると判断される。この場合ス
テップＥ１１からステップＥ１２に進み、制御回路６０
は、場面転換フラグＦｃに「ＴＲＵＥ」をセットして、
ステップＥ１４で当該フローチャートの処理動作を終了
する。

【０１６４】また条件式４２〜４７のうちの少なくとも
１つが成立しない場合、前記観測区間においてトランジ
ション効果は生じていないと判断される。この場合、ス
テップＥ１１からステップＥ１３に進み、カウンタｉに
１加算して更新する。この結果前記観測区間が１フレー
ム分広がる。更新後、ステップＥ１３からステップＥ４
に戻る。ステップＥ３〜Ｅ１１の動作は、ステップＥ１
１でトランジション効果が検出されるまで、繰返され
る。

【０１６５】またステップＥ５の簡易形状チェックにお
いて、条件式３５〜３７のうちの少なくとも１つが成立
しない場合、前記観測区間のフレームの第２および第３
フレーム間相違度の変化パターンが凸状になっていない
と予想される。この場合ステップＥ５からステップＥ１
３を経て、ステップＥ４に戻る。ステップＥ４におい
て、カウンタｉの値が、定数ｉｍａｘ以上になった場
合、ステップＥ４からステップＥ１４に進み、当該フロ
ーチャートの処理動作を終了する。この場合場面転換フ
ラグＦｃは、「ＦＡＬＳＥ」のまま保たれている。

【０１６６】以上のように第４転換部検出装置の前記特
徴形状検出部は、観測期間内の第２および第３フレーム
間相違度の変化パターンを、放物線によって近似してい
る。この結果、フレームに重畳されるノイズ、または単
一ショットの撮影時にカメラと被写体との位置関係が大
きく変化したことに起因して相違度が変動する場合、前
記特徴形状検出部は前記相違度の変動に対してロバスト
に、トランジション効果を用いた場面転換が生じている
か否かを判断することができる。また前記検出部は、近
似式の算出および判定に先立ち、変化パターンの簡易形
状チェックを行っている。これによって前記検出部は、
観測区間のフレーム間相違度の変化パターンがトランジ
ション部分に特有のパターンではないことが明らかな場
合、該観測区間に関する近似式の算出および判定を省略
することができる。この結果前記検出部の処理量が減少
する。

【０１６７】本発明の第５の実施の形態である動画場面
転換部検出装置について、以下に説明する。第４の実施
の形態の動画場面転換部検出装置（以後「第５転換部検
出装置」と略称する）は、第１転換部検出装置５０と比
較して、特徴形状検出部におけるトランジション部分の
具体的な検出手法が異なり、他は等しい。ゆえに第５転
換部検出装置の構造および動作のうち、第１転換部検出
装置５０と同じ構造および動作の説明は省略する。また
第５転換部検出装置内の部品のうち、第１転換部検出装
置５０と同じ部品には同じ参照符を付す。また第５転換
部検出装置の説明において、前記特徴形状検出部を「検
出部」と略称することがある。

【０１６８】第５転換部検出装置の特徴形状検出部は、
概略的には、着目フレームおよびその近傍の複数のフレ
ームの第２および第３フレーム間相違度のフレームの並
べ順に従う変化パターンを、正弦関数を含む式によって
それぞれ近似し、該近似式のグラフの相互の位置関係お
よび形状を該近似式の係数に基づいて判断し、着目フレ
ームおよびその近傍のフレームがトランジション部分を
構成しているかを調べる。具体的には、動画内の第ｎ−
ｉフレームから第ｎフレームまでの範囲を観測範囲とし
て、該観測範囲のフレームの第２フレーム間相違度の変
化パターンを、図１８に示すように、１周期の半分の正
弦波によって近似し、該観測範囲のフレームの第３フレ
ーム間相違度の変化パターンを、図１９に示すように、
１周期の４分の１の余弦波によって近似する。変数ｉ
は、動画内の観測区間を定義するための変数であり、第
４の実施の形態で説明した変数ｉと等価である。すなわ
ち変数ｉは、最小定数ｉ０以上で最大定数ｉｍａｘ以下
の整数であり、本実施の形態では最小定数ｉ０は５であ
るとする。また本実施の形態では、前記近似式の算出の
ために、観測区間内のフレームのフレーム間相違度を周
波数領域のデータに変換する変換手法として、ＦＦＴ
（Fast Fourier Transform）が用いられる。

【０１６９】図２０は、第５転換部検出装置の特徴形状
検出部におけるトランジション部分の具体的な検出手法
を説明するためのフローチャートである。図２０の演算
は、図７で説明した場面転換部の検出処理全体のうち、
ステップＡ１１の演算に置換えて実行されるものであ
る。すなわち図７のステップＡ１０において、場面転換
フラグがＦＡＬＳＥであると判断された場合、ステップ
Ｆ１からステップＦ２に進み、制御装置６０は、前記検
出部にトランジション部分の検出処理を開始させる。

【０１７０】前記検出部は、ステップＦ２で、予め準備
されたカウンタｉの初期化のために、該カウンタｉに前
記最小定数ｉ０を代入する。以後、ステップＦ３〜Ｆ７
の処理において、変数ｉの値として、現時点のカウンタ
ｉの値が用いられる。初期化後、前記検出部は、ステッ
プＦ３で、現時点のカウンタｉの値が最大定数ｉｍａｘ
未満であるか否かを判断する。そうである場合、ステッ
プＥ４からステップＥ５に進む。前記検出部は、ステッ
プＦ４で、観測区間の第２および第３フレーム間相違度
の簡易形状チェックを行う。ステップＦ４の簡易形状チ
ェックは、第４の実施の形態の図１７のステップＥ５の
簡易形状チェックと等しいので、説明は省略する。ステ
ップＦ４で、簡易形状チェックの条件式３５〜３７が全
て成立すると判断されるならば、ステップＦ４からステ
ップＦ５に進む。

【０１７１】前記検出部は、ステップＦ５で、観測区間
の全てのフレームの第２および第３フレーム相違度と、
式５０〜５２，５３〜５７とに基づき、ＦＦＴ計算用の
第１および第２時系列データ群ＤＬ２，ＤＬ３をそれぞ
れ作成する。第１および第２時系列データ群ＤＬ２，Ｄ
Ｌ３は、各時系列データ群ＤＬ２，ＤＬ３を構成するデ
ータ要素ＤＬ２［０］〜ＤＬ２［Ｎ−１］，ＤＬ３
［０］〜ＤＬ３［Ｎ−１］の個数がそれぞれ２のべき乗
になっており、かつ１周期分の正弦波および余弦波にそ
れぞれ相当するデータになっている。ここでＮは式５８
に示すように、２のべき乗であり、かつ変数ｉの４倍の
値よりも大きいとする。ｋは整数である。

【０１７２】

【数３】

【０１７３】データ作成後、前記検出部は、ステップＦ
６で、第１および第２時系列データ群ＤＬ２，ＤＬ３に
対して、ＦＦＴを施す。ＦＦＴの演算手法は、一般的な
ＦＦＴの演算手法と等しい。これによってＦＦＴの演算
結果として、第１および第２複素数データ群ＦＬ２
［０］〜ＦＬ２［Ｎ−１］，ＦＬ３［０］〜ＦＬ３［Ｎ
−１］がそれぞれ得られる。

【０１７４】演算後、前記検出部は、ステップＦ７で第
１および第２複素数データ群に基づき、元の時系列デー
タ群ＤＬ２，ＤＬ３の変化パターンを示す波形の判別を
行う。具体的には、前記検出部は、第１および第２複素
数データ群に基づき、以下の７つの条件式５９〜６５が
それぞれ成立するか否かを判断する。以下の式におい
て、「｜ＦＬ２［ｊ］｜」，「｜ＦＬ３［ｊ］｜」は、
複素数データＦＬ２［ｊ］，ＦＬ３［ｊ］のゲインを示
す。「Ｐｈ（ＦＬ２［ｊ］）」，「Ｐｈ（ＦＬ３
［ｊ］）」は、複素数データＦＬ２［ｊ］，ＦＬ３
［ｊ］の位相を単位を度として示すものである。「Ｔ
Ｌ」、「ＴＨ」はそれぞれ予め定められる定数であり、
「ε」は許容誤差であり、たとえば５度である。

【０１７５】 ｜ＦＬ２［１］｜＞ＴＬ …（59） ｜ＦＬ２［ｊ］｜＞ＴＨ （ｊ＝２，３，…，Ｎ−２） …（60） ９０−ε＜Ｐｈ（ＦＬ２［１］）＜９０＋ε …（61） ｜ＦＬ３［１］｜＞ＴＬ …（62） ｜ＦＬ３［ｊ］｜＞ＴＨ （ｊ＝２，３，…，Ｎ−２） …（63） −ε＜Ｐｈ（ＦＬ３［１］）＜＋ε …（64） ｜ＦＬ３［１］｜＞｜ＦＬ２［１］｜ …（65） 条件式５９，６０，６１，６３は、第１および第２時系
列データのグラフの形状が正弦波および余弦波にそれぞ
れ近いか否かを調べるためのものである。具体的には、
条件式５９，６２は、第１および第２時系列データのグ
ラフである波形の振幅が定数ＴＬ以上である場合に成立
し、条件式６０，６３は、前記波形の雑音成分に相当す
る前記第１および第２時系列データ群の高周波成分の大
きさが該データ群全体に与える影響が充分小さい場合に
成立する。また式６１，６４は、第１およぼい第２時系
列データ群のグラフの波形の位相が図１８，１９に示す
正弦波および余弦波にそれぞれなる位相である場合に、
成立する。条件式６５は、観測区間内の第２および第３
フレーム間相違度の変化パターンが図８の大小関係にな
る場合に、成立する。すなわち全ての条件式５９〜６５
が成立する場合、正弦関数を含む近似式によって近似さ
れた第２および第３フレーム間相違度の前記観測区間内
の変化パターンは、図４に示すようなトランジション部
分に特有のパターンになっていると予想される。

【０１７６】この結果前記検出部は、ステップＦ８で、
ステップＦ７の判定処理によって、条件式５９〜６５が
全て成立したか否かを判断する。全ての条件式５９〜６
５が成立した場合、前記観測区間において、トランジシ
ョン効果が生じていると判断される。この場合ステップ
Ｆ８からステップＦ９に進み、制御回路６０は、場面転
換フラグＦｃに「ＴＲＵＥ」をセットして、ステップＦ
１１で当該フローチャートの処理動作を終了する。

【０１７７】また条件式５９〜６５のうちの少なくとも
１つが成立しない場合、前記観測区間においてトランジ
ション効果は生じていないと判断される。この場合、ス
テップＦ８からステップＦ１０に進み、カウンタｉに１
加算して更新する。この結果前記観測区間が１フレーム
分広がる。更新後、ステップＦ１０からステップＦ３に
戻る。ステップＦ３〜Ｆ１０の動作は、ステップＦ８で
トランジション効果が検出されるまで、繰返される。

【０１７８】またステップＦ４の簡易形状チェックにお
いて、条件式３５〜３７のうちの少なくとも１つが成立
しない場合、前記観測区間のフレームの第２および第３
フレーム間相違度の変化パターンが凸状になっていない
と予想される。この場合ステップＦ４からステップＦ１
０を経て、ステップＦ３に戻る。ステップＦ３におい
て、カウンタｉの値が、最大定数ｉｍａｘ以上になった
場合、ステップＦ３からステップＦ１１に進み、当該フ
ローチャートの処理動作を終了する。この場合場面転換
フラグＦｃは、「ＦＡＬＳＥ」のまま保たれている。

【０１７９】以上のように第５転換部検出装置の前記特
徴形状検出部は、観測期間内の第２および第３フレーム
間相違度の変化パターンを、正弦関数を含む関数によっ
て近似している。余弦波は、位相を遅らせたまたは進め
た正弦波に置換えることができる。この結果、フレーム
に重畳されるノイズ、または単一ショットの撮影時にカ
メラと被写体との位置関係が大きく変化したことに起因
して相違度が変動する場合、前記特徴形状検出部は前記
相違度の変動に対してロバストに、トランジション効果
を用いた場面転換が生じているか否かを判断することが
できる。

【０１８０】図２０の検出処理において、ステップＦ５
で上述のような時系列データ群ＤＬ２，ＤＬ３を作成す
る理由は、以下のとおりである。一般的に、ＦＦＴを施
すデータ群は、該ＦＦＴの詳細な計算手法に基づき、２
のべき乗個のデータ要素を含むことが好ましい。またＦ
ＦＴの結果得られる複素数データは、元の時系列データ
群のグラフを示すフーリエ関数の直流成分、１周期目の
周波数成分、２周忌目の周波数成分、…、Ｎ−１周期目
の周波数成分のゲイン、すなわち前記時系列データ群の
各周波数成分のゲインを示す。このため１周期の整数倍
の正弦波または余弦波に相当するデータ群にＦＦＴが施
された場合、データ群の周期に対応する部分の周波数成
分のゲインだけが大きくなる。

【０１８１】本実施の形態において、観測区間の全フレ
ームの第２および第３フレーム間相違度に基づいて得よ
うとしている波形は、図１８，１９に示すように、正弦
波の半周期分の部分、および余弦波の４分の１周期分の
部分である。また前記観測区間の全フレームの第２およ
び第３フレーム間相違度の数は、必ずしも２のべき乗と
は限らない。これらのことに基づき、観測区間の全フレ
ームの第２および第３フレーム間相違度に直接ＦＦＴが
施された場合、得られる複素数データ群に該第２および
第３フレーム間相違度の変化パターンの形状特徴がはっ
きりと現れないため、該変化パターンの形状判定が困難
になる。

【０１８２】このため図２０で説明したように、前記検
出部は、前記観測区間の全フレームの第２および第３フ
レーム間相違度と式５０〜５２，５３〜５７に基づいて
第１および第２時系列データ群を作成し、該第１および
第２時系列データ群にＦＦＴを施す。この結果観測区間
がトランジション部分であれば、第１および第２時系列
データが正弦波および余弦波の１周期分のデータにな
る。ゆえに前記検出部は、式５９〜６４に示したよう
に、第１および第２複素数データが正弦波および余弦波
の１周期分のデータにＦＦＴを施して得られる演算結果
に近いか否かを調べることによって、前記観測区間がト
ランジション部分であるかどうかを、容易に判断するこ
とができるのである。以上が時系列データの作成の理由
と、ステップＦ７の判定によってトランジション効果の
判断が可能な理由との説明である。

【０１８３】第１〜第５の実施の形態で用いる各種の定
数のオーダを、以下に説明する。この説明は、以下のよ
うに定義して行う。形態変換後のフレームのデータ内の
各画素データセットがいわゆるＲＧＢデータであるとす
る。すなわち各画素データセット（Ｒ，Ｇ，Ｂ）は、
赤、緑、および青の輝度をそれぞれ示す３つのデータ
Ｒ，Ｇ，Ｂから構成され、かつ、各データはそれぞれ０
以上Ｉｍａｘ以下の値を取るとする。また１枚のフレー
ムがｍｍａｘ個の領域に分割されているとする。さらに
画素データセット（Ｒ１，Ｇ１，Ｂ１），（Ｒ２，Ｇ
２，Ｂ２）をそれぞれ有する２つの画素の色間距離ｄは
以下の式６６で定義されるものとする。

【０１８４】 ｄ＝｜Ｒ１−Ｒ２｜＋｜Ｇ１−Ｇ２｜＋｜Ｂ１−Ｂ２｜ …（66） ２枚のフレームのうちの一方のフレーム内のｉ番目の領
域内の全ての画素の画素データセット（Ｒ１，Ｇ１，Ｂ
１）が（０，０，０）であり、該２枚のフレームのうち
の他方のフレーム内のｉ番目の領域内の全ての画素の画
素データセット（Ｒ２，Ｇ２，Ｂ２）が（Ｉｍａｘ，Ｉ
ｍａｘ，Ｉｍａｘ）である場合、式６７で示すように、
これら２つの領域の相違度Ｄｉが最大になる。「Ｓｉ」
は、前記ｉ番目の領域内の面積、すなわち該領域内の画
素の数である。２枚のフレーム内の全ての各領域の相違
度Ｄｉがそれぞれ最大である場合、式６８に示すよう
に、２枚のフレームのフレーム間相違度Ｄが最大値Ｄｍ
ａｘになる。「ＳＦ」は、フレームの面積を示し、該フ
レーム内の全ての領域の面積の和と等しい。

【０１８５】 前記ＲＧＢデータの最大値Ｉｍａｘとフレームの面積Ｓ
Ｆとは、それぞれ画素の階調数および動画のサイズに依
存する。ゆえに、式６９に示すように、前記フレーム間
相違度の最大値Ｄｍａｘを正規化する。さらに本実施の
形態で用いられる各種のパラメータを、前記フレーム間
相違度の最大値Ｄｍａｘの正規化に合わせて、それぞれ
正規化する。

【０１８６】 ＤｍａｘＡ＝Ｄｍａｘ÷（３Ｉｍａｘ×ＳＦ）＝１．０ …（69） 前記フレーム間相違度の正規化後の最大値のＤｍａｘＡ
に対応するパラメータ、すなわち該最大値ＤｍａｘＡ＝
１の場合の正規化後のパラメータは、以下のとおりであ
る。カット点検出用閾値ＴＣは０．０２以上０．０４以
下の値である。第１の実施の形態の図７のステップＡ１
１におけるトランジション部分検出用の条件式内の閾値
ＴＬ２，ＴＬ３は、それぞれ０．０２である。第４およ
び第５の実施の形態の図１７，２０のステップＥ５，Ｆ
４における簡易形状チェックの閾値ＴＨＬ２，ＴＨＬ３
は、それぞれ０．０２である。第４の実施の形態の図１
７のステップＥ１０における放物線の形状判定時の誤差
ベクトルの閾値ＴＥは０．００６である。なお前記閾値
ＴＥは、サンプル数によって変化するので、平均値を示
している。第５の実施の形態の図２０のステップＦ４に
おけるＦＦＴの結果判定時の閾値ＴＬ，ＴＨは、それぞ
れ０．０２である。

【０１８７】第１〜第５の実施の形態の動画場面転換部
検出装置は、本発明の動画場面転換部検出装置の例示で
あり、主要な動作が等しければ、他の様々な形で実施す
ることができる。特に各部の詳細な動作は、同じ処理結
果が得られれば、これに限らず他の動作によって実現さ
れてもよい。また第２〜第４の実施の形態の動画場面転
換部検出装置、または第２，第３および第５の実施の形
態の動画場面転換部検出装置を適宜組合わせて、新たな
動画場面転換部検出装置としてもよい。

【０１８８】さらに、これら動画場面転換部検出装置
は、上述した動画内の場面転換部の検出動作を中央演算
処理回路に行わせるためのソフトウエアをコンピュータ
によって読出し可能な記憶媒体に記憶させ、このソフト
ウエアを動画の入力と記憶とが可能なコンピュータにイ
ンストールすることによって実現してもよい。この記憶
媒体には、ＣＤ−ＲＯＭおよびフロッピーディスクが挙
げられる。

【０１８９】また第５ならびに第４の実施の形態におい
て、トランジション部分の検出のために、第２および第
３フレーム間相違度の変化パターンを、３角関数を含む
関数ならびに２次関数によって、それぞれ近似してい
る。前記変化パターンは、これらの関数に限らず、他の
数式によって近似されてもよい。この際、３角関数を含
む関数、ならびに２次関数は、グラフに凸部が含まれ、
かつ該凸部の中心、幅、位置、高さなどを示すパラメー
タを容易に抽出することができる。ゆえに、３角関数を
含む関数ならびに２次関数が前記近似に用いられる場
合、変化パターンの近似および形状判定が容易になるの
で、好ましい。

【０１９０】本発明の動画場面転換部検出装置の応用例
を、以下に説明する。図２１は、本発明の動画場面転換
部検出装置を含む動画速見装置３２の機能的構成を示す
ブロック図である。動画速見装置３２は、動画記憶部３
４と動画再生部３５とを含む。動画記憶部３４および動
画再生部３５は、動画が記憶可能な媒体３７を、着脱自
由にそれぞれ取付け可能である。動画記憶部３４は、第
１〜第５の実施の形態の動画場面転換部検出装置のうち
のいずれか１つの装置（以後、「転換部検出装置」と略
称する）３１の他に、動画記録制御部４０、検出タイム
コード記憶部４１、タイムコード表記憶制御部４２を含
む。動画再生部３５は、動画読出し部４３、動画表示制
御部４４、表示部４５、タイムコード表読出し部４６、
読出しタイムコード記憶部４７、速見動画作成部４８、
速見動画記憶部４９とを含む。

【０１９１】処理対象となる動画、すなわち対象動画
は、前述の図２２で説明したものと等しい。このような
対象動画の各フレームを示すデータが、時間経過に伴っ
て順次的に、動画速見装置３２に入力される。なお動画
速見装置内で対象動画、および該動画内の各フレームは
データの形態で取扱われるが、以後の説明では取扱われ
る形態に拘わらず、「対象動画」，「フレーム」と称す
る。

【０１９２】前記対象動画の入力に先立って、動画記憶
部３３に媒体３７が装着される。動画記録制御部４０
は、順次的に入力される前記対象動画内の各フレーム
を、予め定める記憶形式で、逐次媒体３７に記憶させ
る。転換部検出装置３１は、順次入力される前記対象画
像の各フレームにそれぞれ基づき、該対象動画内の場面
転換部を逐次検出する。検出タイムコード記憶部４１
は、転換部検出装置３１によって場面転換部が検出され
るたびに、該場面転換部内のフレーム、または該画面転
換部に近接するフレームの前記対象動画内における発生
タイミングを示すタイムコードを、逐次記憶する。この
結果検出タイムコード記憶部４１は、転換部検出装置３
１が前記対象動画の先頭から末尾までの全てのフレーム
を処理し終えた時点で、該対象動画内から検出された全
ての場面転換部のタイムコードを、たとえば表形式で記
憶する。前記全ての場面転換部のタイムコードの集合
を、タイムコード表と称する。タイムコード表記録制御
部４２は、１つの前記対象動画を構成する全てのフレー
ムが媒体３７に記憶された後、該媒体３７に前記タイム
コード表を記憶させる。記憶後、媒体３７が動画記憶部
３３から取外される。

【０１９３】動画再生部３４は、媒体３７に記憶された
対象動画の再生と、該対象動画の速見とを行う。前記対
象動画の速見は、該対象動画の内容を操作者に容易に把
握させるために、前記対象動画内の各ショット内から少
なくとも１枚のフレームをそれぞれ抽出して表示する処
理である。前記対象動画の再生および速見に先立ち、前
記対象動画およびタイムコード表が記憶された媒体３７
が、動画再生部３４に装着される。

【０１９４】前記対象動画が再生される場合、媒体装着
後、動画読出し部４３は、媒体３７から前記対象動画を
読出し、動画表示制御部４４に与える。動画表示制御部
４４は、与えられた前記対象動画の各フレームを、前記
表示順で時間経過に伴って順次的に、表示可能なデータ
形式で表示部４５に与え、表示させる。この結果前記対
象動画が表示部４５に表示される。

【０１９５】前記対象動画の速見が行われる場合、媒体
装着後、タイムコード表読出し部４６は、媒体３７から
前記対象動画のタイムコード表を読出し、読出しタイム
コード記憶部４７に記憶させる。速見動画作成部４８
は、読出しタイムコード記憶部４７内のタイムコード表
に基づき、前記対象動画の各ショット内から少なくとも
１枚のフレームをそれぞれ選択し、選択した全てのフレ
ームを、動画読出し部４３によって媒体３７から読出さ
せる。たとえ速見動画作成部４８は、前記対象動画内
の、前記タイムコード表内の全てのタイムコードがそれ
ぞれ示す全てのフレームを、媒体３７から読出させる。
読出された全てのフレームは、動画読出し部４３から速
見動画作成部４８に与えられる。フレーム入手後、速見
動画作成部４８は、与えられた各フレームを、そのまま
の形状で、速見動画記憶部４９にそれぞれ記憶させる。
記憶後、速見動画作成部４８は、動画表示制御部４４
に、速見動画記憶部４９内の全てのフレームを、前記対
象動画内の表示順が早いものから順に、予め定める時間
間隔で、時間経過に伴い順次的に、表示部４５に表示さ
せる。この結果表示部４５に、前記対象動画の早回しに
相当する速見動画が表示される。媒体３７は、たとえば
ＶＴＲテープまたは光ディスクで実現される。媒体３７
が光ディスクである場合、光ディスクへのアクセスは一
般的にきわめて速いので、読出したフレームをそのまま
速見動画記憶部に記憶させてもよい。

【０１９６】また速見動画作成部４８は、前記フレーム
入手後、与えられた全てのフレームをそれぞれ縮小し、
縮小後の全てのフレームを合成して、一覧用のフレーム
を作成し、該フレームを速見動画記憶部４９に記憶させ
てもよい。この場合速見動画作成部４８は、フレーム記
憶後、動画表示制御部４４に、速見動画記憶部４９内の
前記一覧用のフレームを、予め定める期間内に、表示部
４５に表示させ続ける。また前記一覧用のフレームが複
数枚作成された場合、各一覧用のフレームを、予め定め
る期間ずつ、順次的にそれぞれ表示させ続ける。この結
果表示部４５に、前記対象動画の各ショットの一覧に相
当する一覧動画が、表示される。なおこの場合、前記一
覧動画は、視聴者から見て、静止画に見える。

【０１９７】このように本発明の転換部検出装置３１を
用いた動画速見装置３２は、前記対象動画内の各ショッ
トからそれぞれ少なくとも１枚ずつ抽出されたフレーム
を用いて、該対象動画の速見動画および一覧動画を作成
する。これに対し、一般的に従来技術の動画速見装置
は、ショットに拘わりなく、予め定める枚数おきに抽出
されたフレームを用いて、の速見動画および一覧動画を
作成している。この結果操作者は、本実施の形態の動画
速見装置３２によって生成された速見動画および一覧動
画を目視した場合のほうが、従来技術の動画速見装置に
よって生成された速見動画および一覧動画を目視する場
合よりも、対象動画の内容を確実かつ容易に把握するこ
とができる。これによって本実施の形態の動画速見装置
３２は、従来技術の動画速見装置よりも、操作者に、前
記対象動画の内容を、素早く把握させることができる。
また本実施の形態の動画速見装置は、前記対象動画内の
操作者が所望のショットを、操作者に容易に検索させる
ことができる。

【０１９８】またたとえば本発明の転換部検出装置は、
前記対象動画の編集のための動画編集装置に用いられて
もよい。この場合前記動画編集装置は、対象動画の編集
に先立ち、前記転換部検出装置の検出結果に基づいて該
対象動画内のショットを容易に把握することができるの
で、該編集をショット単位で行うことができる。この結
果前記動画編集装置は、対象動画を効率的に編集するこ
とができる。

【０１９９】さらにまたたとえば本発明の転換部検出装
置は、前記対象動画を符号化するための動画符号化装置
に用いられてもよい。一般的に、動画の符号化に際し、
該動画内のカット点前後のフレームは相違度が大きいた
めに符号量が増大しやすく、また該動画内のディゾルブ
効果を用いたトランジション部分内のフレームは動き予
測が困難になるので符号量が増加しやすい。この場合前
記動画符号化装置は、対象動画の符号化に先立ち、前記
転換部検出装置の検出結果に基づいて該対象動画内のシ
ョットを容易に把握することができるので、符号化前に
カット点およびトランジション部分を検出して、該部分
の符号量を抑制するための適切な処理を施すことができ
る。この結果前記動画符号化装置は、符号化後の対象画
像の符号量を抑制することができる。

【０２００】このように本発明の動画場面転換部検出装
置は、上述した対象動画に対する各種の処理に限らず、
対象動画に対するどのような処理のための装置に用いら
れても良い。この結果対象画像に対する処理を行う際
に、該対象画像のショットを考慮することができるの
で、処理を適確に行うことができる。

【０２０１】

【発明の効果】以上のように第１の発明によれば、動画
場面転換部検出装置は、動画内のフレームの複数の各離
反フレーム間相違度の、該フレームの表示順に基づく変
化の特性を検出し、該特性に基づいて、前記動画内から
トランジション効果を用いた場面転換部を検出する。こ
の結果前記装置は、トランジション効果の種類に拘わり
なく、動画内から前記場面転換部を、精度良く検出する
ことができる。

【０２０２】また第２の発明によれば、前記動画場面転
換部検出装置は、前記各フレームの離反フレーム間相違
度を、該各フレームを分割したものである複数の領域の
代表色およびその出現頻度に基づいて計算する。この結
果前記動画場面転換部検出装置は、前記場面転換部の検
出精度を、さらに向上させることができる。

【０２０３】さらにまた第３の発明によれば、前記動画
場面転換部検出装置は、前記特性として、各離反フレー
ム間相違度の変化パターンと複数の基準パターンとの比
較結果を出力する。すなわち前記動画場面転換部検出装
置は、前記複数の離反フレーム間相違度の変化パターン
に基づき、前記動画から前記場面転換部を容易に検出す
ることができる。

【０２０４】また第４の発明によれば、前期動画場面転
換部検出装置は、前記各離反フレーム間相違度の変化パ
ターンを近似する近似式を求め、該近似式に基づいて前
記変化パターンと基準パターンとの比較結果を求める。
この結果前記動画場面転換部検出装置は、前記場面転換
部の検出精度を、さらに向上させることができる。さら
にまた第５および第６の発明によれば、前記近似式は、
２次関数または三角関数を含む関数である。この結果前
記動画場面転換部検出装置は、前記各変化パターンと前
記各基準パターンとの比較を、容易に行うことができ
る。

【０２０５】また第７の発明によれば、前記動画場面転
換部検出装置は、動画内の各フレームの隣接フレーム間
相違度に基づき、動画内のカット点をさらに検出し、か
つ、前記各隣接フレーム相違度を、動画内の各ショット
の撮影時のカメラおよび被写体の動きに起因する成分が
小さくなるように、補正する。この結果前記動画場面転
換部検出装置は、トランジション効果を用いた場面転換
部に加えて、カット点である場面転換部も検出すること
ができ、かつ、カット点の検出精度を向上させることが
できる。また第８の発明によれば、前記動画場面転換部
検出装置は、動画内の各フレームの隣接フレーム間相違
度に基づき、動画内のカット点をさらに検出し、さら
に、動画内の各ショット内の連続する２つのフレームの
離散フレーム間相違度が前記カット点検出用閾値以上で
あり、かつ該フレームを含み連続する複数のフレームの
離散フレーム間相違度が該閾値以上である場合だけ、カ
ット点があると判断する。この結果前記動画場面転換部
検出装置は、トランジション効果を用いた場面転換部に
加えて、カット点である場面転換部も検出することがで
きる。また前記装置は、フラッシュの影響に起因するカ
ット点の誤検出を防止することができるので、カット点
の検出精度を向上させることができる。

【０２０６】さらにまた第９の発明によれば、動画場面
転換部検出装置は、動画内の各フレームの複数の各離反
フレーム間相関の表示順に基づく変化の特性を検出し、
該特性に基づいて、前記動画内からトランジション効果
を用いた場面転換部を検出する。この結果前記装置は、
前記離反フレーム間相違度の代わりに、前記離反フレー
ム間相関を用いて、前記場面転換部を検出することがで
きる。

【０２０７】また第１０の発明に従えば、動画場面転換
部検出方法において、動画内の各フレームの複数の各離
反フレーム間相違度の表示順に基づく変化の特性が検出
され、該特性に基づいて、前記動画内から前記場面転換
部が検出される。さらにまた第１１の発明に従えば、前
記媒体は、コンピュータにインストールして実行させた
場合に該コンピュータを第１の発明の動画場面転換部検
出装置と同様に動作させるための前記動画場面転換部検
出制御プログラムを含む。これらの結果、前記方法が用
いられた場合、または前記プログラムがコンピュータに
よって実行された場合、トランジション効果の種類に拘
わらず、動画内から前記場面転換部が精度よく検出され
る。

【０２０８】第１２の発明によれば、動画処理装置は、
前記第１〜第９の発明のうちのいずれかの動画場面転換
部検出装置を備え、該動画場面転換部検出装置の検出結
果に基づき、入力された動画を処理する。この結果前記
動画処理装置は、動画をショット単位で処理する場合
に、前記場面転換部の検出に要する負担を軽減し、かつ
動画の処理精度を向上することができる。

【０２０９】また第１３の発明によれば、前記動画処理
装置は、前記検出結果に基づいて、前記動画内から複数
のフレームを抽出して、該フレームを順次表示する。さ
らにまた第１４の発明によれば、前記動画処理装置は、
前記検出結果に基づいて、前記動画内から複数のフレー
ムを抽出し、該各フレームを縮小しかつ合成して、この
結果得られる合成フレームを、表示する。これらの結
果、前記動画処理装置の操作者は、元の動画の内容を、
適確かつ短時間に把握することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態である動画場面転換
部検出装置３１の機能的構成を示すブロック図である。

【図２】動画内のトランジション部分およびその近傍の
フレームを、表示順に並べて示す図である。

【図３】動画内のトランジション部分およびその近傍の
フレームの離反フレーム間相違度の、フレームの並べ順
に従う変化を、概略的に示すグラフである。

【図４】動画内のトランジション部分およびその近傍の
フレームの第１〜第３フレーム間相違度の、フレームの
並べ順に従う変化を、具体的に示すグラフである。

【図５】フレーム間相違度の算出に関し、着目フレーム
が先行ショット内、トランジション部分内、後続ショッ
ト内にある場合の比較用フレームとトランジション部分
との関係を示す図である。

【図６】動画内のカット点およびその近傍のフレームの
第１〜第３フレーム間相違度の、フレームの並べ順に従
う変化を、具体的に示すグラフである。

【図７】第１の実施の形態の動画場面転換部検出装置３
１における動画内の場面転換部の検出処理を説明するた
めのフローチャートである。

【図８】図７の検出処理において、相違度記憶部５６内
の第２および第３バッファ群内の複数の相違度バッファ
に記憶された第２および第３フレーム間相違度と、相違
度バッファのバッファ番号との関係を示すグラフであ
る。

【図９】図７の検出処理において、相違度記憶部５６内
の第２および第３バッファ群内の複数の相違度バッファ
に記憶された第２および第３フレーム間相違度と、相違
度バッファのバッファ番号との関係を示すグラフであ
る。

【図１０】本発明の第２の実施の形態である動画場面転
換部検出装置において、動画内の各フレームのフレーム
特徴の抽出手法およびフレーム間相違度の算出手法を概
略的に説明する図である。

【図１１】第２の実施の形態の動画場面転換部検出装置
内のフレーム特徴抽出部における任意の１枚のフレーム
のフレーム特徴の抽出手法を説明するための図である。

【図１２】図１１のフレーム特徴の抽出手法において、
フレームの分割状態を説明するための図である。

【図１３】第２の実施の形態の動画場面転換部検出装置
内の相違度計算部における任意の２枚のフレーム間のフ
レーム間相違度の計算手法を説明するための図である。

【図１４】本発明の第３の実施の形態の動画場面転換部
検出装置のカット点検出部におけるカット点の検出手法
を説明するために、カット点およびその近傍のフレーム
の補正前の第１フレーム間相違度のフレームの並べ順に
従う変化を示すグラフである。

【図１５】第３の実施の形態の動画場面転換部検出装置
のカット点検出部におけるカット点の検出手法を説明す
るために、カット点およびその近傍のフレームの補正後
の第１フレーム間相違度のフレームの並べ順に従う変化
を示すグラフである。

【図１６】第３の実施の形態の動画場面転換部検出装置
のカット点検出部におけるカット点の検出手法を説明す
るためのフローチャートである。

【図１７】本発明の第４の実施の形態である動画場面転
換部検出装置の特徴形状検出部におけるトランジション
部分の検出手法を説明するためのフローチャートであ
る。

【図１８】本発明の第５の実施の形態である動画場面転
換部検出装置の特徴形状検出部におけるトランジション
部分の検出手法において、第２フレーム間相違度の変化
パターンを近似するべき波形を示すグラフである。

【図１９】第５の実施の形態の動画場面転換部検出装置
の特徴形状検出部におけるトランジション部分の検出手
法において、第３フレーム間相違度の変化パターンを近
似するべき波形を示すグラフである。

【図２０】第５の実施の形態の動画場面転換部検出装置
の特徴形状検出部におけるトランジション部分の検出手
法を説明するためのフローチャートである。

【図２１】本発明の動画場面転換部検出装置を含む動画
早見装置３２の電気的構成を示すブロック図である。

【図２２】動画の構成を示す模式図である。

【図２３】動画内のカット点ならびにディゾルブおよび
ワイプをそれぞれ用いたトランジション部分およびその
近傍のフレームを、フレームの表示順に並べた図であ
る。

【符号の説明】

３１ 動画場面転換部検出装置 ５１ フレーム展開部 ５３ フレーム内特徴抽出部 ５５ 相違度計算部 ５７ 特徴形状検出部 ５８ カット検出部 ５９ 検出結果出力部 ６０ 制御回路

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C053 FA14 GB19 HA26 HA29 KA04 KA24 LA06 LA11 5C055 AA01 AA03 BA03 CA16 FA01 GA44 5L096 AA13 FA15 FA34 FA52 GA08 GA19 GA40 HA02 HA08 JA03 JA11 9A001 GG01 HH30 JJ71

Claims (14)

【特許請求の範囲】
1. 【請求項１】 複数のショットから構成される動画を記
   憶し、該各ショットは特徴が同一または近似しかつ時間
   経過に伴って順次的に表示されるべき複数のフレームか
   らそれぞれ構成される動画記憶手段と、 前記動画内のいずれか１つのフレームである第１フレー
   ムの、前記動画内のフレームの表示順に予め定める複数
   の基準枚数だけ該第１フレームからそれぞれ離れた複数
   の第２フレームとの特徴の相違の程度をそれぞれ表す複
   数の離反フレーム間相違度を、前記第１フレームをずら
   してそれぞれ演算する離反フレーム間相違度演算手段
   と、 前記フレームの前記各第２フレームに対応する離反フレ
   ーム間相違度の前記表示順に従う変化の特性を、それぞ
   れ検出する特性検出手段と、前記特性検出手段によって
   検出された特性に基づいて、動画内の表示順が隣接する
   べきフレームが重なって合成されたトランジション効果
   を有する合成フレームを、動画内から検出するトランジ
   ション検出手段とを含むことを特徴とする動画場面転換
   部検出装置。
2. 【請求項２】 前記各フレームを１または複数の領域に
   区分し、前記各フレーム内の各領域を代表する少なくと
   も１つの色と該各領域内の該色の出現頻度とをそれぞれ
   検出して、該各フレーム内の全ての領域の検出された色
   および出現頻度の組合わせを、前記各フレームの前記特
   徴を示す特徴データとして出力する特徴データ生成手段
   をさらに含み、 前記離反フレーム間相違度算出手段は、前記特徴データ
   に基づき、前記各離反フレーム間相違度をそれぞれ算出
   することを特徴とする請求項１記載の動画場面転換部検
   出装置。
3. 【請求項３】 前記特性検出手段は、前記表示順が連続
   する複数のフレームの複数の離反フレーム間相違度の前
   記表示順に伴う変化パターンが、予め定める複数の基準
   パターンとそれぞれ一致するか否かを判断し、 前記全ての基準パターンのうち、前記いずれか１つの離
   反フレーム間相違度の変化パターンと比較されるべき第
   １基準パターン、および該いずれか１つの離反フレーム
   間相違度よりも算出時の前記基準枚数が多い離反フレー
   ム間相違度の変化パターンと比較されるべき第２基準パ
   ターンは、該第１および第２基準パターンをそれぞれ示
   すグラフの形状が凸状であり、かつ、前記第１基準パタ
   ーンのグラフの高さおよび幅がそれぞれ前記第２基準パ
   ターンのグラフの高さおよび幅未満であることを特徴と
   する請求項１記載の動画場面転換部検出装置。
4. 【請求項４】 前記表示順が連続する複数のフレームの
   各離反フレーム間相違度の変化パターンをそれぞれ近似
   するグラフの数式をそれぞれ求める近似式算出手段をさ
   らに含み、 前記特性検出手段は、求められた複数の前記数式に基づ
   いて定められるパラメータに基づき、該各数式のグラフ
   で近似される変化パターンが前記各基準パターンと一致
   するか否かを判断することを特徴とする請求項１記載の
   動画場面転換部検出装置。
5. 【請求項５】 前記数式は、２次関数であり、 前記パラメータは、前記算出された２次関数の係数であ
   ることを特徴とする請求項４記載の動画場面転換部検出
   装置。
6. 【請求項６】 前記数式は、正弦関数を含む関数であ
   り、 前記パラメータは、前記算出された関数内の正弦関数の
   位相およびゲインであることを特徴とする請求項４記載
   の動画場面転換部検出装置。
7. 【請求項７】 前記動画内の各フレーム毎に、該各フレ
   ームの表示順と１つだけ異なる表示順のフレームと該各
   フレームとの特徴の違いを示す隣接フレーム間相違度
   を、それぞれ算出する隣接フレーム間相違度算出手段
   と、 前記各フレームの隣接フレーム間相違度から、該各フレ
   ームを含み表示順が連続した複数のフレームのうちの該
   各フレームを除く残余のフレームの隣接フレーム間相違
   度と予め定める複数の重み係数との積の総和を、それぞ
   れ減算する隣接フレーム間相違度補正手段と、 前記減算後の隣接フレーム間相違度が予め定めるカット
   点検出用閾値以上のフレームを、前記動画内から検出す
   るフレーム検出手段と、 前記検出されたフレームに基づき、前記動画内のカット
   点を検出するカット点検出手段とをさらに含み、 前記残余の各フレームの隣接フレーム間相違度に乗算さ
   れる各重み係数は、前記残余のフレームの隣接フレーム
   間相違度のうちの該各隣接フレーム間相違度よりも小さ
   い隣接フレーム間相違度に乗算される重み係数以上であ
   ることを特徴とする請求項１記載の動画場面転換部検出
   装置。
8. 【請求項８】 前記動画内の各フレーム毎に、該各フレ
   ームの表示順と１つだけ異なる表示順のフレームと該各
   フレームとの特徴の違いを示す隣接フレーム間相違度
   を、それぞれ算出する隣接フレーム間相違度算出手段
   と、 前記動画内から、隣接フレーム間相違度が予め定めるカ
   ット点検出用閾値以上の全てのフレームのうち、該各フ
   レームを含み配列順が連続する複数の各フレームのいず
   れか１つの離散フレーム間相違度が、全て予め定める閾
   値以上であるフレームを、検出するフレーム検出手段
   と、 前記検出されたフレームに基づき、前記動画内のカット
   点を検出するカット点検出手段とをさらに含むことを特
   徴とする請求項１記載の動画場面転換部検出装置。
9. 【請求項９】 複数のショットから構成される動画を記
   憶し、該各ショットは特徴が同一または近似しかつ時間
   経過に伴って順次的に表示されるべき複数のフレームか
   らそれぞれ構成される動画記憶手段と、 前記動画内のいずれか１つのフレームである第１フレー
   ムの、前記動画内のフレームの表示順に予め定める複数
   の基準枚数だけ該第１フレームからそれぞれ離れた複数
   の第２フレームとの相関をそれぞれ表す複数の離反フレ
   ーム間相関を、前記第１フレームをずらしてそれぞれ演
   算する離反フレーム間相関演算手段と、前記フレームの
   前記各第２フレームに対応する離反フレーム間相関の前
   記表示順に従う変化の特性を、それぞれ検出する特性検
   出手段と、前記特性検出手段によって検出された特性に
   基づいて、動画内の表示順が隣接するべきフレームが重
   なって合成されたトランジション効果を有する合成フレ
   ームを、動画内から検出するトランジション検出手段と
   を含むことを特徴とする動画場面転換部検出装置。
10. 【請求項１０】 特徴が同一または近似しかつ時間経過
    に伴って順次的に表示されるべき複数のフレームからそ
    れぞれ構成される複数のショットから構成される動画を
    記憶させる処理と、 前記動画内のいずれか１つのフレームである第１フレー
    ムの、前記動画内のフレームの表示順に予め定める複数
    の基準枚数だけ該第１フレームからそれぞれ離れた複数
    の第２フレームとの特徴の相違の程度をそれぞれ表す複
    数の離反フレーム間相違度を、前記第１フレームをずら
    してそれぞれ演算する処理と、 前記フレームの前記各第２フレームに対応する離反フレ
    ーム間相違度の前記表示順に従う変化の特性を、それぞ
    れ検出する処理と、 前記検出された特性に基づいて、動画内の表示順が隣接
    するべきフレームが重なって合成されたトランジション
    効果を有する合成フレームを、動画内から検出する処理
    とを含むことを特徴とする動画場面転換部検出方法。
11. 【請求項１１】 特徴が同一または近似しかつ時間経過
    に伴って順次的に表示されるべき複数のフレームからそ
    れぞれ構成される複数のショットから構成される動画か
    ら、該動画内の表示順が隣接するべきフレームが重なっ
    て合成されたトランジション効果を有する合成フレーム
    を、コンピュータに検出させるための動画場面転換部検
    出制御プログラムを記憶する媒体であって、 前記動画場面転換部検出制御プログラムは、コンピュー
    タに、 前記動画内のいずれか１つのフレームである第１フレー
    ムの、前記動画内のフレームの表示順に予め定める複数
    の基準枚数だけ該第１フレームからそれぞれ離れた複数
    の第２フレームとの特徴の相違の程度をそれぞれ表す複
    数の離反フレーム間相違度を、前記第１フレームをずら
    してそれぞれ演算させ、 前記フレームの前記各第２フレームに対応する離反フレ
    ーム間相違度の前記表示順に従う変化の特性を、それぞ
    れ検出させ、 前記検出された特性に基づいて、前記合成フレームを動
    画内から検出させることを特徴とする動画場面転換部検
    出制御プログラムを記憶する媒体。
12. 【請求項１２】 フレームが表示可能な表示手段と、 請求項１〜９のうちのいずれかに記載の動画場面転換部
    検出装置と、 前記動画場面転換部検出装置によって検出された合成フ
    レームの動画内の位置に基づき、前記動画内の各ショッ
    ト内から、少なくとも１枚のフレームをそれぞれ抽出す
    るフレーム抽出手段と、 抽出された前記フレームを前記表示手段に表示させる表
    示制御手段とを含むことを特徴とする動画処理装置。
13. 【請求項１３】 前記表示制御手段は、前記抽出された
    全てのフレームを、前記動画内の表示順が早いものから
    順に、時間経過に伴って順次的に、前記表示手段に表示
    させることを特徴とする請求項１２記載の動画処理装
    置。
14. 【請求項１４】 前記表示制御手段は、前記抽出された
    各フレームを縮小し、縮小された該各フレームを合成し
    た合成フレームを、前記表示手段に表示させることを特
    徴とする請求項１２記載の動画処理装置。