JP2006041794A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】 動画像データまたは静止画像データについてフレーム間の相関に基づく編集作業を簡単な操作で行うことのできる画像処理装置を提供する。
【解決手段】 時間的に連続する複数のフレームで構成された動画像データに基づいて、該動画像データのフレーム間変化の度合を示すフレーム変化量データを生成し、前記フレーム変化量データを前記動画像データに関連付けて出力する変化量データ生成部と、前記フレーム間変化の閾値を変更するための入力部と、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を抽出し、前記動画像データを前記変化点に対応するフレームで区切って複数のシーンを設定するシーン設定部と、前記シーンを選択するための選択画面を出力する表示手段と、を有し、前記シーン設定部は、前記閾値の変更に伴って前記シーンを構成するフレームを変更することを特徴とする。
【選択図】 図１

Description

本発明は、動画像データまたは複数の静止画像データの編集を行う画像処理装置について、特にフレーム間の相関に基づいて画像データを編集する画像処理装置に関する。

近年、被写体像を光電変換して動画像または静止画像を撮影し、これらの撮影画像データを半導体メモリ等の記録媒体に記録する電子カメラが急速に普及している。一般的な電子カメラには撮影画像データの編集処理を行う機能が付加されており、例えば記録媒体の空き容量が少ない場合に撮影画像データを削除するなど、電子カメラ上でユーザーが撮影画像データの編集を行う機会も多い。上記のように電子カメラ上で撮影画像データを編集する場合には、簡易な操作で迅速に編集できることが要望されている。

ここで、動画像の編集を容易にする一手法として、フレーム間の相関に基づいて動画像データのシーンが変化する変化点を抽出し、シーン単位で編集処理を行う画像処理装置が公知である（特許文献１および特許文献２参照）。
特開平５−３３４３７４号公報 特開平９−２９８６８４号公報

しかし、上記特許文献１および特許文献２の画像処理装置では、ユーザーが変化点のフレームを変更する場合には、ユーザーが変化点のフレームを逐一指定する必要がある。そのため、特に電子カメラ上では変化点の変更に関する操作が比較的困難であり、かつ変化点の変更を迅速に行えない点で改善の余地があった。また、上記特許文献１および特許文献２の画像処理装置は動画像データの編集に関するものであり、静止画像データの編集に関しては一切開示されてはいない。

本発明は上記従来技術の課題を解決するためのものであって、その目的は、動画像データまたは静止画像データについてフレーム間の相関に基づく編集作業を簡単な操作で行うことのできる画像処理装置を提供することである。

請求項１の発明に係る画像処理装置は、時間的に連続する複数のフレームで構成された動画像データに基づいて、該動画像データのフレーム間変化の度合を示すフレーム変化量データを生成し、前記フレーム変化量データを前記動画像データに関連付けて出力する変化量データ生成部と、前記フレーム間変化の閾値を変更するための入力部と、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を抽出し、前記動画像データを前記変化点に対応するフレームで区切って複数のシーンを設定するシーン設定部と、前記シーンを選択するための選択画面を出力する表示手段と、を有し、前記シーン設定部は、前記閾値の変更に伴って前記シーンを構成するフレームを変更することを特徴とする。

請求項２の発明は、請求項１の発明において、前記動画像データを生成する撮像部をさらに有し、前記変化量データ生成部は、前記動画像データの生成時に前記フレーム変化量データを生成することを特徴とする。
請求項３の発明は、請求項１または請求項２の発明において、前記シーン設定部は、前記シーンの任意の１フレームからインデックス画像を生成して前記表示手段に出力し、前記表示手段は、前記選択画面において前記インデックス画像を前記シーンを示す表示に関連付けて表示することを特徴とする。

請求項４の発明は、請求項１から請求項３の発明において、前記シーン設定部は、複数の前記シーンを含む上位シーン毎に前記動画像データを選択することが可能であって、前記表示手段は、前記選択画面において前記上位シーンおよび前記シーンの階層関係を表示することを特徴とする。
請求項５の発明は、請求項１から請求項４の発明において、前記動画像データがＭＰＥＧ形式で圧縮され、前記シーン設定部は、前記変化点に対応するフレームがＧＯＰの中間に位置する場合には、当該ＧＯＰの先頭フレームまたは次のＧＯＰの先頭フレームを前記変化点に対応するフレームに設定して前記動画像データを区切ることを特徴とする。

請求項６の発明に係る画像処理装置は、所定の順番で配列された複数の静止画像データに基づいて、該配列された静止画像データのフレーム間変化の度合を示すフレーム変化量データを生成する変化量データ生成部と、前記フレーム間変化の閾値を変更するための入力部と、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を抽出し、前記静止画像データの配列において前記変化点で区切られた範囲に含まれる前記静止画像データをグループ化するグループ設定部と、前記グループ化に関する画面を出力する表示手段と、を有し、前記グループ設定部は、前記閾値の変更に伴って前記静止画像データをグループ化する範囲を変更することを特徴とする。

請求項７の発明に係る画像処理プログラムは、変化量データ生成部と、入力部と、シーン設定部と、表示手段と、各部を制御する制御部とを有する画像処理装置について以下の手順を有している。
すなわち、前記制御部は、前記変化量データ生成部が、時間的に連続する複数のフレームで構成された動画像データに基づいて、該動画像データのフレーム間変化の度合を示すフレーム変化量データを生成し、前記フレーム変化量データを前記動画像データに関連付けて出力する手順と、前記入力部からの入力に基づいて前記フレーム間変化の閾値を変更する手順と、前記シーン設定部が、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を前記閾値の変更毎に抽出し、前記変化点に対応するフレームで前記動画像データを区切ってシーンを生成する手順と、前記表示手段が、前記シーンを選択するための選択画面を出力する手順と、を実行する。

請求項８の発明に係る画像処理プログラムは、変化量データ生成部と、入力部と、グループ設定部と、表示手段と、各部を制御する制御部とを有する画像処理装置について以下の手順を有している。
すなわち、前記制御部は、前記変化量データ生成部が、所定の順番で配列された複数の静止画像データに基づいて、該配列された静止画像データのフレーム間変化の度合を示すフレーム変化量データを生成する手順と、前記入力部からの入力に基づいて前記フレーム間変化の閾値を変更する手順と、前記グループ設定部が、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を前記閾値の変更毎に抽出し、前記静止画像データの配列において前記変化点で区切られた範囲に含まれる前記静止画像データをグループ化する手順と、前記表示手段が、前記グループ化の結果を出力する手順と、を実行する。

本発明によれば、動画像データの編集においてユーザーが閾値を変更入力することで自動的に変化点のフレームが変更される。したがって、ユーザーの意図通りに編集対象のシーンの長さを簡単な操作で迅速に変更でき、特に電子カメラ上での動画像データ編集の利便性が大幅に向上する。
また、本発明によれば、複数の静止画像データの編集において、配列された静止画像データの相関に基づいて自動的にグループ化が行われ、かつユーザーが閾値を変更入力することで自動的に静止画像データが再グループ化される。したがって、ユーザーの意図通りにグループ化による静止画像データの選択などを簡単な操作で迅速に行うことができ、特に電子カメラ上での静止画像データ編集の利便性が大幅に向上する。

以下、図面に基づいて本発明の実施の形態を詳細に説明する。
（第１実施形態の説明）
図１は第１実施形態の画像処理装置の機能ブロック図である（請求項１〜請求項４の画像処理装置および請求項７の画像処理プログラムに対応する）。第１実施形態では画像処理装置は電子カメラに搭載されており、電子カメラは「撮影モード」および「編集モード」を有している。そして、「撮影モード」では、Ｍｏｔｉｏｎ−ＪＰＥＧ形式やＭｏｔｉｏｎ−ＪＰＥＧ２０００形式などの動画像データを生成し、「編集モード」では、撮影モードで生成した動画像データの編集を行うことができる。

電子カメラ１は、撮像素子２と、アナログ信号処理部３と、Ａ／Ｄ変換部４と、デジタル信号処理部５と、カードインターフェース６および記録媒体７と、表示コントローラ８およびＬＣＤ９と、操作部１０と、各部を接続するシステムバス１１と、ＣＰＵ１２とを有している。
撮像素子２は図示しない撮影光学系の像空間側に配置されている。撮像素子の受光面には、被写体像を光電変換してアナログ画像信号を生成する受光素子が２次元配列されている。そして、撮像素子２の受光面に投影された被写体像は、受光素子により光電変換されてアナログ画像信号として出力される。

アナログ信号処理部３は相関二重サンプリングによってノイズ成分を低減するＣＤＳ回路や、ノイズ除去後の信号利得を増幅するゲイン回路や、入力信号の波形の特定部分を一定の電圧レベルにクランプするクランプ回路などで構成されている。また、Ａ／Ｄ変換部４は、アナログ画像信号をデジタル画像信号に変換してデジタル信号処理部５に出力する。

デジタル信号処理部５は画像処理と圧縮伸張処理とを実行するＡＳＩＣである。すなわち、デジタル信号処理部５は、各フレームを構成するデジタル画像信号に対して輪郭補償やガンマ補正、ホワイトバランス調整などの各種画像処理を行い、時間的に連続した複数のフレームで構成される動画像データを生成する。また、デジタル信号処理部５は、動画像データを所定の規格に従って圧縮し、あるいは圧縮された動画像データを所定の規格に従って伸張して復元する。

さらに、デジタル信号処理部５は「撮影モード」における動画像データの生成時に各フレーム間の変化をそれぞれ検出してフレーム変化量データを生成する。このフレーム変化量データは動画像データのフレーム間変化の度合を示すものであって、後述の「編集モード」での変化点の抽出に使用される。なお、フレーム変化量データは動画像データに関連付けて出力され、デジタル信号処理部５から出力された動画像データおよびフレーム変化量データは記録媒体７に記録される。

ここで、フレーム変化量データの生成は以下のようにして行われる。例えば、（１）デジタル信号処理部５は１画面（または１画面の分割領域）毎に輝度レベルのヒストグラムを演算し、隣接フレーム間でのヒストグラムの差分量総和を各フレームのフレーム変化量データとして出力する。あるいは、（２）デジタル信号処理部５は圧縮処理後の各フレーム間の符号量の差分を演算し、この差分値を各フレームのフレーム変化量データとして出力する。なお、各フレームに対応するフレーム変化量データは、フレーム間変化が大きい程その値が大きなものとなる。

カードインターフェース６には記録媒体７が接続されている。カードインターフェース６は、ＣＰＵ１２の指示によって記録媒体７にランダムアクセスでの書込／読出の制御を行う。記録媒体７は、例えば公知の半導体メモリなどで構成され、電子カメラ１に着脱可能に装着されている。
表示コントローラ８にはＬＣＤ９が接続されている。表示コントローラ８はＬＣＤ９を制御し、ＣＰＵ１２の画像出力に基づく画面（例えば、電子カメラ１の設定画面や編集モードでの選択画面等）をＬＣＤ９に表示する。また、表示コントローラ８は外部出力端子を有しており、該外部出力端子を介して接続されたモニタにもＣＰＵ１２の画像出力に基づく画面を表示できるようになっている（外部出力端子およびモニタの図示は省略する）。

操作部１０は例えばコマンドダイヤルや十字状のカーソルキーなどで構成され、編集モードにおけるフレーム間変化の閾値の変更入力や、編集する画像データの選択入力などに使用される。
ＣＰＵ１２は「撮影モード」や「編集モード」における電子カメラ１の各部動作を制御する。例えば、ＣＰＵ１２は、撮像素子２の信号読み出し制御、デジタル信号処理部５の画像処理および圧縮伸張の制御、カードインターフェース６へのデータ書込／読出の指示、表示コントローラ８への画像出力制御などを実行する。

また、ＣＰＵ１２はフレーム変化量データに基づいて閾値以上のフレーム間変化が生じる変化点を抽出する。そして、ＣＰＵ１２は変化点に対応するフレームで動画像データを区切って、１つの動画像データを複数のシーンに分割する。さらに、ＣＰＵ１２は変化点に対応するフレームに基づいて、上記のシーン毎にインデックス画像を生成する。そして、ＣＰＵ１２は「編集モード」において表示コントローラ８に選択画面を出力し、この選択画面で選択された動画像データの編集処理を実行する。

第１実施形態の画像処理装置は上記のように構成され、以下、図２の流れ図に沿って画像処理装置の「編集モード」における動作を説明する。なお、この「編集モード」で編集される動画像データは、「撮影モード」においてフレーム変化量データが生成されている動画像データである。
ステップＳ１０１：ＣＰＵ１２は記録媒体７に記録された動画像データを読み出して選択画面上に動画像データをインデックス表示（例えば、動画像データの先頭フレーム画像の表示など）する。そしてＣＰＵ１２は編集対象となる動画像データをユーザーに選択させる。

ステップＳ１０２：ＣＰＵ１２はステップＳ１０１で選択された動画像データのシーン分割を行うか否かをユーザーの入力に基づいて判定する。シーン分割を行う場合（ＹＥＳ側）にはステップＳ１０３に移行し、シーン分割を行わない場合（ＮＯ側）にはステップＳ１０９に移行する。
ステップＳ１０３：ＣＰＵ１２はユーザーの入力に基づいてフレーム間変化の閾値を設定する。

ステップＳ１０４：ＣＰＵ１２は編集中の動画像データに対応するフレーム変化量データから閾値（Ｓ１０３）以上のフレーム間変化が生じる変化点を抽出する。そして、ＣＰＵ１２は変化点に対応するフレームで動画像データを区切って複数のシーンを設定する。例えば、図３に示す動画像データにおいて閾値が７に設定されている場合、ＣＰＵ１２は７以上のフレーム間変化が生じる５フレーム、２０フレームを変化点として抽出する（図３参照）。

ステップＳ１０５：ＣＰＵ１２はステップＳ１０４で設定されたシーンを選択画面に表示する。ここで、ＣＰＵ１２は先頭フレームおよび変化点のフレームからインデックス画像を生成し、選択画面にシーンを示すアイコンとしてインデックス画像を表示する。上記Ｓ１０４の例であれば、選択画面には、先頭フレーム、３フレーム、１２フレームのインデックス画像がシーンのアイコンとして表示されることとなる。また、選択画面上には各シーンを構成するフレーム数、シーンの再生時間、動画像データ全体におけるそのシーンの割合等の情報が示されていてもよい。これにより、ユーザーは選択画面においてシーンの設定が適切か否かを判断できる。

ステップＳ１０６：ＣＰＵ１２はシーンの設定を変更するか否かをユーザーの入力に基づいて判定する。設定変更を行う場合（ＹＥＳ側）にはステップＳ１０３に戻って、ＣＰＵ１２はステップＳ１０３〜Ｓ１０５の一連の動作を再度繰り返す。この場合には閾値の変更に伴って変化点のフレームも変化し、動画像データのシーン数および各シーンを構成するフレームが変動する。

例えば、上記Ｓ１０４の例で閾値が３に再設定された場合には、３，６，１２，１５，２０フレームが変化点のフレームに対応することとなる（図３参照）。したがって、ユーザーは操作部１０で閾値を変更することでシーンの設定を簡単かつ迅速に変更し、動画像データをユーザーの意図通りに分割することができる。一方、設定変更を行わない場合（ＮＯ側）にはステップＳ１０７に移行する。

ステップＳ１０７：ＣＰＵ１２は、複数のシーンに分割された動画像データの編集を実行する。この編集処理の例としては、（１）シーン単位での動画像データの削除、（２）シーン単位での動画像データの再生、（３）ユーザーが選択したシーンを別のシーンの間に挿入して動画像データのフレーム順を変更すること、等が挙げられる。したがって、ユーザーは意図通りの複数のシーンで分割された動画像データを簡単な操作で編集することができる。

例えば、ユーザーは不要なシーンをカットすることで動画像データのデータ量を削減でき、これによって記録媒体７の残容量を増加させたり、通信時の動画像データの送信時間を短縮することが可能となる。また、ユーザーは所定のシーンを選択的に再生して、頭出し等を行うことなくユーザーが望む場面のみを迅速に視聴することもできる。さらに、撮影現場にパソコン等を携帯しなくとも、電子カメラ上でシーンの入れ替えなどの高度な動画編集が簡単な操作で行えるので、ユーザーの利便性が大幅に向上する。

ここで、シーンの削除または挿入を行った場合には、ＣＰＵ１２は動画像データのフレーム順の変更に伴ってフレーム変化量データの配列を更新する。このとき、シーンの削除等で直前のシーンとの連続性を喪失したフレームについては、ＣＰＵ１２が新たに前のフレームとの相関に基づいてフレーム変化量データを再生成する。あるいは、ＣＰＵ１２は直前のシーンとの連続性を喪失したフレームで常に変化点が抽出されるようにフレーム変化量データを設定してもよい。

ＣＰＵ１２は選択されたシーンをさらに複数の下位シーンに分割することもできる。この場合、ＣＰＵ１２は上位シーンを分割するための閾値（但し、ここでの閾値はＳ１０３の閾値未満の値）をユーザーの入力に基づいて設定し、上記Ｓ１０４と同様の工程で複数の下位シーンを設定する。ＣＰＵ１２は上記の下位シーンについてもシーン単位での削除、再生をすることができる。また、ＣＰＵ１２はユーザーが選択した下位シーンを、下位シーン間または上位シーン間に挿入することや、下位シーンをさらに再分割することも可能である。

ＣＰＵ１２が下位シーンを生成した場合、選択画面には上位シーンと下位シーンとの階層関係がツリー状に表示するようにしてもよい（図４（ａ）参照）。なお、選択画面ではすべての上位シーンについて従属する下位シーンをツリー表示する必要はなく、ポインタ等で選択されたシーンのみ従属する下位シーンをツリー表示するようにしてもよい（図４（ｂ）参照）。このように、階層表示されたシーンを指定して編集処理を行うことでユーザーは詳細なシーン指定が可能となり、より高度な編集処理が簡単な操作で実現できる。

ステップＳ１０８：ＣＰＵ１２は現在編集中の動画像データの編集を終了するか否かをユーザーの入力に基づいて判定する。編集を終了する場合（ＹＥＳ側）にはステップＳ１１０に移行し、編集を続行する場合（ＮＯ側）にはステップＳ１０６に戻って上記作業を繰り返す。
ステップＳ１０９：この場合、ＣＰＵ１２はユーザーの選択した動画像データを分割することなく、動画像データ全体の削除、再生を実行する。

ステップＳ１１０：ＣＰＵ１２は他の動画像データを編集するか否かをユーザーの入力に基づいて判定する。他の動画像データを編集する場合（ＹＥＳ側）にはステップＳ１０１に戻って上記作業を繰り返す。一方、他の動画像データを編集しない場合にはＣＰＵ１２は編集モードを終了する。
（第１実施形態の変形例の説明）
上記第１実施形態の画像処理装置はＭＰＥＧ（Moving Picture Experts Group）形式の動画像データについても適用することができる。しかし、ＭＰＥＧ形式の動画像データは、画面すべてを記録したフレーム（Ｉピクチャ）と、フレーム間の差分情報を利用して圧縮されたフレーム（Ｂピクチャ、Ｐピクチャ）とが存在する。そして、各フレームはＧＯＰ（Group of Picture）単位でグループ化されている。そのため、Ｍｏｔｉｏｎ−ＪＰＥＧ形式等の動画像データを対象とした場合と以下の点で相違する。

（１）ＭＰＥＧ形式の動画像データでは、１フレームの画像をマクロブロック毎に分割して圧縮する。このとき、Ｉピクチャのマクロブロックはブロック内で圧縮するイントラブロックのみで構成される。一方、ＢピクチャおよびＰピクチャのマクロブロックは上記のイントラブロックと、前ピクチャまたは後ピクチャのブロックを参照して差分情報を圧縮する非イントラブロックとに区分される。ＢピクチャおよびＰピクチャについてイントラブロックが多い場合にはフレーム間変化が大きくなる傾向にあると判定できる。

そのため、デジタル信号処理部５は、動画像データの生成時に各ＧＯＰの先頭フレームのＩピクチャに着目し、前後のＧＯＰにおける先頭のＩピクチャのヒストグラムの差分量総和や符号量の差分に基づいてフレーム変化量データを生成する。これによりＣＰＵ１２はＧＯＰ単位での大まかな変化点の抽出が可能となる。
なお、より詳細な変化点の抽出を予定する場合には、デジタル信号処理部５は各ＧＯＰのＢピクチャおよびＰピクチャについてマクロブロックを種類別にカウントし、これを２次的なフレーム変化量データとしてもよい。これによりＧＯＰの中間で大きなフレーム間変化がある場合でもＣＰＵ１２は変化点を抽出することができ、例えば動画像再生時の頭出し等が容易となる。

（２）また、Ｂピクチャ、Ｐピクチャの再生にはＧＯＰ内の前後のフレームの情報が必要となるので、ＭＰＥＧ形式の動画像データではＧＯＰを途中のフレームで分割することは非常に困難である。そのため、シーンの削除、挿入を行う場合において変化点に対応するフレームがＧＯＰの中間に位置するときは、ＣＰＵ１２は変化点に対応するフレームを次のＧＯＰの先頭フレームのＩピクチャに変更する（図５（ａ）参照）。これにより、変化点に近い位置で動画像データを区切って編集することが可能となる。

（３）さらに、あるシーンのシーン開始フレームＸおよびシーン終了フレームＹがそれぞれＧＯＰの中間に位置する場合には、ＣＰＵ１２は以下のようにフレームＸ，Ｙを変更することができる。
例えば、図５（ｂ）の（イ）に示すように、シーン開始フレームＸをそのＧＯＰの先頭フレームに変更し、シーン終了フレームＹを次のＧＯＰの先頭フレームに変更する。この場合には、シーン抽出した映像の前後に余分な映像が含まれることとなるが、変化点変更前のシーンの映像を途切れさせることなく動画像データを区切ることができる。

また、同図（ロ）に示すように、シーン開始フレームＸを次のＧＯＰの先頭フレームに変更し、シーン終了フレームＹをそのＧＯＰの先頭フレームに変更する場合には、シーン抽出した映像の前後が若干途切れるものの、余分な映像が含めることなく動画像データを区切ることができる。さらに、同図（ハ）に示すように、シーン開始フレームＸおよびシーン終了フレームＹを次のＧＯＰの先頭フレームに変更してもよく、同図（ニ）に示すように、シーン開始フレームＸおよびシーン終了フレームＹをそのＧＯＰの先頭フレームに変更してもよい。

（第２実施形態の説明）
図６は第２実施形態の画像処理装置における編集モードの動作を示す流れ図である（請求項６の画像処理装置および請求項８の画像処理プログラムに対応する）。この第２実施形態の画像処理装置も第１実施形態と同様に電子カメラに搭載されており、図１に示す第１実施形態と共通の構成には同一符号を付して説明を省略する。

第２実施形態の電子カメラ１では、記録媒体７に記録された複数の静止画像データをグループ化して編集する。この静止画像データは、電子カメラ１によって撮影されたものでもよく、他の電子カメラで撮影されたものであってもよい。なお、記録媒体７の静止画像データは、例えば撮影順に自動生成されたファイル名等を基準としてＣＰＵ１２が順次読み出しできる配列状態にある。また、デジタル信号処理部５は、配列された静止画像データの各フレーム間の変化をそれぞれ検出してフレーム変化量データを生成する。

以下、図６の流れ図に沿って第２実施形態の編集モードにおける動作を説明する。
ステップＳ２０１：ＣＰＵ１２は記録媒体７に記録された静止画像データを順次読み出して、デジタル信号処理部５にフレーム変化量データを生成させる。なお、フレーム変化量データは、例えば図示しないバッファメモリの所定領域に記録される。
ステップＳ２０２：ＣＰＵ１２は選択画面上に記録媒体７に記録された静止画像データをインデックス表示する。そしてＣＰＵ１２はグループ化の基準となる静止画像データをユーザーに選択させる。

ステップＳ２０３：ＣＰＵ１２はユーザーの入力に基づいてフレーム間変化の閾値を設定する。
ステップＳ２０４：ＣＰＵ１２はフレーム変化量データから閾値（Ｓ２０３）以上のフレーム間変化が生じる変化点を抽出する。そして、ＣＰＵ１２は、静止画像データの配列において、基準の静止画像データ（Ｓ２０２）を中心として変化点で区切られた範囲に含まれる静止画像データをグループ化する。例えば、閾値を低く設定すれば基準の静止画像データと非常に似通った静止画像データ（例えば、連写撮影された静止画像データ）のみがグループ化されることとなる。一方、閾値を大きくするほど基準の静止画像データとの相関は次第に薄れ、静止画像データが広い範囲でグループ化されることとなる。

ステップＳ２０５：ＣＰＵ１２はステップＳ２０４でグループ化した結果を選択画面に表示する。例えば、ＣＰＵ１２が選択画面において静止画像データのインデックス画像をスクロール表示する場合には、グループ化された静止画像データの範囲が表示される（図７参照）。これにより、ユーザーは選択画面において静止画像データのグループ化が適切か否かを判断できる。

ステップＳ２０６：ＣＰＵ１２は静止画像データのグループ化をやり直すか否かをユーザーの入力に基づいて判定する。グループ化をやり直す場合（ＹＥＳ側）にはステップＳ２０２に戻って、ＣＰＵ１２はステップＳ２０３〜Ｓ２０５の一連の動作を再度繰り返す。この場合には閾値の変更に伴ってグループ化される静止画像データが変動する。したがって、ユーザーは操作部１０で閾値を変更することで、ユーザーの意図通りに静止画像データのグループ化を簡単かつ迅速に変更できる。一方、グループ化をやり直さない場合（ＮＯ側）にはステップＳ２０７に移行する。

ステップＳ２０７：ＣＰＵ１２は、グループ化された静止画像データの編集を実行する。この編集処理の例としては、（１）グループ化された静止画像データの一括削除、（２）グループ化された静止画像データの順次再生表示、（３）記録媒体７にフォルダを作成し、フォルダ内にグループ化された静止画像データを移動させる、（４）静止画像データがＲＡＷデータの場合には、グループ化された静止画像データを一括してバッチ処理する、等が挙げられる。したがって、ユーザーは意図通りにグループ化された静止画像データを簡単な操作で編集することができる。

ステップＳ２０８：ＣＰＵ１２はさらに静止画像データをグループ化するか否かをユーザーの入力に基づいて判定する。さらに静止画像データをグループ化する場合（ＹＥＳ側）にはステップＳ２０１に戻って上記作業を繰り返す。一方、静止画像データをグループ化しない場合にはＣＰＵ１２は編集モードを終了する。
（請求項と実施形態との対応関係）
ここで、請求項と実施形態との対応関係を示しておく。なお、以下に示す対応関係はあくまで参考のために示した解釈であって、本発明の技術的範囲を限定するものではない。

「変化量データ生成部」にはデジタル信号処理部５が対応する。「入力部」には操作部１０が対応する。「シーン設定部」および「グループ設定部」にはＣＰＵ１２が対応する。「表示手段」には表示コントローラ８およびＬＣＤ９が対応する。「撮像部」には撮像素子２、アナログ信号処理部３、Ａ／Ｄ変換部４、デジタル信号処理部５が対応する。なお、請求項７および請求項８の画像処理プログラムはＣＰＵ１２によって実行される。

（実施形態の補足事項）
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではない。例えば、上記第１実施形態ではフレーム変化量データが撮影時に予め生成された動画像データの編集について説明したが、撮影後の編集モードにおいてデジタル信号処理部５がフレーム変化量データを生成するようにしてもよい。

上記第１実施形態ではユーザーが操作部１０で閾値を入力する場合を説明したが、ユーザーは閾値に代えて動画像データのシーン分割数を入力し、ＣＰＵ１２がこのシーン分割数に対応する閾値を演算するようにしてもよい。また、上記第１実施形態では上位シーンを再分割してトップダウン的に下位シーンを生成する例を説明したが、下位シーンを併合してボトムアップ的に上位シーンを生成するようにすることも勿論可能である。

上記第１実施形態ではインデックス画像を変化点に対応するフレームから生成する例を示したが、インデックス画像を変化点のフレームに限定する必要はない。また、シーン表示の高速化を行うために、フレーム変化量データに予めインデックス画像の情報を含めるようにしてもよい。
また、上記第１実施形態に関し、変化量データ生成部を有することなく、他の画像処理装置で生成したフレーム変化量データを使用して動画像データをシーン分割する画像処理装置も本発明に包含される。

すなわち、本発明には、「時間的に連続する複数のフレームで構成された動画像データに関連付けて記録され、前記動画像データのフレーム間変化の度合を示すフレーム変化量データに基づいて前記動画像データを分割する画像処理装置であって、前記フレーム間変化の閾値を変更するための入力部と、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を抽出し、前記動画像データを前記変化点に対応するフレームで区切って複数のシーンを設定するシーン設定部と、前記シーンを選択するための選択画面を出力する表示手段と、を有し、前記シーン設定部は、前記閾値の変更に伴って前記シーンを構成するフレームを変更することを特徴とする画像処理装置」が含まれる。

上記実施形態では画像処理装置が電子カメラである例を説明したが、本発明は電子カメラに限定されるものではなく、例えば、画像処理プログラムを実行するパーソナルコンピュータや携帯電話等によっても実現することができる。

本発明は、動画像データまたは静止画像データを編集する電子カメラ等に適用することができる。

第１実施形態の画像処理装置の機能ブロック図 第１実施形態の画像処理装置の編集モードにおける動作を示す流れ図 フレーム変化量データと変化点との関係を示す概念図 シーン間の階層関係の表示例を示す図 （ａ）ＭＰＥＧ形式の動画像データにおいてＧＯＰの中間に変化点がある場合の変化点変更を説明する図、（ｂ）ＧＯＰの中間に変化点がある場合の画像データの切り出し例を説明する図 第２実施形態の画像処理装置の編集モードにおける動作を示す流れ図 第２実施形態の選択画面の一例を示す図

符号の説明

１ 電子カメラ
２ 撮像素子
３ アナログ信号処理部
４ Ａ／Ｄ変換部
５ デジタル信号処理部
６ カードインターフェース
７ 記録媒体
８ 表示コントローラ
９ ＬＣＤ
１０ 操作部
１１ システムバス
１２ ＣＰＵ

Claims (8)

1. 時間的に連続する複数のフレームで構成された動画像データに基づいて、該動画像データのフレーム間変化の度合を示すフレーム変化量データを生成し、前記フレーム変化量データを前記動画像データに関連付けて出力する変化量データ生成部と、
   前記フレーム間変化の閾値を変更するための入力部と、
   前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を抽出し、前記動画像データを前記変化点に対応するフレームで区切って複数のシーンを設定するシーン設定部と、
   前記シーンを選択するための選択画面を出力する表示手段と、を有し、
   前記シーン設定部は、前記閾値の変更に伴って前記シーンを構成するフレームを変更することを特徴とする画像処理装置。
2. 前記動画像データを生成する撮像部をさらに有し、
   前記変化量データ生成部は、前記動画像データの生成時に前記フレーム変化量データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記シーン設定部は、前記シーンの任意の１フレームからインデックス画像を生成して前記表示手段に出力し、
   前記表示手段は、前記選択画面において前記インデックス画像を前記シーンを示す表示に関連付けて表示することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記シーン設定部は、複数の前記シーンを含む上位シーン毎に前記動画像データを選択することが可能であって、
   前記表示手段は、前記選択画面において前記上位シーンおよび前記シーンの階層関係を表示することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記動画像データがＭＰＥＧ形式で圧縮され、
   前記シーン設定部は、前記変化点に対応するフレームがＧＯＰの中間に位置する場合には、当該ＧＯＰの先頭フレームまたは次のＧＯＰの先頭フレームを前記変化点に対応するフレームに設定して前記動画像データを区切ることを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 所定の順番で配列された複数の静止画像データに基づいて、該配列された静止画像データのフレーム間変化の度合を示すフレーム変化量データを生成する変化量データ生成部と、
   前記フレーム間変化の閾値を変更するための入力部と、
   前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を抽出し、前記静止画像データの配列において前記変化点で区切られた範囲に含まれる前記静止画像データをグループ化するグループ設定部と、
   前記グループ化に関する画面を出力する表示手段と、を有し、
   前記グループ設定部は、前記閾値の変更に伴って前記静止画像データをグループ化する範囲を変更することを特徴とする画像処理装置。
7. 変化量データ生成部と、入力部と、シーン設定部と、表示手段と、各部を制御する制御部とを有する画像処理装置について、
   前記変化量データ生成部が、時間的に連続する複数のフレームで構成された動画像データに基づいて、該動画像データのフレーム間変化の度合を示すフレーム変化量データを生成し、前記フレーム変化量データを前記動画像データに関連付けて出力する手順と、
   前記入力部からの入力に基づいて前記フレーム間変化の閾値を変更する手順と、
   前記シーン設定部が、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を前記閾値の変更毎に抽出し、前記変化点に対応するフレームで前記動画像データを区切ってシーンを生成する手順と、
   前記表示手段が、前記シーンを選択するための選択画面を出力する手順と、
   を前記制御部に実行させるための画像処理プログラム。
8. 変化量データ生成部と、入力部と、グループ設定部と、表示手段と、各部を制御する制御部とを有する画像処理装置について、
   前記変化量データ生成部が、所定の順番で配列された複数の静止画像データに基づいて、該配列された静止画像データのフレーム間変化の度合を示すフレーム変化量データを生成する手順と、
   前記入力部からの入力に基づいて前記フレーム間変化の閾値を変更する手順と、
   前記グループ設定部が、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を前記閾値の変更毎に抽出し、前記静止画像データの配列において前記変化点で区切られた範囲に含まれる前記静止画像データをグループ化する手順と、
   前記表示手段が、前記グループ化の結果を出力する手順と、
   を前記制御部に実行させるための画像処理プログラム。

Images