JP2006041794A - 画像処理装置および画像処理プログラム - Google Patents
画像処理装置および画像処理プログラム Download PDFInfo
- Publication number
- JP2006041794A JP2006041794A JP2004217162A JP2004217162A JP2006041794A JP 2006041794 A JP2006041794 A JP 2006041794A JP 2004217162 A JP2004217162 A JP 2004217162A JP 2004217162 A JP2004217162 A JP 2004217162A JP 2006041794 A JP2006041794 A JP 2006041794A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- change
- frame
- scene
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G06F19/00—
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
【課題】 動画像データまたは静止画像データについてフレーム間の相関に基づく編集作業を簡単な操作で行うことのできる画像処理装置を提供する。
【解決手段】 時間的に連続する複数のフレームで構成された動画像データに基づいて、該動画像データのフレーム間変化の度合を示すフレーム変化量データを生成し、前記フレーム変化量データを前記動画像データに関連付けて出力する変化量データ生成部と、前記フレーム間変化の閾値を変更するための入力部と、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を抽出し、前記動画像データを前記変化点に対応するフレームで区切って複数のシーンを設定するシーン設定部と、前記シーンを選択するための選択画面を出力する表示手段と、を有し、前記シーン設定部は、前記閾値の変更に伴って前記シーンを構成するフレームを変更することを特徴とする。
【選択図】 図1
【解決手段】 時間的に連続する複数のフレームで構成された動画像データに基づいて、該動画像データのフレーム間変化の度合を示すフレーム変化量データを生成し、前記フレーム変化量データを前記動画像データに関連付けて出力する変化量データ生成部と、前記フレーム間変化の閾値を変更するための入力部と、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を抽出し、前記動画像データを前記変化点に対応するフレームで区切って複数のシーンを設定するシーン設定部と、前記シーンを選択するための選択画面を出力する表示手段と、を有し、前記シーン設定部は、前記閾値の変更に伴って前記シーンを構成するフレームを変更することを特徴とする。
【選択図】 図1
Description
本発明は、動画像データまたは複数の静止画像データの編集を行う画像処理装置について、特にフレーム間の相関に基づいて画像データを編集する画像処理装置に関する。
近年、被写体像を光電変換して動画像または静止画像を撮影し、これらの撮影画像データを半導体メモリ等の記録媒体に記録する電子カメラが急速に普及している。一般的な電子カメラには撮影画像データの編集処理を行う機能が付加されており、例えば記録媒体の空き容量が少ない場合に撮影画像データを削除するなど、電子カメラ上でユーザーが撮影画像データの編集を行う機会も多い。上記のように電子カメラ上で撮影画像データを編集する場合には、簡易な操作で迅速に編集できることが要望されている。
ここで、動画像の編集を容易にする一手法として、フレーム間の相関に基づいて動画像データのシーンが変化する変化点を抽出し、シーン単位で編集処理を行う画像処理装置が公知である(特許文献1および特許文献2参照)。
特開平5−334374号公報
特開平9−298684号公報
しかし、上記特許文献1および特許文献2の画像処理装置では、ユーザーが変化点のフレームを変更する場合には、ユーザーが変化点のフレームを逐一指定する必要がある。そのため、特に電子カメラ上では変化点の変更に関する操作が比較的困難であり、かつ変化点の変更を迅速に行えない点で改善の余地があった。また、上記特許文献1および特許文献2の画像処理装置は動画像データの編集に関するものであり、静止画像データの編集に関しては一切開示されてはいない。
本発明は上記従来技術の課題を解決するためのものであって、その目的は、動画像データまたは静止画像データについてフレーム間の相関に基づく編集作業を簡単な操作で行うことのできる画像処理装置を提供することである。
請求項1の発明に係る画像処理装置は、時間的に連続する複数のフレームで構成された動画像データに基づいて、該動画像データのフレーム間変化の度合を示すフレーム変化量データを生成し、前記フレーム変化量データを前記動画像データに関連付けて出力する変化量データ生成部と、前記フレーム間変化の閾値を変更するための入力部と、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を抽出し、前記動画像データを前記変化点に対応するフレームで区切って複数のシーンを設定するシーン設定部と、前記シーンを選択するための選択画面を出力する表示手段と、を有し、前記シーン設定部は、前記閾値の変更に伴って前記シーンを構成するフレームを変更することを特徴とする。
請求項2の発明は、請求項1の発明において、前記動画像データを生成する撮像部をさらに有し、前記変化量データ生成部は、前記動画像データの生成時に前記フレーム変化量データを生成することを特徴とする。
請求項3の発明は、請求項1または請求項2の発明において、前記シーン設定部は、前記シーンの任意の1フレームからインデックス画像を生成して前記表示手段に出力し、前記表示手段は、前記選択画面において前記インデックス画像を前記シーンを示す表示に関連付けて表示することを特徴とする。
請求項3の発明は、請求項1または請求項2の発明において、前記シーン設定部は、前記シーンの任意の1フレームからインデックス画像を生成して前記表示手段に出力し、前記表示手段は、前記選択画面において前記インデックス画像を前記シーンを示す表示に関連付けて表示することを特徴とする。
請求項4の発明は、請求項1から請求項3の発明において、前記シーン設定部は、複数の前記シーンを含む上位シーン毎に前記動画像データを選択することが可能であって、前記表示手段は、前記選択画面において前記上位シーンおよび前記シーンの階層関係を表示することを特徴とする。
請求項5の発明は、請求項1から請求項4の発明において、前記動画像データがMPEG形式で圧縮され、前記シーン設定部は、前記変化点に対応するフレームがGOPの中間に位置する場合には、当該GOPの先頭フレームまたは次のGOPの先頭フレームを前記変化点に対応するフレームに設定して前記動画像データを区切ることを特徴とする。
請求項5の発明は、請求項1から請求項4の発明において、前記動画像データがMPEG形式で圧縮され、前記シーン設定部は、前記変化点に対応するフレームがGOPの中間に位置する場合には、当該GOPの先頭フレームまたは次のGOPの先頭フレームを前記変化点に対応するフレームに設定して前記動画像データを区切ることを特徴とする。
請求項6の発明に係る画像処理装置は、所定の順番で配列された複数の静止画像データに基づいて、該配列された静止画像データのフレーム間変化の度合を示すフレーム変化量データを生成する変化量データ生成部と、前記フレーム間変化の閾値を変更するための入力部と、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を抽出し、前記静止画像データの配列において前記変化点で区切られた範囲に含まれる前記静止画像データをグループ化するグループ設定部と、前記グループ化に関する画面を出力する表示手段と、を有し、前記グループ設定部は、前記閾値の変更に伴って前記静止画像データをグループ化する範囲を変更することを特徴とする。
請求項7の発明に係る画像処理プログラムは、変化量データ生成部と、入力部と、シーン設定部と、表示手段と、各部を制御する制御部とを有する画像処理装置について以下の手順を有している。
すなわち、前記制御部は、前記変化量データ生成部が、時間的に連続する複数のフレームで構成された動画像データに基づいて、該動画像データのフレーム間変化の度合を示すフレーム変化量データを生成し、前記フレーム変化量データを前記動画像データに関連付けて出力する手順と、前記入力部からの入力に基づいて前記フレーム間変化の閾値を変更する手順と、前記シーン設定部が、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を前記閾値の変更毎に抽出し、前記変化点に対応するフレームで前記動画像データを区切ってシーンを生成する手順と、前記表示手段が、前記シーンを選択するための選択画面を出力する手順と、を実行する。
すなわち、前記制御部は、前記変化量データ生成部が、時間的に連続する複数のフレームで構成された動画像データに基づいて、該動画像データのフレーム間変化の度合を示すフレーム変化量データを生成し、前記フレーム変化量データを前記動画像データに関連付けて出力する手順と、前記入力部からの入力に基づいて前記フレーム間変化の閾値を変更する手順と、前記シーン設定部が、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を前記閾値の変更毎に抽出し、前記変化点に対応するフレームで前記動画像データを区切ってシーンを生成する手順と、前記表示手段が、前記シーンを選択するための選択画面を出力する手順と、を実行する。
請求項8の発明に係る画像処理プログラムは、変化量データ生成部と、入力部と、グループ設定部と、表示手段と、各部を制御する制御部とを有する画像処理装置について以下の手順を有している。
すなわち、前記制御部は、前記変化量データ生成部が、所定の順番で配列された複数の静止画像データに基づいて、該配列された静止画像データのフレーム間変化の度合を示すフレーム変化量データを生成する手順と、前記入力部からの入力に基づいて前記フレーム間変化の閾値を変更する手順と、前記グループ設定部が、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を前記閾値の変更毎に抽出し、前記静止画像データの配列において前記変化点で区切られた範囲に含まれる前記静止画像データをグループ化する手順と、前記表示手段が、前記グループ化の結果を出力する手順と、を実行する。
すなわち、前記制御部は、前記変化量データ生成部が、所定の順番で配列された複数の静止画像データに基づいて、該配列された静止画像データのフレーム間変化の度合を示すフレーム変化量データを生成する手順と、前記入力部からの入力に基づいて前記フレーム間変化の閾値を変更する手順と、前記グループ設定部が、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を前記閾値の変更毎に抽出し、前記静止画像データの配列において前記変化点で区切られた範囲に含まれる前記静止画像データをグループ化する手順と、前記表示手段が、前記グループ化の結果を出力する手順と、を実行する。
本発明によれば、動画像データの編集においてユーザーが閾値を変更入力することで自動的に変化点のフレームが変更される。したがって、ユーザーの意図通りに編集対象のシーンの長さを簡単な操作で迅速に変更でき、特に電子カメラ上での動画像データ編集の利便性が大幅に向上する。
また、本発明によれば、複数の静止画像データの編集において、配列された静止画像データの相関に基づいて自動的にグループ化が行われ、かつユーザーが閾値を変更入力することで自動的に静止画像データが再グループ化される。したがって、ユーザーの意図通りにグループ化による静止画像データの選択などを簡単な操作で迅速に行うことができ、特に電子カメラ上での静止画像データ編集の利便性が大幅に向上する。
また、本発明によれば、複数の静止画像データの編集において、配列された静止画像データの相関に基づいて自動的にグループ化が行われ、かつユーザーが閾値を変更入力することで自動的に静止画像データが再グループ化される。したがって、ユーザーの意図通りにグループ化による静止画像データの選択などを簡単な操作で迅速に行うことができ、特に電子カメラ上での静止画像データ編集の利便性が大幅に向上する。
以下、図面に基づいて本発明の実施の形態を詳細に説明する。
(第1実施形態の説明)
図1は第1実施形態の画像処理装置の機能ブロック図である(請求項1〜請求項4の画像処理装置および請求項7の画像処理プログラムに対応する)。第1実施形態では画像処理装置は電子カメラに搭載されており、電子カメラは「撮影モード」および「編集モード」を有している。そして、「撮影モード」では、Motion−JPEG形式やMotion−JPEG2000形式などの動画像データを生成し、「編集モード」では、撮影モードで生成した動画像データの編集を行うことができる。
(第1実施形態の説明)
図1は第1実施形態の画像処理装置の機能ブロック図である(請求項1〜請求項4の画像処理装置および請求項7の画像処理プログラムに対応する)。第1実施形態では画像処理装置は電子カメラに搭載されており、電子カメラは「撮影モード」および「編集モード」を有している。そして、「撮影モード」では、Motion−JPEG形式やMotion−JPEG2000形式などの動画像データを生成し、「編集モード」では、撮影モードで生成した動画像データの編集を行うことができる。
電子カメラ1は、撮像素子2と、アナログ信号処理部3と、A/D変換部4と、デジタル信号処理部5と、カードインターフェース6および記録媒体7と、表示コントローラ8およびLCD9と、操作部10と、各部を接続するシステムバス11と、CPU12とを有している。
撮像素子2は図示しない撮影光学系の像空間側に配置されている。撮像素子の受光面には、被写体像を光電変換してアナログ画像信号を生成する受光素子が2次元配列されている。そして、撮像素子2の受光面に投影された被写体像は、受光素子により光電変換されてアナログ画像信号として出力される。
撮像素子2は図示しない撮影光学系の像空間側に配置されている。撮像素子の受光面には、被写体像を光電変換してアナログ画像信号を生成する受光素子が2次元配列されている。そして、撮像素子2の受光面に投影された被写体像は、受光素子により光電変換されてアナログ画像信号として出力される。
アナログ信号処理部3は相関二重サンプリングによってノイズ成分を低減するCDS回路や、ノイズ除去後の信号利得を増幅するゲイン回路や、入力信号の波形の特定部分を一定の電圧レベルにクランプするクランプ回路などで構成されている。また、A/D変換部4は、アナログ画像信号をデジタル画像信号に変換してデジタル信号処理部5に出力する。
デジタル信号処理部5は画像処理と圧縮伸張処理とを実行するASICである。すなわち、デジタル信号処理部5は、各フレームを構成するデジタル画像信号に対して輪郭補償やガンマ補正、ホワイトバランス調整などの各種画像処理を行い、時間的に連続した複数のフレームで構成される動画像データを生成する。また、デジタル信号処理部5は、動画像データを所定の規格に従って圧縮し、あるいは圧縮された動画像データを所定の規格に従って伸張して復元する。
さらに、デジタル信号処理部5は「撮影モード」における動画像データの生成時に各フレーム間の変化をそれぞれ検出してフレーム変化量データを生成する。このフレーム変化量データは動画像データのフレーム間変化の度合を示すものであって、後述の「編集モード」での変化点の抽出に使用される。なお、フレーム変化量データは動画像データに関連付けて出力され、デジタル信号処理部5から出力された動画像データおよびフレーム変化量データは記録媒体7に記録される。
ここで、フレーム変化量データの生成は以下のようにして行われる。例えば、(1)デジタル信号処理部5は1画面(または1画面の分割領域)毎に輝度レベルのヒストグラムを演算し、隣接フレーム間でのヒストグラムの差分量総和を各フレームのフレーム変化量データとして出力する。あるいは、(2)デジタル信号処理部5は圧縮処理後の各フレーム間の符号量の差分を演算し、この差分値を各フレームのフレーム変化量データとして出力する。なお、各フレームに対応するフレーム変化量データは、フレーム間変化が大きい程その値が大きなものとなる。
カードインターフェース6には記録媒体7が接続されている。カードインターフェース6は、CPU12の指示によって記録媒体7にランダムアクセスでの書込/読出の制御を行う。記録媒体7は、例えば公知の半導体メモリなどで構成され、電子カメラ1に着脱可能に装着されている。
表示コントローラ8にはLCD9が接続されている。表示コントローラ8はLCD9を制御し、CPU12の画像出力に基づく画面(例えば、電子カメラ1の設定画面や編集モードでの選択画面等)をLCD9に表示する。また、表示コントローラ8は外部出力端子を有しており、該外部出力端子を介して接続されたモニタにもCPU12の画像出力に基づく画面を表示できるようになっている(外部出力端子およびモニタの図示は省略する)。
表示コントローラ8にはLCD9が接続されている。表示コントローラ8はLCD9を制御し、CPU12の画像出力に基づく画面(例えば、電子カメラ1の設定画面や編集モードでの選択画面等)をLCD9に表示する。また、表示コントローラ8は外部出力端子を有しており、該外部出力端子を介して接続されたモニタにもCPU12の画像出力に基づく画面を表示できるようになっている(外部出力端子およびモニタの図示は省略する)。
操作部10は例えばコマンドダイヤルや十字状のカーソルキーなどで構成され、編集モードにおけるフレーム間変化の閾値の変更入力や、編集する画像データの選択入力などに使用される。
CPU12は「撮影モード」や「編集モード」における電子カメラ1の各部動作を制御する。例えば、CPU12は、撮像素子2の信号読み出し制御、デジタル信号処理部5の画像処理および圧縮伸張の制御、カードインターフェース6へのデータ書込/読出の指示、表示コントローラ8への画像出力制御などを実行する。
CPU12は「撮影モード」や「編集モード」における電子カメラ1の各部動作を制御する。例えば、CPU12は、撮像素子2の信号読み出し制御、デジタル信号処理部5の画像処理および圧縮伸張の制御、カードインターフェース6へのデータ書込/読出の指示、表示コントローラ8への画像出力制御などを実行する。
また、CPU12はフレーム変化量データに基づいて閾値以上のフレーム間変化が生じる変化点を抽出する。そして、CPU12は変化点に対応するフレームで動画像データを区切って、1つの動画像データを複数のシーンに分割する。さらに、CPU12は変化点に対応するフレームに基づいて、上記のシーン毎にインデックス画像を生成する。そして、CPU12は「編集モード」において表示コントローラ8に選択画面を出力し、この選択画面で選択された動画像データの編集処理を実行する。
第1実施形態の画像処理装置は上記のように構成され、以下、図2の流れ図に沿って画像処理装置の「編集モード」における動作を説明する。なお、この「編集モード」で編集される動画像データは、「撮影モード」においてフレーム変化量データが生成されている動画像データである。
ステップS101:CPU12は記録媒体7に記録された動画像データを読み出して選択画面上に動画像データをインデックス表示(例えば、動画像データの先頭フレーム画像の表示など)する。そしてCPU12は編集対象となる動画像データをユーザーに選択させる。
ステップS101:CPU12は記録媒体7に記録された動画像データを読み出して選択画面上に動画像データをインデックス表示(例えば、動画像データの先頭フレーム画像の表示など)する。そしてCPU12は編集対象となる動画像データをユーザーに選択させる。
ステップS102:CPU12はステップS101で選択された動画像データのシーン分割を行うか否かをユーザーの入力に基づいて判定する。シーン分割を行う場合(YES側)にはステップS103に移行し、シーン分割を行わない場合(NO側)にはステップS109に移行する。
ステップS103:CPU12はユーザーの入力に基づいてフレーム間変化の閾値を設定する。
ステップS103:CPU12はユーザーの入力に基づいてフレーム間変化の閾値を設定する。
ステップS104:CPU12は編集中の動画像データに対応するフレーム変化量データから閾値(S103)以上のフレーム間変化が生じる変化点を抽出する。そして、CPU12は変化点に対応するフレームで動画像データを区切って複数のシーンを設定する。例えば、図3に示す動画像データにおいて閾値が7に設定されている場合、CPU12は7以上のフレーム間変化が生じる5フレーム、20フレームを変化点として抽出する(図3参照)。
ステップS105:CPU12はステップS104で設定されたシーンを選択画面に表示する。ここで、CPU12は先頭フレームおよび変化点のフレームからインデックス画像を生成し、選択画面にシーンを示すアイコンとしてインデックス画像を表示する。上記S104の例であれば、選択画面には、先頭フレーム、3フレーム、12フレームのインデックス画像がシーンのアイコンとして表示されることとなる。また、選択画面上には各シーンを構成するフレーム数、シーンの再生時間、動画像データ全体におけるそのシーンの割合等の情報が示されていてもよい。これにより、ユーザーは選択画面においてシーンの設定が適切か否かを判断できる。
ステップS106:CPU12はシーンの設定を変更するか否かをユーザーの入力に基づいて判定する。設定変更を行う場合(YES側)にはステップS103に戻って、CPU12はステップS103〜S105の一連の動作を再度繰り返す。この場合には閾値の変更に伴って変化点のフレームも変化し、動画像データのシーン数および各シーンを構成するフレームが変動する。
例えば、上記S104の例で閾値が3に再設定された場合には、3,6,12,15,20フレームが変化点のフレームに対応することとなる(図3参照)。したがって、ユーザーは操作部10で閾値を変更することでシーンの設定を簡単かつ迅速に変更し、動画像データをユーザーの意図通りに分割することができる。一方、設定変更を行わない場合(NO側)にはステップS107に移行する。
ステップS107:CPU12は、複数のシーンに分割された動画像データの編集を実行する。この編集処理の例としては、(1)シーン単位での動画像データの削除、(2)シーン単位での動画像データの再生、(3)ユーザーが選択したシーンを別のシーンの間に挿入して動画像データのフレーム順を変更すること、等が挙げられる。したがって、ユーザーは意図通りの複数のシーンで分割された動画像データを簡単な操作で編集することができる。
例えば、ユーザーは不要なシーンをカットすることで動画像データのデータ量を削減でき、これによって記録媒体7の残容量を増加させたり、通信時の動画像データの送信時間を短縮することが可能となる。また、ユーザーは所定のシーンを選択的に再生して、頭出し等を行うことなくユーザーが望む場面のみを迅速に視聴することもできる。さらに、撮影現場にパソコン等を携帯しなくとも、電子カメラ上でシーンの入れ替えなどの高度な動画編集が簡単な操作で行えるので、ユーザーの利便性が大幅に向上する。
ここで、シーンの削除または挿入を行った場合には、CPU12は動画像データのフレーム順の変更に伴ってフレーム変化量データの配列を更新する。このとき、シーンの削除等で直前のシーンとの連続性を喪失したフレームについては、CPU12が新たに前のフレームとの相関に基づいてフレーム変化量データを再生成する。あるいは、CPU12は直前のシーンとの連続性を喪失したフレームで常に変化点が抽出されるようにフレーム変化量データを設定してもよい。
CPU12は選択されたシーンをさらに複数の下位シーンに分割することもできる。この場合、CPU12は上位シーンを分割するための閾値(但し、ここでの閾値はS103の閾値未満の値)をユーザーの入力に基づいて設定し、上記S104と同様の工程で複数の下位シーンを設定する。CPU12は上記の下位シーンについてもシーン単位での削除、再生をすることができる。また、CPU12はユーザーが選択した下位シーンを、下位シーン間または上位シーン間に挿入することや、下位シーンをさらに再分割することも可能である。
CPU12が下位シーンを生成した場合、選択画面には上位シーンと下位シーンとの階層関係がツリー状に表示するようにしてもよい(図4(a)参照)。なお、選択画面ではすべての上位シーンについて従属する下位シーンをツリー表示する必要はなく、ポインタ等で選択されたシーンのみ従属する下位シーンをツリー表示するようにしてもよい(図4(b)参照)。このように、階層表示されたシーンを指定して編集処理を行うことでユーザーは詳細なシーン指定が可能となり、より高度な編集処理が簡単な操作で実現できる。
ステップS108:CPU12は現在編集中の動画像データの編集を終了するか否かをユーザーの入力に基づいて判定する。編集を終了する場合(YES側)にはステップS110に移行し、編集を続行する場合(NO側)にはステップS106に戻って上記作業を繰り返す。
ステップS109:この場合、CPU12はユーザーの選択した動画像データを分割することなく、動画像データ全体の削除、再生を実行する。
ステップS109:この場合、CPU12はユーザーの選択した動画像データを分割することなく、動画像データ全体の削除、再生を実行する。
ステップS110:CPU12は他の動画像データを編集するか否かをユーザーの入力に基づいて判定する。他の動画像データを編集する場合(YES側)にはステップS101に戻って上記作業を繰り返す。一方、他の動画像データを編集しない場合にはCPU12は編集モードを終了する。
(第1実施形態の変形例の説明)
上記第1実施形態の画像処理装置はMPEG(Moving Picture Experts Group)形式の動画像データについても適用することができる。しかし、MPEG形式の動画像データは、画面すべてを記録したフレーム(Iピクチャ)と、フレーム間の差分情報を利用して圧縮されたフレーム(Bピクチャ、Pピクチャ)とが存在する。そして、各フレームはGOP(Group of Picture)単位でグループ化されている。そのため、Motion−JPEG形式等の動画像データを対象とした場合と以下の点で相違する。
(第1実施形態の変形例の説明)
上記第1実施形態の画像処理装置はMPEG(Moving Picture Experts Group)形式の動画像データについても適用することができる。しかし、MPEG形式の動画像データは、画面すべてを記録したフレーム(Iピクチャ)と、フレーム間の差分情報を利用して圧縮されたフレーム(Bピクチャ、Pピクチャ)とが存在する。そして、各フレームはGOP(Group of Picture)単位でグループ化されている。そのため、Motion−JPEG形式等の動画像データを対象とした場合と以下の点で相違する。
(1)MPEG形式の動画像データでは、1フレームの画像をマクロブロック毎に分割して圧縮する。このとき、Iピクチャのマクロブロックはブロック内で圧縮するイントラブロックのみで構成される。一方、BピクチャおよびPピクチャのマクロブロックは上記のイントラブロックと、前ピクチャまたは後ピクチャのブロックを参照して差分情報を圧縮する非イントラブロックとに区分される。BピクチャおよびPピクチャについてイントラブロックが多い場合にはフレーム間変化が大きくなる傾向にあると判定できる。
そのため、デジタル信号処理部5は、動画像データの生成時に各GOPの先頭フレームのIピクチャに着目し、前後のGOPにおける先頭のIピクチャのヒストグラムの差分量総和や符号量の差分に基づいてフレーム変化量データを生成する。これによりCPU12はGOP単位での大まかな変化点の抽出が可能となる。
なお、より詳細な変化点の抽出を予定する場合には、デジタル信号処理部5は各GOPのBピクチャおよびPピクチャについてマクロブロックを種類別にカウントし、これを2次的なフレーム変化量データとしてもよい。これによりGOPの中間で大きなフレーム間変化がある場合でもCPU12は変化点を抽出することができ、例えば動画像再生時の頭出し等が容易となる。
なお、より詳細な変化点の抽出を予定する場合には、デジタル信号処理部5は各GOPのBピクチャおよびPピクチャについてマクロブロックを種類別にカウントし、これを2次的なフレーム変化量データとしてもよい。これによりGOPの中間で大きなフレーム間変化がある場合でもCPU12は変化点を抽出することができ、例えば動画像再生時の頭出し等が容易となる。
(2)また、Bピクチャ、Pピクチャの再生にはGOP内の前後のフレームの情報が必要となるので、MPEG形式の動画像データではGOPを途中のフレームで分割することは非常に困難である。そのため、シーンの削除、挿入を行う場合において変化点に対応するフレームがGOPの中間に位置するときは、CPU12は変化点に対応するフレームを次のGOPの先頭フレームのIピクチャに変更する(図5(a)参照)。これにより、変化点に近い位置で動画像データを区切って編集することが可能となる。
(3)さらに、あるシーンのシーン開始フレームXおよびシーン終了フレームYがそれぞれGOPの中間に位置する場合には、CPU12は以下のようにフレームX,Yを変更することができる。
例えば、図5(b)の(イ)に示すように、シーン開始フレームXをそのGOPの先頭フレームに変更し、シーン終了フレームYを次のGOPの先頭フレームに変更する。この場合には、シーン抽出した映像の前後に余分な映像が含まれることとなるが、変化点変更前のシーンの映像を途切れさせることなく動画像データを区切ることができる。
例えば、図5(b)の(イ)に示すように、シーン開始フレームXをそのGOPの先頭フレームに変更し、シーン終了フレームYを次のGOPの先頭フレームに変更する。この場合には、シーン抽出した映像の前後に余分な映像が含まれることとなるが、変化点変更前のシーンの映像を途切れさせることなく動画像データを区切ることができる。
また、同図(ロ)に示すように、シーン開始フレームXを次のGOPの先頭フレームに変更し、シーン終了フレームYをそのGOPの先頭フレームに変更する場合には、シーン抽出した映像の前後が若干途切れるものの、余分な映像が含めることなく動画像データを区切ることができる。さらに、同図(ハ)に示すように、シーン開始フレームXおよびシーン終了フレームYを次のGOPの先頭フレームに変更してもよく、同図(ニ)に示すように、シーン開始フレームXおよびシーン終了フレームYをそのGOPの先頭フレームに変更してもよい。
(第2実施形態の説明)
図6は第2実施形態の画像処理装置における編集モードの動作を示す流れ図である(請求項6の画像処理装置および請求項8の画像処理プログラムに対応する)。この第2実施形態の画像処理装置も第1実施形態と同様に電子カメラに搭載されており、図1に示す第1実施形態と共通の構成には同一符号を付して説明を省略する。
図6は第2実施形態の画像処理装置における編集モードの動作を示す流れ図である(請求項6の画像処理装置および請求項8の画像処理プログラムに対応する)。この第2実施形態の画像処理装置も第1実施形態と同様に電子カメラに搭載されており、図1に示す第1実施形態と共通の構成には同一符号を付して説明を省略する。
第2実施形態の電子カメラ1では、記録媒体7に記録された複数の静止画像データをグループ化して編集する。この静止画像データは、電子カメラ1によって撮影されたものでもよく、他の電子カメラで撮影されたものであってもよい。なお、記録媒体7の静止画像データは、例えば撮影順に自動生成されたファイル名等を基準としてCPU12が順次読み出しできる配列状態にある。また、デジタル信号処理部5は、配列された静止画像データの各フレーム間の変化をそれぞれ検出してフレーム変化量データを生成する。
以下、図6の流れ図に沿って第2実施形態の編集モードにおける動作を説明する。
ステップS201:CPU12は記録媒体7に記録された静止画像データを順次読み出して、デジタル信号処理部5にフレーム変化量データを生成させる。なお、フレーム変化量データは、例えば図示しないバッファメモリの所定領域に記録される。
ステップS202:CPU12は選択画面上に記録媒体7に記録された静止画像データをインデックス表示する。そしてCPU12はグループ化の基準となる静止画像データをユーザーに選択させる。
ステップS201:CPU12は記録媒体7に記録された静止画像データを順次読み出して、デジタル信号処理部5にフレーム変化量データを生成させる。なお、フレーム変化量データは、例えば図示しないバッファメモリの所定領域に記録される。
ステップS202:CPU12は選択画面上に記録媒体7に記録された静止画像データをインデックス表示する。そしてCPU12はグループ化の基準となる静止画像データをユーザーに選択させる。
ステップS203:CPU12はユーザーの入力に基づいてフレーム間変化の閾値を設定する。
ステップS204:CPU12はフレーム変化量データから閾値(S203)以上のフレーム間変化が生じる変化点を抽出する。そして、CPU12は、静止画像データの配列において、基準の静止画像データ(S202)を中心として変化点で区切られた範囲に含まれる静止画像データをグループ化する。例えば、閾値を低く設定すれば基準の静止画像データと非常に似通った静止画像データ(例えば、連写撮影された静止画像データ)のみがグループ化されることとなる。一方、閾値を大きくするほど基準の静止画像データとの相関は次第に薄れ、静止画像データが広い範囲でグループ化されることとなる。
ステップS204:CPU12はフレーム変化量データから閾値(S203)以上のフレーム間変化が生じる変化点を抽出する。そして、CPU12は、静止画像データの配列において、基準の静止画像データ(S202)を中心として変化点で区切られた範囲に含まれる静止画像データをグループ化する。例えば、閾値を低く設定すれば基準の静止画像データと非常に似通った静止画像データ(例えば、連写撮影された静止画像データ)のみがグループ化されることとなる。一方、閾値を大きくするほど基準の静止画像データとの相関は次第に薄れ、静止画像データが広い範囲でグループ化されることとなる。
ステップS205:CPU12はステップS204でグループ化した結果を選択画面に表示する。例えば、CPU12が選択画面において静止画像データのインデックス画像をスクロール表示する場合には、グループ化された静止画像データの範囲が表示される(図7参照)。これにより、ユーザーは選択画面において静止画像データのグループ化が適切か否かを判断できる。
ステップS206:CPU12は静止画像データのグループ化をやり直すか否かをユーザーの入力に基づいて判定する。グループ化をやり直す場合(YES側)にはステップS202に戻って、CPU12はステップS203〜S205の一連の動作を再度繰り返す。この場合には閾値の変更に伴ってグループ化される静止画像データが変動する。したがって、ユーザーは操作部10で閾値を変更することで、ユーザーの意図通りに静止画像データのグループ化を簡単かつ迅速に変更できる。一方、グループ化をやり直さない場合(NO側)にはステップS207に移行する。
ステップS207:CPU12は、グループ化された静止画像データの編集を実行する。この編集処理の例としては、(1)グループ化された静止画像データの一括削除、(2)グループ化された静止画像データの順次再生表示、(3)記録媒体7にフォルダを作成し、フォルダ内にグループ化された静止画像データを移動させる、(4)静止画像データがRAWデータの場合には、グループ化された静止画像データを一括してバッチ処理する、等が挙げられる。したがって、ユーザーは意図通りにグループ化された静止画像データを簡単な操作で編集することができる。
ステップS208:CPU12はさらに静止画像データをグループ化するか否かをユーザーの入力に基づいて判定する。さらに静止画像データをグループ化する場合(YES側)にはステップS201に戻って上記作業を繰り返す。一方、静止画像データをグループ化しない場合にはCPU12は編集モードを終了する。
(請求項と実施形態との対応関係)
ここで、請求項と実施形態との対応関係を示しておく。なお、以下に示す対応関係はあくまで参考のために示した解釈であって、本発明の技術的範囲を限定するものではない。
(請求項と実施形態との対応関係)
ここで、請求項と実施形態との対応関係を示しておく。なお、以下に示す対応関係はあくまで参考のために示した解釈であって、本発明の技術的範囲を限定するものではない。
「変化量データ生成部」にはデジタル信号処理部5が対応する。「入力部」には操作部10が対応する。「シーン設定部」および「グループ設定部」にはCPU12が対応する。「表示手段」には表示コントローラ8およびLCD9が対応する。「撮像部」には撮像素子2、アナログ信号処理部3、A/D変換部4、デジタル信号処理部5が対応する。なお、請求項7および請求項8の画像処理プログラムはCPU12によって実行される。
(実施形態の補足事項)
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではない。例えば、上記第1実施形態ではフレーム変化量データが撮影時に予め生成された動画像データの編集について説明したが、撮影後の編集モードにおいてデジタル信号処理部5がフレーム変化量データを生成するようにしてもよい。
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではない。例えば、上記第1実施形態ではフレーム変化量データが撮影時に予め生成された動画像データの編集について説明したが、撮影後の編集モードにおいてデジタル信号処理部5がフレーム変化量データを生成するようにしてもよい。
上記第1実施形態ではユーザーが操作部10で閾値を入力する場合を説明したが、ユーザーは閾値に代えて動画像データのシーン分割数を入力し、CPU12がこのシーン分割数に対応する閾値を演算するようにしてもよい。また、上記第1実施形態では上位シーンを再分割してトップダウン的に下位シーンを生成する例を説明したが、下位シーンを併合してボトムアップ的に上位シーンを生成するようにすることも勿論可能である。
上記第1実施形態ではインデックス画像を変化点に対応するフレームから生成する例を示したが、インデックス画像を変化点のフレームに限定する必要はない。また、シーン表示の高速化を行うために、フレーム変化量データに予めインデックス画像の情報を含めるようにしてもよい。
また、上記第1実施形態に関し、変化量データ生成部を有することなく、他の画像処理装置で生成したフレーム変化量データを使用して動画像データをシーン分割する画像処理装置も本発明に包含される。
また、上記第1実施形態に関し、変化量データ生成部を有することなく、他の画像処理装置で生成したフレーム変化量データを使用して動画像データをシーン分割する画像処理装置も本発明に包含される。
すなわち、本発明には、「時間的に連続する複数のフレームで構成された動画像データに関連付けて記録され、前記動画像データのフレーム間変化の度合を示すフレーム変化量データに基づいて前記動画像データを分割する画像処理装置であって、前記フレーム間変化の閾値を変更するための入力部と、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を抽出し、前記動画像データを前記変化点に対応するフレームで区切って複数のシーンを設定するシーン設定部と、前記シーンを選択するための選択画面を出力する表示手段と、を有し、前記シーン設定部は、前記閾値の変更に伴って前記シーンを構成するフレームを変更することを特徴とする画像処理装置」が含まれる。
上記実施形態では画像処理装置が電子カメラである例を説明したが、本発明は電子カメラに限定されるものではなく、例えば、画像処理プログラムを実行するパーソナルコンピュータや携帯電話等によっても実現することができる。
本発明は、動画像データまたは静止画像データを編集する電子カメラ等に適用することができる。
1 電子カメラ
2 撮像素子
3 アナログ信号処理部
4 A/D変換部
5 デジタル信号処理部
6 カードインターフェース
7 記録媒体
8 表示コントローラ
9 LCD
10 操作部
11 システムバス
12 CPU
2 撮像素子
3 アナログ信号処理部
4 A/D変換部
5 デジタル信号処理部
6 カードインターフェース
7 記録媒体
8 表示コントローラ
9 LCD
10 操作部
11 システムバス
12 CPU
Claims (8)
- 時間的に連続する複数のフレームで構成された動画像データに基づいて、該動画像データのフレーム間変化の度合を示すフレーム変化量データを生成し、前記フレーム変化量データを前記動画像データに関連付けて出力する変化量データ生成部と、
前記フレーム間変化の閾値を変更するための入力部と、
前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を抽出し、前記動画像データを前記変化点に対応するフレームで区切って複数のシーンを設定するシーン設定部と、
前記シーンを選択するための選択画面を出力する表示手段と、を有し、
前記シーン設定部は、前記閾値の変更に伴って前記シーンを構成するフレームを変更することを特徴とする画像処理装置。 - 前記動画像データを生成する撮像部をさらに有し、
前記変化量データ生成部は、前記動画像データの生成時に前記フレーム変化量データを生成することを特徴とする請求項1に記載の画像処理装置。 - 前記シーン設定部は、前記シーンの任意の1フレームからインデックス画像を生成して前記表示手段に出力し、
前記表示手段は、前記選択画面において前記インデックス画像を前記シーンを示す表示に関連付けて表示することを特徴とする請求項1または請求項2に記載の画像処理装置。 - 前記シーン設定部は、複数の前記シーンを含む上位シーン毎に前記動画像データを選択することが可能であって、
前記表示手段は、前記選択画面において前記上位シーンおよび前記シーンの階層関係を表示することを特徴とする請求項1から請求項3のいずれか1項に記載の画像処理装置。 - 前記動画像データがMPEG形式で圧縮され、
前記シーン設定部は、前記変化点に対応するフレームがGOPの中間に位置する場合には、当該GOPの先頭フレームまたは次のGOPの先頭フレームを前記変化点に対応するフレームに設定して前記動画像データを区切ることを特徴とする請求項1から請求項4のいずれか1項に記載の画像処理装置。 - 所定の順番で配列された複数の静止画像データに基づいて、該配列された静止画像データのフレーム間変化の度合を示すフレーム変化量データを生成する変化量データ生成部と、
前記フレーム間変化の閾値を変更するための入力部と、
前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を抽出し、前記静止画像データの配列において前記変化点で区切られた範囲に含まれる前記静止画像データをグループ化するグループ設定部と、
前記グループ化に関する画面を出力する表示手段と、を有し、
前記グループ設定部は、前記閾値の変更に伴って前記静止画像データをグループ化する範囲を変更することを特徴とする画像処理装置。 - 変化量データ生成部と、入力部と、シーン設定部と、表示手段と、各部を制御する制御部とを有する画像処理装置について、
前記変化量データ生成部が、時間的に連続する複数のフレームで構成された動画像データに基づいて、該動画像データのフレーム間変化の度合を示すフレーム変化量データを生成し、前記フレーム変化量データを前記動画像データに関連付けて出力する手順と、
前記入力部からの入力に基づいて前記フレーム間変化の閾値を変更する手順と、
前記シーン設定部が、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を前記閾値の変更毎に抽出し、前記変化点に対応するフレームで前記動画像データを区切ってシーンを生成する手順と、
前記表示手段が、前記シーンを選択するための選択画面を出力する手順と、
を前記制御部に実行させるための画像処理プログラム。 - 変化量データ生成部と、入力部と、グループ設定部と、表示手段と、各部を制御する制御部とを有する画像処理装置について、
前記変化量データ生成部が、所定の順番で配列された複数の静止画像データに基づいて、該配列された静止画像データのフレーム間変化の度合を示すフレーム変化量データを生成する手順と、
前記入力部からの入力に基づいて前記フレーム間変化の閾値を変更する手順と、
前記グループ設定部が、前記フレーム変化量データに基づいて前記閾値以上のフレーム間変化が生じる変化点を前記閾値の変更毎に抽出し、前記静止画像データの配列において前記変化点で区切られた範囲に含まれる前記静止画像データをグループ化する手順と、
前記表示手段が、前記グループ化の結果を出力する手順と、
を前記制御部に実行させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004217162A JP2006041794A (ja) | 2004-07-26 | 2004-07-26 | 画像処理装置および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004217162A JP2006041794A (ja) | 2004-07-26 | 2004-07-26 | 画像処理装置および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006041794A true JP2006041794A (ja) | 2006-02-09 |
Family
ID=35906333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004217162A Withdrawn JP2006041794A (ja) | 2004-07-26 | 2004-07-26 | 画像処理装置および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006041794A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007288608A (ja) * | 2006-04-18 | 2007-11-01 | Sharp Corp | サムネイル作成方法および動画データ再生装置 |
WO2009087816A1 (ja) | 2008-01-09 | 2009-07-16 | Olympus Corporation | シーン変化検出装置およびシーン変化検出プログラム |
JP2010109852A (ja) * | 2008-10-31 | 2010-05-13 | Hitachi Ltd | 映像インデクシング方法、映像録画再生装置、及び映像再生装置 |
JP2010183290A (ja) * | 2009-02-04 | 2010-08-19 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP2012199911A (ja) * | 2011-03-10 | 2012-10-18 | Ricoh Co Ltd | 情報処理装置 |
-
2004
- 2004-07-26 JP JP2004217162A patent/JP2006041794A/ja not_active Withdrawn
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007288608A (ja) * | 2006-04-18 | 2007-11-01 | Sharp Corp | サムネイル作成方法および動画データ再生装置 |
JP4744345B2 (ja) * | 2006-04-18 | 2011-08-10 | シャープ株式会社 | サムネイル作成方法および動画データ再生装置 |
WO2009087816A1 (ja) | 2008-01-09 | 2009-07-16 | Olympus Corporation | シーン変化検出装置およびシーン変化検出プログラム |
JP2009160298A (ja) * | 2008-01-09 | 2009-07-23 | Olympus Corp | シーン変化検出装置およびシーン変化検出プログラム |
EP2233062A1 (en) * | 2008-01-09 | 2010-09-29 | Olympus Corporation | Scene change detection device and scene change detection program |
EP2233062A4 (en) * | 2008-01-09 | 2011-05-25 | Olympus Corp | SCENE CHANGE DETECTION DEVICE AND SCENE CHANGE DETECTION PROGRAM |
JP2010109852A (ja) * | 2008-10-31 | 2010-05-13 | Hitachi Ltd | 映像インデクシング方法、映像録画再生装置、及び映像再生装置 |
JP2010183290A (ja) * | 2009-02-04 | 2010-08-19 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
US8723935B2 (en) | 2009-02-04 | 2014-05-13 | Olympus Corporation | Image processing device, computer readable storage medium storing image processing program and image processing method |
JP2012199911A (ja) * | 2011-03-10 | 2012-10-18 | Ricoh Co Ltd | 情報処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101189869B (zh) | 摄像装置、摄像结果处理方法和图像处理装置 | |
EP2541902B1 (en) | Imaging processing device and image processing method | |
US9270968B2 (en) | Imaging apparatus and reproducing apparatus which changes frame rate based on zoom operation | |
US7417668B2 (en) | Digital camera | |
KR100920559B1 (ko) | 카메라-흔들림 보정 기능을 갖는 동영상 재생장치 및 기록 매체 | |
US8428121B2 (en) | Image pick-up apparatus for shooting and reproducing a moving image | |
JP4046957B2 (ja) | 撮像装置及びその制御方法、情報処理装置及び方法、並びに記憶媒体 | |
JP2008109305A (ja) | 画像処理装置および画像処理装置の制御方法 | |
JPH114405A (ja) | 画像データの記録方法およびディジタルカメラ | |
US7982792B2 (en) | Image processing apparatus | |
US8379109B2 (en) | Image processing apparatus | |
JP2006041794A (ja) | 画像処理装置および画像処理プログラム | |
JP2010021710A (ja) | 撮像装置、画像処理装置およびプログラム | |
JP2008035124A (ja) | 画像再生装置及び画像再生方法 | |
JP5828251B2 (ja) | 画像処理装置およびデジタルカメラ | |
JP2005236496A (ja) | 画像記録表示システム | |
JP4177081B2 (ja) | 画像再生装置および方法 | |
JP4752652B2 (ja) | 撮像装置、撮像画像表示方法、及び、プログラム | |
JP4956283B2 (ja) | 撮像装置、画像処理装置、撮像装置の制御方法、画像処理装置の制御方法、プログラム、及び記憶媒体 | |
JP2018195892A (ja) | 撮像装置 | |
JP2023121533A (ja) | 撮像装置及びその制御方法及びプログラム | |
KR20100067931A (ko) | 촬상 장치, 기록 장치, 재생 장치, 촬상 방법, 기록 방법, 재생 방법 및 기록 방법에 관한 프로그램을 기록한 저장 매체 | |
JP2018125665A (ja) | 撮像装置、撮像制御方法およびプログラム | |
JP2013062756A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2004236290A (ja) | 画像記録装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20071002 |