JP2015008342A - 画像処理装置 - Google Patents

Abstract

【課題】画像の上下関係を保ちながら、自動的に縦画像または横画像としての動画像データを得ること。
【解決手段】画像処理装置１は、静止画撮影指示を含む所定時間の間に所定のフレームレートで撮像された複数のフレーム画像を順次入力するフレーム画像入力部１８と、入力された複数のフレーム画像のうち、静止画像撮影指示のタイミングに対応するフレーム画像に基づいて画面内で縦構図の領域を探索する縦構図探索部１４と、入力された複数のフレーム画像の全フレームから、縦構図の領域に対応する領域をそれぞれ切出して縦構図の動画像データを生成する動画像データ生成部１４と、を備える。
【選択図】図１

Description

本発明は、画像処理装置に関する。

デジタルカメラで縦横混在して撮影した画像を連続的に閲覧する際に、必要時に自動的に画像を回転して再生表示して、再生表示画像の上下関係を撮影時と合わせる技術が知られている（特許文献１参照）。

特開２００５−２５２７９７号公報

従来技術では、静止画再生表示時に画像を回転させるだけであり、デジタルカメラで取得された画像の上下関係を保ちながら、自動的に縦画像や横画像としての動画像データを得る場合への適用が困難であった。

本発明による画像処理装置は、静止画撮影指示を含む所定時間の間に所定のフレームレートで撮像された複数のフレーム画像を順次入力するフレーム画像入力部と、入力された複数のフレーム画像のうち、静止画像撮影指示のタイミングに対応するフレーム画像に基づいて画面内で縦構図の領域を探索する縦構図探索部と、入力された複数のフレーム画像の全フレームから、縦構図の領域に対応する領域をそれぞれ切出して縦構図の動画像データを生成する動画像データ生成部と、を備えることを特徴とする。

本発明によれば、画像の上下関係を保ちながら、自動的に縦画像または横画像としての動画像データを得ることができる。

本発明の第一の実施の形態によるデジタルカメラの構成を例示するブロック図である。 スロー動画撮影モードにおける画像の取得タイミングを説明する図である。 フォーカスポイントのセットを説明する図である。 ＣＰＵが実行する処理の流れを説明するフローチャートである。 縦長動画像生成の判定処理を説明するフローチャートである。 切出し領域を説明する図である。 第二の実施の形態による縦長動画像生成の判定処理を説明するフローチャートである。

以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施の形態によるデジタルカメラ１の構成を例示するブロック図である。図１において、撮影レンズ１１は、撮像素子１２の撮像面１２ａに被写体像を結像させる。

ＣＰＵ１６は、図示しないシャッターボタンの半押し操作に連動して半押しスイッチ２０ａがオンすると、オートフォーカス（ＡＦ）処理を行わせて、撮影レンズ１１を構成するフォーカシングレンズ（不図示）を光軸方向（図１において矢印方向）に進退移動させる。これにより、撮影レンズ１１の焦点位置が自動調節される。フォーカシングレンズ（不図示）の駆動は、ＣＰＵ１６から指示を受けたレンズ駆動部２１が行う。

ＡＦ処理は、撮像面位相差検出方式によって行う。このため、撮像素子１２はフォーカス検出用の画素（焦点検出用画素と呼ぶ）を有している。フォーカス検出用画素は、特開２００７−３１７９５１号公報に記載されているものと同様のものである。ＣＰＵ１６は、フォーカス検出用画素からの出力信号を用いて位相差検出演算を行うことにより、撮影レンズ１１による焦点調節状態（具体的にはデフォーカス量）を検出する。この位相差検出演算は、上記特開２００７−３１７９５１号公報の記載事項と同様であるため、説明を省略する。

また、ＣＰＵ１６は、後述する操作部材２０を構成するズームスイッチ（不図示）から操作信号が入力された場合に、撮影レンズ１１を構成するズームレンズ（不図示）を光軸方向に進退移動させる。これにより、撮影画角が調節される。ズームレンズ（不図示）の駆動も、ＣＰＵ１６から指示を受けたレンズ駆動部２１が行う。

撮像素子１２は、ＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮像面１２ａ上に結像された被写体像をアナログ撮像信号に光電変換する。撮像素子１２から出力されたアナログ撮像信号は、Ａ／Ｄ変換部１３においてデジタル画像データに変換される。画像処理部１４は、デジタル画像データに対して所定の画像処理を行って画像データを生成する。

液晶モニタ１５は、ＣＰＵ１６からの指示に応じて、画像や操作メニュー画面を表示する。不揮発性メモリ１７は、ＣＰＵ１６が実行するプログラムや、実行処理に必要なデータなどを格納する。不揮発性メモリ１７が格納するプログラムやデータの内容は、ＣＰＵ１６からの指示によって追加、変更が可能に構成されている。ＣＰＵ１６は、例えばバッファメモリ１８を作業領域として制御プログラムを実行し、カメラ各部に対する種々の制御を行う。

バッファメモリ１８は、デジタル画像データを一時的に記憶する場合にも使用される。本実施形態では、撮影指示（シャッターボタンの全押し操作）前後に撮像素子１２によって所定のフレームレートで取得されるキャプチャ画像を一時的に記憶する。キャプチャ画像については後述する。

画像処理部１４は、デジタル画像データに対する画像処理以外にも、画像データを格納した所定形式の画像ファイル（例えば Exif ファイル）を生成する。記録再生部１９は、ＣＰＵ１６からの指示に基づいて画像ファイルをメモリカード５０に記録し、また、メモリカード５０に記録されている画像ファイルを読み出す。

メモリカード５０は、図示しないカードスロットに着脱自在に取り付けられる記録媒体である。ＣＰＵ１６は、記録再生部１９によってメモリカード５０から読み出された画像ファイルに基づいて、液晶モニタ１５に撮影画像を再生表示させる。

操作部材２０は、上記半押しスイッチ２０ａや、シャッターボタンの全押し操作に伴ってオンする全押しスイッチ２０ｂ、動画撮影スイッチ、およびモード切替スイッチなどを含み、各部材の操作に伴う操作信号をＣＰＵ１６へ送出する。

半押しスイッチ２０ａからのオン信号（半押し操作信号）は、シャッターボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。全押しスイッチ２０ｂからのオン信号（全押し操作信号）は、シャッターボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。

＜撮影モード＞
電子カメラ１は、静止画撮影モードと、動画撮影モードと、スロー動画撮影モードとが、例えば上記モード切替スイッチによって切替え可能に構成されている。静止画撮影モードは、上記全押し操作信号に応じて画像を取得し、取得した画像に基づいて生成した静止画像データをメモリカード５０へ記録するモードである。

動画撮影モードは、上記動画撮影スイッチ（不図示）からの操作信号に応じて複数フレームの画像を取得し、該複数フレームの画像に基づいて生成した動画像データをメモリカード５０へ記録するモードである。

スロー動画撮影モードは、上記全押し操作信号の前後所定時間に取得した複数フレームの画像に基づいてスロー動画像データおよび静止画像データをそれぞれ生成し、該スロー動画像データおよび静止画像データを互いに関連づけてメモリカード５０へ記録するモードである。本説明では、取得時のフレームレートより遅いフレームレートで再生する動画像データのことをスロー動画像データと呼ぶ。本実施形態では、例えば６０フレーム／秒(６０fps)で取得した複数フレームの画像から、２４フレーム／秒(２４fps)で再生するスロー動画像データを生成する。

本実施の形態は、デジタルカメラ１のスロー動画撮影モードに特徴を有するので、以下の説明はスロー動画撮影モードを中心に行う。図２は、スロー動画撮影モードにおける画像の取得タイミングを説明する図である。

＜フォーカスポイントのセット＞
図２において、時刻ｔ０においてスロー動画撮影モードに切替え操作されると、ＣＰＵ１６は、液晶モニタ１５にライブビュー画像の表示を開始させる。例えば６０フレーム／秒(60fps)のフレームレートで撮像素子１２に被写体像を撮像させ、得られたデジタル画像データに基づく再生画像を液晶モニタ１５に逐次表示させる。ＣＰＵ１６はまた、デジタル画像データ値に基づいて露出演算を行いながら、適正露出が得られるように露出制御を行う。

ライブビュー画像を表示中のＣＰＵ１６は、シャッターボタンの半押し操作時に行うＡＦ処理の対象とするフォーカスポイントの設定操作を受け付ける。フォーカスポイントの設定は、図３に例示するように、ライブビュー画像上でフォーカスポイントを示すマークＭ１を移動させることによって行う。マークＭ１の位置は、例えば操作部材２０を構成する十字キー（不図示）の操作方向に応じて移動可能に構成されている。図３は、フォーカスポイントのセットを説明する図である。本実施形態では、フォーカスポイントを主要被写体３１上にセットする。

＜ピント合わせおよび先撮り＞
図２の時刻ｔ１において、ユーザーによってシャッターボタンが半押し操作されると（Ｓ１オン）、ＣＰＵ１６は、上記フォーカスポイントに対応するフォーカス検出用画素からの出力信号を用いてＡＦ処理を行う。具体的には、図３に例示した主要被写体３１にピントを合わせる。ＣＰＵ１６は、被写体３１を対象に演算したデフォーカス量に基づく合焦位置へのフォーカシングレンズの移動が終了すると、バッファメモリ１８に対して撮像素子１２で取得された画像データの記録（蓄積）を開始させる。これにより、６０フレーム／秒(60fps)のフレームレートで得られたフレーム画像が、逐次バッファメモリ１８に蓄積される。蓄積されるフレーム画像のピクセル数は、例えば３８４０（水平）×２１６０（垂直）である。

先撮り撮影のために使用するバッファメモリ１８のメモリ容量は、あらかじめ十分な容量が確保されている。ＣＰＵ１６は、時刻ｔ１以降にバッファメモリ１８内に蓄積したフレーム画像のフレーム枚数が所定枚数（例えば３００枚(５秒分)）に達した場合には、古いフレーム画像から順に上書き消去する。これにより、先撮り撮影のために使用するバッファメモリ１８のメモリ容量を制限できる。

＜静止画像用に用いるフレーム画像＞
時刻ｔ２において、ユーザーによってシャッターボタンが全押し操作されると（Ｓ２オン）、ＣＰＵ１６は、次に撮像素子１２で撮像されるフレーム画像を静止画像用としてバッファメモリ１８に蓄積する。ＣＰＵ１６は、静止画像用のフレーム画像の特定に必要な情報（例えば、当該フレーム画像の取得時刻と時刻ｔ２との関係を示す情報）をバッファメモリ１８に一時保存しておく。

＜後撮り＞
ＣＰＵ１６は、上記時刻ｔ２において内部のタイマー回路（不図示）による計時を開始させる。本実施形態では、上記先撮り時と同様に、時刻ｔ２からｔ３までの時間Ｂにおいてバッファメモリ１８に対する画像データの記録（蓄積）を行う。ＣＰＵ１６は、タイマー回路による計時時間Ｂ（例えば０．５秒間）の計時が終了すると、時刻ｔ３においてバッファメモリ１８への画像データの蓄積を終了させる。

図４に例示するフローチャートを参照して、一連のスロー動画撮影時にＣＰＵ１６が実行する処理の流れを説明する。ＣＰＵ１６は、スロー動画撮影モードに切替え操作されると、図４の処理を行うプログラムを繰り返し実行する。図４のステップＳ１１において、ＣＰＵ１６は、液晶モニタ１５にライブビュー画像の表示を開始させて、シャッターボタンが半押し操作されたか否かを判定する。ＣＰＵ１６は、半押しスイッチ２０ａからの操作信号が入力された場合にステップＳ１１を肯定判定してステップＳ１２へ進む。ＣＰＵ１６は、半押しスイッチ２０ａからの操作信号が入力されない場合には、ステップＳ１１を否定判定して当該判定処理を繰り返す。

ステップＳ１２において、ＣＰＵ１６はＡＦ処理を開始させ、主要被写体３１に合焦したか否かを判定する。ＣＰＵ１６は、合焦位置へフォーカシングレンズの移動が終了すると、ステップＳ１２を肯定判定してステップＳ１３へ進む。これにより、被写体３１にピントが合う。ＣＰＵ１６は、フォーカシングレンズの移動が終了しない場合はステップＳ１２を否定判定して当該判定処理を繰り返す。

ステップＳ１３において、ＣＰＵ１６は、バッファメモリ１８への画像データの蓄積を行わせてステップＳ１４へ進む。ステップＳ１４において、ＣＰＵ１６は、シャッターボタンが全押し操作されたか否かを判定する。ＣＰＵ１６は、全押しスイッチ２０ｂからの操作信号が入力された場合にステップＳ１４を肯定判定してステップＳ１５へ進む。ＣＰＵ１６は、全押しスイッチ２０ｂからの操作信号が入力されない場合には、ステップＳ１４を否定判定してステップＳ１３へ戻る。これにより、先撮りしながら全押し操作を待つ。

ステップＳ１５において、ＣＰＵ１６は、撮像素子１２に静止画像用のフレーム画像を取得させ、該フレーム画像をバッファメモリ１８に蓄積させておく。ＣＰＵ１６はさらに、当該フレーム画像の取得時刻と時刻ｔ２との関係を示す情報をバッファメモリ１８に一時保存しておく。

ステップＳ１６において、ＣＰＵ１６は、シャッターボタンの全押し操作後もバッファメモリ１８へ画像データの蓄積を行わせてステップＳ１７へ進む。ステップＳ１７において、ＣＰＵ１６はタイムアップか否かを判定する。ＣＰＵ１６は、時刻ｔ２において開始した計時時間Ｂの計時が終了すると、ステップＳ１７を肯定判定してステップＳ１８へ進む。この場合、バッファメモリ１８への画像データの蓄積を終了させる。一方、ＣＰＵ１６は、計時時間Ｂの計時が終了しない場合にはステップＳ１７を否定判定してステップＳ１６へ戻る。これにより、全押し操作後に時間Ｂが経過するまで後撮りが行われる。

ステップＳ１８において、ＣＰＵ１６は、縦長動画像生成の判定処理を行ってステップＳ１９へ進む。縦長動画像生成の判定処理の詳細については後述する。ステップＳ１９において、ＣＰＵ１６は縦長動画像を記録するか否かを判定する。ＣＰＵ１６は、縦長動画像生成の判定処理によって「縦長構図あり」が判定されている場合は、ステップＳ１９を肯定判定してステップＳ２０へ進む。ＣＰＵ１６は、「縦長構図あり」が判定されていない場合には、ステップＳ１９を否定判定してステップＳ２１へ進む。

ステップＳ２０において、ＣＰＵ１６は画像処理回路１４へ指示を送り、バッファメモリ１８内に蓄積された静止画像用フレーム画像に基づいて、後述するようにアスペクト比９（水平）：１６（垂直）の静止画像データを生成させる。

ＣＰＵ１６はさらに、画像処理回路１４へ指示を送り、バッファメモリ１８内に蓄積されたフレーム画像群に基づいて、後述するようにアスペクト比９（水平）：１６（垂直）のスロー動画像データを生成させる。ＣＰＵ１６は、スロー動画像データ、および静止画像データを互いに関連づけてメモリカード５０へ記録すると、図４による処理を終了する。

ステップＳ２１において、ＣＰＵ１６は画像処理回路１４へ指示を送り、バッファメモリ１８内に蓄積された静止画像用フレーム画像に基づいて、後述するようにアスペクト比１６（水平）：９（垂直）の静止画像データを生成させる。

ＣＰＵ１６はさらに、画像処理回路１４へ指示を送り、バッファメモリ１８内に蓄積されたフレーム画像群に基づいて、後述するようにアスペクト比１６（水平）：９（垂直）のスロー動画像データを生成する。ＣＰＵ１６は、スロー動画像データ、および静止画像データを互いに関連づけてメモリカード５０へ記録すると、図４による処理を終了する。

＜スロー動画像データの生成＞
画像処理回路１４は、バッファメモリ１８内に蓄積されている時刻ｔ２以前の所定時間Ａ（図２において例えば０．５秒とする）、および時刻ｔ２から時刻ｔ３までの所定時間（上記時間Ｂ）にそれぞれ取得されたフレーム画像群に基づいて、２４フレーム／秒で再生するスロー動画像データを生成させる。これにより、例えば(Ａ＋Ｂ)＝１秒間に取得したフレーム画像群に基づいて、再生時間が２．５秒間のスロー動画像データが得られる。

―アスペクト比９：１６の場合―
画像処理回路１４は、撮像素子１２で取得された３８４０（水平）×２１６０（垂直）ピクセルの画像データから、１０８０（水平）×１９２０（垂直）ピクセルの画像データを切出す。この切出し処理を、バッファメモリ１８内に蓄積された全フレームの画像群に対して共通に行い、さらに所定の画像処理を行うことで、いわゆる縦長サイズのスロー動画像データを得る。なお、切出し領域は、後述するステップＳ５５（図５）によって決定される。バッファメモリ１８からの画像データの読み出し（フレーム画像のうち縦構図に対応する切出し領域に含まれる画像データの読み出し）は、ステップＳ５６（図５）で行われる。

―アスペクト比１６：９の場合―
画像処理回路１４は、撮像素子１２で取得された３８４０（水平）×２１６０（垂直）ピクセルの画像データから、水平方向および垂直方向のそれぞれに対して１／２（１９２０（水平）×１０８０（垂直）ピクセル）にリサイズ処理を施して所定の画像処理を行うことで、いわゆる横長サイズのスロー動画像データを得る。

＜静止画像データの生成＞
―アスペクト比９：１６の場合―
画像処理回路１４は、バッファメモリ１８内に蓄積されている静止画像用の３８４０（水平）×２１６０（垂直）ピクセルの画像データから、１０８０（水平）×１９２０（垂直）ピクセルの画像データを切出す。これにより、いわゆるハイビジョンサイズ（１０８０（水平）×１９２０（垂直）ピクセル）の静止画像データが得られる。

切出し領域は、後述するステップＳ５５（図５）によって決定され、バッファメモリ１８からの画像データの読み出し（切出し領域に該当する画像データの読み出し）は、ステップＳ５６（図５）で行われる。なお、静止画像データとして、上記時間Ａに取得された画像群（先取り画像）および上記時間Ｂに取得された画像群（後撮り画像）の中から所定の選定基準に基づいて抽出したベストショット画像としてもよい。

―アスペクト比１６：９の場合―
画像処理回路１４は、バッファメモリ１８内に蓄積されている静止画像用の３８４０（水平）×２１６０（垂直）ピクセルの画像データから、水平方向および垂直方向のそれぞれに対して１／２（１９２０（水平）×１０８０（垂直）ピクセル）にリサイズ処理を施して所定の画像処理を行うことで、いわゆる横長サイズのハイビジョン相当の静止画像データを得る。なお、静止画像データとして、上記時間Ａに取得された画像群（先取り画像）および上記時間Ｂに取得された画像群（後撮り画像）の中から所定の選定基準に基づいて抽出したベストショット画像としてもよい。ところで、アスペクト比が１６：９の場合、静止画データとしてはリサイズしない３８４０（水平）×２１６０（垂直）としてもよい。

ＣＰＵ１６は、以上説明したように互いに関連づけてメモリカード５０へ記録されたスロー動画像データ、および静止画データに基づく再生画像を液晶モニタ１５に再生表示させる場合は、例えば、スロー動画像データに基づく動画像を２．５秒間再生し、続く７．５秒間に静止画像データに基づく生成画像を表示させる。

縦長動画像生成の判定処理の詳細について、図５のフローチャートを参照して説明する。図５のステップＳ５１において、画像処理回路１４は、ステップＳ１５（図４）において蓄積した静止画像データをバッファメモリ１８から読み込んでステップＳ５２へ進む。

ステップＳ５２において、画像処理回路１４は、読み込んだ静止画像データから高域周波数成分を抽出してステップＳ５３へ進む。一般に、ピントが合っている場合は画像の先鋭度が高く、当該画像の空間周波数に高い周波数成分を含む。そこで、画面内で所定周波数より高域の周波数成分を有する領域を抽出することで、画像の合焦されている領域を抽出する。

ステップＳ５３において、画像処理回路１４は構図抽出を行う。上記抽出した合焦領域を主要被写体と仮定し、構図決定に用いられる公知の手法、例えば「三分割法」にしたがって縦長画面に適した主要被写体を含む領域を抽出する。図６は、縦長画面に適した領域を例示する図である。図６において、主要被写体３１を含むアスペクト比９（水平）：１６（垂直）の領域を包含する破線領域３２が抽出した構図に対応する。

図５のステップＳ５４において、画像処理回路１４は縦長構図があるか否かを判定する。画像処理回路１４は、抽出した破線領域３２のアスペクト比が「縦長構図」に該当する場合はステップＳ５４を肯定判定（縦長構図あり）してステップＳ５５へ進む。画像処理回路１４は、破線領域３２のアスペクト比が「縦長構図」に該当しない場合は、ステップＳ５４を否定判定（縦長構図なし）して図５による処理を終了する。

ステップＳ５５において、画像処理回路１４は、破線領域３２に相当する領域を切出し領域として決定してステップＳ５６へ進む。ステップＳ５６において、バッファメモリ１８に蓄積された各フレーム画像のデータのうち、上記決定した切出し領域に含まれる画像データを順次読み出して図５による処理を終了する。

以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１は、静止画撮影指示を含む所定時間(Ａ＋Ｂ)の間に６０fpsで撮像された複数のフレーム画像を順次入力するバッファメモリ１８と、入力された複数のフレーム画像のうち、静止画像撮影指示のタイミングに対応するフレーム画像に基づいて画面内で縦構図の領域３２を探索する画像処理部１４と、入力された複数のフレーム画像の全フレームから、縦構図の領域３２に対応する領域をそれぞれ切出して縦構図の動画像データを生成する画像処理回路１４と、を備えるようにしたので、画像の上下関係を保ちながら、自動的に縦画像または横画像としての動画像データを得ることができる。

（２）上記（１）のデジタルカメラ１において、画像処理回路１４は、入力された複数のフレーム画像が撮像された時の６０fpsより少ない２４fpsで再生されるスローモーション動画像データを生成するようにしたので、静止画像の撮影タイミングに合わせて、自動的にスローモーション動画像を得ることができる。

（３）上記（１）または（２）のデジタルカメラ１において、画像処理回路１４は、入力された複数のフレーム画像のうち静止画像撮影指示のタイミングｔ２に対応するフレーム画像から、所定値より高い空間周波数成分を有する領域を含む縦長領域を探索するようにしたので、合焦されている被写体領域を含む縦長領域を適切に探索できる。

（４）上記デジタルカメラ１において、入力された複数のフレーム画像のうち静止画像撮影指示のタイミングｔ２に対応するフレーム画像に基づいて静止画像データを生成する画像処理回路１４と、上記生成されたスローモーション動画像データ及び上記生成された静止画像データを、互いに関連付けてメモリカード５０に記録する記録再生部１９と、をさらに備えるようにしたので、スローモーション動画像とつながりが深い静止画像が得られる。さらに、静止画像とスローモーション動画像のデータに対し、相互に関連性を持たせることができる。

（第二の実施形態）
第二の実施形態では、高域の周波数成分を抽出する代わりに、フレーム画像間の動き情報を検出し、該動き情報が大きい領域を被写体領域として抽出する。

図７に例示するフローチャートを参照して第二の実施形態による画像処理回路１４が実行する縦長画像生成の判定処理の流れを説明する。図７において、図５に例示したフローチャートと同様の処理については、同じステップ番号を付して説明を省略する。図７の処理は、図５と比べてステップＳ５１Ｂ、ステップＳ５２Ｂの処理が異なるので、これらの相違点を中心に説明する。

図７のステップＳ５１Ｂにおいて、画像処理回路１４は、全押し操作前後（例えば、時刻ｔ２を挟む前後３０フレーム分）のフレーム画像データをバッファメモリ１８から読み込んでステップＳ５２Ｂへ進む。

ステップＳ５２Ｂにおいて、画像処理回路１４は、フレーム画像から動きベクトルを抽出する。具体的には、画面の所定範囲（たとえば、フォーカスポイントを含む所定範囲）について、前フレームと注目フレームとの間の対応するデータからフレーム間で共通する被写体の動きベクトル（被写体の動きの速さや方向）を求める。そして、該動きベクトルの大きさが所定の判定閾値より大きい場合に、これを抽出する。該動きベクトルの大きさが所定の判定閾値より小さければ、動きベクトルの抽出は行わない。フレーム間で画像の動きがない場合は、動きベクトルに基づく構図抽出が困難なためである。

動きベクトルを抽出した場合の画像処理回路１４は、ステップＳ５３において、上記抽出した動きベクトルに対応する領域を主要被写体と仮定し、構図決定に用いられる公知の手法、例えば「三分割法」にしたがって縦長画面に適した主要被写体を含む領域を抽出する。図６の場合と同様に、縦長画面に適した領域を抽出する。以降の処理は第一の実施形態と同様である。

以上説明した第二の実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１は、静止画撮影指示を含む所定時間(Ａ＋Ｂ)の間に６０fpsで撮像された複数のフレーム画像を順次入力するバッファメモリ１８と、入力された複数のフレーム画像のうち、静止画像撮影指示のタイミングに対応するフレーム画像に基づいて画面内で縦構図の領域３２を探索する画像処理部１４と、入力された複数のフレーム画像の全フレームから、縦構図の領域３２に対応する領域をそれぞれ切出して縦構図の動画像データを生成する画像処理回路１４と、を備えるようにしたので、画像の上下関係を保ちながら、自動的に縦画像または横画像としての動画像データを得ることができる。

（２）上記（１）のデジタルカメラ１において、画像処理回路１４は、入力された複数のフレーム画像のうち静止画像撮影指示のタイミングｔ２の前後に取得された複数のフレーム画像から動きベクトルを検出し、その大きさが所定値より大きい動きベクトルを含む縦長領域を探索するようにしたので、フレーム間で動きのある被写体領域を含む縦長領域を適切に探索できる。

（変形例１）
画像の高域周波数成分に基づいて縦長構図を判定する第一の実施形態において、画像の色情報を検出し、検出した色情報を用いるように構成してもよい。変形例１の画像処理回路１４は、例えば、画像のうち高域周波数成分が検出されている領域、または肌色が検出されている領域を主要被写体と仮定し、構図決定に用いられる公知の手法、例えば「三分割法」にしたがって縦長画面に適した主要被写体を含む領域を抽出する。

変形例１によれば、色情報も含めることで、高域周波数成分のみに基づく場合に比べて適切に縦長画面に適した領域を抽出することができる。

（変形例２）
画像のフレーム間の動きベクトルに基づいて縦長構図を判定する第二の実施形態において、画像の輝度情報を検出し、検出した輝度情報を用いるように構成してもよい。変形例２の画像処理回路１４は、例えば、画像のうち動きベクトルが検出されている領域、またはフレーム間で輝度変化が検出されている領域を主要被写体と仮定し、構図決定に用いられる公知の手法、例えば「三分割法」にしたがって縦長画面に適した主要被写体を含む領域を抽出する。

変形例２によれば、輝度情報も含めることで、動きベクトルのみに基づく場合に比べて適切に縦長画面に適した領域を抽出することができる。

（変形例３）
第一の実施形態および第二の実施形態を組み合わせてもよい。動きベクトルに基づいて縦長構図を判定する第二の実施形態は、被写体に動きのない場合に構図抽出が困難である。一方、画像の高域周波数成分に基づいて縦長構図を判定する第一の実施形態は、被写体に動きがなくても構図抽出が行える。そこで、第一の実施形態および第二の実施形態を組み合わせることで、動きのある被写体の場合は、少々ピントが外れていても（すなわち、高域周波数成分が抽出できなくても）、動きベクトルに基づいて縦長構図を判定することができる。また、動きのない被写体の場合は、動きベクトルを検出できなくても、ピントが合っていれば高域周波数成分に基づいて縦長構図を判定することができる。

（変形例４）
上記各変形例は、第一の実施形態や第二の実施形態と適宜組み合わせてもよい。

（変形例５）
上述した説明では、デジタルカメラ１を例に説明した。デジタルカメラ１の代わりに、デジタルフォトフレーム、プロジェクタなどの電子機器、あるいはパーソナルコンピュータにスロー動画像データを生成させるように構成してもよい。

変形例５の場合は、デジタルカメラ１が、時間Ａおよび時間Ｂにおいてバッファメモリ１８に蓄積したフレーム画像群を全てメモリカード５０へ記録する。ここで、静止画像用のフレーム画像の特定に必要な情報（例えば、当該フレーム画像の取得時刻と時刻ｔ２との関係を示す情報）も、合わせてメモリカード５０へ記録する。

デジタルフォトフレーム、プロジェクタなどの電子機器、あるいはパーソナルコンピュータは、メモリカード５０に記録されているフレーム画像群に基づいて、上記時刻ｔ２（全押し操作タイミング）の前後所定時間に取得した複数フレームの画像に基づいてスロー動画像データおよび静止画像データをそれぞれ生成し、該スロー動画像データおよび静止画像データを互いに関連づける。

変形例５によれば、時間Ａおよび時間Ｂにおいて取得されたフレーム画像群を全てメモリカード５０へ記録しておくことで、該メモリカード５０に記録されているデータに基づいて、後からスロー動画像データおよび静止画像データを生成することができる。

（変形例６）
上述した説明では、撮像素子１２で取得された３８４０（水平）×２１６０（垂直）ピクセルの画像データから、１０８０（水平）×１９２０（垂直）ピクセルの画像データを１つ切出す例を説明した。切出す画像の数は１つに限ることはなく、撮影画面における複数箇所から複数の画像データを切り出してもよい。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

１…デジタルカメラ
１１…撮影レンズ
１２…撮像素子
１４…画像処理部
１５…液晶モニタ
１６…ＣＰＵ
１８…バッファメモリ
１９…記録再生部
２０…操作部材
２１…レンズ駆動部
５０…メモリカード

Claims (5)

1. 静止画撮影指示を含む所定時間の間に所定のフレームレートで撮像された複数のフレーム画像を順次入力するフレーム画像入力部と、
   前記入力された前記複数のフレーム画像のうち、前記静止画像撮影指示のタイミングに対応するフレーム画像に基づいて画面内で縦構図の領域を探索する縦構図探索部と、
   前記入力された前記複数のフレーム画像の全フレームから、前記縦構図の領域に対応する領域をそれぞれ切出して縦構図の動画像データを生成する動画像データ生成部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記動画像データ生成部は、前記入力された前記複数のフレーム画像が撮像された時の第１フレームレートより少ない第２フレームレートで再生されるスローモーション動画像データを生成することを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記縦構図探索部は、前記入力された前記複数のフレーム画像のうち前記静止画像撮影指示のタイミングに対応するフレーム画像から、所定値より高い空間周波数成分を有する領域を含む縦長領域を探索することを特徴とする画像処理装置。
4. 請求項１〜３のいずれか一項に記載の画像処理装置において、
   前記縦構図探索部は、前記入力された前記複数のフレーム画像のうち前記静止画像撮影指示のタイミングの前後に取得された複数のフレーム画像から動きベクトルを検出し、その大きさが所定値より大きい動きベクトルを含む縦長領域を探索することを特徴とする画像処理装置。
5. 請求項１〜４のいずれか一項に記載の画像処理装置において、
   前記入力された前記複数のフレーム画像のうち前記静止画像撮影指示のタイミングに対応するフレーム画像に基づいて静止画像データを生成する静止画像データ生成部と、
   前記動画像データ生成部により生成された前記スローモーション動画像データ及び前記静止画像データ生成部により生成された前記静止画像データを、互いに関連付けて記録媒体に記録する記録制御部と、
   をさらに備えることを特徴とする画像処理装置。

Images