JP2017102588A - 画像処理装置および画像処理装置の制御方法 - Google Patents

Abstract

【課題】指定された画像群が複数のイベントで構成される場合においても全体を通したイベントを特定できるようにする。【解決手段】複数の画像を含む画像群を特定のセグメントに分割するセグメント分割手段と、前記セグメント分割手段により特定されたセグメントの内容を特定し、セグメント毎のイベント特定の結果に基づいて画像群全体のイベントを決定する決定手段とを設ける。【選択図】図３

Description

本発明は画像処理装置および画像処理装置の制御方法に関する。

従来、動画の特徴を解析する装置として、動画のデータを解析し動画の内容をカテゴリ分けし、カテゴリに対応付いた特徴量に基づき動画のシーンを選択するものがある（特許文献１）。

特開２０１２−４３３３７号公報

特許文献１に記載の画像処理装置は、動画を構成する静止画に分割し対応するカテゴリに分類を行っているが、動画の時系列の各セグメントで異なるカテゴリ分類となった場合に動画全体としてどのようにふるまうべきか考慮されていない。
本発明は前述の問題点に鑑み、指定された画像群が複数のイベントで構成される場合においても全体を通したイベントを特定できるようにすることを目的とする。

本発明の画像処理装置は、複数の画像を含む画像群を特定のセグメントに分割するセグメント分割手段と、前記セグメント分割手段により特定されたセグメントの内容を特定し、セグメント毎のイベント特定の結果に基づいて画像群全体のイベントを決定する決定手段とを有することを特徴とする。

本発明によれば、指定された画像群が複数のイベントで構成される場合においても全体を通したイベントを特定することができる。
また、本発明の他の特徴によれば、全体を通して一貫した効果を施すことが可能となる。

実施形態に係るデジタルカメラの構成例を示すブロック図である。 実施形態に係るデジタルカメラの編集処理を説明するフローチャートである。 実施形態に係る編集処理内の全体イベント決定処理を示し、（ａ）は第１の実施形態を説明するフローチャート、（ｂ）は第２の実施形態を説明するフローチャートである。 実施形態に係る編集処理内の全体イベント決定処理を示す説明図である。 実施形態に係るイベント別効果を示す説明図である。

以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の範囲を限定するものではない。

［第１の実施形態］
本実施形態では、画像処理装置としてデジタルカメラを例にとって説明するが、これ以外にも携帯電話などであってもよい。
また、本実施形態では、画像処理装置として、動画及び静止画を記録し、記録した動画及び静止画を再生、編集することができる画像処理装置について説明する。

以下、図１を用いて、本実施形態の画像処理装置１００の主要な構成を説明する。
図１において、制御部１０１は、例えば、ＣＰＵ（ＭＰＵ）、メモリ（ＤＲＡＭ、ＳＲＡＭ）などからなり、各種処理（プログラム）を実行して画像処理装置１００の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。また、制御部１０１は、ユーザからの操作を受け付ける操作部１０２からの操作信号に応じて、画像処理装置１００の各ブロックを制御する。また、制御部１０１は、後述の画像処理部１１１によって得られた画像を解析し、その解析結果に応じて、画像処理装置１００の各ブロックを制御する。

操作部１０２は、例えば、電源ボタン、静止画記録ボタン、動画記録開始ボタン、ズーム調整ボタン、オートフォーカスボタンなどの撮影に関連する各種操作を入力するスイッチ類からなる。また、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等からなり、ユーザによりこれらのキーやボタンが操作されると制御部１０１に操作信号を送信する。
バス１０３は、各種データ、制御信号、指示信号などを画像処理装置１００の各ブロックに送るための汎用バスである。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、アナログデジタル変換をして、画像処理部１１１に送信する。
画像処理部１１１は、入力されたデジタル画像信号に、設定値に基づいてホワイトバランスや色、明るさなどを調整する画質調整処理を行う。そして、画像処理部１１１で処理された画像信号は、制御部１０１により、メモリ１０４や後述の映像出力部１５０や表示制御部１３１に送信される。

本実施形態においては、例えば、撮像部１１０は、「光学ズーム」機能、「光学防振」機能を有し、画像処理部１１１は、「電子ズーム」機能、「電子防振」機能を有している。ここで、「光学ズーム」機能、「電子ズーム」機能は、ユーザの操作に応じて、得られる画像を拡大する機能である。また、「光学防振」機能、「電子防振」機能は、画像処理装置１００本体の振動による画像の揺れを防止する機能である。そして、これらの機能は、制御部１０１の制御の下、同時に使用されたり交互に使用されたり、単独で使用されたりする。

ここで、「光学ズーム」機能とは、ユーザにより操作部１０２のズームキーが操作されたことに応じて、撮像部１１０のレンズを移動させ、取り込まれる被写体の光学像を拡大／縮小する機能である。また、「電子ズーム」機能とは、ユーザにより操作部１０２のズームキーが操作されたことに応じて、画像処理部１１１が、撮像部１１０により生成された画像のうち一部を切り出した画像を拡大した画像信号を生成する処理である。

また、「光学防振」機能とは、不図示の振動検出部からの加速度信号の値に基づいて、レンズの移動量を算出し、レンズを移動させることで、取得される画像の揺れを防止する機能である。
また、「電子防振」機能とは、不図示の振動検出部からの加速度信号の値に基づいて、撮像部１１０により取得された画像信号の位置を調整することにより、画像の揺れを防止する機能である。また、「電子防振」機能は、不図示の振動検出部からの加速度信号の値に基づいて、撮像部１１０の撮像素子における読み出し位置をずらすことによっても実現できる。これらの機能は公知の技術であるため、詳細な説明は省略する。

音声入力部１２０は、例えば、内蔵された無指向性のマイクまたは音声入力端子を介して接続された外部マイク等により、画像処理装置１００の周囲の音声を集音（収音）し、アナログデジタル変換をして音声処理部１２１に送信する。音声処理部１２１は、入力されたデジタル音声信号のレベルの適正化処理等の音声に関する処理を行う。そして、音声処理部１２１で処理された音声信号は、制御部１０１によりメモリ１０４に送信される。メモリ１０４は、画像処理部１１１、音声処理部１２１により得られた画像信号及び音声信号を一時的に記憶する。

画像処理部１１１及び音声処理部１２１は、メモリ１０４に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号等を生成する。制御部１０１は、これらの圧縮画像信号、圧縮音声信号を、記録再生部１４０に送信する。

記録再生部１４０は、記録媒体１４１に対して画像処理部１１１及び音声処理部１２１で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、制御部１０１は、音声処理部１２１により生成された音声信号と画像処理部１１１により生成された圧縮画像信号とを、記録再生部１４０に送信し記録媒体１４１に記録させる。

ここで、記録媒体１４１は、画像処理装置１００に内蔵された記録媒体でも、取外し可能な記録媒体でもよく、画像処理装置１００で生成した圧縮画像信号、圧縮音声信号、音声信号、各種データなどを記録することができればよい。例えば、記録媒体１４１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。

また、記録再生部１４０は、記録媒体１４１に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す（再生する）。そして、読み出した圧縮画像信号、圧縮音声信号を、制御部１０１は、画像処理部１１１及び音声処理部１２１に送信する。画像処理部１１１及び音声処理部１２１は、圧縮画像信号、圧縮音声信号を一時的にメモリ１０４に記憶させ、所定の手順で復号し、復号した音声信号を音声出力部１５１へ、復号化した画像信号を映像出力部１５０や表示制御部１３１に送信する。また、音声信号が記録媒体１４１に非圧縮記録されている場合には、制御部１０１は、音声信号を直接音声出力部１５１に送信する。

音声出力部１５１は、例えば音声出力端子からなり、接続されたイヤホンやスピーカなどから音声を出力させるために音声信号を送信する。また、音声出力部１５１は、画像処理装置１００に内蔵され、音声信号にかかる音声を出力するスピーカであってもよい。
映像出力部１５０は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力部１５１、映像出力部１５０は、統合された１つの端子、例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）端子のような端子であってもよい。

表示制御部１３１は、画像処理部１１１から送信された画像信号による映像や、画像処理装置１００を操作するための操作画面（メニュー画面）等を表示部１３０に表示させる。表示部１３０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等の表示デバイスであれば何でもよい。

ここで、本実施形態の画像処理装置１００の通常の動作について説明する。
本実施形態の画像処理装置１００は、ユーザが操作部１０２の電源ボタンを操作すると、操作部１０２から制御部１０１に起動の指示が出される。この指示を受けて、制御部１０１は、不図示の電源供給部を制御して、画像処理装置１００の各ブロックに対して電源を供給させる。
電源が供給されると、制御部１０１は、例えば、操作部１０２のモード切り換えスイッチが、例えば、静止画撮影モード、動画撮影モード、再生モード等のどのモードであるかを操作部１０２からの指示信号により確認する。

静止画撮影モードでは、画像処理装置１００は撮影待機状態でユーザが操作部１０２の静止画記録ボタンを操作することで撮影を行い、圧縮画像信号が記録媒体１４１に記録される。そして、再び撮影待機状態になる。
動画撮影モードでは、画像処理装置１００は撮影待機状態でユーザが操作部１０２の動画記録開始ボタンを操作することで撮影を開始し、その間、圧縮画像信号と圧縮音声信号または音声信号が記録媒体１４１に記録される。そして、ユーザが操作部１０２の動画記録終了ボタンを操作することで撮影を終了し、再び撮影待機状態になる。
再生モードでは、ユーザが選択したファイルに関する圧縮画像信号や圧縮音声信号または音声信号を記録媒体１４１から再生して、音声出力部１５１から音声信号を出力し、表示部１３０に映像を表示させる。

まず、静止画撮影モードについて説明する。
操作部１０２により静止画撮影モードが設定されると、前述のようにまず、制御部１０１は、画像処理装置１００の各ブロックを撮影待機状態に設定させる。
撮影待機状態では、画像処理部１１１は、画像信号を表示制御部１３１に送信し表示部１３０に画像信号に関する映像を表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。

撮影待機状態で、ユーザが操作部１０２の静止画記録ボタンを操作することにより撮影指示信号が送信されると、制御部１０１は、撮影制御信号を画像処理装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。
撮像部１１０は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換し、画像処理部１１１に送信する。

画像処理部１１１は、入力されたデジタル画像信号の画質調整処理（ホワイトバランスや色、明るさなど）を設定値に基づいて処理する。そして、画像処理部１１１で処理された画像信号は、制御部１０１によりメモリ１０４や映像出力部１５０や表示制御部１３１に送信される。ここで、表示部１３０に表示された映像を見ることで、ユーザは撮影した静止画を確認することができる。

そして、画像処理部１１１は、メモリ１０４に一時的に記憶された画像信号を読み出して所定の符号化を行い、圧縮画像信号を生成し、記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、圧縮画像信号を静止画ファイルとして記録媒体１４１に書き込んでいく。
なお、制御部１０１は、画像処理部１１１による符号化の動作が終了すると、撮影待機状態に移行させるように制御信号を画像処理装置１００の各ブロックに送信して、撮影待機状態に戻る。

次に、動画撮影モードについて説明する。
操作部１０２により動画撮影モードが設定されると前述のようにまず、制御部１０１は、画像処理装置１００の各ブロックを撮影待機状態に設定させる。
撮影待機状態では、画像処理部１１１は、画像信号を表示制御部１３１に送信し表示部１３０に画像信号に関する映像を表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。
撮影待機状態で、ユーザが操作部１０２の動画記録開始ボタンを操作することにより撮影開始の指示信号が送信されると、制御部１０１は、撮影開始の制御信号を画像処理装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換した後、アナログデジタル変換し、画像処理部１１１に送信する。画像処理部１１１は、入力されたデジタル画像信号の画質調整処理（ホワイトバランスや色、明るさなど）を設定値に基づいて処理する。そして、画像処理部１１１で処理された画像信号は、制御部１０１により表示制御部１３１、メモリ１０４に送信される。表示制御部１３１は、受信した画像信号に関する映像を表示部１３０に表示させる。

一方、音声入力部１２０は、マイクにより得られたアナログ音声信号をデジタル変換し、得られたデジタル音声信号を音声処理部１２１に送信する。音声処理部１２１は、入力されたデジタル音声信号のレベルの適正化処理等をして音声信号を出力する。制御部１０１は、音声処理部１２１により処理された音声信号をメモリ１０４に送信する。

そして、画像処理部１１１及び音声処理部１２１は、メモリ１０４に一時的に記憶された画像信号や音声信号を読み出して所定の符号化を行い、圧縮画像信号、圧縮音声信号等を生成する。メモリ１０４への画像信号の送信および符号化のための読みだしは、予め設定された間隔、すなわちフレームレートで行われる。
フレームレートは、被写体目的別、出力用途別に応じて設定が可能である。被写体目的としては、通常のフレームレートの他、高速に動く被写体を撮影するためのより間隔の短いフレームレートがある。また、出力用途としてはＮＴＳＣ／ＰＡＬ等の各方式にそれぞれ最適なフレームレートがある。

制御部１０１は、これらの圧縮画像信号、圧縮音声信号を合成し、データストリームを形成し、記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。また、音声を圧縮しない場合には、制御部１０１は、音声処理部１２１で生成した音声信号を画像処理部１１１で生成された圧縮画像信号とともに、記録再生部１４０に出力する。そして、記録再生部１４０は、前述したように、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。
以上の動作を撮影中は継続する。

また、撮影の間、ユーザによる操作部１０２の操作に応じて、または画像処理部１１１により生成された画像信号の解析結果に応じて、制御部１０１は、撮像部１１０や画像処理部１１１、音声処理部１２１などに各種制御信号を送信している。例えば、レンズの移動や絞り調整などをさせるための制御信号を撮像部１１０に送信するとともに、画像や音声を調整するための制御信号を画像処理部１１１、音声処理部１２１に送信する。

また、同様に撮影の間、ユーザにより操作部１０２のズームキーを操作することで、制御部１０１により、撮像部１１０の「光学ズーム」機能や、画像処理部１１１の「電子ズーム」機能を動作させることができる。また、不図示の振動検出部により検出された加速度信号に基づいて、制御部１０１により、撮像部１１０の「光学防振」機能や、画像処理部１１１の「電子防振」機能が動作している。
そして、ユーザが操作部１０２の動画記録終了ボタンを操作することにより、撮影終了の指示信号が制御部１０１に送信されると、制御部１０１は、撮影終了の制御信号を画像処理装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。

画像処理部１１１、音声処理部１２１は、それぞれ画像信号、音声信号のメモリ１０４への送信を停止する。そして、メモリ１０４に記憶されている残りの画像信号と音声信号とを読み出して所定の符号化を行い、圧縮画像信号、圧縮音声信号等を生成する。
制御部１０１は、これらの最後の圧縮画像信号、圧縮音声信号を合成し、データストリームを形成し、記録再生部１４０に出力する。音声を圧縮しない場合には、制御部１０１は、音声処理部１２１により生成された音声信号と、圧縮画像信号とを記録再生部１４０に出力する。

記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。そして、データストリームの供給が停止したら、制御部１０１は、サムネイルを生成するために以下のような動作をさせるように制御する。

記録再生部１４０は、記録媒体１４１に記録した動画ファイルの先頭フレームの圧縮画像信号を読み出し、画像処理部１１１に送信する。画像処理部１１１は、圧縮画像信号を一時的にメモリ１０４に記憶させ、所定の手順で復号する。次に、画像処理部１１１は、得られた画像信号に対してサムネイル用の所定の符号化を行い、サムネイル用圧縮画像信号を生成する。

制御部１０１は、サムネイル用圧縮画像信号を記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、サムネイル用圧縮画像を、基となる動画ファイルに結合させるように記録媒体１４１に書き込み、動画ファイルを完成させるとともに記録動作を停止する。
制御部１０１は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を画像処理装置１００の各ブロックに送信して、撮影待機状態に戻る。

次に、再生モードについて説明する。
操作部１０２により再生モードが設定されると、制御部１０１は、再生状態に移行させるように制御信号を画像処理装置１００の各ブロックに送信し、以下のような動作をさせる。
記録再生部１４０は、記録媒体１４１に記録された圧縮画像信号からなる静止画ファイル、または圧縮画像信号と圧縮音声信号または音声信号とからなる動画ファイルを読み出す。制御部１０１は、読み出された圧縮画像信号、圧縮音声信号を、画像処理部１１１及び音声処理部１２１に送る。圧縮されていない音声信号であれば、制御部１０１は、音声出力部１５１に音声信号を送信する。

画像処理部１１１及び音声処理部１２１は、圧縮画像信号、圧縮音声を一時的にメモリ１０４に記憶させ、所定の手順で復号する。そして、制御部１０１は、復号化した音声信号を音声出力部１５１へ、復号化した画像信号を映像出力部１５０や表示制御部１３１に送信する。表示制御部１３１は、入力された画像信号にかかる映像を表示部１３０に表示させ、音声出力部１５１は、入力された音声信号にかかる音声を内蔵されたスピーカや、接続されたイヤホンやスピーカから出力する。

次に、編集モードについて説明する。
操作部１０２により編集モードが設定されると、制御部１０１は、編集状態に移行させるように制御信号を画像処理装置１００の各ブロックに送信し、以下のような動作をさせる。

記録再生部１４０は、記録媒体１４１に記録された圧縮画像信号からなる静止画ファイル、または圧縮画像信号と圧縮音声信号または音声信号とからなる動画ファイルを読み出す。制御部１０１は、読み出された圧縮画像信号、圧縮音声信号を、画像処理部１１１及び音声処理部１２１に送る。

画像処理部１１１及び音声処理部１２１は、圧縮画像信号、圧縮音声信号を一時的にメモリ１０４に記憶させ、所定の手順で復号する。画像処理部１１１及び音声処理部１２１は、さらにこの復号された画像信号、音声信号に加工を行った後、メモリ１０４に一時記憶する。
そして、画像処理部１１１及び音声処理部１２１は、メモリ１０４に一時的に記憶された画像信号や音声信号を読み出して所定の符号化を行い、圧縮画像信号、圧縮音声信号等を生成する。

制御部１０１は、これらの圧縮画像信号、圧縮音声信号を合成し、データストリームを形成し、記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。また、音声を圧縮しない場合には、制御部１０１は、音声処理部１２１で生成した音声信号を画像処理部１１１で生成された圧縮画像信号とともに、記録再生部１４０に出力する。そして、記録再生部１４０は、前述したように、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。
本実施形態の画像処理装置は以上のように、静止画、動画の記録再生編集を行う。

次に、図１〜図５を用いて、アルバム編集モードの処理を説明する。
本実施形態では、記録媒体１４１に記録された動画或いは静止画を動画に変換した後、所定の順序で結合することにより動画データを生成し、新たに記録媒体１４１に記録する。このときに生成される動画をアルバムと呼ぶ。また、自動編集が指定された場合は、アルバムを作成するために使用される動画や静止画を、決められた条件に従って自動的に選択する。ユーザは、アルバムのために使用する動画と静止画を自分で選択するか、或いは、カメラが自動選択するかを指定することができる。

操作部１０２からの指示信号によりアルバム編集モードにおける動画と静止画の選択条件が確定すると、制御部１０１は、前述した編集処理を開始する。
図２は、編集モードの全体の処理手順を表すフローチャートである。
Ｓ２００において、制御部１０１は、自動編集か否かを判断する。自動編集である場合はＳ２０２へ進む。自動編集においては、記録された動画と静止画の内容を制御部１０１が判別し、アルバムの動画を作成するために使用する動画や静止画を自動域に選択する。自動編集時においては、制御部１０１が、画像の善し悪しを判定し編集結合するための元となる動画および静止画を選抜して結合する。ここで、画像の善し悪しの判断は、撮影時及びまたは撮影後に撮影画像内に検出された被写体の顔の数、顔の大きさ、笑顔の度合い、動きの度合い、画像の明暗、ブレ、ボケ等の画像判定パラメータにより判断される。

Ｓ２０２において、制御部１０１は、自動編集の範囲の全画像を列挙する画像群指定処理を行う。本実施形態のデジタルカメラにおいては、自動編集の範囲、即ち、自動編集のために使用される動画や静止画の記録日時の範囲として”この日”等がある。”この日”の場合では、編集モードに入る直前に再生モードで表示していた画像（以降カレント画像）が記録された日の中から自動で画像を選抜するモードである。よって、Ｓ２０２において”この日”で自動選択を行う場合、カレント画像と同一撮影日の画像を記録媒体１４１内から指定して列挙する。

Ｓ２００において自動選択でないと判断されるとＳ２０１において、ユーザにより画像指定処理を行う。これは、ユーザによって記録媒体１４１内の画像から編集させる画像を一枚一枚選択させる処理である。Ｓ２０１の処理が終わるとＳ２０３へ進む。
Ｓ２０３では、制御部１０１は、画像が含まれる範囲の画像を列挙して、画像群を特定する画像群特定処理を行う。ここで、画像が含まれる範囲とは例えば日付であり、Ｓ２０１で選択された画像が持つ日付を持つ全ての画像を記録媒体１４１内から列挙する。

Ｓ２０２、Ｓ２０３の処理が終わるとＳ２０４へ進み、制御部１０１は、編集処理する画像群全体のイベントを決定する。Ｓ２０４の詳細は後述する。ここで、イベントとは、各画像の内容や特徴に応じて分類される種類、或いは項目と呼ぶこともできる。そして、イベント毎に、アルバムを作成する際に使用する画像の選抜ルールやアルバムに合成されるＢＧＢが対応づけられている。また、イベント毎に、アルバムに付加される画像効果が対応づけられている。
次に、Ｓ２０５へ進み、制御部１０１は、自動編集か否かの判断を行い、判断に応じてＳ２０６またはＳ２０７で編集画像の対象画像を決定する。
Ｓ２０７において、自動選択ではないので制御部１０１は、前述のＳ２０１で選択された画像を対象画像とする。
Ｓ２０６においては、自動編集であるので前述のようにカメラが画像の善し悪しを判定して対象画像を特定する画像選抜処理を行う。この時、Ｓ２０４で決定された全体イベントに応じて画像の善し悪しの判定基準を変更してもよい。

この例を、図５を用いて説明すると、先述の画像判定パラメータの組み合わせにより各画像の被写体状況を判断し、全体のイベントとして決定されたイベント毎に画像群からの選抜方法の基準を変更する。
例えば、旅行と判断された場合、風景、人物が撮影された画像をバランスよく選抜し、旅行の行程を振り返れるような選抜を行う。例えば、結婚式と判断された場合はツーショットシーンを多めにし、新郎新婦の画像が多くなるように選抜する。

次に、Ｓ２０４で決定された全体イベントに応じて、制御部１０１は、Ｓ２０８でＢＧＭを決定し、Ｓ２０９で画像効果、Ｓ２１０で色効果を決定する。
図５を用いて説明すると、例えば全体イベントが旅行と判断された場合、ＢＧＭとして予め制御部１０１に記憶されたＢＧＭのうち、予め懐かしい雰囲気と定義づけられた楽曲をＢＧＭとして設定する。また、画像効果として、静止画の画像効果は通常速度のスライド処理、画像間効果はなし、色効果はセピア調とし、全体として懐かしい雰囲気を演出する編集効果として設定する。

例えば、全体イベントが結婚式と判断された場合、ＢＧＭとして予め制御部１０１に記憶されたＢＧＭのうち、予めゆっくりした雰囲気と定義づけられた楽曲をＢＧＭとして設定する。また、画像効果として、静止画の画像効果はゆっくりのズーム処理、画像間効果はクロスフェード、色効果は明るく、全体として暖かくゆっくりしっとりとした雰囲気を演出する編集効果とする。
次に、Ｓ２１１において、制御部１０１は、編集連続再生処理を行ってもよい。ここではＳ２０６、Ｓ２０７で決定された画像を、Ｓ２０８〜Ｓ２１０で決定されたＢＧＭ及び編集効果を施してスライドショー再生する再生処理を行う。

ここで、編集効果を施す再生とは選抜された画像を一度復号し、決定された編集効果に応じてトリミング、色調整等の画像加工を行い再生処理を行うことである。
再生処理後は、Ｓ２１２において、制御部１０１は、編集結合記録を行ってもよい。ここではＳ２０６、Ｓ２０７で決定された画像をＳ２０８〜Ｓ２１０で決定されたＢＧＭ及び編集処理を施して保存結合する結合記録を行う。ここで、編集処理を施した結合記録とは選抜された画像を一度復号し、決定された編集効果に応じてトリミング、色調整等の画像加工を行い、再度復号化し順次結合していく処理である。

図３及び図４を用いてＳ２０４の全体イベント決定処理について説明する。
図３（ａ）を用いて、全体イベント決定処理の第１の実施形態を説明する。
Ｓ３０１において、制御部１０１は、選択画像の範囲に含まれる画像を複数のセグメントに分割する処理を行う。ここでは、選択画像の範囲に含まれる複数の画像について、記録時間が連続している二つの画像（動画、静止画）の記録時間の間隔を検出する。そして、記録時間の間隔の長い順に所定数のセグメント分割点を設定する。このセグメント分割点で区切られる範囲を一つのセグメントとする。

次に、Ｓ３０２において、制御部１０１は、Ｓ３０１で特定されたセグメント毎にイベント特定を行っていく。
Ｓ３０３において、制御部１０１は、現在処理中のセグメントのイベント特定を行う。イベント特定は、セグメント内の画像群の撮影間隔、被写体距離、顔の数、顔の大きさ等の特徴量より決定される。例えば、本実施形態のデジタルカメラでは、図４（ａ）のように”旅行”、”運動会”、”結婚式”、”卒業式”、”その他”のようなイベントに分類特定される。

次に、Ｓ３０４において、制御部１０１は、特定されたイベントに関連付けてセグメントの画像数を加算していく。これは、例えば図４（ａ）のようにセグメント１は旅行２０枚、セグメント３は旅行２０枚、全体では旅行にわりあたった画像は４０枚ということである。
Ｓ３０４で全てのセグメントに対して処理を終えるとＳ３０５へ進み、制御部１０１は、特定イベントの除外処理を行ってもよい。ここでは、例えば卒業式と運動会が同時に検出された場合Ｓ３０６において、卒業式と運動会の画像数を０とする。この例を、図４（ｂ）に示す。ここで、セグメント１が運動会、セグメント４が卒業式とイベント特定されているため、それぞれの総数を０枚にする。

次に、Ｓ３０７において、一番加算数の多いイベント、すなわち、もっとも多く画像に対応付けられたイベントを画像群全体のイベントと決定する。図４（ａ）では、旅行が４０枚で最多のため旅行が全体イベントとなる。本実施形態では全体のイベントを特定し、アルバムを作成する際に使用される動画と静止画に対し、共通の画像選抜及び効果を施す。
Ｓ３０５とＳ３０６の処理は、図５に示すイベント別効果にて施したい処理雰囲気が両極端に位置するものが両方含まれるか否かの判定である。
これにより、運動会と判定されたセグメントと卒業式と判定されたセグメントとが含まれていた場合に、運動会と卒業式の何れかが全体イベントとして判定されることが無くなる。そのため、運動会と判定されたセグメントに卒業式の効果を施さない、卒業式と判定されたセグメントに運動会の効果を施さないとすることが可能となる。

以上の処理により、図４（ａ）では全体イベントは旅行、図４（ｂ）では全体イベントはその他となる。ここで、Ｓ３０７の判定は一番セグメント数の多いイベントを全体のイベントとするようにしてもよい。図４（ａ）では、旅行が２セグメント、その他が３セグメントのためこの場合は全体のイベントはその他となる。
Ｓ３０５の判定においては、単純に処理雰囲気が両極端にあるイベントが混在するか否かの判定としたが、それぞれのイベントに含まれる画像数をもって編集効果に対する影響度を加味して決定してもよい。

［第２の実施形態］
図３（ｂ）を用いてＳ２０４の全体イベント決定処理の第２の実施形態を説明する。
Ｓ３１１において、制御部１０１は、前処理にて列挙された画像のセグメント分割を行う。
次に、Ｓ３１２において、制御部１０１は、特定されたセグメント毎にイベント特定を行っていく。
Ｓ３１３において、制御部１０１は、現在処理中のセグメントに所定画像が含まれるか否かを判断する。本実施形態においては、起点画像が含まれるか否かを判断する。起点画像が含まれると判断されたならばＳ３１４において、制御部１０１は、現在のセグメントのイベントを特定する。
ここで、起点画像とは前出のカレント画像である。Ｓ３１５において、制御部１０１は、Ｓ３１４で特定されたイベントを全体のイベントとする。
以上の処理により、ユーザが初めに鑑賞していたカレント画像に重点をおいて全体のイベントを決定できる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 画像処理装置
１０１ 制御部
１０２ 操作部
１０３ バス
１０４ メモリ
１１０ 撮像部
１１１ 画像処理部
１２０ 音声入力部
１２１ 音声処理部
１３０ 表示部
１３１ 表示制御部
１４０ 記録再生部
１４１ 記録媒体
１５０ 映像出力部
１５１ 音声出力部

Claims (11)

1. 複数の画像を含む画像群を特定のセグメントに分割するセグメント分割手段と、
   前記セグメント分割手段により特定されたセグメントの内容を特定し、セグメント毎のイベント特定の結果に基づいて画像群全体のイベントを決定する決定手段とを有することを特徴とする画像処理装置。
2. 前記決定手段は、もっとも多くセグメントに対応付けられたイベントを画像群全体のイベントと決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、もっとも多く画像に対応付けられたイベントを画像群全体のイベントと決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記決定手段は、所定画像が含まれるセグメントに対応付けられたイベントを画像群全体のイベントと決定することを特徴とする請求項１に記載の画像処理装置。
5. 前記画像群から画像を選抜する画像選抜手段を有し、
   前記画像選抜手段は、画像群全体のイベント特定に基づいて画像群からの選抜方法を変更することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記画像選抜手段により選抜された画像をスライドショー再生する再生手段を有し、
   前記再生手段は、画像群全体のイベント特定に基づいて画像を再生する時の画像効果を変更することを特徴とする請求項５に記載の画像処理装置。
7. 前記画像選抜手段により選抜された画像を結合する結合手段を有し、
   前記結合手段は、前記決定手段により決定された前記画像群全体のイベントに基づいて前記結合された画像に対する画像効果を決定することを特徴とする請求項５に記載の画像処理装置。
8. 複数の画像から、記録日時が所定の範囲である画像を前記画像群の画像として自動的に選択する手段を有することを特徴とする請求項１に記載の画像処理装置。
9. 複数の画像から、ユーザの指示に応じて前記画像群の画像を選択する手段を有することを特徴とする請求項１に記載の画像処理装置。
10. 前記画像群は、動画と静止画とを含むことを特徴とする請求項１に記載の画像処理装置。
11. 複数の画像を含む画像群を特定のセグメントに分割するセグメント分割工程と、
    前記セグメント分割工程において特定されたセグメントの内容を特定し、セグメント毎のイベント特定の結果に基づいて画像群全体のイベントを決定する決定工程とを有することを特徴とする画像処理装置の制御方法。

Images