JP2015126519A - 画像処理装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】 抽出されるシーンに偏りが発生してしまう可能性を低減することができる画像処理装置を提供する。
【解決手段】 指定された期間に撮影された画像に対応する画像データを指定された期間および撮影時刻とに基づいて複数の部分集合に分類し、複数の部分集合に属する画像データを所定の範囲の割合で抽出する。
【選択図】 図２

Description

本発明は、画像処理装置、画像処理方法、プログラムに関する。

従来、画像処理置として、被写体を撮像して得られた画像データを静止画または動画として記録媒体に記録するデジタルカメラが知られている。近年、このようなデジタルカメラにおいては、大量の撮影が可能となったため閲覧性を向上させる技術が求められている。たとえば特許文献１のように、テレビ番組などの動画の中から音量が大きいシーンだけを抽出して再生するような技術が提案されてきている。

特開２００７−２６７３５１号公報

しかしながら、特許文献１のように音量だけでシーンを抽出すると、抽出されるシーンに偏りが発生してしまうようなことがありバランスよくシーンを抽出することができないという問題があった。

そこで、本発明は、抽出されるシーンに偏りが発生してしまう可能性を低減することができる画像処理装置を提供することを目的とする。

このような目的を達成するために、本発明の画像処理装置は、記録媒体に記録された画像データを再生する再生手段と、指定された期間に撮影された画像に対応する画像データを前記指定された期間および前記画像データの撮影された時刻とに基づいて複数の部分集合に分類し、前記複数の部分集合に属する画像データを所定の範囲の割合で抽出する抽出手段と、前記抽出手段により抽出された画像データを表示部に表示する表示制御手段とを有することを特徴とする。

本発明によれば、抽出されるシーンに偏りが発生してしまう可能性を低減することができる。

本実施例の撮像装置の構成を示す図。 本実施例のアルバム再生の動作を示す図。 本実施例のクラスタリングを示す図。

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。

（実施例１）
本実施例では、画像処理装置の例として撮像装置を説明するが、複数の動画または静止画またはその両方を再生することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。また、本実施例において動画ファイル、静止画ファイルを総称して画像ファイルと表現することがある。また、本実施例において、動画データ、静止画データを総称して画像データを表現することもある。

本実施例の撮像装置は、記録媒体に記録された動画または静止画またはその両方を再生することができる。そして、画像データを抽出する際に、撮影された時刻に基づいて複数の部分集合に分類してから評価値の高いシーンを抽出する。

このような構成とすることで、本実施例の撮像装置は、抽出されるシーンに偏りが発生してしまう可能性を低減することができる。以下、このような撮像装置について説明する。

＜全体構成＞
まず、図１を用いて、本実施例の撮像装置１００の構成を説明する。

本実施例の撮像装置１００は、図１に示すように、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、操作部１０４とを有する。また、撮像装置１００は、第１撮像部１１０と、画像処理部１１１と、第２撮像部１１２と、集音部１２０と、音声処理部１２１とを有する。また、撮像装置１００は、表示部１４０と、表示制御部１４１と、記録再生部１５０と、記録媒体１５１と、姿勢検出部１６０とを有する。なお、ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。

本実施例の撮像装置１００において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとしてＲＯＭ１０３に記録された各種プログラムをＲＡＭ１０２に展開し、プログラムに応じて撮像装置１００の各ブロックを制御する。操作部１０４は、例えば、電源ボタン、記録ボタン、ズーム調整ボタン、オートフォーカスボタン、メニュー表示ボタン、モード切替スイッチ、決定ボタン等の各種操作を入力するスイッチ類を有する。また、カーソルキー、ポインティングデバイス、タッチパネル、ダイヤル等のどのようなタイプの操作子であってもよい。操作部１０４は、ユーザによりこれらのキーやボタン、タッチパネルが操作されるとＣＰＵ１０１に操作信号を送信する。操作部１０４の各操作部材は、表示部に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部に表示される。利用者は、表示部に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。なお、操作部１０４は、表示部に対する接触を検知可能なタッチパネルであってもよい。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。

第１撮像部１１０は、第２撮像部１１２は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換する。また第１撮像部１１０は、第２撮像部１１２は、得られたアナログ画像信号をデジタル画像信号に変換して一時的にＲＡＭ１０２に記憶する。画像処理部１１１は、記録時にはＲＡＭ１０２に記憶された画像データを処理し、再生時には、後述の記録媒体１５１から読みだされた画像データを処理する。画像処理部１１１は、画像データのホワイトバランス調整、ゲイン調整、色強調処理等様々な処理を行う。画像処理部１１１は処理した画像データを、表示制御部１４１に送信したり、記録再生部１５０や通信部に送信したりする。また、画像処理部１１１は、Ｈ．２６４／ＡＶＣやＭｏｔｉｏｎＪＰＥＧ２０００、Ｈ．２６５等の動画圧縮技術を用いて画像を動画として圧縮したり、ＪＰＥＧやＪＰＥＧ２０００等の静止画圧縮技術を用いて画像を静止画として圧縮したりすることもできる。圧縮形式はこれらの形式によらず他の方式を用いてもよい。

なお、本実施例の画像処理部１１１は、第１撮像部１１０、第２撮像部１１２により得られた画像を解析し、画像内に人間や顔に対応する画像が含まれるかを検出したり、表情を検出したりすることもできる。検出方法は、さまざまな方式があるがたとえば、人間や顔の特徴画像とのパターンマッチングを行うことで検出することができる。顔を検出した場合には、サイズ、位置をＲＡＭ１０２に記憶させる。また顔が検出されたばあには顔画像のエッジ検出を行い、笑顔レベルを判定する。

音声処理部１２１は、記録時には、集音部１２０により集音して得られた音声データを処理し、再生時には、後述の記録媒体１５１から読みだされた圧縮または非圧縮の音声データを処理する。たとえば、音声データのレベル調整処理、圧縮された音声データの伸張処理、音声データの圧縮処理等を行う。音声処理部１２１は、処理した音声データを、記録再生部１５０や通信部に送信したり、再生時にはスピーカに送信したりする。なお、集音部１２０は、たとえば、撮像装置１００のハウジング内に内蔵された複数の無指向性の音声を集音するマイクである。また、音声処理部１２１では音声圧縮方式として、たとえば、ＡＣ３、ＡＡＣ等の公知の一般的な音声圧縮方式を用いる。

表示部１４０は、例えば、液晶表示デバイス、または有機ＥＬ表示デバイスなどからなり、表示制御部１４１の制御により画像を表示する。表示部１４０は、ＬＥＤディスプレイなど、ユーザに画像を提供することができればどのようなものであっても良い。表示制御部１４１では、画像処理部１１１により処理された画像データに基づいて、表示部１４０に画像を表示する。また、表示制御部１４１は、表示部１４０に表示するデジタル画像信号に基づく映像信号に対し、マトリクス変換、ブライト調整、コントラスト調整、ガンマ調整、クロマゲイン調整、シャープネス調整等の画像信号処理を行ってもよい。

記録再生部１５０は、記録時においては、画像処理部１１１により処理された画像データや音声データを記録媒体１５１に記録し、再生時においては、記録媒体１５１に記録された画像データや音声データを再生する。記録再生部１５０は、記録時においては、画像データや音声データとともに、撮影日や、圧縮に関する情報、撮像部１１０の設定等の各種情報を記録媒体１５１に書き込む。なお、記録再生部１５０は、画像データや音声データを記録媒体１５１に記録する際は、たとえばＦＡＴやｅｘＦＡＴ等のファイルフォーマットに適合した形でファイルとして記録媒体に記録する。また、記録媒体１５１は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。取り外し可能な記録媒体を用いる場合には、記録再生部１５０は、それらの取り外し可能な記録媒体を装着、排出するための機構を含む。

姿勢検出部１６０は、撮像装置１００の姿勢を検出するものであって、たとえば、角度センサや加速度センサなどである。本実施例の姿勢検出部１６０は、撮像装置１００の姿勢が、正位置であるか縦位置であるかを検出する。例えば撮像装置１００の第１撮像部１１０の光軸を中心とした回転姿勢角度（０度、９０度、１８０度、２７０度）を検出することができる。ここで、０度はいわゆる正位置（撮像装置１００の上面が上空方向を向いている状態）であり、１８０度は逆位置（撮像装置１００の上面が地面方向を向いている状態）である。９０度、２７０度とはいわゆる縦位置（撮像装置１００の左右面のいずれかが地面方向を向いている状態）である。

なお、本実施例の第１撮像部１１０（第１の撮像部）、第２撮像部１１２（第２の撮像部）はそれぞれ、異なる方向の被写体を撮像するものである。具体的には、第２の撮像部１１２は、撮影者（いわゆるカメラマン）を撮影するためのサブカメラであり、第１撮像部１１０は、撮影者が撮影しようとしている被撮影者（いわゆる被写体）を撮影するためのメインカメラである。したがって、たとえば、第１撮像部１１０と、第２撮像部１１２は、逆方向を撮影するものであるが、必ずしも逆方向でなくともよい。

ここで、画像処理部１１１、音声処理部１２１、表示制御部１４１、記録再生部１５０は、それぞれ、前述の各機能を実行するプログラムを搭載したマイクロコンピュータであってもよい。また、ＣＰＵ１０１がＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。

＜撮像装置１００の動作＞
続いて、本実施例の撮像装置１００の動作について説明する。本実施例の撮像装置１００は、「静止画撮影モード」、「動画撮影モード」、「再生モード」のほかに、「動画静止画撮影モード」を有する。各モードにおいて、ＣＰＵ１０１は、撮像装置１００の各ブロックを制御して以下の動作を行わせる。

「静止画撮影モード」、「動画撮影モード」では、撮影の指示が入力されるまでの間、第１撮像部１１０により得られた画像のみまたは、第１撮像部１１０により得られた画像と第２撮像部１１２により得られた画像を合成した画像を表示部１４０に表示させる。すなわち、各撮像部により得られた画像を画像処理部１１１で処理し、表示部１４０に表示させるように表示制御部１４１を制御する。そして、撮影の指示が入力されると、画像処理部１１１に、各撮像部により得られた画像を動画または静止画として圧縮させ、圧縮した画像を順次記録媒体１５１に記録するように記録再生部１５０を制御する。「静止画撮影モード」の場合は撮影の指示に対応するタイミングで各撮像部により得られた画像を１枚または複数枚をたとえばＪＰＥＧを用いて圧縮するように画像処理部１１１を制御する。そして、圧縮された静止画データを記録媒体１５１に静止画ファイルとして記録するように記録再生部１５０を制御する。一方「動画撮影モード」においては、撮影の指示に対応するタイミングで各撮像部により得られた画像から順次得られる画像をフレーム画像とする動画をたとえばＨ．２６５を用いて圧縮するように画像処理部１１１を制御する。そして、圧縮された動画データを記録媒体１５１に動画ファイルとして記録するように記録再生部１５０を制御する。なお、「動画撮影モード」においては、撮影終了の指示が入力されるまでこの動作を継続する。また、「静止画撮影モード」、「動画撮影モード」において、静止画ファイル、動画ファイルには、各モードで撮影された画像に基づくサムネイル画像（静止画データ）が付加されて記録媒体１５１に記録される。

「動画静止画撮影モード」では、静止画記録の指示が入力されたときに、静止画撮影、静止画記録を行うとともに、静止画記録の指示が入力される直前の４秒間の動画データを記録媒体に記録する。そして、同じ日に、「動画静止画撮影モード」で、複数回の静止画記録の指示が入力された場合には、静止画記録の指示が入力される直前の４秒間の動画データを一つの動画ファイルに追記して記録する。このようにすることで、１日分の静止画撮影直前の動画データを一つの動画ファイルに格納し、閲覧性を向上させることができる。「動画静止画撮影モード」では、ＣＰＵ１０１は、撮影の指示が入力されるまでの間、第１撮像部１１０により得られた画像のみまたは、第１撮像部１１０により得られた画像と第２撮像部１１２により得られた画像を合成した画像を表示部１４０に表示させる。すなわち、各撮像部により得られた画像を画像処理部１１１で処理し、表示部１４０に表示させるように表示制御部１４１を制御する。また、このとき、画像処理部１１１は、第１撮像部１１０により得られた画像のみまたは、第１撮像部１１０により得られた画像と第２撮像部１１２により得られた画像を合成した画像を順次動画データとして圧縮し、ＲＡＭ１０２に一時的に記憶する。ＣＰＵ１０１は、ＲＡＭ１０２には、最新の４秒分の圧縮済みの動画データが常に保持されるようにＲＡＭ１０２の情報を管理する。たとえば最新の４秒以外の動画データは破棄してもよい。次に、静止画記録の指示が入力されると、指示に対応するタイミングで各撮像部により得られた画像を１枚または複数枚をたとえばＪＰＥＧを用いて圧縮するように画像処理部１１１を制御する。そして静止画として圧縮された静止画データを記録媒体１５１に記録するように記録再生部１５０を制御する。一方、静止画記録の指示に応じて、ＲＡＭ１０２に記憶されている最新の４秒の圧縮済みの動画データについても記録媒体１５１に記録するように記録再生部１５０を制御する。また静止画記録の指示により得られた画像を動画（ストップモーション）としても圧縮するように画像処理部１１１を制御し、最新の４秒の動画データの後に再生されるように記録媒体１５１に記録する。これにより、記録再生部１５０は、記録媒体に記録されている最新の４秒の動画データと同じ動画ファイルに静止画記録の指示により得られた画像の動画データが含まれる。なお、記録される動画データの撮影中の動作に関する情報や、人間の顔の検出された位置、大きさ、笑顔度の情報を対応する静止画ファイルのヘッダに格納してもよい。また、ストップモーション動画を生成したかどうかを示す情報も静止画ファイルのヘッダに格納してもよい。

「再生モード」では、記録媒体１５１に記録されている動画ファイルまたは静止画ファイルのファイルリスト及びサムネイル画像を読み出すように記録再生部１５０を制御する。そして記録再生部１５０により再生された各ファイルのサムネイル画像を画像処理部１１１で伸張させ、伸張させたサムネイル画像を表示部１４０に表示するように表示制御部１４１を制御する。そして、ＣＰＵ１０１は、ユーザが操作部１０４を操作することで選択したサムネイル画像に対応する静止画ファイルまたは動画ファイルを画像処理部１１１に伸張させ、得られた画像を表示部１４０に表示するように表示制御部１４１を制御する。

＜アルバム再生＞
ここで、本実施例の撮像装置１００は、「再生モード」において「アルバム再生」を選択することができる。「アルバム再生」は、所定の期間の画像データから、偏りが発生しないように画像を抽出し、抽出された画像を表示するものである。この「アルバム再生」における撮像装置１００の動作について、図２を用いて説明する。図２のフロー図は、ＣＰＵ１０１が、撮像装置１００の各ブロックを制御することにより実行される処理を示す。

（Ｓ２０１）
まず、「アルバム再生」が指定されると、ＣＰＵ１０１は、対象期間を問い合わせる表示を表示部１４０に表示するように表示制御部１４１を制御し、ユーザに対象期間を指定させる。そして、ＣＰＵ１０１は、記録媒体１５１に記録されている静止画ファイルのヘッダ情報を読み出すように記録再生部１５０を制御し、ヘッダ情報を解析することで、指定された対象期間に記録された静止画ファイルを特定する。なお、対象期間は、ユーザによって指定されてもよいし他の方法によって指定されてもよい。たとえば特定の人物が含まれている画像のみを「アルバム再生」の対象とする場合には、特定の人物が含まれている最も古い静止画から最も新しい静止画までが対象期間となる。または、指定された日付を中心として前後数日間から撮影回数の多い期間の日付を対象期間としてもよい。

（Ｓ２０２）
次に、ＣＰＵ１０１は、特定された静止画ファイルの付加情報を参照して、特定された静止画ファイルの画像の評価値を算出する。付加情報は、特定された静止画ファイルの画像が撮影されたときに得られた情報に基づいて生成されたものである。たとえば、画像処理部１１１において、検出された顔画像の位置、大きさの情報、笑顔度等を含むが、これ以外の情報を用いても構わない。Ｓ２０２では、顔画像の大きさが大きいほど高い評価値を算出し、顔画像の位置が画像中央に近いほど高い評価値を算出し、笑顔度が高いほど高い評価値を算出する。なお、静止画ファイルの静止画データをこのときに画像処理部１１１に解析させて、顔画像の位置、大きさ、笑顔度を検出してもよい。また、撮影時に評価値を算出して静止画ファイルの付加情報として記録しておいてもよい。また、合焦情報、ＹＵＶヒストグラム、姿勢情報（ジャイロ変動情報）、ズーム情報などを含む撮影情報を使用して評価値を算出しても良い。

（Ｓ２０３）
次に、ＣＰＵ１０１は、算出した評価値を高い順に静止画ファイルをソートする。

（Ｓ２０４）
次に、ＣＰＵ１０１は、対象期間に記録された静止画ファイルの中で最も早い時刻に撮影（または記録）された静止画と、最も遅い時刻に撮影（または記録）された静止画の時刻の差を対象期間の総時間として算出する。

Ｓ２０５以降は、対象期間に記録された静止画ファイルのクラスタリングを行う。クラスタリングとは個々の静止画ファイルをおおまかなグループに分類する動作である。以下の説明においては、対象期間の総時間が１日以下であるか、１日より長く３日以下であるか、３日より長いかに応じて、分類方式を変更する。

（Ｓ２０５）
次に、ＣＰＵ１０１は、Ｓ２０４で算出した対象期間の総時間が１日以下であるか否かを判定する。

（Ｓ２０６）
Ｓ２０５で、対象期間の総時間が１日以下である場合（Ｓ２０５でＹｅｓ）、対象期間に記録された静止画ファイルの数が所定数を超えているか否かを判定する。たとえば本実施例では所定数を１００として、対象期間に記録された静止画ファイルの数が１００を超えているか否かを判定する。

（Ｓ２０７）
Ｓ２０６で、対象期間に記録された静止画ファイルの数が所定数を超えている場合（Ｓ２０６でＹｅｓ）、ＣＰＵ１０１は、対象期間に記録された静止画ファイルの総数に基づいて総クラスタ数を算出する。具体的には、静止画ファイルの総数を２０で除算した数を総クラスタ数とする。たとえば、静止画ファイルが１４５個だった場合には、総クラスタ数を７または８とする。これは、たとえば短い時間帯においてたくさんの撮影が行われたような場合に、その時間帯の画像が極端少なくなってしまうことを防止するためである。

（Ｓ２０８）
一方、Ｓ２０６で、対象期間に記録された静止画ファイルの数が所定数を超えていない場合（Ｓ２０６でＮｏ）、ＣＰＵ１０１は、１時間当たり１クラスタとして総クラスタ数を算出する。

（Ｓ２０９）
また、Ｓ２０５で、対象期間の総時間が１日より長い場合（Ｓ２０５でＮｏ）、対象期間の総時間が３日以下であるか否かを判定する。

（Ｓ２１０）
Ｓ２０９で、対象期間の総時間が３日以下である場合（Ｓ２０９でＹｅｓ）、ＣＰＵ１０１は、３時間当たり１クラスタとして総クラスタ数を算出する。

（Ｓ２１１）
Ｓ２０９で、対象期間の総時間が３日より長い場合（Ｓ２０９でＮｏ）、ＣＰＵ１０１は、５時間当たり１クラスタとして総クラスタ数を算出する。
Ｓ２０５からＳ２１１により総クラスタ数が決定するので、以下の処理においては、静止画ファイルのクラスタリングを行う。本実施例では、総クラスタ数を対象期間に応じて変わるようにした。これにより評価値の高いシーンが集中している時間帯の画像を１つだけしか抽出できないような問題を防止することができる。

（Ｓ２１２）
Ｓ２０７、Ｓ２０８、Ｓ２１０、Ｓ２１１の後、ＣＰＵ１０１は、算出された総クラスタ数に基づいてクラスタリングを行う。なお本実施例において、クラスタリングにより分類された集合をクラスタまたは部分集合と称する。たとえば１時間当たり１クラスタとする場合には、対象期間の画像を先頭から１時間分を第１のグループ、次の１時間分を第２のグループ、その次の１時間分を第３のグループ・・・というように、１時間ごとにグループを作成して画像を分類する。このような処理により、たとえば、図３に示すように２月２４日に撮影された６０個の静止画ファイルが７つのグループに分類される。また、Ｓ２０６で所定数を超えると判定された場合は、対象期間を総クラスタ数で均等に分けてそれぞれの期間を第１のグループ、第２のグループ・・・というように分類する。また、クラスタリングを行う時に時間ごとに正確に区切らずに最短距離法を用いて、時間的に集中して撮影された期間を一つのグループに分類するようにしてもよい。

（Ｓ２１４）
次に、ＣＰＵ１０１は、あらかじめ設定されている目標再生時間に基づいて抽出する画像の数を決定する。本実施例ではあらかじめ設定されている目標再生時間を３分とし、画像１枚当たりの表示時間を４秒とする。この場合、３（分）×６０（秒換算）÷４（秒）＝４５（枚）が抽出対象の画像の数となる。

（Ｓ２１５）
次に、ＣＰＵ１０１は、Ｓ２１４で算出した抽出する画像の数を用いて、クラスタリングされた画像の正規化を行う。本実施例では前述したように、６０個の静止画から４５個の静止画を抽出するので、各クラスタに分類された静止画ファイルの総数の３／４の静止画ファイルを抽出すればよい。本実施例では各クラスタにおいて所定数よりも少ない数の静止画ファイルが分類されているクラスタにおいては、正規化による小数点以下を切り上げて、抽出される静止画ファイルが少なくなりすぎないようにしている。画像の正規化した結果、図３に示すように各クラスタにおいて抽出する画像の数が決定される。

（Ｓ２１６）
次に、ＣＰＵ１０１は、各クラスタ内において、Ｓ２０２で算出された評価値が高い順に抽出対象の画像をとする。

以上の処理により、「アルバム再生」の対象となる静止画ファイルが決定される。ＣＰＵ１０１は、「アルバム再生」の対象となる静止画ファイルを時系列順に、記録媒体１５１から読みだすように、記録再生部１５０を制御する。そして、記録媒体１５１から読み出された静止画ファイルの静止画データを順次画像処理部１１１に入力し、圧縮された静止画データを伸張させる。そして、伸張された画像を表示部１４０に４秒ずつ表示するように表示制御部１４１を制御する。

なお、「アルバム再生」をユーザが確認し、「保存」操作を行った場合は、静止画ファイルすべてについて、伸張された画像を４秒分のフレーム画像とする動画データを生成するように画像処理部１１１を制御する。そして生成された動画データを時系列順に再生する動画データを生成するように画像処理部１１１を制御し、生成された一連の動画データを動画ファイルとして記録媒体１５１に記録するように記録再生部１５０を制御する。

以上のように、本実施例の撮像装置１００は、ダイジェスト再生を行う対象期間の長さによってクラスタリングの際の時間幅を変更したり、対象期間内に画像の数が多い場合にはクラスタリングの数を変更したりすることで、抽出されるシーンに偏りが発生してしまう可能性を低減することができる。

本実施例では、静止画ファイルを用いた「アルバム再生」を例にとって説明したが、動画ファイルを用いた「アルバム再生」を行ってもよい。また、動画ファイルと静止画ファイルの両方を用いた「アルバム再生」を行ってもよい。なお、動画ファイルを用いた「アルバム再生」を行う場合は、動画ファイル内の評価値が高いシーンの４秒を再生するようにシーンの抽出を行ってもよい。

また、本実施例の「動画静止画撮影モード」で撮影された動画データと、静止画データ、「静止画撮影モード」で撮影された静止画データを「アルバム再生」の対象とする場合は、以下の手順で対象の画像データを抽出する。Ｓ２１２までの処理は同様で、クラスタリングを行い、Ｓ２１４の処理により抽出する目標数が決定されると、各クラスタにおいて、目標数のうち一定の割合で「動画静止画撮影モード」で撮影された動画データを抽出対象とする。具体的には、あるクラスタにおいて抽出する目標数が１０個であればそのうち２個または３個を動画データとする。本実施例では「動画静止画撮影モード」で撮影された動画データは対応する静止画ファイルに撮影中の動作に関する情報や、人間の顔の検出された位置、大きさ、笑顔度の情報が格納されている。そこでＣＰＵ１０１は、その情報に基づいて動画データの評価値を算出し、あるクラスタに分類された動画データのうち評価値の高いシーン（静止画記録の指示の直前の４秒にあたる動画でデータ）を抽出する。一方静止画については静止画ファイルのうち評価値の高いものを抽出対象とする。なお、抽出された動画データにストップモーション動画が含まれている場合は、同じ画像である静止画については評価値が高くとも抽出対象としないようにしてもよい。

なお、評価値のうちどの評価値が高い静止画ファイルを優先するか、優先される評価値を設定できるようにしてもよい。

なお、本実施例では、撮像装置を例にとって説明したが、複数の動画または静止画またはその両方を再生することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

Claims (11)

1. 記録媒体に記録された画像データを再生する再生手段と、
   指定された期間に撮影された画像に対応する画像データを前記指定された期間および前記画像データの撮影された時刻とに基づいて複数の部分集合に分類し、前記複数の部分集合に属する画像データを所定の範囲の割合で抽出する抽出手段と、
   前記抽出手段により抽出された画像データを表示部に表示する表示制御手段とを有することを特徴とする画像処理装置。
2. 前記抽出手段は、前記指定された期間の長さに応じて前記部分集合一つあたりの期間の長さを変更することを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出手段は、前記指定された期間の長さが長くなるほど、前記部分集合一つあたりの期間の長さを長くすることを特徴とする請求項２に記載の画像処理装置。
4. 前記抽出手段は、前記指定された期間の長さが短くなるほど、前記部分集合一つあたりの期間の長さを短くすることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記抽出手段は、前記指定された期間に含まれる画像データの数が所定の数よりも多い場合は前記指定された期間に含まれる画像データの数に基づいて、部分集合の数を決定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 記録媒体に記録された画像データを再生する再生ステップと、
   指定された期間に撮影された画像に対応する画像データを前記指定された期間および前記画像データの撮影された時刻とに基づいて複数の部分集合に分類し、前記複数の部分集合に属する画像データを所定の範囲の割合で抽出する抽出ステップと、
   前記抽出ステップで抽出された画像データを表示部に表示する表示制御ステップとを有することを特徴とする画像処理方法。
7. 前記抽出ステップにおいて、前記指定された期間の長さに応じて前記部分集合一つあたりの期間の長さを変更することを特徴とする請求項６に記載の画像処理方法。
8. 前記抽出ステップにおいて、前記指定された期間の長さが長くなるほど、前記部分集合一つあたりの期間の長さを長くすることを特徴とする請求項７に記載の画像処理方法。
9. 前記抽出ステップにおいて、前記指定された期間の長さが短くなるほど、前記部分集合一つあたりの期間の長さを短くすることを特徴とする請求項７または８に記載の画像処方法。
10. 前記抽出ステップにおいて、前記指定された期間に含まれる画像データの数が所定の数よりも多い場合は前記指定された期間に含まれる画像データの数に基づいて、部分集合の数を決定することを特徴とする請求項５から９のいずれか１項に記載の画像処理方法。
11. コンピュータに請求項６から１０のいずれか１項に記載の画像処理方法を実行させるためのプログラム。
    

Images