JP2015126517A - 画像処理装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】 抽出されるシーンに関連する情報を表示することができる画像処理装置を提供する。
【解決手段】 指定された所定の特徴画像を含む画像を抽出する抽出手段と、前記抽出手段により抽出された画像と前記所定の特徴画像に関連づけられた識別子とを表示部に表示させる表示制御手段とを有する。
【選択図】 図２

Description

本発明は、画像処理装置、画像処理方法、プログラムに関する。

従来、画像処理置として、被写体を撮像して得られた画像データを静止画または動画として記録媒体に記録するデジタルカメラが知られている。近年、このようなデジタルカメラにおいては、大量の撮影が可能となったため閲覧性を向上させる技術が求められている。たとえば特許文献１のように、テレビ番組などの動画の中から音量が大きいシーンだけを抽出して再生するような技術が提案されてきている。

特開２００７−２６７３５１号公報

しかしながら、特許文献１では、ダイジェスト再生に登場する人物や場所を示す情報を表示するようなことはできなかった。

そこで、本発明は、抽出されるシーンに関連する情報を表示することができる画像処理装置を提供することを目的とする。

このような目的を達成するために、本発明の画像処理装置は、記録媒体に記録された画像データを再生する再生手段と、指定された所定の特徴画像を含む画像を抽出する抽出手段と、前記抽出手段により抽出された画像と前記所定の特徴画像に関連づけられた識別子とを表示部に表示させる表示制御手段とを有することを特徴とする。

本発明によれば、抽出されるシーンに関連する情報を表示することができる。

本実施例の撮像装置の構成を示す図。 本実施例のアルバム再生の動作を示す図。 本実施例のアルバム再生の概念図。 本実施例のアルバム再生の概念図。

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。

（実施例１）
本実施例では、画像処理装置の例として撮像装置を説明するが、複数の動画または静止画またはその両方を再生することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。また、本実施例において動画ファイル、静止画ファイルを総称して画像ファイルと表現することがある。また、本実施例において、動画データ、静止画データを総称して画像データを表現することもある。

本実施例の撮像装置は、記録媒体に記録された動画または静止画またはその両方を再生することができる。本実施例の撮像装置は、指定された人物（または顔）に関連する画像を、記録媒体に記録された複数の画像から抽出して、その画像を順次表示することができる。本実施例では、あらかじめ、指定された人物の顔等の特徴画像とその識別子（名前やニックネーム等）を関連付けた「辞書」に登録されており、その識別子を、抽出された画像を順次表示する際に表示する。さらに、本実施例では、抽出された画像に含まれる人物の数に応じて、識別子を表示するタイミングを異ならせることができる。

このような構成とすることで、本実施例の撮像装置は、抽出されるシーンに関連する情報を表示することができる。また、人物（または顔）に関連付けられた識別子の表示するタイミングを異ならせることで、たとえばユーザにとって見易いスライドショーまたは変化に富んだスライドショーを提供するができる。以下、このような撮像装置について説明する。

＜全体構成＞
まず、図１を用いて、本実施例の撮像装置１００の構成を説明する。

本実施例の撮像装置１００は、図１に示すように、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、操作部１０４とを有する。また、撮像装置１００は、第１撮像部１１０と、画像処理部１１１と、第２撮像部１１２と、集音部１２０と、音声処理部１２１とを有する。また、撮像装置１００は、表示部１４０と、表示制御部１４１と、記録再生部１５０と、記録媒体１５１と、姿勢検出部１６０とを有する。なお、ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。

本実施例の撮像装置１００において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとしてＲＯＭ１０３に記録された各種プログラムをＲＡＭ１０２に展開し、プログラムに応じて撮像装置１００の各ブロックを制御する。操作部１０４は、例えば、電源ボタン、記録ボタン、ズーム調整ボタン、オートフォーカスボタン、メニュー表示ボタン、モード切替スイッチ、決定ボタン等の各種操作を入力するスイッチ類を有する。また、カーソルキー、ポインティングデバイス、タッチパネル、ダイヤル等のどのようなタイプの操作子であってもよい。操作部１０４は、ユーザによりこれらのキーやボタン、タッチパネルが操作されるとＣＰＵ１０１に操作信号を送信する。操作部１０４の各操作部材は、表示部に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部に表示される。利用者は、表示部に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。なお、操作部１０４は、表示部に対する接触を検知可能なタッチパネルであってもよい。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。

第１撮像部１１０は、第２撮像部１１２は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換する。また第１撮像部１１０は、第２撮像部１１２は、得られたアナログ画像信号をデジタル画像信号に変換して一時的にＲＡＭ１０２に記憶する。画像処理部１１１は、記録時にはＲＡＭ１０２に記憶された画像データを処理し、再生時には、後述の記録媒体１５１から読みだされた画像データを処理する。画像処理部１１１は、画像データのホワイトバランス調整、ゲイン調整、色強調処理等様々な処理を行う。画像処理部１１１は処理した画像データを、表示制御部１４１に送信したり、記録再生部１５０や通信部に送信したりする。また、画像処理部１１１は、Ｈ．２６４／ＡＶＣやＭｏｔｉｏｎＪＰＥＧ２０００、Ｈ．２６５等の動画圧縮技術を用いて画像を動画として圧縮したり、ＪＰＥＧやＪＰＥＧ２０００等の静止画圧縮技術を用いて画像を静止画として圧縮したりすることもできる。圧縮形式はこれらの形式によらず他の方式を用いてもよい。

なお、本実施例の画像処理部１１１は、第１撮像部１１０、第２撮像部１１２により得られた画像を解析し、画像内に人間や顔に対応する画像が含まれるかを検出したり、表情を検出したりすることもできる。検出方法は、さまざまな方式があるがたとえば、人間や顔の特徴画像とのパターンマッチングを行うことで検出することができる。顔を検出した場合には、サイズ、位置をＲＡＭ１０２に記憶させる。また顔が検出された場合には顔画像のエッジ検出を行い、笑顔レベルを判定する。これらの検出情報は静止画または動画の撮影が行われたときに、対象の画像データを含む画像ファイルのヘッダ等に格納される。

音声処理部１２１は、記録時には、集音部１２０により集音して得られた音声データを処理し、再生時には、後述の記録媒体１５１から読みだされた圧縮または非圧縮の音声データを処理する。たとえば、音声データのレベル調整処理、圧縮された音声データの伸張処理、音声データの圧縮処理等を行う。音声処理部１２１は、処理した音声データを、記録再生部１５０や通信部に送信したり、再生時にはスピーカに送信したりする。なお、集音部１２０は、たとえば、撮像装置１００のハウジング内に内蔵された複数の無指向性の音声を集音するマイクである。また、音声処理部１２１では音声圧縮方式として、たとえば、ＡＣ３、ＡＡＣ等の公知の一般的な音声圧縮方式を用いる。

表示部１４０は、例えば、液晶表示デバイス、または有機ＥＬ表示デバイスなどからなり、表示制御部１４１の制御により画像を表示する。表示部１４０は、ＬＥＤディスプレイなど、ユーザに画像を提供することができればどのようなものであっても良い。表示制御部１４１では、画像処理部１１１により処理された画像データに基づいて、表示部１４０に画像を表示する。また、表示制御部１４１は、表示部１４０に表示するデジタル画像信号に基づく映像信号に対し、マトリクス変換、ブライト調整、コントラスト調整、ガンマ調整、クロマゲイン調整、シャープネス調整等の画像信号処理を行ってもよい。

記録再生部１５０は、記録時においては、画像処理部１１１により処理された画像データや音声データを記録媒体１５１に記録し、再生時においては、記録媒体１５１に記録された画像データや音声データを再生する。記録再生部１５０は、記録時においては、画像データや音声データとともに、撮影日や、圧縮に関する情報、撮像部１１０の設定等の各種情報を記録媒体１５１に書き込む。なお、記録再生部１５０は、画像データや音声データを記録媒体１５１に記録する際は、たとえばＦＡＴやｅｘＦＡＴ等のファイルフォーマットに適合した形でファイルとして記録媒体に記録する。また、記録媒体１５１は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。取り外し可能な記録媒体を用いる場合には、記録再生部１５０は、それらの取り外し可能な記録媒体を装着、排出するための機構を含む。

姿勢検出部１６０は、撮像装置１００の姿勢を検出するものであって、たとえば、角度センサや加速度センサなどである。本実施例の姿勢検出部１６０は、撮像装置１００の姿勢が、正位置であるか縦位置であるかを検出する。例えば撮像装置１００の第１撮像部１１０の光軸を中心とした回転姿勢角度（０度、９０度、１８０度、２７０度）を検出することができる。ここで、０度はいわゆる正位置（撮像装置１００の上面が上空方向を向いている状態）であり、１８０度は逆位置（撮像装置１００の上面が地面方向を向いている状態）である。９０度、２７０度とはいわゆる縦位置（撮像装置１００の左右面のいずれかが地面方向を向いている状態）である。

なお、本実施例の第１撮像部１１０（第１の撮像部）、第２撮像部１１２（第２の撮像部）はそれぞれ、異なる方向の被写体を撮像するものである。具体的には、第２の撮像部１１２は、撮影者（いわゆるカメラマン）を撮影するためのサブカメラであり、第１撮像部１１０は、撮影者が撮影しようとしている被撮影者（いわゆる被写体）を撮影するためのメインカメラである。したがって、たとえば、第１撮像部１１０と、第２撮像部１１２は、逆方向を撮影するものであるが、必ずしも逆方向でなくともよい。

ここで、画像処理部１１１、音声処理部１２１、表示制御部１４１、記録再生部１５０は、それぞれ、前述の各機能を実行するプログラムを搭載したマイクロコンピュータであってもよい。また、ＣＰＵ１０１がＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。

＜撮像装置１００の動作＞
続いて、本実施例の撮像装置１００の動作について説明する。本実施例の撮像装置１００は、「静止画撮影モード」、「動画撮影モード」、「再生モード」のほかに、「動画静止画撮影モード」を有する。各モードにおいて、ＣＰＵ１０１は、撮像装置１００の各ブロックを制御して以下の動作を行わせる。

「静止画撮影モード」、「動画撮影モード」では、撮影の指示が入力されるまでの間、第１撮像部１１０により得られた画像のみまたは、第１撮像部１１０により得られた画像と第２撮像部１１２により得られた画像を合成した画像を表示部１４０に表示させる。すなわち、各撮像部により得られた画像を画像処理部１１１で処理し、表示部１４０に表示させるように表示制御部１４１を制御する。そして、撮影の指示が入力されると、画像処理部１１１に、各撮像部により得られた画像を動画または静止画として圧縮させ、圧縮した画像を順次記録媒体１５１に記録するように記録再生部１５０を制御する。「静止画撮影モード」の場合は撮影の指示に対応するタイミングで各撮像部により得られた画像を１枚または複数枚をたとえばＪＰＥＧを用いて圧縮するように画像処理部１１１を制御する。そして、圧縮された静止画データを記録媒体１５１に静止画ファイルとして記録するように記録再生部１５０を制御する。一方「動画撮影モード」においては、撮影の指示に対応するタイミングで各撮像部により得られた画像から順次得られる画像をフレーム画像とする動画をたとえばＨ．２６５を用いて圧縮するように画像処理部１１１を制御する。そして、圧縮された動画データを記録媒体１５１に動画ファイルとして記録するように記録再生部１５０を制御する。なお、「動画撮影モード」においては、撮影終了の指示が入力されるまでこの動作を継続する。また、「静止画撮影モード」、「動画撮影モード」において、静止画ファイル、動画ファイルには、各モードで撮影された画像に基づくサムネイル画像（静止画データ）が付加されて記録媒体１５１に記録される。

「動画静止画撮影モード」では、静止画記録の指示が入力されたときに、静止画撮影、静止画記録を行うとともに、静止画記録の指示が入力される直前の４秒間の動画データを記録媒体に記録する。そして、同じ日に、「動画静止画撮影モード」で、複数回の静止画記録の指示が入力された場合には、静止画記録の指示が入力される直前の４秒間の動画データを一つの動画ファイルに追記して記録する。このようにすることで、１日分の静止画撮影直前の動画データを一つの動画ファイルに格納し、閲覧性を向上させることができる。「動画静止画撮影モード」では、ＣＰＵ１０１は、撮影の指示が入力されるまでの間、第１撮像部１１０により得られた画像のみまたは、第１撮像部１１０により得られた画像と第２撮像部１１２により得られた画像を合成した画像を表示部１４０に表示させる。すなわち、各撮像部により得られた画像を画像処理部１１１で処理し、表示部１４０に表示させるように表示制御部１４１を制御する。また、このとき、画像処理部１１１は、第１撮像部１１０により得られた画像のみまたは、第１撮像部１１０により得られた画像と第２撮像部１１２により得られた画像を合成した画像を順次動画データとして圧縮し、ＲＡＭ１０２に一時的に記憶する。ＣＰＵ１０１は、ＲＡＭ１０２には、最新の４秒分の圧縮済みの動画データが常に保持されるようにＲＡＭ１０２の情報を管理する。たとえば最新の４秒以外の動画データは破棄してもよい。次に、静止画記録の指示が入力されると、指示に対応するタイミングで各撮像部により得られた画像を１枚または複数枚をたとえばＪＰＥＧを用いて圧縮するように画像処理部１１１を制御する。そして静止画として圧縮された静止画データを記録媒体１５１に記録するように記録再生部１５０を制御する。一方、静止画記録の指示に応じて、ＲＡＭ１０２に記憶されている最新の４秒の圧縮済みの動画データについても記録媒体１５１に記録するように記録再生部１５０を制御する。また静止画記録の指示により得られた画像を動画（ストップモーション）としても圧縮するように画像処理部１１１を制御し、最新の４秒の動画データの後に再生されるように記録媒体１５１に記録する。これにより、記録再生部１５０は、記録媒体に記録されている最新の４秒の動画データと同じ動画ファイルに静止画記録の指示により得られた画像の動画データが含まれる。なお、記録される動画データの撮影中の動作に関する情報や、人間の顔の検出された位置、大きさ、笑顔度の情報を対応する静止画ファイルのヘッダに格納してもよい。また、ストップモーション動画を生成したかどうかを示す情報も静止画ファイルのヘッダに格納してもよい。

「再生モード」では、記録媒体１５１に記録されている動画ファイルまたは静止画ファイルのファイルリスト及びサムネイル画像を読み出すように記録再生部１５０を制御する。そして記録再生部１５０により再生された各ファイルのサムネイル画像を画像処理部１１１で伸張させ、伸張させたサムネイル画像を表示部１４０に表示するように表示制御部１４１を制御する。そして、ＣＰＵ１０１は、ユーザが操作部１０４を操作することで選択したサムネイル画像に対応する静止画ファイルまたは動画ファイルを画像処理部１１１に伸張させ、得られた画像を表示部１４０に表示するように表示制御部１４１を制御する。

なお、本実施例の撮像装置１００においては、記録時または再生時において、撮影画像または再生画像内に、あらかじめ登録した人物の画像に類似する人物が含まれているかを判定することができる。そのため、撮像装置１００は、たとえば、１２人分の顔画像等の特徴画像とその人物（または顔）に対応する名前やニックネーム等の識別子を関連付けて登録することができる。登録方法は、人物登録モードで撮影された画像を画像処理部１１１で特徴量を検出し、ユーザに名前やニックネームを入力させ、ＣＰＵ１０１はそれらを関連付けて撮像装置１００の不図示の不揮発性メモリに記録する。本実施例では、この関連付けて記録された情報を「辞書」と表現することもある。この「辞書」に登録された人物であるかを判定するには、たとえば、あらかじめ登録した人物の顔等の特徴画像の特徴量に類似する顔画像であるかを判定する方式などがあるがこれ以外の方法を用いてもよい。これにより、撮影時または再生時にあらかじめ登録された人物（または顔）に対応する画像が含まれるかを画像処理部１１１で判定することができる。記録時においては、どの人物（または顔）に対応する画像が含まれるかを判定すると、ＣＰＵ１０１は、判定結果を画像ファイルのヘッダに記録するように記録再生部１５０を制御する。このようにすることで再生時に登録した人物に対応する画像が含まれるかを画像解析せずにヘッダを確認するだけで判定することができる。

＜アルバム再生＞
ここで、本実施例の撮像装置１００は、「再生モード」において「アルバム再生」を選択することができる。「アルバム再生」は、記録媒体に記録された複数の画像ファイルから所定数の画像ファイルを抽出して、その画像を順次表示するモードである。本実施例の「アルバム再生」においては、「オープニング」、「本編」、「エンディング」という順番で画像を再生する。本実施例の撮像装置１００においては、指定された人物に関連する画像を特定して、その特定された画像の中で評価値の高い画像「本編」として表示する。また、本実施例の「アルバム再生」においては、指定した人物を識別するための識別子を所定のタイミングで表示する。なお、人物（または顔）等の特徴画像は、複数指定が可能であり、表示タイミングは、指定された人物の数に応じて変更される。具体的には、指定された人物の数は４人未満の場合には、「オープニング」で指定された、辞書に登録されている人物の識別子を全員分表示する。一方、指定された人物の数が４人以上の場合には、「本編」において、指定された人物が最初に表示されたタイミングに応じて辞書に登録されている該当する人物の識別子を表示する。なお、識別子とは、辞書登録時にユーザに入力させたテキストデータであり、たとえば人物（または顔）を示す名前やニックネームなどである。

以下に、「アルバム再生」における撮像装置１００の動作について、図２を用いて説明する。図２のフロー図は、ＣＰＵ１０１が、撮像装置１００の各ブロックを制御することにより実行される処理を示す。

＜対象画像特定＞
（Ｓ２０１）
まず、「アルバム再生」が指定されると、ＣＰＵ１０１は、記録媒体１５１に記録された静止画ファイルのヘッダに含まれる情報を読み出すよう記録再生部１５０を制御する。ＣＰＵ１０１は、静止画ファイルのヘッダに含まれる情報に基づいて、辞書に登録された人物が含まれているか否かを判定し、含まれている人物を示す画像や識別子を表示部１４０に表示するように表示制御部１４１を制御する。

（Ｓ２０２）
次に、ＣＰＵ１０１は、ユーザの操作により選択された人物の画像や識別子を特定する。

なお、人物選択の方法はＳ２０１、Ｓ２０２の処理に限定されない。たとえば、ＣＰＵ１０１により、辞書に登録された人物（または顔）の画像や識別子を表示部１４０に表示するように表示制御部１４１を制御して、ユーザに選択させてもよい。また、「アルバム再生」に切り替える直前に再生されていた画像内に含まれている人物（または顔）のうち辞書に登録された人物を自動的に選択するようにしてもよい。

（Ｓ２０３）
次に、ＣＰＵ１０１は、「アルバム再生」における画像の総表示時間を設定するために、目標時間の設定画面を表示部１４０に表示するように表示制御部１４１を制御し、ユーザに目標時間を設定させる。また、目標とされるシーン数を設定できるようにしてもよい。

（Ｓ２０４）
次に、ＣＰＵ１０１は、Ｓ２０２で指定された人物（または顔）を含む画像の評価値を算出する。ＣＰＵ１０１は、Ｓ２０２で指定された人物（または顔）を含む静止画ファイルを特定し、特定された静止画ファイルの付加情報を参照して、特定された静止画ファイルの画像の評価値を算出する。付加情報は、静止画ファイルの画像が撮影されたときに得られた情報に基づいて生成されたものである。たとえば、画像処理部１１１において、検出された顔画像の位置、大きさの情報、笑顔度等を含むが、これ以外の情報を用いても構わない。Ｓ２０４では、顔画像の大きさが大きいほど高い評価値を算出し、顔画像の位置が画像中央に近いほど高い評価値を算出し、笑顔度が高いほど高い評価値を算出する。なお、静止画ファイルの静止画データをこのときに画像処理部１１１に解析させて、顔画像の位置、大きさ、笑顔度を検出してもよい。また、撮影時に評価値を算出して静止画ファイルの付加情報として記録しておいてもよい。また、合焦情報、ＹＵＶヒストグラム、姿勢情報（ジャイロ変動情報）、ズーム情報などを含む撮影情報を使用して評価値を算出しても良い。

（Ｓ２０５）
次に、ＣＰＵ１０１は、算出した評価値の高い順に静止画ファイルをソートする。

（Ｓ２０６）
次に、ＣＰＵ１０１は、算出した評価値の高い順に「アルバム再生」の対象画像として設定する。

ここまでの処理により、「アルバム再生」の対象となる画像が抽出される。以降の処理では、これらの特定された画像に基づいて、「アルバム再生」の「オープニング」、「本編」、「エンディング」を生成する。

（Ｓ２０７）
まず、ＣＰＵ１０１は、Ｓ２０２で指定された人物（または顔）が４人未満であるか否かを判定する。

（Ｓ２０８）
Ｓ２０７で、指定された人物（または顔）が４人未満である場合（Ｓ２０７でＹｅｓ）、ＣＰＵ１０１は、指定された人物（または顔）の各々の含まれている画像を含む静止画ファイルを１枚ずつ選択する。各人物（または顔）毎に対応する静止画ファイルが１枚ずつ選択される。選択する静止画ファイルはたとえば、各々の人物（または顔）の評価値が最も高いものである。そのために、ＣＰＵ１０１は、各人物（または顔）毎に、顔の大きさや笑顔度を用いて評価値を算出してもよい。また、各人物（または顔）の含まれる画像を表示部１４０に表示するように表示制御部１４１を制御し、ユーザに選択させてもよい。

（Ｓ２０９）
次に、ＣＰＵ１０１は、Ｓ２０８で選択された各人物（または顔）毎に対応する静止画ファイルのヘッダに含まれる付加情報から、各人物（または顔）に対応する領域を特定する。そして、静止画ファイルの画像から各人物（または顔）の含まれる領域の画像を切り出すように画像処理部１１１を制御する。そして、ＣＰＵ１０１は、切り出した画像に対して、各人物（または顔）に対応する名前やニックネーム（識別子）を合成した画像を生成するように画像処理部１１１を制御する。すなわち、各人物（または顔）に対応する名前やニックネーム（識別子）が合成された画像が１枚ずつ生成される。

（Ｓ２１０）
次に、ＣＰＵ１０１は、Ｓ２０９で生成した各人物の各人物（または顔）に対応する名前やニックネーム（識別子）が合成された画像を順番に再生するようにした「オープニング」画像セットを生成する。

（Ｓ２１１）
次に、ＣＰＵ１０１は、目標再生時間に基づいて抽出する画像の数を決定し、決定された数の画像を評価値の高い順に抽出して、時系列順に表示する「本編」を生成する。本実施例ではあらかじめ設定されている目標再生時間を３分とし、画像１枚当たりの表示時間を４秒とする。この場合、３（分）×６０（秒換算）÷４（秒）＝４５（枚）が抽出対象の画像の数となる。そして、ＣＰＵ１０１は、Ｓ２０５で評価値の高い順にソートされた静止画ファイルを評価値の高い順に抽出し、各静止画ファイルの画像を時系列順に再生する「本編」画像セットを生成する。

（Ｓ２２０）
その後、ＣＰＵ１０１は、「エンディング」画像を選択する。ＣＰＵ１０１は、Ｓ２０２で指定された人物（または顔）に対応する画像が最も多く映っている画像を「エンディング」の画像として選択する。

（Ｓ２２１）
次に、ＣＰＵ１０１は、「オープニング」画像セットの画像を順番に表示し、次に「本編」画像セットの画像を順番に表示し、最後に「エンディング」画像を表示するように、表示制御部１４１を制御する。

以上のように、選択された人物が４人未満の場合には、「オープニング」画像として、選択された人物（または顔）に対応する人物の名前やニックネーム（識別子）を所定の期間（オープニング期間）に連続的に表示させる「アルバム再生」を行う。このようにして生成された「アルバム再生」画像の概念図を図３に示す。図３に示すようにオープニングにおいては各人物を示す画像とともに名前やニックネーム（識別子）が連続的に表示され、本編においては、選択されたシーンが表示され、エンディングでは、指定された人物が多く含まれる画像を表示する。

（Ｓ２１２）
一方、Ｓ２０７で、指定された人物（または顔）が４人未満でない場合（Ｓ２０７でＮｏ）、ＣＰＵ１０１は、Ｓ２０２で指定された人物（または顔）に対応する画像が最も多く含まれる画像を選択する。

（Ｓ２１３）
次に、ＣＰＵ１０１は、Ｓ２０６で抽出された画像のうち最も古い画像と最も新しい画像を「オープニング」の画像として選択する。そして、ＣＰＵ１０１は、最も古い画像と最も新しい画像の撮影（記録）日時を各画像の含まれる静止画ファイルのヘッダから読みだす。そして、その情報に基づいて、再生される画像の撮影された期間を示す情報をＳ２１２で抽出した画像に合成した画像を生成するように画像処理部１１１を制御し、「オープニング」の画像とする。また、後述のＳ２１４で抽出された画像の期間を示す情報をＳ２１２で抽出した画像に合成した画像を「オープニング」の画像としてもよい。

（Ｓ２１４）
次に、ＣＰＵ１０１は、目標再生時間に基づいて抽出する画像の数を決定し、決定された数の画像を評価値の高い順に抽出して、時系列順に表示する「本編」を生成する。Ｓ２１１と同様に、４５（枚）が抽出対象の画像の数とする。そして、ＣＰＵ１０１は、Ｓ２０５で評価値の高い順にソートされた静止画ファイルを評価値の高い順に抽出し、各静止画ファイルの画像を時系列順に再生する「本編」画像セットを生成する。

（Ｓ２１５）
ここで、ＣＰＵ１０１は、「本編」画像セットに含まれる画像について、各画像の含まれる静止画ファイルの付加情報に基づいて、Ｓ２０２で指定された各人物（または顔）に対応する画像が初めて表示される画像を特定する。そして、ＣＰＵ１０１は、特定された画像に初めて表示された人物（または顔）に対応する名前やニックネーム（識別子）を示す情報を合成した画像を生成するように画像処理部１１１を制御する。そして、各人物（または顔）に対応する画像が初めて表示される画像に対して、対応する名前やニックネーム（識別子）を合成した画像を「本編」画像セットの合成前の画像と置き換える。なお、初登場の画像に対してのみ名前やニックネームを合成しなくても、２度目に登場した画像に対して名前やニックネームを合成してもよいし、各人物について最も評価値の高い画像に名前やニックネームを合成してもよい。また、識別子は、画像に合成しなくとも、指定された各人物（または顔）に対応する画像が初めて表示されるタイミングに基づくタイミング、すなわちその画像が表示される直前や直後に表示するようにしてもよい。

以降は、前述のＳ２２０、Ｓ２２１の処理を行う。

以上のように、選択された人物が４人未満でない場合には、「本編」において初めて指定された人物（または顔）に対応する画像に対して名前やニックネーム（識別子）を表示させる「アルバム再生」を行う。このようにして生成された「アルバム再生」画像の概念図を図４に示す。図４に示すようにオープニングにおいては指定された人物が多く含まれる画像とともに、表示する画像の撮影期間を示す情報を表示する。本編においては、選択されたシーンが表示されるとともに、「本編」において初めて指定された人物（または顔）に対応する画像に対して名前やニックネーム（識別子）を表示する。そして、エンディングにおいては指定された人物が多く含まれる画像を表示する。このように、選択された人物が４人未満でない場合には、「本編」において初めて指定された人物（または顔）に対応する画像に対して名前やニックネーム（識別子）を表示させ、「オープニング」においては、各人物を示す情報を表示しない。

図２に示したように、本実施例の撮像装置は、指定された人物（または顔）の数が所定数未満か、所定数以上かに応じて、指定された指定された人物（または顔）の識別子を表示するタイミングを異ならせた。所定数より少ない場合には、「オープニング」という所定の期間内に連続して指定された指定された人物（または顔）の識別子を表示するようにした。一方、所定数以上の場合には「オープニング」ではなくその後の「本編」において、指定された人物に対応する画像を最初に表示するタイミングで、指定された指定された人物（または顔）の識別子を表示するようにした。このようにすることによって、「アルバム再生」を視聴するユーザにとって見易いスライドショーまたは、変化に富んだスライドショーを提供することができる。

なお、「アルバム再生」をユーザが確認し、「保存」操作を行った場合は、静止画ファイルすべてについて、伸張された画像を４秒分のフレーム画像とする動画データを生成するように画像処理部１１１を制御する。そして生成された動画データを時系列順に再生する動画データを生成するように画像処理部１１１を制御し、生成された一連の動画データを動画ファイルとして記録媒体１５１に記録するように記録再生部１５０を制御する。

本実施例では、静止画ファイルを用いた「アルバム再生」を例にとって説明したが、動画ファイルを用いた「アルバム再生」を行ってもよい。また、動画ファイルと静止画ファイルの両方を用いた「アルバム再生」を行ってもよい。なお、動画ファイルを用いた「アルバム再生」を行う場合は、動画ファイル内の評価値が高いシーンの４秒を再生するようにシーンの抽出を行ってもよい。また、本実施例の動画静止画撮影モードで撮影された静止画ファイルに基づいて評価を行った場合は、抽出された静止画ファイルに対応するシーンの動画データを静止画ファイルの代わりに「アルバム再生」の対象としてもよい。

また、本実施例の「動画静止画撮影モード」で撮影された動画データと、静止画データ、「静止画撮影モード」で撮影された静止画データを「アルバム再生」の対象とする場合は、たとえば、１０個選択するうちの２個または３個を動画データとする。本実施例では「動画静止画撮影モード」で撮影された動画データは対応する静止画ファイルに撮影中の動作に関する情報や、人間の顔の検出された位置、大きさ、笑顔度の情報が格納されている。そこでＣＰＵ１０１は、その情報に基づいて動画データの評価値を算出し、あるクラスタに分類された動画データのうち評価値の高いシーン（静止画記録の指示の直前の４秒にあたる動画でデータ）を抽出する。一方静止画については静止画ファイルのうち評価値の高いものを抽出対象とする。なお、抽出された動画データにストップモーション動画が含まれている場合は、同じ画像である静止画については評価値が高くとも抽出対象としないようにしてもよい。

また、本実施例において、指定された人物（または顔）を示す情報を合成する位置については、画像中の人間の顔の領域に対応する位置に指定された人物（または顔）を示す情報が重ならないように配置を変更する。また、指定された人物（または顔）を示す情報は、表示している画像を透過して見えるようにアルファブレンド等の技術を用いて合成される。

なお、評価値のうちどの評価値が高い静止画ファイルを優先するか、優先される評価値を設定できるようにしてもよい。

また、指定された人物（または顔）の生年月日をさらに「辞書」として関連付けて登録しておくことにより、指定された人物（または顔）の識別子を表示する際に、撮影当時の年齢を表示してもよい。すなわち、辞書に登録された生年月日と表示中の画像の撮影日時から年齢を計算して、表示する。また、所定の年齢未満の場合には、月齢まで表示するようにしてもよい。また、所定の年齢以上の場合には、年齢を表示しないようにしてもよい。また、年齢が「アルバム再生」中に変化した場合に、名前と年齢を改めて表示するようにしてもよい。

なお、本実施例では、撮像装置を例にとって説明したが、複数の動画または静止画またはその両方を再生することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

Claims (17)

1. 記録媒体に記録された画像データを再生する再生手段と、
   指定された所定の特徴画像を含む画像を抽出する抽出手段と、
   前記抽出手段により抽出された画像と前記所定の特徴画像に関連づけられた識別子とを表示部に表示させる表示制御手段とを有することを特徴とする画像処理装置。
2. 前記所定の特徴画像は複数指定されることが可能であって、
   前記表示制御手段は、前記指定された所定の特徴画像が所定数未満である場合と、所定数以上である場合とで、前記識別子の表示タイミングを異ならせることを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記指定された所定の特徴画像が所定数未満である場合は、前記識別子を連続して表示することを特徴とする請求項２に記載の画像処理装置。
4. 前記表示制御手段は、前記指定された所定の特徴画像が所定数未満である場合は、前記識別子を最初に表示することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記表示制御手段は、前記指定された所定の特徴画像が所定数以上である場合は、最初に表示しないことを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
6. 前記表示制御手段は、前記指定された所定の特徴画像が所定数以上である場合は、前記識別子を前記指定された所定の特徴画像が最初に表示されるタイミングに基づくタイミングで前記識別子を表示することを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
7. 前記所定の特徴画像は、ユーザの操作に応じて選択されることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記所定の特徴画像は、表示されている画像に基づいて指定されることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
9. 記録媒体に記録された画像データを再生する再生ステップと、
   指定された所定の特徴画像を含む画像を抽出する抽出ステップと、
   前記抽出ステップで抽出された画像と前記所定の特徴画像に関連づけられた識別子とを表示部に表示させる表示制御ステップとを有することを特徴とする画像処理方法。
10. 前記所定の特徴画像は複数指定されることが可能であって、
    前記表示制御ステップにおいて、前記指定された所定の特徴画像が所定数未満である場合と、所定数以上である場合とで、前記識別子の表示タイミングを異ならせることを特徴とする請求項９に記載の画像処理方法。
11. 前記表示制御ステップは、前記指定された所定の特徴画像が所定数未満である場合は、前記識別子を連続して表示することを特徴とする請求項１０に記載の画像処理方法。
12. 前記表示制御ステップは、前記指定された所定の特徴画像が所定数未満である場合は、前記識別子を最初に表示することを特徴とする請求項１０または１１に記載の画像処理方法。
13. 前記表示制御ステップにおいて、前記指定された所定の特徴画像が所定数以上である場合は、最初に表示しないことを特徴とする請求項１０から１２のいずれか１項に記載の画像処理方法。
14. 前記表示制御ステップにおいて、前記指定された所定の特徴画像が所定数以上である場合は、前記識別子を前記指定された所定の特徴画像が最初に表示されるタイミングに基づくタイミングで前記識別子を表示することを特徴とする請求項１０から１３のいずれか１項に記載の画像処理方法。
15. 前記所定の特徴画像は、ユーザの操作に応じて選択されることを特徴とする請求項１０から１４のいずれか１項に記載の画像処理方法。
16. 前記所定の特徴画像は、表示されている画像に基づいて指定されることを特徴とする請求項１０から１４のいずれか１項に記載の画像処理装置。
17. コンピュータに請求項９から１６のいずれか１項に記載の画像処理方法を実行させるためのプログラム。
    

Images