JP2007281680A - 画像処理装置および画像表示方法 - Google Patents

Abstract

【課題】時系列に並ぶ画像の全体を一望できるように、検出された人物の顔の一覧を表示する。
【解決手段】顔情報生成部３０１は画像ファイル２００から供給される入力画像において所定の人物の顔を検出して、その顔を含む画像の出現する時系列区間を特定する情報を顔情報として生成する。また、顔情報生成部３０１は所定の人物の顔が検出された時系列区間における代表画像を特定する情報を供給する。時系列区間生成部３２０は顔情報生成部３０１から顔情報を受け取り、所定の人物の顔が含まれる画像の出現する時系列区間を描画する。また、時系列区間生成部３２０はこの時系列区間とともにその時系列区間における代表画像を描画する。画像制御部３３０は、操作入力に従って画像ファイル２００から画像を取得して表示部３０５に表示させ、もしくは、画像記憶部３０９に記憶させる。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に所定の人物の顔を含む画像を取り扱う画像処理装置、および、その処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

動画像のように時系列に並ぶ画像を再生もしくは編集等する場合、従来は人間が時系列に並ぶ画像の全体を通して閲覧し、好みのシーンを適宜選択するという操作を必要としていた。このような手法は直接的であるが、各シーンの横断的な把握は各人のスキルによるところが多く、必ずしも効率的であるとはいえない。

これに対して、動画像の中から顔の検出を行い、その検出された顔の評価値が極大になる画像を代表画像として採用することにより、動画像の内容をユーザに把握させる動画像記録再生装置が提案されている（例えば、特許文献１参照。）。
特開２０００−３５０１２４号公報（図１）

上述の従来技術では、所定の時間間隔毎に評価値の極大値を求めることにより、それぞれにおける代表画像を選択している。しかしながら、このような手法では時間間隔が先に固定されてしまい、ユーザの意図する代表画像とは異なるおそれがある。また、厳密に代表画像を定めるためには評価値の極大値を求める時間間隔を狭くする必要があり、その結果、代表画像の数が膨大になって便宜が悪くなるおそれがある。

そこで、本発明は、時系列に並ぶ画像の全体を一望できるように、検出された人物の顔の一覧を表示することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、入力画像に関する操作入力を受け付ける入力受付手段と、上記入力画像について所定の人物の顔を含む画像の出現する時系列区間を特定する情報および上記時系列区間の代表画像を特定する情報を受け付けてこれらの情報に基づいて上記時系列区間の表示を上記代表画像とともに描画する時系列区間生成手段と、上記操作入力に従って上記時系列区間生成手段に上記時系列区間の表示を描画させる画像制御手段とを具備することを特徴とする画像処理装置である。これにより、画像に出現する人物の顔を時間の推移とあわせて表示させるという作用をもたらす。

また、この第１の側面において、上記時系列区間生成手段は、上記人物の顔を識別する情報をさらに受け付けて当該情報を上記時系列区間の表示とともに描画するようにしてもよい。これにより、画像に出現する人物の顔を識別させるという作用をもたらす。

また、この第１の側面において、上記時系列区間生成手段は、上記入力画像に複数の人物の顔が含まれている場合には上記複数の人物の顔のそれぞれについて上記時系列区間の表示を描画するようにしてもよい。これにより、各人物が画像に出現する時間の推移を表示させるという作用をもたらす。

また、この第１の側面において、上記画像制御手段は、上記操作入力において上記時系列区間の再生処理が選択された場合にはその選択された時系列区間に対応する上記入力画像の再生を行うようにしてもよい。これにより、人物の顔を目印として画像を再生させるという作用をもたらす。

また、この第１の側面において、上記画像制御手段は、上記操作入力において上記時系列区間の新規作成処理が選択された場合にはその選択された時系列区間に対応する上記入力画像から新たな画像を生成するようにしてもよい。これにより、人物の顔を目印として選択された画像を組み合わせて新たな画像を生成させるという作用をもたらす。

また、本発明の第２の側面は、入力画像に関する操作入力を受け付ける入力受付手段と、上記入力画像について所定の人物の顔を含む画像の出現する時系列区間を特定する情報および上記時系列区間の代表画像を特定する情報を受け付けてこれらの情報に基づいて時間軸方向に上記時系列区間の表示を上記代表画像とともに描画する時系列区間生成手段と、上記操作入力に従って上記時系列区間生成手段に上記時系列区間の表示を描画させる画像制御手段とを具備することを特徴とする画像処理装置である。これにより、画像に出現する人物の顔を時間軸に沿ってその時間の推移とあわせて表示させるという作用をもたらす。

また、この第２の側面において、上記時系列区間生成手段は、上記入力画像に複数の人物の顔が含まれている場合には上記時間軸方向とは垂直の方向に上記複数の人物が配置されるように上記時系列区間のそれぞれの表示を描画してもよい。これにより、各人物の出現する時間の推移を２次元に表示させるという作用をもたらす。

また、本発明の第３の側面は、入力画像について所定の人物の顔を含む画像の出現する時系列区間を特定する情報および上記時系列区間の代表画像を特定する情報を受け付ける手順と、上記時系列区間を特定する情報に基づいて上記入力画像の時間軸における該当位置に上記時系列区間を描画する手順と、上記代表画像を特定する情報に基づいて上記代表画像を取得して上記時系列区間とともに描画する手順とを具備することを特徴とする画像表示方法またはこれら手順をコンピュータに実行させることを特徴とするプログラムである。これにより、画像に出現する人物の顔を時間の推移とあわせて表示させるという作用をもたらす。

本発明によれば、時系列に並ぶ画像から検出された人物の顔の一覧を表示することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における画像処理装置３００の一構成例を示す図である。この画像処理装置３００は、画像ファイル２００から時系列に並ぶ画像を取得して、表示部３０５に表示させ、もしくは、画像記憶部３０９に記憶させるものである。また、画像処理装置３００は、顔情報生成部３０１によって生成された顔情報に基づいて、画像ファイル２００において所定の人物の顔を含む画像が出現する時系列区間を表示するものである。

画像ファイル２００は、時系列に並ぶ画像を保持するファイルであり、主として動画像を保持するものである。但し、動画像と同時に撮像された静止画像が含まれていてもよい。また、この例では、画像処理装置３００の入力画像として、画像ファイル２００から供給される画像を想定しているが、これに限られるものではなく、例えば、撮像装置によって撮像されている画像をリアルタイムに用いてもよく、また、放送受信装置において受信された画像を用いてもよい。すなわち、ファイルとして一旦蓄積された画像を入力画像としてもよく、また、ストリーム画像をそのまま入力画像として用いてもよい。

顔情報生成部３０１は、画像ファイル２００から供給される入力画像において所定の人物の顔を検出して、その顔を含む画像の出現する時系列区間を特定する情報を顔情報として生成する。この顔情報生成部３０１は、入力画像の各フレームから検出された顔画像に関して、顔画像同士の類似度や時間的な連続性などを勘案して、各フレームの顔をグループとして括る。このグループが属する元のフレームで、時刻として最も早いものがこの区間の時間的な開始位置、時刻として最も遅いものがこの区間の時間的な終了位置となり、この区間にはさまれた領域が当該人物の存在する時系列区間となる。この時系列区間の単位としては、例えば時間やフレーム番号などが用いられる。また、符号化方式としてＭＰＥＧ（Moving Picture Experts Group）形式が採用される場合にはＧＯＰ（Group Of Pictures）番号を時系列区間の単位として用いることができる。

また、顔情報生成部３０１は、所定の人物の顔が検出された時系列区間における代表画像（例えば、サムネイル画像）を特定する情報を供給する。この顔情報生成部３０１は、上述のグループ内の顔画像のうち、時刻が最も早い顔画像をその区間の代表画像としてもよく、また、グループ内で顔の評価値が最も高かった顔画像を代表画像としてもよい。この代表画像を特定する情報は、画像ファイル２００から取得された静止画像そのものでもよく、また、画像ファイル２００における位置を特定するアドレスであってもよい。

さらに、顔情報生成部３０１は、入力画像において検出された顔を互いに識別する情報を顔ラベルとして供給する。この顔ラベルは、内部コードとしての識別子であってもよく、また、名称等を文字列により保持するものあってもよい。

表示部３０５は、画像ファイル２００において所定の人物の顔を含む画像が出現する時系列区間やその内容を表示するものであり、例えばＬＣＤ（Liquid Crystal Display）等により実現される。

画像記憶部３０９は、画像処理装置３００において編集された画像を記憶するものであり、例えばフラッシュメモリ（flash memory）のような外部記録媒体などを想定することができる。

画像処理装置３００は、時系列区間生成部３２０と、画像制御部３３０と、入力受付部３４０とを備えている。時系列区間生成部３２０は、顔情報生成部３０１から顔情報を受け取り、所定の人物の顔が含まれる画像の出現する時系列区間を描画するものである。また、時系列区間生成部３２０は、この時系列区間とともに、その時系列区間における代表画像を描画する。入力受付部３４０は、ユーザから入力画像に関する操作入力を受け付けるものであり、例えばマウスやタッチパネル等により実現される。画像制御部３３０は、操作入力に従って時系列区間生成部に時系列区間の表示を描画させるものである。また、画像制御部３３０は、操作入力に従って画像ファイル２００から画像を取得して表示部３０５に表示させ、もしくは、画像記憶部３０９に記憶させる。

時系列区間生成部３２０は、顔情報生成部３０１から受け取った顔情報を顔情報テーブル４００に保持することができる。この顔情報テーブル４００に保持された内容は、入力受付部３４０によって受け付けられた操作入力に従って変更され得る。

図２は、本発明の実施の形態における顔情報テーブル４００の一構成例を示す図である。この顔情報テーブル４００は、顔ラベル４１０、開始時刻４２０、終了時刻４３０および代表画像４４０の各項目を保持している。顔ラベル４１０は、入力画像に含まれる人物の顔を識別するものであり、上述のように内部コードとしての識別子であってもよく、また、名称等を文字列により保持するものであってもよい。

開始時刻４２０は、顔ラベル４１０により識別される顔が出現を開始する時刻である。終了時刻４３０は、顔ラベル４１０により識別される顔が出現を終了する時刻である。これら開始時刻４２０および終了時刻４３０は、入力画像の先頭からの相対時刻であってもよく、また、実際の絶対時刻であってもよい。また、相対時刻が採用される場合には、これらの時刻はフレーム番号やＧＯＰ番号により示されてもよい。ここでは時刻の単位としてフレーム番号を単位とした表示例が示されている。

代表画像４４０は、顔ラベル４１０により識別される顔が含まれる代表画像を特定するものであり、代表画像そのものを保持してもよく、また、画像ファイル２００における位置を特定するアドレスであってもよい。

図３は、本発明の実施の形態における画像処理装置による表示例を示す図である。この表示例では、横方向に左方から右方へ時間が進行するように時間軸が設定され、これとは下方に垂直な縦方向に各人物の時系列区間が配置されるようになっている。

時間軸方向には、各時刻を示す時刻ラベル５１１が表示される。その下部には入力画像の全体の長さを示すバー５１３が表示される。この入力画像としては例えば１チャプタ分の動画像を想定することができる。また、入力画像が再生されている場合には、時間軸上の該当位置に現在の再生位置５１２が示される。

バー５１３の下部には、各人物（この例では２人分）の顔ラベル５２０に対応して時系列区間バー５４１および５４２がそれぞれ表示される。そして、これら時系列区間バー５４１および５４２の近隣に、対応する代表画像５３１および５３２がそれぞれ表示される。この代表画像５３１および５３２にはその人物の顔画像が表示されており、これらに対応して表示される時系列区間バー５４１および５４２を参照することによって、ユーザは各人物の登場する区間を一見して把握することができる。

図４は、本発明の実施の形態における画像処理装置による他の表示例を示す図である。この表示例は、同一人物が再び登場する場合に、垂直方向として同一のレベルに時系列区間を表示する例である。

この例では、顔Ａに関する時系列区間バー５４１および代表画像５３１が表示されている右方に、さらに時系列区間バー５４３および代表画像５３３が表示されている。すなわち、時系列区間バー５４３および代表画像５３３は、垂直方向として時系列区間バー５４１および代表画像５３１と同じ位置に表示されている。これにより、顔Ａが複数回出現していることを、ユーザは一見して把握することができる。

図５は、本発明の実施の形態における画像処理装置による編集処理の表示例を示す図である。この例では、上部に編集入力領域５５０が設けられている。この編集入力領域５５０に代表画像がドラッグ操作により投入されると、対応する時系列区間の画像が編集対象として登録される。この例では、既に代表画像５３１が編集対象５５１として登録されており、代表画像５３２が新たな編集対象５５２として登録されようとしている様子が示されている。

このようにして編集対象が登録された後に、ムービー作成ボタン５５９が押下されると、それら編集対象の画像が組み合わされて、その結果として新たな画像が生成される。この例では、代表画像５３１に対応する時系列区間と代表画像５３２に対応する時系列区間とが組み合わされた画像が画像記憶部３０９に作成される。

なお、このムービー作成ボタン５５９は、フラッシュメモリのような外部記録媒体が接続されている間のみ表示されるようにしてもよい。

図６は、本発明の実施の形態における画像処理装置による編集処理の一例を示す図である。図６（ａ）は、編集対象として登録された時系列区間に重なりがない場合の例である。この場合、時系列区間バー５４１および５４２を連続して接続した新たな画像５６４が生成される。画像５６４における順序は、時系列に従って最初に時系列区間バー５４１に相当する画像が表示され、次に時系列区間バー５４２に相当する画像が表示されることが考えられる。但し、この順序は任意に規定することができ、例えば編集入力領域５５０に投入された順序で表示するようにしても構わない。

図６（ｂ）は、編集対象として登録された時系列区間に重なりがある場合の例である。この場合、時系列区間が重なる部分は重複して表示されるのではなく、時系列区間バー５４１および５４２の時間軸上の和集合によって新たな画像５６５が生成される。この場合の画像５６５における順序は、時系列に従うのであれば画像５６５の先頭から順に表示することになる。一方、編集入力領域５５０に投入された順序で表示することとした場合、例えば時系列区間バー５４２に相当する画像が先に編集入力領域５５０に投入され、次に時系列区間バー５４１に相当する画像が編集入力領域５５０に投入されたとすると、最初に時系列区間バー５４２に相当する画像が表示され、次に時系列区間バー５４１に相当する画像のうち未だ表示されていない部分が表示されることになる。

図７は、本発明の実施の形態における画像処理装置による時系列区間の調整処理の一例を示す図である。時系列区間が時間軸上に示されている場合において、ユーザはその時間上の長さを変更することができる。

例えば、代表画像５３１に対応する時系列区間バー５４１の終了位置を変更する場合、ユーザがカーソルを時系列区間バー５４１の右端に移動させると、カーソルが変更ポインタ５６１に変化して変更入力の受付が可能となる。マウスなどによる変更入力が入力受付部３４０によって受け付けられると、その内容に応じて時系列区間バー５４１の終了位置が再描画されるとともに、顔情報テーブル４００の終了時刻４３０が再設定される。

また、時系列区間バー５４１の開始時刻についても同様の操作により変更することができる。これにより、簡単な操作によって画像の編集作業を行うことができる。

図８は、本発明の実施の形態における画像処理装置による静止画像の表示例を示す図である。ここまでの表示例では、顔情報生成部３０１によって抽出される画像が動画像であることを想定していたが、本発明はこれに限られない。例えば、撮像装置において動画像を撮像している間に並行して静止画像が撮像される場合を想定すると、その場合の静止画像は開始時刻と終了時刻とが一致する画像として把握することができる。

そこで、本発明の実施の形態では、図８のように静止画像の時系列区間バー５４５を動画像と同様のインターフェースによって表示する。これにより、動画像と静止画像を混在して表示することができる。

図９は、本発明の実施の形態における画像処理装置の一例としての撮像装置１００ａおよび１００ｂの外観図である。撮像装置１００ａは、主として静止画像を撮像するものであり、撮像装置１００ｂは、主として動画像を撮像するものである。

図９（ａ）は、撮像装置１００ａの正面図である。撮像装置１００ａは、レンズ部１１０ａから被写体を撮像する。そして、撮像装置１００ａは、シャッター部１２０ａが押下されると静止画像を生成する。図９（ｂ）は、撮像装置１００ａの背面図である。レンズ部１１０ａによって捕らえられた被写体の動きはディスプレイ部１３０ａに映し出される。また、生成された静止画像もディスプレイ部１３０ａに映し出される。

図９（ｃ）は、撮像装置１００ｂの正面図である。撮像装置１００ｂは、レンズ部１１０ｂから被写体を撮像する。そして、撮像装置１００ｂは、（図示しない）録画ボタンが押下されると動画像を生成する。図９（ｄ）は、撮像装置１００ｂの背面図である。レンズ部１１０ｂによって捕らえられた被写体の動きはディスプレイ部１３０ｂに映し出される。また、生成された動画像もディスプレイ部１３０ｂに映し出される。また、撮像装置１００ｂは、動画像と同時もしくは独立して静止画像も生成する機能を有しており、生成された静止画もディスプレイ部１３０ｂに映し出される。

図１０は、本発明の実施の形態における画像処理装置の一例としての撮像装置１００の構成を示す図である。この撮像装置１００は、撮像部１０と、記録再生処理部２０と、制御部３０と、バス４０と、キー入力部５０と、タッチパネル部６０、記憶装置７０とを備える。

撮像部１０は、撮像素子部１１と、撮像制御部１２と、画像処理部１３とを備える。撮像素子部１１は、内部に、被写体を撮像するためのレンズ群（図９におけるレンズ部１１０ａおよび１１０ｂに対応）、絞り調整機構、フォーカス調整機構および例えばＣＣＤ（Charge Coupled Devices）などの撮像素子などを備えており、レンズ群を通じた像がＣＣＤなどの撮像素子の結像面に結像される。撮像素子部１１は、シャッター操作に応じて制御部３０からバス４０を通じて供給される画像取り込みタイミング信号を受けて、撮像素子の結像面に結像されている被写体像を撮像信号に変換し、画像処理部１３に供給する。

撮像制御部１２は、制御部３０からバス４０を通じて供給される制御信号を受けて、撮像素子部１１に供給する制御信号を生成する。また、撮像制御部１２は、生成した制御信号を撮像素子部１１に供給して、ズーム制御、シャッター制御および露出制御などを行う。

画像処理部１３は、制御部３０からバス４０を通じて供給される制御信号に基づいて、撮像信号についてのガンマ補正やＡＧＣ（Auto Gain Control）などの処理を行うとともに、撮像信号をデジタル信号としての画像信号に変換する処理も行う。

記録再生処理部２０は、画像符号化／復号部２１と、記録制御部２２と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２３とを備える。画像符号化／復号部２１は、撮像部１０からバス４０を通じて供給される画像信号などを符号化し多重化して圧縮データに変換する符号化機能を有する。また、画像符号化／復号部２１は、圧縮データから画像信号を復号する復号機能を有する。

記録制御部２２は、画像符号化／復号部２１から圧縮データを受けて記憶装置７０に書き込む。また、記録制御部２２は、記憶装置７０から圧縮データを読み出して画像符号化／復号部２１に供給する。なお、記憶装置７０は、撮像装置１００に外付けされたものでも内蔵されたものであってもよい。また、記憶装置７０としては、フラッシュメモリをカード型にパッケージしたメモリカード、ハードディスク等の磁気ディスク、ＤＶＤ等の光ディスク（Optical Disk）およびＭＯ等の光磁気ディスク（Magneto-Optical disk）のいずれかが想定されるが、これに限るものではない。ＳＤＲＡＭ２３は、符号化／復号部２１における符号化または復号のための作業領域として利用される。

制御部３０は、システム制御部３１と、入力制御部３２と、表示制御部３３と、出力画像処理部３４と、外部機器制御部３５と、ネットワーク制御部３６とを備える。

システム制御部３１は、制御部３０全体の処理を司るものである。入力制御部３２に接続されるキー入力部５０には、撮影モードと再生モードなどの他のモードとを切り換えるモード切り換えキー、ズーム調整キー、露出調整のためのキー、シャッターキー（図９におけるシャッター部１２０ａに対応）、動画撮影用キーなどの複数のキーが設けられている。また、入力制御部３２に接続されるタッチパネル入力部６２は、表示部６１に表示されるメニューの選択や画像データの所定領域の指定を受け付けるものである。

入力制御部３２は、キー入力部５０およびタッチパネル入力部６２からの操作信号をシステム制御部３１に伝える。システム制御部３１は、キー入力部５０およびタッチパネル入力部６２においていずれのキー等が操作されたかを判別し、その判別結果に応じた制御処理を行う。

表示制御部３３に接続される表示部６１は、例えばＬＣＤ（Liquid Crystal Display）などにより構成され、システム制御部３１の制御の下に、撮像部１０からバス４０を通じて供給される画像信号や、記憶装置７０から読み出された画像信号を表示する。なお、表示部６１は、図９におけるディスプレイ部１３０ａおよび１３０ｂに対応するものである。

出力画像処理部３４は、画像データ再生時において画像データに所定の修飾処理を施すものである。修飾処理とは、例えば画像データの色補正等が想定される。なお、出力画像処理部３４で行われる画像データに対する処理をシステム制御部３１で行うように構成してもよい。

外部機器制御部３５に接続される外部機器８０は、例えばパーソナルコンピュータ（Personal Computer）等が想定されるが、これに限るものではない。なお、外部機器８０と外部機器制御部３５との間は、例えばＵＳＢ（Universal Serial Bus）ケーブルによって接続されることが想定されるが、これに限るものではない。外部機器制御部３５は、撮像装置１００と外部機器８０との間のデータのやりとりを制御するものである。

ネットワーク制御部３６は、撮像装置１００とネットワーク網９０との間でやりとりされるデータを制御するものである。なお、ネットワーク網としては、インターネットやＬＡＮ（Local Area Network）が想定されるが、これに限るものではない。

このような撮像装置１００を想定した場合、表示部６１の表示面積の関係上、図３のような時系列区間の表示が必ずしも適さないことがある。そこで、時系列区間を簡易に表示する変形例について次に説明する。

図１１は、本発明の実施の形態における画像処理装置による表示の変形例を示す図である。この表示例では、右側に時系列区間表示部６７０が配置されている。この時系列区間表示部６７０には、各人物の代表画像６７１と、各人物に対応する情報６７２が表示される。

情報６７２には、例えば顔ラベル、開始時刻、終了時刻およびその時間上の長さなどが含まれる。代表画像６７１、顔ラベル、開始時刻および終了時刻は、それぞれ顔情報テーブル４００の代表画像４４０、顔ラベル４１０、開始時刻４２０および終了時刻４３０から取得することができる。また、時間上の長さは、終了時刻と開始時刻の差分から求めることができる。

なお、ここでは時刻の単位としてフレーム番号を単位とした表示例が示されているが、これ以外にも時間単位に換算した表示でもよく、また、ＧＯＰ番号などを用いた表示であってもよい。

また、時系列区間表示部６７０の右端にはスクロールバー６７３が表示される。ユーザは、このスクロールバー６７３を操作することにより表示範囲外の人物に関する時系列区間を表示させることができる。

時系列区間表示部６７０の左側には、上部に再生表示部６１０が配置され、下部に操作関連のボタンが配置されている。操作関連のボタンとしては、再生位置バー６２０、再生ボタン６３１、停止ボタン６３２、再生時刻表示６３３、顔抽出開始ボタン６４０、タイムライン表示ボタン６５０およびムービー作成ボタン６６０が表示されている。

再生位置バー６２０は、画像全体の中の再生中の画像の位置を示すものである。ユーザは、この再生位置バー６２０を操作することにより任意の位置に移動することができる。再生ボタン６３１は画像の再生表示を行わせるためのものである。ユーザがこの再生ボタン６３１を押下すると、再生表示部６１０に画像の再生内容が表示される。停止ボタン６３２は、画像の再生表示を停止させるためのものである。ユーザがこの停止ボタン６３２を押下すると、再生表示部６１０の再生表示が停止する。

再生ボタン６３１の押下による再生対象は画像全体であってもよいが、時系列区間表示部６７０において予め選択された区間のみが再生されるようにしてもよい。また、時系列区間表示部６７０が、例えばダブルクリックにより選択されると、すみやかにその区間が再生されるようにしてもよい。

再生時刻表示６３３は、再生表示部６１０に再生されている時刻を表示するものである。ここでは時刻の単位としてフレーム番号を単位とした表示例が示されているが、これ以外にも時間単位に換算した表示でもよく、また、ＧＯＰ番号などを用いた表示であってもよい。

顔抽出開始ボタン６４０は、時系列区間表示部６７０に相当する情報を元の画像から抽出させるためのものである。タイムライン表示ボタン６５０は、例えば図３で説明したような２次元の時系列区間を表示させるためのものである。ムービー作成ボタン６６０は、ムービー作成ボタン５５９と同様のものであり、時系列区間表示部６７０において予め選択された区間のみからなる画像を新たに作成させるためのものである。

次に本発明の実施の形態における画像処理装置の動作について図面を参照して説明する。

図１２は、本発明の実施の形態における画像処理装置による全体の処理手順を示す図である。まず、時系列区間の表示を要求する操作入力が入力受付部３４０によって受け付けられると（ステップＳ９０１）、顔情報生成部３０１から時系列区間生成部３２０に顔情報が入力される（ステップＳ９０２）。

時系列区間生成部３２０は、図３のような時間軸方向に画像の区間を示す時系列区間バー５４１や、図１１のような文字による情報６７２により時系列区間を描画する（ステップＳ９０３）。また、時系列区間生成部３２０は、その時系列区間とともに、代表画像５３１や６７１を描画する（ステップＳ９０４）。このようにして描画された結果は、表示部３０５に表示される。これにより、ユーザはその時系列区間の表示に対して操作入力を行うことができるようになる（ステップＳ９１０）。

図１３は、本発明の実施の形態における画像処理装置による時系列区間の操作の処理手順を示す図である。なお、以下では主に図５の表示例を想定して説明するが、図１１の変形例においてもこれに準じた手順により同様の処理を行うことができる。

入力受付部３４０は時系列区間に関する操作入力を待ち、ドラッグ操作が開始した場合には（ステップＳ９１２）ドラッグ処理（ステップＳ９２０）を、ポイント操作が行われた場合には（ステップＳ９１３）ポイント処理（ステップＳ９３０）を、時系列区間の範囲変更操作（図７参照）が行われた場合には（ステップＳ９１４）その範囲の変更処理（ステップＳ９３０）をそれぞれ行う。これらの処理は、ユーザからの終了要求が入力受付部３４０に受け付けられるまで繰り返される（ステップＳ９１９）。

図１４は、本発明の実施の形態における画像処理装置によるドラッグ処理（ステップＳ９２０）の処理手順を示す図である。このドラッグ処理は、代表画像５３１または５３２がマウス等によってドラッグされることにより開始する。

入力受付部３４０においてドラッグ操作が受け付けられている間は、画像制御部３３０がそのドラッグ位置を取得して（ステップＳ９２１）、そのドラッグイメージを描画する（ステップＳ９２２）。その描画内容は表示部３０５に表示される。この処理はドラッグ操作が終了するまで繰り返される（ステップＳ９２３）。

ドラッグ操作の終了した位置が編集入力領域５５０であれば（ステップＳ９２４）、画像制御部３３０は編集入力領域５５０にそのドラッグされた代表画像を描画する（ステップＳ９２５）。その描画内容は表示部３０５に表示される。これにより、対応する時系列区間が編集対象として登録されたことになる。

図１５は、本発明の実施の形態における画像処理装置によるポイント処理（ステップＳ９３０）の処理手順を示す図である。このポイント処理は、例えばマウスであればクリック動作が行われることにより開始する。

入力受付部３４０においてポイント操作が受け付けられると、画像制御部３３０がそのポイント位置を取得する（ステップＳ９３１）。その位置が例えば図３における代表画像５３１や時系列区間バー５４１であれば（ステップＳ９３２）、顔情報生成部３０１から供給された顔情報に基づいて、画像制御部３３０はその時系列区間の開始時刻および終了時刻を取得する（ステップＳ９３３）。そして、画像制御部３３０は、取得した開始時刻および終了時刻に対応する画像ファイル２００の区間を再生する（ステップＳ９３３）。この再生内容は表示部３０５に表示される。

このように、本発明の実施の形態によれば、顔情報生成部３０１から供給された顔情報に基づいて時系列区間生成部３２０が時系列区間を描画して表示部３０５に表示させることによって、時系列に並ぶ画像の全体を一望できるように、検出された人物の顔の一覧を表示することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

すなわち、請求項１または６において、入力受付手段は例えば入力受付部３４０に対応する。また、時系列区間生成手段は例えば時系列区間生成部３２０に対応する。また、画像制御手段は例えば画像制御部３３０に対応する。

また、請求項８または９において、入力画像について所定の人物の顔を含む画像の出現する時系列区間を特定する情報および時系列区間の代表画像を特定する情報を受け付ける手順は例えばステップＳ９０２に対応する。また、時系列区間を特定する情報に基づいて入力画像の時間軸における該当位置に時系列区間を描画する手順は例えばステップＳ９０３に対応する。また、代表画像を特定する情報に基づいて代表画像を取得して時系列区間とともに描画する手順は例えばステップＳ９０４に対応する。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施の形態における画像処理装置３００の一構成例を示す図である。 本発明の実施の形態における顔情報テーブル４００の一構成例を示す図である。 本発明の実施の形態における画像処理装置による表示例を示す図である。 本発明の実施の形態における画像処理装置による他の表示例を示す図である。 本発明の実施の形態における画像処理装置による編集処理の表示例を示す図である。 本発明の実施の形態における画像処理装置による編集処理の一例を示す図である。 本発明の実施の形態における画像処理装置による時系列区間の調整処理の一例を示す図である。 本発明の実施の形態における画像処理装置による静止画像の表示例を示す図である。 本発明の実施の形態における画像処理装置の一例としての撮像装置１００ａおよび１００ｂの外観図である。 本発明の実施の形態における画像処理装置の一例としての撮像装置１００の構成を示す図である。 本発明の実施の形態における画像処理装置による表示の変形例を示す図である。 本発明の実施の形態における画像処理装置による全体の処理手順を示す図である。 本発明の実施の形態における画像処理装置による時系列区間の操作の処理手順を示す図である。 本発明の実施の形態における画像処理装置によるドラッグ処理の処理手順を示す図である。 本発明の実施の形態における画像処理装置によるポイント処理の処理手順を示す図である。

符号の説明

１００ 撮像装置
２００ 画像ファイル
３００ 画像処理装置
３０１ 顔情報生成部
３０５ 表示部
３０９ 画像記憶部
３２０ 時系列区間生成部
３３０ 画像制御部
３４０ 入力受付部
４００ 顔情報テーブル
５１１ 時刻ラベル
５１２ 再生位置
５１３ 入力画像の全体の長さを示すバー
５２０ 顔ラベル
５３１〜５３３ 代表画像
５４１〜５４５ 時系列区間バー
５５０ 編集入力領域
５５９ ムービー作成ボタン
５６１ 変更ポインタ
５６４、５６５ 新たに生成される画像
６１０ 再生表示部
６２０ 再生位置バー
６３１ 再生ボタン
６３２ 停止ボタン
６３３ 再生時刻表示
６４０ 顔抽出開始ボタン
６５０ タイムライン表示ボタン
６６０ ムービー作成ボタン
６７０ 時系列区間表示部

Claims (9)

1. 入力画像に関する操作入力を受け付ける入力受付手段と、
   前記入力画像について所定の人物の顔を含む画像の出現する時系列区間を特定する情報および前記時系列区間の代表画像を特定する情報を受け付けてこれらの情報に基づいて前記時系列区間の表示を前記代表画像とともに描画する時系列区間生成手段と、
   前記操作入力に従って前記時系列区間生成手段に前記時系列区間の表示を描画させる画像制御手段と
   を具備することを特徴とする画像処理装置。
2. 前記時系列区間生成手段は、前記人物の顔を識別する情報をさらに受け付けて当該情報を前記時系列区間の表示とともに描画することを特徴とする請求項１記載の画像処理装置。
3. 前記時系列区間生成手段は、前記入力画像に複数の人物の顔が含まれている場合には前記複数の人物の顔のそれぞれについて前記時系列区間の表示を描画することを特徴とする請求項１記載の画像処理装置。
4. 前記画像制御手段は、前記操作入力において前記時系列区間の再生処理が選択された場合にはその選択された時系列区間に対応する前記入力画像の再生を行うことを特徴とする請求項１記載の画像処理装置。
5. 前記画像制御手段は、前記操作入力において前記時系列区間の新規作成処理が選択された場合にはその選択された時系列区間に対応する前記入力画像から新たな画像を生成することを特徴とする請求項１記載の画像処理装置。
6. 入力画像に関する操作入力を受け付ける入力受付手段と、
   前記入力画像について所定の人物の顔を含む画像の出現する時系列区間を特定する情報および前記時系列区間の代表画像を特定する情報を受け付けてこれらの情報に基づいて時間軸方向に前記時系列区間の表示を前記代表画像とともに描画する時系列区間生成手段と、
   前記操作入力に従って前記時系列区間生成手段に前記時系列区間の表示を描画させる画像制御手段と
   を具備することを特徴とする画像処理装置。
7. 前記時系列区間生成手段は、前記入力画像に複数の人物の顔が含まれている場合には前記時間軸方向とは垂直の方向に前記複数の人物が配置されるように前記時系列区間のそれぞれの表示を描画することを特徴とする請求項６記載の画像処理装置。
8. 入力画像について所定の人物の顔を含む画像の出現する時系列区間を特定する情報および前記時系列区間の代表画像を特定する情報を受け付ける手順と、
   前記時系列区間を特定する情報に基づいて前記入力画像の時間軸における該当位置に前記時系列区間を描画する手順と、
   前記代表画像を特定する情報に基づいて前記代表画像を取得して前記時系列区間とともに描画する手順と
   を具備することを特徴とする画像表示方法。
9. 入力画像について所定の人物の顔を含む画像の出現する時系列区間を特定する情報および前記時系列区間の代表画像を特定する情報を受け付ける手順と、
   前記時系列区間を特定する情報に基づいて前記入力画像の時間軸における該当位置に前記時系列区間を描画する手順と、
   前記代表画像を特定する情報に基づいて前記代表画像を取得して前記時系列区間とともに描画する手順と
   をコンピュータに実行させることを特徴とするプログラム。
   

Images