JP2008250854A - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】適切な代表画像データを選択できるようにする。
【解決手段】例えば図４の例では、クラスタｃに属する５つの画像データpic(c,1)乃至pic(c,5)は、撮影時刻t(pic(c、j))（jは1乃至5）の順番で配置される。この場合、隣接する２つの画像データpic(c,j)，pic(c,j+1)の組のうちの、撮影間隔td(c,j)が最短の組が代表組として選択され、その代表組のうちの１つの画像データが代表画像データとして選択される。即ち、図４の例では、撮影間隔td(c,2)が20［秒］と最短であるので、２つの画像データpic(c,2)，pic(c,3)の組が代表組として選択される。従って、２つの画像データpic(c,2)，pic(c,3)のうちの何れか一方が代表画像データとして選択される。本発明は、代表写真の選択技術の分野に適用可能である。
【選択図】図４

Description

本発明は、情報処理装置および方法並びにプログラムに関し、特に、ユーザの負担を可能な限り低減させつつ、ユーザにとって適切な代表画像データを選択できる情報処理装置および方法並びにプログラムに関する。

写真をデジタル画像データとしてメモリカード等の記録媒体に記録する電子スチルカメラ等の画像撮影装置があり、撮影した画像データを簡便に再生表示し、不要な画像データを削除することができる。そのため、ユーザはいきおい非常に多くの写真を撮影することになり、画像データの整理や管理が複雑になる傾向にある。

そこで、画像データの検索を容易にするため、画像データに撮影の日時や撮影条件等のタグ情報をデジタルデータ（以下、メタデータとも称する）として付加することができる電子スチルカメラが提案されている。

しかしながら、画像データに撮影の日時や撮影条件等のタグ情報が付加される場合でも、ユーザは、撮影日時等の情報を頼りに大量の画像データを検索もしくはソーティングして、目的の画像データを探す必要があり、画像データの整理や管理には手間がかかり、ユーザに負担がかかっていた。

そこで、本発明人は、このような大量の画像データを階層的にクラスタリングする手法を発明し、特許文献１として開示している。かかる手法を採用することで、画像データの整理や管理に費やすユーザの負担が軽減されるようになった。
特開２００６−３４４００５号公報

しかしながら、かかる手法は、あくまでもクラスタリング手法に留まっている。従って、例えば、このような大量の画像データの中から最終的に数枚の代表画像データを選択することを目的とする場合、ユーザは、各グループ（クラスタ）から幾つかのグループを選択し、その幾つかのグループに属している複数の画像データの中からユーザ自身の判断に基づいて代表画像データを選択しなければならない、という作業が依然として必要になる。

本発明は、このような状況に鑑みてなされたものであり、ユーザの負担を可能な限り低減させつつ、ユーザにとって適切な代表画像データを選択できるようにするものである。

本発明の一側面の情報処理装置は、撮影時間に関する情報を含むメタデータが対応付けられている複数の画像データの中から代表画像データを選択する情報処理装置であって、前記メタデータに基づいて前記複数の画像データが撮影順番で一列に配置された場合において、隣接する２つの画像データの組の中から撮影間隔が最短の組を代表組として選択し、所定規則に基づいてその代表組の中から１つの画像データを前記代表画像データとして選択する選択手段を備える。

前記複数の画像データを、前記メタデータに基づいてクラスタリングするクラスタリング手段をさらに備え、前記選択手段は、さらに、前記クラスタリング手段によりクラスタリングされた結果得られる複数のクラスタの中から所定クラスタを選択し、前記メタデータに基づいて前記所定クラスタに属する前記複数の画像データが撮影順番で一列に配置された場合において、前記代表組を選択し、前記代表組の中から前記代表画像データを選択する。

前記所定規則は、前記代表組に属する前記２つの画像データのうちの撮影時刻が古い方を前記代表画像データとして選択する、という規則である。

前記所定規則は、前記代表組に属する前記２つの画像データのうちの撮影時刻が新しい方を前記代表画像データとして選択する、という規則である。

前記所定規則は、前記代表組に属する前記２つの画像データのうちの、隣接する組の撮影間隔が短い方を前記代表画像データとして選択する、という規則である。

前記画像データは動画像データであり、前記所定規則は、前記代表組に属する前記２つの動画像データのうちの、撮影時間が長い方を前記代表画像データとして選択する、という規則である。

本発明の一側面の情報処理方法およびプログラムは、上述した本発明の一側面の情報処理装置に対応する情報処理およびプログラムである。

本発明の一側面の情報処理装置および方法並びにプログラムにおいては、撮影時間に関する情報を含むメタデータが対応付けられている複数の画像データの中から代表画像データが次のようにして選択される。即ち、前記メタデータに基づいて前記複数の画像データが撮影順番で一列に配置された場合において、隣接する２つの画像データの組の中から撮影間隔が最短の組が代表組として選択され、所定規則に基づいてその代表組の中から１つの画像データが前記代表画像データとして選択される。

以上のごとく、本発明の一側面によれば、代表画像データの選択技術を提供できる。特に、ユーザの負担を可能な限り低減させつつ、ユーザにとって適切な代表画像データを選択できる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

本発明の一側面の情報処理装置（例えば図１の画像処理装置１１）は、
撮影時間に関する情報を含むメタデータが対応付けられている複数の画像データ（例えば図１の画像データ記録部２２に記録されている複数の画像データ）の中から代表画像データを選択する情報処理装置であって、
前記メタデータに基づいて前記複数の画像データが撮影順番で一列に配置された場合において、隣接する２つの画像データの組の中から撮影間隔が最短の組を代表組として選択し、所定規則に基づいてその代表組の中から１つの画像データを前記代表画像データとして選択する選択手段（例えば図１の代表画像選択部２５）
を備える。

前記複数の画像データを、前記メタデータに基づいてクラスタリングするクラスタリング手段（例えば図１のクラスタリング部２３）をさらに備え、
前記選択手段は、
さらに、前記クラスタリング手段によりクラスタリングされた結果得られる複数のクラスタの中から所定クラスタ（例えば図２のステップＳ３）を選択し、
前記メタデータに基づいて前記所定クラスタに属する前記複数の画像データが撮影順番で一列に配置された場合において、前記代表組を選択し、前記代表組の中から前記代表画像データを選択する（例えば図２のステップＳ４）。

本発明の一側面の情報処理方法（例えば図２の画像処理に対応する方法）は、
撮影時間に関する情報を含むメタデータが対応付けられている複数の画像データの中から代表画像データを選択する情報処理装置（例えば図１の画像処理装置１１）の情報処理方法であって、
前記メタデータに基づいて前記複数の画像データが撮影順番で一列に配置された場合において、隣接する２つの画像データの組の中から撮影間隔が最短の組を代表組として選択し（例えば図２のステップＳ４のクラスタ内代表画像選択処理のうちの、図３のステップＳ２１乃至Ｓ２５）
所定規則に基づいてその代表組の中から１つの画像データを前記代表画像データとして選択する（例えば図２のステップＳ４のクラスタ内代表画像選択処理のうちの、図３のステップＳ２６）
ステップを含む。

本発明の一側面のプログラムは、上述した本発明の一側面の情報処理方法に対応するプログラムであって、例えば図６のコンピュータにより実行される。

図１は、本発明が適用される情報処理装置の一実施の形態としての画像処理装置１１の機能的構成例を示す機能ブロック図である。

ただし、図１の機能ブロック図とは、画像処理装置１１が本来有する可能性がある様々な機能のうちの、本発明が適用される機能、即ち、後述する図２や図３の画像処理実行機能を実現可能とするための機能ブロック図である。即ち、かかる画像処理実行機能を幾つかの所定機能に区分し、区分された各所定機能をそれぞれ有する機能ブロックのみが図１には図示されている。換言すると、画像処理装置１１が有し得るその他の機能については、その図示は省略されている。

また、図１における各機能ブロックは、ハードウエア単体で構成してもよいし、ソフトウエア単体で構成してもよいし、或いはそれらの組合せで構成してもよい。また、複数の機能ブロックを１つの大機能ブロックにまとめても構わないし、或いは、１つの機能ブロックをさらに細かい単位の小機能ブロックに分割してもよい。換言すると、図１の画像処理装置１１は、各機能ブロックが有する各機能を有していれば、その実施の形態は特に限定されず、様々な形態を取ることが可能である。

図１の例では、画像処理装置１１は、撮影部２１乃至操作部２８を含むように構成されている。

撮影部２１は、例えばユーザの操作部２８による撮影指示操作に従って撮影を行い、その撮影の結果得られる画像データを画像データ記録部２２に記録させる。また、撮影部２１は、画像データのメタデータを取得または生成し、画像データ記録部２２に記録させる。

ここで、メタデータは、画像データの撮影時間に関する情報を含むものであれば足り、その形態は特に限定されない。画像データの撮影時間に関する情報としては、例えば画像データが静止画像データ（写真データ）であった場合には撮影時刻（例えば、年、月、日、時、分、秒を含む）等を特定可能な情報を含み、例えば画像データが動画像データであった場合には撮影開始時刻（例えば、年、月、日、時、分、秒を含む）や撮影終了時刻（例えば、年、月、日、時、分、秒を含む）等を特定可能な情報を含む。

なお、図１において、撮影部２１は、画像処理装置１１の範囲を示す実線上に描画されている。このことは、撮影部２１は、画像処理装置１１にとって必須な構成ではないことを意味している。画像処理装置１１は、撮影部２１により撮影された結果得られる画像データのみならず、外部撮影装置１２により撮影された結果得られる画像データも取得可能であるからである。換言すると、画像処理装置１１は、画像データ記録部２２に記録可能な画像データを取得または生成する機能を有していれば足りる。

また、外部撮影装置１２とは、上述した画像データとそのメタデータとを外部出力（送信）できる機能を有する装置であれば足り、例えばデジタルカメラ等として構成することができる。

さらにまた、画像処理装置１１が、外部撮影装置１２や撮影部２１から画像データ等を取得する取得手法も特に限定されない。例えば、画像処理装置１１と、外部撮影装置１２や撮影部２１との間の直接的な通信による手法を採用しても構わないし、インターネット等のネットワークを介在する通信による手法を採用しても構わない。また、通信形態も、有線であっても構わないし、無線であっても構わないし、或いはそれらの組合せでも構わない。

画像データ記録部２２は、例えば、ハードディスクや半導体メモリなどで構成され、撮影部２１または外部撮影装置１２から提供される画像データとメタデータとを記録する。

クラスタリング部２３は、画像データ記録部２２に記録された複数の画像データを、同じく画像データ記録部２２に記録されたメタデータに基づいてクラスタリングし、そのクラスタリングの結果をクラスタリング結果記録部２４に記録させる。

なお、クラスタリング部２３のクラスタリング手法自体は、特に限定されず、任意の手法を採用することができる。例えば階層化クラスタリングの手法を採用できる。具体的には例えば、［背景技術］の欄で述べたクラスタリング手法、即ち、本発明人により発明されて特開２００６−３４４００５号公報として開示されたクラスタリング手法を採用することができる。かかる手法が採用された場合には、クラスタリング部２３は、木構造のクラスタツリーを構成するノードに割り当てて階層化することにより、画像データを、クラスタツリーのノードに対応するクラスタにクラスタリングする。そして、クラスタリング部２３は、画像データのクラスタリングの結果、即ち、クラスタツリーの情報を、クラスタリング結果記録部２４に提供する。

このようにして、クラスタリング結果記録部２４には、クラスタリング部２３によるクラスタリングの結果が記録される。

代表画像選択部２５は、クラスタリング結果記録部２４の記録内容、即ち、画像データ記録部２２に記録されている画像データのクラスタリングの結果に基づいて、各クラスタから代表画像データをそれぞれ選択して、その選択結果を表示制御部２６に通知する。

例えば、代表画像選択部２５は、所定のクラスタに属する複数の画像データの中から、撮影間隔が最短の２つの画像データの組を代表組として選択し、その代表組の中から所定規則に基づいて１つの画像データを代表画像データとして選択する。なお、かかる代表画像データの選択手法の詳細例については、図３乃至図５を参照して後述する。

なお、代表画像選択部２５が代表画像データを選択する際、クラスタリング結果記録部２４のクラスタリング結果を利用することは必須なことではない。即ち、代表画像選択部２５は、例えば必要に応じて、画像データ記録部２２に記録されている全ての画像データの中から、撮影間隔が最短の２つの画像データの組を代表組として選択し、その代表組の中から所定規則に基づいて１つの画像データを代表画像データとして選択してもよい。

表示制御部２６は、代表画像選択部２５により選択された代表画像データを画像データ記録部２２から読み出して、その画像データに対応する画像（写真や映像等）を表示部２７に表示させる。即ち、表示部２７は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などで構成され、表示制御部２６の制御に従って各種画像を表示する。

操作部２８は、ユーザによって操作され、その操作に対応する操作信号を、必要な機能ブロックに提供する。

このように、画像処理装置１１は、自律的な判断に基づいて、複数の画像データをクラスタリングして、各クラスタからユーザにとって適切な代表画像データを選択することができる。このことは、ユーザの操作の観点からすると、その操作の負担を可能な限り低減させつつ、ユーザにとって適切な代表画像データを選択できるようになったことを意味する。

ここで、かかる特徴的構成を有する画像処理装置１１の用途として好適な一例について説明する。

我々のまわりで起こっている出来事は、イベントとして捉えることができる。換言すると、様々なイベントが積み重なって実世界が形成されているともいえる。より単純化して例えば大、中、小の３つの階層のイベントに分類できると仮定した場合には、沢山の小イベントが集まって中イベントが形成され、さらに、これらの中イベントの幾つかが集まって大イベントが形成されていると捉えることができる。

具体的には例えば、画像処理装置１１のユーザが「友人の結婚式の当日」に写真を撮ることを考える。この場合、「友人の結婚式の当日」という出来事が大イベントに相当する。この「友人の結婚式の当日」という大イベントは、例えば、「結婚式」、「披露宴」、「二次会」と３つの中イベントから形成され、さらに、中イベントのうちの例えば「結婚式」は、「花嫁入場」、「指輪の交換」、・・・といったより細かな単位の小イベントから形成されている、と捉えることができる。

ここで、例えばユーザが、手作業だけで、「友人の結婚式の当日」の紙媒体の写真（プリントアウトされた写真）を紙媒体のアルバムに貼ること考える。この場合、写真は、撮影時刻が重要な意味を持つことから、ユーザは、初めの作業として、全ての写真を撮影時刻順に整理することが多い。次の作業として、ユーザは、撮影時刻順に整理された全ての写真を分類対象として、各イベント（中イベントや小イベント）を１つのグループとして、同一イベントに属する写真を同一グループに分類していくことが多い。そして、最後の作業として、ユーザは、各グループに分類された写真の中から代表写真をそれぞれ選択して、アルバムに貼っていくことが多い。

このような一連の手作業は、「友人の結婚式の当日」に撮影された写真の総数が、フィルム１本分程度、即ち２０乃至４０枚程度であれば特に問題は生じない。しかしながら、例えばアルバムは友人にプレゼントするものであり、その結婚式の複数の列席者によりそれぞれ撮影された全ての写真の中から、「友人の結婚式の当日」という大イベントのストーリー性を保ちつつ、複数の中イベントやさらに多数の小イベントの中から適切な代表写真をそれぞれ選択して、アルバムに貼っていく、という一連の作業を考えた場合、かかる作業を手作業だけで行うことは非常に困難である。

そこで、このような場合に、ユーザは、画像処理装置１１を使用することで、「友人の結婚式の当日」という大イベントのストーリー性を保ちつつ、複数の中イベントやさらに多数の小イベントの中から適切な代表写真をそれぞれ選択するという一連の作業を、ユーザの手作業（操作部２８の操作）に伴う負担を最小限度に抑えつつ、スピーディに実現できるようになる。

即ち、ユーザは、先ず、大イベントである「友人の結婚式の当日」において、撮影部２１により撮影された写真（ユーザにより撮影された写真）や、外部撮影装置１２により撮影された写真（他の参加者により撮影された写真）の全てを画像データとして画像データ記録部２２に記録させる。

ここで、クラスタリング部２３が、例えば上述した特開２００６−３４４００５号公報に開示されたクラスタリング手法に従って、クラスタリング処理を行ったとする。この場合、クラスタリング結果記録部２４には、中イベントや小イベントに対応する階層を有するクラスタリング結果が記録されていることが期待される。

そして、ユーザは、例えば操作部２８を用いて、代表画像選択部２５に代表画像データを選択させるクラスタの階層を指定することができるとする。この場合、例えば、ユーザは、所定の中イベントである「結婚式」に属する小イベントに対応する階層を指定することができることになる。かかる指定が行われると、代表画像選択部２５は、「花嫁入場」、「指輪の交換」、・・・といった各小イベントのそれぞれから、より適切なシーンが撮影されている画像データを代表画像データとしてそれぞれ選択することができる。

ここに、「より適切なシーン」とは、その小イベントを特徴付けるようなシーンを意味し、例えば「花嫁入場」であれば、花嫁がまさに入場してきつつあるシーンを指し、例えば「指輪の交換」であれば、新郎と新婦（花嫁）が指輪をまさに交換しつつあるシーンを指す。このような「より適切なシーン」においては、一般的に、ユーザも含めた数多くの列席者が撮影していることが多い。さらに、同一人の撮影回数の観点からみても、「より適切なシーン」の前後には何回も何回も連続撮影していることが多い。従って、小イベントに属する複数の画像データの時間分布状態としては、「より適切なシーン」の時刻の近傍に数多くの画像データが集中することになる。このことは、撮影間隔の観点からすると、「より適切なシーン」に撮影間隔が最短となることが非常に多いことを意味する。

一方、代表画像選択部２５は、上述したように、撮影間隔が最短の２つの画像データの組を代表組として検索し、その代表組の中から所定規則に基づいて１つの画像データを代表画像データとして選択することができる。従って、このようにして選択された代表画像データは、「より適切なシーン」が撮影されている画像データとなっているのである。

なお、この場合、画像処理装置１１により代表画像データとして選択されたものだけ、即ち、「より適切なシーン」が撮影されている画像データだけを、アルバムに貼る代表写真としてプリントアウトすればよいという効果、換言すると、不要な画像データをプリントアウトする必要はないという効果も奏することができる。

図２は、かかる用途等を実現するための画像処理装置１１の画像処理うちの、主にクラスタリング部２３と代表画像選択部２５が実行する画像処理の一例を説明するフローチャートである。

ステップＳ１において、クラスタリング部２３は、画像データ記録部２２に記録されている画像データのクラスタリングを行う。このクラスタリングの結果がクラスタリング結果記録部２４に記録されると、処理はステップＳ２に進む。

ステップＳ２において、代表画像選択部２５は、クラスタ毎に、撮影時刻順に画像データをソートする。

ステップＳ３において、代表画像選択部２５は、所定クラスタを、処理の対象として注目すべきクラスタｃ（以下、注目クラスタｃと称する）に設定する。

なお、ステップＳ３の処理としては、代表画像選択部２５が自律的な判断で注目クラスタｃを設定する処理を採用してもよいし、ユーザの操作部２８の操作により指定された所定クラスタを注目クラスタｃに設定する処理を採用してもよい。また、階層化のクラスタリングが行われている場合、注目クラスタｃの階層の設定についても、同様に、代表画像選択部２５の自律的な判断による設定が行われてもよいし、ユーザの操作部２８の指示操作による設定が行われてもよい。

ステップＳ４において、代表画像選択部２５は、上述したように、注目クラスタｃの中から、撮影間隔が最短の２つの画像データの組を代表組として検索し、その代表組の中から所定規則に基づいて１つの画像データを代表画像データとして選択する。以下、かかるステップＳ４の処理を、クラスタ内代表画像選択処理と称する。なお、クラスタ内代表画像選択処理の詳細例については、図３のフローチャートを参照して後述する。

ステップＳ４のクラスタ内代表画像選択処理によって、注目クラスタｃの代表画像データが選択されると、処理はステップＳ５に進む。ステップＳ５において、代表画像選択部２５は、別のクラスタについても代表画像データを選択するか否かを判定する。

ステップＳ５において、別のクラスタについても代表画像データを選択すると判定された場合、処理はステップＳ３に戻され、それ以降の処理が繰り返される。即ち、別のクラスタが新たな注目クラスタｃに設定されて、ステップＳ４のクラスタ内代表画像選択処理が実行され、その結果、別のクラスタについての代表画像データが選択される。

これに対して、ステップＳ５において、別のクラスタについても代表画像データを選択しないと判定された場合、画像処理は終了となる。

なお、ステップＳ５の処理における判定手法自体は、特に限定されない。例えば、階層化のクラスタリングが行われる場合には、ユーザは、操作部２８を操作して、代表画像データを選択する階層のみを指定し、指定された階層に属する全クラスタから代表画像データを選択させることもできる。この場合、指定された階層に属する全クラスタから代表画像データが選択された段階でステップＳ５の処理でＮＯであると判定する、といった判定手法を採用することができる。

また例えば、ユーザは、操作部２８を操作することで、代表画像データの選択を所望するクラスタを１つずつ指定することもできる。この場合、ユーザから指定の終了の指示がなされた段階でステップＳ５の処理でＮＯであると判定する、といった判定手法を採用することができる。

図３は、図２のステップＳ４のクラスタ内代表画像選択処理の詳細例を説明するフローチャートである。

なお、クラスタ内代表画像選択処理の理解を容易なものとすべく、適宜図４を参照して説明する。

また、図３においては、注目クラスタｃに属する画像データの個数は、n(c)と表現されている。即ち、図４の例では、n(c)＝５である。

そして、図３において、n(c)個の各画像データは、pic(c,j) (j=1・・・n(c))と表現されている。また、pic(c,j)のメタデータには撮影時刻として、t(pic(c,j))が含まれているとする。なお、t(pic(c,j))の具体例については、図４を参照するとよい。ただし、図４の例では、t(pic(c,j))は、年、月、日は省略され、「時：分：秒」の形態として表現されている。

この場合、上述した図２のステップＳ２の処理が実行された結果、注目クラスタｃ内のpic(c,j)は撮影時刻順にソートされているので、次の式（１）が満たされていることになる。ただし、式（１）において、j=1・・・n(c)である。

t(pic(c,j+1)) >= t(pic(c,j)) ・・・（１）

ここで、「>=」は「以上」を示す不等号記号を意味している。即ち、式（１）とは、t(pic(c,j+1)) はt(pic(c,j))以上であること、換言すると、現在から見て、t(pic(c,j+1)) はt(pic(c,j))よりも新しい時刻であることを意味している。

この場合、図３においては、pic(c,j+1)とpic(c,j)の撮影間隔は、td(c,j)として記述されている。なお、td(c,j)は、次の式（２）を満たす。ただし、式（２）において、j=1・・・n(c)-1である。

td(c,j) = t(pic(c,j+1))- t(pic(c,j)) ・・・（２）

また、図３においては、td(c,j)のうちの最短撮影間隔は、mintdと記述されている。そして、mintdとなっているtd(c,j)におけるjは、minjと記述される。即ち、最短撮影間隔（mintd）の間に撮影された２つの画像データの組（pic(c,j)，pic(c,j+1)の組）のうちの、撮影時刻が古い方の番号jが、minjと記述されることになる。

以上の前提の下、以下、図３のクラスタ内代表画像選択処理例について説明していく。

ステップＳ２１において、代表画像選択部２５は、jに1を代入し、minjに1を代入し、mintdにtd(c,1)を代入する。

即ち、注目クラスタｃのうちの、撮影時刻が最も古いpic(c,1)に関する各値が初期設定値として代入される。例えば図４の例では、mintdの初期設定値としては、td(c,1)=100［秒］が代入される。

ステップＳ２２において、代表画像選択部２５は、j < n(c)であるか否かを判定する。

例えば図４の例では、j=1であり、n(c)=5であるので、ステップＳ２２においてＹＥＳであると判定されて、処理はステップＳ２３に進む。

ステップＳ２３において、代表画像選択部２５は、mintd > td(c,j)であるか否かを判定する。

例えば図４の例では、mintd=td(c,1)=100［秒］であるので、ステップＳ２３においてＮＯであると判定されて、ステップＳ２４の処理は実行されずに、処理はステップＳ２５に進む。なお、ステップＳ２４の処理については後述する。

ステップＳ２５において、代表画像選択部２５は、jにj+1を代入する。即ち、jが１だけインクリメントされる。その後、処理はステップＳ２２に戻され、それ以降の処理が繰り返される。

例えば図４の例では、ステップＳ２５の処理でj=2とされて、処理はステップＳ２２に戻された後、次のような処理が実行される。

即ち、この場合、j=2であり、n(c)=5であるので、ステップＳ２２においてＹＥＳであると判定されて、処理はステップＳ２３に進む。

例えば図４の例では、mintd=td(c,1)=100［秒］であり、td(c,2)=20［秒］であるので、ステップＳ２３においてＹＥＳであると判定されて、処理はステップＳ２４に進む。

ステップＳ２４において、代表画像選択部２５は、mintdにtd(c,j)を代入して、minjにjを代入する。即ち、mintdが更新されることになる。例えば図４の例では、mintdとして、td(c,2)=20［秒］が代入され、minjとして、j=2が代入される。

さらに、例えば図４の例では、ステップＳ２５の処理でj=3とされて、処理はステップＳ２２に戻された後、次のような処理が実行される。即ち、この場合、j=3であり、n(c)=5であるので、ステップＳ２２においてＹＥＳであると判定されて、処理はステップＳ２３に進む。例えば図４の例では、mintd=td(c,2)=20［秒］であり、td(c,3)=60［秒］であるので、ステップＳ２３においてＮＯであると判定されて、mintdは更新されずに（ステップＳ２４の処理は実行されずに）、処理はステップＳ２５に進む。

さらに、例えば図４の例では、ステップＳ２５の処理でj=4とされて、処理はステップＳ２２に戻された後、次のような処理が実行される。即ち、この場合、j=4であり、n(c)=5であるので、ステップＳ２２においてＹＥＳであると判定されて、処理はステップＳ２３に進む。例えば図４の例では、mintd=td(c,2)=20［秒］であり、td(c,4)=70［秒］であるので、ステップＳ２３においてＮＯであると判定されて、mintdは更新されずに（ステップＳ２４の処理は実行されずに）、処理はステップＳ２５に進む。

さらに、例えば図４の例では、ステップＳ２５の処理でj=5とされて、処理はステップＳ２２に戻された後、次のような処理が実行される。即ち、この場合、j=5であり、n(c)=5であるので、ステップＳ２２においてＮＯであると判定されて、処理はステップＳ２６に進む。

ステップＳ２６において、代表画像選択部２５は、所定規則に基づいて、pic(c,minj) とpic(c,minj+1)とのうちの何れか一方を代表画像データとして選択する。

即ち、上述したステップＳ２２乃至Ｓ２５のループ処理により、注目クラスタｃについての最小撮影間隔（mintd）が決定される。即ち、最小撮影間隔（mintd）の間に撮影された２つの画像データの組（pic(c,minj)，pic(c,minj+1)の組）が代表組として決定される。そこで、ステップＳ２６の処理で、この代表組に属するpic(c,minj)，pic(c,minj+1)のうちの何れか一方（何れかについては所定規則に依存する）が、代表画像データとして選択されるのである。

例えば図４の例では、mintd=td(c,2)=20［秒］であり、minj=2である。従って、図４中左から２番目のpic(c,2)と３番目のpic(c,3)とのうちの何れか一方が、代表画像データとして選択されるのである。

なお、代表組（pic(c,minj)，pic(c,minj+1)の組）から代表画像データを選択する所定規則については、特に限定されない。

例えば、単純に、撮影時刻が古いpic(c,minj)の方を代表画像データとして選択する、といった規則を採用することができる。かかる規則が採用された場合、図４の例では、２番目のpic(c,2)が代表画像データとして選択されることになる。

また例えば、逆に、撮影時刻が新しいpic(c,minj+1)の方を代表画像データとして選択する、といった規則を採用することができる。かかる規則が採用された場合、図４の例では、３番目のpic(c,3)が代表画像データとして選択されることになる。

さらに例えば、隣の撮影間隔の小さい方を代表画像データとして選択する、といった規則を採用することができる。即ち、td(c,minj-1)<=td(c,minj+1)の場合にはpic(c,minj)の方を代表画像データとして選択する一方、td(c,minj-1) >td(c,minj+1)の場合にはpic(c,minj+1)の方を代表画像データとして選択する、といった規則を採用することができる。かかる規則が採用された場合、図４の例では、td(c,minj-1)= td(c,1)=100［秒]であり、td(c,minj+1) = td(c,3)=60［秒]であることから、td(c,minj-1) >td(c,minj+1)の関係が成立するので、pic(c,minj+1)、即ち、３番目のpic(c,3)が代表画像データとして選択されることになる。

また、pic(c,j)は、図４の例では静止画像データ（写真データ）とされたが、動画像データであっても、代表画像選択部２５は図３のクラスタ内代表画像選択処理を全く同様に実行できる。

ただし、撮影間隔であるtd(c,j)を演算する際には次の点留意する必要がある。

即ち、図４の例のようにpic(c,j)が静止画像データ（写真データ）の場合には、pic(c,j)，pic(c,j+1)の撮影間隔であるtd(c,j)を演算する際において、t(pic(c,j)) ，t(pic(c,j+1))としては、メタデータの撮影時刻そのものを採用すればよかった。

これに対して、動画像とは、ある一定の時間帯に連続撮影された一連の静止画像（フレーム等の意味）の集合体である。従って、静止画像データと同様にしてtd(c,j)を演算できない点留意が必要である。

従って、pic(c,j)が動画像データの場合には、例えば図５に示されるように、pic(c,j)，pic(c,j+1)の撮影間隔であるtd(c,j)を演算する際において、pic(c,j)については、その撮影終了時刻（例えば最終フレームの時刻）をt(pic(c,j))として採用する一方、pic(c,j+1)については、その撮影開始時刻（例えば先頭フレームの時刻）をt(pic(c,j+1))として採用すればよい。即ち、撮影時間帯が古い方の動画像に対応するpic(c,j)の撮影終了時刻と、撮影時間帯が新しい方の動画像に対応するpic(c,j+1)の撮影開始時刻との間の時間を、td(c,j)として採用すればよい。

また、pic(c,j)が動画像データの場合の図３のステップＳ２５の所定規則、即ち、注目クラスタｃについての最短撮影間隔（mintd）の間に撮影された代表組（２つのpic(c,minj)，pic(c,minj+1)の組）から代表画像データを選択する所定規則についても、特に限定されない。

上述した静止画像データの場合と全く同様に、例えば、撮影時刻が古い方（撮影終了時刻が、他方の撮影開始時刻よりも前の方）、または、撮影時刻が新しい方（撮影開始時刻が、他方の撮影終了時刻よりも後の方）を代表画像データとして選択する、といった規則を採用することができる。また例えば、隣の撮影間隔の小さい方を代表画像データとして選択する、といった規則を採用することができる。

さらにまた、動画像という特徴を考慮するに、２つの動画像データが存在した場合に、一般的には、撮影時間（撮影開始時刻から撮影終了時刻までの間の時間）が長い方がユーザにとって重要な動画像データである場合、例えばユーザにとって楽しい映像や貴重な映像が撮影されている場合が多いと解する。従って、撮影時間が長い方を代表画像データとして選択する、といった規則を採用することもできる。

ところで、上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図６は、上述した一連の処理、例えば図２の画像処理の少なくとも一部をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。即ち、図１の画像処理装置１１の全部または一部分、例えば幾つかの機能ブロックを、図６のように構成することもできる。

図６において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２、または記憶部１０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１０３には、CPU１０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１０１、ROM１０２、およびRAM１０３は、バス１０４により相互に接続されている。

CPU１０１にはまた、バス１０４を介して入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続されている。CPU１０１は、入力部１０６から入力される指令に対応して各種の処理を実行する。そして、CPU１０１は、処理の結果を出力部１０７に出力する。

入出力インタフェース１０５に接続されている記憶部１０８は、例えばハードディスクからなり、CPU１０１が実行するプログラムや各種のデータを記憶する。通信部１０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部１０９を介してプログラムを取得し、記憶部１０８に記憶してもよい。

入出力インタフェース１０５に接続されているドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図６に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１、または、プログラムが一時的もしくは永続的に格納されるROM１０２や、記憶部１０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部１０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、図１の画像処理装置１１は、システムであると捉えることもできる。ここに、システムとは、複数の装置、または、回路等の部分により構成される装置、または、回路等の部分、それら全体を表すものである。即ち、図１の画像処理装置１１は、複数台の装置の組合せで構成することもできるし、１台の装置として構成することもできるし、複数台の装置の全部または一部分の組合せで構成することもできるし、或いはまた、１台の装置の一部分として構成することもできる。

さらにまた、本発明は、画像データのみならず、時間情報が関連付けられたコンテンツデータであれば適用可能である。ここに、コンテンツとは、広く、人間の創造的活動により生み出されるものをいう。例えば、映画、音楽、演劇、文芸、写真、漫画、アニメーション、コンピュータゲームその他の文字、図形、色彩、音声、動作若しくは映像若しくはこれらを組み合わせたものまたはこれらに係る情報を電子計算機を介して提供するためのプログラムが、コンテンツの一例である。換言すると、上述した例は、これらのコンテンツデータのうちの好適な一例として、画像データを採用したに過ぎない。

本発明が適用される画像処理装置の機能的構成例を示すブロック図である。 図１の画像処理装置が実行する画像処理例を説明するフローチャートである。 図２の画像処理のうちの、ステップＳ４のクラスタ内代表画像選択処理例を説明するフローチャートである。 図４のクラスタ内代表画像選択処理の具体的結果を示す図である。 動画像データの場合の図４のクラスタ内代表画像選択処理の取扱いを説明する図である。 図１の画像処理装置の少なくとも一部をパーソナルコンピュータで構成した場合の構成例を示すブロック図である。

符号の説明

１１ 画像処理装置， １２ 外部撮影装置， ２１ 撮影部， ２２ 画像データ記録部， ２３ クラスタリング部， ２４ クラスタリング結果記録部， ２５ 代表画像選択部， ２６ 表示制御部， ２７ 表示部， ２８ 操作部， １０１ CPU， １０２ ROM， １０３ RAM， １０８ 記憶部， １１１ リムーバブルメディア

Claims (8)

1. 撮影時間に関する情報を含むメタデータが対応付けられている複数の画像データの中から代表画像データを選択する情報処理装置であって、
   前記メタデータに基づいて前記複数の画像データが撮影順番で一列に配置された場合において、隣接する２つの画像データの組の中から撮影間隔が最短の組を代表組として選択し、所定規則に基づいてその代表組の中から１つの画像データを前記代表画像データとして選択する選択手段
   を備える情報処理装置。
2. 前記複数の画像データを、前記メタデータに基づいてクラスタリングするクラスタリング手段をさらに備え、
   前記選択手段は、
   さらに、前記クラスタリング手段によりクラスタリングされた結果得られる複数のクラスタの中から所定クラスタを選択し、
   前記メタデータに基づいて前記所定クラスタに属する前記複数の画像データが撮影順番で一列に配置された場合において、前記代表組を選択し、前記代表組の中から前記代表画像データを選択する
   請求項１に記載の情報処理装置。
3. 前記所定規則は、前記代表組に属する前記２つの画像データのうちの撮影時刻が古い方を前記代表画像データとして選択する、という規則である
   請求項１に記載の情報処理装置。
4. 前記所定規則は、前記代表組に属する前記２つの画像データのうちの撮影時刻が新しい方を前記代表画像データとして選択する、という規則である
   請求項１に記載の情報処理装置。
5. 前記所定規則は、前記代表組に属する前記２つの画像データのうちの、隣接する組の撮影間隔が短い方を前記代表画像データとして選択する、という規則である
   請求項１に記載の情報処理装置。
6. 前記画像データは動画像データであり、
   前記所定規則は、前記代表組に属する前記２つの動画像データのうちの、撮影時間が長い方を前記代表画像データとして選択する、という規則である
   請求項１に記載の情報処理装置。
7. 撮影時間に関する情報を含むメタデータが対応付けられている複数の画像データの中から代表画像データを選択する情報処理装置の情報処理方法であって、
   前記メタデータに基づいて前記複数の画像データが撮影順番で一列に配置された場合において、隣接する２つの画像データの組の中から撮影間隔が最短の組を代表組として選択し、
   所定規則に基づいてその代表組の中から１つの画像データを前記代表画像データとして選択する
   ステップを含む情報処理方法。
8. 撮影時間に関する情報を含むメタデータが対応付けられている複数の画像データの中から代表画像データを選択する処理を実行するコンピュータに、
   前記メタデータに基づいて前記複数の画像データが撮影順番で一列に配置された場合において、隣接する２つの画像データの組の中から撮影間隔が最短の組を代表組として選択し、
   所定規則に基づいてその代表組の中から１つの画像データを前記代表画像データとして選択する
   ステップを実行させるプログラム。

Images