JP2016119508A - 方法、システム及びプログラム - Google Patents

Abstract

【課題】 複数の撮像装置で撮影された撮影画像の代表画像を提供するシステムを提供することにある。【解決手段】 システムでは、画像分析部が画像格納部に格納された画像の夫々を分析して画像の撮影日時及び画像の撮影場所の類似性並びに前像に含まれる被写体或いは背景の類似性に基づいて前記複数の画像を複数のグループにグループ化する。画像選択部が各グループから少なくとも１枚の代表画像を選択して複数の選択画像を前記格納部から選択すし、この選択画像を代表画像として出力部が出力する。【選択図】図１

Description

本実施形態は、収集された画像コンテンツをグループ化して提供するシステム、方法及びプログラムに関する。

近年、デジタルカメラ、カメラ付き携帯電話等の電子機器の普及に伴い、ユーザが写真を撮影する機会が増加している。また、友人との旅行等の集団活動における出来事をアルバム等に残し、思い出を共有したい、というニーズがある。しかしながら、デジタルカメラ等の普及で、ユーザが撮影する写真画像の枚数は急速に増加し、撮影後、撮影した写真画像を共有することや、印刷する写真画像を選ぶことが困難となりつつある。

このような背景から、蓄積された写真画像等のコンテンツから必要なデータを検索する方法として、さまざまな検索方法が提案されている。

特開２０１１−５５１６９号公報

従来の電子機器は、写真画像等のコンテンツ（素材）を、生成時刻に基づいてグループ化し、各グループの注目度の高い属性を用いて合成動画テンプレートを生成している。しかし、従来の電子機器における画像等の素材のグループ化では、基本的には、異なるユーザが所有する多数の撮像装置で撮影された撮影画像を対象とせず、単一ユーザが所有する撮像装置で時系列的に撮影された撮影画像をグループ化の対象としている。しかも、撮影画像のグループ化は、原則として生成時刻を基準にしている。

しかし、友人との旅行或いは結婚式、又は、展示会或いは美術館等において、異なる撮影者が夫々の撮像装置で、異なる時間に集団活動の出来事或いは事象を撮影する機会があり、これらの撮影画像の素材が収集・蓄積されて撮影の傾向が把握され、参加者に自ら撮影した画像中から代表写真を提供することができるサービスの実現が望まれている。しかも、このようなサービスでは、撮影画像の素材生成時刻のみを基準とすることなく、個々の参加者が選択するに好適な撮影画像にグループ化し、個々の参加者に撮影画像を提供することができる電子機器が望まれている。一例として、旅行会社が企画するツアーで、参加者が撮影した撮影画像を収集・蓄積し、参加者が選択するに好適する撮影画像を提供する電子機器が要望されている。特に、個々の撮影者自身にあっても、本人の撮影した膨大な量の画像から代表的写真を抽出することも困難となり、撮影者自身がアルバムを作成することが困難となりつつある。

実施形態は、複数の撮像装置で撮影された撮影画像の代表画像を提供する方法、システム及びプログラムを提供することにある。

実施形態によれば、第１ユーザによって撮影された複数の第１画像と、第２ユーザによって撮影された複数の第２画像とが入力される入力部と、画像の撮影日時と、画像の撮影場所の類似性と、画像に含まれる被写体或いは背景の類似性との少なくとも１つを用いて、前記複数の第１画像と前記複数の第２画像とを、少なくとも第１グループと第２グループにグループ化し、前記複数の第１画像のうち前記第１グループに属する画像の中から少なくとも１つの画像と、前記複数の第１画像のうち前記第２グループに属する画像の中から少なくとも１つの画像とを選択して、前記第１ユーザへ提示する第１代表画像として出力する処理部と、を具備するシステムが提供される。

第１の実施形態に係る代表画像抽出システムを概略的に示すブロックである。 図１に示される画像分析結果データベースに格納される画像の属性情報をテーブル形式で記述したコンテンツデータテーブルを示している。 図１に示される画像分析結果データベースに格納される画像と被写体と関連性をテーブル形式で記述したオブジェクトデータテーブルを示している。 図１に示される画像分析結果データベースに格納される被写体情報をテーブル形式で記述したオブジェクトグループデータテーブルを示している。 図１に示される代表画像抽出サーバにおける代表画像を抽出する処理を示すフローチャートである。 図１に示す画像分析部における画像分析を説明する為の画像分析空間における画像分布を概念的に示す分布図である。 図５Ａに示す画像分析空間における画像分布をクラスタリングして画像をグループ化する概念を説明する為の分布図である。 第２の実施形態に係る代表画像抽出システムを概略的に示すブロックである。

以下、図面を参照して実施の形態に係る代表画像（ベストショット）抽出システムついて、説明する。

[第１の実施例]
図１は、第１の実施例に係る代表画像（ベストショット）抽出システムを概略的にブロック図で示している。代表画像抽出システムは、被写体を撮影するデジタルカメラ等の複数の撮像装置１０１、撮影済みの多数の画像（写真）から代表画像（ベストショット）を抽出する代表画像抽出サーバー３０１、ユーザが所有するスマートフォン等の複数のＩＴ機器４０１及び撮像装置１０１から代表画像抽出サーバー３０１に撮影画像の画像データを中継し、また、代表画像抽出サーバー３０１からＩＴ機器４０１に代表画像の画像データを転送するネットワーク中継器２０１で構成されている。ここで、複数の撮像装置１０１は、夫々異なる撮影者が所持し、異なるタイミングで（異なる日時に）被写体を撮影し、撮影者自身の認識なしに同一の被写体、例えば、同一の風景或いは同一の観劇場面を撮影することがあるものとする。また、ＩＴ機器４０１を所持するユーザ（閲覧者）は、撮像装置１０１の所持の有無に拘わらず、代表画像データの提供を受けることができるようにＩＴ機器４０１が設定される。ここで、基本的には、ＩＴ機器４０１を所持するユーザ（閲覧者）は、撮像装置１０１での撮影者に対応し、撮影者自らが撮影した複数画像から代表写真が自動選定されて自らがユーザ（閲覧者）として代表写真の提供を受けるものとする。ＩＴ機器４０１を所持するユーザ（閲覧者）が撮像装置１０１の撮影者であれば、撮影者自らが撮影した複数画像から代表写真が自動選定されるように当該システムにアクセス可能としている。

撮像装置１０１は、被写体を撮影して電子的画像を生成する撮像部１０２及びＦｌａｓｈＡｉｒ（登録商標）等の無線ＬＡＮ機能を有するメモリカードで構成され、撮像部１０２から転送された画像データを保存する自動保存機器１０３を有している。自動保存機器１０３は、無線ＬＡＮ機能を有していることから、保存した画像データをモバイルルーター等のネットワーク中継機器２０１を介して代表画像抽出サーバー３０１に送信することができる。

代表画像抽出サーバー３０１は、送信された画像データを格納する画像格納部３０２、画像格納部３０２から取り出された画像を分析する画像分析部３０３及び画像分析部３０３で分析された画像分析結果データをテーブル形式で格納する画像分析結果データベース３０６を具備している。画像分析部３０３は、画像認識技術を用いて画像の被写体となった人物、動植物、建物、或いは、風景を判別し、この判別に基づく分析結果データ、例えば、オブジェクトとしての被写体をグループ化したオブジェクトグループをテーブル形式で画像分析結果データベース３０６に保存する。また、代表画像抽出サーバー３０１は、画像分析結果データベース３０６に格納されている画像分析結果データを参照して画像格納部３０２に格納された画像から代表画像を選択する代表画像（代表写真）選択部３０４及び選択された代表画像をネットワーク中継機器２０１を介して画像データとして出力する代表画像（代表写真）出力部３０５を具備している。ここで、代表画像出力部３０５は、ＩＴ機器４０１で指定される代表画像の抽出元画像群の範囲に基づいて、画像分析結果データベース３０６から画像を抽出し、抽出画像を代表画像の目標枚数と同数のグループにグループ化して各グループから代表画像（ベスト）を選択して出力する。代表画像出力部３０５から出力された画像データは、ネットワーク中継機器２０１を介してＩＴ機器４０１に送信される。ここで、ＩＴ機器４０１を所持するユーザ（閲覧者）は、基本的には、撮影者自ら或いは撮影者と関係性大きい（関連度が高い）他の撮影者が撮影した複数画像から代表写真が自動選定されて提供を受けるが、提供を受ける代表写真は、画像分析の結果に基づいて他の撮影者が撮影した画像の傾向を受けて提供される。

ＩＴ機器４０１は、画像格納部３０２に格納された複数画像（写真）から代表画像（代表写真）を抽出する対象とされる元画像群の範囲を指定することができ、また、代表画像として抽出される抽出目標数を指定することができる。代表画像出力部３０５は、ネットワーク中継機器２０１を介してＩＴ機器４０１に画面データを要求に応じて転送することができる。この画面データには、元画像群の範囲を指定する表示項目、例えば、ハワイ島の写真或いはハワイアンショーの場面或いは旅行期間等の項目が表示され、抽出目標数を記入する項目が表示される。各ＩＴ機器４０１は、ネットワーク中継機器２０１を介して、これら項目で指示した選択パラメータを代表画像選択部３０４に転送することができる。即ち、ＩＴ機器４０１を所持するユーザ（閲覧者）は、代表画像の抽出元画像群の範囲を指定することができ、また、代表画像の目標枚数を指定することができる。

図１に示される代表画像抽出システムにおいては、撮像装置１０１は、撮像部１０２で被写体が撮影された際に、撮影した画像データを、撮像装置１０１内に挿入された自動保存機器１０３に送り、画像データを保存する。自動保存機器１０３は、有線ＬＡＮ或いは無線ＬＡＮ、例えば、ＷｉＦｉ経由で、ネットワーク中継器２０１に画像データを自動で送信する。ネットワーク中継器２０１は、受信した画像を、インターネット経由で、代表画像抽出サーバー３０１の画像格納部３０２に送る。画像格納部３０２は、画像分析部３０３に画像データを送る。複数の撮像装置１０１からの多量の画像が画像格納部３０２に格納され、複数の撮影者が撮影した画像が画像分析部３０３における画像分析の対象とされる。

画像分析部３０３は、画像認識技術を利用して受け取った画像データの画像認識を行い、画像の被写体となった人物や動植物、建物、風景を判別し、属性情報を生成する。属性情報は、例えば、図２に示すようなコンテンツデータテーブル形式で生成される。このコンテンツデータテーブルには、図２に示されるように、各画像の画像データを指定するコンテンツＩＤの項目、画像格納部３０２内で各画像データを読み出す為のコンテンツパスの項目及び各画像データの撮影場所を緯度・経度で指定する撮影場所の項目を備えている。コンテンツデータテーブルは、これら項目に限らず、撮影者に関連する撮像装置１０１の装置ＩＤで撮影者を特定するように撮影者ＩＤの項目を設けている。画像分析部３０３は、図３に例示するように、受け取った画像データの画像と被写体との関連性をテーブル形式で示すオブジェクトデータテーブルを生成し、オブジェクトデータテーブルを画像格納部３０２に格納する。

オブジェクトデータテーブルには、画像から検出した被写体毎にユニークなオブジェクトを特定するオブジェクトＩＤの項目が設けられている。オブジェクトデータテーブルには、このオブジェクトＩＤに相関を有し、図２に示すコンテンツＩＤを検出元コンテンツＩＤとして記載している。この検出元コンテンツＩＤで画像のコンテンツＩＤを検出元として特定することができ、また、オブジェクトＩＤで画像格納部３０２から画像データを取り出すことができる。更に、オブジェクトデータテーブルには、オブジェクトＩＤで特定される画像データのオブジェクトグループＩＤの項目及びオブジェクトＩＤで特定される画像を選択するに際しての優先度を示すオブジェクト優先度の項目が設けられている。ここで、オブジェクトグループＩＤは、画像と被写体との類似度（被写体との一致度）を特定するＩＤであって、同一の被写体と思われるオブジェクト同士をグループ化したときのＩＤである。オブジェクトグループＩＤは、図４に例示として示されるように、被写体情報をオブジェクトグループに関連付けしている。画像分析部３０３は、画像格納部３０２に格納されている画像を分析し、この画像内の被写体が人物、風景、建物等のいずれかに属するかを分析し、被写体が人物であれば、オブジェクトグループＩＤを付しながら、人物（１）、人物（２）．．．と分類する。画像分析部３０３は、同様に、画像内の被写体が風景であれば、オブジェクトグループＩＤを付しながら、風景（１）、風景（２）．．．と分類し、図４に示すオブジェクトグループデータテーブルを作成する。したがって、オブジェクトグループＩＤは、オブジェクトグループの内容として記載されるように、画像中の被写体を特定するグループ、例えば、特定の人物(1)或いは特定の人物(2)のグループ、特定の銅像(1)のグループ、及び特定の建物(1)或いは特定の建物(2)のようにオブジェクトを特定している。また、図３に示すように、オブジェクトデータテーブルにオブジェクトＩＤに関連づけてオブジェクトグループＩＤを記載している。そして、オブジェクトグループデータテーブルを画像格納部３０２に格納する。ここで、オブジェクトグループＩＤが同一である場合には、例えば、オブジェクトＩＤ［０００］、ＩＤ［００２］、［００４］及び［００６］では、オブジェクトグループＩＤが［０００］と同一であることから、被写体である特定の人物(1)が画像中に撮影されていることを意味している。また、オブジェクト優先度は、オブジェクトの鮮明度や大きさ、表情等で決定される。オブジェクト優先度は、より具体的には、オブジェクトしての写真画像が鑑賞に堪えられるようにピントが合っている、手ぶれしないように撮影されている、或いは、逆光で撮影されていても視認可能な明るさであるようなオブジェクトの鮮明度、画像中でオブジェクトグループの対象とされる人物(1)或いは建物(1)が確認できる大きさで撮影されているか、或いは、人物(1)の表情が暗い印象を与えてないかが考慮されてオブジェクトとしての画像にポイントが付与され、オブジェクト優先度の数値が決定される。更に、被写体の類似性（被写体の一致度）を判定するに当たり、被写体となった人物に特化して、その人物の相違のみに限らず、その人物の表情の違い、その人物の服装の違い、その人物の背景の相違を考慮して、オブジェクト優先度のポイントが決定されるようにしても良い。ここで、背景の相違は、その人物周囲の動植物の違い、その人物周囲の建物の違い及びその人物周囲の風景の違い等を含んでいる。また、このオブジェクト優先度は、画像群をグループ化するに際して、被写体の類似性（一致度）のみならず、撮影日時、撮影場所についても優先度を設定してオブジェクト優先度を決定するようにしても良い。

オブジェクトデータテーブルを画像格納部３０２に格納した後においは、閲覧者であるユーザがＩＴ機器４０１上の画面の操作に基づいて、代表画像選択部３０４に対して代表画像抽出の指示が与えられる。このシステムにおいては、好ましくは、閲覧者は、閲覧者自身が撮影者として撮影した画像しかアクセスすることはできないことを原則とし、閲覧者と関連性が高い撮影者が撮影した画像或いは閲覧者に対して撮影者がアクセスを許す画像を代表写真として提供されるように制限を付している。

代表画像抽出の指示が与えられると、代表画像選択部３０４は、オブジェクトデータテーブルを参照して画像格納部３０２を検索して代表画像を選択する。より具体的には、図５に示すように、閲覧者によって抽出する元画像群の範囲及び代表画面の抽出目標数がＩＴ機器４０１上の画面上で入力されて代表画像の選択が開始される（ブロックＢ１０）。ここで、ユーザ（閲覧者）の代表画像抽出の指示は、撮影装置１０１の装置ＩＤ（撮影者の指定）及びＩＴ機器４０１の機器ＩＤ（閲覧者の指定）と共に代表画像選択部３０４に送られる。ここで、撮影装置１０１の装置ＩＤを撮影者ＩＤ及びＩＴ機器４０１の機器ＩＤを閲覧者ＩＤとみなして装置ＩＤを撮影者を特定して機器ＩＤでユーザ（閲覧者）を特定することができる。代表画像選択部３０４は、ＩＴ機器４０１から代表画像の抽出元画像群の範囲指定を受け取る（ブロックＢ１２）。従って、代表画像選択部３０４は、抽出する元画像群の範囲に従い、図２に示すコンテンツデータテーブル、図３に示すオブジェクトデータテーブル及び図４に示すオブジェクトグループデータテーブルを参照しながら、元画像群の範囲内の画像を特定し、それら画像の分析結果のデータを画像分析結果データベース３０６から抽出する。ここで、閲覧者が指定した抽出する元画像群の範囲には、閲覧者自身が被写体として撮影されている蓋然性が高く、抽出する元画像群の範囲における撮影した被写体の一致度（類似性）から閲覧者と画像撮影者との関連度を決定することができる。従って、必ずしも撮影装置１０１の装置ＩＤ又は撮影者ＩＤは、入力されなくとも良い。例えば、特定の人物(1)が被写体として画像中に撮影されている画像が多くある場合には、閲覧者と画像の撮影者との間の関連度が高い数値で一致度が設定され、代表画像選択部３０４に一時的に保存される。これら閲覧者と撮影者との関係は、友人同士或いは夫婦を一例として挙げることができる。

抽出画像に関する分析結果データは、図６Ａに示すように撮影日時の、撮影場所及び被写体や背景の類似性に相当する被写体の一致度で定められる概念的な３次元空間に配置される。被写体や背景の類似性に相当する被写体の一致度は、オブジェクトグループＩＤが同一或いは類似の画像を抽出して画像を比較して一致度を数値化している。図６Ａに示すように、この３次元空間には、撮影日時、撮影場所及び被写体や背景の類似性に相当する被写体の一致度に応じて画像が分布されている。被写体の一致度は、同じ被写体(オブジェクトグループＩＤ)をどのくらい含んでいるかで判断される。

代表画像選択部３０４がＩＴ機器４０１から代表画面の抽出目標数を受け取ると（ブロックＢ１４）、代表画像選択部３０４は、図６Ｂに示すように、この３次元空間に配置された画像を抽出目標数と同数の複数グループにクラスタリングして抽出目標数のグループに分類する。即ち、図６Ａに示すように分布されている画像は、被写体や背景の類似性と撮影日時と撮影場所を用いて、図６Ｂに示すように、代表画像の抽出目標数と同数のグループに分割される(ブロックＢ１６）。一例として、カレンダー用に１２個の代表画像を選定する場合には、抽出目標数として１２が選定される。ピントが合っている等、良い画像が沢山あるとしても、カレンダーでの利用では、抽出目標数は、定まっているため、予め１２のグループにグループ化して各グループ内での代表写真（ベストショット）を抽出することとなる。

尚、一つのグループから１２枚の代表写真（ベストショット）を抽出すると、選ばれたベストショットの中に、場面や被写体が同じ画像が含まれてしまう場合があり、カレンダー用の写真の選定には不向きとなる。

代表画像選択部３０４は、次に、画像のグループ毎に、代表的な被写体群を、画像群全体での登場頻度と、グループ内での登場頻度とから算出される値を用いて決定する(ブロックＢ１８）。ここで、代表的被写体は、複数の被写体の中で、撮影されている画像数が多い等の代表的な被写体を意味している。また、複数の代表的被写体の集合を代表的被写体群と称している。

代表画像選択部３０４は、その後、画像のグループ毎に、閲覧者と撮影者の関連度と代表的な被写体群が写った数とその表情と鮮鋭度と大きさから算出される判定基準が最大となる画像を代表画像（ベストショット）として選択し、選択結果を代表画像出力部３０５に送る。(ブロックＢ２０）。撮影者と閲覧者とが同一であれば、グループ内では、基本的に、撮影者（特定撮影者）が撮影した画像中から代表画像（ベストショット）が選定され、撮影者と閲覧者とが異なっている場合にあっては、閲覧者と関連度が大きい撮影者（特定撮影者）、例えば、友人等が撮影した画像中から代表画像（ベストショット）が選定される。ここで、あるグループには、特定撮影者（閲覧者と同一の撮影者又は閲覧者と関連度が大きい撮影者）が撮影した画像が少ないくとも、他の撮影者が多数の枚数の画像を提供してグループとして画像が収集されている場合がある。このグループは、注目度が高いグループに相当し、撮影者の意識外とされる場合があるが、必ずその少ない画像から代表写真が選定される。また、あるグループに、特定撮影者（閲覧者と同一の撮影者又は閲覧者と関連度が大きい撮影者）が撮影した画像が多数収集されている場合には、代表的な被写体群が写った数とその表情と鮮鋭度と大きさから算出される判定基準が最大となる画像を代表画像（ベストショット）として選択している。このグループは、特定撮影者にとって注目度が高く、撮影者にとって、選択されるべき代表写真が選定される。

また、代表画像選択部３０４は、画像のグループに含まれる画像数を用いて、各代表写真（ベストショット）の表示方法を決定する(ブロックＢ２２）。そして、代表画像選択部３０４は、代表画像出力部３０５に、代表画像（ベストショット）と表示方法、例えば、サムネル表示或いはスライド表示等を通知する(ブロックＢ２４）。代表画像出力部３０５は、受け取った代表画像及び表示方法を、インターネット経由で、ネットワーク中継機器２０１に送信する。ネットワーク中継機器２０１は、受信した画像を、ＷｉＦｉ経由でＩＴ機器４０１に出力する。従って、ＩＴ機器４０１を所有する閲覧者は、受け取った代表画像を最適な表示方法で表示して配布を希望する代表写真を決定することができる。この配布を希望する代表写真のデータは、配布の希望に応答して画像格納部３０２から取り出され、ＩＴ機器４０１で代表写真出力部３０５及びネットワーク中継部２０１を介して受信することができる。

この代表画像（ベストショット）の表示方法では、あるグループ（第１グループ）に属する画像の数が予め定めたしきい値未満であって、他のグループ（第２グループ）に属する画像の数が予め定めたしきい値以上である場合に、上述したあるグループに属する画像の中から少なくとも１つの画像と上述した他のグループ（第２グループ）に属する画像の中から少なくとも１つの画像とが異なる表示形態で表示されることが好ましい。例えば、他のグループ（第２グループ）に属する画像の表示では、あるグループ（第１グループ）に属する画像に対して視覚的に識別可能として表示することが好ましい。より具体的には、他のグループ（第２グループ）に属する画像の表示があるグループ（第１グループ）に属する画像に比べて視覚的見やすいように大きく表示される。従って、代表写真の出力に際しては、代表写真（ベストショット）の表示方法として各画像を視覚的に識別可能とするため各画像に対する識別情報をさらに付加して出力するようにしても良い。

[第２の実施例]
図７は、第２の実施形態に係る代表画像抽出システムを概略的に示している。

図７においては、図１に示したと同一箇所には、同一符号を付してその説明を省略する。図７に示されるシステムには、複数のＩＴ機器５０１が設けられ、各ＩＴ機器５０１は、撮像部１０２及び表示部５０３を有するスマートフォン等の装置での利用を想定する点が図１に示されるシステムとは異なっている。

図７に示されるシステムにおいては、各ＩＴ機器５０１は、撮像部５０２で撮影した画像データを、ＷｉＦｉ経由で、ネットワーク中継器２０１に画像を自動で送信する。そして、ネットワーク中継器２０１は、受信した画像を、インターネット経由で、代表画像抽出サーバー３０１の画像格納部３０２に送っている。代表画像抽出サーバー３０１のは、図１に示したと同様であるのでその説明を省略する。代表画像抽出サーバー３０１で代表画像（ベストショット）と表示方法とが選択されると、この代表写真及びその表示方法は、代表画像出力部３０５からネットワーク中継器２０１を介してＩＴ機器５０１に送信される。ＩＴ機器５０１では、受信した代表写真を指定された最適な表示方法で表示部５０３に表示し、表示された代表写真から配布を希望する代表写真を特定することとなる。その後、配布を希望する代表写真のデータを要求して代表写真のデータを受領することとなる。

上述した第１及び第２の実施の形態において、上述した画像分析部３０３及び代表写真選択部３０４は、図示しないＭＰＵ及びこのＭＰＵを動作させるプログラムでファームウエアとして構成することができ、プルグラムは、図６に示すフローチャートを実行して代表写真の選択を実行することができる。

上述した代表画像抽出サーバー３０１は、所謂クラウドと称されるサーバーで実現することができ、クラウドへ写真を投稿して保存し、また、このクラウド上で投稿された写真を共有するシステムに適用することができる。例えば、旅行会社等の集団活動の支援者がFlash Air（登録商標）等の自動保管機器を、参加者に配布して使用してもらい、参加者が撮影した写真等をクラウド上に自動保管するようなシステムに適用することができる。このようなシステムにおいて、集団活動の支援者が設定した自動保管機器を使うことで、参加者が撮影した写真を自動保管することができ、被写体と撮影日時と撮影場所の類似性でグループ化して、各グループの代表写真（ベストショット）を自動抽出することができる。従って、友人との旅行などの集団活動の結果をアルバム等に残し、思い出を共有するというニーズに応えることが可能となる。特に、個々の撮影者自身にあっても、本人の撮影した膨大な量の画像から代表的写真を抽出して、撮影者自身がアルバムを作成することが困難となる虞がある。しかし、本人の興味を引いた多数の画像だけでなく、他の人が興味を引いている画像がグループ化されていることから、そのグループ内の本人の撮影画像にも注意を向けるように仕向けることができ、アルバム等の作成の助けになることとなる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０１…撮像装置、１０２…撮像部、１０３…自動保存機器、２０１…ネットワーク中継器、３０１…代表画像抽出サーバー、３０２…画像格納部、３０３…画像分析部、３０４…代表画像選択部、３０５…代表画像出力部、画像分析結果データベース、４０１…ＩＴ機器

Claims (15)

1. 第１ユーザによって撮影された複数の第１画像と、第２ユーザによって撮影された複数の第２画像とが入力される入力部と、
   画像の撮影日時の類似性と、画像の撮影場所の類似性と、画像に含まれる被写体或いは背景の類似性との少なくとも１つを用いて、前記複数の第１画像と前記複数の第２画像とを、少なくとも第１グループと第２グループにグループ化し、
   前記複数の第１画像のうち前記第１グループに属する画像の中から少なくとも１つの画像と、前記複数の第１画像のうち前記第２グループに属する画像の中から少なくとも１つの画像とを選択して、前記第１ユーザへ提示する第１代表画像として出力する処理部と、
   を具備するシステム。
2. 前記複数の第１画像と、前記第１代表画像とは、前記第１ユーザによりアクセス可能である、請求項１のシステム。
3. 前記処理部は、前記第１の画像と前記第２の画像とに含まれる被写体の一致度を用いて、前記第１ユーザと前記第２ユーザとの関連度を出力する請求項１のシステム。
4. 前記第１グループに属する画像の数がしきい値未満であって、前記第２グループに属する画像の数がしきい値以上である場合に、前記複数の第１画像のうち前記第１グループに属する画像の中から少なくとも１つの画像と、前記複数の第１画像のうち前記第２グループに属する画像の中から少なくとも１つの画像とを、前記第１ユーザへ提示するときに視覚的に識別可能とするために用いられる情報をさらに出力する、請求項１のシステム。
5. 前記処理部は、画像の被写体の登場頻度と、画像の被写体の表情と、画像の被写体の鮮鋭度、画像の被写体の大きさとの少なくとも１つを用いて、前記複数の第１画像のうち前記第１グループに属する画像の中から少なくとも１つの画像と、前記複数の第１画像のうち前記第２グループに属する画像の中から少なくとも１つの画像とを選択する請求項１のシステム。
6. 第１ユーザによって撮影された複数の第１画像と、第２ユーザによって撮影された複数の第２画像とを入力し、
   画像の撮影日時の類似性と、画像の撮影場所の類似性と、画像に含まれる被写体或いは背景の類似性との少なくとも１つを用いて、前記複数の第１画像と前記複数の第２画像とを、少なくとも第１グループと第２グループにグループ化し、
   前記複数の第１画像のうち前記第１グループに属する画像の中から少なくとも１つの画像と、前記複数の第１画像のうち前記第２グループに属する画像の中から少なくとも１つの画像とを選択して、前記第１ユーザへ提示する第１代表画像として出力すること、
   を具備する代表画像を提供する方法。
7. 前記複数の第１画像と、前記第１代表画像とは、前記第１ユーザによりアクセス可能とする請求項６の方法。
8. 前記第１の画像と前記第２の画像とに含まれる被写体の一致度を用いて、前記第１ユーザと前記第２ユーザとの関連度を出力する請求項６の方法。
9. 前記第１グループに属する画像の数がしきい値未満であって、前記第２グループに属する画像の数がしきい値以上である場合に、前記複数の第１画像のうち前記第１グループに属する画像の中から少なくとも１つの画像と、前記複数の第１画像のうち前記第２グループに属する画像の中から少なくとも１つの画像とを、前記第１ユーザへ提示するときに視覚的に識別可能とするために用いられる情報をさらに出力する請求項６の方法。
10. 画像の被写体の登場頻度と、画像の被写体の表情と、画像の被写体の鮮鋭度、画像の被写体の大きさとの少なくとも１つを用いて、前記複数の第１画像のうち前記第１グループに属する画像の中から少なくとも１つの画像と、前記複数の第１画像のうち前記第２グループに属する画像の中から少なくとも１つの画像とを選択する請求項６の方法。
11. 第１ユーザによって撮影された複数の第１画像と、第２ユーザによって撮影された複数の第２画像とを入力し、
    画像の撮影日時の類似性と、画像の撮影場所の類似性と、画像に含まれる被写体或いは背景の類似性との少なくとも１つを用いて、前記複数の第１画像と前記複数の第２画像とを、少なくとも第１グループと第２グループにグループ化し、
    前記複数の第１画像のうち前記第１グループに属する画像の中から少なくとも１つの画像と、前記複数の第１画像のうち前記第２グループに属する画像の中から少なくとも１つの画像とを選択して、前記第１ユーザへ提示する第１代表画像として出力すること、
    をコンピュータで実行して代表画像を提供するプログラム。
12. 前記複数の第１画像と、前記第１代表画像とは、前記第１ユーザによりアクセス可能とする請求項１１のプログラム。
13. 前記第１の画像と前記第２の画像とに含まれる被写体の一致度を用いて、前記第１ユーザと前記第２ユーザとの関連度を出力することを実行する請求項１１のプログラム。
14. 前記第１グループに属する画像の数がしきい値未満であって、前記第２グループに属する画像の数がしきい値以上である場合に、前記複数の第１画像のうち前記第１グループに属する画像の中から少なくとも１つの画像と、前記複数の第１画像のうち前記第２グループに属する画像の中から少なくとも１つの画像とを、前記第１ユーザへ提示するときに視覚的に識別可能とするために用いられる情報をさらに出力することを実行する請求項１１のプログラム。
15. 画像の被写体の登場頻度と、画像の被写体の表情と、画像の被写体の鮮鋭度、画像の被写体の大きさとの少なくとも１つを用いて、前記複数の第１画像のうち前記第１グループに属する画像の中から少なくとも１つの画像と、前記複数の第１画像のうち前記第２グループに属する画像の中から少なくとも１つの画像とを選択することを実行する請求項１１のプログラム。

Images