JP2017219912A - 画像処理装置、画像領域検出方法および画像領域検出プログラム - Google Patents

Abstract

【課題】画像集合の中から撮影者にとって重要な対象物を効率よく検出する。【解決手段】画像処理装置１０は、選択部１１および検出部１２を備える。選択部１１は、それぞれ撮影時刻が付加された複数の画像Ｍ１〜Ｍ４の中から、撮影時刻が連続し、かつ類似する画像Ｍ２、Ｍ３を同一のグループに分類し、分類されたグループの中から、画像枚数または撮影期間の長さに関する所定条件を満たす特定グループＧ１を選択する。検出部１２は、選択された特定グループＧ１に含まれる画像Ｍ２、Ｍ３の間で共通性の高い領域を特定領域Ｍ２ａ、Ｍ３ａとして検出する。【選択図】図１

Description

本発明は、画像処理装置、画像領域検出方法および画像領域検出プログラムに関する。

近年、スマートフォンやデジタルカメラなどの普及により、写真はデジタル画像データとして保存されることが一般的となっている。また、デジタル写真では、フィルム代がかからない等の理由により、同じ対象に対して複数枚撮影される傾向がある。

撮影された大量のデジタル写真は、通常、写真管理ソフトウェアなどによって管理されるが、デジタル写真を整理管理する際は、複数のデジタル写真の中から撮影者にとって重要な対象物（画像領域）が容易に見つけ出されることが望ましい。対象物が見つけ出しやすくなることにより、例えば、素材として必要な画像を検索しやすくなり、同じイベントの開催時の写真を集めて自動的に整理することができるなど、撮影者に利便性や娯楽性を提供することが可能になる。

対象物を検出する画像処理技術の例としては、デジタル写真から、顔認識アルゴリズムにより、類似する顔画像の検出および切り取りを行う画像処理方法が提案されている。
また、画像上で指定された注目領域と、領域抽出アルゴリズムで抽出される抽出領域との画像データを比較して類似度が高い領域抽出アルゴリズムを選択し、選択した領域抽出アルゴリズムによる抽出領域の画像データを表示する画像処理方法が提案されている。

特開２００５−１７４３０８号公報 特開２０１０−２６２３５０号公報

画像集合の中から対象物を検出する場合、従来では、テンプレート画像を事前に準備し、対象となる画像とテンプレート画像とを比較して類似度が高い画像を抽出することが行われる。対象物が人物の場合では、例えば、顔のテンプレート画像を用意しておくことになる。しかし、撮影者にとって重要とみなされる対象物は様々なので、あらゆる対象を認識するためのテンプレート画像を事前に用意しておくことは困難である。

１つの側面では、本発明は、画像集合の中から撮影者にとって重要な対象物を効率よく検出することが可能な画像処理装置、画像領域検出方法および画像領域検出プログラムを提供することを目的とする。

１つの案では、画像処理装置が提供される。画像処理装置は、選択部および検出部を備える。選択部は、それぞれ撮影時刻が付加された複数の画像の中から、撮影時刻が連続し、かつ類似する画像を同一のグループに分類し、分類されたグループの中から、画像枚数または撮影期間の長さに関する所定条件を満たす特定グループを選択する。検出部は、特定グループに含まれる画像の間で共通性の高い領域を特定領域として検出する。

また、１つの案では、上記の画像処理装置に基づく処理と同様の処理を実行する画像領域検出方法が提供される。
さらに、１つの案では、上記の画像処理装置に基づく処理と同様の処理をコンピュータに実行させる画像領域検出プログラムが提供される。

１つの側面では、画像集合の中から撮影者にとって重要な対象物を効率よく検出することが可能になる。

第１の実施の形態に係る画像処理装置の構成例および処理例を示す図である。 第２の実施の形態に係る画像処理装置のハードウェア構成例を示す図である。 画像処理装置が備える処理機能の構成例を示すブロック図である。 画素ペア管理テーブルの構成例を示す図である。 局所特徴量を算出する処理の例を示す図である。 特徴量管理テーブルの構成例を示す図である。 特徴量算出処理の動作を示すフローチャートである。 投票処理を説明するための図である。 対応点管理テーブルの構成例を示す図である。 投票結果に基づく類似画像の判定処理について説明するための図である。 投票数の集中および分散について説明するための図である。 キー画像と、異なるサイズにコピーした対象画像との類似度判定を説明するための図である。 類似度情報管理テーブルの構成例を示す図である。 投票処理の例を示すフローチャートである。 グループＩＤが登録された類似情報管理テーブルの構成例を示す図である。 グループ管理テーブルの構成例を示す図である。 グループ選択処理の例を示すフローチャートである。 類似領域の設定処理を説明するための図である。 類似領域の重複部分と包含部分を求める際の処理を説明するための第１の図である。 類似領域の重複部分と包含部分を求める際の処理を説明するための第２の図である。 特定領域を求める際の処理を説明するための図である。 類似領域管理テーブルの構成例を示す図である。 特定領域管理テーブルの構成例を示す図である。 第１の特定領域検出処理の例を示すフローチャートである。 第２の特定領域検出処理を説明するための図である。 ベストショット管理テーブルの構成例を示す図である。 ベストショット抽出処理の例を示すフローチャートである。 サムネイル生成処理の例を示すフローチャートである。 画像表示の一例を示す図である。 画像表示の一例を示す図である。

以下、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
図１は、第１の実施の形態に係る画像処理装置の構成例および処理例を示す図である。画像処理装置１０は、選択部１１および検出部１２を備える。選択部１１および検出部１２の処理は、例えば、画像処理装置１０が備えるプロセッサが所定のプログラムを実行することで実現される。

画像処理装置１０は、複数の画像の中から、撮影者にとって重要な対象物を検出する。検出対象となる複数の画像のそれぞれには、属性情報として撮影時刻が付加されている。なお、これらの複数の画像は、例えば、画像処理装置が備える記憶装置に記憶されている。

選択部１１は、上記の複数の画像の中から、撮影時刻が連続し、かつ類似する画像を、同一のグループに分類する。さらに、選択部１１は、分類されたグループの中から、グループ内の画像の枚数またはそれらの撮影期間に関する所定条件を満たす特定グループを選択する。この条件とは、撮影者にとって重要な画像が含まれると判断可能な条件である。例えば、撮像画像の枚数が所定閾値以上のグループ、または、撮像期間が所定閾値以上のグループ、または、これらの条件と両方満たすグループなどが、特定グループとして選択される。これは、近接する時刻に多くの回数撮影された対象物ほど、また長い時間にわたって撮影された対象物ほど、撮影者が写真に残したかった対象物である可能性が高いと推定されるからである。検出部１２は、選択された特定グループに含まれる画像の間で共通性の高い領域を、特定領域として検出する。

以下、図１に示す具体例を用いて処理例について説明する。なお、撮影時刻が早い順に画像Ｍ１、Ｍ２、Ｍ３、Ｍ４とする。
［ステップＳ１］選択部１１は、画像Ｍ１〜Ｍ４を用いて、画像間の類似度を算出する。例えば、選択部１１は、撮影時刻が隣り合う画像の類似度を算出する。すなわち、選択部１１は、画像Ｍ１と画像Ｍ２の類似度、画像Ｍ２と画像Ｍ３の類似度および画像Ｍ３と画像Ｍ４の類似度を算出する。また、選択部１１は、算出した類似度に基づき類似度の大小を判定する。図１の例では、画像Ｍ１と画像Ｍ２の類似度は小さく、画像Ｍ２と画像Ｍ３の類似度は大きく、画像Ｍ３と画像Ｍ４の類似度は小さいと判定されたとする。

［ステップＳ２］選択部１１は、撮影時刻が連続し、かつ、類似度が大きいと判定された画像を同一のグループに分類する。画像Ｍ２と画像Ｍ３との類似度が大きいと判定されたので、画像Ｍ２、Ｍ３は同一のグループに分類される。また、選択部１１は、分類されたグループの中から、前述の所定条件を満たすグループを特定グループとして選択する。図１の例では、画像Ｍ２、Ｍ３を含むグループが所定条件を満たすものであるとして、特定グループＧ１として選択されたとする。

なお、類似度に基づくグループの分類方法は、上記の方法に限らない。例えば、選択部１１は、ある画像を基準として、その後に撮影された複数の画像との類似度を算出し、基準画像とそれに連続する類似画像とをグループ化してもよい。例えば図１において、画像Ｍ１と画像Ｍ２、Ｍ３とが類似するが、画像Ｍ１と画像Ｍ４とは類似しないと判定されたとする。この場合、画像Ｍ１〜Ｍ３が同一のグループに分類される。

［ステップＳ３］検出部１２は、特定グループＧ１に含まれる画像の間で共通性の高い部分を特定領域として検出する。画像Ｍ２、Ｍ３のそれぞれの共通性の高い部分を画像領域Ｍ２ａ、Ｍ３ａとすると、画像領域Ｍ２ａ、Ｍ３ａが特定領域として検出されることになる。なお、検出部１２は、例えば、特定領域の検出結果に基づき、画像Ｍ２、Ｍ３の少なくとも一方を用いて出力画像を生成し、出力してもよい。例えば、画像Ｍ２から画像領域Ｍ２ａを切り出すことで出力画像が生成される。

このように、画像処理装置１０は、撮像時刻が連続し、かつ、類似度の大きな画像を同一グループに分類して、該グループの中から重要画像が含まれると判断可能な条件を満たす特定グループを選択する。そして、画像処理装置１０は、特定グループ内の画像から共通性の高い特定領域を検出する。これにより、テンプレート画像を準備することなく、撮影者が重要とみなす対象物を効率よく検出することが可能になる。

［第２の実施の形態］
次に、第２の実施の形態として、撮像画像間の類似度を計算する際に、画像の特徴量としてＢＲＩＥＦ（Binary Robust Independent Elementary Features）を用いて計算する画像処理装置について説明する。

ここで、画像マッチング技術において、キー画像の特徴点における局所特徴量と、キー画像を除く画像（以下、「対象画像」と呼ぶ）の特徴点における局所特徴量とを比較して、キー画像の特徴点に対応する対象画像の特徴点（以下、「対応点」と呼ぶ）を探索する手法が利用される。探索により発見された対応点の集合を統計処理することで、対象画像におけるキー画像の存在やキー画像の位置を認識できる。

このような対応点の探索に利用される局所特徴量をバイナリコードで表す方法の代表例がＢＲＩＥＦである。ＢＲＩＥＦは、特徴点の周囲に設定された複数の画素ペアのそれぞれについて計算された画素間の輝度差に基づく局所特徴量で表現される。具体的には、輝度差の符号（正負）に対応するビット値の集合が局所特徴量として利用される。このように局所特徴量をバイナリコードで表す方法では、ハミング距離による高速な計算によって特徴点同士の類似度を算出できるというメリットがある。

なお、第２の実施の形態では、画像の特徴量としてＢＲＩＥＦを用いるが、例えば、ＯＲＢ（Oriented Fast and Rotated BRIEF）、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）など、特徴点付近に設定した画素ペア間の輝度差を２値化することで得られる他の種類のバイナリ特徴量（以下、輝度差特徴量）を用いることもできる。

＜ハードウェア構成＞
図２は、第２の実施の形態に係る画像処理装置のハードウェア構成例を示す図である。第２の実施の形態に係る画像処理装置１００は、例えば、図２に示すようなコンピュータとして実現される。

画像処理装置１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＰＬＤ（Programmable Logic Device）である。またプロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

プロセッサ１０１には、バス１０８を介して、ＲＡＭ（Random Access Memory）１０２と複数の周辺機器が接続されている。
ＲＡＭ１０２は、画像処理装置１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。

バス１０８に接続されている周辺機器としては、ＨＤＤ（Hard Disk Drive）１０３、グラフィック処理装置１０４、入力インタフェース１０５、読み取り装置１０６および通信インタフェース１０７がある。

ＨＤＤ１０３は、画像処理装置１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。

グラフィック処理装置１０４には、表示装置１０４ａが接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令に従って、画像を表示装置１０４ａに表示させる。表示装置１０４ａとしては、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどがある。

入力インタフェース１０５には、入力装置１０５ａが接続されている。入力インタフェース１０５は、入力装置１０５ａから出力される信号をプロセッサ１０１に送信する。入力装置１０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

読み取り装置１０６には、可搬型記録媒体１０６ａが脱着される。読み取り装置１０６は、可搬型記録媒体１０６ａに記録されたデータを読み取ってプロセッサ１０１に送信する。可搬型記録媒体１０６ａとしては、光ディスク、光磁気ディスク、半導体メモリなどがある。

通信インタフェース１０７は、ネットワーク１０７ａを介して他の装置との間でデータの送受信を行う。
以上のようなハードウェア構成によって、画像処理装置１００の処理機能を実現することができる。

上記の画像処理装置１００の記憶装置（例えば、ＨＤＤ１０３）には、複数の撮像画像のデータが記憶される。これらの撮像画像は、撮像装置によって撮像された画像である。これらの撮像画像のデータは、例えば、可搬型記録媒体１０６ａを用いて画像処理装置１００の記憶装置に格納されてもよいし、あるいは、ネットワーク１０７ａを介して画像処理装置１００の記憶装置に格納されてもよい。

なお、画像処理装置１００は、例えば、パーソナルコンピュータ、スマートフォンなどのユーザによって操作される端末装置として実現される。また、画像処理装置１００は、ネットワーク上のサーバ装置として実現されてもよい。この場合、撮像画像のデータは、例えば、ユーザの端末装置からネットワークを介して画像処理装置１００にアップロードされる。

＜機能ブロック構成＞
図３は、画像処理装置が備える処理機能の構成例を示すブロック図である。画像処理装置１００は、記憶部１１０、画像取得部１２１、類似度算出部１２２、グループ選択部１２３、特定領域検出部１２４および結果出力部１２５を有する。

記憶部１１０は、画像処理装置１００が備える記憶装置（例えば、ＲＡＭ１０２またはＨＤＤ１０３）の記憶領域として実装される。記憶部１１０には、画像データ１１１、画素ペア管理テーブル１１２、特徴量管理テーブル１１３、対応点管理テーブル１１４、類似度情報管理テーブル１１５、グループ管理テーブル１１６、類似領域管理テーブル１１７、特定領域管理テーブル１１８およびベストショット管理テーブル１１９が記憶される。

画像データ１１１は、撮像装置によって撮像された撮像画像のデータを示す。記憶部１１０には、画像データ１１１が複数記憶される。また、各画像データ１１１には、属性情報として撮影時刻が付加されている。画素ペア管理テーブル１１２には、輝度差特徴量を算出するために利用される画素ペアの座標が登録される。特徴量管理テーブル１１３は、撮像画像ごとに用意される。特徴量管理テーブル１１３には、撮像画像内の特徴点ごとの輝度差特徴量が登録される。

対応点管理テーブル１１４は、撮像画像ごとに用意される。対応点管理テーブル１１４には、撮影時刻が隣接する２つの撮像画像であるキー画像と対象画像とに対して、キー画像の特徴点の座標および対象画像の対応点の座標が登録される。類似度情報管理テーブル１１５には、隣接する２つの画像の類似度判定結果が登録される。グループ管理テーブル１１６には、分類されたグループに対して、特定グループであるか否かの判定結果が登録される。

類似領域管理テーブル１１７は、特定グループごとに用意される。類似領域管理テーブル１１７には、隣接する２つの画像の類似領域の座標が登録される。特定領域管理テーブル１１８は、特定グループごとに用意される。特定領域管理テーブル１１８には、特定領域としての重複部分の座標および特定領域としての包含部分の座標が登録される。ベストショット管理テーブル１１９は、特定グループごとに用意される。ベストショット管理テーブル１１９には、特定領域の品質指標およびベストショット画像の抽出結果が登録される。

画像取得部１２１、類似度算出部１２２、グループ選択部１２３、特定領域検出部１２４および結果出力部１２５の処理は、例えば、所定のプログラムがプロセッサ１０１に実行されることによって実現される。

画像取得部１２１は、撮像画像の画像データ１１１を取得して記憶部１１０に格納する。例えば、画像取得部１２１は、撮像画像の画像データ１１１を可搬型記録媒体１０６ａを介して、あるいはネットワーク１０７ａを介して取得する。

類似度算出部１２２は、画像データ１１１および画素ペア管理テーブル１１２を参照しながら、撮像画像内の各特徴点についての輝度差特徴量を算出し、算出した輝度差特徴量を特徴量管理テーブル１１３に登録する。また、類似度算出部１２２は、撮影時刻が隣接する撮像画像ペア間の類似度を判定し、判定結果を類似度情報管理テーブル１１５に登録する。この類似度判定処理では、類似度算出部１２２は、特徴量管理テーブル１１３に登録されたキー画像の特徴点に対応する対象画像の対応点を見つけて、特徴点と対応点とのペアを対応点管理テーブル１１４に登録する。さらに、類似度算出部１２２は、特徴点と対応点とのペアに基づき、後述の投票処理を行ってキー画像と対象画像との類似度を判定する。

グループ選択部１２３は、類似度情報管理テーブル１１５を参照して、類似度の大きな画像を同一グループに分類し、分類したグループが所定条件を満たす特定グループであるか否かを判定して判定結果をグループ管理テーブル１１６に登録する。

特定領域検出部１２４は、特定グループに含まれる画像中の類似領域の重ね合わせを行った際の第１の重ね合わせ範囲を特定領域として検出する第１の特定領域検出処理を行う。または、特定領域検出部１２４は、特定グループに含まれる画像の重ね合わせを行った際の第２の重ね合わせ範囲を特定領域として検出する第２の特定領域検出処理を行う。

また、第１の特定領域検出処理を行う場合、特定領域検出部１２４は、特定グループ内の画像の類似領域を求めて類似領域の座標を類似領域管理テーブル１１７に登録し、類似領域を重ね合わせた際の重複部分の座標および包含部分の座標を特定領域管理テーブル１１８に登録する。

また、特定領域検出部１２４は、検出した特定領域を用いて、サムネイル画像の生成およびベストショット画像の抽出を行い、ベストショット画像の抽出結果を、ベストショット管理テーブル１１９に登録する。

結果出力部１２５は、特定領域の検出結果を用いて生成または選択された画像を出力する。例えば、結果出力部１２５は、特定領域管理テーブル１１８に基づいて、特定グループに含まれる画像のサムネイル画像を画面上に表示させる。また、結果出力部１２５は、ベストショット管理テーブル１１９に基づいて、特定グループに含まれる画像の中からベストショット画像を選択し、画面上に表示させる。

＜特徴量算出処理＞
次に、類似度算出部１２２による特徴量算出処理について詳しく説明する。
類似度算出部１２２は、撮像画像上に特徴点を設定する。特徴点は、各撮像画像で共通に設定される。本実施の形態では例として、撮像画像上に等間隔（例えば、２４画素間隔）で特徴点を設定するＤｅｎｓｅ Ｓａｍｐｌｉｎｇを用いる。そして、類似度算出部１２２は、各撮像画像の各特徴点についての輝度差特徴量を算出する。

輝度差特徴量は、各特徴点を中心とする一定領域（以下、「特徴領域」と呼ぶ）ごとに算出される。特徴領域は、例えば、特徴点を中心とする４８画素四方の矩形領域とされる。また、特徴領域の内部には、複数の画素ペアがあらかじめ設定される。ある特徴点の特徴量は、対応する特徴領域内の各画素ペアの輝度差に基づく符号を組み合わせて構成されたビット列として算出される。

図４は、画素ペア管理テーブルの構成例を示す図である。画素ペアを構成する各画素の座標は、画素ペア管理テーブル１１２にあらかじめ登録されている。図４に示すように、画素ペア管理テーブル１１２には、画素ペアを識別するためのＩＤと、画素ペアを構成する第１画素および第２画素の各座標とが登録される。画素ペアは、例えば、ランダムに設定される。画素ペア管理テーブル１１２に登録された画素ペアの情報は、すべての特徴領域に対して共通に適用される。

図５は、局所特徴量を算出する処理の例を示す図である。図５では、画像２００における各特徴点の局所特徴量を、この画像２００に対応する特徴量管理テーブル１１３に登録する処理の例を示す。

例えば、画像２００に設定された特徴点２０１の局所特徴量は、次のようにして算出される。類似度算出部１２２は、特徴点２０１に対応する特徴領域２０２について、各画素ペアの輝度差を計算する（ステップＳ１１）。画素ペアの輝度差は、例えば、画素ペア管理テーブル１１２における第１画素の輝度値から第２画素の輝度値を減算することで得られる。

類似度算出部１２２は、算出された輝度差の符号に応じたビット値を組み合わせることでビット列２０３を生成する（ステップＳ１２）。例えば、類似度算出部１２２は、画素ペア順に、輝度差が正値の場合にはビット値“１”を、輝度差が０以下の場合にはビット値“０”をビット列に付加する。例えば、Ｍ組の画素ペアが設定されている場合、Ｍビットのビット列が生成される。類似度算出部１２２は、生成されたビット列２０３を、特徴点２０１の局所特徴量として特徴量管理テーブル１１３に登録する（ステップＳ１３）。

図６は、特徴量管理テーブルの構成例を示す図である。前述のように、図６に示す特徴量管理テーブル１１３は、撮像画像ごとに用意される。
特徴量管理テーブル１１３には、撮像画像内の特徴点ごとにレコードが登録される。各レコードには、ＩＤ、特徴点座標および輝度差特徴量が登録される。ＩＤは、撮像画像内の特徴点を識別するための識別番号を示す。特徴点座標は、特徴点の座標を示す。輝度差特徴量の項目には、特徴点の輝度差特徴量を示すビット列が登録される。

図７は、特徴量算出処理の動作を示すフローチャートである。
［ステップＳ２１］類似度算出部１２２は、処理対象の撮像画像から特徴点を１つ選択する。また、類似度算出部１２２は、画素ペア管理テーブル１１２から画素ペアを１つ選択する。類似度算出部１２２は、選択された特徴点に対応する特徴領域内の画素ペアのうち、選択された画素ペアについて、画素ペアの輝度値の差と閾値の０とを比較し、比較結果に基づいて輝度差特徴量のビット値を決定する算出処理を行う。例えば、画素ペアの輝度値の差が０より大きい場合はビット値を“１”とし、画素ペアの輝度値の差が０以下の場合はビット値を“０”と決定する。

［ステップＳ２２］類似度算出部１２２は、１つの特徴点における特徴領域内のすべての画素ペアについてステップＳ２１が処理済みかを判定する。処理済みでない画素ペアがある場合、ステップＳ２１に戻り、他の画素ペアが選択される。すべての画素ペアについて処理済みの場合、ステップＳ２３の処理が実行される。

［ステップＳ２３］類似度算出部１２２は、１つの撮像画像内のすべての特徴点についてステップＳ２１が処理済みかを判定する。処理済みでない特徴点がある場合、ステップＳ２１に戻り、他の特徴点が選択される。すべての特徴点について処理済みの場合、ステップＳ２４の処理が実行される。

［ステップＳ２４］類似度算出部１２２は、記憶部１１０に記憶されたすべての撮像画像についてステップＳ２１が処理済みかを判定する。処理済みでない撮像画像がある場合、ステップＳ２１に戻り、他の撮像画像が選択される。すべての撮像画像について処理済みの場合、特徴量算出処理を終了する。

＜投票処理＞
次に、類似度算出部１２２による投票処理について詳しく説明する。なお、撮影時刻が隣接する撮像画像ペアのうち、撮影時刻が早い方がキー画像に設定され、撮影時刻が遅い方が対象画像に設定されるものとする。

類似度算出部１２２は、キー画像上の特徴点ごとに次のような処理を実行する。類似度算出部１２２は、キー画像上の特徴点と対象画像上の対応点とが一致するように対象画像にキー画像を重ねた場合の、対象画像におけるキー画像の中心位置を推定する。類似度算出部１２２は、対象画像の各画素のうち、推定された中心位置の画素に対して投票する。類似度算出部１２２は、対象画像の画素のうち、投票数が最大の画素を判別し、判別した画素の投票数が所定の閾値を超えている場合に、対象画像をキー画像に類似する画像と判定する。

図８は、投票処理を説明するための図である。図８では、キー画像２１０の特徴点２１１と類似する対象画像２２０の対応点を探索する処理の例を示す。類似度算出部１２２は、例えば、キー画像２１０の特徴点２１１の輝度差特徴量と、対象画像２２０の各特徴点の輝度差特徴量とのハミング距離を計算することで、対応点を探索する（ステップＳ３１）。なお、キー画像２１０の特徴点の座標と、対象画像２２０の対応点の座標とは、類似度算出部１２２によって探索されて、対応点管理テーブル１１４上で登録管理される。

キー画像２１０の特徴点２１１に対する対応点を、対象画像２２０の特徴点２２１とする。このとき、類似度算出部１２２は、特徴点２１１と特徴点２２１（対応点）とが一致するように対象画像２２０にキー画像２１０を重ねた場合の、対象画像２２０におけるキー画像２１０の中心位置２１２を推定する（ステップＳ３２）。

ここで、対象画像の横幅および高さの画素数をそれぞれｗｉ、ｈｉとし、キー画像の横幅および高さの画素数をそれぞれｗｒ、ｈｒとする。キー画像の特徴点（ｘｒ，ｙｒ）に対応する対象画像の対応点として対象画像の特徴点（ｘｉ，ｙｉ）が探索されたとすると、対象画像におけるキー画像の中心点の位置（ｘｖ，ｙｖ）は、次の式（１−１）、（１−２）を用いて算出される。

ｘｖ＝ｘｉ・ｘｒ＋（ｗｒ／２） ・・・（１−１）
ｙｖ＝ｙｉ・ｙｒ＋（ｈｒ／２） ・・・（１−２）
図８の特徴点２１１と特徴点２２１との対応関係に基づいて対象画像２２０におけるキー画像２１０の中心位置として画素２２２が推定されたとすると、類似度算出部１２２は、対象画像２２０の画素のうち、画素２２２に対して投票する。この投票処理には、例えば、対象画像２２０の各画素に対応するエントリを有する投票マップ１３０が用いられる。投票マップ１３０の各エントリの初期値は０とされる。図８の処理では、投票マップ１３０における画素２２２に対応するエントリに１が加算される（ステップＳ３３）。

なお、実際には、類似度算出部１２２は、例えば、画素２２２を中心とした所定領域（例えば、１０画素四方の矩形領域）に含まれる各画素に投票してもよい。これにより、キー画像２１０と対象画像２２０との違いに対してある程度ロバストな認識処理を行うことが可能になる。

図９は、対応点管理テーブルの構成例を示す図である。図９に示す対応点管理テーブル１１４は、キー画像として選択された撮像画像ごとに用意される。
対応点管理テーブル１１４には、キー画像の特徴点を識別するためのＩＤ、キー画像の特徴点の座標、対象画像の対応点の座標、および特定特徴点ペアの判定結果が登録される。特定特徴点ペアの判定結果は、特徴点と対応点とのペアが特定特徴点ペアと判定されたか否かを示し、特定特徴点ペアと判定されれば“○”、特定特徴点ペアでないと判定されれば“×”と登録される。なお、特定特徴点ペアとは、投票マップにおいて投票数が最大となったエントリに対する投票が行われた特徴点と対応点とのペアである。

図１０は、投票結果に基づく類似画像の判定処理について説明するための図である。図１０に示す投票マップ１３０ａは、図８に示すような処理がキー画像２１０の各特徴点について実行された後の投票マップ１３０の状態を示す。類似度算出部１２２は、投票マップ１３０ａにおける各画素についての投票数のうちの最大値を抽出し、この最大値が所定の閾値を超えているかを判定する。

ここで、キー画像２１０と対象画像２２０とに同じ対象物が写っている場合、キー画像２１０の特徴点と対象画像２２０の対応点との位置関係が、キー画像２１０の特徴点間で同じ場合が多い。この場合、投票マップ１３０ａにおける同じ画素に対応するエントリに投票数が集中する。

一方、キー画像２１０と対象画像２２０との関連性が低い場合、キー画像２１０の特徴点と対象画像２２０の対応点との位置関係が、キー画像２１０の特徴点間で異なる場合が多い。この場合、投票マップ１３０ａにおいて投票数が分散する。

図１１は、投票数の集中および分散について説明するための図である。図１１の例では、キー画像２１０ａの特徴点ａ１１と、対象画像２２０ａの対応点ａ１２との位置関係Ａは、キー画像の特徴点間で同じである。また、キー画像２１０ａの特徴点ｂ１１と、対象画像２２０ａの対応点ｂ１２との位置関係Ｂは、キー画像の特徴点間で同じである。さらにキー画像２１０ａの特徴点ｃ１１と、対象画像２２０ａの対応点ｃ１２との位置関係Ｃは、キー画像の特徴点間で同じである。このため、位置関係Ａ、Ｂ、Ｃに基づく対象画像２２０ａにおけるキー画像２１０ａの中心位置は、投票マップ１３０ｂに対して、同じ画素に投票数が集中する。

一方、キー画像２１０ａの特徴点ｄ１１と、対象画像２２０ａの対応点ｄ１２との位置関係Ｄは、キー画像の特徴点間で異なる。また、キー画像２１０ａの特徴点ｅ１１と、対象画像２２０ａの対応点ｅ１２との位置関係Ｅは、キー画像の特徴点間で異なる。このため、位置関係Ｄに基づく対象画像２２０ａにおけるキー画像２１０ａの中心位置と、位置関係Ｅに基づく対象画像２２０ａにおけるキー画像２１０ａの中心位置とは集中せず、投票マップ１３０ｂに対して投票数が分散する。

このような投票処理を行うことで、投票マップにおける投票数の最大値が閾値を超えた場合には、投票数が同じ画素に集中していると推定されるため、キー画像２１０と対象画像２２０とに同じ対象物が写っている可能性が高いと判断できる。このことから、類似度算出部１２２は、投票数の最大値が閾値を超えた場合、対象画像２２０をキー画像２１０に類似する画像であると判定する。

なお、実際には、対象画像２２０における特徴点の数によって投票数の最大値が影響を受けることから、例えば、対象画像２２０における特徴点の数で投票数を除算するなどの正規化処理が行われた上で、閾値との比較が行われることが望ましい。

ここで、キー画像と対象画像とで対象物が写っている領域の大きさが異なる場合には、キー画像と対象画像とをそのまま用いて上記処理を実行すると、対応点を正確に検出できず、類似判定精度が低下する。そこで、類似度算出部１２２は、対象画像を複数（例えば、Ｍ枚）の互いに異なるサイズにコピーし、１枚のキー画像と、サイズが異なるＭ枚の対象画像とに対して投票処理をＭ回行う。

図１２は、キー画像と、異なるサイズにコピーした対象画像との類似度判定を説明するための図である。キー画像２１０のサイズと、対象画像２２０のサイズとが異なる場合、類似度算出部１２２は、対象画像２２０をサイズの異なる複数の対象画像２２０−１〜２２０−Ｍを生成する。

そして、類似度算出部１２２は、対象画像２２０−１〜２２０−Ｍのそれぞれと、キー画像２１０とに投票処理を行う。図１２の例では、対象画像２２０−１〜２２０−Ｍの中で、対象画像２２０−３の投票数の最大値が最も高くその最大値が閾値を超えるとすれば、キー画像２１０の類似画像は対象画像２２０−３と判定される。なお、対象画像のサイズごとに類似判定を行った結果は、類似度情報管理テーブル１１５によって登録管理される。

図１３は、類似度情報管理テーブルの構成例を示す図である。類似度情報管理テーブル１１５には、画像ＩＤ、最大値画素位置、サイズ、類似度判定結果およびグループＩＤが登録される。画像ＩＤは、キー画像の識別番号であり、撮影時刻が早い順に若番が付される。最大値画素位置は、投票数が最大値となる画素の座標位置である。サイズは、対象画像のサイズである。なお、対象画像は、撮影時刻がキー画像の次に早い撮像画像を示す。例えば、画像ＩＤ＝１のキー画像に対応する対象画像は、画像ＩＤ＝２の撮像画像である。

類似度判定結果は、例えば、キー画像と、あるサイズの対象画像とが類似と判定されれば“○”、非類似と判定されれば“×”と登録される。図１３の例では、画像ＩＤ＝１のキー画像と、サイズｓ１の対象画像とは類似と判定されている。また、画像ＩＤ＝３のキー画像と、サイズｓ３の対象画像とは非類似と判定されている。

グループＩＤは、類似画像をグループ分けしたときにグループ識別するためのＩＤであり、グループ選択部１２３による後述のグループ選択処理時に登録される。
図１４は、投票処理の例を示すフローチャートである。図１４に示す処理は、記憶部１１０に記憶された画像データ１１１に対し、撮影時刻が早い順に画像ＩＤを１〜Ｎと設定された際に、画像ＩＤが１からＮ−１までの画像に対して行われるものである。

［ステップＳ４１］類似度算出部１２２は、画像ＩＤがｎの画像をキー画像Ａ、画像ＩＤがｎ＋１の画像を対象画像Ｂとして選択する。なお、ｎの初期値は１である。
［ステップＳ４２］類似度算出部１２２は、キー画像Ａを予め決められたサイズに拡大または縮小する。また、類似度算出部１２２は、対象画像Ｂを予め決められた複数枚の異なるサイズに拡大または縮小して、対象画像Ｂ１、Ｂ２、…、ＢＭを生成する。例えば、Ｂ１：横幅＝８００、Ｂ２：横幅＝７２０、・・・、ＢＭ：横幅＝２３０というように、異なるサイズの対象画像Ｂ１、Ｂ２、…、ＢＭが生成される。

［ステップＳ４３］類似度算出部１２２は、生成された異なるサイズの対象画像の中から１つを選択する（選択された対象画像をＢｍとする）。類似度算出部１２２は、対応点管理テーブル１１４を参照して、キー画像Ａの特徴点と対象画像Ｂｍの対応点とのペアを抽出する。なお、対応点管理テーブル１１４では、対応点の座標が、対象画像をキー画像と同じ大きさに正規化した場合の座標として登録されている。このため、ステップＳ４３では、対象画像Ｂｍの対応点の座標は、対応点管理テーブル１１４に登録された対応点の座標を対象画像Ｂｍのサイズに応じて補正した座標となる。

［ステップＳ４４］類似度算出部１２２は、キー画像Ａの特徴点と対象画像Ｂｍの対応点とのペアから、対象画像Ｂｍ中のキー画像Ａの中心位置を上述の式（１−１）、（１−２）で計算し、投票マップへ投票する。

［ステップＳ４５］類似度算出部１２２は、投票マップの中の投票数が最大値となる画素の座標を検出する。
［ステップＳ４６］類似度算出部１２２は、対象画像Ｂ１〜ＢＭまでステップＳ４５が処理済みかを判定する。処理済みでない対象画像がある場合、ステップＳ４３に戻り、他の対象画像が選択される。すべての対象画像について処理済みの場合、ステップＳ４７の処理が実行される。

［ステップＳ４７］類似度算出部１２２は、対象画像Ｂ１〜ＢＭの中から投票数の最大値が最も高い対象画像（対象画像ＢＳとする）を選択し、対象画像ＢＳの投票数の最大値と閾値とを比較して類似判定を行う。類似度算出部１２２は、対象画像ＢＳの投票数の最大値（すなわち、対象画像ＢＳとキー画像Ａとの類似度）が閾値以上の場合、対象画像ＢＳとキー画像Ａとが類似すると判定する。

［ステップＳ４８］類似度算出部１２２は、対象画像ＢＳの最大値画素位置、サイズ、類似判定結果を、類似度情報管理テーブル１１５におけるキー画像Ａのレコードに登録する。

［ステップＳ４９］類似度算出部１２２は、対応点管理テーブル１１４に特定特徴点ペアの判定結果を登録する。対象画像ＢＳに対応する投票マップにおいて投票数が最大となった対応点と、キー画像Ａにおける対応する特徴点とのペアが、特定特徴点ペアと判定される。類似度算出部１２２は、対応点管理テーブル１１４のレコードのうち、投票数が最大となった対応点を含むレコードに対して判定結果“○”を登録し、その他のレコードに対して判定結果“×”を登録する。

［ステップＳ５０］類似度算出部１２２は、記憶部１１０に記憶された画像データ１１１のすべてに対してステップＳ４８が処理済みかを判定する。処理済みでない画像がある場合、ｎに１が加算されてステップＳ４１に戻り、現在のキー画像の次の画像が新たなキー画像として選択される。すべての画像について処理済みの場合は、投票処理は終了する。

＜グループ選択処理＞
次に、グループ選択部１２３によるグループ選択処理について詳しく説明する。
グループ選択部１２３は、撮影時刻が連続し、かつ類似度の高い画像を、１つのグループとしてまとめる。そして、グループ選択部１２３は、生成した複数のグループの中から、撮影者にとって重要な対象物が写っていることを推定するための所定条件を満たす特定グループを選択する。

例えば、同じ対象物が連続して多くの回数撮影された場合、その対象物は撮影者が写真に残したかったものである可能性が高い。また、同じ対象物が長い時間にわたって撮影された場合にも、その対象物は撮影者が写真に残したかったものである可能性が高い。そこで、グループ選択部１２３は、次のような条件にしたがって特定グループを判定する。１グループ内の撮像画像枚数をＮとし、１グループ内の撮影時刻が最も早い撮像画像と最も遅い撮像画像との時間差をＴとする。このとき、グループ選択部１２３は、Ｎが閾値Ｔｈ１以上かつ、Ｔが閾値Ｔｈ２以上の場合に（例えば、Ｎ≧３、Ｔ≧６０秒）、そのグループを特定グループと判定する。

図１５は、グループＩＤが登録された類似情報管理テーブルの構成例を示す図である。類似度情報管理テーブル１１５ａは、図１３に示した類似度情報管理テーブル１１５のグループＩＤのレコードに、グループを識別するためのＩＤが登録されている状態を示している。図１５の例では、画像ＩＤ＝１のキー画像と、サイズｓ１の対象画像とが類似し、画像ＩＤ＝２のキー画像と、サイズｓ２の対象画像とが類似しており、これらの画像はグループＩＤ＝ｇ１のグループに入れられている。

図１６は、グループ管理テーブルの構成例を示す図である。グループ管理テーブル１１６には、グループを識別するためのグループＩＤと、特定グループか否かを示す特定グループ判定結果とが登録される。例えば、特定グループと判定された場合は“○”、特定グループでない場合は“×”と登録される。

図１７は、グループ選択処理の例を示すフローチャートである。図１７に示す処理は、Ｎ枚の画像のうち、画像ＩＤが１からＮ−１までの画像に行われるものである。
［ステップＳ５１］グループ選択部１２３は、画像ＩＤがｎの画像をキー画像Ａ、画像ＩＤがｎ＋１の画像を対象画像Ｂとして選択する。なお、ｎの初期値は１である。

［ステップＳ５２］グループ選択部１２３は、類似度情報管理テーブル１１５ａを参照し、キー画像Ａと対象画像Ｂとの類似度判定結果が“○”の場合、そのキー画像Ａと対象画像Ｂとを同じグループに分類する。この場合、グループ選択部１２３は、対象画像ＢにグループＩＤ：ｇαを割り当て、類似度情報管理テーブル１１５ａに登録する。なお、αの初期値は１である。また、α＝１の場合、グループ選択部１２３は、キー画像ＡにもグループＩＤ：ｇα（＝ｇ１）を割り当て、類似度情報管理テーブル１１５ａに登録する。一方、グループ選択部１２３は、類似度情報管理テーブル１１５ａを参照し、キー画像Ａと対象画像Ｂとの類似度判定結果が“×”の場合は、αに１を加えて、対象画像ＢにグループＩＤ：ｇαを割り当て、類似度情報管理テーブル１１５ａに登録する。

［ステップＳ５３］グループ選択部１２３は、画像ＩＤがｎ〜Ｎ−１までステップＳ５２が処理済みかを判定する。処理済みでない画像がある場合、ｎに１が加算されてステップＳ５１に戻り、現在のキー画像の次の画像が新たなキー画像として選択される。画像ＩＤがｎ〜Ｎ−１の画像について処理済みの場合、ステップＳ５４の処理が実行される。

［ステップＳ５４］グループ選択部１２３は、特定グループか否かの判定処理を行う。例えば、グループ選択部１２３は、すべてのグループに対して、１つのグループに含まれる画像枚数が閾値Ｔｈ１以上であり、かつ最初の画像の撮影時刻と最後の画像の撮影時刻との差が閾値Ｔｈ２以上の場合、特定グループと判定する。

［ステップＳ５５］グループ選択部１２３は、グループＩＤごとに特定グループ判定結果をグループ管理テーブル１１６に登録する。
このように、グループ選択部１２３では、グループ内の画像枚数が閾値Ｔｈ１以上であり、かつグループ内の画像の撮影時刻の最も早い画像と最も遅い画像との時間差が閾値Ｔｈ２以上を満たす場合のグループを、所定条件を満たす特定グループとする。これにより、１つのグループにおいて、撮影者によってたくさんの枚数および長い時間に渡って同じシーンが撮影されているか否かが判定できるので、撮影者が写真に残したかった重要対象物の画像が含まれるグループを特定することができる。

＜第１の特定領域検出処理＞
次に、特定領域検出部１２４による特定グループ内の画像からの特定領域検出処理について詳しく説明する。なお、特定領域検出処理としては、第１、第２の特定領域検出処理が考えられる。最初に第１の特定領域検出処理について説明する。

特定領域検出部１２４は、第１の特定領域検出処理を行う場合、隣り合う画像間の特定特徴点ペアについて、特徴点および対応点をそれぞれ包含する矩形の類似領域を各画像に設定する。そして、特定領域検出部１２４は、類似領域間で対応する位置の関係を保ちながら各類似領域を重ね合わせた際に、類似領域が共通する重複部分と、すべての類似領域を含む包含部分とを検出する。また、特定領域検出部１２４は、検出した重複部分と包含部分を、重ね合わせに使用したそれぞれの画像の座標に変換して、変換した領域を特定領域として登録する。

図１８は、類似領域の設定処理を説明するための図である。図１８は、図１１に示したようにキー画像２１０ａの特徴点と対象画像２２０ａの対応点とが求められた場合の例を示す。この例では、対応点ａ１２、ｂ１２、ｃ１２について、投票マップ１３０ｂにおける投票数が最大となったエントリに投票が行われている。すなわち、特徴点ａ１１と対応点ａ１２のペア、特徴点ｂ１１と対応点ｂ１２のペア、特徴点ｃ１１と対応点ｃ１２のペアが、特定特徴点ペアと判定される。

この場合、特定領域検出部１２４は、キー画像２１０ａに対して、特徴点ａ１１、ｂ１１、ｃ１１を包含する矩形領域を類似領域２１５に設定する。また、特定領域検出部１２４は、対象画像２２０ａに対して、対応点ａ１２、ｂ１２、ｃ１２を包含する矩形領域を類似領域２２５に設定する。そして、特定領域検出部１２４は、類似領域２１５、２２５の設定結果を用いて、類似領域の重複部分および包含部分を検出する。

類似領域２１５、２２５は、キー画像２１０ａと対象画像２２０ａとの間で局所的に類似度が高い領域であり、これはすなわち、同じ対象物が写っている可能性が高い領域である。したがって、上記の方法により、画像間の類似判定処理で得られた情報を用いて、隣接する画像から同じ対象物が写っている領域を高精度かつ効率よく検出することができる。例えば、類似領域２１５、２２５を設定するための特徴点と対応点とのペアは、対応点管理テーブル１１４において特定特徴点ペアの判定結果が“○”と登録されたペアとして特定できる。

図１９は、類似領域の重複部分と包含部分を求める際の処理を説明するための第１の図である。同一の特定グループ内に画像が３枚ある例を示しており、撮影時刻が早い順に画像ｍ１、ｍ２、ｍ３とする。なお、画像の左上が原点（０，０）、右下が（１，１）であり、画像内の座標は、画像の縦横の長さを１に正規化された値で表現される。例えば、横幅３２０、高さ２４０の画像の座標（５０，５０）は、（５０／３２０，５０／２４０）＝（０．１５６，０．２０８）と表現される。

図１９の例において、隣接する画像ｍ１、ｍ２に対して、画像ｍ１の矩形領域ａ１は、画像ｍ２の矩形領域ａ２に類似しており、矩形領域ａ１、ａ２は、隣接画像ｍ１、ｍ２間で対応する類似領域になっている。また、隣接する画像ｍ２、ｍ３に対して、画像ｍ２の矩形領域ｂ１は、画像ｍ３の矩形領域ｂ２に類似しており、矩形領域ｂ１、ｂ２は、隣接画像ｍ２、ｍ３間で対応する類似領域になっている。

ここで、矩形領域ａ１の左上座標を（Ｈ１，Ｉ１）とし、矩形領域ａ１の右下座標を（Ｊ１，Ｋ１）とする。また、矩形領域ａ２の左上座標を（ｈ１，ｉ１）とし、矩形領域ａ２の右下座標を（ｊ１，ｋ１）とする。このとき、矩形領域ａ１、ａ２が重なるように、画像ｍ２の画素の座標（ｘ２，ｙ２）を画像ｍ１の画素の座標（ｘ１，ｙ１）に変換する式は、以下の式（２−１）、（２−２）となる。

ｘ１＝（ｘ２−ｈ１）×（Ｊ１−Ｈ１）／（ｊ１−ｈ１）＋Ｈ１・・・（２−１）
ｙ１＝（ｙ２−ｉ１）×（Ｋ１−Ｉ１）／（ｋ１−ｉ１）＋Ｉ１・・・（２−２）
特定領域検出部１２４は、上記の式（２−１）、（２−２）にもとづく座標変換を行って、画像ｍ１上における画像ｍ２の矩形領域ｂ１の座標位置を算出することができる。図１９の座標変換の例では、画像ｍ２上の矩形領域ｂ１の座標（Ｈ２，Ｉ２）が画像ｍ１上の座標（Ｈ２１，Ｉ２１）に変換され、画像ｍ２上の矩形領域ｂ１の座標（Ｊ２，Ｋ２）が画像ｍ１上の座標（Ｊ２１，Ｋ２１）に変換されている。

また、画像ｍ２の矩形領域ｂ１を画像ｍ１上の座標に変換した後の領域を矩形領域ｂ１−１とすると、画像ｍ１において、矩形領域ａ１と矩形領域ｂ１−１の共通する矩形領域が重複部分となる。さらに、矩形領域ａ１と矩形領域ｂ１−１のすべての領域を包含する矩形領域が包含部分となる。特定領域検出部１２４は、画像ｍ１上のすべての矩形の重複部分と包含部分の左上と右下の座標を求める。

図２０は、類似領域の重複部分と包含部分を求める際の処理を説明するための第２の図である。同一の特定グループ内に画像が４枚ある例を示しており、撮影時刻が早い順に画像ｍ１、ｍ２、ｍ３、ｍ４とする。なお、画像ｍ１、ｍ２、ｍ３の間での類似領域の関係は図１９と同様であるとする。

図２０の例において、隣接する画像ｍ３、ｍ４に対して、画像ｍ３の矩形領域ｃ１は、画像ｍ４の矩形領域ｃ２に類似しており、矩形領域ｃ１、ｃ２は、隣接画像ｍ３、ｍ４間で対応する類似領域になっている。

ここで、矩形領域ｂ２の左上座標を（ｈ２，ｉ２）とし、矩形領域ｂ２の右下座標を（ｊ２，ｋ２）とする。このとき、矩形領域ｂ１、ｂ２が重なるように、画像ｍ３の画素の座標（ｘ３，ｙ３）を画像ｍ２の画素の座標（ｘ２，ｙ２）に変換する式は、以下の式（３−１）、（３−２）となる。

ｘ２＝（ｘ３−ｈ２）×（Ｊ２−Ｈ２）／（ｊ２−ｈ２）＋Ｈ２・・・（３−１）
ｙ２＝（ｙ３−ｉ２）×（Ｋ２−Ｉ２）／（ｋ２−ｉ２）＋Ｉ２・・・（３−２）
特定領域検出部１２４は、上記の式（３−１）、（３−２）にもとづく座標変換を行って、画像ｍ２上における画像ｍ３の矩形領域ｃ１の座標位置を算出することができる。図２０の座標変換の例では、画像ｍ３上の矩形領域ｃ１の座標（Ｈ３，Ｉ３）が画像ｍ２上の座標（Ｈ３１，Ｉ３１）に変換され、画像ｍ３上の矩形領域ｃ１の座標（Ｊ３，Ｋ３）が画像ｍ２上の座標（Ｊ３１，Ｋ３１）に変換されている。

画像ｍ３の矩形領域ｃ１を画像ｍ２上の座標に変換した後の領域を矩形領域ｃ１−１とすると、特定領域検出部１２４は、図１９と同様にして、式（２−１）、（２−２）を用いてさらに矩形領域ｃ１−１を画像ｍ１の座標へ変換する。

図２０の座標変換の例では、画像ｍ２上の矩形領域ｃ１−１の座標（Ｈ３１，Ｉ３１）が画像ｍ１上の座標（Ｈ３２，Ｉ３２）に変換され、画像ｍ２上の矩形領域ｃ１−１の座標（Ｊ３１，Ｋ３１）が画像ｍ１上の座標（Ｊ３２，Ｋ３２）に変換されている。

画像ｍ２の矩形領域ｃ１−１を画像ｍ１上の座標に変換した後の領域を矩形領域ｃ１−２とすると、画像ｍ１において、矩形領域ａ１、矩形領域ｂ１−１および矩形領域ｃ１−２の共通する領域が重複部分となる。また、矩形領域ａ１、矩形領域ｂ１−１および矩形領域ｃ１−２のすべての領域を包含する矩形領域が包含部分となる。特定領域検出部１２４は、画像ｍ１上のすべての矩形の重複部分と包含部分の左上と右下の座標を求める。

なお、本実施の形態では重複部分と包含部分の両方を求めるものとするが、最終的に出力すべき画像の種類によっては、重複部分と包含部分の一方だけを求めてもよい。
図２１は、特定領域を求める際の処理を説明するための図である。特定領域とは、特定グループに含まれる各画像において、撮影者にとって重要な対象物が写っていると推定される領域である。図２０に示したように画像ｍ１上で重複部分と包含部分とを求めると、特定領域検出部１２４は、まず、これらの重複部分および包含部分を、画像ｍ１における特定領域とする。さらに、特定領域検出部１２４は、画像ｍ１上で求めた重複部分と包含部分を画像ｍ２、ｍ３、ｍ４のそれぞれの座標に逆算し、逆算によって変換した領域を画像ｍ２、ｍ３、ｍ４のそれぞれにおける特定領域とする。

図２１の例において、画像ｍ１上の矩形領域ａ１を画像ｍ２上の矩形領域ａ２へ逆変換する場合、特定領域検出部１２４は、画像ｍ２から画像ｍ１への座標変換式の逆算となる以下の式（４−１）、（４−２）を用いて逆変換する。

ｘ２＝（ｘ１−Ｈ１）×（ｊ１−ｈ１）／（Ｊ１−Ｈ１）＋ｈ１・・・（４−１）
ｙ２＝（ｙ１−Ｉ１）×（ｋ１−ｉ１）／（Ｋ１−Ｉ１）＋ｉ１・・・（４−２）
また、特定領域検出部１２４は、画像ｍ２上の矩形領域を画像ｍ３上の矩形領域へ逆変換する場合、画像ｍ３から画像ｍ２への座標変換式の逆算を行って逆変換する。さらに、特定領域検出部１２４は、画像ｍ３上の矩形領域を画像ｍ４上の矩形領域へ逆変換する場合、画像ｍ４から画像ｍ３への座標変換式の逆算を行って逆変換する。特定領域検出部１２４は、このような逆変換を重複部分と包含部分に対して行って、それぞれの画像の座標に変換し、各画像における特定領域として検出する。

図２２は、類似領域管理テーブルの構成例を示す図である。前述のように、類似領域管理テーブル１１７は、特定グループごとに用意される。類似領域管理テーブル１１７には、画像ＩＤ、類似領域ｒ１、ｒ２が登録される。

画像ＩＤは、隣接する２つの画像のうち、撮影時刻が早い方の画像のＩＤを示す。類似領域ｒ１は、隣接する２つの画像のうち、撮影時刻が早い方の画像における類似領域の左上座標および右下座標が登録される。また、類似領域ｒ２は、隣接する２つの画像のうち、撮影時刻が遅い方の画像における類似領域の左上座標および右下座標が登録される。

図２３は、特定領域管理テーブルの構成例を示す図である。前述のように、特定領域管理テーブル１１８は、特定グループごとに用意される。特定領域管理テーブル１１８には、画像ＩＤ、特定領域Ｒ１、Ｒ２が登録される。

特定領域Ｒ１は、重複部分に対応し、類似領域が重複する矩形領域の左上座標および右下座標が登録される。また、特定領域Ｒ２は、包含部分に対応し、類似領域を包含する矩形領域の左上座標および右下座標が登録される。

図２４は、第１の特定領域検出処理の例を示すフローチャートである。図２４に示す処理は、グループ選択部１２３によって選択された特定グループに対して行われる。
［ステップＳ６１］特定領域検出部１２４は、グループ管理テーブル１１６に基づいて、特定グループを１つ選択する。

［ステップＳ６２］特定領域検出部１２４は、選択した特定グループから、画像ＩＤがｎの画像を画像Ａ、画像ＩＤがｎ＋１の画像を画像Ｂとして選択する。なお、ｎの初期値は、選択した特定グループ内において、撮影時刻が最初の画像Ａの画像ＩＤである。

［ステップＳ６３］特定領域検出部１２４は、画像Ａに対応する対応点管理テーブル１１４に基づいて、画像Ａ、Ｂ間の特徴点と対応点とのペアの中から特定特徴点ペアを抽出する。特定領域検出部１２４は、画像Ａに、特定特徴点ペアの各特徴点を包含する矩形領域を類似領域として設定する。また、特定領域検出部１２４は、画像Ｂに、特定特徴点ペアの各対応点を包含する矩形領域を類似領域として設定する。特定領域検出部１２４は、設定した類似領域の座標を類似領域管理テーブル１１７に登録する。

［ステップＳ６４］特定グループ内において、撮影時刻が最後の画像の画像ＩＤがｍの場合、特定領域検出部１２４は、画像ＩＤがｎ〜ｍ−１まで画像Ａとして選択してステップＳ６２が処理済みかを判定する。処理済みでない画像がある場合、ｎに１が加算されてステップＳ６２に戻り、次の画像ＩＤの画像が画像Ａとして選択される。一方、画像ＩＤがｎ〜ｍ−１の画像について処理済みの場合、ステップＳ６５の処理が実行される。

［ステップＳ６５］特定領域検出部１２４は、類似領域間で対応する位置の関係が保たれるように各類似領域を重ね合わせた際に、類似領域が共通する重複部分と、すべての類似領域を含む包含部分とを検出する。そして、特定領域検出部１２４は、検出した重複部分と包含部分を、重ね合わせに使用したそれぞれの画像の座標に変換して、変換した領域を特定領域として特定領域管理テーブル１１８に登録する。なお、この処理の詳細については、図１９〜図２３を用いて説明した通りである。

［ステップＳ６６］特定領域検出部１２４は、すべての特定グループに対してステップＳ６５が処理済みかを判定する。処理済みでない特定グループがある場合、ステップＳ６１に戻り、他の特定グループが選択される。すべての特定グループについて処理済みの場合は、第１の特定領域検出処理を終了する。

上記のように、第１の特定領域検出処理では、隣り合う画像間で特定された特定特徴点ペアに含まれる特徴点と対応点の位置から類似領域を求め、類似領域を重ね合わせた際に、類似領域が共通する重複部分と、すべての類似領域を含む包含部分とを検出する。これにより、テンプレート画像のデータを準備することなく、画像集合の中から撮影者にとって重要な対象物が写っている領域を効率よく検出することが可能になる。また、画像間の類似判定の際に検出された特定特徴点ペアの情報を用いたことで、撮影者にとって重要な対象物が写っている領域を高効率かつ高精度に検出できる。

＜第２の特定領域検出処理＞
次に、第２の特定領域検出処理について説明する。第１の特定領域検出処理では、特定特徴点ペアを基に画像内に設定した類似領域を重ね合わせることで、特定グループに含まれる画像間で共通する特定領域を検出した。これに対し、第２の特定領域検出処理では、特定領域検出部１２４は、類似度の判定処理で求めたキー画像と対象画像との対応位置（対象画像におけるキー画像の中心位置）および対象画像のサイズ（倍率）に基づいて、特定グループ内の各画像を重ね合わせることで、特定領域を検出する。重ね合わせの際には、特定領域検出部１２４は、上記の対応位置およびサイズに基づいて、画像間で対応する位置の関係を保ちながら各画像を重ね合わせる。そして、重ね合わされた各画像の重複部分を特定領域として検出する。

図２５は、第２の特定領域検出処理を説明するための図である。図２５において、画像ｍ１、ｍ２、ｍ３は、この順で撮影時刻が隣接しているとする。図２５の例では、類似判定処理により、画像ｍ１を縮小した画像ｍ１ａの中心が、画像ｍ２の画素ｐ１に位置すると推定され、画像ｍ２を拡大した画像ｍ２ａの中心が、画像ｍ３の画素ｐ２に位置すると推定されている。なお、図２５では説明を簡単にするために上記の記載としたが、実際の類似判定処理では、隣接画像のうち撮影時刻が後の画像のサイズを拡大または縮小した画像における、撮影時刻が前の画像の中心位置が検出されている。

このとき、特定領域検出部１２４は、まず、画像ｍ２における画像ｍ３の領域ｄ１を求める。領域ｄ１は、画像ｍ３の範囲を画像ｍ２の座標系に合わせるように画像ｍ３を変換した領域となる。次に、特定領域検出部１２４は、画像ｍ１における画像ｍ２の領域ｄ２を求める。領域ｄ２は、画像ｍ２の範囲を画像ｍ１の座標系に合わせるように画像ｍ２を変換した領域となる。さらに、特定領域検出部１２４は、画像ｍ１における領域ｄ１の領域ｄ３を求める。領域ｄ３は、画像ｍ３の範囲を画像ｍ１の座標系に合わせるように画像ｍ３を変換した領域となる。

特定領域検出部１２４は、画像ｍ１および領域ｄ２、ｄ３の重複部分（図２５の斜線部分）を、画像ｍ１の特定領域とする。また、特定領域検出部１２４は、画像ｍ１の重複部分を画像ｍ２、ｍ３のそれぞれの座標に逆算し、逆算によって変換した領域を画像ｍ２、ｍ３にそれぞれ対応する特定領域とする。なお、第２の特定領域検出処理では、特定された特定領域の位置情報は、特定領域管理テーブル１１８に特定領域Ｒ１として登録される。特定領域Ｒ２の位置情報は算出されない。

このように、第２の特定領域検出処理では、特定グループに含まれる各画像を、画像間で対応する位置の関係を保ちながら重ね合わせたときの重複部分を、特定領域として検出する。これにより、テンプレート画像のデータを準備することなく、画像集合の中から撮影者にとって重要な対象物を効率よく検出することが可能になる。

なお、第１の特定領域検出処理と、第２の特定領域検出処理とを比較した場合、第２の特定領域検出処理では、元の画像の隅で囲まれた矩形が特定領域として抽出される。このため、撮影した画像の構図に依存しやすく、空や地面などの背景と考えらえる部分も対象物として抽出される場合がある。これに対し、第１の特定領域検出処理では、特定特徴点ペアの情報を用いることで、元の画像から対象物が写っている可能性の高い領域だけが抽出され、抽出された領域を重ね合わせて特定領域が特定されるので、より精度よく対象物を検出することができる。

＜ベストショット抽出処理＞
次に、特定領域の検出結果を用いた処理例について説明する。まず、ベストショット抽出処理について説明する。

ベストショットとは、特定グループ内の画像のうち、重要対象物が最も高品質で写っている画像である。このような画像は、例えば、特定グループを代表する画像として出力することができる。また、品質指標としては、例えば、フォーカス度合いが考えられる。フォーカス度合いを評価するための指標としては、エッジの強さやコントラストの大きさを用いることができる。

このように、ベストショットは、重要対象物の画質を基に抽出されることから、特定領域として検出された重複部分と包含部分のうち、重要対象物が相対的に大きく写っている重複部分の特定結果に基づいて抽出されることが望ましい。

図２６は、ベストショット管理テーブルの構成例を示す図である。ベストショット管理テーブル１１９は、特定グループごとに用意される。ベストショット管理テーブル１１９には、画像ＩＤ、品質指標およびベストショット選択結果が登録される。

画像ＩＤは、特定グループ内の画像の識別番号である。品質指標は、重複部分の画像に対して例えば、エッジの強さやコントラストなどの画像品質の指標値が登録される。また、ベストショット選択結果は、同じ特定グループ内の画像の重複部分の中で、品質指標が最も高いベストショット画像に例えば、“○”が登録される。

図２７は、ベストショット抽出処理の例を示すフローチャートである。図２７に示す処理は、グループ選択部１２３によって選択された特定グループに対して行われる。
［ステップＳ７１］特定領域検出部１２４は、グループ管理テーブル１１６に基づいて、特定グループを１つ選択する。

［ステップＳ７２］特定領域検出部１２４が、選択した特定グループ内の画像を１つ選択する。
［ステップＳ７３］特定領域検出部１２４は、選択した特定グループに対応する特定領域管理テーブル１１８を参照して、選択した画像における重複部分を認識し、重複部分の画像範囲における品質指標を算出する。例えば、特定領域検出部１２４は、エッジの強さやコントラストなどの画像品質の指標値を計算する。特定領域検出部１２４は、算出した品質指標値をベストショット管理テーブル１１９に登録する。

［ステップＳ７４］特定領域検出部１２４は、特定グループ内の全画像についてステップＳ７３が処理済みかを判定する。処理済みでない画像がある場合、ステップＳ７２に戻り、他の画像が選択される。全画像について処理済みの場合、ステップＳ７５の処理が実行される。

［ステップＳ７５］特定領域検出部１２４は、特定グループ内の画像のうち、品質指標値が最も高い画像をベストショット画像として選択し、選択結果をベストショット管理テーブル１１９に登録する。

［ステップＳ７６］特定領域検出部１２４は、すべての特定グループに対してステップＳ７４が処理済みかを判定する。処理済みでない特定グループがある場合、ステップＳ７１に戻り、他の特定グループが選択される。すべての特定グループについて処理済みの場合、ベストショット抽出処理は終了する。

＜サムネイル生成処理＞
次に、特定領域の検出結果を用いたサムネイル生成処理について説明する。
サムネイル生成処理では、特定グループ内の各画像に対応するサムネイル画像が生成される。サムネイル画像は、元の画像にどのような対象物が写っているかを確認できることが望ましいが、対象物だけが拡大されて写っている画像よりは、対象物の周囲の状態も確認できる方が望ましい。このため、サムネイル画像は、特定領域として検出された重複部分と包含部分のうち、包含部分を元の画像から切り出して生成されることが望ましい。

図２８は、サムネイル生成処理の例を示すフローチャートである。図２８に示す処理は、グループ選択部１２３によって選択された特定グループに対して行われる。
［ステップＳ８１］特定領域検出部１２４は、グループ管理テーブル１１６に基づいて、特定グループを１つ選択する。

［ステップＳ８２］特定領域検出部１２４は、選択した特定グループ内の画像を１つ選択する。
［ステップＳ８３］特定領域検出部１２４は、選択した特定グループに対応する特定領域管理テーブル１１８を参照して、選択した画像における包含部分を認識し、画像から包含部分を切り出して所定サイズのサムネイル画像を生成する。

［ステップＳ８４］特定領域検出部１２４は、特定グループ内の全画像についてステップＳ８３が処理済みかを判定する。処理済みでない画像がある場合、ステップＳ８２に戻り、他の画像が選択される。全画像について処理済みの場合、ステップＳ８５の処理が実行される。

［ステップＳ８５］特定領域検出部１２４は、すべての特定グループに対してステップＳ８１が処理済みかを判定する。処理済みでない特定グループがある場合、ステップＳ８１に戻り、他の特定グループが選択される。すべての特定グループについて処理済みの場合、サムネイル画像生成処理は終了する。

なお、画像処理装置１００は、特定領域に基づく画像を表示するアプリケーションに応じて、重複部分または包含部分の検出切り替えを行って、検出した特定領域を用いて、ベストショット画像の抽出またはサムネイル画像の生成を行うこともできる。これにより、アプリケーションに適した画像領域を検出することができ、利便性の向上を図ることが可能になる。

＜画像表示＞
次に、特定領域の検出結果を基に生成または選択された画像の表示例について説明する。

図２９は、画像表示の一例を示す図である。図２９に示す画面は、画像処理装置１００の結果出力部１２５の制御にしたがって表示装置１０４ａで表示される画面の一例であり、一覧表示部３１と、詳細表示部３２とに分かれている。一覧表示部３１には、各特定グループの代表画像の一覧が表示される。また、図２９の例では、特定グループの代表画像の近傍に、特定グループに含まれる画像の枚数を表示している。

代表画像には、例えば、特定グループ内の画像のうち、ベストショット画像を所定サイズに縮小した画像が使用される。あるいは、代表画像は、ベストショット画像を基に図２８のステップＳ８３の手順で包含部分から切り出して生成されたサムネイル画像であってもよい。このように、ベストショット画像の抽出結果を基に代表画像が表示されることで、ユーザは、特定グループ内の画像に写された重要対象物を正確に視認できる。このため、記憶された多数の画像の中から画像を探しやすくなる。

詳細表示部３２には、一覧表示部３１に表示されている特定グループに含まれる画像が表示される。例えば、ユーザが一覧表示部３１に表示されている代表画像３１ａをマウスでクリックすると、代表画像３１ａが含まれる特定グループ内の画像が詳細表示部３２に表示される。

図３０は、画像表示の一例を示す図である。図３０では、サムネイル画像の表示例を示している。例えば、ユーザが一覧表示部３１に表示されている代表画像３１ａ上にマウスカーソルを置くと、サムネイル表示部３３が表示される。サムネイル表示部３３には、代表画像３１ａが含まれる特定グループ内の画像に対応するサムネイル画像が一覧表示される。図２８で説明したように、サムネイル画像は、画像から包含部分が切り出されて生成される。

以上の図２９、図３０の例の他にも、特定領域の検出結果を利用した画像の表示方法は考えられる。例えば、特定グループ内の画像からベストショット画像を画面上に大きく表示させることで、ユーザは、特定グループ内の画像に写された重要対象物を詳細に視認できるようになる。また、特定グループ内の各画像から包含部分が切り出されて生成されたサムネイル画像を用いて、重要対象物を含む画像の内容が理解しやすいような品質の高いスライドショーを自動生成できる。

このように、記憶された多数の画像の中から重複部分や包含部分といった特定領域を自動的に検出できることによって、これらの画像の管理や検索、再利用の場面において様々なメリットが得られる。

なお、上記の各実施の形態に示した装置（画像処理装置１０、１００）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。

１０ 画像処理装置
１１ 選択部
１２ 検出部
Ｍ１、Ｍ２、Ｍ３、Ｍ４ 画像
Ｇ１ 特定グループ
Ｍ２ａ、Ｍ３ａ 特定領域（画像領域）
Ｓ１ 類似度算出処理
Ｓ２ グループ選択処理
Ｓ３ 特定領域検出処理

Claims (14)

1. それぞれ撮影時刻が付加された複数の画像の中から、撮影時刻が連続し、かつ類似する画像を同一のグループに分類し、分類された前記グループの中から、画像枚数または撮影期間の長さに関する所定条件を満たす特定グループを選択する選択部と、
   前記特定グループに含まれる画像の間で共通性の高い領域を特定領域として検出する検出部と、
   を有する画像処理装置。
2. 前記選択部は、画像枚数が所定の閾値以上である前記グループを前記特定グループとして選択する、
   請求項１記載の画像処理装置。
3. 前記選択部は、画像枚数が第１の閾値以上であり、かつ各画像の撮影時刻のうち最も早い時刻と最も遅い時刻との時間差が第２の閾値以上である前記グループを、前記特定グループとして選択する、
   請求項１記載の画像処理装置。
4. 前記検出部は、前記特定グループに含まれる各画像から類似性が高い類似領域を特定し、前記類似領域間で対応する位置の関係を保ちながら前記各類似領域を重ね合わせたときに、前記各類似領域が重複する重複領域または前記各類似領域を包含する包含領域の少なくとも一方を、前記特定領域として検出する、
   請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記検出部は、前記複数の画像のうち前記特定グループに含まれる特定画像のそれぞれにおける前記重複領域の画質を評価し、画質の評価値が最大の前記特定画像を代表画像として抽出する、
   請求項４記載の画像処理装置。
6. 前記検出部は、前記特定グループに含まれる画像から前記包含領域を切り出してサムネイル画像を生成する、
   請求項４または５記載の画像処理装置。
7. 前記選択部は、前記グループの分類のために前記複数の画像に含まれる画像ペアの間の類似度を判定する際に、前記画像ペアの間で類似する特徴点同士の位置関係に関する統計情報に基づいて前記画像ペアの間の類似度を判定し、
   前記検出部は、前記統計情報に基づいて同一対象物が写っていると推定される領域を前記類似領域として特定する、
   請求項４乃至６のいずれか１項に記載の画像処理装置。
8. 前記検出部は、前記複数の画像のうち前記特定グループに含まれる特定画像の間で対応する位置の関係を保ちながら前記特定画像を重ね合わせたときの重複領域を、前記特定領域として検出する、
   請求項１乃至３のいずれか１項に記載の画像処理装置。
9. 前記選択部は、前記複数の画像のうち、撮影時刻が隣接する画像間の類似度が所定の類似度閾値以上であり、かつ撮影時刻が連続する画像群を、同一の前記グループに分類する、
   請求項１乃至８のいずれか１項に記載の画像処理装置。
10. コンピュータが、
    それぞれ撮影時刻が付加された複数の画像の中から、撮影時刻が連続し、かつ類似する画像を同一のグループに分類し、
    分類された前記グループの中から、画像枚数または撮影期間の長さに関する所定条件を満たす特定グループを選択し、
    前記特定グループに含まれる画像の間で共通性の高い部分を特定領域として検出する、
    画像領域検出方法。
11. コンピュータに、
    それぞれ撮影時刻が付加された複数の画像の中から、撮影時刻が連続し、かつ類似する画像を同一のグループに分類し、
    分類された前記グループの中から、画像枚数または撮影期間の長さに関する所定条件を満たす特定グループを選択し、
    前記特定グループに含まれる画像の間で共通性の高い部分を特定領域として検出する、
    処理を実行させる画像領域検出プログラム。
12. 記憶部に記憶される、撮影された時間情報が付加された１又は複数の画像を用いた特定の処理要求を受け付けた場合、前記記憶部に記憶される前記１又は複数の画像の類似度を判定する判定部と、
    類似すると判定した画像が複数ある場合には、類似する複数の画像それぞれに付加された時間情報を参照して、類似する前記複数の画像が撮影された期間と前記期間に撮影された画像数を特定する特定部と、
    特定した前記期間と前記画像数に基づいて、前記特定の処理要求に対応する類似する前記複数の画像の中から特定の画像、又は前記複数の画像を用いて生成した画像を出力する出力部と、
    を有する画像処理装置。
13. コンピュータが、
    記憶部に記憶される、撮影された時間情報が付加された１又は複数の画像を用いた特定の処理要求を受け付けた場合、前記記憶部に記憶される前記１又は複数の画像の類似度を判定し、
    類似すると判定した画像が複数ある場合には、類似する複数の画像それぞれに付加された時間情報を参照して、類似する前記複数の画像が撮影された期間と前記期間に撮影された画像数を特定し、
    特定した前記期間と前記画像数に基づいて、前記特定の処理要求に対応する類似する前記複数の画像の中から特定の画像、又は前記複数の画像を用いて生成した画像を出力する、
    画像領域検出方法。
14. コンピュータに、
    記憶部に記憶される、撮影された時間情報が付加された１又は複数の画像を用いた特定の処理要求を受け付けた場合、前記記憶部に記憶される前記１又は複数の画像の類似度を判定し、
    類似すると判定した画像が複数ある場合には、類似する複数の画像それぞれに付加された時間情報を参照して、類似する前記複数の画像が撮影された期間と前記期間に撮影された画像数を特定し、
    特定した前記期間と前記画像数に基づいて、前記特定の処理要求に対応する類似する前記複数の画像の中から特定の画像、又は前記複数の画像を用いて生成した画像を出力する、
    処理を実行させる画像領域検出プログラム。

Images