JP2017054555A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】対象画像に対する複数の候補画像を、ユーザにとって閲覧しやすい形態で表示させる。
【解決手段】対象画像取得部４１は、特定対象の物体の像を含む画像のデータを、対象画像のデータとして取得する。候補画像検索部４２は、対象画像と類似する画像のデータを、候補画像記憶部５１の複数の画像のデータの中から候補画像のデータとして検索する。表示制御部４４は、対象画像を第１表示領域に配置させて複数の候補画像を第２表示領域に配置させた表示画像を、出力部１８のディスプレイに表示させる。表示変更部４３１は、指定操作検出部４５を介して指定部１７１により排除対象の候補画像が指定されると、表示領域Ａ２における、表示数、サイズ、及び表示対象のうち少なくとも一部を変更する。
【選択図】図２

Description

本発明は、対象画像に対する複数の候補画像を、ユーザにとって閲覧しやすい形態で表示させることが可能な、画像処理装置、画像処理方法及びプログラムに関する。

従来、ユーザは、未知の植物を発見すると、撮像装置を用いて当該植物を撮像しておき、その後、当該植物が写る撮像画像と、既知の植物が写る複数の画像（例えば百科事典に掲載された画像）とを見比べることで、当該植物の種類等を特定する作業をしている。

このようなユーザの作業を支援すべく、各種各様の植物が写った多数の画像のデータを格納するデータベースが用いられ、種類等を特定したい植物が写った撮像画像等のデータと、データベース内の各画像のデータとの比較処理が行われる技術が存在する。
ここで、種類等を特定したい植物が写った撮像画像等のデータを、比較処理の対象のデータという意味で、「対象画像のデータ」と呼ぶ。
特許文献１には、データベースに格納された多数の画像のデータの中から、対象画像と同一種類の植物が写っている可能性のある画像のデータの個数、換言すると対象画像に類似する画像（より正確には類似するのは植物の像）の候補となる画像のデータ（以下、「候補画像のデータ」）と呼ぶ）の個数を絞り込み、絞りこまれた複数の候補画像を対象画像と共に表示させる技術が開示されている。

特開２００７−１３３８１６号公報

しかしながら、上述の特許文献１の技術では、絞り込んだとしても多数の候補画像のデータが残る可能性がある。このような多数の候補画像を一括表示した場合、ユーザは、自宅等に存在する大画面モニタでは視認できるものの、携帯端末の小画面では視認することは非常に困難である。一方、多数の候補画像の表示枚数を絞り込み、表示対象の候補画像を順次切り替える表示方式では、ユーザにとって煩わしい場合もある。
このため、候補画像を閲覧し易くする表示方式が特許文献１に記載の技術に記載されているが、当該特許文献１では当該要求に十分に応えることができないおそれがある。

本発明は、このような状況に鑑みてなされたものであり、対象画像に対する複数の候補画像を、ユーザにとって閲覧しやすい形態で表示させることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、特定対象の物体の像を含む画像を、対象画像として取得する対象画像取得手段と、前記対象画像取得手段により取得された前記対象画像と類似する画像を、所定の記録手段に記録された複数の画像の中から候補画像として複数検索する候補画像検索手段と、前記候補画像検索手段により検索された前記複数の候補画像からなる候補画像群を表示手段に表示させる表示制御手段と、前記表示手段に表示される前記候補画像群の中から所定の画像を特定する特定手段と、前記特定手段により前記所定の画像が特定された場合、前記表示手段に表示される前記候補画像群に含まれる前記複数の候補画像のサイズを変更して前記表示手段に表示させる表示変更手段と、を備えることを特徴とする。

本発明によれば、対象画像に対する複数の候補画像を、ユーザにとって閲覧しやすい形態で表示させることができる。

本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 図１の画像処理装置の機能的構成のうち、植物比較画像表示処理を実行するための機能的構成を示す機能ブロック図である。 図２の機能ブロック図のうち、候補画像記憶部の構造例を示す図である。 図１の画像処理装置が出力する画面イメージを示す図である。 図２の機能ブロック図のうち、候補画像スコア算出部が決定したスコアに基づいて、候補画像抽出部が抽出した候補画像のデータのデータ構造を示す図である 図１の画像処理装置が出力する画面イメージであって、候補画像の表示数とサイズの設定を変更して生成した表示画像への画面遷移を示す図である。 図１の画像処理装置が出力する画面イメージであって、次の順位のスコアの候補画像を採用するように変更して生成した表示画像への画面遷移を示す図である。 図２の機能ブロック図のうち、候補画像スコア算出部が決定したスコアに基づいて、候補画像抽出部が抽出した候補画像のデータのデータ構造を示す図である 図２の機能的構成を有する図１の画像処理装置が実行する植物比較画像表示処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えばいわゆるスマートフォンとして構成される。

画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体の像が入射される。そこで、光電変換素子は、被写体の像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。なお、ここでいう各種釦等には、ハードウェア釦のみならず、出力部１８の画面に表示されるソフトウェア釦も含まれる。即ち、入力部１７は、出力部１８のディスプレイに積層されるタッチパネルも含むように構成されている。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

図２は、このような画像処理装置１の機能的構成のうち、植物比較画像表示処理を実行するための機能的構成を示す機能ブロック図である。
植物比較画像表示処理とは、画像処理装置１が、ユーザが種類を特定したい被写体の画像のデータを取得し、予め用意された複数の撮像画像のデータのうち、ユーザが種類を特定した被写体が含まれている可能性のある撮像画像のデータを抽出して、当該撮像画像を、その可能性の程度に応じて閲覧しやすいように表示するまでの一連の処理をいう。
本実施形態では、ユーザが種類を特定したい被写体を含む撮像画像が「対象画像」と呼ばれ、予め用意された複数の撮像画像のうち、ユーザが種類を特定したい被写体が含まれている可能性のある撮像画像が「候補画像」と呼ばれる。

植物比較画像表示処理が実行される場合には、ＣＰＵ１１において、対象画像取得部４１と、候補画像検索部４２と、表示画像生成部４３と、表示制御部４４と、指定操作検出部４５と、が機能する。また、入力部１７は、後述する指定部１７１として機能し、記憶部１９の一領域には、候補画像記憶部５１が設けられる。

対象画像取得部４１は、例えば撮像部１６から出力される撮像画像のデータを、対象画像のデータとして取得する。
対象画像に含まれる被写体は、特に限定されないが、本実施形態では「花」であるものとする。即ち、ユーザは、画像処理装置１を操作して、種類等を特定したい花を被写体として撮影する。すると、撮像部１６からは、当該花の像を含む撮像画像のデータが出力される。対象画像取得部４１は、当該撮像画像のデータを対象画像のデータとして取得する。
対象画像のデータは、候補画像検索部４２及び表示画像生成部４３にそれぞれ供給される。

なお、図２の例では、対象画像のデータの供給元は、撮像部１６とされているが、特にこれに限定されず、任意でよい。例えば、対象画像取得部４１は、インターネット等のネットワーク上の他の装置に保持されている画像のデータを、通信部２０を介して対象画像のデータとして取得することができる。また例えば、対象画像取得部４１は、リムーバブルメディア３１に記憶されている画像のデータを、ドライブ２１を介して対象画像のデータとして取得することができる。

候補画像検索部４２は、対象画像のデータが対象画像取得部４１から供給されると、候補画像記憶部５１を検索対象として、対象画像と同一種類の花の像を含む可能性が高い画像のデータを、候補画像のデータとして検索する。
本実施形態では、候補画像記憶部５１は、各種各様の花の像をそれぞれ含んでいる多数の画像のデータを予め記憶している。このため、候補画像検索部４２は、候補画像記憶部５１を検索対象として、検索対象から１以上の候補画像のデータを検索する。

図３は、候補画像検索部４２の検索対象となる候補画像記憶部５１の記憶内容を示している。
図３のテーブルにおいて、１行は１つの画像のデータに対応している。
即ち、所定の行の「ＩＤ」の項目には、当該所定の行に対応する画像のデータのＩＤが示されている。所定の行の「画像のデータ」の項目には、当該所定の行に対応する画像のデータの名称が示されている。所定の行の「メタデータ」の項目には、当該所定の行に対応する画像のデータに関連付けられたメタデータの内容が示されている。
例えば、図３のテーブルの１行目は、「ＩＤ」として「００１」を有し、「名称」が「００１．ｊｐｇ」である画像のデータであって、その「メタデータ」の内容が「パンジー、スミレ科、夏」である画像のデータを示している。

図２に戻り、候補画像検索部４２は、このような候補画像記憶部５１から候補画像のデータを検索して抽出すべく、類似度算出部４２１と、候補画像抽出部４２２と、を有している。

類似度算出部４２１は、候補画像記憶部５１に予め記憶されている全ての画像のデータの各々について、対象画像と同一種類の花の像が含まれている可能性の指標値としてのスコアを、対象画像との類似度に基づいて算出する。

具体的には例えば本実施形態では、類似度算出部４２１は、対象画像のデータから複数種類の特徴量を抽出して、複数種類毎に特徴量マップをそれぞれ作成する。次に、類似度算出部４２１は、複数種類毎の特徴量マップを統合することで、顕著性マップを生成する。ここで、顕著性マップの生成手法としては、例えば、Ｔｒｅｉｓｍａｎの特徴統合理論や、Ｉｔｔｉ及びＫｏｃｈらによる顕著性マップを適用することができる。
類似度算出部４２１は、顕著性マップを用いて、対象画像の中から、人間の視覚的注意を引く可能性の高い注目点領域を推定し、当該注目点領域を主要被写体（ここでは花）の領域として特定する。
候補画像記憶部５１に予め記憶されている全ての画像のデータについても同様に、花の領域がそれぞれ特定される。ただし、その特定のタイミングは特に限定されず、対象画像についての推定直前又は直後でもよいが、本実施形態では予め特定されており、その特定結果が候補画像記憶部５１に予め記憶されているものとする。
そして、類似度算出部４２１は、候補画像記憶部５１に予め記憶されている各画像のデータの各々を処理対象に順次設定する。類似度算出部４２１は、候補画像と処理対象の各々の花の領域を、形態等に着目して比較することで候補画像のデータに対する処理対象の画像のデータの類似度を表すスコアを算出する。ここで、形態とは、形状、模様、若しくは色彩、又はそれらの組み合わせをいう。
即ち、候補画像記憶部５１に予め記憶されている各画像のデータの各々について、候補画像に対する類似度がスコアとしてそれぞれ算出される。

なお、スコアは、対象画像と同一種類の花の像が含まれている可能性を判断するために指標となる値であれば足り、その算出手法は特に限定されない。
ただし、本実施形態では、比較元の対象画像と、比較相手の候補画像記憶部５１内の画像との各々から特徴量を抽出し、各々の特徴量に基づいてスコアを算出する、といった手法が採用されている。

候補画像抽出部４２２は、後述の表示画像生成部４３から通知された設定条件と、類似度算出部４２１により算出されたスコアとに基づいて、候補画像記憶部５１に記憶されている多数の画像のデータの中から、候補画像のデータを検索して抽出する。
候補画像抽出部４２２により抽出された候補画像のデータは、表示画像生成部４３に供給される。

表示画像生成部４３は、対象画像と複数の候補画像とを含んで構成される表示画像のデータを生成し、表示制御部４４に供給する。
表示制御部４４は、表示画像生成部４３から供給されたデータに基づいて、表示画像を出力部１８のディスプレイに表示させる制御を実行する。

図４は、出力部１８のディスプレイに表示された表示画像の一例を示している。
本実施形態の表示画像Ｇには、図４に示すように、表示領域Ａ１と、表示領域Ａ２とが設けられている。
表示領域Ａ１には、対象画像ｔｇが表示される。
表示領域Ａ２には、１以上の候補画像、図４の例では６枚の候補画像ｋｇ１乃至候補画像ｋｇ６が表示される。

図２に戻り、表示画像生成部４３は、このような図４の表示画像Ｇ等のデータを生成すべく、表示変更部４３１と、データ生成部４３２と、を有している。

表示変更部４３１は、先ず、図４の表示領域Ａ２の表示対象となる候補画像を特定するための設定条件、即ち表示の変更対象となる設定条件を決定する。
設定条件の種類は、特に限定されないが、本実施形態では、表示領域Ａ２に表示させる候補画像の枚数（以下、「表示数」と呼ぶ）、表示領域Ａ２に表示させる候補画像の解像度（以下、「表示サイズ」と呼ぶ）、及び表示領域Ａ２に表示させる候補画像（以下、「表示対象の画像」と呼ぶ）が存在するものとする。
データ生成部４３２は、表示変更部４３１により決定された設定条件に従って、図４の表示画像Ｇ等のデータを生成する。

具体的には例えば、表示変更部４３１が、表示数が「６」であり、表示サイズが大中小のうちの「小」であり、表示対象の画像が「スコアが上位６位までの候補画像」である、といった設定条件を決定したものとする。
この場合、データ生成部４３２は、当該設定条件を受けて、「スコアが上位６位までの候補画像」の抽出を候補画像抽出部４２２に指示する。

候補画像抽出部４２２は、データ生成部４３２からの指示に従って、スコアが上位６位までの画像のデータを、候補画像のデータとして候補画像記憶部５１から抽出する。
より具体的には、類似度算出部４２１の算出結果として、図５に示すようなテーブルが候補画像抽出部４２２に供給されているものとする。
図５は、類似度算出部４２１の算出結果の一例を示す図である。
図５のテーブルにおいて、「ＩＤ」の項目には、候補画像記憶部５１に記憶されている画像のデータのＩＤ、即ち図３に示すＩＤが格納される。なお、図５に示すＩＤは、説明の便宜上、図４並びに後述の図６及び図７に示す候補画像に付された符号に対応している。また、「スコア」の項目には、類似度算出部４２１により算出されたスコア、具体的には図４の対象画像ｔｇに対するスコアが格納されている。
例えば、図５のテーブルの１行目は、「ＩＤ」として「ｋｇ１」を有する画像（図４の候補画像ｇｂ１に相当）のデータについて、その「スコア」が「９８」であることを示している。
なお、スコアは高得点であるほど、対象画像ｔｇと同一の花の領域を含む可能性が高い（花の領域が対象画像ｔｇと類似している）ことを表しているものとする。また、図５のテーブルは、スコアが高い順に格納されているものとする。
候補画像抽出部４２２は、図５のテーブルを参照して、スコアが上位６位までの画像、即ち同図の例では候補画像ｋｇ１乃至候補画像ｋｇ６のデータを、候補画像のデータとして候補画像記憶部５１から抽出して、データ生成部４３２に供給する。

データ生成部４３２は、図４に示す表示画像Ｇ、即ち対象画像ｔｇを表示領域Ａ１に配置させ、「スコアが上位６位までの候補画像」である「６」枚の候補画像ｋｇ１乃至候補画像ｋｇ６を「小」サイズで表示領域Ａ２に配置させた表示画像Ｇのデータを生成する。
これにより、表示制御部４４の制御により出力部１８のディスプレイには、図４に示す表示画像Ｇが表示される。

ユーザは、図４に示す表示画像Ｇをみながら、対象画像ｔｇに写る花と、候補画像ｋｇ１乃至候補画像ｋｇ６の各々に写る６つの花の各々とを比較することが容易にできる。
そして、ユーザは、対象画像ｔｇとは明らかに異なる種類の花が写っている候補画像、例えば候補画像ｋｇ５を発見したとき、図６に示すように、入力部１７を用いて、当該候補画像ｋｇ５を表示領域Ａ２から排除せよという指示操作をすることができる。
このとき、入力部１７は、表示領域Ａ２に表示される候補画像の中から排除対象の画像（ここでは候補画像ｋｇ５）をユーザ操作により指定する指定部１７１として機能する。
なお以下、このように候補画像を表示領域Ａ２から排除するために入力部１７に対してなされる指示操作を、「画像排除操作」と呼ぶ。画像排除操作の仕方は、特に限定されないが、例えば入力部１７がタッチパネルを含むならば、排除対象の候補画像（図６の例では候補画像ｋｇ５）を指等でタッチし、そのタッチ状態を維持したまま指等を画面の外に向けて移動させる操作、即ちいわゆるフリック操作を、画像排除操作として採用することができる。即ち、指定部１７１は、画像排除操作がなされると、排除対象の候補画像をＣＰＵ１１に対して指定する。

図６は、画像排除操作がなされたときの表示画像の更新の様子の一例を示す図である。
図６（ａ）は、更新前の表示画像の一例として、図４と同一の表示画像を示している。
図６（ｂ）は、更新後の表示画像の一例を示している。
以下、図６（ａ）の表示画像Ｇ１から図６（ｂ）の表示画像Ｇ２に更新されるまでの流れについて説明する。

図２の指定操作検出部４５は、ユーザにより入力部１７に対する指示操作がなされると、その操作内容を解析することで、いかなる指示操作がなされたのかを検出する。例えば、指定操作検出部４５は、上述のフリック操作がなされたとき、最初に指等がタッチされた座標から、排除対象の候補画像ｋｇ５を特定し、フリック操作が画面の外に向けて行われたことから、画像排除操作がなされたと検出する。
換言すると、指定部１７１は、最初に指等がタッチされた座標を指定操作検出部４５に通知することで、排除対象の候補画像ｋｇ５を指定する。指定操作検出部４５は、この指定を受けて、排除対象として候補画像ｋｇ５を指定するための画像排除操作がなされたと検出する。
指定操作検出部４５は、その検出結果、即ちここでは画像排除操作がなされたという検出結果を表示画像生成部４３に通知する。

表示変更部４３１は、例えば、表示数が「６」であり、表示サイズが大中小のうちの「小」であり、表示対象の画像が「排除対象の候補画像を除く、スコアが上位７位までの候補画像」である、といった設定条件を決定する。
この場合、データ生成部４３２は、当該設定条件を受けて、「排除対象の候補画像を除く、スコアが上位７位までの候補画像」の抽出を候補画像抽出部４２２に指示する。

候補画像抽出部４２２は、図５のテーブルを参照して、排除対象の候補画像ｋｇ５を除く、スコアが上位７位までの画像、即ち同図の例では候補画像ｋｇ１乃至候補画像ｋｇ４，候補画像ｋｇ６，候補画像ｋｇ７のデータを、候補画像のデータとして候補画像記憶部５１から抽出して、データ生成部４３２に供給する。

データ生成部４３２は、図６（ｂ）に示す表示画像Ｇ２、即ち対象画像ｔｇを表示領域Ａ１に配置させ、「排除対象の候補画像を除く、スコアが上位７位までの候補画像」である「６」枚の候補画像ｋｇ１乃至候補画像ｋｇ４，候補画像ｋｇ６，候補画像ｋｇ７を「小」サイズで表示領域Ａ２に配置させた表示画像Ｇ２のデータを生成する。
これにより、表示制御部４４の制御により、出力部１８のディスプレイにおいては図６（ａ）に示す表示画像Ｇ１から図６（ｂ）に示す表示画像Ｇ２に表示が更新される。

換言すると、表示変更部４３１は、指定部１７１により排除対象の候補画像が指定操作検出部４５を介して指定されると、当該排除対象の候補画像の代わりに、表示領域Ａ２に表示されている候補画像ｋｇ１乃至ｋｇ６内の最低のスコア（類似度）＝上位６位に対して、次点のスコア（類似度）＝上位７位のスコアを有する画像ｋｇ７を候補画像の１つとして表示領域Ａ２に表示させるように、表示画像を変更する。

このようにして、対象画像とは明らかに異なる候補画像を排除するための画像排除操作がなされると、排除対象の候補画像が表示画像から排除されるのみならず、画像排除操作前には表示されていなかった次点のスコアを有する画像が候補画像の１つとして表示されるように、表示画像が更新される。これにより、ユーザは、当該次点の候補画像を対象画像との新たな比較対象とすることができるので、より精度の高い比較を行うことが可能になる。
ただし、次点の候補画像のデータが、かなり低スコアであるために対象画像のデータとは明らかに異なることがユーザの判断を待つまでもなく事前に判断できたり、そもそも次点の候補画像のデータが存在しなかったりする場合がある。
このような場合には、図７に示すように、データ生成部４３２は、表示領域Ａ２に配置する候補画像の表示数を減少させ、その分だけ、残りの候補画像の表示サイズを大きくした表示画像のデータを生成してもよい。換言すると、表示変更部４３１は、表示領域Ａ２に表示されている候補画像の表示数を減少させ、その分だけ、残りの候補画像の表示サイズを拡大させるように、表示画像を変更する。

図７は、画像排除操作がなされたときの表示画像の更新の様子の一例を示す図であって、図６とは異なる例を示す図である。
図７（ａ）は、更新前の表示画像の一例を示している。
図７（ｂ）は、更新後の表示画像の一例を示している。
以下、図７（ａ）の表示画像Ｇ３から図７（ｂ）の表示画像Ｇ４に更新されるまでの流れについて説明する。

図７（ａ）の更新前の表示画像においては、表示領域Ａ１には対象画像ｔｇが配置され、表示領域Ａ２には、スコアが上位１位乃至５位までの５枚の候補画像ｋｇ１乃至候補画像ｋｇ５がそれぞれ配置されている。
即ち、図７（ａ）の更新前の表示画像のデータは、図６（ａ）のものとは異なる設定条件で生成されている。
また、類似度算出部４２１の算出結果として、図５とは異なる図８に示すようなテーブルが候補画像抽出部４２２に供給されているものとする。
図８は、類似度算出部４２１の算出結果の一例であって、図５とは異なる例を示す図である。
図８のテーブル構成は、図５のものと同様なので、ここではその説明は省略する。ただし、上位５位までの候補画像ｋｇ１乃至候補画像ｋｇ５の各スコアは、図５と図８で同一であるが、候補画像ｋｇ６のスコアのみが図５と図８とで異なっている。この理由は、図８の候補画像ｋｇ６には、図５のものとは異なる種類の花の領域が含まれているという前提が異なるからである。

このような前提の下、ユーザが入力部１７を用いて画像排除操作をしたものとする。
この場合、図２の指定部１７１は、排除対象の候補画像ｋｇ５を指定する。指定操作検出部４５は、この指定を受けて、候補画像ｋｇ５に対する画像排除操作がなされたと検出する。指定操作検出部４５は、その検出結果、即ちここでは画像排除操作がなされたという検出結果を表示画像生成部４３に通知する。

表示変更部４３１は、図８のテーブルを参照して、次点（上位６位）の画像ｇ６のスコアが「６５」と低いため、当該画像ｇ６を候補画像としては採用せず、その結果、表示数を減らして「４」として、その分だけ表示サイズを拡大して「中」として、表示対象の画像を「スコアが上位４位までの候補画像」とする、といった設定条件を決定する。
この場合、データ生成部４３２は、当該設定条件を受けて、「スコアが上位４位までの候補画像」の抽出を候補画像抽出部４２２に指示する。

候補画像抽出部４２２は、図８のテーブルを参照して、スコアが上位４位までの画像、即ち同図の例では候補画像ｋｇ１乃至候補画像ｋｇ４のデータを候補画像記憶部５１から抽出して、データ生成部４３２に供給する。

データ生成部４３２は、図７（ｂ）に示す表示画像Ｇ４、即ち対象画像ｔｇを表示領域Ａ１に配置させ、「スコアが上位４位までの候補画像」である「４」枚の候補画像ｋｇ１乃至候補画像ｋｇ４を「中」サイズで表示領域Ａ２に配置させた表示画像Ｇ４のデータを生成する。
これにより、表示制御部４４の制御により、出力部１８のディスプレイにおいては図７（ａ）に示す表示画像Ｇ３から図７（ｂ）に示す表示画像Ｇ４に表示が更新される。

換言すると、表示変更部４３１は、指定部１７１により排除対象の候補画像が指定操作検出部４５を介して指定された場合、次点のスコア（類似度）が閾値未満か若しくは次点の類似度を有する画像のデータが候補画像記憶部５１に存在しないときには、表示領域Ａ２に表示されている候補画像のサイズを拡大させるように、表示画像を変更する。

このようにして、対象画像とは明らかに異なる候補画像を排除するための画像排除操作がなされたが、次点の候補画像が存在しない等の場合には、当該候補画像が表示画像から排除されて表示数が減少し、その分だけ、残りの候補画像が拡大されて表示されるようになる。即ち、対象画像と同一の花の領域を含む可能性が高い候補画像が残ったことになる。これにより、ユーザは、対象画像と同一の花の領域を含む可能性が高い候補画像の拡大表示をみながら、対象画像と比較することができるので、より精度の高い比較を行うことが可能になる。

なお、ユーザは、表示画像をみながら、対象画像と同一の花が写っていると確信できる候補画像を発見したとき、入力部１７を用いて、当該候補画像に写っている花の種類が、対象画像に写っている花の種類であると決定する、という指示操作をすることができる。
なお以下、このように所定の１枚の候補画像が、対象画像と同一種類の花が写っている画像であると決定するために入力部１７に対してなされる指示操作を、「画像決定操作」と呼ぶ。画像決定操作の仕方は、特に限定されないが、例えば入力部１７がタッチパネルを含むならば、決定対象の候補画像に対して指等によるタッチ操作を２回連続して繰り返す操作、即ちダブルタップ操作を、画像決定操作として採用することができる。

この場合、表示変更部４３１は、例えば、表示数が「１」であり、表示サイズが大中小のうちの「大」であり、表示対象の画像が「画像決定操作がされた候補画像」である、といった設定条件を決定する。
データ生成部４３２は、当該設定条件を受けて、「画像決定操作がされた候補画像」の抽出を候補画像抽出部４２２に指示する。
候補画像抽出部４２２は、画像決定操作がされた候補画像のデータを候補画像記憶部５１から抽出して、データ生成部４３２に供給する。
データ生成部４３２は、対象画像ｔｇを表示領域Ａ１に配置させ、画像決定操作がされた候補画像を「大」サイズで表示領域Ａ２に配置させた表示画像のデータを生成する。
ここで、データ生成部４３２は、画像決定操作がされた候補画像のデータのメタデータの内容（図３参照）もあわせて、表示領域Ａ２等に表示させるように、表示画像のデータを生成することができる。このようなメタデータの内容は、候補画像に写る花（＝対象画像に写る花）の種類等の詳細を示すものである。したがって、このような表示画像を、他のものと区別すべく、以下、「詳細表示用の表示画像」と呼ぶ。
これにより、表示制御部４４の制御により、出力部１８のディスプレイには、詳細表示用の表示画像が表示される。
ユーザは、このような詳細表示用の表示画像をみることで、対象画像に写る花について、その種類等の詳細を容易に認識することができるようになる。

次に、図９を参照して、以上説明した図２の機能的構成の画像処理装置１が実行する植物比較画像表示処理について説明する。
図９は、植物比較画像表示処理の流れを説明するフローチャートである。
処理は、本実施形態では、ユーザが入力部１７を用いて所定の操作をした場合、その操作を契機として開始される。

ステップＳ１において、対象画像取得部４１は、例えば撮像部１６から出力された撮像画像のデータを、対象画像のデータとして取得する。

ステップＳ２において、類似度算出部４２１は、ステップＳ１の処理で取得された対象画像の特徴量に基づいて、各候補画像のスコアを算出する。より正確には、候補画像記憶部５１に記憶された各画像（候補画像になり得る画像）のデータについて、対象画像に対するスコアが算出される。

ステップＳ３において、表示変更部４３１は、各候補画像のスコアに基づいて、表示画像の表示領域Ａ２の表示対象の画像となる候補画像の設定条件を決定する。ここで、本実施形態では設定条件として、表示数、表示サイズ、及び表示対象の画像が設定される。即ち、ステップＳ３の処理では、ステップＳ２のスコアの算出結果に基づいて、表示数、表示サイズ、及び表示対象の画像の初期設定がなされる。

ステップＳ４において、候補画像抽出部４２２は、表示変更部４３１により決定された設定条件に基づいて、複数の候補画像のデータを候補画像記憶部５１から抽出する。

ステップＳ５において、データ生成部４３２は、対象画像のデータ、抽出された候補画像のデータ、及び表示変更部４３１により決定された設定条件に基づいて、表示画像のデータを生成する。

ステップＳ６において、表示制御部４４は、出力部１８のディスプレイに、表示画像を表示させる。

ステップＳ７において、指定操作検出部４５は、入力部１７に対する指示操作がなされたか否かを判定する。
入力部１７に対するユーザの指示操作が何らなされていない場合には、ステップＳ７においてＮＯであると判定されて、処理はステップＳ６に戻され、それ以降の処理が繰り返される。即ち、ユーザによる何らかの指示操作がなされるまでの間、ステップＳ６及びＳ７（ＮＯ）のループ処理が繰り返し実行されて、表示画像は更新されずに、植物比較画像表示処理は待機状態になる。
その後、入力部１７に対してユーザによる何らかの指示操作がなされると、ステップＳ７においてＹＥＳであると判定され、植物比較画像表示処理はステップＳ８に進む。

ステップＳ８において、指定操作検出部４５は、指示操作は画像決定操作であるか否かを判定する。
画像決定操作である場合には、ステップＳ８においてＹＥＳであると判定されて、処理はステップＳ１４に進む。ただし、ステップＳ１４以降の処理については後述する。
これに対して、画像決定操作でない場合には、ステップＳ８においてＮＯであると判定されて、植物比較画像表示処理はステップＳ９に進む。

ステップＳ９において、指定操作検出部４５は、指示操作は画像排除操作であるか否かを判定する。
画像排除操作でない場合には、ステップＳ９においてＮＯであると判定されて、植物比較画像表示処理はステップＳ６に戻され、それ以降の処理が繰り返される。
これに対して、画像排除操作である場合には、ステップＳ９においてＹＥＳであると判定されて、植物比較画像表示処理はステップＳ１０に進む。

ステップＳ１０において、候補画像検索部４２は、他に候補画像があるか否か、即ち、候補画像記憶部５１に未だ抽出されていない画像のデータがあるか否かを判定する。

他に候補画像が無い場合、ステップＳ１０においてＮＯであると判定されて、植物比較画像表示処理はステップＳ１２に進む。
ステップＳ１２において、表示変更部４３１は、候補画像の表示数とサイズの設定を変更する。
これにより植物比較画像表示処理はステップＳ４に戻され、それ以降の処理が繰り返される。即ち、表示数とサイズの設定が変更された設定条件に基づいて、複数の候補画像のデータが抽出され（ステップＳ４）、対象画像が表示領域Ａ１に配置され、表示数とサイズが変更された候補画像が表示領域Ａ２に配置された表示画像のデータが生成され（ステップＳ５）、当該表示画像が表示される（ステップＳ６）。

これに対して、他に候補画像がある場合、即ち候補画像記憶部５１に未だ抽出されていない画像のデータがある場合、ステップＳ１０においてＹＥＳであると判定されて、植物比較画像表示処理はステップＳ１１に進む。
ステップＳ１１において、表示変更部４３１は、次の順位のスコア、即ち候補画像記憶部５１において未だ抽出されていない各画像のデータのスコアの中で最高位のスコアが、閾値以上か否かを判定する。

次の順位のスコアが閾値未満の場合、即ち、候補画像記憶部５１において未だ抽出されていない各画像のデータのスコアが閾値未満とあまりに低すぎて、これらの各画像には対象画像と同一種類の花が写っていないと判断できる場合、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ１２に進む。
この場合も、ステップＳ１２において、候補画像の表示数とサイズの設定が変更された後、植物比較画像表示処理はステップＳ４に戻され、それ以降の処理が繰り返される。即ち、表示数とサイズの設定が変更された設定条件に基づいて、複数の候補画像のデータが抽出され（ステップＳ４）、対象画像が表示領域Ａ１に配置され、表示数とサイズが変更された候補画像が表示領域Ａ２に配置された表示画像のデータが生成され（ステップＳ５）、当該表示画像が表示される（ステップＳ６）。

これに対して、次の順位のスコアが閾値以上の場合、ステップＳ１１においてＹＥＳであると判定されて、植物比較画像表示処理はステップＳ１３に進む。
ステップＳ１３において、表示変更部４３１は、候補画像の表示対象の画像の設定を、例えば排除操作がなされた候補画像の代わりに、次の順位のスコアの候補画像を採用するというように変更する。
これにより植物比較画像表示処理はステップＳ４に戻され、それ以降の処理が繰り返される。即ち、表示対象の画像が変更された設定条件に基づいて、複数の候補画像のデータが抽出され（ステップＳ４）、対象画像が表示領域Ａ１に配置され、排除操作がなされた候補画像の代わりに抽出された次の順位のスコアの候補画像を含む、複数の候補画像が表示領域Ａ２に配置された表示画像のデータが生成され（ステップＳ５）、当該表示画像が表示される（ステップＳ６）。

以上、指定操作検出部４５により検出された指示操作が画像排除操作であった場合の一連の植物比較画像表示処理、即ち、ステップＳ７においてＹＥＳであると判定された後に、ステップＳ８においてＮＯであると判定されて、ステップＳ９においてＹＥＳであると判定された場合の植物比較画像表示処理について説明した。
次に、指定操作検出部４５により検出された指示操作が画像決定操作であった場合の一連の植物比較画像表示処理、即ち、ステップＳ７においてＹＥＳであると判定された後に、ステップＳ８においてＹＥＳであると判定された場合の植物比較画像表示処理について説明する。

ステップＳ８においてＹＥＳであると判定されると、植物比較画像表示処理はステップＳ１４に進む。

ステップＳ１４において、データ生成部４３２は、詳細表示用の表示画像のデータを生成する。具体的には、表示領域Ａ１に対象画像が配置され、表示領域Ａ２に、画像決定操作がなされた候補画像及びそのメタデータの内容が配置された表示画像のデータが、詳細表示用の表示画像のデータとして生成される。

ステップＳ１５において、表示制御部４４は、出力部１８のディスプレイに、詳細表示用の表示画像を表示させる。
これにより、植物比較画像表示処理は終了となる。

以上のような植物比較画像表示処理を実行する画像処理装置１は、対象画像取得部４１と、候補画像検索部４２と、表示制御部４４と、指定操作検出部４５と、表示変更部４３１と、を備える。
対象画像取得部４１は、特定対象の物体の像を含む画像のデータを、対象画像のデータとして取得する。
候補画像検索部４２は、対象画像と類似する画像のデータを、候補画像記憶部５１の複数の画像のデータの中から候補画像のデータとして検索する。
表示制御部４４は、対象画像取得部４１により取得されたデータにより表される対象画像を、出力部１８のディスプレイに映る表示画像のうち、表示領域Ａ１に表示させる。
表示制御部４４は、さらに、対象画像取得部４１により取得された対象画像のデータと、候補画像検索部４２により抽出された１以上の候補画像のデータとに基づいて、候補画像を、出力部１８のディスプレイに映る表示画像のうち、表示領域Ａ２に表示させる。
入力部１７においては、表示領域Ａ２に表示される候補画像の中から排除対象をユーザ操作により指定する指定部１７１が機能する。
表示変更部４３１は、指定操作検出部４５を介して指定部１７１により排除対象が指定されると、表示領域Ａ２における、表示数、サイズ、及び表示対象のうち少なくとも一部を変更する。
これにより、画像処理装置１は、対象画像に対する複数の候補画像を、ユーザにとって閲覧しやすい形態で表示させることができるようになる。

また、候補画像検索部４２は、類似度算出部４２１を有する。
類似度算出部４２１は、対象画像に含まれる花の像に対する、候補画像記憶部５１に記録された複数の画像の各々に含まれる花の像の類似度を、スコアという形態でそれぞれ求める。
候補画像検索部４２は、類似度算出部４２１により複数の候補画像毎に算出されたスコアに基づいて、候補画像記憶部５１に記録された複数の画像のデータの中から、候補画像のデータを検索する。
このように、画像処理装置１は、対象画像と類似する花、即ち対象画像と同一種類の可能性が高い花の画像を候補画像として優先的に表示することで、ユーザにとって閲覧しやすい形態で表示させている。

また、表示変更部４３１は、指定部１７１により排除対象が指定された場合、当該排除対象の代わりに、更新前の表示画像の表示領域Ａ２に表示されている候補画像の内の最低のスコアに対して、次点のスコアを有する画像を表示領域Ａ２に表示させるように、表示画像を変更する。
このように、画像処理装置１は、排除対象となった候補画像を除外して、次に類似する花の画像を候補画像として表示することで、ユーザにとって閲覧しやすい形態で表示させるようにしている。

この場合さらに、表示変更部４３１は、排除対象が指定された場合、次点のスコアが閾値以上であるときには、排除対象の代わりに次点の類似度を有する画像を候補画像として表示領域Ａ２に表示させるように、表示画像を変更する。一方、表示変更部４３１は、次点のスコアが閾値未満か若しくは次点のスコアを有する画像のデータが候補画像記憶部５１に存在しないときには、表示領域Ａ２に表示されている候補画像のサイズを拡大させるように、表示画像を変更する。
このように、画像処理装置１は、対象画像と類似する花を含むか否かに応じて、候補画像の表示形態を、ユーザにとって閲覧しやすい形態で変更させて表示させるようにしている。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、対象画像や候補画像の被写体が花であるとして説明したが、特にこれに限られず、形態の観点で同一種類か否かの判断が可能なものであれば足り、例えば花以外の植物、動物、人物、自動車等各種各様のものを採用することができる。

また、上述の実施形態では、本発明が適用される画像処理装置１は、候補画像の表示数とサイズを変更する処理と、次の順位のスコアの候補画像を採用するように変更する処理と、を双方とも行っているが、それぞれの処理を独立して行い、他方の処理を行わないようにすることができる。
例えば、表示変更部４３１は、指定操作検出部４５により排除対象が指定された場合、スコア（類似度）の大小とは無関係に、表示画像の表示領域Ａ２に表示されている候補画像のサイズを拡大させるように変更してもよい。この場合、画像処理装置１は、排除対象の候補画像を除いて、それ以外の候補画像を拡大して表示することで、ユーザにとって閲覧しやすい形態で表示させることができる。

また、上述の実施形態では、候補画像検索部４２と候補画像記憶部５１とを画像処理装置１に備えているように構成するが、特にこれに限られず、画像処理装置１以外に備えることができる。例えば、画像処理装置１が、通信部２０を介して、候補画像検索部４２と候補画像記憶部５１とを備えたサーバに、対象画像を送信し、当該サーバから候補画像のデータをそのスコアと共に受信してもよい。

また、上述の実施形態では、表示変更部４３１が、排除対象が指定された場合に、候補画像を特定するための設定条件を決定するが、類似度算出部４２１の算出結果に応じて、当初の設定条件を決定してもよい。具体的には、当初の類似度算出部４２１の算出結果に基づく、上位の候補画像において、スコアの差が閾値以下である場合には、似ている画像を比較し易いように当初より「４」枚の候補画像を「中」サイズで表示することができる。

また、上述の実施形態では、類似度算出部４２１が、対象画像のデータから複数種類の特徴量を抽出して、スコアを算出するが、被写体の類似性を示すスコアを算出できるものであれば足り、例えば、対象画像に伴うメタデータと、候補画像記憶部に記憶されるメタデータとのテキストの類似性に基づいて、スコアを算出することもできる。

また、上述の実施形態では、設定条件は、表示数、表示サイズ、表示対象の画像を挙げるが、これに限られるものではなく、例えば、画像を表示する位置、画像のメタデータの表示有無、等を設定することができる。また、候補画像によって統一的に設定されるものではなく、候補画像ごとに表示サイズが異なるようにそれぞれの候補画像ごとに異なって設定してもよい。

また、上述の実施形態では、本発明が適用される画像処理装置１は、スマートフォンを例として説明したが、特にこれに限定されない。
例えば、本発明は、電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他のさまざまな実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
特定対象の物体の像を含む画像を、対象画像として取得する対象画像取得手段と、
前記対象画像取得手段により取得された対象画像と類似する画像を、所定の記録手段に記録された複数の画像の中から候補画像として検索する候補画像検索手段と、
前記対象画像取得手段により取得された前記対象画像を所定の表示手段の第１領域に表示させる第１の表示制御手段と、
前記対象画像取得手段により取得された前記対象画像と前記候補画像検索手段により検索された候補画像とに基づいて、前記所定の表示手段の第２領域に前記候補画像を表示させる第２の表示制御手段と、
前記第２領域に表示される候補画像の中から排除対象の画像をユーザ操作により指定する指定手段と、
前記指定手段により排除対象が指定されると、前記第２領域における表示数、サイズ、及び表示対象の画像のうち少なくとも一部を変更する表示変更手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記候補画像検索手段は、
前記対象画像に含まれる前記物体の像と、前記所定の記録手段に記録された前記複数の画像の各々に含まれる物体の像との類似度を算出する類似度算出手段を含み、
前記類似度算出手段により算出された類似度に基づいて、前記所定の記録手段に記録された前記複数の画像の中から、候補画像を検索する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記表示変更手段は、前記指定手段により排除対象の画像が指定されると、当該排除対象の画像の代わりに、前記第２領域に表示されている候補画像内の最低の類似度に対して、次点の類似度を有する画像を前記第２領域に候補画像の１つとして表示させるように変更する、
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記表示変更手段は、
前記次点の類似度が閾値以上であるときには、前記排除対象の画像の代わりに当該次点の類似度を有する画像を候補画像の１つとして前記第２領域に表示させるように変更させ、
前記次点の類似度が前記閾値未満か若しくは前記次点の類似度を有する画像が存在しないときには、前記第２領域に表示されている候補画像のサイズを拡大させるように変更する、
ことを特徴とする付記３に記載の画像処理装置。
［付記５］
前記表示変更手段は、前記指定手段により排除対象の画像が指定されると、前記第２領域に表示されている候補画像のサイズを拡大させるよう変更する、
ことを特徴とする付記１に記載の画像処理装置。
［付記６］
画像処理装置が実行する画像処理方法において、
特定対象の物体の像を含む画像を、対象画像として取得する対象画像取得ステップと、
前記対象画像取得ステップにより取得された対象画像と類似する画像を、所定の記録手段に記録された複数の画像の中から候補画像として検索する候補画像検索ステップと、
前記対象画像取得ステップにより取得された前記対象画像を所定の表示手段の第１領域に表示させる第１の表示制御ステップと、
前記対象画像取得ステップにより取得された前記対象画像と前記候補画像検索ステップにより検索された候補画像とに基づいて、前記所定の表示手段の第２領域に前記候補画像を表示させる第２の表示制御ステップと、
前記第２領域に表示される候補画像の中から排除対象の画像をユーザ操作により指定する指定ステップと、
前記指定ステップにより排除対象が指定されると、前記第２領域における表示数、サイズ、及び表示対象の画像のうち少なくとも一部を変更する表示変更ステップと
を含むことを特徴とする画像処理方法。
［付記７］
画像処理の制御を実行するコンピュータを、
特定対象の物体の像を含む画像を、対象画像として取得する対象画像取得手段、
前記対象画像取得手段により取得された対象画像と類似する画像を、所定の記録手段に記録された複数の画像の中から候補画像として検索する候補画像検索手段、
前記対象画像取得手段により取得された前記対象画像を所定の表示手段の第１領域に表示させる第１の表示制御手段、
前記対象画像取得手段により取得された前記対象画像と前記候補画像検索手段により検索された候補画像とに基づいて、前記所定の表示手段の第２領域に前記候補画像を表示させる第２の表示制御手段、
前記第２領域に表示される候補画像の中から排除対象の画像をユーザ操作により指定する指定手段、
前記指定手段により排除対象が指定されると、前記第２領域における表示数、サイズ、及び表示対象の画像のうち少なくとも一部を変更する表示変更手段
として機能させることを特徴とするプログラム。

１・・・画像処理装置，１１・・・ＣＰＵ，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，３１・・・リムーバブルメディア，４１・・・対象画像取得部，４２・・・候補画像検索部，４３・・・表示画像生成部，４４・・・表示制御部，４５・・・指示操作検出部，５１・・・画像候補記憶部，１９１・・・指定部，４２１・・・候補画像スコア算出部，４２２・・・候補画像抽出部，４３１・・・設定条件決定部，４３２・・・データ生成部

上記目的を達成するため、本発明の一態様の画像処理装置は、
特定対象の物体の像を含む画像を対象画像として取得する対象画像取得手段と、
前記対象画像取得手段により取得された前記対象画像と類似する複数の画像を候補画像群として取得する候補画像取得手段と、
前記候補画像取得手段により取得された前記候補画像群を構成する複数の候補画像を表示手段に表示させる表示制御手段と、
前記表示手段に表示されている前記複数の候補画像の中から、ユーザ操作に基づいて所定の画像を特定する特定手段と、
前記特定手段により前記所定の画像が特定された場合、当該所定の画像を非表示にすべき画像とするとともに、前記表示手段に表示されている当該所定の画像とは異なる候補画像の表示態様を変更させて前記表示手段に表示させる表示変更手段と、
を備えることを特徴とする。

Claims (11)

1. 特定対象の物体の像を含む画像を、対象画像として取得する対象画像取得手段と、
   前記対象画像取得手段により取得された前記対象画像と類似する画像を、所定の記録手段に記録された複数の画像の中から候補画像として複数検索する候補画像検索手段と、
   前記候補画像検索手段により検索された前記複数の候補画像からなる候補画像群を表示手段に表示させる表示制御手段と、
   前記表示手段に表示される前記候補画像群の中から所定の画像を特定する特定手段と、
   前記特定手段により前記所定の画像が特定された場合、前記表示手段に表示される前記候補画像群に含まれる前記複数の候補画像のサイズを変更して前記表示手段に表示させる表示変更手段と、
   を備えることを特徴とする画像処理装置。
2. 前記特定手段により、前記所定の画像が特定された場合に、前記所定の画像を前記表示手段に表示される前記候補画像群から排除する排除手段、
   を更に備え、
   前記表示変更手段は、前記排除手段により前記候補画像群から前記所定の画像が排除された場合、前記表示手段に表示される前記候補画像群に含まれる前記複数の候補画像のサイズを変更して前記表示手段に表示させる、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記候補画像検索手段は、
   前記対象画像に含まれる前記物体の像と、前記所定の記録手段に記録された前記複数の画像の各々に含まれる物体の像との類似度を算出する類似度算出手段を含み、
   前記類似度算出手段により算出された類似度に基づいて、前記所定の記録手段に記録された前記複数の画像の中から、候補画像を検索する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記表示変更手段は、前記排除手段により前記所定の画像が排除されると、当該所定の画像の代わりに、前記表示手段に表示されている前記候補画像群内の候補画像の最低の類似度に対して、次点の類似度を有する画像を前記表示手段に候補画像の１つとして表示させるように変更する、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記表示変更手段は、前記排除手段により前記所定の画像が排除され、当該所定の画像の代わりに、前記表示手段に表示されている前記候補画像内の最低の類似度に対して、次点の類似度を有する画像が存在しない、又は当該時点の類似度が所定の閾値未満の場合、所定の前記表示手段に表示されている前記候補画像のサイズを拡大させるように変更する、
   ことを特徴とする請求項２から４の何れか１項に記載の画像処理装置。
6. 前記表示変更手段は、前記特定手段により前記所定の画像が特定された場合、前記表示手段に表示される前記候補画像群の表示画像数、各候補画像のサイズ、及び表示対象の前記候補画像を変更して前記表示手段に表示させる、
   ことを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. 前記特定手段は、前記表示手段に表示される前記候補画像群の中から所定の画像をユーザ操作により特定する、
   ことを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
8. 前記表示制御手段は、前記対象画像を前記表示手段の第１領域に表示させる第１の表示制御手段を更に備え、
   前記候補画像群を前記表示手段の第２領域に表示させる、
   ことを特徴とする請求項１から７の何れか１項に記載の画像処理装置。
9. 前記特定対象の物体は、植物、動物、人物、及び自動車の何れかの種類の物体を含む、
   ことを特徴とする請求項１から８の何れか１項に記載の画像処理装置。
10. 特定対象の物体の像を含む画像を、対象画像として取得する対象画像取得ステップと、
    前記対象画像取得ステップにより取得された前記対象画像と類似する画像を、所定の記録手段に記録された複数の画像の中から候補画像として複数検索する候補画像検索ステップと、
    前記候補画像検索ステップにより検索された前記複数の候補画像からなる候補画像群を表示手段に表示させる表示制御ステップと、
    前記表示手段に表示される前記候補画像群の中から所定の画像を特定する特定ステップと、
    前記特定ステップにより前記所定の画像が特定された場合、前記表示手段に表示される前記候補画像群に含まれる前記複数の候補画像のサイズを変更して前記表示手段に表示させる表示変更ステップと、
    を含むことを特徴とする画像処理方法。
11. コンピューターを、
    特定対象の物体の像を含む画像を、対象画像として取得する対象画像取得手段、
    前記対象画像取得手段により取得された前記対象画像と類似する画像を、所定の記録手段に記録された複数の画像の中から候補画像として複数検索する候補画像検索手段、
    前記候補画像検索手段により検索された前記複数の候補画像からなる候補画像群を表示手段に表示させる表示制御手段、
    前記表示手段に表示される前記候補画像群の中から所定の画像を特定する特定手段、
    前記特定手段により前記所定の画像が特定された場合、前記表示手段に表示される前記候補画像群に含まれる前記複数の候補画像のサイズを変更して前記表示手段に表示させる表示変更手段、
    として機能させることを特徴とするプログラム。

Images