JP2018173734A - 画像表示プログラム、画像表示装置および画像表示方法 - Google Patents

Abstract

【課題】 画像にラベルを付与する際に、過去のラベル付け結果との矛盾の発生を抑止する。【解決手段】 画像表示装置は、特徴量算出部、第１画像特定部、第２画像特定部および表示部を有する。特徴量算出部は、入力画像から複数種類の特徴量を算出する。第１画像特定部は、画像に対応付けて画像の種別を示す情報と画像から算出した複数種類の特徴量とを記憶する記憶部を参照して、種別のうち第１の種別と対応付けられた画像のうち入力画像に最も類似する第１の画像を特定する。第２画像特定部は、特徴量の種類によって定められる特徴空間上において、記憶部に記憶されている複数の画像のうち、第１の種別と対応付けられており、入力画像および第１の画像と所定の位置関係にある第２の画像を特定する。表示部は、第１の種別を示す情報と第１の画像と第２の画像と入力画像とを含む画面を表示する。【選択図】 図１

Description

本発明は、画像表示プログラム、画像表示装置および画像表示方法に関する。

タグを対応付けてデータをデータベースに登録するシステムでは、データベースにデータを新規に登録する際に、データに対応付けるタグの候補を表示するタグ候補選定方法が提案されている（例えば、特許文献１参照）。この種の方法では、データベースに既に登録されている複数の登録済データと新規に登録する新規データとの類似度を算出し、新規データに類似する登録済データに対応付けられたタグを、新規データに対応付けるタグの候補として表示する。

また、データの特徴を表す複数種の特徴量を用いてデータ間の類似度を算出するシステムでは、複数種の特徴量間に重みを付ける方法が提案されている（例えば、特許文献２参照）。

また、画像の辞書を生成する画像辞書生成装置では、画像に付与される意味ラベルを予め用意された学習画像の特徴量に基づいてより細かなトピックに分割することにより、画像辞書の精度を向上させる方法が提案されている（例えば、特許文献３参照）。

特開２００７−２７２３９０号公報 特開２００４−１３３０７号公報 特開２０１４−１１５７３７号公報

検査対象の物体が撮像された画像を解析して良品と不良品とを判別する判別システムでは、画像から抽出される特徴量と予め設定された閾値とを比較し、比較結果に基づいて良品か不良品かを判定する。閾値は、例えば、良品が撮像された良品画像か不良品が撮像された不良品画像かが予め識別された複数の画像から抽出される特徴量に基づいて設定される。

例えば、検査対象の物体を良品と不良品とに分類する閾値を設定する検査員等のオペレータは、検査対象の物体が撮像された複数の画像を目視して、良品画像と不良品画像とに分類する。そして、オペレータは、良品画像または不良品画像等の画像の種別を示す情報（以下、ラベルとも称する）を画像に付与するラベル付けを実行する。

閾値の設定に使用する画像の数を増やすことにより、設定される閾値の信頼度は向上するが、ラベル付けの対象となる画像の数も増加する。ラベル付けの対象となる画像の数が増加すると、オペレータがラベルを画像に付与する際に、オペレータによる過去のラベル付け結果と矛盾が発生するおそれがある。すなわち、誤ったラベルが画像に付与される場合がある。誤ったラベルが付与された画像を含む複数の画像を使用して閾値を設定した場合、閾値の信頼度は低下する。

なお、データベース等に画像を新規に登録する際に、画像に付与するラベルの候補を表示する方法では、画像に付与するラベルの候補として表示されるラベルが登録済みのどのような画像に付与されたかを確認することは困難である。このため、オペレータがラベルを画像に付与する際に、オペレータにより過去のラベル付け結果と矛盾が発生するおそれがある。

１つの側面では、本発明は、画像にラベルを付与する際に、過去のラベル付け結果との矛盾の発生を抑止することを目的とする。

１つの実施態様では、画像表示装置は、特徴量算出部、第１画像特定部、第２画像特定部および表示部を有する。特徴量算出部は、入力画像から複数種類の特徴量を算出する。第１画像特定部は、画像に対応付けて画像の種別を示す情報と画像から算出した複数種類の特徴量とを記憶する記憶部を参照して、種別のうち第１の種別と対応付けられた画像のうち入力画像に最も類似する第１の画像を特定する。第２画像特定部は、特徴量の種類によって定められる特徴空間上において、記憶部に記憶されている複数の画像のうち、第１の種別と対応付けられており、入力画像および第１の画像と所定の位置関係にある第２の画像を特定する。表示部は、第１の種別を示す情報と第１の画像と第２の画像と入力画像とを含む画面を表示する。

１つの側面では、本発明は、画像にラベルを付与する際に、過去のラベル付け結果との矛盾の発生を抑止することができる。

画像表示プログラム、画像表示装置および画像表示方法の一実施形態を示す図である。 図１に示した画像表示装置の動作の一例を示す図である。 画像表示プログラム、画像表示装置および画像表示方法の別の実施形態を示す図である。 図３に示した特徴量データベースの一例を示す図である。 図３に示した類似度算出部の動作の一例を示す図である。 図３に示した第１画像特定部および第２画像特定部の動作の一例を示す図である。 図３に示した表示部の動作の一例を示す図である。 図３に示した画像表示装置の動作の一例を示す図である。 画像表示プログラム、画像表示装置および画像表示方法の別の実施形態を示す図である。 図９に示した第２画像特定部の動作の一例を示す図である。 図９に示した画像表示装置の動作の一例を示す図である。 画像表示プログラム、画像表示装置および画像表示方法の別の実施形態を示す図である。 図１２に示した第２画像特定部の動作の一例を示す図である。 画像表示プログラム、画像表示装置および画像表示方法の別の実施形態を示す図である。 図１４に示した第３画像特定部の動作の一例を示す図である。 図１４に示した表示部の動作の一例を示す図である。 図１４に示した画像表示装置の動作の一例を示す図である。

以下、実施形態について、図面を用いて説明する。以下では、画像そのもの、および画像を表示するための画像データは、特に区別せずに、画像と称される。

図１は、画像表示プログラム、画像表示装置および画像表示方法の一実施形態を示す。図１に示す画像表示装置２００は、例えば、検査員等のオペレータが画像ＩＭＧの種別（例えば、良品、不良品等）を示すラベルを画像ＩＭＧに付与する際に、過去のラベル付け結果との矛盾の発生を抑止するための画像表示処理を実行する。ラベルは、画像ＩＭＧの種別を示す情報の一例である。画像表示装置２００は、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。図１に示す例では、画像表示装置２００は、コンピュータ１０が画像表示プログラムＤＰＲＧを実行することにより、実現される。

例えば、コンピュータ１０は、ＣＰＵ（Central Processing Unit）等のプロセッサ２０、メモリ３０、ハードディスク装置４０、入力インタフェース５０、出力インタフェース６０およびドライブ装置７０を有する。プロセッサ２０、メモリ３０、ハードディスク装置４０、入力インタフェース５０、出力インタフェース６０およびドライブ装置７０は、バス８０に接続される。プロセッサ２０は、メモリ３０やハードディスク装置４０等に格納されるプログラムを実行する。入力インタフェース５０は、デジタルカメラ等の撮像装置９０から受ける画像ＩＭＧ、キーボード等の入力装置１００から受ける情報等をプロセッサ２０等に転送する。また、出力インタフェース６０は、プロセッサ２０によるプログラムの実行結果等を、ディスプレイ等の表示装置１１０に出力する。ドライブ装置７０は、コンピュータ１０により読み取り可能な記録媒体であるリムーバブルメディア１２０を装着可能であり、装着したリムーバブルメディア１２０に記録された情報の読み出しおよび記録を実行する。

画像表示装置２００は、メモリ３０に格納される画像表示プログラムＤＰＲＧをプロセッサ２０が実行することにより、実現される。画像表示装置２００は、撮像装置９０で撮像された画像ＩＭＧ等の入力画像ＩＭＧｉにラベルを付与する際、入力画像ＩＭＧｉと一緒に表示装置１１０に表示する参照画像ＩＭＧｒを既にラベルを付与した画像ＩＭＧから選択する。ラベル付けされた画像ＩＭＧは、例えば、メモリ３０に格納される。また、メモリ３０は、画像ＩＭＧの種別を示す情報と画像ＩＭＧの特徴を表す複数種類の特徴量とを画像ＩＭＧに対応付けて記憶する。メモリ３０は、記憶部の一例である。なお、ラベル付けされた画像ＩＭＧ等は、ハードディスク装置４０に記憶されてもよい。この場合、ハードディスク装置４０も、記憶部の一例である。

例えば、画像表示装置２００は、特徴量算出部２１０、第１画像特定部２２０、第２画像特定部２３０および表示部２４０を有する。

特徴量算出部２１０は、例えば、撮像装置９０から入力インタフェース５０を介して入力画像ＩＭＧｉを受ける。あるいは、特徴量算出部２１０は、メモリ３０等から入力画像ＩＭＧｉを受けてもよい。そして、特徴量算出部２１０は、入力画像ＩＭＧｉと予め撮像された背景画像との異なる部分を抽出する背景差分法等により入力画像ＩＭＧｉから検査対象となる物体を抽出し、抽出した物体の特徴を表す複数種類の特徴量を抽出する。背景画像は、検査対象となる物体のない状態の画像である。このように、特徴量算出部２１０は、入力画像ＩＭＧｉから複数種類の特徴量を算出する。

特徴量算出部２１０が入力画像ＩＭＧｉから抽出する複数種類の特徴量は、例えば、「高木幹雄、下田陽久：新編 画像解析ハンドブック、東京大学出版会、2004.」などに記載されている形状特徴、テクスチャ特徴、色特徴等であり、予め決められている。形状特徴は、面積、周囲長、円形度、最大長、幅等であり、テクスチャ特徴は、輝度ヒストグラム、エッジ密度、同時生起行列の統計量、フーリエ変換のパワースペクトル等であり、色特徴は、色ヒストグラム等である。なお、入力画像ＩＭＧｉから抽出する特徴量の種類は、上述の例に限定されない。また、入力画像ＩＭＧｉから物体を抽出する方法は、背景差分法に限定されない。

第１画像特定部２２０は、画像ＩＭＧの種別を示すラベルと画像ＩＭＧから算出した複数種類の特徴量とを既にラベル付けされた画像ＩＭＧに対応付けて記憶するメモリ３０を参照して、入力画像ＩＭＧｉと既にラベル付けされた画像ＩＭＧとの類似度を算出する。例えば、第１画像特定部２２０は、入力画像ＩＭＧｉから算出した特徴量と既にラベル付けされた画像ＩＭＧの特徴量とを比較して、入力画像ＩＭＧｉと既にラベル付けされた画像ＩＭＧとの類似度を算出する。そして、第１画像特定部２２０は、画像ＩＭＧの複数の種別の１つを第１の種別として選択し、選択した第１の種別を示すラベルが付与された画像ＩＭＧのうち、入力画像ＩＭＧｉに特徴が最も類似する第１の画像ＩＭＧを特定する。

このように、第１画像特定部２２０は、画像ＩＭＧの種別のうちの第１の種別と対応付けられた画像ＩＭＧのうち、入力画像ＩＭＧｉに最も類似する第１の画像ＩＭＧを特定する。第１の画像ＩＭＧの特定および後述する第２の画像ＩＭＧの特定は、画像ＩＭＧの種別毎に実行される。

第２画像特定部２３０は、メモリ３０に記憶されている複数の画像ＩＭＧのうち、第１の種別と対応付けられており、特徴空間上において入力画像ＩＭＧｉおよび第１の画像ＩＭＧと所定の位置関係にある第２の画像ＩＭＧを特定する。特徴空間は、特徴量算出部２１０で算出される特徴量の各種類を軸とする座標空間である。例えば、特徴量の種類が大きさと明るさの２つの場合、特徴空間は、２次元であり、図２の括弧内に示すように、大きさを示す横軸および明るさを示す縦軸を有する。このように、特徴空間は、特徴量の種類によって定められる。なお、第２画像特定部２３０の動作の詳細は、図２で説明する。第１の画像ＩＭＧおよび第２の画像ＩＭＧは、入力画像ＩＭＧｉと一緒に表示装置１１０に表示する参照画像ＩＭＧｒである。以下、第１の画像ＩＭＧおよび第２の画像ＩＭＧは、参照画像ＩＭＧｒと同じ符号が使用される場合もある。また、第１の画像ＩＭＧおよび第２の画像ＩＭＧは、参照画像ＩＭＧｒと称される場合もある。

表示部２４０は、第１の種別を示す情報と第１の画像ＩＭＧと第２の画像ＩＭＧと入力画像ＩＭＧｉとを含む画面を表示装置１１０に表示する。例えば、表示部２４０は、入力画像ＩＭＧｉと参照画像ＩＭＧｒと参照画像ＩＭＧｒのラベルとを含む情報ＰＩＮＦを、出力インタフェース６０を介して表示装置１１０に出力する。これにより、入力画像ＩＭＧｉ、参照画像ＩＭＧｒ、参照画像ＩＭＧｒのラベルが表示装置１１０に表示される。

なお、画像表示装置２００およびコンピュータ１０の構成は、図１に示す例に限定されない。例えば、画像表示プログラムＤＰＲＧは、ＣＤ−ＲＯＭ（Compact Disc Read only memory）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等のリムーバブルメディア１２０に格納されてもよい。この場合、リムーバブルメディア１２０に格納された画像表示プログラムＤＰＲＧは、ドライブ装置７０を介してリムーバブルメディア１２０からメモリ３０に転送される。また、画像表示プログラムＤＰＲＧは、リムーバブルメディア１２０からハードディスク装置４０に転送された後、メモリ３０に転送されてもよい。

あるいは、コンピュータ１０は、画像表示プログラムＤＰＲＧ等のアプリケーションプログラムを、インターネット等のネットワークに接続する通信装置（図示せず）を介してダウンロードし、メモリ３０やハードディスク装置４０に格納してもよい。また、コンピュータ１０は、ネットワークに接続する通信装置を介して撮像装置９０から画像ＩＭＧを取得してもよい。また、例えば、コンピュータ１０は、ドライブ装置７０が省かれてもよい。また、例えば、コンピュータ１０は、ハードディスク装置４０の代わりにＳＳＤ（Solid State Drive）等を有してもよい。

図２は、図１に示した画像表示装置２００の動作の一例を示す。なお、図２は、特徴量の種類が大きさと明るさの２種類の場合の画像表示装置２００の動作の一例を示す。図２に示す動作は、コンピュータ１０により実行される画像表示方法の一態様である。また、図２に示す動作をコンピュータ１０に実行させるためのプログラムは、画像表示プログラムの一態様である。なお、図２に示す動作は、ハードウェアのみで実現されてもよい。ステップＳ１００からステップＳ７００までの一連の処理は、画像表示装置２００が入力画像ＩＭＧｉを受ける度に実行される。また、図２の括弧内に示すグラフは、第１の画像ＩＭＧおよび第２の画像ＩＭＧを特定する処理（ステップＳ４００、Ｓ５００の処理）の概要を示す。図２に示すグラフの横軸は、物体の大きさを示し、縦軸は、物体の明るさを示す。また、図２に示す網掛けの四角形は、種別ａ（例えば、良品）を示すラベルが既に付与された画像ＩＭＧａを示し、三角形は、種別ｂ（例えば、不良品）を示すラベルが既に付与された画像ＩＭＧｂを示し、星形は、ラベルの付与対象である入力画像ＩＭＧｉを示す。なお、画像ＩＭＧの種別の数および特徴量の種類は２つに限定されない。画像ＩＭＧａ、ＩＭＧｂは、例えば、メモリ３０に記憶される。

ステップＳ１００では、特徴量算出部２１０は、図１で説明したように、入力画像ＩＭＧｉの特徴量（図２に示す例では、大きさおよび明るさ）を算出する。これにより、入力画像ＩＭＧｉは、図２の括弧内に示すように、大きさを示す横軸および明るさを示す縦軸を有する特徴空間上に配置される。

次に、ステップＳ２００では、第１画像特定部２２０は、入力画像ＩＭＧｉの特徴量と他の画像ＩＭＧａ、ＩＭＧｂの特徴量とを比較して、入力画像ＩＭＧｉと他の画像ＩＭＧａ、ＩＭＧｂとの類似度を他の画像ＩＭＧａ、ＩＭＧｂ毎に算出する。類似度は、特徴量間の距離で表される。図２に示すベクトルＶ（Ｖａ１、Ｖａ２、Ｖａｊ）は、特徴空間上における入力画像ＩＭＧｉの位置を始点とした場合の対象の画像ＩＭＧ（ＩＭＧａ１、ＩＭＧａ２、ＩＭＧａｊ）の位置を示す。したがって、入力画像ＩＭＧｉの特徴量と対象の画像ＩＭＧの特徴量との間の距離は、ベクトルＶの大きさで表される。例えば、入力画像ＩＭＧｉの特徴量と画像ＩＭＧａ１の特徴量との間の距離は、ベクトルＶａ１の大きさ（＝｜Ｖａ１｜）で表される。

次に、ステップＳ３００では、第１画像特定部２２０は、画像ＩＭＧの複数の種別の１つを第１の種別に設定する。例えば、第１画像特定部２２０は、種別ａおよび種別ｂの一方を第１の種別に設定する。

次に、ステップＳ４００では、第１画像特定部２２０は、第１の種別と対応付けられた画像ＩＭＧのうち、入力画像ＩＭＧｉに最も類似する第１の画像ＩＭＧを特定する。２つの画像ＩＭＧの類似度は、２つの画像ＩＭＧの特徴量間の距離が短いほど高い。したがって、図２に示す例では、ステップＳ３００で設定された第１の種別が種別ａの場合、第１画像特定部２２０は、種別ａの画像ＩＭＧａのうち、ベクトルＶａの大きさが最も小さい画像ＩＭＧａ１を、第１の画像ＩＭＧに特定する。

次に、ステップＳ５００では、第２画像特定部２３０は、第１の種別と対応付けられた画像ＩＭＧのうち、入力画像ＩＭＧｉおよび第１の画像ＩＭＧと所定の位置関係にある第２の画像ＩＭＧを特定する。図２に示す例では、所定の位置関係は、特徴空間上における入力画像ＩＭＧｉの位置を始点とした場合の第１の画像ＩＭＧの位置を示すベクトルＶに直交またはほぼ直交するベクトルＶで示される位置関係である。

例えば、第２画像特定部２３０は、始点が入力画像ＩＭＧｉで終点が第１の画像ＩＭＧａ１であるベクトルＶａ１に直交するベクトルＶａ２で示される画像ＩＭＧａ２を、第２の画像ＩＭＧに特定する。なお、第２画像特定部２３０は、ベクトルＶａ１に直交するベクトルＶａで示される画像ＩＭＧａを複数抽出した場合、抽出した複数の画像ＩＭＧａのうち、入力画像ＩＭＧｉに最も近い位置の画像ＩＭＧａを第２の画像ＩＭＧに特定する。

なお、所定の位置関係は、第１の画像ＩＭＧの位置を示すベクトルＶに直交またはほぼ直交するベクトルＶで示される位置関係に限定されない。例えば、所定の位置関係は、特徴空間上における第１の画像ＩＭＧとの距離が所定の第１の距離以上でもよい。この場合、第２画像特定部２３０は、特徴空間上における第１の画像ＩＭＧとの距離が所定の第１の距離以上の画像ＩＭＧのうち、入力画像ＩＭＧｉに最も近い位置の画像ＩＭＧを第２の画像ＩＭＧに特定する。

ステップＳ４００、Ｓ５００の処理により、ステップＳ３００で設定した第１の種別に対応付けられた画像ＩＭＧのうち、入力画像ＩＭＧｉと一緒に表示装置１１０に表示する参照画像ＩＭＧｒ（第１の画像ＩＭＧおよび第２の画像ＩＭＧ）が特定される。

次に、ステップＳ６００では、画像表示装置２００は、画像ＩＭＧの全ての種別を探索したか否かを判定する。画像ＩＭＧの全ての種別を探索した場合、画像表示装置２００の動作は、ステップＳ７００に移る。

一方、探索されていない種別が存在する場合、画像表示装置２００の動作は、ステップＳ３００に戻る。例えば、種別ａおよび種別ｂのうちの種別ｂでの参照画像ＩＭＧｒの探索が実行されていない場合、画像表示装置２００は、ステップＳ３００において、種別ｂを第１の種別に設定する。これにより、種別ｂの画像ＩＭＧｂに対してステップＳ４００、Ｓ５００の処理が実行され、画像ＩＭＧｂ１、ＩＭＧｂ２が参照画像ＩＭＧｒとして特定される。

ステップＳ７００では、表示部２４０は、第１の種別（種別ａおよび種別ｂ）、第１の画像ＩＭＧａ１、ＩＭＧｂ１、第２の画像ＩＭＧａ２、ＩＭＧｂ２および入力画像ＩＭＧｉを含む画面を表示装置１１０に表示する。なお、画像ＩＭＧａ１、ＩＭＧａ２、ＩＭＧｂ１、ＩＭＧｂ２は、それぞれがどの種別の画像ＩＭＧかを識別できるように表示される。ステップＳ７００の処理の終了により、１つの入力画像ＩＭＧｉに対する画像表示装置２００の動作は終了する。

このように、図２に示す動作では、画像ＩＭＧａｊは、画像ＩＭＧａ２に比べて入力画像ＩＭＧｉに類似するが、入力画像ＩＭＧｉおよび第１の画像ＩＭＧとの位置関係が所定の位置関係を満たしていないため、参照画像ＩＭＧｒとして選択されない。画像ＩＭＧａｊが画像ＩＭＧａ１に類似する画像ＩＭＧａであるため、画像ＩＭＧａ１を表示した場合、オペレータがラベルを入力画像ＩＭＧｉに付与する際に判断するための情報は、画像ＩＭＧａｊを表示しても表示しなくてもほとんど変わらない。

これに対し、画像表示装置２００は、画像ＩＭＧａｊの代わりに、所定の位置関係を満たす画像ＩＭＧａ２を入力画像ＩＭＧｉと一緒に表示する。例えば、特徴空間上において互いに直交するベクトルＶａを有する画像ＩＭＧａ１、ＩＭＧａ２が参照画像ＩＭＧｒとして選択されるため、各参照画像ＩＭＧｒ（第１の画像ＩＭＧおよび第２の画像ＩＭＧ）間では、入力画像ＩＭＧｉに類似する特徴量が異なる。

これにより、例えば、画像ＩＭＧａ１、ＩＭＧａｊ、ＩＭＧｂ１、ＩＭＧｂ２を参照画像ＩＭＧｒとして選択する場合に比べて、各参照画像ＩＭＧｒ間で入力画像ＩＭＧｉに類似する特徴量のバリエーションを増加させることができる。各参照画像ＩＭＧｒ間で入力画像ＩＭＧｉに類似する特徴量のバリエーションが増加するほど、オペレータは、過去のラベル付け画像ＩＭＧと入力画像ＩＭＧｉとを容易に比較できる。例えば、各参照画像ＩＭＧｒ間で入力画像ＩＭＧｉに類似する特徴量のバリエーションが増加するほど、オペレータは、各参照画像ＩＭＧｒと入力画像ＩＭＧｉとの比較を異なる観点で実行できる。すなわち、画像表示装置２００は、画像ＩＭＧａ２を選択することで、画像ＩＭＧａ１、ＩＭＧａｊ、ＩＭＧｂ１、ＩＭＧｂ２を入力画像ＩＭＧｉと一緒に表示する場合に比べて、オペレータがラベルを入力画像ＩＭＧｉに付与するための有益な情報を提供できる。この結果、画像表示装置２００は、画像ＩＭＧａ１、ＩＭＧａｊ、ＩＭＧｂ１、ＩＭＧｂ２を入力画像ＩＭＧｉと一緒に表示する場合に比べて、過去のラベル付け結果との矛盾の発生を抑止できる。

なお、画像表示装置２００の動作は、図２に示す例に限定されない。例えば、画像表示装置２００は、各種別の第２の画像ＩＭＧを複数選択してもよい。この場合、第２画像特定部２３０は、入力画像ＩＭＧｉ、第１の画像ＩＭＧおよび既に特定した第２の画像ＩＭＧと所定の位置関係にある画像ＩＭＧのうち、入力画像ＩＭＧｉに最も類似する画像ＩＭＧを第２の画像ＩＭＧに特定する処理を繰り返してもよい。所定の位置関係が第１の画像ＩＭＧの位置を示すベクトルＶに直交またはほぼ直交するベクトルＶで示される位置関係である場合、第２の画像ＩＭＧを特定する処理は、特徴量の種類の数より１つ少ない数だけ繰り返されてもよい。また、所定の位置関係が特徴空間上における第１の画像ＩＭＧとの距離が所定の第１の距離以上である場合、第２の画像ＩＭＧを特定する処理は、所定数だけ繰り返されてもよい。

以上、図１および図２に示す実施形態では、画像表示装置２００は、入力画像ＩＭＧｉから複数種類の特徴量を算出する。また、画像表示装置２００は、画像ＩＭＧの種別を示す情報と画像ＩＭＧから算出した複数種類の特徴量とを画像ＩＭＧに対応付けて記憶するメモリ３０等を参照する。そして、画像表示装置２００は、画像ＩＭＧの種別のうち第１の種別と対応付けられた画像ＩＭＧのうち、入力画像ＩＭＧｉに最も類似する第１の画像ＩＭＧを特定する。画像表示装置２００は、特徴量の種類によって定められる特徴空間上において、メモリ３０等に記憶されている複数の画像ＩＭＧのうち、第１の種別の画像ＩＭＧで、入力画像ＩＭＧｉおよび第１の画像ＩＭＧと所定の位置関係にある第２の画像ＩＭＧを特定する。そして、画像表示装置２００は、第１の種別を示す情報と第１の画像ＩＭＧと第２の画像ＩＭＧと入力画像ＩＭＧｉとを含む画面を表示する。

これにより、入力画像ＩＭＧｉとの比較を互いに異なる観点で実行可能な第１の画像ＩＭＧおよび第２の画像ＩＭＧが入力画像ＩＭＧｉと一緒に表示装置１１０に表示される。この結果、画像ＩＭＧにラベルを付与する際に、過去のラベル付け結果（既にラベル付けされた画像ＩＭＧのラベル付け結果）との矛盾の発生を抑止することができる。

図３は、画像表示プログラム、画像表示装置および画像表示方法の別の実施形態を示す。図１および図２で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図３に示す画像表示装置２０２は、例えば、オペレータが画像ＩＭＧの種別を示すラベルを画像ＩＭＧに付与する際に、過去のラベル付け結果との矛盾の発生を抑止するための画像表示処理を実行する。画像表示装置２０２は、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。図３に示す例では、画像表示装置２０２は、コンピュータ１０が画像表示プログラムＤＰＲＧを実行することにより、実現される。例えば、コンピュータ１０は、プロセッサ２０、メモリ３０、ハードディスク装置４０、入力インタフェース５０、出力インタフェース６０およびドライブ装置７０を有する。メモリ３０およびハードディスク装置４０は、記憶部の一例である。

画像表示装置２０２は、例えば、メモリ３０に格納される画像表示プログラムＤＰＲＧをプロセッサ２０が実行することにより、実現される。例えば、ラベルを画像ＩＭＧに付与する処理装置は、画像表示装置２０２を実現するプロセッサ２０、メモリ３０、ハードディスク装置４０、入力インタフェース５０および出力インタフェース６０を有する。

画像表示装置２０２は、図１に示した第１画像特定部２２０および第２画像特定部２３０の代わりに第１画像特定部２２２および第２画像特定部２３２を有する。さらに、画像表示装置２０２では、類似度算出部２１２および登録部２５０が図１に示した画像表示装置２００に追加される。画像表示装置２０２のその他の構成は、図１に示した画像表示装置２００と同一または同様である。

例えば、画像表示装置２０２は、特徴量算出部２１０、類似度算出部２１２、第１画像特定部２２２、第２画像特定部２３２、表示部２４０および登録部２５０を有する。特徴量算出部２１０は、図１に示した特徴量算出部２１０と同一または同様である。例えば、特徴量算出部２１０は、入力画像ＩＭＧｉから複数種類の特徴量を算出する。

類似度算出部２１２は、既にラベル付けされた画像ＩＭＧの特徴量およびラベルが画像ＩＭＧに対応付けられて登録される特徴量データベースＣＤＢを参照して、入力画像ＩＭＧｉと既にラベル付けされた画像ＩＭＧとの類似度を算出する。特徴量データベースＣＤＢは、例えば、メモリ３０に保持される。また、メモリ３０は、画像ＩＭＧが登録される画像データベースＩＤＢを保持する。なお、特徴量データベースＣＤＢ、画像データベースＩＤＢ等は、ハードディスク装置４０に保持されてもよい。

例えば、類似度算出部２１２は、入力画像ＩＭＧｉから算出した特徴量と特徴量データベースＣＤＢに登録された特徴量とを比較して、入力画像ＩＭＧｉと画像データベースＩＤＢに登録された画像ＩＭＧ（既にラベル付けされた画像ＩＭＧ）との類似度を算出する。そして、類似度算出部２１２は、算出した類似度をメモリ３０等に記憶する。

第１画像特定部２２２は、入力画像ＩＭＧｉと既にラベル付けされた画像ＩＭＧとの類似度の算出が類似度算出部２１２で実行されることを除いて、図１に示した第１画像特定部２２０と同一または同様である。例えば、第１画像特定部２２２は、類似度算出部２１２が算出した類似度に基づいて、画像データベースＩＤＢに登録された画像ＩＭＧのうち、入力画像ＩＭＧｉに特徴が最も類似する第１の画像ＩＭＧを画像ＩＭＧの種別毎（ラベルの種類毎）に特定する。このように、第１画像特定部２２２は、画像ＩＭＧの種別のうちの第１の種別と対応付けられた画像ＩＭＧのうち、入力画像ＩＭＧｉに最も類似する第１の画像ＩＭＧを特定する。類似度算出部２１２および第１画像特定部２２２は、画像ＩＭＧの特徴量およびラベル等を記憶する記憶部を参照して、第１の種別と対応付けられた画像ＩＭＧのうち入力画像ＩＭＧｉに最も類似する第１の画像ＩＭＧを特定する第１画像特定部の一例である。

第２画像特定部２３２は、図１に示した第２画像特定部２３０と同一または同様である。例えば、第２画像特定部２３２は、画像データベースＩＤＢに登録された複数の画像ＩＭＧのうち、第１の種別と対応付けられており、特徴空間上において入力画像ＩＭＧｉおよび第１の画像ＩＭＧと所定の位置関係にある第２の画像ＩＭＧを特定する。なお、第２画像特定部２３２の動作の詳細は、図６で説明する。

表示部２４０は、図１に示した表示部２４０と同一または同様である。例えば、表示部２４０は、入力画像ＩＭＧｉと参照画像ＩＭＧｒ（第１の画像ＩＭＧ、第２の画像ＩＭＧ）と参照画像ＩＭＧｒのラベルとを含む情報ＰＩＮＦを、出力インタフェース６０を介して表示装置１１０に出力する。これにより、入力画像ＩＭＧｉ、参照画像ＩＭＧｒ、参照画像ＩＭＧｒのラベルが表示装置１１０に表示される。

このように、画像表示装置２０２は、撮像装置９０で撮像された画像ＩＭＧ等の入力画像ＩＭＧｉにラベルを付与する際、入力画像ＩＭＧｉと一緒に表示装置１１０に表示する参照画像ＩＭＧｒを既にラベル付けされた画像ＩＭＧから選択する。そして、オペレータは、表示装置１１０に表示された画像ＩＭＧを参照して、入力画像ＩＭＧｉにラベルを付与する。ラベル付けされた画像ＩＭＧの特徴量等の情報は、例えば、特徴量データベースＣＤＢに登録される。

例えば、登録部２５０は、オペレータによりラベル付けされた入力画像ＩＭＧｉのラベルを示す情報を、入力インタフェース５０を介して受ける。そして、登録部２５０は、入力画像ＩＭＧｉの特徴量およびラベルを入力画像ＩＭＧｉに対応付けて特徴量データベースＣＤＢに登録する。なお、入力画像ＩＭＧｉは、例えば、画像表示装置２０２が入力画像ＩＭＧｉを受ける際に、画像データベースＩＤＢに登録される。入力画像ＩＭＧｉの画像データベースＩＤＢへの登録は、登録部２５０により実行されてもよいし、登録部２５０以外のモジュールにより実行されてもよい。

なお、画像表示装置２０２およびコンピュータ１０の構成は、図３に示す例に限定されない。例えば、画像表示装置２０２は、登録部２５０を除いて定義されてもよい。この場合、例えば、ラベルを画像ＩＭＧに付与する処理装置は、登録部２５０を除いた画像表示装置２０２、登録部２５０、メモリ３０、ハードディスク装置４０、入力インタフェース５０および出力インタフェース６０を有する。

図４は、図３に示した特徴量データベースＣＤＢの一例を示す。特徴量データベースＣＤＢには、検査対象の物体の特徴を表す特徴量が抽出された画像ＩＭＧ毎に、ラベル番号、画像ファイル名および特徴量をそれぞれ示すデータが登録される。

ラベル番号は、画像ＩＭＧの種別を示すラベルに対応する番号である。例えば、同一のラベル番号は、同一の種別を示す。画像ファイル名は、特徴量の抽出に使用した画像ＩＭＧのファイル名であり、画像データベースＩＤＢに登録される画像ＩＭＧのファイル名と対応付けられる。特徴量は、画像ファイル名が示す画像ＩＭＧから抽出した物体の特徴を表す特徴量である。

図４に示す例では、形状特徴（物体の面積、周囲長等）およびテクスチャ特徴（エッジ密度、輝度ヒストグラム等）等が特徴量として特徴量データベースＣＤＢに登録される。

面積、周囲長、エッジ密度等は、それぞれ１つの要素を有する１次元の特徴量であり、輝度ヒストグラムは、複数の階級（要素）を有する多次元の特徴量である。画像表示装置２０２は、多次元の特徴量の各次元のデータ（例えば、度数）を１つの特徴量として扱う。図４に示す例では、輝度ヒストグラムは２５６次元の特徴量であり、各階級（１、２、３、・・・、２５６）の値が１つの特徴量として扱われる。なお、輝度ヒストグラムの階級の数は、２５６に限定されない。また、特徴量データベースＣＤＢに登録される項目は、図４に示す例に限定されない。

図５は、図３に示した類似度算出部２１２の動作の一例を示す。なお、図５は、特徴量の種類が特徴量１（例えば、エッジ密度）と特徴量２（例えば、面積）の２つの場合の類似度算出部２１２の動作の一例を示す。この場合、特徴空間は、２次元であり、特徴量１を示す横軸および特徴量２を示す縦軸を有する。図５に示す網掛けの四角形は、種別ａ（例えば、良品）を示すラベルが既に付与された画像ＩＭＧａを示し、三角形は、種別ｂ（例えば、不良品）を示すラベルが既に付与された画像ＩＭＧｂを示し、星形は、ラベルの付与対象である入力画像ＩＭＧｉを示す。図５では、入力画像ＩＭＧｉに付与されるラベルが種別ａを示すラベルか種別ｂを示すラベルかのいずれかである場合を例にして、類似度算出部２１２の動作を説明する。なお、画像ＩＭＧの種別の数および特徴量の種類は２つに限定されない。

類似度算出部２１２は、入力画像ＩＭＧｉの特徴量（特徴量算出部２１０が算出した特徴量）と特徴量データベースＣＤＢに登録された特徴量との類似度を、画像データベースＩＤＢに登録された画像ＩＭＧ（既にラベル付けされた画像ＩＭＧ）毎に算出する。類似度は、特徴空間上における入力画像ＩＭＧｉと類似度の算出対象の画像ＩＭＧ（ＩＭＧａ、ＩＭＧｂ）との距離ＤＩＳより表される。

距離ＤＩＳは、特徴空間上における入力画像ＩＭＧｉの座標（ｏ１、ｏ２）および類似度の算出対象の画像ＩＭＧの座標（ｃ１、ｃ２）を用いて、式（１）で表される。なお、符号ｏ１は、入力画像ＩＭＧｉの特徴量１の値であり、符号ｏ２は、入力画像ＩＭＧｉの特徴量２の値である。同様に、符号ｃ１は、類似度の算出対象の画像ＩＭＧの特徴量１の値であり、符号ｃ２は、類似度の算出対象の画像ＩＭＧの特徴量２の値である。また、符号＾はべき乗を示す。
ＤＩＳ＝√（（ｏ１−ｃ１）＾２＋（ｏ２−ｃ２）＾２） ‥（１）
なお、距離ＤＩＳは、値が小さくなるほど（特徴空間上における画像ＩＭＧ間の距離が短くなるほど）、類似度が高いことを示す。したがって、複数の画像ＩＭＧのうち、入力画像ＩＭＧｉに最も類似する画像ＩＭＧは、距離ＤＩＳが最小の画像ＩＭＧである。

また、画像ＩＭＧの特徴量の種類がｍ個（ｍは３以上の整数）の場合、距離ＤＩＳは、入力画像ＩＭＧｉの複数の特徴量の値ｏ１、ｏ２、…、ｏｍおよび類似度の算出対象の画像ＩＭＧの複数の特徴量の値ｃ１、ｃ２、…、ｃｍを用いて、式（２）で表される。
ＤＩＳ＝√((ｏ１−ｃ１)＾２＋(ｏ２−ｃ２)＾２＋…＋(ｏｍ−ｃｍ)＾２) ‥（２）
なお、この場合、特徴空間上における入力画像ＩＭＧｉの位置は、座標（ｏ１、ｏ２、…、ｏｍ）で表され、類似度の算出対象の画像ＩＭＧの位置は、座標（ｃ１、ｃ２、…、ｃｍ）で表される。このように、類似度算出部２１２は、特徴量の種類（多次元の特徴量を含む場合は、各次元を１つの種類として扱う）を軸とする特徴空間上における画像ＩＭＧ間の距離ＤＩＳを、類似度として算出する。なお、式（１）または式（２）を用いた距離ＤＩＳの算出では、各特徴量の重要性に応じた重みを特徴量の値（特徴空間における各軸の座標値）に付け、重みを付けた特徴量の値を、式（１）または式（２）に代入してもよい。

図６は、図３に示した第１画像特定部２２２および第２画像特定部２３２の動作の一例を示す。なお、図６は、特徴量の種類が特徴量１と特徴量２の２つで、画像ＩＭＧの種別の数が種別ａと種別ｂの２つの場合の第１画像特定部２２２および第２画像特定部２３２の動作の一例を示す。画像ＩＭＧの種別の数および特徴量の種類は２つに限定されない。図６に示す特徴空間は、図５に示した特徴空間と同じである。また、図６に示す網掛けの四角形、三角形、星形の意味は、図５と同じである。また、図６に示すベクトルＶ（Ｖａ１、Ｖａ２、Ｖａｊ、Ｖａｋ、Ｖｂ１、Ｖｂ２、Ｖｂｊ）は、特徴空間上における入力画像ＩＭＧｉの位置を始点とした場合の各画像ＩＭＧの位置を示す。したがって、ベクトルＶの大きさ（｜Ｖａ１｜等）は、特徴空間上における入力画像ＩＭＧｉと各画像ＩＭＧとの距離ＤＩＳを示す。また、図６に示す角度θ（θａ、θｂ、θｊ）は、第２の画像ＩＭＧを特定する際に探索される画像ＩＭＧの位置を示すベクトルＶと第１の画像ＩＭＧの位置を示すベクトルＶとのなす角を示す。

図６では、特徴空間上における入力画像ＩＭＧｉの位置を始点とした場合の第１の画像ＩＭＧの位置を示すベクトルＶに直交するベクトルＶで示される位置関係を所定の位置関係として、第１画像特定部２２２および第２画像特定部２３２の動作を説明する。

処理Ｐ１では、第１画像特定部２２２は、特徴空間に分布する種別ａの複数の画像ＩＭＧａ（図６に示す網掛けの四角形）のうち、入力画像ＩＭＧｉ（図６に示す星形）に最も近い画像ＩＭＧａ１を、種別ａの第１の画像ＩＭＧに特定する。図６に示す例では、ベクトルＶａ１の大きさ｜Ｖａ１｜は、ベクトルＶａ２の大きさ｜Ｖａ２｜およびベクトルＶａｊの大きさ｜Ｖａｊ｜より小さく、種別ａの複数の画像ＩＭＧａにそれぞれ対応するベクトルＶａの大きさのうち、最小である。すなわち、画像ＩＭＧａ１は、特徴空間に分布する種別ａの複数の画像ＩＭＧａのうち、入力画像ＩＭＧｉに最も類似する画像ＩＭＧである。

次に、処理Ｐ２では、第２画像特定部２３２は、種別ａの複数の画像ＩＭＧａのうち、第１の画像ＩＭＧａ１の位置を示すベクトルＶａ１に直交するベクトルＶａ２、Ｖａｋで示される画像ＩＭＧａ２、ＩＭＧａｋを抽出する。そして、第２画像特定部２３２は、ベクトルＶａ１に直交するベクトルＶａ２、Ｖａｋで示される複数の画像ＩＭＧａ２、ＩＭＧａｋのうち、入力画像ＩＭＧｉに最も近い画像ＩＭＧａ２を、種別ａの第２の画像ＩＭＧに特定する。ベクトルＶａ２の大きさ｜Ｖａ２｜は、ベクトルＶａｋの大きさ｜Ｖａｋ｜より小さい。すなわち、画像ＩＭＧａ２は、画像ＩＭＧａｋより、入力画像ＩＭＧｉに特徴が類似する。

このように、第２画像特定部２３２は、種別ａの複数の画像ＩＭＧａのうち、第１の画像ＩＭＧａ１の位置を示すベクトルＶａ１とのなす角が９０度のベクトルＶａ２、Ｖａｋで示される画像ＩＭＧａ２、ＩＭＧａｋを抽出する。そして、第２画像特定部２３２は、抽出した複数の画像ＩＭＧａ２、ＩＭＧａｋのうち、入力画像ＩＭＧｉに最も類似する画像ＩＭＧａ２を種別ａの第２の画像ＩＭＧに特定する。

ここで、２つのベクトルＶのなす角が９０度か否か、すなわち、２つのベクトルＶが直交するか否かは、２つのベクトルＶの内積が０になるか否かを判定することにより判定される。図６に示す例では、ベクトルＶａ１、Ｖａ２のなす角θａおよびベクトルＶａ１、Ｖａｋのなす角θａが９０度であるため、ベクトルＶａ１、Ｖａ２の内積Ｖａ１・Ｖａ２およびベクトルＶａ１、Ｖａｋの内積Ｖａ１・Ｖａｋが０である。このため、第２画像特定部２３２は、上述したように、第１の画像ＩＭＧａ１の位置を示すベクトルＶａ１に直交するベクトルＶａで示される画像ＩＭＧとして、画像ＩＭＧａ２、ＩＭＧａｋを抽出する。なお、２つのベクトルＶの内積は、後述する式（５）を用いて算出される。

このように、処理Ｐ２により、第２画像特定部２３２は、種別ａに対応付けられた画像ＩＭＧａのうち、特徴空間上において入力画像ＩＭＧｉおよび第１の画像ＩＭＧａ１と所定の位置関係にある画像ＩＭＧａ２を、第２の画像ＩＭＧに特定する。図６に示す例では、画像ＩＭＧａｊは、画像ＩＭＧａ２に比べて入力画像ＩＭＧｉに類似するが、入力画像ＩＭＧｉおよび第１の画像ＩＭＧａ１との位置関係が所定の位置関係を満たしていないため、参照画像ＩＭＧｒとして選択されない。

第１の画像ＩＭＧａ１および第２の画像ＩＭＧａ２を含む参照画像ＩＭＧｒが、特徴量の種類と同じ数（特徴空間の軸の数）だけ選択されたため、種別ａの画像ＩＭＧａに対する参照画像ＩＭＧｒの探索は、終了する。次に、処理Ｐ３、Ｐ４において、種別ｂの画像ＩＭＧｂに対する参照画像ＩＭＧｒの探索が、種別ａの画像ＩＭＧａに対する参照画像ＩＭＧｒの探索と同様に実行される。

処理Ｐ３では、第１画像特定部２２２は、特徴空間に分布する種別ｂの複数の画像ＩＭＧａ（図６に示す三角形）のうち、入力画像ＩＭＧｉ（図６に示す星形）に最も近い画像ＩＭＧｂ１を、種別ｂの第１の画像ＩＭＧに特定する。

次に、処理Ｐ４では、第２画像特定部２３２は、種別ｂの複数の画像ＩＭＧｂのうち、第１の画像ＩＭＧｂ１の位置を示すベクトルＶｂ１に直交するベクトルＶｂ２で示される画像ＩＭＧｂ２を、種別ｂの第２の画像ＩＭＧに特定する。

図６に示す例では、ベクトルＶｂ１、Ｖｂ２のなす角θｂが９０度であるため、ベクトルＶｂ１、Ｖｂ２の内積Ｖｂ１・Ｖｂ２は、０である。このため、第２画像特定部２３２は、上述したように、第１の画像ＩＭＧｂ１の位置を示すベクトルＶｂ１に直交するベクトルＶｂ２で示される画像ＩＭＧｂ２を、第２の画像ＩＭＧに特定する。なお、画像ＩＭＧｂｊの位置を示すベクトルＶｂｊとベクトルＶｂ１とのなす角θｊが９０度でないため、ベクトルＶｂ１、Ｖｂｊの内積Ｖｂ１・Ｖｂｊは０でない。すなわち、入力画像ＩＭＧｉおよび第１の画像ＩＭＧｂ１と画像ＩＭＧｂｊとの位置関係は所定の位置関係を満たさない。このため、画像ＩＭＧｂｊは、画像ＩＭＧｂ２に比べて入力画像ＩＭＧｉに類似するが、参照画像ＩＭＧｒとして選択されない。

第１の画像ＩＭＧｂ１および第２の画像ＩＭＧｂ２を含む参照画像ＩＭＧｒが、特徴量の種類と同じ数（特徴空間の軸の数）だけ選択されたため、種別ｂの画像ＩＭＧｂに対する参照画像ＩＭＧｒの探索は、終了する。また、全ての種別に対して参照画像ＩＭＧｒが選択されたため、第１画像特定部２２２および第２画像特定部２３２による参照画像ＩＭＧｒの探索は、終了する。

このように、入力画像ＩＭＧｉに付与するラベルを、種別ａを示すラベルか種別ｂを示すラベルかのいずれかに決定する際に、図５および図６に示す動作により、入力画像ＩＭＧｉと一緒に表示装置１１０に表示する参照画像ＩＭＧｒが選択される。図６に示す動作では、画像ＩＭＧの種別毎に、入力画像ＩＭＧｉに最も類似する画像ＩＭＧを第１の画像ＩＭＧに特定し、第１の画像ＩＭＧの位置を示すベクトルＶに直交するベクトルＶで示される画像ＩＭＧを第２の画像ＩＭＧに特定する。これにより、第１の画像ＩＭＧに類似する画像ＩＭＧを第２の画像ＩＭＧに特定する場合に比べて、複数の参照画像ＩＭＧｒ（第１の画像ＩＭＧ、第２の画像ＩＭＧ）間で入力画像ＩＭＧｉに類似する特徴量のバリエーションを増加させることができる。この結果、図６に示す動作では、第１の画像ＩＭＧに類似する画像ＩＭＧを第２の画像ＩＭＧに特定する場合に比べて、オペレータがラベルを入力画像ＩＭＧｉに付与するための有益な情報を提供できる。

なお、第１画像特定部２２２および第２画像特定部２３２の動作は、図６に示す例に限定されない。例えば、第２の画像ＩＭＧを特定する際の所定の位置関係は、第１の画像ＩＭＧの位置を示すベクトルＶとのなす角が９０度を含む所定の第１の範囲内のベクトルＶで示される位置関係でもよい。第１の範囲は、例えば、９０度に対して±４５度（９０度と０度の中間の角度）の範囲でもよいし、ほぼ９０度と見なせる範囲でもよい。

例えば、第１の画像ＩＭＧの位置を示すベクトルＶをＶｆとし、判定対象の画像ＩＭＧの位置を示すベクトルＶをＶｔとした場合、２つのベクトルＶｆ、Ｖｔのなす角θが９０度±ｄｅ１の範囲内か否かは、下記の式（３）および式（４）に基づいて判定される。
ｃｏｓθ＝（Ｖｆ・Ｖｔ）／（｜Ｖｆ｜×｜Ｖｔ｜） ‥（３）
ｃｏｓ（９０＋ｄｅ１）≦ｃｏｓθ≦ｃｏｓ（９０−ｄｅ１） ‥（４）
式（３）のＶｆ・Ｖｔは、ベクトルＶｆ、Ｖｔの内積であり、特徴空間上における入力画像ＩＭＧｉの座標（ｏ１、ｏ２）、第１の画像ＩＭＧの座標（ｆ１、ｆ２）および判定対象の画像ＩＭＧの座標（ｔ１、ｔ２）を用いて、式（５）で表される。また、ベクトルＶｆ、Ｖｔのそれぞれの大きさ｜Ｖｆ｜、｜Ｖｔ｜は、特徴空間上における入力画像ＩＭＧｉとの各画像ＩＭＧとの距離ＤＩＳであるため、図５で説明した式（１）を用いて算出される。
Ｖｆ・Ｖｔ＝(ｆ１−ｏ１)×(ｔ１−ｏ１)＋(ｆ２−ｏ２)×(ｔ２−ｏ２) ‥（５）
式（３）および式（５）等を用いて算出したｃｏｓθが式（４）を満たす場合、第２画像特定部２３２は、第１の画像ＩＭＧの位置を示すベクトルＶｆと判定対象の画像ＩＭＧの位置を示すベクトルＶｔとのなす角が９０度±ｄｅ１の範囲内であると判定する。すなわち、第２画像特定部２３２は、入力画像ＩＭＧｉおよび第１の画像ＩＭＧと、ベクトルＶｔで示される画像ＩＭＧとの位置関係が所定の位置関係を満たすと判定する。

また、画像ＩＭＧの特徴量の種類がｍ個（ｍは３以上の整数）の場合、ベクトルＶｆ、Ｖｔの内積Ｖｆ・Ｖｔは、式（５）を特徴量の種類の数（ｍ個）に応じて拡張した式（６）で表される。また、ベクトルＶｆ、Ｖｔのそれぞれの大きさ｜Ｖｆ｜、｜Ｖｔ｜は、図５で説明した式（２）を用いて算出される。
Ｖｆ・Ｖｔ＝(ｆ１−ｏ１)×(ｔ１−ｏ１)＋…＋(ｆｍ−ｏｍ)×(ｔｍ−ｏｍ) ‥（６）
なお、式（６）の値ｏ１、…、ｏｍは、入力画像ＩＭＧｉのｍ種類の特徴量のそれぞれの値を示し、値ｆ１、…、ｆｍは、第１の画像ＩＭＧのｍ種類の特徴量のそれぞれの値を示す。また、式（６）の値ｔ１、…、ｔｍは、判定対象の画像ＩＭＧのｍ種類の特徴量のそれぞれの値を示す。この場合、特徴空間上における入力画像ＩＭＧｉの位置は、座標（ｏ１、…、ｏｍ）で表され、第１の画像ＩＭＧの位置は、座標（ｆ１、…、ｆｍ）で表され、判定対象の画像ＩＭＧの位置は、座標（ｔ１、…、ｔｍ）で表される。

図７は、図３に示した表示部２４０の動作の一例を示す。なお、図７は、画像ＩＭＧの種別が４つの場合の表示部２４０の動作の一例を示す。画像ＩＭＧの種別の数は、４つに限定されない。

表示部２４０は、第１画像特定部２２２および第２画像特定部２３２により特定された参照画像ＩＭＧｒ（第１の画像ＩＭＧ、第２の画像ＩＭＧ）を、表示装置１１０に表示する。例えば、表示部２４０は、表示画面の中心に入力画像ＩＭＧｉを配置し、入力画像ＩＭＧｉの周囲に参照画像ＩＭＧｒをラベル毎にまとめて表示する。これにより、オペレータは、入力画像ＩＭＧｉに付与しようとしているラベル以外のラベルが付与された画像ＩＭＧ群の中に類似した画像ＩＭＧがないかを容易に確認できる。この結果、画像ＩＭＧにラベルを付与する際に、過去のラベル付け結果（既にラベル付けされた画像ＩＭＧのラベル付け結果）との矛盾の発生を抑止することができる。

図８は、図３に示した画像表示装置２０２の動作の一例を示す。図８に示す動作は、コンピュータ１０により実行される画像表示方法の一態様である。また、図８に示す動作をコンピュータ１０に実行させるためのプログラムは、画像表示プログラムの一態様である。なお、図８に示す動作は、ハードウェアのみで実現されてもよい。図２で説明した動作と同一または同様の動作については、詳細な説明を省略する。図８に示す動作では、所定の位置関係は、特徴空間上における入力画像ＩＭＧｉの位置を始点とした場合の第１の画像ＩＭＧの位置を示すベクトルＶに直交するベクトルＶで示される位置関係である。

ステップＳ１０では、画像表示装置２０２は、ラベル付与の対象となる入力画像ＩＭＧｉが存在するか否かを判定する。例えば、画像表示装置２０２は、入力画像ＩＭＧｉを撮像装置９０から受信したか否かを判定する。入力画像ＩＭＧｉが存在する場合、画像表示装置２０２の動作は、ステップＳ１００に移る。一方、入力画像ＩＭＧｉが存在しない場合、画像表示装置２０２の動作は、ステップＳ１０に戻る。

ステップＳ１００では、特徴量算出部２１０は、図１で説明したように、入力画像ＩＭＧｉの特徴量を算出する。これにより、入力画像ＩＭＧｉは、複数種類の特徴量のそれぞれに対応する複数の軸を有する特徴空間上に配置される。

次に、ステップＳ２００では、類似度算出部２１２は、図５で説明したように、入力画像ＩＭＧｉの特徴量と特徴空間に分布する他の画像ＩＭＧの特徴量とを比較して、入力画像ＩＭＧｉと他の画像ＩＭＧとの類似度を他の画像ＩＭＧ毎に算出する。

次に、ステップＳ３１０では、第１画像特定部２２２は、ラベル番号を示す変数Ｌを０に設定する（Ｌ＝０）。

次に、ステップＳ３２０では、第１画像特定部２２２は、変数Ｌを１増加させる（Ｌ＝Ｌ＋１）。

次に、ステップＳ３３０では、第１画像特定部２２２は、ラベル番号Ｌの画像ＩＭＧを、探索対象に設定する。これにより、ステップＳ４１０、Ｓ５１０において、画像ＩＭＧの複数の種別のうち、ラベル番号Ｌが示す種別の画像ＩＭＧから、参照画像ＩＭＧｒ（第１の画像ＩＭＧ、第２の画像ＩＭＧ）が特定される。すなわち、ステップＳ３３０では、第１画像特定部２２２は、画像ＩＭＧの複数の種別のうち、ラベル番号Ｌが示す種別を第１の種別に設定する。

次に、ステップＳ４１０では、第１画像特定部２２２は、変数Ｎを１に設定する（Ｎ＝１）。さらに、図６で説明したように、第１画像特定部２２２は、ステップＳ３３０で設定した探索対象の画像ＩＭＧ（ラベル番号Ｌが示す種別の画像ＩＭＧ）のうち、類似度が最大の画像ＩＭＧを１個目の参照画像ＩＭＧｒ（第１の画像ＩＭＧ）に特定する。類似度が最大の画像ＩＭＧは、式（１）または式（２）で表される距離ＤＩＳが最小の画像ＩＭＧである。ステップＳ４１０の処理により、１個目の参照画像ＩＭＧｒが特定された後、画像表示装置２０２の動作は、ステップＳ５１０に移る。

ステップＳ５１０では、第２画像特定部２３２は、ステップＳ３３０で設定された探索対象の画像ＩＭＧから、特徴空間上におけるＮ個の参照画像ＩＭＧｒの位置をそれぞれ示すＮ個のベクトルＶの全てに直交するベクトルＶで示される画像ＩＭＧを抽出する。そして、第２画像特定部２３２は、抽出した画像ＩＭＧのうち、類似度が最大の画像ＩＭＧを（Ｎ＋１）個目の参照画像ＩＭＧｒに特定する。すなわち、第２画像特定部２３２は、探索対象の画像ＩＭＧで、Ｎ個の参照画像ＩＭＧｒの位置をそれぞれ示すＮ個のベクトルＶの全てに直交するベクトルＶで示される画像ＩＭＧのうち、類似度が最大の画像ＩＭＧを（Ｎ＋１）個目の参照画像ＩＭＧｒに特定する。

例えば、変数Ｎが１の場合、既に特定されたＮ個の参照画像ＩＭＧｒは、ステップＳ４１０で特定された１個目の参照画像ＩＭＧｒ（第１の画像ＩＭＧ）である。また、（Ｎ＋１）個目の参照画像ＩＭＧｒ、すなわち、２個目の参照画像ＩＭＧｒは、１個目の第２の画像ＩＭＧである。この場合、第２画像特定部２３２は、図６で説明したように、探索対象の画像ＩＭＧのうち、第１の画像ＩＭＧの位置を示すベクトルＶに直交するベクトルＶで示される画像ＩＭＧから、類似度が最大の画像ＩＭＧを１個目の第２の画像ＩＭＧに特定する。

また、後述するステップＳ５２０、Ｓ５３０により、変数Ｎが２に更新され、ステップＳ５１０の処理が再度実行される場合、既に特定されたＮ個（２個）の参照画像ＩＭＧｒの１つは、ステップＳ４１０で特定された第１の画像ＩＭＧである。そして、既に特定されたＮ個（２個）の参照画像ＩＭＧｒの残りの１つは、１回目のステップＳ５１０で特定された１個目の第２の画像ＩＭＧである。なお、（Ｎ＋１）個目の参照画像ＩＭＧｒ、すなわち、３個目の参照画像ＩＭＧｒは、２個目の第２の画像ＩＭＧである。この場合、第２画像特定部２３２は、第１の画像ＩＭＧの位置を示すベクトルＶに直交し、かつ１個目の第２の画像ＩＭＧ（既に特定した第２の画像ＩＭＧ）の位置を示すベクトルＶに直交するベクトルＶで示される画像ＩＭＧを探索対象の画像ＩＭＧから抽出する。そして、第２画像特定部２３２は、探索対象の画像ＩＭＧから抽出した画像ＩＭＧのうち、類似度が最大の画像ＩＭＧを、２個目の第２の画像ＩＭＧに特定する。

なお、第２画像特定部２３２は、Ｎ個の参照画像ＩＭＧｒの位置をそれぞれ示すＮ個のベクトルＶの全てに直交するベクトルＶで示される画像ＩＭＧを抽出するまで、探索対象の画像ＩＭＧから、類似度の高い順に画像ＩＭＧを抽出してもよい。この場合、第２画像特定部２３２は、例えば、最後に抽出した画像ＩＭＧを（Ｎ＋１）個目の参照画像ＩＭＧｒに特定する。

ステップＳ５１０の処理により、（Ｎ＋１）個目の参照画像ＩＭＧｒが特定された後、画像表示装置２０２の動作は、ステップＳ５２０に移る。なお、例えば、所定の位置関係を満たす画像ＩＭＧが探索対象の画像ＩＭＧの中に存在しない場合、すなわち、第２の画像ＩＭＧが特定されない場合、図示していないが、画像表示装置２０２の動作は、ステップＳ６１０に移る。

ステップＳ５２０では、第２画像特定部２３２は、変数Ｎを１増加させる（Ｎ＝Ｎ＋１）。

次に、ステップＳ５３０では、第２画像特定部２３２は、変数Ｎが所定値以上か否かを判定する。所定値は、例えば、特徴空間の軸の数、すなわち、特徴量の種類の数と同じ値に設定される。なお、所定値は、特徴空間の軸の数より小さい値でもよい。変数Ｎが所定値以上である場合、画像表示装置２０２の動作は、ステップＳ６１０に移る。

一方、変数Ｎが所定値未満である場合、画像表示装置２０２の動作は、ステップＳ５１０に戻る。これにより、ステップＳ５１０の処理が繰り返され、ラベル番号Ｌ（Ｌは、ステップＳ３２０で設定された値）の第２の画像ＩＭＧが複数特定される。

ステップＳ６１０では、画像表示装置２０２は、全てのラベルを探索したか否かを判定する。例えば、画像表示装置２０２は、特徴量データベースＣＤＢに登録されたラベル番号の最大値と変数Ｌの値とが一致した場合、全てのラベルを探索したと判定する。全てのラベルを探索した場合、画像表示装置２０２の動作は、ステップＳ７１０に移る。一方、探索されていないラベルが存在する場合、画像表示装置２０２の動作は、ステップＳ３２０に戻る。

ステップＳ７１０では、表示部２４０は、図７で説明したように、入力画像ＩＭＧｉと各ラベルの参照画像ＩＭＧｒとを表示装置１１０に表示する。すなわち、表示部２４０は、第１の種別、第１の画像ＩＭＧ、第２の画像ＩＭＧおよび入力画像ＩＭＧｉを含む画面を表示装置１１０に表示する。これにより、例えば、オペレータは、表示装置１１０に表示された画像ＩＭＧを参照して、入力画像ＩＭＧｉにラベルを付与する。

次に、ステップＳ８００では、画像表示装置２０２は、入力画像ＩＭＧｉにラベルが付与されたか否かを判定する。例えば、オペレータが入力画像ＩＭＧｉにラベルを付与した場合、画像表示装置２０２は、オペレータによりラベル付けされた入力画像ＩＭＧｉのラベルを示す情報を、入力インタフェース５０を介して受ける。この場合、画像表示装置２０２は、入力画像ＩＭＧｉにラベルが付与されたと判定する。入力画像ＩＭＧｉにラベルが付与された場合、画像表示装置２０２の動作は、ステップＳ９００に移る。一方、入力画像ＩＭＧｉにラベルが付与されていない場合、画像表示装置２０２の動作は、ステップＳ８００に戻る。例えば、画像表示装置２０２は、入力画像ＩＭＧｉのラベルを示す情報を受信するまで、ステップＳ９００の処理の実行を待機する。

ステップＳ９００では、登録部２５０は、特徴量データベースＣＤＢの内容を更新する。例えば、登録部２５０は、入力インタフェース５０から受ける入力画像ＩＭＧｉのラベルを示す情報（例えば、ラベル番号）とステップＳ１００で算出した入力画像ＩＭＧｉの特徴量とを入力画像ＩＭＧｉに対応付けて特徴量データベースＣＤＢに登録する。これにより、１つの入力画像ＩＭＧｉにラベルを付与する際の画像表示装置２０２の動作は終了する。したがって、特徴量データベースＣＤＢの内容を更新した後、画像表示装置２０２の動作は、ステップＳ１０に戻る。

なお、画像表示装置２０２の動作は、図８に示す例に限定されない。例えば、ステップＳ５１０では、探索対象の画像ＩＭＧのうち、特徴空間上におけるＮ個の参照画像ＩＭＧｒの位置をそれぞれ示すＮ個のベクトルＶの各々とのなす角が全て第１の範囲内であるベクトルＶで示される画像ＩＭＧが抽出されてもよい。すなわち、第２画像特定部２３２は、探索対象の画像ＩＭＧのうち、特徴空間上におけるＮ個の参照画像ＩＭＧｒの位置をそれぞれ示すＮ個のベクトルＶの各々とのなす角が全て第１の範囲内であるベクトルＶで示される画像ＩＭＧを抽出してもよい。そして、第２画像特定部２３２は、抽出した画像ＩＭＧのうち、類似度が最大の画像ＩＭＧを（Ｎ＋１）個目の参照画像ＩＭＧｒに特定してもよい。第１の範囲は、例えば、図６で説明したように、９０度に対して±４５度の範囲でもよいし、ほぼ９０度と見なせる範囲でもよい。

また、第２画像特定部２３２は、特徴空間上におけるＮ個の参照画像ＩＭＧｒの位置をそれぞれ示すＮ個のベクトルＶの全てに直交するベクトルＶで示される画像ＩＭＧが探索対象の画像ＩＭＧに存在しない場合に第１の範囲を用いて画像ＩＭＧを抽出してもよい。

また、画像表示プログラムＤＰＲＧは、ステップＳ１０からステップＳ７１０までの一連の処理をコンピュータ１０に実行させるためのプログラムでもよい。この場合、画像表示プログラムＤＰＲＧとは別のプログラムがステップＳ８００からステップＳ９００までの一連の処理をコンピュータ１０に実行させてもよい。

以上、図３から図８に示す実施形態においても、図１および図２に示した実施形態と同様の効果を得ることができる。画像表示装置２０２は、探索対象である第１の種別に対応付けられた画像ＩＭＧのうち、特徴空間上における入力画像ＩＭＧｉの位置を始点とした場合の第１の画像ＩＭＧの位置を示すベクトルＶとのなす角が９０度のベクトルＶで示される画像ＩＭＧを抽出する。あるいは、画像表示装置２０２は、探索対象の種別に対応付けられた画像ＩＭＧのうち、特徴空間上における第１の画像ＩＭＧの位置を示すベクトルＶとのなす角が９０度を含む第１の範囲内のベクトルＶで示される画像ＩＭＧを抽出する。そして、画像表示装置２０２は、抽出した画像ＩＭＧのうち、入力画像ＩＭＧｉに最も類似する画像ＩＭＧを第２の画像ＩＭＧに特定する。

さらに、複数の第２の画像ＩＭＧを特定する場合には、第１の画像ＩＭＧの位置を示すベクトルＶの他に、既に特定した第２の画像ＩＭＧの位置を示すベクトルＶとのなす角も評価される。例えば、画像表示装置２０２は、第１の画像ＩＭＧの位置を示すベクトルＶの他に、既に特定した第２の画像ＩＭＧの位置を示すベクトルＶとのなす角も９０度あるいは第１の範囲内であるベクトルＶで示される画像ＩＭＧを抽出する。そして、画像表示装置２０２は、抽出した画像ＩＭＧのうち、入力画像ＩＭＧｉに最も類似する画像ＩＭＧを第２の画像ＩＭＧに特定して参照画像ＩＭＧｒに追加する。

また、画像表示装置２０２は、入力画像ＩＭＧｉと一緒に、第１の画像ＩＭＧおよび第２の画像ＩＭＧを含む参照画像ＩＭＧｒをラベル毎にまとめて表示する。これにより、入力画像ＩＭＧｉとの比較を互いに異なる観点で実行可能な第１の画像ＩＭＧと第２の画像ＩＭＧとが参照画像ＩＭＧｒとして入力画像ＩＭＧｉと一緒に表示される。このため、画像ＩＭＧにラベルを付与する際に、過去のラベル付け結果（既にラベル付けされた画像ＩＭＧのラベル付け結果）との矛盾の発生を抑止することができる。

図９は、画像表示プログラム、画像表示装置および画像表示方法の別の実施形態を示す。図１から図８で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図９に示す画像表示装置２０４は、例えば、オペレータが画像ＩＭＧの種別を示すラベルを画像ＩＭＧに付与する際に、過去のラベル付け結果との矛盾の発生を抑止するための画像表示処理を実行する。画像表示装置２０４は、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。図９に示す例では、画像表示装置２０４は、コンピュータ１０が画像表示プログラムＤＰＲＧを実行することにより、実現される。例えば、コンピュータ１０は、プロセッサ２０、メモリ３０、ハードディスク装置４０、入力インタフェース５０、出力インタフェース６０およびドライブ装置７０を有する。メモリ３０およびハードディスク装置４０は、記憶部の一例である。

画像表示装置２０４は、図３に示した第２画像特定部２３２の代わりに第２画像特定部２３４を有することを除いて、図３に示した画像表示装置２０２と同一または同様である。例えば、画像表示装置２０４は、特徴量算出部２１０、類似度算出部２１２、第１画像特定部２２２、第２画像特定部２３４、表示部２４０および登録部２５０を有する。特徴量算出部２１０、類似度算出部２１２、第１画像特定部２２２、表示部２４０および登録部２５０は、図３に示した特徴量算出部２１０、類似度算出部２１２、第１画像特定部２２２、表示部２４０および登録部２５０と同一または同様である。

第２画像特定部２３４は、探索対象である第１の種別に対応付けられた画像ＩＭＧのうち、特徴空間上における第１の画像ＩＭＧとの距離が所定の第１の距離以上の画像ＩＭＧを抽出する。そして、第２画像特定部２３４は、抽出した画像ＩＭＧのうち、入力画像ＩＭＧｉに最も類似する画像ＩＭＧを、第２の画像ＩＭＧとして特定する。これにより、入力画像ＩＭＧｉと一緒に表示される参照画像ＩＭＧｒとして、入力画像ＩＭＧｉとの比較を互いに異なる観点で実行可能な第１の画像ＩＭＧと第２の画像ＩＭＧとが特定される。

なお、画像表示装置２０４およびコンピュータ１０の構成は、図９に示す例に限定されない。例えば、画像表示装置２０４は、登録部２５０を除いて定義されてもよい。この場合、例えば、ラベルを画像ＩＭＧに付与する処理装置は、登録部２５０を除いた画像表示装置２０４、登録部２５０、メモリ３０、ハードディスク装置４０、入力インタフェース５０および出力インタフェース６０を有する。

図１０は、図９に示した第２画像特定部２３４の動作の一例を示す。なお、図１０は、特徴量の種類が特徴量１と特徴量２の２つで、画像ＩＭＧの種別の数が種別ａと種別ｂの２つの場合の第２画像特定部２３４の動作の一例を示す。画像ＩＭＧの種別の数および特徴量の種類は２つに限定されない。図１０に示す特徴空間は、図６に示した特徴空間と同じである。また、図１０に示す網掛けの四角形、三角形、星形の意味は、図６と同じである。また、図１０に示す距離ＤＩＳ（ＤＩＳ２、ＤＩＳｐ、ＤＩＳｑ）は、特徴空間上における入力画像ＩＭＧｉと各画像ＩＭＧとの距離を示す。図１０では、特徴空間上における第１の画像ＩＭＧとの距離が所定の第１の距離Ｄ１以上である位置関係を所定の位置関係として、第２画像特定部２３４の動作を説明する。

第２画像特定部２３４は、種別ａの複数の画像ＩＭＧａのうち、特徴空間上における第１の画像ＩＭＧａ１との距離が所定の第１の距離Ｄ１以上の画像ＩＭＧａ（図１０に示した破線の円の外側の画像ＩＭＧａ）を抽出する。そして、第２画像特定部２３４は、特徴空間上における第１の画像ＩＭＧとの距離が第１の距離Ｄ１以上の複数の画像ＩＭＧａのうち、入力画像ＩＭＧｉに最も近い画像ＩＭＧａ２を、種別ａの第２の画像ＩＭＧに特定する。なお、第２画像特定部２３４は、種別ｂの画像ＩＭＧｂに対する第２の画像ＩＭＧの探索も、種別ａの画像ＩＭＧａに対する第２の画像ＩＭＧの探索と同様に実行する。

図１０に示す例では、画像ＩＭＧａｊは、画像ＩＭＧａ１との距離が第１の距離Ｄ１未満であり、画像ＩＭＧａ２、ＩＭＧａｐ、ＩＭＧａｑ等は、画像ＩＭＧａ１との距離が第１の距離Ｄ１以上である。このため、第２画像特定部２３４は、種別ａの複数の画像ＩＭＧａから画像ＩＭＧａ１および画像ＩＭＧａｊを除いた画像ＩＭＧａを抽出する。また、画像ＩＭＧａ２は、図１０に示した破線の円の外側の画像ＩＭＧａのうち、入力画像ＩＭＧｉに最も近い。例えば、画像ＩＭＧａ２と入力画像ＩＭＧｉとの距離ＤＩＳ２は、画像ＩＭＧａｐと入力画像ＩＭＧｉとの距離ＤＩＳｐおよび画像ＩＭＧａｑと入力画像ＩＭＧｉとの距離ＤＩＳｑの両方より短い。このため、第２画像特定部２３４は、上述したように、特徴空間上における第１の画像ＩＭＧとの距離が第１の距離Ｄ１以上の複数の画像ＩＭＧａのうち、入力画像ＩＭＧｉに最も近い画像ＩＭＧａ２を、種別ａの第２の画像ＩＭＧに特定する。

ここで、第１の画像ＩＭＧと抽出対象の画像ＩＭＧとの距離は、図５で説明した式（１）または式（２）を用いて算出される。この場合、式（１）または式（２）の説明において、入力画像ＩＭＧｉの座標および類似度の算出対象の画像ＩＭＧの座標は、第１の画像ＩＭＧの座標および抽出対象の画像ＩＭＧの座標にそれぞれ読み替えられる。なお、距離の算出では、各特徴量の重要性に応じた重みを特徴量の値（特徴空間における各軸の座標値）に付け、重みを付けた特徴量の値を、式（１）または式（２）に代入してもよい。

このように、第２画像特定部２３４は、種別ａに対応付けられた画像ＩＭＧａのうち、特徴空間上において入力画像ＩＭＧｉおよび第１の画像ＩＭＧａ１と所定の位置関係にある画像ＩＭＧａ２を、第２の画像ＩＭＧに特定する。図１０に示す例では、画像ＩＭＧａｊは、画像ＩＭＧａ２に比べて入力画像ＩＭＧｉに類似するが、入力画像ＩＭＧｉおよび第１の画像ＩＭＧａ１との位置関係が所定の位置関係を満たしていないため、参照画像ＩＭＧｒとして選択されない。

これにより、第１の画像ＩＭＧに類似する画像ＩＭＧを第２の画像ＩＭＧに特定する場合に比べて、複数の参照画像ＩＭＧｒ（第１の画像ＩＭＧ、第２の画像ＩＭＧ）間で入力画像ＩＭＧｉに類似する特徴量のバリエーションを増加させることができる。この結果、図１０に示す動作では、第１の画像ＩＭＧに類似する画像ＩＭＧを第２の画像ＩＭＧに特定する場合に比べて、オペレータがラベルを入力画像ＩＭＧｉに付与するための有益な情報を提供できる。

図１１は、図９に示した画像表示装置２０４の動作の一例を示す。図１１に示す動作は、コンピュータ１０により実行される画像表示方法の一態様である。また、図１１に示す動作をコンピュータ１０に実行させるためのプログラムは、画像表示プログラムの一態様である。なお、図１１に示す動作は、ハードウェアのみで実現されてもよい。図８で説明した動作と同一または同様の動作については、詳細な説明を省略する。図１１に示す動作では、所定の位置関係は、特徴空間上における第１の画像ＩＭＧとの距離が所定の第１の距離Ｄ１以上である位置関係である。図１１に示す動作は、図８に示したステップＳ５１０の処理の代わりにステップＳ５１２の処理が実行されることを除いて、図８に示した動作と同一または同様である。なお、ステップＳ５３０の所定値は、特徴空間の軸の数より大きい値でもよい。ステップＳ５１２の処理は、ステップＳ４１０の処理が実行された後、または、ステップＳ５３０で変数Ｎが所定値以上と判定された場合、実行される。

ステップＳ５１２では、第２画像特定部２３４は、ステップＳ３３０で設定された探索対象の画像ＩＭＧのうち、特徴空間上におけるＮ個の参照画像ＩＭＧｒのそれぞれとの距離が第１の距離Ｄ１以上の画像ＩＭＧを抽出する。そして、第２画像特定部２３４は、抽出した画像ＩＭＧのうち、類似度が最大の画像ＩＭＧを（Ｎ＋１）個目の参照画像ＩＭＧｒに特定する。すなわち、第２画像特定部２３４は、探索対象の画像ＩＭＧで、特徴空間上におけるＮ個の参照画像ＩＭＧｒのそれぞれとの距離が第１の距離Ｄ１以上の画像ＩＭＧのうち、類似度が最大の画像ＩＭＧを（Ｎ＋１）個目の参照画像ＩＭＧｒに特定する。

例えば、変数Ｎが１の場合、既に特定されたＮ個の参照画像ＩＭＧｒは、ステップＳ４１０で特定された１個目の参照画像ＩＭＧｒ（第１の画像ＩＭＧ）である。また、（Ｎ＋１）個目の参照画像ＩＭＧｒ、すなわち、２個目の参照画像ＩＭＧｒは、１個目の第２の画像ＩＭＧである。この場合、第２画像特定部２３４は、図１０で説明したように、探索対象の画像ＩＭＧのうち、第１の画像ＩＭＧとの距離が第１の距離Ｄ１以上の画像ＩＭＧから、類似度が最大の画像ＩＭＧを１個目の第２の画像ＩＭＧに特定する。

また、ステップＳ５２０、Ｓ５３０により、変数Ｎが２に更新され、ステップＳ５１２の処理が再度実行される場合、既に特定されたＮ個（２個）の参照画像ＩＭＧｒは、ステップＳ４１０で特定された第１の画像ＩＭＧと、１個目の第２の画像ＩＭＧである。なお、（Ｎ＋１）個目の参照画像ＩＭＧｒ、すなわち、３個目の参照画像ＩＭＧｒは、２個目の第２の画像ＩＭＧである。この場合、第２画像特定部２３４は、第１の画像ＩＭＧとの距離が第１の距離Ｄ１以上で、かつ、１個目の第２の画像ＩＭＧ（既に特定した第２の画像ＩＭＧ）との距離が第１の距離Ｄ１以上の画像ＩＭＧを、探索対象の画像ＩＭＧから抽出する。そして、第２画像特定部２３４は、探索対象の画像ＩＭＧから抽出した画像ＩＭＧのうち、類似度が最大の画像ＩＭＧを、２個目の第２の画像ＩＭＧに特定する。

なお、第２画像特定部２３４は、Ｎ個の参照画像ＩＭＧｒのそれぞれとの距離が第１の距離Ｄ１以上の画像ＩＭＧを抽出するまで、探索対象の画像ＩＭＧから、類似度の高い順に画像ＩＭＧを抽出してもよい。この場合、第２画像特定部２３４は、例えば、最後に抽出した画像ＩＭＧを（Ｎ＋１）個目の参照画像ＩＭＧｒに特定する。

ステップＳ５１２の処理により、（Ｎ＋１）個目の参照画像ＩＭＧｒが特定された後、画像表示装置２０４の動作は、ステップＳ５２０に移る。なお、例えば、所定の位置関係を満たす画像ＩＭＧが探索対象の画像ＩＭＧの中に存在しない場合、すなわち、第２の画像ＩＭＧが特定されない場合、図示していないが、画像表示装置２０４の動作は、ステップＳ６１０に移る。

このように、図１１に示す動作では、既に特定した参照画像ＩＭＧｒとの距離が第１の距離Ｄ１未満の画像ＩＭＧは、新たな参照画像ＩＭＧｒとして選択されない。これにより、第１の画像ＩＭＧに類似する画像ＩＭＧを第２の画像ＩＭＧに特定する場合に比べて、複数の参照画像ＩＭＧｒ（第１の画像ＩＭＧ、第２の画像ＩＭＧ）間で入力画像ＩＭＧｉに類似する特徴量のバリエーションを増加させることができる。

なお、画像表示装置２０４の動作は、図１１に示す例に限定されない。例えば、画像表示装置２０４は、ステップＳ５３０において、変数Ｎが所定値以上か否かを判定する代わりに、既に特定した参照画像ＩＭＧｒとの距離が第１の距離Ｄ１以上の画像ＩＭＧが探索対象の画像ＩＭＧの中に存在するか否かを判定してもよい。そして、画像表示装置２０４は、既に特定した参照画像ＩＭＧｒとの距離が第１の距離Ｄ１以上の画像ＩＭＧが探索対象の画像ＩＭＧの中に存在する場合、動作をステップＳ５１２に戻す。また、画像表示装置２０４は、既に特定した参照画像ＩＭＧｒとの距離が第１の距離Ｄ１以上の画像ＩＭＧが探索対象の画像ＩＭＧの中に存在しない場合、動作をステップＳ６１０に移す。また、例えば、画像表示装置２０４は、変数Ｎが２以上の場合、入力画像ＩＭＧｉとの距離ＤＩＳが所定の距離（例えば、第１の距離Ｄ１の２倍の距離等）以上の画像ＩＭＧを、第２の画像ＩＭＧを特定する際の探索対象から除外してもよい。

以上、図９から図１１に示す実施形態においても、図１から図８に示した実施形態と同様の効果を得ることができる。例えば、画像表示装置２０４は、第１の種別と対応付けられており、特徴空間上における第１の画像ＩＭＧとの距離が第１の距離Ｄ１以上の画像ＩＭＧのうち、入力画像ＩＭＧｉに最も近い画像ＩＭＧを第２の画像ＩＭＧに特定する。これにより、画像表示装置２０４は、入力画像ＩＭＧｉと一緒に表示する複数の参照画像ＩＭＧｒ（第１の画像ＩＭＧ、第２の画像ＩＭＧ）間の特徴空間上における距離を第１の距離Ｄ１以上にできる。すなわち、入力画像ＩＭＧｉとの比較を互いに異なる観点で実行可能な複数の参照画像ＩＭＧｒ（第１の画像ＩＭＧと第２の画像ＩＭＧ）が入力画像ＩＭＧｉと一緒に表示される。このため、画像ＩＭＧにラベルを付与する際に、過去のラベル付け結果（既にラベル付けされた画像ＩＭＧのラベル付け結果）との矛盾の発生を抑止することができる。

図１２は、画像表示プログラム、画像表示装置および画像表示方法の別の実施形態を示す。図１から図１１で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図１２に示す画像表示装置２０６は、例えば、オペレータが画像ＩＭＧの種別を示すラベルを画像ＩＭＧに付与する際に、過去のラベル付け結果との矛盾の発生を抑止するための画像表示処理を実行する。画像表示装置２０６は、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。図１２に示す例では、画像表示装置２０６は、コンピュータ１０が画像表示プログラムＤＰＲＧを実行することにより、実現される。例えば、コンピュータ１０は、プロセッサ２０、メモリ３０、ハードディスク装置４０、入力インタフェース５０、出力インタフェース６０およびドライブ装置７０を有する。メモリ３０およびハードディスク装置４０は、記憶部の一例である。

画像表示装置２０６は、図９に示した第２画像特定部２３４の代わりに第２画像特定部２３６を有することを除いて、図９に示した画像表示装置２０４と同一または同様である。例えば、画像表示装置２０６は、特徴量算出部２１０、類似度算出部２１２、第１画像特定部２２２、第２画像特定部２３６、表示部２４０および登録部２５０を有する。特徴量算出部２１０、類似度算出部２１２、第１画像特定部２２２、表示部２４０および登録部２５０は、図９に示した特徴量算出部２１０、類似度算出部２１２、第１画像特定部２２２、表示部２４０および登録部２５０と同一または同様である。

第２画像特定部２３６は、入力画像ＩＭＧｉとの距離ＤＩＳが所定の第２の距離以上の画像ＩＭＧを、第２の画像ＩＭＧを特定する際の探索対象から除外することを除いて、図９に示した第２画像特定部２３４と同一または同様である。例えば、第２画像特定部２３６は、第１の種別の画像ＩＭＧで、既に特定した第１の画像ＩＭＧ等との距離が第１の距離Ｄ１以上で、入力画像ＩＭＧｉとの距離ＤＩＳが第２の距離未満の画像ＩＭＧのうち、入力画像ＩＭＧｉに最も類似する画像ＩＭＧを選択する。そして、第２画像特定部２３６は、選択した画像ＩＭＧを第２の画像ＩＭＧに特定する。第２の距離は、例えば、第１の距離Ｄ１より大きい値であり、予め設定される。

なお、画像表示装置２０６およびコンピュータ１０の構成は、図１２に示す例に限定されない。例えば、画像表示装置２０６は、登録部２５０を除いて定義されてもよい。この場合、例えば、ラベルを画像ＩＭＧに付与する処理装置は、登録部２５０を除いた画像表示装置２０６、登録部２５０、メモリ３０、ハードディスク装置４０、入力インタフェース５０および出力インタフェース６０を有する。

図１３は、図１２に示した第２画像特定部２３６の動作の一例を示す。なお、図１３は、特徴量の種類が特徴量１と特徴量２の２つで、画像ＩＭＧの種別の数が種別ａと種別ｂの２つの場合の第２画像特定部２３６の動作の一例を示す。画像ＩＭＧの種別の数および特徴量の種類は２つに限定されない。図１３に示す特徴空間は、図１０に示した特徴空間と同じである。また、図１３に示す網掛けの四角形、三角形、星形、距離ＤＩＳ（ＤＩＳ２、ＤＩＳｐ、ＤＩＳｑ）の意味は、図１０と同じである。図１３では、特徴空間上における第１の画像ＩＭＧとの距離が所定の第１の距離Ｄ１以上である位置関係を所定の位置関係として、第２画像特定部２３６の動作を説明する。

第２画像特定部２３６は、入力画像ＩＭＧｉとの距離ＤＩＳが所定の第２の距離Ｄ２以上の画像ＩＭＧ（図１３に示した点線の円の外側の画像ＩＭＧ）を、第２の画像ＩＭＧを特定する際の探索対象から除外する。第２画像特定部２３６のその他の動作は、図１０、図１１等で説明した第２画像特定部２３４の動作と同一または同様である。

図１３に示す例では、画像ＩＭＧａｒが、種別ａの第２の画像ＩＭＧを特定する際の探索対象から除外される。これにより、入力画像ＩＭＧｉに類似していない画像ＩＭＧが第２の画像ＩＭＧとして特定されることを抑止することができる。すなわち、入力画像ＩＭＧｉに類似していない画像ＩＭＧが、入力画像ＩＭＧｉと一緒に表示されることを抑止することができる。

また、画像表示装置２０６の動作は、図１１に示したステップＳ５１２において、入力画像ＩＭＧｉとの距離ＤＩＳが所定の第２の距離Ｄ２以上の画像ＩＭＧが探索対象の画像ＩＭＧから除外されることを除いて、図１１に示した動作と同一または同様である。

なお、第２画像特定部２３６および画像表示装置２０６の動作は、図１３に示す例に限定されない。例えば、画像表示装置２０６は、変数Ｎが１の場合、入力画像ＩＭＧｉとの距離ＤＩＳが所定の第２の距離Ｄ２以上の画像ＩＭＧを探索対象に含めてもよい。また、例えば、画像表示装置２０６は、図１１に示したステップＳ５３０において、既に特定した参照画像ＩＭＧｒとの距離が第１の距離Ｄ１以上の画像ＩＭＧが探索対象の画像ＩＭＧの中に存在するか否かを判定してもよい。

以上、図１２から図１３に示す実施形態においても、図１から図１１に示した実施形態と同様の効果を得ることができる。例えば、画像表示装置２０６は、第１の種別と対応付けられており、特徴空間上における入力画像ＩＭＧｉとの距離が第２の距離Ｄ２未満の画像ＩＭＧを探索対象とする。そして、画像表示装置２０６は、探索対象の画像ＩＭＧで、特徴空間上における第１の画像ＩＭＧとの距離が第１の距離Ｄ１以上の画像ＩＭＧのうち、入力画像ＩＭＧｉに最も近い画像ＩＭＧを第２の画像ＩＭＧに特定する。これにより、画像表示装置２０６は、入力画像ＩＭＧｉと一緒に表示する複数の参照画像ＩＭＧｒ（第１の画像ＩＭＧ、第２の画像ＩＭＧ）間の特徴空間上における距離を第１の距離Ｄ１以上にできる。すなわち、入力画像ＩＭＧｉとの比較を互いに異なる観点で実行可能な複数の参照画像ＩＭＧｒ（第１の画像ＩＭＧと第２の画像ＩＭＧ）が入力画像ＩＭＧｉと一緒に表示される。このため、画像ＩＭＧにラベルを付与する際に、過去のラベル付け結果（既にラベル付けされた画像ＩＭＧのラベル付け結果）との矛盾の発生を抑止することができる。

さらに、入力画像ＩＭＧｉとの距離ＤＩＳが第２の距離Ｄ２以上の画像ＩＭＧが第２の画像ＩＭＧとして特定されないため、入力画像ＩＭＧｉに類似していない画像ＩＭＧが、入力画像ＩＭＧｉと一緒に表示されることを抑止することができる。

図１４は、画像表示プログラム、画像表示装置および画像表示方法の別の実施形態を示す。図１から図１３で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図１４に示す画像表示装置２０８は、例えば、オペレータが画像ＩＭＧの種別を示すラベルを画像ＩＭＧに付与する際に、過去のラベル付け結果との矛盾の発生を抑止するための画像表示処理を実行する。画像表示装置２０８は、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。図１４に示す例では、画像表示装置２０８は、コンピュータ１０が画像表示プログラムＤＰＲＧを実行することにより、実現される。例えば、コンピュータ１０は、プロセッサ２０、メモリ３０、ハードディスク装置４０、入力インタフェース５０、出力インタフェース６０およびドライブ装置７０を有する。メモリ３０およびハードディスク装置４０は、記憶部の一例である。

画像表示装置２０８は、図３に示した表示部２４０の代わりに表示部２４２を有し、図３に示した画像表示装置２０２に第３画像特定部２３８が追加されることを除いて、図３に示した画像表示装置２０２と同一または同様である。例えば、画像表示装置２０８は、特徴量算出部２１０、類似度算出部２１２、第１画像特定部２２２、第２画像特定部２３２、第３画像特定部２３８、表示部２４２および登録部２５０を有する。特徴量算出部２１０、類似度算出部２１２、第１画像特定部２２２、第２画像特定部２３２および登録部２５０は、図３に示した特徴量算出部２１０、類似度算出部２１２、第１画像特定部２２２、第２画像特定部２３２および登録部２５０と同一または同様である。

第３画像特定部２３８は、特徴空間上における対象の参照画像ＩＭＧｒと入力画像ＩＭＧｉとを通る直線上に位置し、対象の参照画像ＩＭＧｒと異なる種別の画像を、第３の画像ＩＭＧに特定する。対象の参照画像ＩＭＧｒは、例えば、第１の画像ＩＭＧおよび第２の画像ＩＭＧのうちの１つの画像ＩＭＧである。なお、第３画像特定部２３８の動作の詳細は、図１５で説明する。

表示部２４２は、第１の画像ＩＭＧおよび第２の画像ＩＭＧの他に、第３の画像ＩＭＧも参照画像ＩＭＧｒとして、入力画像ＩＭＧｉと一緒に表示装置１１０に表示することを除いて、図３に示した表示部２４０と同一または同様である。例えば、表示部２４２は、第１の種別を示す情報と第３の画像ＩＭＧの種別を示す情報と第１の画像ＩＭＧと第２の画像ＩＭＧと第３の画像ＩＭＧと入力画像ＩＭＧｉとを含む画面を表示する。

なお、画像表示装置２０８およびコンピュータ１０の構成は、図１４に示す例に限定されない。例えば、画像表示装置２０８は、第２画像特定部２３２の代わりに、図９に示した第２画像特定部２３４を有してもよいし、図１２に示した第２画像特定部２３６を有してもよい。また、例えば、画像表示装置２０８は、登録部２５０を除いて定義されてもよい。この場合、例えば、ラベルを画像ＩＭＧに付与する処理装置は、登録部２５０を除いた画像表示装置２０６、登録部２５０、メモリ３０、ハードディスク装置４０、入力インタフェース５０および出力インタフェース６０を有する。

図１５は、図１４に示した第３画像特定部２３８の動作の一例を示す。なお、図１５は、特徴量の種類が特徴量１と特徴量２の２つで、画像ＩＭＧの種別の数が種別ａと種別ｂの２つの場合の第３画像特定部２３８の動作の一例を示す。画像ＩＭＧの種別の数および特徴量の種類は２つに限定されない。図１５に示す特徴空間は、図６に示した特徴空間と同じである。また、図１５に示す網掛けの四角形、三角形、星形の意味は、図６と同じである。図１５では、図６に示した動作により種別ａの第１の画像ＩＭＧａ１および第２の画像ＩＭＧａ２と種別ｂの第１の画像ＩＭＧｂ１および第２の画像ＩＭＧｂ２とが特定されたものとして、第３画像特定部２３８の動作を説明する。

第３画像特定部２３８は、種別ａの第１の画像ＩＭＧａ１と入力画像ＩＭＧｉとを結んだ直線上に位置する種別ｂの画像ＩＭＧｂ３１（種別ａと異なる種別の画像ＩＭＧ）を、第３の画像ＩＭＧに特定する。これにより、第３の画像ＩＭＧｂ３１が、種別ａの第１の画像ＩＭＧａ１と同一の観点を有する参照画像ＩＭＧｒとして追加される。

さらに、第３画像特定部２３８は、種別ａの第２の画像ＩＭＧａ２と入力画像ＩＭＧｉとを結んだ直線上に位置する種別ｂの画像ＩＭＧｂ３２（種別ａと異なる種別の画像ＩＭＧ）を、第３の画像ＩＭＧに特定する。これにより、第３の画像ＩＭＧｂ３２が、種別ａの第２の画像ＩＭＧａ２と同一の観点を有する参照画像ＩＭＧｒとして追加される。

同様に、第３画像特定部２３８は、第３の画像ＩＭＧａ３１を種別ｂの第１の画像ＩＭＧｂ１と同一の観点を有する参照画像ＩＭＧｒとして特定し、第３の画像ＩＭＧａ３２を種別ｂの第２の画像ＩＭＧｂ２と同一の観点を有する参照画像ＩＭＧｒとして特定する。このように、第３画像特定部２３８は、第１画像特定部２２２および第２画像特定部２３２で特定した参照画像ＩＭＧｒ毎に、各参照画像ＩＭＧｒと同一の観点を有する異なる種別の参照画像ＩＭＧｒを追加する。

第１の画像ＩＭＧ、第２の画像ＩＭＧおよび第３の画像ＩＭＧが参照画像ＩＭＧｒとして入力画像ＩＭＧｉと一緒に表示される。これにより、例えば、図１５に示す点線の軸上の観点で入力画像ＩＭＧｉが種別ａの画像ＩＭＧａと種別ｂの画像ＩＭＧｂのどちらに近いかを確認可能な情報を提供することができる。

なお、第３画像特定部２３８の動作は、図１５に示す例に限定されない。例えば、第１の画像ＩＭＧおよび第２の画像ＩＭＧの各々と入力画像ＩＭＧｉとを通る直線（図１５の点線）は、所定の幅を有してもよい。例えば、第１の画像ＩＭＧおよび第２の画像ＩＭＧの各々と入力画像ＩＭＧｉとを通る直線が図１５に示す点線の直線より広い幅を有する場合、図１５に示す点線の直線付近の画像ＩＭＧを第３の画像ＩＭＧとして抽出できる。これにより、第１の画像ＩＭＧまたは第２の画像ＩＭＧと異なる種別の画像ＩＭＧが図１５に示す点線の直線上に存在しない場合でも、直線付近に位置する異なる種別の画像ＩＭＧを、第３の画像ＩＭＧに特定することができる。

また、第３画像特定部２３８は、特徴空間上における対象の参照画像ＩＭＧｒの位置を示すベクトルＶとのなす角が所定の角度以上で１８０度以下のベクトルＶで示され、対象の参照画像ＩＭＧｒと異なる種別の画像ＩＭＧを、第３の画像ＩＭＧに特定してもよい。対象の参照画像ＩＭＧｒは、例えば、第１の画像ＩＭＧおよび第２の画像ＩＭＧのうちの１つの画像ＩＭＧである。

図１６は、図１４に示した表示部２４２の動作の一例を示す。なお、図１６は、画像ＩＭＧの種別が２つの場合の表示部２４２の動作の一例を示す。画像ＩＭＧの種別の数は、２つに限定されない。画像ＩＭＧａ１、ＩＭＧｂ１、ＩＭＧａ２、ＩＭＧｂ２、ＩＭＧａ３１、ＩＭＧａ３２、ＩＭＧｂ３１、ＩＭＧｂ３２は、例えば、図１５で説明した参照画像ＩＭＧｒ（第１の画像ＩＭＧ、第２の画像ＩＭＧ、第３の画像ＩＭＧ）である。

表示部２４２は、第１画像特定部２２２、第２画像特定部２３２および第３画像特定部２３８により特定された参照画像ＩＭＧｒを、表示装置１１０に表示する。例えば、表示部２４２は、表示画面の中心に入力画像ＩＭＧｉを配置し、入力画像ＩＭＧｉの左右に参照画像ＩＭＧｒをラベル毎にまとめて表示する。

図１６に示す例では、ラベルａの画像ＩＭＧａのうちで入力画像ＩＭＧｉに類似した画像ＩＭＧａ１、ＩＭＧａ２が、ラベルａの画像ＩＭＧａの表示領域内の上から１つ目と２つ目に表示される。そして、ラベルｂの画像ＩＭＧｂの表示領域では、画像ＩＭＧａ１と同一の観点を有する画像ＩＭＧｂ３１が上から１つ目に表示され、画像ＩＭＧａ２と同一の観点を有する画像ＩＭＧｂ３２が上から２つ目に表示される。このため、ラベルｂの画像ＩＭＧｂのうちで入力画像ＩＭＧｉに類似した画像ＩＭＧｂ１、ＩＭＧｂ２は、ラベルｂの画像ＩＭＧｂの表示領域における上から３つ目および４つ目にそれぞれ表示される。したがって、ラベルａの画像ＩＭＧａの表示領域では、画像ＩＭＧｂ１と同一の観点を有する画像ＩＭＧａ３１が上から３つ目に表示され、画像ＩＭＧｂ２と同一の観点を有する画像ＩＭＧａ３２が上から４つ目に表示される。

このように、表示部２４２は、特徴量の観点が揃った画像ＩＭＧ（特徴空間上で入力画像ＩＭＧｉを通る同一の線上に位置する画像ＩＭＧ）を同じ行に表示する。これにより、例えば、オペレータは、入力画像ＩＭＧｉに付与しようとしているラベル以外のラベルの中に、入力画像ＩＭＧｉに類似した画像ＩＭＧが存在した場合、同じ観点で見た時の正解と考えるラベル内の画像ＩＭＧを容易に確認できる。すなわち、入力画像ＩＭＧｉがどのラベルにより近い画像ＩＭＧであるかを容易に確認することが可能になる。この結果、画像ＩＭＧにラベルを付与する際に、過去のラベル付け結果（既にラベル付けされた画像ＩＭＧのラベル付け結果）との矛盾の発生を抑止することができる。

図１７は、図１４に示した画像表示装置２０８の動作の一例を示す。図１７に示す動作は、コンピュータ１０により実行される画像表示方法の一態様である。また、図１７に示す動作をコンピュータ１０に実行させるためのプログラムは、画像表示プログラムの一態様である。なお、図１７に示す動作は、ハードウェアのみで実現されてもよい。図８で説明した動作と同一または同様の動作については、詳細な説明を省略する。図１７に示す動作は、ステップＳ６２０の処理が図８に示した動作に追加され、図８に示したステップＳ７１０の処理の代わりにステップＳ７１２の処理が実行されることを除いて、図８に示した動作と同一または同様である。ステップＳ６２０の処理は、ステップＳ６１０で全てのラベルを探索したと判定された場合に実行される。

ステップＳ６２０では、第３画像特定部２３８は、図１５で説明したように、第３の画像ＩＭＧを参照画像ＩＭＧｒとして追加する。例えば、第３画像特定部２３８は、ステップＳ４１０およびステップＳ５１０で特定した参照画像ＩＭＧｒ（第１の画像ＩＭＧ、第２の画像ＩＭＧ）毎に、参照画像ＩＭＧｒと同じ観点を有する異なるラベルの画像ＩＭＧを第３の画像ＩＭＧに特定する。これにより、第３の画像ＩＭＧは、後述するステップＳ７１２において、入力画像ＩＭＧｉ等と一緒に表示装置１１０に表示される。ステップＳ６２０の処理が実行された後、画像表示装置２０８の動作は、ステップＳ７１２に移る。

ステップＳ７１２では、表示部２４２は、図１６で説明したように、入力画像ＩＭＧｉと各ラベルの参照画像ＩＭＧｒとを表示装置１１０に表示する。すなわち、表示部２４２は、第１の種別、第３の画像ＩＭＧの種別を示す情報、第１の画像ＩＭＧ、第２の画像ＩＭＧ、第３の画像ＩＭＧおよび入力画像ＩＭＧｉを含む画面を表示装置１１０に表示する。これにより、全てのラベルにおいて参照画像ＩＭＧｒの観点が揃った画像ＩＭＧが表示されるため、ある観点における入力画像ＩＭＧｉと各ラベルの参照画像ＩＭＧｒとの距離感を把握しやすくすることができる。ステップＳ７１２の処理が実行された後、画像表示装置２０８の動作は、ステップＳ８００に移る。

なお、画像表示装置２０８の動作は、図１７に示す例に限定されない。例えば、画像表示装置２０８は、ステップＳ５１０の処理の代わりに、図１１に示したステップＳ５１２の処理等を実行してもよい。

以上、図１４から図１７に示す実施形態においても、図１から図１３に示した実施形態と同様の効果を得ることができる。例えば、画像表示装置２０８は、探索対象の画像ＩＭＧで、特徴空間上における第１の画像ＩＭＧの位置を示すベクトルＶとのなす角が９０度のベクトルＶで示される画像ＩＭＧのうち、入力画像ＩＭＧｉに最も類似する画像ＩＭＧを第２の画像ＩＭＧに特定する。

さらに、画像表示装置２０８は、第１の画像ＩＭＧおよび第２の画像ＩＭＧのうちの１つの画像ＩＭＧと同じ観点を有する異なるラベルの画像ＩＭＧを第３の画像ＩＭＧに特定する処理を、第１の画像ＩＭＧおよび第２の画像ＩＭＧの各々に対して実行する。そして、画像表示装置２０８は、入力画像ＩＭＧｉと各ラベルの参照画像ＩＭＧｒ（第１の画像ＩＭＧ、第２の画像ＩＭＧ、第３の画像ＩＭＧ）とを表示装置１１０に表示する。

これにより、全てのラベルにおいて参照画像ＩＭＧｒの観点が揃った画像ＩＭＧが表示されるため、ある観点における入力画像ＩＭＧｉと各ラベルの参照画像ＩＭＧｒとの距離感を把握しやすくすることができる。この結果、画像ＩＭＧにラベルを付与する際に、過去のラベル付け結果（既にラベル付けされた画像ＩＭＧのラベル付け結果）との矛盾の発生を抑止することができる。

以上の実施形態において説明した発明を整理して、付記として以下の通り開示する。
（付記１）
入力画像から複数種類の特徴量を算出し、
画像に対応付けて前記画像の種別を示す情報と前記画像から算出した複数種類の特徴量とを記憶する記憶部を参照して、前記種別のうち第１の種別と対応付けられた画像のうち前記入力画像に最も類似する第１の画像を特定し、
特徴量の種類によって定められる特徴空間上において、前記記憶部に記憶されている複数の画像のうち、前記第１の種別と対応付けられており、前記入力画像および前記第１の画像と所定の位置関係にある第２の画像を特定し、
前記第１の種別を示す情報と前記第１の画像と前記第２の画像と前記入力画像とを含む画面を表示する
処理をコンピュータに実行させるための画像表示プログラム。
（付記２）
付記１に記載の画像表示プログラムにおいて、
前記第１の種別と対応付けられた画像のうち、前記特徴空間上における前記入力画像の位置を始点とした場合の前記第１の画像の位置を示すベクトルとのなす角が９０度のベクトルで示される画像を、前記第２の画像に特定する
処理をコンピュータに実行させるための画像表示プログラム。
（付記３）
付記２に記載の画像表示プログラムにおいて、
前記第１の画像の位置を示すベクトルとのなす角が９０度のベクトルで示される画像を複数抽出した場合、抽出した複数の画像のうち、前記入力画像に最も類似する画像を前記第２の画像に特定する
処理をコンピュータに実行させるための画像表示プログラム。
（付記４）
付記３に記載の画像表示プログラムにおいて、
さらに、複数の前記第２の画像を特定する場合、前記第１の種別と対応付けられており、前記特徴空間上における前記入力画像の位置を始点とした場合の前記第１の画像の位置を示すベクトルおよび既に特定した前記第２の画像の位置を示すベクトルの各々とのなす角が全て９０度であるベクトルで示される画像のうち、前記入力画像に最も類似する画像を前記第２の画像に特定する
処理をコンピュータに実行させるための画像表示プログラム。
（付記５）
付記１に記載の画像表示プログラムにおいて、
前記第１の種別と対応付けられており、前記特徴空間上における前記入力画像の位置を始点とした場合の前記第１の画像の位置を示すベクトルとのなす角が９０度を含む所定の第１の範囲内のベクトルで示される画像のうち、前記入力画像に最も類似する画像を前記第２の画像に特定し、
さらに、複数の前記第２の画像を特定する場合、前記第１の種別と対応付けられており、前記特徴空間上における前記入力画像の位置を始点とした場合の前記第１の画像の位置を示すベクトルおよび既に特定した前記第２の画像の位置を示すベクトルの各々とのなす角が全て前記第１の範囲内であるベクトルで示される画像のうち、前記入力画像に最も類似する画像を前記第２の画像に特定する
処理をコンピュータに実行させるための画像表示プログラム。
（付記６）
付記１に記載の画像表示プログラムにおいて、
前記第１の種別と対応付けられており、前記特徴空間上における前記第１の画像との距離が所定の第１の距離以上の画像のうち、前記入力画像に最も類似する画像を前記第２の画像に特定する
処理をコンピュータに実行させるための画像表示プログラム。
（付記７）
付記６に記載の画像表示プログラムにおいて、
さらに、複数の前記第２の画像を特定する場合、前記第１の種別と対応付けられており、前記特徴空間上における前記第１の画像および既に特定した前記第２の画像の各々との距離が前記第１の距離以上の画像のうち、前記入力画像に最も類似する画像を前記第２の画像に特定する
処理をコンピュータに実行させるための画像表示プログラム。
（付記８）
付記６または付記７に記載の画像表示プログラムにおいて、
前記入力画像との距離が所定の第２の距離以上の画像を、前記第２の画像を特定する際の探索対象から除外する
処理をコンピュータに実行させるための画像表示プログラム。
（付記９）
付記１ないし付記８のいずれか１項に記載の画像表示プログラムにおいて、
前記特徴空間上における前記第１の画像および前記第２の画像のうちの１つの画像と前記入力画像とを通る直線上に位置し、前記１つの画像と異なる種別の画像を、第３の画像に特定し、
前記第１の種別を示す情報と前記第３の画像の種別を示す情報と前記第１の画像と前記第２の画像と前記第３の画像と前記入力画像とを含む画面を表示する
処理をコンピュータに実行させるための画像表示プログラム。
（付記１０）
付記９に記載の画像表示プログラムにおいて、
前記直線は、所定の幅を有する
ことを特徴とする画像表示プログラム。
（付記１１）
付記１ないし付記８のいずれか１項に記載の画像表示プログラムにおいて、
前記特徴空間上における前記入力画像の位置を始点とした場合の前記第１の画像および前記第２の画像のうちの１つの画像の位置を示すベクトルとのなす角が所定の角度以上で１８０度以下のベクトルで示され、前記１つの画像と異なる種別の画像を、第３の画像に特定し、
前記第１の種別を示す情報と前記第３の画像の種別を示す情報と前記第１の画像と前記第２の画像と前記第３の画像と前記入力画像とを含む画面を表示する
処理をコンピュータに実行させるための画像表示プログラム。
（付記１２）
付記１ないし付記１１のいずれか１項に記載の画像表示プログラムにおいて、
前記第１の種別を前記種別のうちの他の種別に変更して、前記第１の画像の特定および前記第２の画像の特定を前記種別毎に実行する
処理をコンピュータに実行させるための画像表示プログラム。
（付記１３）
入力画像から複数種類の特徴量を算出する特徴量算出部と、
画像に対応付けて前記画像の種別を示す情報と前記画像から算出した複数種類の特徴量とを記憶する記憶部を参照して、前記種別のうち第１の種別と対応付けられた画像のうち前記入力画像に最も類似する第１の画像を特定する第１画像特定部と、
特徴量の種類によって定められる特徴空間上において、前記記憶部に記憶されている複数の画像のうち、前記第１の種別と対応付けられており、前記入力画像および前記第１の画像と所定の位置関係にある第２の画像を特定する第２画像特定部と、
前記第１の種別を示す情報と前記第１の画像と前記第２の画像と前記入力画像とを含む画面を表示する表示部とを有する
ことを特徴とする画像表示装置。
（付記１４）
コンピュータにより実行される画像表示方法であって、
前記コンピュータが、
入力画像から複数種類の特徴量を算出し、
画像に対応付けて前記画像の種別を示す情報と前記画像から算出した複数種類の特徴量とを記憶する記憶部を参照して、前記種別のうち第１の種別と対応付けられた画像のうち前記入力画像に最も類似する第１の画像を特定し、
特徴量の種類によって定められる特徴空間上において、前記記憶部に記憶されている複数の画像のうち、前記第１の種別と対応付けられており、前記入力画像および前記第１の画像と所定の位置関係にある第２の画像を特定し、
前記第１の種別を示す情報と前記第１の画像と前記第２の画像と前記入力画像とを含む画面を表示する
ことを特徴とする画像表示方法。
（付記１５）
入力画像から複数種類の特徴量を算出し、
画像に対応付けて前記画像の種別を示す情報と前記画像から算出した複数種類の特徴量とを記憶する記憶部を参照して、前記種別のうち第１の種別と対応付けられた画像のうち前記入力画像に最も類似する第１の画像を特定し、
特徴量の種類によって定められる特徴空間上において、前記記憶部に記憶されている複数の画像のうち、前記第１の種別と対応付けられており、前記入力画像および前記第１の画像と所定の位置関係にある第２の画像を特定し、
前記第１の種別を示す情報と前記第１の画像と前記第２の画像と前記入力画像とを含む画面を表示する
処理をコンピュータに実行させるための画像表示プログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

１０‥コンピュータ；２０‥プロセッサ；３０‥メモリ；４０‥ハードディスク装置；５０‥入力インタフェース；６０‥出力インタフェース；７０‥ドライブ装置；８０‥バス；９０‥撮像装置；１００‥入力装置；１１０‥表示装置；１２０‥リムーバブルメディア；２００、２０２、２０４、２０６、２０８‥画像表示装置；２１０‥特徴量算出部；２１２‥類似度算出部；２２０、２２２‥第１画像特定部；２３０、２３２、２３４、２３６‥第２画像特定部；２３８‥第３画像特定部；２４０、２４２‥表示部；２５０‥登録部

Claims (11)

1. 入力画像から複数種類の特徴量を算出し、
   画像に対応付けて前記画像の種別を示す情報と前記画像から算出した複数種類の特徴量とを記憶する記憶部を参照して、前記種別のうち第１の種別と対応付けられた画像のうち前記入力画像に最も類似する第１の画像を特定し、
   特徴量の種類によって定められる特徴空間上において、前記記憶部に記憶されている複数の画像のうち、前記第１の種別と対応付けられており、前記入力画像および前記第１の画像と所定の位置関係にある第２の画像を特定し、
   前記第１の種別を示す情報と前記第１の画像と前記第２の画像と前記入力画像とを含む画面を表示する
   処理をコンピュータに実行させるための画像表示プログラム。
2. 請求項１に記載の画像表示プログラムにおいて、
   前記第１の種別と対応付けられた画像のうち、前記特徴空間上における前記入力画像の位置を始点とした場合の前記第１の画像の位置を示すベクトルとのなす角が９０度のベクトルで示される画像を、前記第２の画像に特定する
   処理をコンピュータに実行させるための画像表示プログラム。
3. 請求項２に記載の画像表示プログラムにおいて、
   前記第１の画像の位置を示すベクトルとのなす角が９０度のベクトルで示される画像を複数抽出した場合、抽出した複数の画像のうち、前記入力画像に最も類似する画像を前記第２の画像に特定する
   処理をコンピュータに実行させるための画像表示プログラム。
4. 請求項３に記載の画像表示プログラムにおいて、
   さらに、複数の前記第２の画像を特定する場合、前記第１の種別と対応付けられており、前記特徴空間上における前記入力画像の位置を始点とした場合の前記第１の画像の位置を示すベクトルおよび既に特定した前記第２の画像の位置を示すベクトルの各々とのなす角が全て９０度であるベクトルで示される画像のうち、前記入力画像に最も類似する画像を前記第２の画像に特定する
   処理をコンピュータに実行させるための画像表示プログラム。
5. 請求項１に記載の画像表示プログラムにおいて、
   前記第１の種別と対応付けられており、前記特徴空間上における前記入力画像の位置を始点とした場合の前記第１の画像の位置を示すベクトルとのなす角が９０度を含む所定の第１の範囲内のベクトルで示される画像のうち、前記入力画像に最も類似する画像を前記第２の画像に特定し、
   さらに、複数の前記第２の画像を特定する場合、前記第１の種別と対応付けられており、前記特徴空間上における前記入力画像の位置を始点とした場合の前記第１の画像の位置を示すベクトルおよび既に特定した前記第２の画像の位置を示すベクトルの各々とのなす角が全て前記第１の範囲内であるベクトルで示される画像のうち、前記入力画像に最も類似する画像を前記第２の画像に特定する
   処理をコンピュータに実行させるための画像表示プログラム。
6. 請求項１に記載の画像表示プログラムにおいて、
   前記第１の種別と対応付けられており、前記特徴空間上における前記第１の画像との距離が所定の第１の距離以上の画像のうち、前記入力画像に最も類似する画像を前記第２の画像に特定する
   処理をコンピュータに実行させるための画像表示プログラム。
7. 請求項６に記載の画像表示プログラムにおいて、
   さらに、複数の前記第２の画像を特定する場合、前記第１の種別と対応付けられており、前記特徴空間上における前記第１の画像および既に特定した前記第２の画像の各々との距離が前記第１の距離以上の画像のうち、前記入力画像に最も類似する画像を前記第２の画像に特定する
   処理をコンピュータに実行させるための画像表示プログラム。
8. 請求項６または請求項７に記載の画像表示プログラムにおいて、
   前記入力画像との距離が所定の第２の距離以上の画像を、前記第２の画像を特定する際の探索対象から除外する
   処理をコンピュータに実行させるための画像表示プログラム。
9. 請求項１ないし請求項８のいずれか１項に記載の画像表示プログラムにおいて、
   前記特徴空間上における前記第１の画像および前記第２の画像のうちの１つの画像と前記入力画像とを通る直線上に位置し、前記１つの画像と異なる種別の画像を、第３の画像に特定し、
   前記第１の種別を示す情報と前記第３の画像の種別を示す情報と前記第１の画像と前記第２の画像と前記第３の画像と前記入力画像とを含む画面を表示する
   処理をコンピュータに実行させるための画像表示プログラム。
10. 入力画像から複数種類の特徴量を算出する特徴量算出部と、
    画像に対応付けて前記画像の種別を示す情報と前記画像から算出した複数種類の特徴量とを記憶する記憶部を参照して、前記種別のうち第１の種別と対応付けられた画像のうち前記入力画像に最も類似する第１の画像を特定する第１画像特定部と、
    特徴量の種類によって定められる特徴空間上において、前記記憶部に記憶されている複数の画像のうち、前記第１の種別と対応付けられており、前記入力画像および前記第１の画像と所定の位置関係にある第２の画像を特定する第２画像特定部と、
    前記第１の種別を示す情報と前記第１の画像と前記第２の画像と前記入力画像とを含む画面を表示する表示部とを有する
    ことを特徴とする画像表示装置。
11. コンピュータにより実行される画像表示方法であって、
    前記コンピュータが、
    入力画像から複数種類の特徴量を算出し、
    画像に対応付けて前記画像の種別を示す情報と前記画像から算出した複数種類の特徴量とを記憶する記憶部を参照して、前記種別のうち第１の種別と対応付けられた画像のうち前記入力画像に最も類似する第１の画像を特定し、
    特徴量の種類によって定められる特徴空間上において、前記記憶部に記憶されている複数の画像のうち、前記第１の種別と対応付けられており、前記入力画像および前記第１の画像と所定の位置関係にある第２の画像を特定し、
    前記第１の種別を示す情報と前記第１の画像と前記第２の画像と前記入力画像とを含む画面を表示する
    ことを特徴とする画像表示方法。

Images