JP2006113776A - 画像処理システムおよび画像処理プログラム - Google Patents

Abstract

【課題】 画像の一部の領域に注釈として画像を付与する画像処理システムであって、使用者が領域を指定する必要のないものを提供する。
【解決手段】 画像処理システムは、使用者からの指示に応じて複数の画像の中から第１の画像を選択して(#114)、第１の画像に複数の領域を設定し、各領域と第１の画像以外の第２の画像とを比較して各領域と第２の画像の類似度を求め、第２の画像に最も類似している第１の画像の領域を検出する(#120)。そして、第２の画像が第１の画像のうちの検出された領域の注釈であることを示す情報を作成し、記録する(#124)。第１の画像と同じフォルダに含まれている全画像を第２の画像として、上記の処理を行う。
【選択図】 図８

Description

本発明は、画像の一部の領域に注釈を付与する機能を有する画像処理システムおよび画像処理プログラムに関する。

デジタルカメラで撮影した画像の一部の領域に注釈を付与して、画像が有する情報伝達の機能を高めることが提案されている（例えば、特開２００４−１８０１８１号参照）。
特開２００４−１８０１８１号公報

注釈としては音声や文字が用いられていたが、近年では、画像を注釈として用いることも行われている。どの注釈をどの画像のどの領域に付与するかは、使用者が撮影に際してデジタルカメラで指定するか、または、撮影後、画像をパーソナルコンピュータに伝送して、パーソナルコンピュータ上で指定する。

注釈とその注釈を付与する画像と領域とを指定するためには何段階かの操作を行う必要があり、一度に多くの画像に注釈を付与する場合は、使用者にとって煩雑な作業となる。ここで、音声と文字は画像とは全く異質のものであるから、音声または文字を注釈として画像に付与する場合は、どの画像のどの領域に付与するかを使用者が指定することが不可欠である。

しかし、注釈が画像の場合は、それを付与される画像との間に内容の類似性があることが多く、そのような場合は、デジタルカメラあるいはパーソナルコンピュータが自動的に行うようにすることも可能である。ところが、従来は、注釈が画像の場合も、使用者がどの画像のどの領域に付与するかを指定するようにしており、不便であった。

本発明は、このような問題点に鑑みてなされたもので、画像の一部の領域に注釈として画像を付与する画像処理システムであって、使用者が領域を指定する必要のないものを提供することを目的とする。また、そのようなシステムのための画像処理プログラムを提供することを目的とする。

上記目的を達成するために、本発明では、画像の一部の領域にその領域の注釈として他の画像を対応付ける画像処理システムにおいて、使用者からの指示に応じて複数の画像の中から第１の画像を選択する選択手段と、第１の画像に複数の領域を設定し、各領域と第１の画像以外の第２の画像とを比較して各領域と第２の画像の類似度を求め、第２の画像に最も類似している第１の画像の領域を検出する検出手段と、第２の画像が第１の画像のうちの検出手段によって検出された領域の注釈であることを示す情報を記録する記録手段を備えるようにする。

この画像処理システムでは、使用者が指定した第１の画像のうち別の第２の画像に最も類似した領域が自動的に見いだされて、第２の画像が第１の画像の一部の領域の注釈であることが記録される。したがって、使用者は、注釈を付与したい画像を指定するだけでよく、領域を指定する必要はない。

ここで、検出手段が検出した領域と第２の画像の類似度が所定の基準を満たすときに限り、記録手段が前記情報を記録するようにするとよい。このようにすると、第２の画像が第１の画像のどの領域とも類似していないのに、誤って注釈として採用されるという事態を回避することができる。

検出手段が、第１の画像と同一フォルダに画像ファイルが含まれている第１の画像以外の全ての画像を、順に第２の画像とするようにするとよい。このようにすると、同一フォルダ内の第１の画像以外の全ての画像について、注釈として適するか否を調べることができて、効率がよい。また、別のフォルダ内の画像については注釈として適するか否を調べるのを避けることができて、無駄がない。

検出手段が、第１の画像に設定する領域の大きさを、第１の画像の像倍率と第２の画像の像倍率に基づいて定めるようにするのが好ましい。一般に、注釈としての画像は注釈を付与する画像の一部の領域を拡大したものであり、また、その拡大率は画像ごとに異なる。そのため、第１の画像に設定する領域の大きさを一定にしたのでは、第２の画像が表す範囲と第１の画像の一部の領域が表す範囲とが相違して、比較が困難になることが多い。しかし、このように第１の画像と第２の画像の像倍率に基づいて第１の画像の領域の大きさを定めると、第２の画像が表す範囲と第１の画像の一部の領域が表す範囲を一致させることができて、確実に比較をすることが可能になり、また、求めた類似度の精度も高くなる。

検出手段が、第１の画像のあらゆる部位がいずれかの領域に含まれ、かつ、各領域が隣の領域と部分的に重なり合うように、第１の画像に複数の領域を設定するとよい。このようにすると、第１の画像のうち第２の画像と比較されない部位がなくなるとともに、第１の画像の同一部位を第２の画像の異なる部位と比較することができて、第２の画像に類似した領域を見いだし易くなる。

検出手段は、第１の画像の各領域の全体の輝度のヒストグラムと、第２の画像の全体の輝度のヒストグラムを比較して、各領域と第２の画像の類似度を求めるものとすることができる。このようにすると、類似度を求めるために必要な時間が短くなり、処理効率が高くなる。

検出手段は、第１の画像の各領域が表す像と第２の画像が表す像の形状を比較して、各領域と第２の画像の類似度を求めるものとすることもできる。このようにすると、類似度の正確性が高くなる。

記録手段が前記情報を第１の画像の画像ファイルと第２の画像の画像ファイルとに記録するようにするとよい。このようにすると、画像ファイルを調べるだけで、その画像が他の画像の注釈であるか否か、および、その画像に注釈が付与されているか否かが判り、注釈を付与された画像および注釈である画像の再生が容易になる。

記録手段が前記情報を専用のファイルに記録するようにしてもよい。このようにすると、ファイル容量の制約がなく、同一画像に多数の注釈を付与する場合でも確実に情報を記録することができる。

前記目的を達成するために、本発明ではまた、画像の一部の領域にその領域の注釈として他の画像を対応付ける処理をコンピュータに実行させる画像処理プログラムは、使用者からの指示に応じて複数の画像の中から第１の画像を選択する選択処理と、第１の画像に複数の領域を設定し、各領域と第１の画像以外の第２の画像とを比較して各領域と第２の画像の類似度を求め、第２の画像に最も類似している第１の画像の領域を検出する検出処理と、第２の画像が第１の画像のうちの検出処理によって検出された領域の注釈であることを示す情報を記録する記録処理をコンピュータに実行させる命令が記されているものとする。

本発明の画像処理システムおよび画像処理プログラムでは、画像の一部の領域に注釈としての画像を付与するために、使用者は、注釈を付与したい画像を指定するだけよく、その画像の領域を指定したり、注釈としての画像を指定したりする必要がない。このため、画像を注釈として付与する処理がきわめて容易になる。また、本発明のシステムやプログラムをパーソナルコンピュータに備えておけば、領域を指定する機能をもたないデジタルカメラで撮影した画像に対しても、パーソナルコンピュータ上で注釈を付与することができる。さらに、本発明のシステムやプログラムをデジタルカメラに備えれば、画像の一部の領域を指定する機能をもたなくても、撮影した画像の一部の領域に注釈として画像を付与し得るデジタルカメラとなる。

以下、本発明の一実施形態であるパーソナルコンピュータについて、図面を参照しながら説明する。本実施形態のパーソナルコンピュータ１の外観を図１に模式的に示す。パーソナルコンピュータ１は、演算を行うＣＰＵ、および情報を記憶するメモリ、ハードディスク等の記憶媒体を内蔵した本体１１と、画像、文字等の諸情報を表示する表示部１２とを有する。図示しないが、本体には、入力操作に使用されるキーボードおよびマウスが接続されている。

パーソナルコンピュータ１の構成を図２に模式的に示す。パーソナルコンピュータ１は、ＣＰＵを含む制御部１３、マウス、キーボード等を含む操作部１４、半導体メモリ、ハードディスク等を含む記憶部１５、着脱可能な記録媒体を装着するための装着部１６、および、外部の機器と接続するための接続部１７を有する。記憶部１５には、パーソナルコンピュータ１の制御を記したプログラムのほか、パーソナルコンピュータ１が行う画像処理を記したプログラムも記憶されている。制御部１３のＣＰＵは、それらのプログラムに従って処理を行う。記憶部１５にはまた、画像も記憶される。記憶部１５に記憶する画像は、デジタルカメラから着脱可能な記録媒体またはケーブルを介して提供される。

パーソナルコンピュータ１に画像を提供するデジタルカメラ２の外観を図３に模式的に示す。図３において、（ａ）は斜め前方からの斜視図、（ｂ）は背面図である。デジタルカメラ２は、前面に、内蔵のエリアセンサ（不図示）に撮影対象からの光を導く撮像レンズ２１、光学ファインダ前窓２２ａ、セルフタイマーランプ２３、フラッシュ発光部２４を有し、側面に、着脱可能な記録媒体であるメモリカードを装着するカードスロット２５、ＵＳＢ／ＡＶ出力端子２６を有する。また、上面に、シャッターレリーズボタン２７、電源ボタン２８、背面に、光学ファインダ後窓２２ｂ、液晶パネルから成る表示部２９を有する。

デジタルカメラ２は、画像を撮影しながら撮影した画像を直ちに表示部２９に表示することが可能であり、表示部２９はビューファインダーとして機能する。レリーズボタン２７が操作された直後に撮影された画像は、画像ファイルとしてメモリカードに記録される。また、メモリカードに記録されている画像ファイルの画像は、表示部２９に再生表示することができる。なお、メモリカードに記録される画像ファイルのタグ（ヘッダ）には、その画像の撮影日時、撮像倍率、露光条件等の撮影に関する情報が記録される。

デジタルカメラ２は、通常の撮影を行う通常撮影モードに加え、アノテーション撮影モード、および、ガイド撮影モードを有する。アノテーション撮影モードは、既に撮影してメモリカードに記録している画像の一部の領域に、注釈として画像を付与するものである。領域を指定した直後に撮影した画像がその領域の注釈となる。また、ガイド撮影モードは、画像の撮影に際して、既に撮影してメモリカードに記録している画像を表示部２９に表示して、新たな画像の撮影の参考にするものである。

デジタルカメラ２の背面には、これらの３つのモードを設定するための通常撮影ボタン３１、アノテーション撮影ボタン３２、ガイド撮影ボタン３３が設けられている。また、アノテーション撮影モード、およびガイド撮影モードで使用する方向ボタン３０も設けられている。方向ボタン３０は、それぞれ上下左右を指定する上ボタン、下ボタン、左ボタン、右ボタンを含む。

パーソナルコンピュータ１は、デジタルカメラ２のいずれのモードで撮影された画像も再生表示することができる。特に、アノテーション撮影モードで撮影された注釈としての画像が付与されている画像を表示する際には、注釈が付与された領域を示すための枠を重ねて表示する。さらに、操作部１４の操作に応じて、注釈である画像も表示する。また、ガイド撮影モードで撮影された画像を再生表示する際には、参考として用いた画像の縮小画像も表示する。

パーソナルコンピュータ１は、このほか、画像の一部の領域と他の画像を比較して、両者の類似度を求め、類似していれば、後者を前者の注釈として両者を関連付ける機能、すなわち、画像に注釈を自動的に付与する機能を有する。使用者は、この注釈自動付与の機能を利用して、注釈が付与されていない画像に注釈を付与することができる。以下、注釈が付与された画像、および、注釈を付与しようとする画像を親画像といい、他の画像（親画像）に注釈として付与された画像を子画像という。また、注釈として適するか否かの判定のために親画像と比較される画像を対象画像という。

パーソナルコンピュータ１が、注釈自動付与の処理に関して表示部２９に表示する画面について説明する。注釈自動付与のために最初に表示するメインウインドウを図４に示す。メインウインドウ４０には、フォルダツリー４１を表示するツリー表示領域４１ａ、および、フォルダツリー４１内の指定されたフォルダに含まれるフォルダ４２およびファイルを表示するフォルダ・ファイル表示領域４２ａを有する。また、メインウインドウ４０にはアノテーションボタン４３が表示される。アノテーションボタン４３は、これから注釈を付与する親画像および対象画像を表示するアノテーションウインドウへの表示の切り替えに用いられる。アノテーションウインドウへの表示切替は、フォルダ・ファイル表示領域４２ａに表示されているフォルダを選択し、次いでアノテーションボタン４３を操作することで行われる。

アノテーションウインドウ５０を図５に示す。アノテーションウインドウ５０は、親画像５１を表示する親画像表示領域５１ａ、対象画像５２を表示する対象画像表示領域５２ａを有する。また、アノテーションウインドウ５０には、親画像指定ボタン５３、および、注釈付与ボタン５４が表示される。親画像指定ボタン５３は、親画像を指定する処理を行う親画像指定ダイアログボックスを表示するために用いられる。また、注釈付与ボタン５４は、注釈自動付与の開始の指示に用いられる。

親画像指定ダイアログボックス６０を図６に示す。親画像指定ダイアログボックス６０は、ディレクトリパス表示領域６１ａ、親画像ファイル名表示領域６２ａを有する。親画像ファイル名表示領域６２ａには、親画像として指定された画像のファイル名が表示される。デフォルトでは、親画像ファイル名表示領域６２ａに表示されるファイル名は、アノテーションウインドウ５０（図５）の親画像表示領域５１ａに表示されている画像のものであり、ディレクトリパス表示領域６１ａには、そのファイルのディレクトリパスが表示される。

親画像指定ダイアログボックス６０には、また、エッジボタン６３、色ボタン６４、参照ボタン６５、追加ボタン６６、削除ボタン６７、ＯＫボタン６８ａ、キャンセルボタン６８ｂ、および情報保存チェックボックス６９が表示される。使用者は、エッジボタン６３を操作（クリック）することにより、選択したフォルダ内の全ての画像のうち、高周波成分（エッジ）を最も多く含んでいるものを親画像として指定することができ、また、色ボタン６４を操作することにより、選択したフォルダ内の全ての画像のうち、最も色の多いものを親画像として指定することができる。エッジボタン６３または色ボタン６４の操作により親画像が指定されると、そのファイル名が親画像ファイル名表示領域６２ａに表示される。

さらに、使用者は、参照ボタン６５を操作することにより、親画像のファイル名を選択するためのダイアログボックスを表示させて、ファイル名を選択することができる。ファイル名選択ダイアログボックス７０を図７に示す。ファイル名選択ダイアログボックス７０は、フォルダ７１を表示するフォルダ表示領域７１ａと、フォルダ表示領域７１ａの中の選択されたフォルダに含まれているファイルのファイル名７２を表示するファイル名表示領域７２ａを有する。ファイル名選択ダイアログボックス７０には、また、開くボタン７３、キャンセルボタン７４が表示される。ファイル名表示領域７２ａに表示されているファイル名を選択し、ＯＫボタン７３を操作することで、親画像を指定することができる。

指定後、親画像指定ダイアログボックス６０（図６）の追加ボタン６６を操作することで、指定されたファイル名が親画像ファイル名表示領域６２ａに追加表示される。なお、アノテーションウインドウ５０（図５）の親画像表示領域５１ａには、親画像ファイル名表示領域６２ａにファイル名が表示されている全ての画像が表示される。

削除ボタン６７は、親画像ファイル名表示領域６２ａからファイル名を削除するために用いられる。ＯＫボタン６８ａは、上記の各操作の結果を保存した状態で親画像の指定処理を終了するのに用いられ、キャンセルボタン６８ｂは、各操作の結果を保存せずに親画像の指定処理を終了するのに用いられる。情報保存チェックボックス６９は、アノテーションウインドウ５０の表示設定情報、つまりアノテーションウインドウ５０に表示されている内容を、保存（ファイルに記録）するか否かの指示に用いられる。

以下、注釈自動付与の機能について説明する。注釈自動付与の処理の流れを図８に示す。まず、メインウインドウ４０を表示し、フォルダツリー４１の中から選択されたフォルダに含まれるフォルダとファイルをフォルダ・ファイル表示領域４２ａに表示する（ステップ＃１００）。次いで、アノテーションウインドウ５０を表示する指示（フォルダの選択とアノテーションボタン４３の操作）がなされたか否かを判定し（＃１０２）、指示がなされなければ終了する。

指示がなされたときは、選択されたフォルダにＪＰＥＧ、ＢＭＰ、ＴＩＦＦ等の画像ファイルが存在するか否かを判定し（＃１０４）、画像ファイルが存在しなければ終了する。選択されたフォルダに画像ファイルが存在するときは、アノテーションウインドウ５０を表示する（＃１０６）。そして、アノテーションウインドウの表示設定情報の有無を判定する（＃１０８）。アノテーションウインドウの表示設定情報があるとき、すなわち、前回のアノテーションウインドウの内容をファイルに記録していたときは、その内容をアノテーションウインドウに表示して（＃１１０）、ステップ＃１１４に進む。

アノテーションウインドウの表示設定情報がないときは、親画像表示領域５１ａにデフォルトの親画像を表示する（＃１１２）。なお、デフォルトの親画像は、選択されたフォルダ内で作成日時の最も古い画像ファイルのものである。他の画像ファイルの画像は対象画像として対象画像表示領域５２ａに、作成日時の古いものから順に並べて表示する。その後、親画像指定ダイアログボックス６０を介して親画像が指定されたか否かを判定し（＃１１４）、親画像が指定されたときは、指定された親画像を親画像表示領域５１ａに表示し、対象画像表示領域５２ａに表示する対象画像も更新する（＃１１６）。

次いで、注釈付与ボタン５４の操作により注釈自動付与の開始が指示されたか否かを判定し（＃１１８）、指示がなければステップ＃１１４に戻る。開始が指示されたときは、親画像と対象画像との類似度を算出する処理を行う（＃１２０）。この類似度算出処理については後に詳述する。類似度の算出後、その結果に基づいて、親画像の一部の領域と対象画像とが類似しているか否かを判定し（＃１２２）、類似していなければステップ＃１２６に進む。類似していれば、対象画像が親画像の一部の領域の注釈であることを示す情報（関連付け情報）を作成し、作成した関連付け情報をファイルに記録する（＃１２４）。そして、フォルダ内に類似度の算出を行っていない対象画像があるか否かを判定し（＃１２６）、あればステップ＃１２０に戻って、次の対象画像についてステップ１２０以降の処理を行い、なければ終了する。

関連付けファイルには、親画像のファイル名、新たに子画像となった対象画像のファイル名、親画像の領域の位置および大きさが含まれる。関連付けファイルは、親画像の画像ファイルのタグと子画像の画像ファイルのタグの双方に記録する。このように、親画像と子画像の画像ファイルに関連付け情報を記録するようにすると、画像の再生表示に際して、その画像が親画像であるか否か、親画像であれば注釈としての画像がどれであるか、その画像が注釈であるか否か、注釈であれば親画像がどれであるかが直ちに判って、便利である。

関連付け情報を、親画像と子画像の画像ファイルに記録することに代えて、専用のファイルに記録するようにしてもよい。このようにすると、記録する情報の量に制約が生じず、同一の親画像に多くの画像を注釈として付与する場合でも、全ての関連付け情報を記録することができる。また、関連付け情報の管理も容易である。

ステップ＃１２６からステップ＃１２０に戻ることにより、親画像の画像ファイルと同じフォルダに含まれている他の全ての画像ファイルの画像が対象画像として扱われる。なお、各画像を対象画像とするか否かを使用者が指定するステップをステップ＃１２０の直前に設けるようにしてもよい。また、ステップ＃１１４で、親画像が複数指定された場合は、ステップ＃１２０からステップ＃１２６までの処理を、指定された全ての親画像について行うようにする。

ステップ＃１２０での親画像と対象画像の類似度の算出では、対象画像に相当する大きさの領域を親画像に設定し、親画像のどの部位もいずれかの領域に含まれるように、かつ、１つの領域と隣の領域とが部分的に重なり合うように、領域の位置を少しずつ変えて、各領域と対象画像の類似度を算出する。そして、最も類似度の高い領域を見いだして、その領域の類似度が所定の基準を満たすときに、親画像と対象画像が類似していると判断する。なお、領域の移動量は、領域の大きさ未満であればいくらでもよいが、あまりに移動量が小さいと演算に長時間を要するので、領域の大きさの１０分の１程度から２分の１程度とするのがよい。また、領域の移動方向に制約はなく、例えば、画像の左端から右端まで移動させることを上端から下端に向かって繰り返せばよい。

対象画像は親画像の一部分に相当するものであって、親画像よりも大きな撮像倍率で撮影されているから、そのままでは親画像との類似度の算出はできない。そこで、対象画像の像倍率が親画像の像倍率に一致するように、親画像の撮像倍率と対象画像の撮像倍率に基づいて対象画像を縮小し、親画像に設定する領域を縮小後の対象画像と同じ大きさとする。前述のように、デジタルカメラ２から提供される画像ファイルには画像の撮像倍率が記録されており、対象画像の縮小に必要な画像の撮像倍率は画像ファイルから得られる。

領域の位置を変えながら親画像と対象画像の類似度を算出し、類似度の最も高い領域を見いだす例を図１０に示す。この例は、図９に示した１つのフォルダに６つの画像（画像ファイル）Ｍ１〜Ｍ６が含まれており、その中の画像Ｍ４を親画像、画像Ｍ５を対象画像としたときのものである。なお、図１０において、Ｍｐは親画像、Ｍｒは対象画像、Ｒは親画像に設定した領域である。図１０（ａ）は、親画像Ｍｐに設定した領域Ｒの位置を矢印の方向に移動させている様子を表したものであり、図１０（ｂ）は、対象画像Ｍｒとの類似度が最も高かった領域Ｒの位置を表したものである。

類似度の算出には２通りの方法がある。第１の方法は、対象画像全体にわたる輝度のヒストグラムを算出し、同様に、親画像の各領域について領域全体にわたる輝度のヒストグラムを算出して、２つのヒストグラム間で同じ輝度範囲の度数の差の絶対値を求め、その全輝度範囲にわたる総和を類似度とするものである。したがって、類似度の値が小さいほど、よく類似していることになる。

具体的には、次式で定めるＳＨを類似度とする。

ここで、ｋは輝度であり、２５６段階である。また、Ｎｐ_kは親画像の領域の輝度がｋの度数であり、Ｎｒ_kは対象画像の輝度がｋの度数である。なお、度数は、画像を構成する微小部位の数であるが、個々の画素をそれぞれ微小部位としてもよいし、隣接する複数の画素をまとめて１つの微小部位としてもよい。

親画像の領域と対象画像のヒストグラムの例を図１１に示す。図１１において、Ｈｐは親画像の領域のヒストグラム、Ｈｒは対象画像のヒストグラムである。図１１（ａ）の例では、対象画像に比べて親画像の領域の輝度が全体的に高く、両者のヒストグラムの重なりは小さい。したがって、この場合、類似度の値は大きくなる。図１１（ｂ）の例では、親画像の領域の輝度と対象画像の輝度が全体的に一致しており、両者のヒストグラムの重なりは大きい。この場合、類似度の値は小さくなる。

第１の方法による類似度算出の処理の流れを図１２に示す。まず、親画像の撮像倍率と対象画像の撮像倍率から対象画像の縮小率を決定して、対象画像をその縮小率で縮小し（ステップ＃２００）、縮小後の対象画像と同じ大きさの領域を親画像に設定する（＃２０２）。そして、対象画像の輝度のヒストグラムを作成する（＃２０４）。また、親画像の領域を初期位置に設定する（＃２０６）。

次いで、設定した領域について親画像の輝度のヒストグラムを作成し（＃２０８）、そのヒストグラムと対象画像のヒストグラムから類似度を算出して（＃２１０）、記憶する（＃２１２）。その後、領域が最終位置であるか否かを判定し（＃２１４）、最終位置でなければ、領域を移動させて（＃２１６）、ステップ＃２０８に戻る。

領域が最終位置のときは、ステップ＃２１２で記憶した全ての類似度を調べて、類似度の最小値を見いだす（＃２１８）。また、親画像と対象画像の類否の基準とするための類似度の基準値を設定する（＃２２０）。この基準値は、対象画像の大きさ、すなわち親画像に設定した領域の大きさ、および、対象画像全体のコントラストに基づいて定める。次いで、類似度の最小値が基準値以下であるか否かを判定する（＃２２２）。

類似度の最小値が基準値以下のときは、親画像と対象画像が類似していると判断し（＃２２４）、親画像表示領域５１ａに表示している親画像のうち類似度が最小値であった領域に領域枠を重ねて表示する（＃２２６）。一方、類似度の最小値が基準値を超えているときは、親画像と対象画像が類似していないと判断し（＃２２８）、親画像全体に枠を表示する（＃２３０）。

類似度算出の第２の方法は、親画像の領域と対象画像との間で、位置が対応する微小部位間の輝度の差の絶対値を求め。その全微小部位にわたる総和を類似度とするものである。したがって、形状の類似度を求めることになり、また、類似度の値が小さいほど、よく類似していることになる。

具体的には、次式で定めるＳＳを類似度とする。

ここで、ｖおよびｈはそれぞれ微小部位の縦方向、横方向の位置を表し、Ｖ、Ｈは位置の最大値である。また、Ｒｐ_v,hは親画像の領域の位置（ｖ、ｈ）における微小部位の赤色成分の強度であり、Ｒｒ_v,hは対象画像の位置（ｖ、ｈ）における微小部位の赤色成分の強度である。同様に、ＧｐおよびＧｒは緑色成分の強度、ＢｐおよびＢｒは青色成分の強度である。なお、個々の画素を微小部位としてもよいし、隣接する複数の画素をまとめて１つの微小部位としてもよい。

親画像の領域内での微小部位の位置の例を図１３に示す。図１３において、Ｍｐは親画像全体を表し、Ｒは親画像Ｍｐに設定された一領域を表している。また、Ｐ１、Ｐ２は親画像Ｍｐの微小部位である。微小部位Ｐ１の領域Ｒにおける位置はｖ＝１、ｈ＝１となり、微小部位Ｐ２の領域Ｒにおける位置はｖ＝３、ｈ＝２となる。

第２の方法による類似度算出の処理の流れを図１４に示す。まず、親画像の撮像倍率と対象画像の撮像倍率から対象画像の縮小率を決定して、対象画像をその縮小率で縮小し（ステップ＃３００）、縮小後の対象画像と同じ大きさの領域を親画像に設定する（＃３０２）。そして、対象画像の全微小部位からそれぞれ赤緑青の各色成分の強度を数値として取り出す（＃３０４）。また、親画像の領域を初期位置に設定する（＃３０６）。

次いで、設定した領域の全微小部位からそれぞれ赤緑青の各色成分の強度を数値として取り出し（＃３０８）、それらの数値とステップ＃３０４で取り出した数値から類似度を算出して（＃３１０）、記憶する（＃３１２）。その後、領域が最終位置であるか否かを判定し（＃３１４）、最終位置でなければ、領域を移動させて（＃３１６）、ステップ＃３０８に戻る。

領域が最終位置のときは、ステップ＃３１２で記憶した全ての類似度を調べて、類似度の最小値を見いだす（＃３１８）。また、親画像と対象画像の類否の基準とするための類似度の基準値を設定する（＃３２０）。この基準値は、対象画像の大きさ、すなわち親画像に設定した領域の大きさ、および、対象画像全体のコントラストに基づいて定める。次いで、類似度の最小値が基準値以下であるか否かを判定する（＃３２２）。

類似度の最小値が基準値以下のときは、親画像と対象画像が類似していると判断し（＃３２４）、親画像表示領域５１ａに表示している親画像のうち類似度が最小値であった領域に領域枠を重ねて表示する（＃３２６）。一方、類似度の最小値が基準値を超えているときは、親画像と対象画像が類似していないと判断し（＃３２８）、親画像全体に枠を表示する（＃３３０）。

図１２のステップ＃２２６または図１４のステップ＃３２６で親画像に領域枠が重ねて表示された状態のアノテーションウインドウ５０の例を図１５に示す。このように、親画像５１の一部の領域に枠Ｆを表示することによって、注釈が付与されたことを使用者に知らせることができる。なお、領域枠Ｆを親画像５１に重ねて表示する際には、比較した対象画像５２についても対象画像表示領域５２ａ内の他の画像とは異なる態様で表示して、どの画像を注釈としたか、すなわちどの画像を子画像としたかを示す。

図１４に示した処理では、親画像の領域が表す像と対象画像が表す像の形状を比較することになるが、画像の周波数成分を解析することによって形状を比較するようにしてもよい。具体的には、前述のように撮像倍率に基づいて親画像の領域を対象画像と同じ大きさにして両者の画素数を等しくおき、画像の赤色成分、緑色成分、青色成分それぞれについて、フーリエ変換を行って画素数に等しい周波数成分を得て、親画像の領域の周波数成分と対象画像の周波数成分を比較する。これで形状の一致度が求められる。

本実施形態では、パーソナルコンピュータ１に注釈自動付与の機能をもたせた例を掲げたが、上記の注釈自動付与の機能をデジタルカメラ２にもたせるようにしてもよい。デジタルカメラ２は、アノテーション撮影モードを有し、既に撮影した画像に使用者が領域を指定して、次に撮影した画像を指定した領域の注釈とすることができるが、注釈自動付与の機能をもたせれば、使用者が領域を指定する必要がなくなる。また、アノテーション撮影モードを有しないデジタルカメラに注釈自動付与の機能をもたせることも可能である。

本発明の一実施形態であるパーソナルコンピュータの外観を模式的に示す正面図。 上記パーソナルコンピュータの構成を模式的に示す図。 上記パーソナルコンピュータに画像を提供するデジタルカメラの外観を模式的に示す斜視図（ａ）、および背面図（ｂ）。 上記パーソナルコンピュータが表示するメインウインドウを示す図。 上記パーソナルコンピュータが表示するアノテーションウインドウを示す図。 上記パーソナルコンピュータが表示する親画像指定ダイアログボックスを示す図。 上記パーソナルコンピュータが表示するファイル名選択ダイアログボックスを示す図。 上記パーソナルコンピュータが行う注釈自動付与の処理の流れを示すフローチャート。 上記パーソナルコンピュータが１つのフォルダに格納している画像の例を示す図。 上記パーソナルコンピュータが親画像の領域の位置を変えながら親画像と対象画像の類似度を算出し、類似度の最も高い領域を見いだす様子を示す図。 上記パーソナルコンピュータが類似度の算出に際して作成する親画像の領域と対象画像の輝度のヒストグラムの例を示す図。 上記パーソナルコンピュータが親画像の領域と対象画像の輝度のヒストグラムに基づいて、両者の類似度を算出する処理の流れを示すフローチャート。 上記パーソナルコンピュータが類似度の算出に際して用いる親画像の微小部位の領域内での位置を示す図。 上記パーソナルコンピュータが親画像の領域と対象画像の全微小部位の輝度差に基づいて、両者の類似度を算出する処理の流れを示すフローチャート。 上記パーソナルコンピュータが親画像に注釈としての画像を付与したときに表示するアノテーションウインドウを示す図。

符号の説明

１ パーソナルコンピュータ
１１ 本体
１２ 表示部
１３ 制御部
１４ 操作部
１５ 記憶部
１６ 装着部
１７ 接続部
２ デジタルカメラ
２１ 撮像レンズ
２２ａ 光学ファインダ前窓
２２ｂ 光学ファインダ後窓
２３ セルフタイマーランプ
２４ フラッシュ発光部
２５ カードスロット
２６ ＵＳＢ／ＡＶ出力端子
２７ シャッターレリーズボタン
２８ 電源ボタン
２９ 表示部
３０ 方向ボタン
３１ 通常撮影ボタン
３２ アノテーション撮影ボタン
３３ ガイド撮影ボタン
４０ メインウインドウ
４１ フォルダツリー
４１ａ ツリー表示領域
４２ フォルダ
４２ａ フォルダ・ファイル表示領域
４３ アノテーションボタン
５０ アノテーションウインドウ
５１ 親画像
５１ａ 親画像表示領域
５２ 対象画像
５２ａ 対象画像表示領域
５３ 親画像指定ボタン
５４ 注釈付与ボタン
６０ 親画像指定ダイアログボックス
６１ａ ディレクトリパス表示領域
６２ａ 親画像ファイル名表示領域
６９ 情報保存チェックボックス
６３ エッジボタン
６４ 色ボタン
６５ 参照ボタン
６６ 追加ボタン
６７ 削除ボタン
６８ａ ＯＫボタン
６８ｂ キャンセルボタン
６９ 情報保存チェックボックス
７０ ファイル名選択ダイアログボックス
７１ フォルダ
７１ａ フォルダ表示領域
７２ ファイル名
７２ａ ファイル名表示領域
７３ 開くボタン
７４ キャンセルボタン
Ｍ１〜Ｍ６ 画像
Ｍｐ 親画像
Ｍｒ 対象画像
Ｒ 領域
Ｈｐ 親画像領域ヒストグラム
Ｈｒ 対象画像ヒストグラム
Ｐ１、Ｐ２ 微小部位

Claims (10)

1. 画像の一部の領域にその領域の注釈として他の画像を対応付ける画像処理システムにおいて、
   使用者からの指示に応じて複数の画像の中から第１の画像を選択する選択手段と、
   第１の画像に複数の領域を設定し、各領域と第１の画像以外の第２の画像とを比較して各領域と第２の画像の類似度を求め、第２の画像に最も類似している第１の画像の領域を検出する検出手段と、
   第２の画像が第１の画像のうちの検出手段によって検出された領域の注釈であることを示す情報を記録する記録手段
   を備えることを特徴とする画像処理システム。
2. 検出手段が検出した領域と第２の画像の類似度が所定の基準を満たすときに限り、記録手段が前記情報を記録することを特徴とする請求項１に記載の画像処理システム。
3. 検出手段が、第１の画像と同一フォルダに画像ファイルが含まれている第１の画像以外の全ての画像を、順に第２の画像とすることを特徴とする請求項１に記載の画像処理システム。
4. 検出手段が、第１の画像に設定する領域の大きさを、第１の画像の像倍率と第２の画像の像倍率に基づいて定めることを特徴とする請求項１に記載の画像処理システム。
5. 検出手段が、第１の画像のあらゆる部位がいずれかの領域に含まれ、かつ、各領域が隣の領域と部分的に重なり合うように、第１の画像に複数の領域を設定することを特徴とする請求項１に記載の画像処理システム。
6. 検出手段が、第１の画像の各領域の全体の輝度のヒストグラムと、第２の画像の全体の輝度のヒストグラムを比較して、各領域と第２の画像の類似度を求めることを特徴とする請求項１に記載の画像処理システム。
7. 検出手段が、第１の画像の各領域が表す像と第２の画像が表す像の形状を比較して、各領域と第２の画像の類似度を求めることを特徴とする請求項１に記載の画像処理システム。
8. 記録手段が前記情報を第１の画像の画像ファイルと第２の画像の画像ファイルとに記録することを特徴とする請求項１に記載の画像処理システム。
9. 記録手段が前記情報を専用のファイルに記録することを特徴とする請求項１に記載の画像処理システム。
10. 画像の一部の領域にその領域の注釈として他の画像を対応付ける処理をコンピュータに実行させる画像処理プログラムにおいて、
    使用者からの指示に応じて複数の画像の中から第１の画像を選択する選択処理と、
    第１の画像に複数の領域を設定し、各領域と第１の画像以外の第２の画像とを比較して各領域と第２の画像の類似度を求め、第２の画像に最も類似している第１の画像の領域を検出する検出処理と、
    第２の画像が第１の画像のうちの検出処理によって検出された領域の注釈であることを示す情報を記録する記録処理
    をコンピュータに実行させる命令が記されていることを特徴とする画像処理プログラム。

Images