JP2009037503A - 画像特徴抽出装置,画像特徴抽出方法,画像特徴抽出プログラム及びそのプログラムを格納した記録媒体、その画像特徴抽出装置を備えた画像類似度計算装置,画像類似度計算方法,画像類似度計算プログラム及びそのプログラムを格納した記録媒体 - Google Patents
画像特徴抽出装置,画像特徴抽出方法,画像特徴抽出プログラム及びそのプログラムを格納した記録媒体、その画像特徴抽出装置を備えた画像類似度計算装置,画像類似度計算方法,画像類似度計算プログラム及びそのプログラムを格納した記録媒体 Download PDFInfo
- Publication number
- JP2009037503A JP2009037503A JP2007202508A JP2007202508A JP2009037503A JP 2009037503 A JP2009037503 A JP 2009037503A JP 2007202508 A JP2007202508 A JP 2007202508A JP 2007202508 A JP2007202508 A JP 2007202508A JP 2009037503 A JP2009037503 A JP 2009037503A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature extraction
- image feature
- processing
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】画像特徴抽出及び画像類似度計算において照明の影響を受けていた。
【解決手段】装置が、入力画像データに対して所定の画像補正を行い、画像補正された画像データを出力し(101)、次に、画像補正された画像データに対し、予め定めた複数のトップハット処理を施し、複数のモルフォロジー処理後画像を生成し出力し(102)、そして、出力されたモルフォロジー処理後画像に特定の重み係数を乗じて加算する重み付け加算処理を行って得られた統合後画像を出力し(103)、そして、出力された統合後画像に基づいて、画像特徴量を計算する(104)。その装置で計算された画像特徴量を使って、画像類似度を計算する。
【選択図】図1
【解決手段】装置が、入力画像データに対して所定の画像補正を行い、画像補正された画像データを出力し(101)、次に、画像補正された画像データに対し、予め定めた複数のトップハット処理を施し、複数のモルフォロジー処理後画像を生成し出力し(102)、そして、出力されたモルフォロジー処理後画像に特定の重み係数を乗じて加算する重み付け加算処理を行って得られた統合後画像を出力し(103)、そして、出力された統合後画像に基づいて、画像特徴量を計算する(104)。その装置で計算された画像特徴量を使って、画像類似度を計算する。
【選択図】図1
Description
本発明は、画像認識技術に関するものである。
画像処理技術において、数多くの特徴抽出方法、認識方法が提案されている。その画像処理技術における一般的な課題として挙げられる照明変動,ノイズ,ボケ等への耐久性は、特徴抽出方法の能力によって概ね決定される。このため、必要に応じた様々なレベルの特徴抽出方法が提案されている。これらの特徴抽出方法は、基本的に照明変動の影響を低減するための低周波成分除去方法、ノイズの影響を軽減するための高周波成分カット(平滑化)方法を含む。これらの方法によって、対象のテクスチャ情報を効果的に利用するように工夫される。
例えば、自動車のナンバープレートのように、特徴が一定の幅の線で構成される対象(対象形状を含む画像データ)に対しては、モルフォロジー(例えば、特許文献1参照)フィルタの一つであるトップハット処理(例えば、非特許文献1参照)が有効である。この有効性は、トップハット処理が特定の「幅」を有するパターンを選択的に抽出できる手法であるためである。
さらに、照明変動の補正を行って、影やシェーディングに対する安定性を増す手法(例えば、特許文献2参照)も知られている。
一方、表面に凹凸を有する対象物体(例えば、人間の顔)の検出もしくは認識では、多くの場合、見かけの変形に着目した研究が行われている。しかし、実際には、変形への対策が行われた後も、照明変動の影響は残ったままである。このため、一般には、上述した特徴抽出方法を適宜に組み合わせて、特徴抽出処理を行う。
特開平8−249444号公報(段落[0022]〜[0026]等)。
特開平4−52878号公報(p628の第3欄13行目〜p629の第1欄20行目等)。
小畑 秀文、「モルフォロジー」、初版、コロナ社、1996年11月15日、p103等。
上述の特徴抽出方法においても、照明変動の影響をある程度軽減できる。実際に、低周波成分除去方法、高周波成分カット方法などは、不要な周波数成分が明らかな対象画像に有用である。また、上述のトップハット処理は、必要な情報のみを選択して抽出する処理である。このトップハット処理の結果として、不要な成分が利用されずに、除去されることになる。
しかし、対象物体の表面に凹凸を有していても、また、対象物体の表面が平面的であっても、その特徴抽出結果が照明の影響(例えば、部分的反射,スミア)を受けることもあり、その特徴抽出結果を用いた画像類似度計算にも影響を及ぼす。また、抽出したい特徴が対象画像データにおける位置毎に様々に異なることもある。
本発明は、前記課題に基づいてなされたものであって、照明の影響を排除して、画像特徴を抽出する画像特徴抽出装置,画像特徴抽出方法,画像特徴抽出プログラム及びそのプログラムを格納した記録媒体、その画像特徴抽出装置を備えた画像類似度計算装置,画像類似度計算方法,画像類似度計算プログラム及びそのプログラムを格納した記録媒体を提供することにある。
前記課題の解決を図るために、請求項1記載の発明は、対象物体の特徴抽出すべき形状の像を写した入力画像データを入力する画像入力部、を備え、該入力画像データの画像特徴量を計算し抽出する画像特徴抽出装置であって、前記画像入力部から入力された入力画像データに対して所定の画像補正を行い、その画像補正された画像データを出力する画像補正処理部と、前記画像補正処理部から出力された画像データに対し、予め定めた複数のトップハット処理を施し、複数のモルフォロジー処理後画像データを生成し出力するモルフォロジー処理画像群生成処理部と、前記モルフォロジー処理画像群生成処理部から出力されたモルフォロジー処理後画像データに特定の重み係数を乗じて加算する重み付け加算処理を行って得られた統合後画像データを出力する画像特徴統合処理部と、前記画像特徴統合処理部から出力された統合後画像データに基づいて、画像特徴量を計算する特徴量計算処理部と、を備えることを特徴とする。
請求項2記載の発明は、請求項1記載の発明において、前記画像補正処理部が、ユーザからの指定に応じて領域分けされた画像領域データを前記入力画像データから取得し、該画像領域データを出力する手段、を備え、前記モルフォロジー処理画像群生成処理部が、前記画像補正処理部から出力された画像領域データに対して、予め定めた複数のトップハット処理を施し、複数のモルフォロジー処理後画像領域データを生成し出力する手段、を備え、前記画像特徴統合処理部が、前記モルフォロジー処理画像群生成処理部から出力されたモルフォロジー処理後画像領域データに特定の重み係数を乗じて加算する重み付け加算処理を行って得られた統合後画像データを出力する手段と、を備えることを特徴とする。
請求項3記載の発明は、請求項1または2記載の発明において、前記モルフォロジー処理画像群生成処理部が、前記特徴抽出すべき形状の像を囲む矩形の短辺を形成する画素数と同じ値を有するパラメータbを使って、前記トップハット処理を行う手段、を備えることを特徴とする。
請求項4記載の発明は、請求項1乃至3のいずれかに記載の画像特徴抽出装置と、該画像特徴抽出装置から出力される画像特徴量を格納する記憶部と、を備え、テンプレート画像データ及び入力画像データを入力し、該テンプレート画像データに対する該入力画像データの類似性を示す画像類似度を計算し出力する画像類似度計算装置であって、前記テンプレート画像データを前記画像特徴抽出装置に入力し、該画像特徴抽出装置から出力されたテンプレート画像特徴量を前記記憶部に格納するテンプレート画像特徴抽出部と、前記入力画像データを該画像特徴抽出装置に入力し、該画像特徴抽出装置から出力された入力画像特徴量を前記記憶部に格納する入力画像特徴抽出部と、前記テンプレート画像特徴量と前記入力画像特徴量に基づいて画像類似度を計算する画像類似度計算部と、を備えることを特徴とする。
請求項5記載の発明は、対象物体の特徴抽出すべき形状の像を写した入力画像データを入力する画像入力部、を備え、該入力画像データの画像特徴量を計算し抽出する装置に使用する画像特徴抽出方法であって、前記画像入力部から入力された入力画像データに対して所定の画像補正を行い、その画像補正された画像データを出力する画像補正処理ステップと、前記画像補正処理ステップで出力された画像データに対し、予め定めた複数のトップハット処理を施し、複数のモルフォロジー処理後画像データを生成し出力するモルフォロジー処理画像群生成処理ステップと、前記モルフォロジー処理画像群生成処理ステップで出力されたモルフォロジー処理後画像データに特定の重み係数を乗じて加算する重み付け加算処理を行って得られた統合後画像データを出力する画像特徴統合処理ステップと、前記画像特徴統合処理ステップで出力された統合後画像データに基づいて、画像特徴量を計算する特徴量計算処理ステップと、を有することを特徴とする。
請求項6記載の発明は、請求項5記載の発明において、前記画像補正処理ステップが、ユーザからの指定に応じて領域分けされた画像領域データを前記入力画像データから取得し、該画像領域データを出力するステップ、を有し、前記モルフォロジー処理画像群生成処理ステップが、前記画像補正処理ステップで出力された画像領域データに対して、予め定めた複数のトップハット処理を施し、複数のモルフォロジー処理後画像領域データを生成し出力するステップ、を有し、前記画像特徴統合処理ステップが、前記モルフォロジー処理画像群生成処理ステップから出力されたモルフォロジー処理後画像領域データに特定の重み係数を乗じて加算する重み付け加算処理を行って得られた統合後画像データを出力するステップと、を有することを特徴とする。
請求項7記載の発明は、請求項5または6記載の発明において、前記モルフォロジー処理画像群生成処理ステップが、前記特徴抽出すべき形状の像を囲む矩形の短辺を形成する画素数と同じ値を有するパラメータbを使って、前記トップハット処理を行うステップ、を有することを特徴とする。
請求項8記載の発明は、請求項1乃至3のいずれかに記載の画像特徴抽出装置と、該画像特徴抽出装置から出力される画像特徴量を格納する記憶部と、を備え、テンプレート画像データ及び入力画像データを入力し、該テンプレート画像データに対する該入力画像データの類似性を示す画像類似度を計算し出力する装置に使用する画像類似度計算方法であって、前記テンプレート画像データを前記画像特徴抽出装置に入力し、該画像特徴抽出装置から出力されたテンプレート画像特徴量を前記記憶部に格納するテンプレート画像特徴抽出ステップと、前記入力画像データを該画像特徴抽出装置に入力し、該画像特徴抽出装置から出力された入力画像特徴量を前記記憶部に格納する入力画像特徴抽出ステップと、前記テンプレート画像特徴量と前記入力画像特徴量に基づいて画像類似度を計算する画像類似度計算ステップと、を有することを特徴とする。
請求項9記載の発明は、画像特徴抽出プログラムであって、コンピュータを請求項1乃至3のいずれかに記載の画像特徴抽出装置における各部及び各手段として機能させることを特徴とする。
請求項10記載の発明は、画像類似度計算プログラムであって、コンピュータを請求項4に記載の画像類似度計算装置における各部として機能させることを特徴とする。
請求項11記載の発明は、記録媒体であって、請求項9に記載の画像特徴抽出プログラムを記録したことを特徴とする。
請求項12記載の発明は、記録媒体であって、請求項10に記載の画像類似度計算プログラムを記録したことを特徴とする。
前記請求項1,5に記載の発明は、照明の影響(例えば、部分的な反射によって発生する局所的な白いスポット,スミアなどによる白い帯状の細い線)を画像特徴抽出から分離または排除できる。
前記請求項2,6に記載の発明は、ユーザからの指定に応じて領域分けされた画像領域に対して、照明の影響を画像特徴抽出から分離または排除できる。
前記請求項3,7に記載の発明は、最適にトップハット処理を実行できる。
前記請求項4,8に記載の発明は、照明の影響が排除された特徴量を抽出できる。
前記請求項9に記載の発明は、請求項1乃至4のいずれかに記載の画像特徴抽出装置をコンピュータプログラムとして記載できる。
前記請求項10に記載の発明は、請求項5に記載の画像類似度計算装置をコンピュータプログラムとして記載できる。
前記請求項11に記載の発明は、請求項9に記載の画像特徴抽出プログラムを記録媒体に記録できる。
前記請求項12に記載の発明は、請求項10に記載の画像類似度計算プログラムを記録媒体に記録できる。
以上示したように請求項1,5の発明によれば、照明の影響が排除されるため、必要な特徴量を安定して計算し抽出できる。
請求項2,6の発明によれば、ユーザからの指定に応じて領域分けされた画像領域に対して、必要な特徴量を安定して計算し抽出できる。
請求項3,7の発明によれば、特徴量を、さらに安定して計算し抽出できる。
請求項4,8の発明によれば、照明の影響を受けない、頑健な画像類似度を算出し、該類似度を用いた画像認識を行うことができる。
請求項9の発明によれば、画像特徴抽出装置としてコンピュータを動作させるコンピュータプログラムを提供できる。
請求項10の発明によれば、画像類似度計算装置としてコンピュータを動作させるコンピュータプログラムを提供できる。
請求項11の発明によれば、画像特徴抽出プログラムとしてコンピュータを動作させるコンピュータプログラムを記録した記録媒体を提供できる。
請求項12の発明によれば、画像類似度計算プログラムとしてコンピュータを動作させるコンピュータプログラムを記録した記録媒体を提供できる。
これらを以って画像認識技術分野に貢献できる。
以下、本発明の実施形態における画像特徴抽出装置の構成を図1に基づいて説明する。図1中の画像特徴抽出装置1は、入力画像データ(例えば、対象物体の特徴抽出すべき形状の像を写した入力画像データ)を補正する画像補正処理部101,補正された画像(補正後画像データ)に対してモルフォロジー処理を行ってモルフォロジー処理後画像データを生成するモルフォロジー処理画像群生成処理部102,モルフォロジー処理後画像データを統合し、統合後画像データを生成する画像特徴統合処理部103,統合後画像データから画像特徴量を計算する特徴量計算処理部104を備え、入力画像D11を入力データとし入力され、画像特徴量D12を出力データとして出力する。
画像特徴抽出装置1は、演算し、各部を制御する制御部(図示省略;例えば、CPU(Central Processing Unit)やOS(Operating System)),各部から出力される情報(データ)を記憶(あるいは蓄積)し管理する記憶部(図示省略;例えば、メモリやハードディスク装置),計算処理で使用する定数値や係数値を入力するインタフェース部(例えば、キーボード装置,ディスプレイ装置,ポインティングデバイス,通信回線などを含むインタフェース装置)を備えていても良い。
入力画像D11は、画像補正処理部101に渡される画像データ(以下、単に画像ともいう)である。具体的には、カメラなどの撮像装置(または、撮影装置であって、より具体的にはデジタルカメラ)から得られる画像データ,Webページから取得できる画像データ、ハードディスクなどの記憶装置に予め蓄えられた画像データを想定できる。入力画像D11は、対象物体(あるいは、対象物体の特徴抽出すべき形状(即ち、対象形状))を撮像した画像であって、画像特徴を抽出すべき画像である。
さらに、画像特徴抽出装置1の構成を詳細に以下に説明する。
画像補正処理部101は、ユーザが必要と認め、ユーザからの指定に応じて、複数の画像補正処理(例えば、ノイズ除去処理、画素値変換処理、変形拡大縮小(画像領域切り出し(画像領域分け)を含む)処理)のうち1つ以上を選択し、処理対象画像データ(例えば、入力画像D11;以下、処理対象画像という)とする画像及び画像中の一部(画像領域データ)に対して、その選択した画像補正処理を行い、補正後画像(補正後画像データ)を出力する。
なお、画像補正処理部101は、処理対象画像とする画像を入力する画像入力部(図示省略)を備え、該画像入力部は、例えば、撮像装置を含み、該撮像装置を使って処理対象画像を入力しても良いし、予め撮像された処理対象画像を格納する記憶部(例えば、ハードディスク装置やメモリ)から入力しても良い。画像補正処理部101は、ユーザからの指定に応じて、複数の画像補正処理から1以上の画像補正処理を選択する手段を備えていても良い。
例えば、デジタルデータである入力画像D11を入力とし、予め定めた画像サイズによる切り出し(画像領域切り出し)、画素値を補正、などを行う。特に、撮影(撮像)された対象物体とカメラ(撮影装置あるいは撮像装置)の位置の変化によって発生する可能性がある変動,ホワイトノイズ,コントラスト低下,見かけの変形などを予め軽減し、続く処理に引き渡すために、処理対象画像とする画像データから領域(画像領域データ)を切り出す(領域分けする)。
次に、画像補正処理部101における各画像補正処理を説明する。
画像補正処理部101におけるノイズ除去処理は、高周波ノイズ,ホワイトノイズ,低周波ノイズ,主に照明の影響であるシェーディング,特定の周波数帯域に重畳されたノイズなどを除去する処理である。
具体的には、処理対象画像に合わせて、ユーザからの指定に応じて、次のような処理を選択し組み合わせて用いることによって、高周波ノイズ,低周波ノイズを除去する。なお、画像補正処理部101は、ユーザからの指定に応じて、次のような処理を選択する手段を備えていても良い。高周波ノイズを除去する処理には、平滑化処理を選択する。照明変動の多くは低周波成分として現れるので、シェーディングが発生する可能性がある場合には、低周波成分を除去するフィルタ処理を選択する。
画像補正処理部101における画素値変換処理は、一般的なカメラ(主にデジタルカメラ)において、画像の暗い部分のコントラスト(画素値の差)が低下することを補正する処理である。一般的に、画素値は対象物体における表面の反射率と照度の積で定義されるが、この定義によれば、ある物体にあたる照度が下がると画素値の差が小さくなることを意味する。この画素値の差が小さくなる場合には、対数変換を用いることで、変換後の画素値の差を照度に依存しない値とする。この対数変換を行うことによって、後のモルフォロジー処理画像群生成処理部102における特徴抽出を均一化する。
上述の画素値の定義と対数変換を次のように式で説明する。上述したように、一般に、画像データの画素値は、対象物体を照らす照度と反射率の積で現されると考えることができる。
局所的に反射率が変化する場合、近傍における画素値が変化するが、その画素値の変化はその時の照度が高いほど大きくなる。一方、上記の式に対して対数変換を施した式は以下の通りである。
ここで、Cは定数であって、事前に実験等を行い決定するものとする。局所的に反射率が変化する場合は、近傍において照度はほぼ一定と考えられる場合が多い。この場合、“log(画素値)”の変化は、“log(反射率)”の変化にほぼ同じである。
以上のように、画像のコントラストの低下を補正するように画素値を変換する処理が、画素値変換処理である。
なお、上述の画素値変換処理における具体的な方法(もしくは式)は、一般的である(例えば、市販のカメラ毎に定められ装備されている)ため、ここでは規定しない。画素値変換後の画素値の差を照度に依存しない値とすることができれば、例えば、その値を有するテーブルとして変換情報を備えるなど、どのような方法でも構わない。
画像補正処理部101における変形拡大縮小処理は、処理対象画像における対象物体の像の大きさ(解像度)、見かけの変化の影響を回避するために行う処理である。
続くモルフォロジー処理画像群生成部102で利用する画像のサイズを揃えるため、切り出す領域(画像領域データ)を揃える。その際、変形拡大縮小処理を行う。この処理によって、撮影時の画像に見かけの変化があっても、いずれかの切り出しにおいては所望の切り出し(画像領域分け)を実現する。なお、画像補正処理部101は、ユーザからの指定に応じて入力画像上の対象物体の像を指定する手段(例えば、ポインティングデバイスで対象物体の像を指定する手段)を備えていても良い。
以上の画像補正処理を1つまたは複数を組み合わせて利用することによって、得られた結果は対象画像を想定した大きさとなり、各種のノイズも軽減され、かつ、画素値の差は照度に依存しない値となる。
モルフォロジー処理画像群生成処理部102は、画像補正処理部101から出力された補正後画像データに対し、複数のモルフォロジー処理を行って複数のモルフォロジー処理後画像データを生成し出力する。
ここでモルフォロジー処理に関する計算処理を以下に説明する。
モルフォロジー処理には様々なものが知られており、関数に対するモルフォロジー処理は、関数Bに対して集合または別の関数gを用いて相互作用させる(非特許文献1参照)。この関数に対するモルフォロジー処理のうち最も単純な処理は、以下の式のように集合Bを原点を中心とした半径b(b>0)の領域と考える処理方法である。
上記式において、fが元となる関数であるf(x)を点x(注目点)における値とした時、Dilation、Erosionは、新たな関数上の点xにおける値を以下のように計算する処理である。即ち、bの値が大きいほど、点x周辺の広い近傍での最大値または最小値を計算することになる。
以上のモルフォロジー処理では、原点を中心とした半径の集合を利用したが、特定のモルフォロジー処理(上記には2種類を記載)は、正値bをパラメータとした処理群と考えている。さらに、ここでは、bの値範囲を拡張し、正値及び負値をとり得るパラメータbと改めて定義し、モルフォロジー処理を以下のように定義する。
上述のように定義することによって、上記の2種類の処理を正負を含めたパラメータとした1つのモルフォロジー処理群と見なすことにする。
なお、モルフォロジー処理では、必要に応じて集合の大きさと形が定義される。例えば、集合をドーナツ型の領域とすることによって、所望の結果を得ることができる場合もある。
さらに、複数のモルフォロジー処理を行って、その結果を組み合わせることも可能である。例えば、上記の1つのモルフォロジー処理群の処理において、dilation処理を行った結果に対して、erosion処理を行う処理方法がある。この処理方法はclosingと呼ばれる。逆に、erosion処理の後dilation処理を行う処理方法はopeningと呼ばれる。一般的に、closingはfB、openingはfBと記載される。
さらに、元の関数との差f−fB、f−fBはトップハット処理と呼ばれる。これらの処理もモルフォロジー処理と見なすことができる。
以上のようなopening,closing,erosion処理,dilation処理等は、基本的に閉集合が定義されていれば良い。最も単純な閉集合は、式3で表した集合(見かけ上はディスク状の集合)を用いるものである。
次に、モルフォロジー処理に関する計算処理を画像処理に適して説明する。
画像処理においても、次元数n=2とした上で、以上のような方法は様々な場面で利用されている(特許文献1,2参照)。例えば、見かけ上、リング状の領域も、ディスク状の領域と併用した形で、孤立した特徴の抽出に良く利用される(非特許文献1参照)。
最も単純な場合(式3で次元数n=2とした場合)のトップハット処理の特徴は、文字など一定の幅で書かれたパターンを強調する効果を有する。パラメータbは、プラスの場合は白地に黒の文字、マイナスの場合は黒字に白の文字、を強調するという特徴を有する。そして、その強調結果は、画像上の注目点においては、その点と周辺領域の画素の差として現れる。この特徴は、トップハット処理が、局所的な最大値計算、最小値計算によって構成されていることから明らかである。また、異なるパラメータでは異なる強調結果が得られるため、構成されるモルフォロジー処理群は、他より黒い部分、および、他より明るい部分を別々に、かつ、線幅毎に抽出するという特徴を有する。
なお、モルフォロジー処理は、局所的な領域における画素値の最大や最小値の計算を行う。また、本実施形態では、モルフォロジー処理画像群生成処理部102による処理の前に画像補正処理部101による処理を行う手順で、コントラストの調整を行っている。この手順ため、例えば、原画像(例えば、Openingを施す前の画像)とOpeningを施した画像の差を計算した結果は、照度の影響がほとんど消える(特許文献2参照)ことになり、処理の安定化を実現できる。
ここで、上述の関数B用いたモルフォロジー処理を改めて数式で説明する。画像gij=g(xi,yj)と考える。ここでgijは、画素の位置を示す(xi,yj)上の画素値である。そして、以下のようにモルフォロジー処理を定義する。なお、bの設定方法は後述する。
上述の定義では、最大値、最小値を計算する領域を|vi|≦b,|vj|≦bとしているため、画像の8近傍処理を示す式になっている。例えば、4近傍であれば|vi|+|vj|≦bとなる。
本実施形態では、bが正値の場合、処理対象画像に対しdilation処理を施し、その後、erosion処理を施すことにする。なお、この処理方法は、closingであり、gBと記す。さらに、原画像(例えば、補正後画像データ)gからgBを差し引く処理(即ち、トップハット処理)をg−gBと記す。
逆に、bが負値の場合は、erosion処理、dilation処理の順に処理を施す。この処理方法はopeningであり、gBと記す。原画像(例えば、補正後画像データ)gからgBを差し引く処理(即ち、トップハット処理)をg−gBと記す。
従って、bをパラメータとしたトップハット処理を用いたモルフォロジー処理画像群生成処理は、以下の式のように定義できる。
なお、パラメータbの値の範囲は、事前に実験等を行い決定するものとする。一般には、bの絶対値は、画像内の特徴抽出したい対象物体の像の大きさと同じ画素値程度以下までを利用する。これは、トップハット処理がbの値以下の範囲の点や線を強調するためである。
以下の説明では、モルフォロジー処理と定義できる限り、どのような集合を用いても構わない。また、複数の異なる集合を用いて処理しても構わない。また、本実施形態では、特に指定しない限り、特定の最も単純な例である上記条件式(B=Bb)を利用したトップハット処理の例を用いて説明する。
さらに、モルフォロジー処理は、画像データ(もしくは、関数)に対して集合を用いて処理するばかりでなく、画像データ(もしくは、関数)に対して別の関数を用いて類似した処理を行う方法も知られている。以上の説明では、この別の関数を用いて類似した処理を行う方法について議論していないが、集合ではなく関数を用いたモルフォロジー処理についても同様の議論が成り立つことは言うまでもない。
画像特徴統合処理部103は、モルフォロジー処理画像群生成処理部102から得られるモルフォロジー処理後画像群を入力とし、予め定めた方法によって情報を統合し、統合後画像データを出力する。
具体的には、画像補正処理部101における処理で画像領域分割を行った場合には、画像領域毎の結果を統合する。
また、画像または各画像領域において、複数のモルフォロジー処理結果が存在する場合には、各結果画像を重み付け加算し、統合する。
ただし、統合結果は、1枚の画像の形でも良いし、複数の画像でも良い。画像の位置毎に異なる数の情報が得られていても良い。
統合方法は、画像補正処理で行った切り出し結果と、特徴抽出を行いたい処理対象画像と、その処理対象画像の分解能(解像度)に基づき決定するものとする。
最も単純な例としては、日本のナンバープレートにおける一連指定番号(4桁数字)の文字は太く、その他の文字は細い。従って、その一連指定番号部分のトップハット処理に利用するパラメータは、その他の文字部分で利用するパラメータより(絶対値が)大きい方が望ましい。絶対値が大きなトップハット処理の方が太い線まで強調する能力があるためである。
また、日本の自家用車のナンバープレートに関する特徴抽出を行う場合、文字が文字以外の部分より暗いため、条件式(0<b’<b)を満たすように設定する。
ナンバープレートの形にあわせた長方形に切り出された領域のうち、上方と左側の部分にb’を用い、その他の領域にbを用いたトップハット処理を行った結果を併せて、画像特徴統合の結果とする。この場合は、部分毎にbまたはb’を用いたトップハット処理が行われた1枚の画像を画像特徴統合結果(統合後画像データ)となる。
また、日本の営業用車両のナンバープレートは、文字が背景より明るいため、条件式(b<b’<0)を満たすように設定して、同様の処理を行う。
上述のナンバープレートにおける画像特徴統合処理の一例を図2に基づいて、より詳細に説明する。図2(A)は、ナンバープレート図であって、日本のナンバープレート文字の配置を示す図である。図2(B)は、図2(A)のナンバープレートに対して行うトップハット処理の範囲を示す図である。
図2(A)中のナンバープレートP1の上方と左側の部分(ナンバープレートP1の「横浜 567」、「あ」の部分であって、ナンバープレートP1’の画像領域H1)にb’を用いたトップハット処理を行う。
図2(A)中のナンバープレートP1の上方と左側の部分以外(ナンバープレートP1の「12−34」の部分であって、ナンバープレートP1’の画像領域H2)にbを用いたトップハット処理を行う。
上述のトップハット処理によって、処理対象画像内の画像領域毎に異なるトップハット処理が行われた結果が、画像特徴統合処理の結果(統合後画像データ)となる。
この際、b、b’の値は、ここにナンバープレートが撮影されていたと想定した時の、各画像領域の文字の線幅程度の値(文字の線幅値)が望ましい(参考文献2)。パラメータbを用いたトップハット処理が、原理的に、この文字の線幅値と同程度の幅以下の線を抽出する能力があるためである。また、特徴抽出したい対象形状が、線以外、例えば、円や多角形の場合には、該図形(対象形状)を囲む矩形の短辺の長さ(短辺を形成する画素数)と同程度の値をパラメータbとすればよい。従って、この文字の線幅値は、画像補正処理部101によって切り出された画像の分解能(解像度)に応じて異なってくるため、処理対象画像毎に事前に実験等を行い決定するものとする。
例えば、モルフォロジー処理画像群生成処理部102(あるいは、画像特徴抽出装置)が、ユーザの指定(例えば、インタフェース装置を介した指定)に応じて対象形状を囲む矩形を指定し、該矩形の短辺を取得する手段,パラメータbに値を設定する手段を備えても良い。
なお、図2中の画像領域H1,H2は、文字の基本線幅が場所毎に異なることを想定した一例である。
人間の顔における目に対する特徴抽出におけるトップハット処理の一例を以下に説明する。
人間の顔における目に対する特徴抽出は、黒目部分に対応するためにbに正値を、白目部分に対応するためにbに負値を用い、条件式(b’<0<b)に合うトップハット処理を行う。
画像特徴統合処理部103において、B=Bb={x∈R2,|x|≦b}、B’=Bb'={x∈R2,|x|≦−b’}と表現すると、以上の画像特徴統合処理は下記のように設定できる。
この時、p、qはトップハット処理を行う対象領域全体で決定される重み係数であって、同じ値でも良いし、画像領域の部分毎に別の値でも良い。
即ち、上記の画像特徴統合処理は、重み付け加算であって、重み係数とトップハット処理結果(即ち、モルフォロジー処理結果)を乗じて加算する処理である。
例えば、目の部分のみqを大きくすることによって、黒目部分に加え、細かな白目部分の両方を強調できる。この目の部分のみqを大きくする場合、スミアなどによって現れる白い線は、白目部分と重ならない限り、その線のみを分離して抽出できる。これは、スミアの白い線の特徴は、抽出不要と見做されて、特徴抽出されないためである。よって、次の処理におけるスミアの影響を排除できる。
重み係数p,qの値の絶対値は、概ね10程度以下を想定する。p=1,q=0の場合、または、p=0,q=1の場合はトップハット処理になる。p=1かつq=1の場合は、2種類のトップハット処理結果を同程度の重みで統合することを意味する。これら重み係数の値は、処理対象画像に応じて調整でき、事前に実験等を行い決定するものとする。
以上の例では、重み係数p,qがそれぞれ1つであったが、重み係数p,qがそれぞれ2つ以上になっても、定義できることは言うまでもない。重み係数p,qがそれぞれ2つ以上になった場合に、画像特徴統合処理は、以下の通りに表すことができる。
上述の日本の自家用車のナンバープレートの特徴抽出の例では、画像領域毎に異なるパラメータを利用した処理を行う方法を示した。この例も、式6の特別の例と見なすことができる。すなわち、画像領域毎に異なる重み係数p,qを設定し、q=0として以下の式のように表現できる。
この際、重み係数p1、p2は画像領域毎に異なる。B1、B2を定めるb1、b2が条件式(b1>b2)を満たす場合、b1は4桁の一連指定番号の数字の幅(画素数)、b2は平仮名等の文字の幅(画素数)とする。そして、重み係数p1、p2を以下のように定める。
また、p=0として、以下の式で重み係数を定め計算することによって、濃淡が反転したナンバープレート(例えば、日本のナンバープレートでは営業用車両)へ対応できる。
以上の重み係数の設定は、画像補正処理部101によって切り出される画像の大きさおよび特徴を抽出しようとする対象物体毎に、事前に設定する(例えば、ユーザがインタフェース部を用いて手動で設定する手段を備えても良い)。基本的には、上記ナンバープレートの特徴抽出の例のように、特徴抽出しようとする対象形状の「幅」や「大きさ」に順ずる大きさのパラメータを用いたモルフォロジー処理を行えば良い。
さらに、画像特徴統合処理部103は、上述のように複数のモルフォロジー処理結果を1つにまとめず、複数の統合後画像データとして出力すること、部分的に複数の統合後画像データとして出力すること、またはそのまま全統合後画像データを統合結果として利用することも可能である。
特徴量計算処理部104は、画像特徴統合処理103で得られた結果である統合後画像データ(複数,単数,または画像領域の場所毎に複数もしくは単数が混在)に基づいて、予め定めた情報量(画像特徴量)を計算する処理を行う。例えば、その情報量を計算する方法は、以下の通りである。
(方法1.1)統合後画像データを2値化して、その白色の画素もしくは黒色の画素を数える方法
(方法1.2)統合後画像データを2値化して、その2値化された画像を走査し、その走査方向に存在する画素が白色から黒色もしくは黒色から白色に変化する回数を数える方法
(方法1.3)統合後画像データを2値化し、さらに、その2値化された画像をスケルトン化(細線化)し、構造を予め登録した細線化されたパターンと比較して類似度を計算する方法
(方法1.4)統合後画像データと他の予め定めたパターンとの相関係数を計算する方法
また、上記以外でも、予め定めた方法によって特徴量を画像特徴として計算できる。
(方法1.1)統合後画像データを2値化して、その白色の画素もしくは黒色の画素を数える方法
(方法1.2)統合後画像データを2値化して、その2値化された画像を走査し、その走査方向に存在する画素が白色から黒色もしくは黒色から白色に変化する回数を数える方法
(方法1.3)統合後画像データを2値化し、さらに、その2値化された画像をスケルトン化(細線化)し、構造を予め登録した細線化されたパターンと比較して類似度を計算する方法
(方法1.4)統合後画像データと他の予め定めたパターンとの相関係数を計算する方法
また、上記以外でも、予め定めた方法によって特徴量を画像特徴として計算できる。
例えば、画像特徴統合処理部103で得られた統合後画像データは、図2におけるナンバープレートの例のように1枚の画像となっている。この統合後画像データを2値化し、その黒い部分(黒い領域)をカウントすると、元の画像(即ち、入力画像)がナンバープレートか否かを判断する基準と見做すことができる。走査方向(例えば、画像の水平方向)に画素が白色から黒色もしくは黒色から白色に変化する回数によって、元の画像がどの程度複雑かを推定でき、結果として文字の存在の有無の判断に利用できる。
さらに、入力画像とテンプレート画像との比較は、予め定めたパターンとの比較と同等の効果になる。例えば、相関係数を計算する方法では、予め処理部101〜104を用いて同じ処理を行った結果(画像特徴量)との比較を行うことができる。なお、計算する特徴量は、1以上になる。
また、上記例のように統合後画像データを2値化する場合、画像補正処理部101における画像補正処理とモルフォロジー処理画像群生成処理部102におけるモルフォロジー処理が非常に重要な役割を果たす。前記画像補正処理とモルフォロジー処理によって、照度の影響はほぼ排除されるためである。その照度の影響がほぼ排除された結果、単純な2値化処理であっても、画像処理で課題となる照明変動の影響を受けない安定な結果を得られる。
最終的に、特徴量計算処理部104が画像特徴量D12を出力する。
画像特徴抽出装置における画像特徴抽出方法を図3に基づいて説明する。なお、以下の説明で、図1中の符号と同じ符号のものの説明は省略する。
まず、画像補正処理部101が、入力された処理対象画像(入力画像D11)に対して画像補正処理を行い、補正後画像データを出力する(S101:画像補正処理ステップ)。なお、ステップS101の詳細は、画像補正処理部101に関する上述の説明を参照のこと。
次に、モルフォロジー処理画像群生成処理部102が、ステップS101で出力された補正後画像データに対し、複数のモルフォロジー処理を行って複数のモルフォロジー処理後画像データを生成し出力する(S102:モルフォロジー処理画像群生成処理ステップ)。なお、ステップS102の詳細は、モルフォロジー処理画像群生成処理部102に関する上述の説明を参照のこと。
次に、画像特徴統合処理部103が、ステップS102で得られたモルフォロジー処理後画像データ群を入力とし、予め定めた方法によって情報を統合し、統合後画像データを出力する(S103:画像特徴統合処理ステップ)。なお、ステップS103の詳細は、画像特徴統合処理部103に関する上述の説明を参照のこと。
そして、特徴量計算処理部104が、ステップS103で得られた統合後画像データに基づいて、予め定めた画像特徴量を計算し、その計算された画像特徴量D12を出力する(S104:特徴量計算処理ステップ)。なお、ステップS104の詳細は、特徴量計算処理部104に関する上述の説明を参照のこと。
次に、本実施形態における画像類似度計算装置の構成を図4に基づいて説明する。
画像類似度計算装置は、画像類似性に関するテンプレートである画像(テンプレート画像データ)から画像特徴量(即ち、テンプレート画像特徴量)を抽出するテンプレート画像特徴抽出処理部21,入力画像(入力画像データ)から画像特徴量(即ち、入力画像特徴量)を抽出する入力画像特徴抽出処理部22,テンプレート画像に対する入力画像の類似性を示す類似度(即ち、画像類似度)を出力する画像類似度計算処理部209を備え、入力されたテンプレート画像D111からテンプレート画像特徴量D121を抽出し、入力された入力画像D111から入力画像特徴量D122を抽出し、そのテンプレート画像特徴量D121と入力画像特徴量D122に基づいて、テンプレート画像に対する入力画像の画像類似度D13を出力する。
画像類似度計算装置は、演算し、各部を制御する制御部(図示省略;例えば、CPU(Central Processing Unit)やOS(Operating System)),各部から出力される情報(データ)を記憶(あるいは蓄積あるいは格納)し管理する記憶部(図示省略;例えば、メモリやハードディスク装置)を備えていても良い。
さらに、テンプレート画像特徴抽出処理部21は、処理部201〜204から構成される。処理部201〜204は、テンプレート画像D111に対して、図1中の処理部101〜104に相当する処理を行う。そのため、テンプレート画像特徴抽出処理部21は画像特徴抽出装置と考えてもよい。そして、テンプレート画像特徴抽出処理部21は、テンプレート画像特徴量D121を記憶部に格納する。
入力画像特徴抽出処理部22は、処理部205〜208から構成される。処理部205〜208は、入力画像D112に対して、図1中の処理部101〜104に相当する処理を行う。そのため、入力画像特徴抽出処理部22は画像特徴抽出装置と考えてもよい。そして、入力画像特徴抽出処理部22は、入力画像特徴量D122を記憶部に格納する。
なお、図4中の画像類似度計算装置は、2つの画像特徴抽出処理部(テンプレート画像特徴抽出処理部21,入力画像特徴抽出処理部22)を備えているが、実質的には、1つの画像特徴抽出処理部を備えていれば良い。例えば、その画像特徴抽出処理部に対してテンプレート画像データを入力し、出力されたテンプレート画像特徴量を記憶部に格納し、次に、その画像特徴抽出処理部に対して入力画像データを入力し、出力された入力画像特徴量を記憶部に格納し、画像類似度計算処理部209が、その格納されたテンプレート画像特徴量と入力画像特徴量に基づいて、画像類似度を計算しても良い。
画像類似度計算処理部209は、記憶部に格納されたテンプレート画像特徴量D121および入力画像特徴量D122を比較して(に基づいて)類似度を計算し、画像類似度D13を出力する。
前記画像類似度計算処理部209で実行する比較方法は、2つのデータを比較して、その類似度を計算する方法であれば何を用いても構わない。つまり、画像処理の一般的な方法を利用することが可能である。
例えば、次のような類似度計算方法が知られている。
(方法2.1)予め定めた方法によって得られたテンプレート画像特徴と入力画像特徴の差分を計算し、その絶対値の合計を類似度とする方法
(方法2.2)予め定めた方法によって得られたテンプレート画像特徴と入力画像特徴の差分を計算し、差分を2値化した後、不一致のビット数を数える方法
(方法2.3)予め定めた方法によって得られたテンプレート画像特徴と入力画像特徴の差分を計算し、差分を2値化した後に、相関係数を計算する方法
(方法2.4)予め定めた方法によって得られたテンプレート画像特徴と入力画像特徴の差分を計算し、2値化を行わず相関係数、平均値を差し引いた後に相関係数を計算する方法
(方法2.5)予め定めた方法によって得られたテンプレート画像特徴と入力画像特徴の差分を計算し、グラジエント計算などの微分処理を行ってからその相関係数を計算する方法
以上のように、テンプレート画像と入力画像との類似度を計算できる。さらに、計算された類似度を利用して、パターン抽出処理、認識処理など様々な形で利用できる。
(方法2.1)予め定めた方法によって得られたテンプレート画像特徴と入力画像特徴の差分を計算し、その絶対値の合計を類似度とする方法
(方法2.2)予め定めた方法によって得られたテンプレート画像特徴と入力画像特徴の差分を計算し、差分を2値化した後、不一致のビット数を数える方法
(方法2.3)予め定めた方法によって得られたテンプレート画像特徴と入力画像特徴の差分を計算し、差分を2値化した後に、相関係数を計算する方法
(方法2.4)予め定めた方法によって得られたテンプレート画像特徴と入力画像特徴の差分を計算し、2値化を行わず相関係数、平均値を差し引いた後に相関係数を計算する方法
(方法2.5)予め定めた方法によって得られたテンプレート画像特徴と入力画像特徴の差分を計算し、グラジエント計算などの微分処理を行ってからその相関係数を計算する方法
以上のように、テンプレート画像と入力画像との類似度を計算できる。さらに、計算された類似度を利用して、パターン抽出処理、認識処理など様々な形で利用できる。
なお、テンプレート画像特徴計算処理部21では、その都度、テンプレート画像特徴計算処理を行う必要はなく、テンプレート画像特徴D121を予め計算しておくことが可能である。
また、以上の説明では、テンプレート画像が1枚の場合のプロセスのごとく説明したが、実際には、1枚の入力画像に対して複数のテンプレート画像に対応した複数のテンプレート特徴を計算しておき、複数の画像類似度計算処理を行って複数の画像類似度を得ることも可能である。これらの類似度の中から、最も類似していると考えられるテンプレートを得ることで、これを入力画像に類似するパターンと判断することが可能である。
また、大量の入力画像データを本実施形態における各処理部が画像類似度計算装置に入力して処理を行う場合、画像補正処理101(画像補正処理201,画像補正処理205)において画像の部分切り出し等を行っているが、類似度が高いと見なされた画像領域のみを記憶部(例えば、メモリ)上に保存して、該画像領域をインデックスとして利用しても良い。
画像類似度計算装置における画像類似度計算方法の例1を図5に基づいて説明する。なお、以下の説明で、図1,図3,図4中の符号と同じ符号のものの説明は省略する。
まず、テンプレート画像特徴抽出処理部21が、入力されたテンプレート画像D111からテンプレート画像特徴量D121を抽出する(S201:テンプレート画像特徴抽出処理ステップ)。なお、ステップS201における処理は、テンプレート画像D111を入力画像として、図3中のステップS101〜S104を行うことになる。詳細は、テンプレート画像特徴抽出処理部21の上述の説明を参照のこと。
次に、入力画像特徴抽出処理部22が、入力された入力画像D112から入力画像特徴量D122を抽出する(S202:入力画像特徴抽出処理ステップ)。ステップS202における処理は、入力画像D111を入力画像として、図3中のステップS101〜S104を行うことになる。詳細は、入力画像特徴抽出処理部21の上述の説明を参照のこと。
そして、画像類似度計算処理部209が、テンプレート画像特徴量D121と入力画像特徴量D122に基づいて、画像類似度D13を算出し、出力する(S203:画像類似度計算処理ステップ)。詳細は、画像類似度計算処理部209の上述の説明を参照のこと。
なお、図5のようにテンプレート画像特徴抽出処理ステップ(S201)と入力画像特徴抽出処理ステップ(S202)を必ずしも順次に実行する必要は無く、図6のように、テンプレート画像特徴抽出処理ステップ(S201’)と入力画像特徴抽出処理ステップ(S202’)を並行して(並列に)実行し、画像類似度計算処理ステップ(S203’)がテンプレート画像特徴量D121と入力画像特徴量D122が出力されるまで待ち合わせて、処理しても良い。
なお、本実施形態の画像特徴抽出装置及び画像類似度計算装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の画像特徴抽出装置及び画像類似度計算装置に関する方法(手順)をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体(記憶媒体)、例えばFD(Floppy(登録商標) Disk)や、MO(Magneto−Optical disk)、ROM(Read Only Memory)、メモリカード、CD(Compact Disk)、DVD(Digital Versatile Disk)、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
さらに、上述の本実施形態の画像特徴抽出装置及び画像類似度計算装置に関する方法を記述したコンピュータプログラムを、その方法に必要とされる入出力データを格納したメモリや外部記憶部等にアクセスするように実装してもよい。
以上のように、本実施形態によれば、モルフォロジー処理の前に画像補正処理を行うことによって、特徴抽出の結果に画像処理での課題の1つである照度(対象物体にあたる光の量)もしくは照明の影響を受けないようにしておくことができる。
また、本実施形態では、モルフォロジー処理画像群を生成することによって、画像内に現れる特徴を注目点(注目画素)の周辺領域(注目領域)が周囲より黒い部分と明るい部分、白黒が混合した領域、形状特徴(例えば、太い領域もしくは細い領域)毎に分離して抽出する。その分離して抽出した結果は、必要に応じて複数組み合わることができる。さらに、画像内の場所毎に予め定めた方法によって必要な特徴量を統合する。このため、結果として各種の変動に対して安定な結果が得られる。例えば、ある位置では黒い部分、別の部分では白い部分のみを特徴として捉えた処理ができるようになる。
以上、本発明の実施形態について説明したが、本発明は説明した実施形態に限定されるものでなく、各請求項に記載した範囲において各種の変形を行うことが可能である。
例えば、本実施形態における画像特徴抽出装置は、定数C,重み係数p,qなどの事前に実験等を行い決定する情報を、インタフェース部を使って入力する手段を備えていても良い。
1…画像特徴抽出装置
21…テンプレート画像特徴抽出処理部
22…入力画像特徴抽出処理部
101,201,205…画像補正処理部
102,202,206…モルフォロジー処理画像群生成処理部
103,203,207…画像特徴統合処理部
104,204,208…特徴量計算処理部
209…画像類似度計算処理部
D11,D112…入力画像
D12…画像特徴量
D111…テンプレート画像
D121…テンプレート画像特徴量
D122…入力画像特徴量
D13…画像類似度
P1,P1’…ナンバープレート
H1,H2…画像領域
21…テンプレート画像特徴抽出処理部
22…入力画像特徴抽出処理部
101,201,205…画像補正処理部
102,202,206…モルフォロジー処理画像群生成処理部
103,203,207…画像特徴統合処理部
104,204,208…特徴量計算処理部
209…画像類似度計算処理部
D11,D112…入力画像
D12…画像特徴量
D111…テンプレート画像
D121…テンプレート画像特徴量
D122…入力画像特徴量
D13…画像類似度
P1,P1’…ナンバープレート
H1,H2…画像領域
Claims (12)
- 対象物体の特徴抽出すべき形状の像を写した入力画像データを入力する画像入力部、
を備え、
該入力画像データの画像特徴量を計算し抽出する画像特徴抽出装置であって、
前記画像入力部から入力された入力画像データに対して所定の画像補正を行い、その画像補正された画像データを出力する画像補正処理部と、
前記画像補正処理部から出力された画像データに対し、予め定めた複数のトップハット処理を施し、複数のモルフォロジー処理後画像データを生成し出力するモルフォロジー処理画像群生成処理部と、
前記モルフォロジー処理画像群生成処理部から出力されたモルフォロジー処理後画像データに特定の重み係数を乗じて加算する重み付け加算処理を行って得られた統合後画像データを出力する画像特徴統合処理部と、
前記画像特徴統合処理部から出力された統合後画像データに基づいて、画像特徴量を計算する特徴量計算処理部と、
を備えることを特徴とする画像特徴抽出装置。 - 請求項1記載の画像特徴抽出装置において、
前記画像補正処理部が、
ユーザからの指定に応じて領域分けされた画像領域データを前記入力画像データから取得し、該画像領域データを出力する手段、
を備え、
前記モルフォロジー処理画像群生成処理部が、
前記画像補正処理部から出力された画像領域データに対して、予め定めた複数のトップハット処理を施し、複数のモルフォロジー処理後画像領域データを生成し出力する手段、
を備え、
前記画像特徴統合処理部が、
前記モルフォロジー処理画像群生成処理部から出力されたモルフォロジー処理後画像領域データに特定の重み係数を乗じて加算する重み付け加算処理を行って得られた統合後画像データを出力する手段と、
を備える
ことを特徴とする画像特徴抽出装置。 - 請求項1または2記載の画像特徴抽出装置において、
前記モルフォロジー処理画像群生成処理部が、
前記特徴抽出すべき形状の像を囲む矩形の短辺を形成する画素数と同じ値を有するパラメータbを使って、前記トップハット処理を行う手段、
を備える
ことを特徴とする画像特徴抽出装置。 - 請求項1乃至3のいずれかに記載の画像特徴抽出装置と、
該画像特徴抽出装置から出力される画像特徴量を格納する記憶部と、
を備え、
テンプレート画像データ及び入力画像データを入力し、
該テンプレート画像データに対する該入力画像データの類似性を示す画像類似度を計算し出力する画像類似度計算装置であって、
前記テンプレート画像データを前記画像特徴抽出装置に入力し、該画像特徴抽出装置から出力されたテンプレート画像特徴量を前記記憶部に格納するテンプレート画像特徴抽出部と、
前記入力画像データを該画像特徴抽出装置に入力し、該画像特徴抽出装置から出力された入力画像特徴量を前記記憶部に格納する入力画像特徴抽出部と、
前記テンプレート画像特徴量と前記入力画像特徴量に基づいて画像類似度を計算する画像類似度計算部と、
を備えることを特徴とする画像類似度計算装置。 - 対象物体の特徴抽出すべき形状の像を写した入力画像データを入力する画像入力部、
を備え、
該入力画像データの画像特徴量を計算し抽出する装置に使用する画像特徴抽出方法であって、
前記画像入力部から入力された入力画像データに対して所定の画像補正を行い、その画像補正された画像データを出力する画像補正処理ステップと、
前記画像補正処理ステップで出力された画像データに対し、予め定めた複数のトップハット処理を施し、複数のモルフォロジー処理後画像データを生成し出力するモルフォロジー処理画像群生成処理ステップと、
前記モルフォロジー処理画像群生成処理ステップで出力されたモルフォロジー処理後画像データに特定の重み係数を乗じて加算する重み付け加算処理を行って得られた統合後画像データを出力する画像特徴統合処理ステップと、
前記画像特徴統合処理ステップで出力された統合後画像データに基づいて、画像特徴量を計算する特徴量計算処理ステップと、
を有することを特徴とする画像特徴抽出方法。 - 請求項5記載の画像特徴抽出方法において、
前記画像補正処理ステップが、
ユーザからの指定に応じて領域分けされた画像領域データを前記入力画像データから取得し、該画像領域データを出力するステップ、
を有し、
前記モルフォロジー処理画像群生成処理ステップが、
前記画像補正処理ステップで出力された画像領域データに対して、予め定めた複数のトップハット処理を施し、複数のモルフォロジー処理後画像領域データを生成し出力するステップ、
を有し、
前記画像特徴統合処理ステップが、
前記モルフォロジー処理画像群生成処理ステップから出力されたモルフォロジー処理後画像領域データに特定の重み係数を乗じて加算する重み付け加算処理を行って得られた統合後画像データを出力するステップと、
を有する
ことを特徴とする画像特徴抽出方法。 - 請求項5または6記載の画像特徴抽出方法において、
前記モルフォロジー処理画像群生成処理ステップが、
前記特徴抽出すべき形状の像を囲む矩形の短辺を形成する画素数と同じ値を有するパラメータbを使って、前記トップハット処理を行うステップ、
を有する
ことを特徴とする画像特徴抽出方法。 - 請求項1乃至3のいずれかに記載の画像特徴抽出装置と、
該画像特徴抽出装置から出力される画像特徴量を格納する記憶部と、
を備え、
テンプレート画像データ及び入力画像データを入力し、
該テンプレート画像データに対する該入力画像データの類似性を示す画像類似度を計算し出力する装置に使用する画像類似度計算方法であって、
前記テンプレート画像データを前記画像特徴抽出装置に入力し、該画像特徴抽出装置から出力されたテンプレート画像特徴量を前記記憶部に格納するテンプレート画像特徴抽出ステップと、
前記入力画像データを該画像特徴抽出装置に入力し、該画像特徴抽出装置から出力された入力画像特徴量を前記記憶部に格納する入力画像特徴抽出ステップと、
前記テンプレート画像特徴量と前記入力画像特徴量に基づいて画像類似度を計算する画像類似度計算ステップと、
を有することを特徴とする画像類似度計算方法。 - コンピュータを請求項1乃至3のいずれかに記載の画像特徴抽出装置における各部及び各手段として機能させることを特徴とする画像特徴抽出プログラム。
- コンピュータを請求項4に記載の画像類似度計算装置における各部として機能させることを特徴とする画像類似度計算プログラム。
- 請求項9に記載の画像特徴抽出プログラムを記録したことを特徴とする記録媒体。
- 請求項10に記載の画像類似度計算プログラムを記録したことを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007202508A JP2009037503A (ja) | 2007-08-03 | 2007-08-03 | 画像特徴抽出装置,画像特徴抽出方法,画像特徴抽出プログラム及びそのプログラムを格納した記録媒体、その画像特徴抽出装置を備えた画像類似度計算装置,画像類似度計算方法,画像類似度計算プログラム及びそのプログラムを格納した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007202508A JP2009037503A (ja) | 2007-08-03 | 2007-08-03 | 画像特徴抽出装置,画像特徴抽出方法,画像特徴抽出プログラム及びそのプログラムを格納した記録媒体、その画像特徴抽出装置を備えた画像類似度計算装置,画像類似度計算方法,画像類似度計算プログラム及びそのプログラムを格納した記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009037503A true JP2009037503A (ja) | 2009-02-19 |
Family
ID=40439333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007202508A Pending JP2009037503A (ja) | 2007-08-03 | 2007-08-03 | 画像特徴抽出装置,画像特徴抽出方法,画像特徴抽出プログラム及びそのプログラムを格納した記録媒体、その画像特徴抽出装置を備えた画像類似度計算装置,画像類似度計算方法,画像類似度計算プログラム及びそのプログラムを格納した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009037503A (ja) |
-
2007
- 2007-08-03 JP JP2007202508A patent/JP2009037503A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1910994B1 (en) | Binarization of an image | |
EP2176830B1 (en) | Face and skin sensitive image enhancement | |
JP5941674B2 (ja) | 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム | |
KR20130016213A (ko) | 광학 문자 인식되는 텍스트 영상의 텍스트 개선 | |
WO2016104712A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5534411B2 (ja) | 画像処理装置 | |
JP2012094052A (ja) | 指紋認証装置及び指紋認証用プログラム | |
CN111259792B (zh) | 基于dwt-lbp-dct特征的人脸活体检测方法 | |
JP3902887B2 (ja) | 唇抽出方法 | |
JPWO2019171413A1 (ja) | 画像照合装置 | |
JP5975215B2 (ja) | 画像処理装置及び画像処理プログラム、画像調整装置及び画像調整プログラム | |
JP2007122101A (ja) | 画像処理装置及び画像処理方法 | |
Chang et al. | An efficient thresholding algorithm for degraded document images based on intelligent block detection | |
JP5397468B2 (ja) | パタンノイズ除去装置、パタンノイズ除去方法、パタンノイズ除去プログラム | |
JP3906221B2 (ja) | 画像処理方法及び画像処理装置 | |
Kaur et al. | Image sharpening using basic enhancement techniques | |
JP2009037503A (ja) | 画像特徴抽出装置,画像特徴抽出方法,画像特徴抽出プログラム及びそのプログラムを格納した記録媒体、その画像特徴抽出装置を備えた画像類似度計算装置,画像類似度計算方法,画像類似度計算プログラム及びそのプログラムを格納した記録媒体 | |
JP2007018025A (ja) | 複雑度測定方法、処理選択方法、画像処理方法、そのプログラムおよび記録媒体、画像処理装置、並びに、画像処理システム | |
Wang et al. | Automatic hazy image enhancement via haze distribution estimation | |
Ozturk et al. | Efficient and natural image fusion method for low-light images based on active contour model and adaptive gamma correction | |
JP2006175036A (ja) | 肋骨形状推定装置、肋骨形状推定方法およびそのプログラム | |
Boiangiu et al. | Bitonal image creation for automatic content conversion | |
CN107918777A (zh) | 一种筛除图像不稳定特征点的方法 | |
WO2023187867A1 (ja) | データ変換装置、データ変換方法及びデータ変換プログラム | |
CN113129246A (zh) | 一种文档图片的处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090617 |