JP2005044033A - 画像検出方法および画像検出プログラム - Google Patents
画像検出方法および画像検出プログラム Download PDFInfo
- Publication number
- JP2005044033A JP2005044033A JP2003201106A JP2003201106A JP2005044033A JP 2005044033 A JP2005044033 A JP 2005044033A JP 2003201106 A JP2003201106 A JP 2003201106A JP 2003201106 A JP2003201106 A JP 2003201106A JP 2005044033 A JP2005044033 A JP 2005044033A
- Authority
- JP
- Japan
- Prior art keywords
- image
- detection method
- image detection
- similarity
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】少ない演算量で画像検出処理を実行することを課題とする。
【解決手段】オブジェクト画像Iaのヒストグラム解析結果Haと、入力画像Ibから抽出されたブロック画像I(x,y)のヒストグラム解析結果H(x,y)とから類似度C(x,y)が求められる。全てのブロック画像に対する類似度Cが求められると、それらの極大値に対応する中心座標(x,y)(候補位置)のリストが作成される。次に、候補位置においてサイズが変更されたブロック画像SI(x,y)が抽出され、このブロック画像SIのヒストグラム解析結果SH(x,y)が得られる。さらに、解析結果Haと解析結果SHの間で類似度SCが求められる。全ての候補位置について全ての拡縮率のブロック画像SIが抽出され、類似度SCが求められると、それらの最大値をもって画像の検出とする。
【選択図】 図2
【解決手段】オブジェクト画像Iaのヒストグラム解析結果Haと、入力画像Ibから抽出されたブロック画像I(x,y)のヒストグラム解析結果H(x,y)とから類似度C(x,y)が求められる。全てのブロック画像に対する類似度Cが求められると、それらの極大値に対応する中心座標(x,y)(候補位置)のリストが作成される。次に、候補位置においてサイズが変更されたブロック画像SI(x,y)が抽出され、このブロック画像SIのヒストグラム解析結果SH(x,y)が得られる。さらに、解析結果Haと解析結果SHの間で類似度SCが求められる。全ての候補位置について全ての拡縮率のブロック画像SIが抽出され、類似度SCが求められると、それらの最大値をもって画像の検出とする。
【選択図】 図2
Description
【0001】
【発明の属する技術分野】
本発明は、入力された画像の中から目的とする画像を検出する技術に関する。
【0002】
【従来の技術】
コンピュータを用いて、入力した画像と目的とする画像の類似度を判定し、画像を検出する技術が存在する。画像検出の技術は、人物認証など様々な分野で応用可能である。
【0003】
下記特許文献1では、画像のヒストグラムを解析することにより、画像同士の類似度を判定する技術が開示されている。具体的には、2つの画像のヒストグラムの重複する部分を積算することにより類似度を判定することとしている。
【0004】
【特許文献1】
特開2002−163653号公報
【0005】
【発明が解決しようとする課題】
しかしながら、特許文献1で開示されている技術では、ヒストグラムそのものの形状を比較する構成となっているため、処理量が大きくなるという問題がある。このため、たとえば、ビデオ画像中からリアルタイムにオブジェクトを検出するといった用途に応用させることは困難であった。
【0006】
また、特許文献1で開示されている技術では、色ヒストグラムの情報として、色信号H、Qの各値に対して二次元的に領域中の画素数をカウントし、その画素数を度数として表したものを記憶しているので、メモリ領域を多く消費するという問題もある。
【0007】
さらには、特許文献1では、ヒストグラムが一致する可能性の低い領域についても、検出処理を行っているので、余分な演算を必要とするという問題もある。
【0008】
そこで、本発明は前記問題点に鑑み、画像の類似度を少ない演算量で実現すること、あるいは類似度の演算に使用するメモリ領域を少なくすることを可能とした画像検出方法を提供することを目的とする。
【0009】
【課題を解決するための手段】
上記課題を解決するため、請求項1記載の発明は、a)第1画像のヒストグラム(以下、第1ヒストグラムとする。)を解析する工程と、b)第2画像から部分画像を抽出する工程と、c)前記部分画像のヒストグラム(以下、第2ヒストグラムとする。)を解析する工程と、d)前記第1および第2ヒストグラムの解析結果から類似度(以下、第1類似度とする。)を算出する工程と、e)前記第1類似度が所定の条件(以下、第1条件とする。)を満たしている場合に、前記部分画像の前記第2画像における抽出位置を候補位置と判定する工程と、f)前記第2画像の前記候補位置において、前記部分画像と領域サイズの異なる新部分画像を抽出する工程と、g)前記新部分画像のヒストグラム(以下、第3ヒストグラムとする。)を解析する工程と、h)前記第1および第3ヒストグラムの解析結果から類似度(以下、第2類似度とする。)を算出する工程と、i)前記第2類似度が所定の条件(以下、第2条件とする。)を満たしている場合、前記新部分画像の領域に前記第1画像が検出されたと判定する工程と、を備えることを特徴とする。
【0010】
請求項2記載の発明は、請求項1に記載の画像検出方法において、前記工程d)あるいは工程h)は、比較対象となる2つのヒストグラムのピーク値をとる画素レベルの差と、2つのヒストグラムの平均画素レベルの差と、2つのヒストグラムの分散値の比のうち、いずれか1つの情報に基づいて類似度を算出する工程、を含むことを特徴とする。
【0011】
請求項3記載の発明は、請求項1に記載の画像検出方法において、前記工程d)は、前記第1ヒストグラムの平均値を含む特定の画素値領域が設定され、前記部分画像の全画素のうち前記特定の画素値領域に属する画素の割合に基づいて類似度を算出する工程、を含むことを特徴とする。
【0012】
請求項4記載の発明は、請求項1に記載の画像検出方法において、前記工程h)は、前記第1ヒストグラムの平均値を含む特定の画素値領域が設定され、前記新部分画像の全画素のうち前記特定の画素値領域に属する画素の割合に基づいて類似度を算出する工程、を含むことを特徴とする。
【0013】
請求項5記載の発明は、請求項3または請求項4に記載の画像検出方法において、前記特定の画素値領域は、係数kの値によって領域の範囲が確定されるものであり、前記工程d)あるいは前記工程h)は、オペレータによって指示された係数kの値に応じて前記特定の画素値領域の範囲を決定する工程、を含むことを特徴とする。
【0014】
請求項6記載の発明は、請求項1ないし請求項5のいずれかに記載の画像検出方法において、前記工程e)は、前記第2画像から抽出された全ての部分画像に対して前記第1類似度を算出した結果、前記第1類似度の極大値を与える部分画像については、前記第1条件を満たしていると判定する工程、を含むことを特徴とする。
【0015】
請求項7記載の発明は、請求項6に記載の画像検出方法において、前記工程e)は、前記極大値が所定の閾値を越えている場合に前記第1条件を満たしていると判定する工程、を含むことを特徴とする。
【0016】
請求項8記載の発明は、請求項1ないし請求項5のいずれかに記載の画像検出方法において、前記工程e)は、前記第1類似度が所定の閾値を越えている場合に前記第1条件を満たしていると判定する工程、を含むことを特徴とする。
【0017】
請求項9記載の発明は、請求項1ないし請求項8のいずれかに記載の画像検出方法において、前記工程i)は、全ての新部分画像に対して前記第2類似度を算出した結果、前記第2類似度の極大値を与える新部分画像については、前記第2条件を満たしていると判定する工程、を含むことを特徴とする。
【0018】
請求項10記載の発明は、請求項9に記載の画像検出方法において、前記工程i)は、前記極大値が所定の閾値を越えている場合に前記第2条件を満たしていると判定する工程、を含むことを特徴とする。
【0019】
請求項11記載の発明は、請求項1ないし請求項8のいずれかに記載の画像検出方法において、前記工程i)は、前記第2類似度が所定の閾値を越えている場合に前記第2条件を満たしていると判定する工程、を含むことを特徴とする。
【0020】
請求項12記載の発明は、請求項1ないし請求項11のいずれかに記載の画像検出方法において、前記第1ないし第3ヒストグラムは、複数の色相成分のうち少なくとも1つの色相成分に関するヒストグラムであることを特徴とする。
【0021】
請求項13記載の発明は、請求項1ないし請求項12のいずれかに記載の画像検出方法において、前記工程e)は、前記候補位置の中で、特異点を前記候補位置から除去する工程、を含むことを特徴とする。
【0022】
請求項14記載の発明は、請求項1ないし請求項12のいずれかに記載の画像検出方法において、前記工程e)は、前記候補位置と判定されなかった領域の中で、特異点を前記候補位置に付加する工程、を含むことを特徴とする。
【0023】
請求項15記載の発明は、a)第1画像のヒストグラム(以下、第1ヒストグラムとする。)を解析する工程と、b)第2画像のヒストグラム(以下、第2ヒストグラムとする。)を解析する工程と、c)前記第1および第2ヒストグラムの解析結果から類似度を算出する工程と、を備え、前記工程c)は、比較対象となる2つのヒストグラムのピーク値をとる画素レベルの差と、2つのヒストグラムの平均画素レベルの差と、2つのヒストグラムの分散値の比のうち、いずれか1つの情報に基づいて類似度を算出する工程、を含むことを特徴とする。
【0024】
請求項16記載の発明は、a)第1画像のヒストグラム(以下、第1ヒストグラムとする。)を解析する工程と、b)第2画像のヒストグラム(以下、第2ヒストグラムとする。)を解析する工程と、c)前記第1および第2ヒストグラムの解析結果から類似度を算出する工程と、を備え、前記工程c)は、前記第1ヒストグラムの平均値を含む特定の画素値領域が設定され、前記第2画像の全画素のうち前記特定の画素値領域に属する画素の割合に基づいて類似度を算出する工程、を含むことを特徴とする。
【0025】
請求項17記載の発明は、請求項16に記載の画像検出方法において、前記特定の画素値領域は、係数kの値によって領域の範囲が確定されるものであり、前記工程c)は、オペレータによって指示された係数kの値に応じて前記特定の画素値領域の範囲を決定する工程、を含むことを特徴とする。
【0026】
請求項18記載の発明は、請求項15ないし請求項17のいずれかに記載の画像検出方法において、前記第1ないし第3ヒストグラムは、複数の色相成分のうち少なくとも1つの色相成分に関するヒストグラムであることを特徴とする。
【0027】
請求項19記載の発明は、コンピュータに請求項1ないし請求項18のいずれかの画像検出方法を実行させる画像検出プログラムである。
【0028】
【発明の実施の形態】
{第1の実施の形態}
以下、図面を参照しつつ本発明の第1の実施の形態について説明する。図1は、第1の実施の形態にかかる画像検出方法を実行するコンピュータ10の概略構成図である。
【0029】
コンピュータ10は、CPU1、メモリ2、記憶装置3を備え、また、入出力装置として、キーボード、マウス等を含む入力部11、ディスプレイ12を備えている。
【0030】
記憶装置3には、本実施の形態にかかる画像検出方法を実行する画像検出プログラム30が格納されている。また、記憶装置3には、オブジェクト画像Iaおよび入力画像Ibが格納されている。記憶装置3は、たとえばハードディスク、フラッシュメモリなどである。
【0031】
ここで、オブジェクト画像Iaとは、検出対象となる画像である。画像検出プログラム30は、入力画像Ibの中にオブジェクト画像Iaが存在するか否かを判定するプログラムである。
【0032】
画像検出プログラム30の動作例としては、1枚の入力画像Ibの中からオブジェクト画像Iaを検出する処理、あるいは、動画像として連続して入力される入力画像Ibの中からリアルタイムでオブジェクト画像Iaを検出する処理がある。
【0033】
図2は、画像検出プログラム30の処理ブロックおよび処理の流れを示す図である。図中、ヒストグラム解析部31、ブロック画像抽出部32、類似度算出部33、類似度判定部34は、画像検出プログラム30の機能ブロックである。
【0034】
画像検出プログラム30の動作について以下説明する。まず、ヒストグラム解析部31が、記憶装置3からオブジェクト画像Iaを取得し、オブジェクト画像Iaのヒストグラムを解析する。ここでは、オブジェクト画像Iaは、図3に示す画像とする。
【0035】
ヒストグラム解析部31は、オブジェクト画像Iaのヒストグラムを解析し、解析結果Haを得る。この解析結果Haの内容については後で説明する。
【0036】
ここで、ヒストグラム解析部31は、オブジェクト画像Iaを構成する画像情報のうち、色相に関する情報に対してヒストグラムを解析するようにしている。たとえば、オブジェクト画像Iaを構成する画像情報がY,Cb,Cr色空間である場合には、Cb成分あるいはCr成分に対してヒストグラムが解析される。または、Cb成分とCr成分の両方についてヒストグラムが解析される。同様に、Lab色空間である場合には、a成分あるいはb成分、またはa成分とb成分の両方についてヒストグラムが解析され、HVC色空間である場合には、H成分あるいはC成分、またはH成分とC成分の両方についてヒストグラムが解析される。
【0037】
次に、ブロック画像抽出部32が、記憶装置3から入力画像Ibを取得し、入力画像Ibからブロック画像I(x,y)を抽出する。ブロック画像I(x,y)は、入力画像Ibの部分領域画像である。
【0038】
図4は、入力画像Ibとブロック画像I(x,y)の関係を示す図である。ここで、(x,y)は、ブロック画像I(x,y)の中心座標を示している。ここでは、座標(x,y)は、ブロック画像I(x,y)の中心座標としているが、ブロック画像I(x,y)の基準座標として中心座標以外の座標を採用してもよい。ブロック画像抽出部32は、図に示すように、中心座標(x,y)を順にずらすことによって、ブロック画像I(x,y)の窓枠を順にずらし、各中心座標(x,y)においてブロック画像I(x,y)を抽出する。図では、中心座標(x,y)のy座標を固定し、x座標をx1,x2,x3・・・と順にずらしている場合を示しているが、ブロック画像抽出部32は、中心座標(x,y)を、x座標方向(水平方向)およびy座標方向(垂直方向)に移動させることにより、入力画像Ibの全体をスキャンするようにしてブロック画像I(x,y)を抽出する。
【0039】
中心座標(x,y)を移動させるステップ(間隔)は、適宜所望の値に設定されればよい。たとえば、ステップを1画素とすることにより、入力画像Ibの全領域を漏れなくスキャンすることが可能である。あるいは、ステップを複数画素とすることにより、演算量を低減させることが可能である。
【0040】
そして、ある中心座標(x,y)にて、ブロック画像抽出部32がブロック画像I(x,y)を抽出すると、次に、ヒストグラム解析部31が、ブロック画像I(x,y)のヒストグラムを解析し、解析結果H(x,y)を得る。ヒストグラム解析部31は、ブロック画像I(x,y)を構成する画像情報のうち、色相に関する情報に対してヒストグラムを解析するようにしている。
【0041】
また、前述したオブジェクト画像Iaのヒストグラムの解析結果Haとの類似度を判定するので、オブジェクト画像Iaにおいて解析した色相と同じ色相に対してヒストグラムを解析する。たとえば、Y,Cb,Cr色空間の場合であって、オブジェクト画像IaについてCb成分のヒストグラムを解析するのであれば、ブロック画像I(x,y)についてもCb成分のヒストグラムを解析する。オブジェクト画像IaについてCb成分とCr成分の両方のヒストグラムを解析した場合には、ブロック画像I(x,y)についてもCb成分とCr成分の両方のヒストグラムを解析することで、両方の色成分について個別に類似度を算出することが可能である。
【0042】
このようにして、ヒストグラム解析部31は、オブジェクト画像Iaに対する解析結果Haと、ブロック画像I(x,y)に対する解析結果H(x,y)を得る。次に、解析結果HaあるいはH(x,y)の内容について説明する。
【0043】
画像同士の類似度を判定するために、本実施の形態においては、比較対象となる2つのヒストグラムの平均値に関する情報、あるいは比較対象となる2つのヒストグラムのピーク値に関する情報、あるいは比較対象となる2つのヒストグラムの分散値に関する情報、を利用することとしている。または、これら3つの情報のいずれか2つの情報を利用することやこれら3つの全ての情報を利用することとしている。
【0044】
図5は、ある画像のヒストグラムを示している。横軸は、画素レベル(画素値)であり、縦軸は各画素レベルの出現頻度を示している。図中のmはヒストグラムの平均値(平均画素レベル)、pはヒストグラムがピーク値をとる際の画素レベル、dはヒストグラムの分散値を示している。
【0045】
したがって、ヒストグラム解析部31は、解析結果HaあるいはH(x,y)として、比較対象となる2つのヒストグラムの平均値に関する情報、あるいはピーク値に関する情報、あるいは分散値に関する情報、を得る。または、これら3つの情報のうちいずれか2つの情報、あるいは全ての情報を得る。ここでは、説明を簡単にするために、ヒストグラム解析部31は、解析結果HaおよびH(x,y)として、比較対象となる2つのヒストグラムの平均値、ピーク値、分散値に関する全ての情報を算出するものとする。
【0046】
次に、類似度算出部33は、解析結果HaおよびH(x,y)を取得して、類似度C(x,y)を算出する。類似度C(x,y)は、解析結果がヒストグラムの平均値に関する情報である場合には、平均値mの差として求められる。また、類似度C(x,y)は、解析結果がヒストグラムのピーク値に関する情報である場合には、ピーク値を示す画素レベルpの差として求められる。また、類似度C(x,y)は、解析結果がヒストグラムの分散値に関する情報である場合には、分散値dの比として求められる。
【0047】
あるいは、3つの評価値(平均値の差、ピーク値を示す画素レベルの差、分散値の比)のうち、いずれか2つの評価値を考慮した類似度C(x,y)を算出してもよいし、3つの全ての評価値を考慮した類似度C(x,y)を算出してもよい。複数の評価値を考慮する方法としては、たとえば、各評価値を加算したものを類似度とする方法が考えられる。あるいは、重み付け係数を乗算した上で各評価値を加算する方法が考えられる。
【0048】
また、複数の色相成分についてヒストグラムが解析されている場合には、各色相成分について類似度C(x,y)が算出される。たとえば、Y,Cb,Cr色空間であれば、Cb成分とCr成分の両方について類似度C(x,y)が算出される。あるいは、Lab色空間であれば、a成分とb成分の両方について類似度C(x,y)が算出される。従って、複数の色相成分についてヒストグラムを解析している場合には、複数の類似度が算出されることになる。
【0049】
以上の処理により、オブジェクト画像Iaと、ある中心座標(x,y)におけるブロック画像I(x,y)との類似度C(x,y)が算出されと、ブロック画像抽出部32は、中心座標(x,y)を所定のステップだけ移動させ、次の中心座標(x,y)におけるブロック画像I(x,y)を抽出する。そして、同様に、この抽出されたブロック画像I(x,y)とオブジェクト画像Iaとの類似度C(x,y)が算出される。このような処理を中心座標(x,y)をx座標方向(水平方向)およびy座標方向(垂直方向)に移動させつつ実行することにより、全てのブロック画像I(x,y)とオブジェクト画像Iaとの類似度C(x,y)が算出される。
【0050】
類似度算出部33が全てのブロック画像I(x,y)の類似度C(x,y)を算出すると、次に、類似度判定部34は、類似度算出部33が算出した全てのブロック画像I(x,y)に対応する類似度C(x,y)を取得し、オブジェクト画像Iaとブロック画像I(x,y)の類似度の判定処理を行う。具体的には、類似度判定部34は、図6に示すように、中心座標(x,y)を横軸(X軸)、類似度C(x,y)を縦軸(Y軸)とするような関数を考え、この関数の極大値となる中心座標(x,y)を求めるのである。なお、図6においては、中心座標(x,y)のy座標がある座標に固定されて、x座標をx1,x2,x3・・・と移動させた場合の極大値を示している。このような極大値を全てのy座標について求める。
【0051】
そして、類似度判定部34は、この類似度C(x,y)の極大値が閾値記憶部5より取得した閾値SH1より大きいか否かの判定を行い、閾値SH1より大きい場合には、この極大値となった中心座標(x,y)を、オブジェクト画像Iaが存在する候補位置として判定するのである。
【0052】
また、複数の色相成分について類似度を算出している場合には、各色相成分ごとに閾値SH1を設定すればよい。そして、各色相成分について候補位置を判定し、最終的に総合評価を行うようにすればよい。総合評価としては、いずれの色相成分についても条件も満たす場合のみ、候補位置と判定する方法が考えられる。あるいは、いずれかの色相成分の判定を優先的に扱うようにしてもよい。
【0053】
なお、閾値記憶部5は、記憶装置5あるいはメモリ2などのデータ記憶装置を示している。閾値SH1は、あらかじめ閾値記憶部5に格納されるデータであるが、オペレータによって任意に設定、変更することが可能である。たとえば、他の物体の誤検出があっても、対象オブジェクトの検出漏れを防ぎたい場合には、閾値SH1を低く設定すればよい。対象オブジェクトの検出漏れが発生しても、誤検出を防ぎたい場合には、閾値SH1を高く設定すればよい。
【0054】
類似度判定部34が類似度判定を行うと、その判定結果CRが判定結果記録部6に記録される。判定結果記録部6としては、メモリ2等の記憶装置が利用される。つまり、極大値をとり、かつ、閾値SH1を越える類似度C(x,y)が検出された全ての中心座標(x,y)が候補位置のリストとして記録される。
【0055】
次に、ブロック画像抽出部32は、候補位置として判定された中心座標(x,y)に対応した新たなブロック画像SI(x,y)を取得する。一例を説明すると、前述した最初の処理においてブロック画像抽出部32は、ブロック画像I(x,y)を32×32画素ブロックとして抽出する。そして、今回の処理においては、ブロック画像I(x,y)と中心座標(x,y)が同じであり、領域サイズがブロック画像I(x,y)の1/4倍、1/2倍、2倍、4倍となるようなサイズの異なる新たなブロック画像SI(x,y)を抽出するのである。
【0056】
図7は、ブロック画像I(x,y)の領域サイズを変化させた状態を示している。図中、拡縮率S4は倍率1、つまり元のブロック画像I(x,y)を示している。したがって、拡縮率S1〜S3は、ブロック画像I(x,y)の領域サイズを縮小させたものであり、拡縮率S5〜S7は、ブロック画像I(x,y)の領域サイズを拡大させたものである。
【0057】
ブロック画像抽出部32が、まず、ある拡縮率の新ブロック画像SI(x,y)を抽出すると、次に、ヒストグラム解析部31が、新ブロック画像SI(x,y)のヒストグラムを解析する。この解析処理の内容は、前述したオブジェクト画像Iaやブロック画像I(x,y)に対する解析処理の内容と同様である。これにより、新ブロック画像SI(x,y)のヒストグラム解析結果SH(x,y)が得られる。
【0058】
さらに、類似度算出部33が、新ブロック画像SI(x,y)のヒストグラム解析結果SH(x,y)とオブジェクト画像Iaのヒストグラム解析結果Haについて類似度SC(x,y)を算出する。この類似度算出処理の内容は、前述した解析結果Haと解析結果H(x,y)との間の類似度算出処理の内容と同様である。
【0059】
以上の処理によりある候補位置におけるブロック画像I(x,y)のある拡縮率Sについて類似度SC(x,y)を算出すると、ブロック画像抽出部32が次の拡縮率Sについて新ブロック画像SI(x,y)を生成し、この新ブロック画像SI(x,y)について類似度SC(x,y)が算出される。このような処理を繰り返し、ある候補位置の全ての拡縮率Sについて新ブロック画像SC(x,y)が生成され、全ての新ブロック画像SI(x,y)についての類似度SC(x,y)が算出される。次に、ブロック画像抽出部32は、判定結果記録部6に記録されている候補位置のリストに従って、次の候補位置に対しても新ブロック画像SI(x,y)を抽出する。そして、全ての新ブロック画像SI(x,y)に対する類似度SC(x,y)が算出される。
【0060】
類似度算出部33が全ての候補位置の全ての新ブロック画像SI(x,y)に対する類似度SC(x,y)を算出すると、次に、類似度判定部34は、類似度算出部33が算出した全ての新ブロック画像SI(x,y)に対応する類似度SC(x,y)を取得し、オブジェクト画像Iaと新ブロック画像SI(x,y)の類似度の判定処理を行う。具体的には、類似度判定部34は、図8に示すように、拡縮率Sを横軸(X軸)、類似度SC(x,y)を縦軸(Y軸)とするような関数を考え、この関数の最大値となる拡縮率Sを求めるのである。なお、図8においては、ある候補位置についての最大値を示す図であるが、実際には、全ての候補位置の中でSC(x,y)が最大となる中心座標(x,y)と拡縮率の組み合わせを選択することにより、類似度SC(x,y)が最大となる新ブロック画像SI(x,y)を検出することが可能となるのである。
【0061】
そして、類似度判定部34は、この類似度SC(x,y)の最大値が閾値記憶部5より取得した閾値SH2より大きいか否かの判定を行い、閾値SH2より大きい場合には、この最大値となった中心座標(x,y)と拡縮率Sに対応する新ブロック画像SI(x,y)を、オブジェクト画像Iaが存在する新ブロック画像として判定するのである。
【0062】
あるいは、複数の検出結果を許容するのであれば、類似度SC(x,y)が極大値をとる中心座標(x,y)および拡縮率の組み合わせを選択するようにしてもよい。そして、極大値をとる複数の類似度SC(x,y)と閾値SH2とを比較し、閾値SH2を超えるものが複数存在する場合には、オブジェクト画像Iaが複数存在するという検出結果としてもよい。
【0063】
なお、閾値SH2は、あらかじめ閾値記憶部5に格納されるデータであるが、オペレータによって任意に設定、変更することが可能である。たとえば、他の物体の誤検出があっても、対象オブジェクトの検出漏れを防ぎたい場合には、閾値SH2を低く設定すればよい。対象オブジェクトの検出漏れが発生しても、誤検出を防ぎたい場合には、閾値SH2を高く設定すればよい。
【0064】
また、複数の色相成分についてヒストグラムが解析されている場合には、類似度SC(x,y)についても複数の色相成分に対応したものが算出される。したがって、この場合にも、複数の色相成分に対応した類似度SC(x,y)それぞれについて判定処理を行い総合評価を行うようにしてもよい。総合評価としては、いずれの色相成分についても条件を満たす場合のみオブジェクトが検出されたと判定する方法が考えられる。あるいは、いずれかの色相成分についての判定結果を優先的に扱うようにしてもよい。
【0065】
以上説明したように、本発明の第1の実施の形態によれば、オブジェクトの形状情報を用いることなく、画像のヒストグラムを解析してオブジェクト検出を行うので、画像内に映っているオブジェクトの大きさ、回転などに左右されることなくロバストなオブジェクト検出を行うことが可能である。
【0066】
また、最初にブロック画像との間で類似度の判定を行い、候補位置のリストを作成し、検索領域を絞り込むようにしているので、画像検出処理の演算量を低減させることが可能である。また、処理速度の向上を図ることができるので、リアルタイムでの画像検出処理においても効果を発揮する。
【0067】
また、画像同士の類似度を算出する際には、ヒストグラムの形状情報をメモリに記憶する必要がない。本実施の形態によれば、多くともヒストグラムの解析結果としてヒストグラムの平均値、ピーク値、分散値に関する3つの情報をメモリに記憶しておけば類似度の算出を行うことができるので、メモリ消費量も小さくすることが可能である。
【0068】
また、ヒストグラムを解析する色として色相成分を利用することとしたので、輝度情報に関わる情報を利用する場合と比べて照明条件に左右することなくロバストなオブジェクト検出を行うことができる。また、複数の色相成分を利用することにより、例えば顔などのように肌色(皮膚)、赤色(唇)、黒(眉、髭、黒目)といった複数の色相が混在するようなオブジェクト検出であっても、検出精度を向上させることが可能である。
【0069】
{第2の実施の形態}
次に、本発明の第2の実施の形態について説明する。第2の実施の形態にかかる画像検出方法を実行するコンピュータについても、図1で示したようなコンピュータ10を想定すればよい。ここで、図1中の画像検出プログラム30が、第2の実施の形態においては画像検出プログラム50に置き換わったものと考える。
【0070】
図9は、画像検出プログラム50の処理ブロックおよび処理の流れを示す図である。図中、ヒストグラム解析部51、ブロック画像抽出部52、類似度算出部53、類似度判定部54、孤立点除去部56、膨張処理部57は、画像検出プログラム50の機能ブロックである。
【0071】
また、ヒストグラム解析部51、類似度算出部53の処理内容は、第1の実施の形態におけるヒストグラム解析部31、類似度算出部33の処理内容と略同様である。しかし、ブロック画像抽出部52、類似度判定部54の処理内容は、第1の実施の形態におけるブロック画像抽出部32、類似度判定部34の内容と異なる。
【0072】
ヒストグラム解析部51は、オブジェクト画像Iaおよびブロック画像抽出部52が抽出したブロック画像I(x,y)のヒストグラムを解析し、それぞれ解析結果HaおよびH(x,y)を得る。類似度算出部53は、解析結果HaおよびH(x,y)の類似度C(x,y)を算出する。
【0073】
次に、類似度判定部54は、類似度C(x,y)が閾値SH3を越えている場合に、そのブロック画像I(x,y)の中心座標(x,y)を候補位置であると判定する。このように、第2の実施の形態では、類似度C(x,y)の極大値を考慮することなく、類似度が閾値SH3を超えている場合に、その中心座標(x,y)を候補位置と判定するようにしている。そして、判定結果記録部55には、判定結果CRとして候補位置である中心座標(x,y)のリストが記録される。
【0074】
なお、閾値SH3は、あらかじめ閾値記憶部5に格納されるデータであるが、オペレータによって任意に設定、変更することが可能である。たとえば、他の物体の誤検出があっても、対象オブジェクトの検出漏れを防ぎたい場合には、閾値SH3を低く設定すればよい。対象オブジェクトの検出漏れが発生しても、誤検出を防ぎたい場合には、閾値SH3を高く設定すればよい。
【0075】
以上の処理により中心座標(x,y)のリストが作成されると、次に、孤立点除去部56が孤立点除去処理を実行する。図10(a)は孤立点除去処理前における候補位置と判定されている中心座標(x,y)の集合を示している。候補位置の集合は、複数の中心座標(x,y)がまとまった領域を形成している領域61と孤立点62とを含んでいる。ここで、孤立点62に対応するブロック画像I(x,y)内にはオブジェクト画像Iaが存在する可能性が低いという判断のもと、孤立点除去部56が孤立点62を削除する。具体的には、候補位置のリストから孤立点62を削除する。これにより、図10(b)に示すように、孤立点除去処理後における候補位置の集合は領域61で形成されることになる。このように、候補位置の中で、オブジェクト画像Iaが存在する可能性の低い特異点を除去することにより、無駄な検出演算処理を削減するようにしている。
【0076】
次に、膨張処理部57が膨張処理を実行する。図11(a)は膨張処理前における候補位置と判定されている中心座標(x,y)の集合を示している。候補位置の集合は、複数の中心座標(x,y)がまとまった領域を形成している領域61を含んでいるが、この領域61には、窪み部64が形成されている。ここで、窪み部64内に中心座標(x,y)をもつブロック画像I(x,y)内にはオブジェクト画像Iaが存在する可能性があるという判断のもと、膨張処理部57が窪み部64を候補位置に加える。具体的には、候補位置のリストに窪み部64の領域内に存在する中心座標(x,y)を加える。これにより、図11(b)に示すように、膨張処理後における候補位置の集合は領域65で表される。このように、候補位置と判定されなかった領域の中で、オブジェクト画像Iaが存在する可能性のある領域、つまり、候補位置ではない領域についての特異点を付加することにより、検出精度の向上を図っているのである。
【0077】
以上の孤立点除去処理および膨張処理が実行されることにより、判定結果記録部55に記録された候補位置のリストに補正が加えられる。
【0078】
次に、2回目の処理として、ブロック画像抽出部52は、補正後の候補位置リストに記録された中心座標(x,y)をもつブロック画像EI(x,y)を抽出する。ここで、ブロック画像EI(x,y)は、ブロック画像I(x,y)と同じ中心座標(x,y)をもち、ブロック画像I(x,y)よりサイズの大きいブロック画像である。
【0079】
たとえば、最初にブロック画像抽出部52が抽出するブロック画像I(x,y)を8×8画素のブロックとし、2回目に抽出するブロック画像EI(x,y)は32×32画素のブロックとする。さらに、3回目、4回目に抽出するブロック画像EI(x,y)を64×64画素、128×128画素といったように、順にブロック画像EI(x,y)のサイズが大きくなるようにしている。
【0080】
2回目の処理で抽出されたブロック画像EI(x,y)に対しても、ヒストグラム解析部51においてヒストグラムEH(x,y)が解析され、類似度算出部53が、オブジェクト画像Iaの解析結果Haとブロック画像EI(x,y)の解析結果EH(x,y)との類似度EC(x,y)を算出する。
【0081】
1回目の処理で作成された補正後の候補位置リストを1回目候補リストとすると、1回目候補リストに記録された全ての中心座標(x,y)について、32×32画素のブロック画像EI(x,y)が抽出され、それぞれのブロック画像EI(x,y)に対する類似度EC(x,y)が算出され、それぞれの類似度EC(x,y)と閾値SH3との対比が行われる。そして、閾値SH3との比較処理の結果、再び類似度判定部54が候補位置のリストを作成し、判定結果CRを更新して判定記録部6に記録する。
【0082】
この判定結果CRについて、再び、孤立点除去部56において孤立点除去処理が実行され、膨張処理部57によって膨張処理が実行され、さらに、候補位置のリストに補正が加えられ、2回目候補リストが作成される。さらに、3回目の処理として、2回目候補リストに記録された中心座標(x,y)について、ブロック画像EI(x,y)が抽出され(たとえば、64×64画素のブロックが抽出され)、同様に、類似度EC(x,y)が算出され、閾値SH3との対比が行われ、判定結果CRとして絞り込まれた3回目の候補位置のリストが作成されると、同様に孤立点除去処理、膨張処理が実行される。このようにして、次々に、候補位置のリストを絞り込みながら、ブロック画像EI(x,y)のサイズがオブジェクト画像Iaのサイズと同じになるまで処理を繰り返す。なお、各回の処理で閾値SH3の値を異なる値としてもよい。
【0083】
そして、最終的に残る候補位置のリストからオブジェクト画像の位置を推測する。たとえば、最終的に残った候補位置の領域(例えば図10や図11で示すような領域)を考え、その領域の重心位置をオブジェクト画像Iaの検出位置であると推測する方法が考えられる。または、あらかじめ検出位置が特定された複数のテンプレートを用意しておき、候補位置の領域とテンプレートのマッチング処理を行う。そして、マッチングするテンプレートが見つかった場合に、そのテンプレートで特定されている位置をオブジェクト画像Iaの検出位置とする方法などが考えられる。あるいは、特定の位置を決定するのではなく、最終的に残った候補位置の集合を検出結果としてもよい。
【0084】
{変形例}
上記の実施の形態においては、ヒストグラムの解析結果に対して類似度を算出する際、ヒストグラムの平均値、ピーク値、分散値に関する情報を利用することとした。この変形例として、対象となるヒストグラムの分布の重複度合いを利用するようにしてもよい。
【0085】
図12は、比較対照となる一方の画像のヒストグラムである。ここでは、図は、オブジェクト画像Iaのヒストグラムであるとする。このヒストグラムの平均値はm、分散値はdである。そして、ある適当な係数kを考え、平均値mを中心として、(m−k×d)〜(m+k×d)の画素値領域を考える。
【0086】
そして、比較対照となる他方の画像、たとえば、ブロック画像I(x,y)の画素分布が上記(m−k×d)〜(m+k×d)の画素値領域にどれだけ含まれるかを考える。すなわち、ブロック画像I(x,y)の全画素Mのうち、(m−k×d)〜(m+k×d)の画素値領域に含まれる画素数Nの割合(N/M)を類似度として採用するのである。
【0087】
このような画素分布の割合に基づいた類似度の算出方法を上記の第1あるいは第2の実施の形態に適用させることが可能である。そして、係数kの値を変化させることによって、検出の感度を変化させることが可能である。係数kは、あらかじめ閾値記憶部5等の記憶部に格納されるデータであるが、オペレータによって任意に設定、変更することが可能である。たとえば、他の物体の誤検出があっても、対象オブジェクトの検出漏れを防ぎたい場合には、係数kの値を大きく設定すればよい。対象オブジェクトの検出漏れが発生しても、誤検出を防ぎたい場合には、係数kの値を小さく設定すればよい。
【0088】
また、別の変形例として、入力画像Ibをサブサンプリングし、縮小された入力画像に対して上記第1および第2の実施の形態を適用させることも可能である。このような方法をとれば、演算量をさらに低減させることが可能である。
【0089】
【発明の効果】
以上説明したように、請求項1ないし請求項14のいずれかに記載の画像検出方法においては、オブジェクトの形状情報を用いることなく画像検出を行うことが可能である。また、第1条件を満たしたブロックに対してのみ、さらなる類似度の判定処理を行うので、演算量を少なくすることが可能である。
【0090】
請求項2に記載の画像検出方法においては、ヒストグラムの解析結果で得られたデータ量の小さい情報のみを類似度判定に利用するので、メモリ使用量を少なくすることが可能である。
【0091】
請求項12に記載の画像検出方法においては、色相成分のヒストグラムを解析するので、照明条件に左右されずにロバストな画像検出処理を行うことが可能である。
【0092】
請求項15ないし請求項18のいずれかに記載の画像検出方法は、ヒストグラムの解析結果で得られたデータ量の小さい情報のみを類似度判定に利用するので、メモリ使用量を少なくすることが可能である。
【0093】
請求項19は、画像検出プログラムに関するものであり、オブジェクトの形状情報を用いることなく画像検出を行うことが可能である。
【図面の簡単な説明】
【図1】画像検出方法を実行するコンピュータの概略構成図である。
【図2】第1の実施の形態における画像検出プログラムの処理ブロックおよび処理の流れを示す図である。
【図3】検出対象となるオブジェクト画像の具体例を示す図である。
【図4】中心座標を移動させつつ抽出されるブロック画像を示す図である。
【図5】ヒストグラムにおける平均値、ピーク値、分散値を示す図である。
【図6】中心座標を移動させつつ抽出されるブロック画像の類似度を示す図である。
【図7】サイズを変化させつつ抽出されるブロック画像を示す図である。
【図8】サイズを変化させつつ抽出されるブロック画像の類似度を示す図である。
【図9】第2の実施の形態における画像検出プログラムの処理ブロックおよび処理の流れを示す図である。
【図10】孤立点除去処理の前後における候補位置の集合を示す図である。
【図11】膨張処理の前後における候補位置の集合を示す図である。
【図12】類似度を判定する別の評価方法を示す図である。
【符号の説明】
30 画像検出プログラム
C(x,y) (ブロック画像との)類似度
CR 判定結果
Ha (オブジェクト画像の)ヒストグラム解析結果
H(x,y) (ブロック画像の)ヒストグラム解析結果
Ia オブジェクト画像
Ib 入力画像
I(x,y) ブロック画像
SC(x,y) (サイズ変更後のブロック画像との)類似度
SH(x,y) (サイズ変更後のブロック画像の)ヒストグラム解析結果
SI(x,y) (サイズ変更後の)ブロック画像
【発明の属する技術分野】
本発明は、入力された画像の中から目的とする画像を検出する技術に関する。
【0002】
【従来の技術】
コンピュータを用いて、入力した画像と目的とする画像の類似度を判定し、画像を検出する技術が存在する。画像検出の技術は、人物認証など様々な分野で応用可能である。
【0003】
下記特許文献1では、画像のヒストグラムを解析することにより、画像同士の類似度を判定する技術が開示されている。具体的には、2つの画像のヒストグラムの重複する部分を積算することにより類似度を判定することとしている。
【0004】
【特許文献1】
特開2002−163653号公報
【0005】
【発明が解決しようとする課題】
しかしながら、特許文献1で開示されている技術では、ヒストグラムそのものの形状を比較する構成となっているため、処理量が大きくなるという問題がある。このため、たとえば、ビデオ画像中からリアルタイムにオブジェクトを検出するといった用途に応用させることは困難であった。
【0006】
また、特許文献1で開示されている技術では、色ヒストグラムの情報として、色信号H、Qの各値に対して二次元的に領域中の画素数をカウントし、その画素数を度数として表したものを記憶しているので、メモリ領域を多く消費するという問題もある。
【0007】
さらには、特許文献1では、ヒストグラムが一致する可能性の低い領域についても、検出処理を行っているので、余分な演算を必要とするという問題もある。
【0008】
そこで、本発明は前記問題点に鑑み、画像の類似度を少ない演算量で実現すること、あるいは類似度の演算に使用するメモリ領域を少なくすることを可能とした画像検出方法を提供することを目的とする。
【0009】
【課題を解決するための手段】
上記課題を解決するため、請求項1記載の発明は、a)第1画像のヒストグラム(以下、第1ヒストグラムとする。)を解析する工程と、b)第2画像から部分画像を抽出する工程と、c)前記部分画像のヒストグラム(以下、第2ヒストグラムとする。)を解析する工程と、d)前記第1および第2ヒストグラムの解析結果から類似度(以下、第1類似度とする。)を算出する工程と、e)前記第1類似度が所定の条件(以下、第1条件とする。)を満たしている場合に、前記部分画像の前記第2画像における抽出位置を候補位置と判定する工程と、f)前記第2画像の前記候補位置において、前記部分画像と領域サイズの異なる新部分画像を抽出する工程と、g)前記新部分画像のヒストグラム(以下、第3ヒストグラムとする。)を解析する工程と、h)前記第1および第3ヒストグラムの解析結果から類似度(以下、第2類似度とする。)を算出する工程と、i)前記第2類似度が所定の条件(以下、第2条件とする。)を満たしている場合、前記新部分画像の領域に前記第1画像が検出されたと判定する工程と、を備えることを特徴とする。
【0010】
請求項2記載の発明は、請求項1に記載の画像検出方法において、前記工程d)あるいは工程h)は、比較対象となる2つのヒストグラムのピーク値をとる画素レベルの差と、2つのヒストグラムの平均画素レベルの差と、2つのヒストグラムの分散値の比のうち、いずれか1つの情報に基づいて類似度を算出する工程、を含むことを特徴とする。
【0011】
請求項3記載の発明は、請求項1に記載の画像検出方法において、前記工程d)は、前記第1ヒストグラムの平均値を含む特定の画素値領域が設定され、前記部分画像の全画素のうち前記特定の画素値領域に属する画素の割合に基づいて類似度を算出する工程、を含むことを特徴とする。
【0012】
請求項4記載の発明は、請求項1に記載の画像検出方法において、前記工程h)は、前記第1ヒストグラムの平均値を含む特定の画素値領域が設定され、前記新部分画像の全画素のうち前記特定の画素値領域に属する画素の割合に基づいて類似度を算出する工程、を含むことを特徴とする。
【0013】
請求項5記載の発明は、請求項3または請求項4に記載の画像検出方法において、前記特定の画素値領域は、係数kの値によって領域の範囲が確定されるものであり、前記工程d)あるいは前記工程h)は、オペレータによって指示された係数kの値に応じて前記特定の画素値領域の範囲を決定する工程、を含むことを特徴とする。
【0014】
請求項6記載の発明は、請求項1ないし請求項5のいずれかに記載の画像検出方法において、前記工程e)は、前記第2画像から抽出された全ての部分画像に対して前記第1類似度を算出した結果、前記第1類似度の極大値を与える部分画像については、前記第1条件を満たしていると判定する工程、を含むことを特徴とする。
【0015】
請求項7記載の発明は、請求項6に記載の画像検出方法において、前記工程e)は、前記極大値が所定の閾値を越えている場合に前記第1条件を満たしていると判定する工程、を含むことを特徴とする。
【0016】
請求項8記載の発明は、請求項1ないし請求項5のいずれかに記載の画像検出方法において、前記工程e)は、前記第1類似度が所定の閾値を越えている場合に前記第1条件を満たしていると判定する工程、を含むことを特徴とする。
【0017】
請求項9記載の発明は、請求項1ないし請求項8のいずれかに記載の画像検出方法において、前記工程i)は、全ての新部分画像に対して前記第2類似度を算出した結果、前記第2類似度の極大値を与える新部分画像については、前記第2条件を満たしていると判定する工程、を含むことを特徴とする。
【0018】
請求項10記載の発明は、請求項9に記載の画像検出方法において、前記工程i)は、前記極大値が所定の閾値を越えている場合に前記第2条件を満たしていると判定する工程、を含むことを特徴とする。
【0019】
請求項11記載の発明は、請求項1ないし請求項8のいずれかに記載の画像検出方法において、前記工程i)は、前記第2類似度が所定の閾値を越えている場合に前記第2条件を満たしていると判定する工程、を含むことを特徴とする。
【0020】
請求項12記載の発明は、請求項1ないし請求項11のいずれかに記載の画像検出方法において、前記第1ないし第3ヒストグラムは、複数の色相成分のうち少なくとも1つの色相成分に関するヒストグラムであることを特徴とする。
【0021】
請求項13記載の発明は、請求項1ないし請求項12のいずれかに記載の画像検出方法において、前記工程e)は、前記候補位置の中で、特異点を前記候補位置から除去する工程、を含むことを特徴とする。
【0022】
請求項14記載の発明は、請求項1ないし請求項12のいずれかに記載の画像検出方法において、前記工程e)は、前記候補位置と判定されなかった領域の中で、特異点を前記候補位置に付加する工程、を含むことを特徴とする。
【0023】
請求項15記載の発明は、a)第1画像のヒストグラム(以下、第1ヒストグラムとする。)を解析する工程と、b)第2画像のヒストグラム(以下、第2ヒストグラムとする。)を解析する工程と、c)前記第1および第2ヒストグラムの解析結果から類似度を算出する工程と、を備え、前記工程c)は、比較対象となる2つのヒストグラムのピーク値をとる画素レベルの差と、2つのヒストグラムの平均画素レベルの差と、2つのヒストグラムの分散値の比のうち、いずれか1つの情報に基づいて類似度を算出する工程、を含むことを特徴とする。
【0024】
請求項16記載の発明は、a)第1画像のヒストグラム(以下、第1ヒストグラムとする。)を解析する工程と、b)第2画像のヒストグラム(以下、第2ヒストグラムとする。)を解析する工程と、c)前記第1および第2ヒストグラムの解析結果から類似度を算出する工程と、を備え、前記工程c)は、前記第1ヒストグラムの平均値を含む特定の画素値領域が設定され、前記第2画像の全画素のうち前記特定の画素値領域に属する画素の割合に基づいて類似度を算出する工程、を含むことを特徴とする。
【0025】
請求項17記載の発明は、請求項16に記載の画像検出方法において、前記特定の画素値領域は、係数kの値によって領域の範囲が確定されるものであり、前記工程c)は、オペレータによって指示された係数kの値に応じて前記特定の画素値領域の範囲を決定する工程、を含むことを特徴とする。
【0026】
請求項18記載の発明は、請求項15ないし請求項17のいずれかに記載の画像検出方法において、前記第1ないし第3ヒストグラムは、複数の色相成分のうち少なくとも1つの色相成分に関するヒストグラムであることを特徴とする。
【0027】
請求項19記載の発明は、コンピュータに請求項1ないし請求項18のいずれかの画像検出方法を実行させる画像検出プログラムである。
【0028】
【発明の実施の形態】
{第1の実施の形態}
以下、図面を参照しつつ本発明の第1の実施の形態について説明する。図1は、第1の実施の形態にかかる画像検出方法を実行するコンピュータ10の概略構成図である。
【0029】
コンピュータ10は、CPU1、メモリ2、記憶装置3を備え、また、入出力装置として、キーボード、マウス等を含む入力部11、ディスプレイ12を備えている。
【0030】
記憶装置3には、本実施の形態にかかる画像検出方法を実行する画像検出プログラム30が格納されている。また、記憶装置3には、オブジェクト画像Iaおよび入力画像Ibが格納されている。記憶装置3は、たとえばハードディスク、フラッシュメモリなどである。
【0031】
ここで、オブジェクト画像Iaとは、検出対象となる画像である。画像検出プログラム30は、入力画像Ibの中にオブジェクト画像Iaが存在するか否かを判定するプログラムである。
【0032】
画像検出プログラム30の動作例としては、1枚の入力画像Ibの中からオブジェクト画像Iaを検出する処理、あるいは、動画像として連続して入力される入力画像Ibの中からリアルタイムでオブジェクト画像Iaを検出する処理がある。
【0033】
図2は、画像検出プログラム30の処理ブロックおよび処理の流れを示す図である。図中、ヒストグラム解析部31、ブロック画像抽出部32、類似度算出部33、類似度判定部34は、画像検出プログラム30の機能ブロックである。
【0034】
画像検出プログラム30の動作について以下説明する。まず、ヒストグラム解析部31が、記憶装置3からオブジェクト画像Iaを取得し、オブジェクト画像Iaのヒストグラムを解析する。ここでは、オブジェクト画像Iaは、図3に示す画像とする。
【0035】
ヒストグラム解析部31は、オブジェクト画像Iaのヒストグラムを解析し、解析結果Haを得る。この解析結果Haの内容については後で説明する。
【0036】
ここで、ヒストグラム解析部31は、オブジェクト画像Iaを構成する画像情報のうち、色相に関する情報に対してヒストグラムを解析するようにしている。たとえば、オブジェクト画像Iaを構成する画像情報がY,Cb,Cr色空間である場合には、Cb成分あるいはCr成分に対してヒストグラムが解析される。または、Cb成分とCr成分の両方についてヒストグラムが解析される。同様に、Lab色空間である場合には、a成分あるいはb成分、またはa成分とb成分の両方についてヒストグラムが解析され、HVC色空間である場合には、H成分あるいはC成分、またはH成分とC成分の両方についてヒストグラムが解析される。
【0037】
次に、ブロック画像抽出部32が、記憶装置3から入力画像Ibを取得し、入力画像Ibからブロック画像I(x,y)を抽出する。ブロック画像I(x,y)は、入力画像Ibの部分領域画像である。
【0038】
図4は、入力画像Ibとブロック画像I(x,y)の関係を示す図である。ここで、(x,y)は、ブロック画像I(x,y)の中心座標を示している。ここでは、座標(x,y)は、ブロック画像I(x,y)の中心座標としているが、ブロック画像I(x,y)の基準座標として中心座標以外の座標を採用してもよい。ブロック画像抽出部32は、図に示すように、中心座標(x,y)を順にずらすことによって、ブロック画像I(x,y)の窓枠を順にずらし、各中心座標(x,y)においてブロック画像I(x,y)を抽出する。図では、中心座標(x,y)のy座標を固定し、x座標をx1,x2,x3・・・と順にずらしている場合を示しているが、ブロック画像抽出部32は、中心座標(x,y)を、x座標方向(水平方向)およびy座標方向(垂直方向)に移動させることにより、入力画像Ibの全体をスキャンするようにしてブロック画像I(x,y)を抽出する。
【0039】
中心座標(x,y)を移動させるステップ(間隔)は、適宜所望の値に設定されればよい。たとえば、ステップを1画素とすることにより、入力画像Ibの全領域を漏れなくスキャンすることが可能である。あるいは、ステップを複数画素とすることにより、演算量を低減させることが可能である。
【0040】
そして、ある中心座標(x,y)にて、ブロック画像抽出部32がブロック画像I(x,y)を抽出すると、次に、ヒストグラム解析部31が、ブロック画像I(x,y)のヒストグラムを解析し、解析結果H(x,y)を得る。ヒストグラム解析部31は、ブロック画像I(x,y)を構成する画像情報のうち、色相に関する情報に対してヒストグラムを解析するようにしている。
【0041】
また、前述したオブジェクト画像Iaのヒストグラムの解析結果Haとの類似度を判定するので、オブジェクト画像Iaにおいて解析した色相と同じ色相に対してヒストグラムを解析する。たとえば、Y,Cb,Cr色空間の場合であって、オブジェクト画像IaについてCb成分のヒストグラムを解析するのであれば、ブロック画像I(x,y)についてもCb成分のヒストグラムを解析する。オブジェクト画像IaについてCb成分とCr成分の両方のヒストグラムを解析した場合には、ブロック画像I(x,y)についてもCb成分とCr成分の両方のヒストグラムを解析することで、両方の色成分について個別に類似度を算出することが可能である。
【0042】
このようにして、ヒストグラム解析部31は、オブジェクト画像Iaに対する解析結果Haと、ブロック画像I(x,y)に対する解析結果H(x,y)を得る。次に、解析結果HaあるいはH(x,y)の内容について説明する。
【0043】
画像同士の類似度を判定するために、本実施の形態においては、比較対象となる2つのヒストグラムの平均値に関する情報、あるいは比較対象となる2つのヒストグラムのピーク値に関する情報、あるいは比較対象となる2つのヒストグラムの分散値に関する情報、を利用することとしている。または、これら3つの情報のいずれか2つの情報を利用することやこれら3つの全ての情報を利用することとしている。
【0044】
図5は、ある画像のヒストグラムを示している。横軸は、画素レベル(画素値)であり、縦軸は各画素レベルの出現頻度を示している。図中のmはヒストグラムの平均値(平均画素レベル)、pはヒストグラムがピーク値をとる際の画素レベル、dはヒストグラムの分散値を示している。
【0045】
したがって、ヒストグラム解析部31は、解析結果HaあるいはH(x,y)として、比較対象となる2つのヒストグラムの平均値に関する情報、あるいはピーク値に関する情報、あるいは分散値に関する情報、を得る。または、これら3つの情報のうちいずれか2つの情報、あるいは全ての情報を得る。ここでは、説明を簡単にするために、ヒストグラム解析部31は、解析結果HaおよびH(x,y)として、比較対象となる2つのヒストグラムの平均値、ピーク値、分散値に関する全ての情報を算出するものとする。
【0046】
次に、類似度算出部33は、解析結果HaおよびH(x,y)を取得して、類似度C(x,y)を算出する。類似度C(x,y)は、解析結果がヒストグラムの平均値に関する情報である場合には、平均値mの差として求められる。また、類似度C(x,y)は、解析結果がヒストグラムのピーク値に関する情報である場合には、ピーク値を示す画素レベルpの差として求められる。また、類似度C(x,y)は、解析結果がヒストグラムの分散値に関する情報である場合には、分散値dの比として求められる。
【0047】
あるいは、3つの評価値(平均値の差、ピーク値を示す画素レベルの差、分散値の比)のうち、いずれか2つの評価値を考慮した類似度C(x,y)を算出してもよいし、3つの全ての評価値を考慮した類似度C(x,y)を算出してもよい。複数の評価値を考慮する方法としては、たとえば、各評価値を加算したものを類似度とする方法が考えられる。あるいは、重み付け係数を乗算した上で各評価値を加算する方法が考えられる。
【0048】
また、複数の色相成分についてヒストグラムが解析されている場合には、各色相成分について類似度C(x,y)が算出される。たとえば、Y,Cb,Cr色空間であれば、Cb成分とCr成分の両方について類似度C(x,y)が算出される。あるいは、Lab色空間であれば、a成分とb成分の両方について類似度C(x,y)が算出される。従って、複数の色相成分についてヒストグラムを解析している場合には、複数の類似度が算出されることになる。
【0049】
以上の処理により、オブジェクト画像Iaと、ある中心座標(x,y)におけるブロック画像I(x,y)との類似度C(x,y)が算出されと、ブロック画像抽出部32は、中心座標(x,y)を所定のステップだけ移動させ、次の中心座標(x,y)におけるブロック画像I(x,y)を抽出する。そして、同様に、この抽出されたブロック画像I(x,y)とオブジェクト画像Iaとの類似度C(x,y)が算出される。このような処理を中心座標(x,y)をx座標方向(水平方向)およびy座標方向(垂直方向)に移動させつつ実行することにより、全てのブロック画像I(x,y)とオブジェクト画像Iaとの類似度C(x,y)が算出される。
【0050】
類似度算出部33が全てのブロック画像I(x,y)の類似度C(x,y)を算出すると、次に、類似度判定部34は、類似度算出部33が算出した全てのブロック画像I(x,y)に対応する類似度C(x,y)を取得し、オブジェクト画像Iaとブロック画像I(x,y)の類似度の判定処理を行う。具体的には、類似度判定部34は、図6に示すように、中心座標(x,y)を横軸(X軸)、類似度C(x,y)を縦軸(Y軸)とするような関数を考え、この関数の極大値となる中心座標(x,y)を求めるのである。なお、図6においては、中心座標(x,y)のy座標がある座標に固定されて、x座標をx1,x2,x3・・・と移動させた場合の極大値を示している。このような極大値を全てのy座標について求める。
【0051】
そして、類似度判定部34は、この類似度C(x,y)の極大値が閾値記憶部5より取得した閾値SH1より大きいか否かの判定を行い、閾値SH1より大きい場合には、この極大値となった中心座標(x,y)を、オブジェクト画像Iaが存在する候補位置として判定するのである。
【0052】
また、複数の色相成分について類似度を算出している場合には、各色相成分ごとに閾値SH1を設定すればよい。そして、各色相成分について候補位置を判定し、最終的に総合評価を行うようにすればよい。総合評価としては、いずれの色相成分についても条件も満たす場合のみ、候補位置と判定する方法が考えられる。あるいは、いずれかの色相成分の判定を優先的に扱うようにしてもよい。
【0053】
なお、閾値記憶部5は、記憶装置5あるいはメモリ2などのデータ記憶装置を示している。閾値SH1は、あらかじめ閾値記憶部5に格納されるデータであるが、オペレータによって任意に設定、変更することが可能である。たとえば、他の物体の誤検出があっても、対象オブジェクトの検出漏れを防ぎたい場合には、閾値SH1を低く設定すればよい。対象オブジェクトの検出漏れが発生しても、誤検出を防ぎたい場合には、閾値SH1を高く設定すればよい。
【0054】
類似度判定部34が類似度判定を行うと、その判定結果CRが判定結果記録部6に記録される。判定結果記録部6としては、メモリ2等の記憶装置が利用される。つまり、極大値をとり、かつ、閾値SH1を越える類似度C(x,y)が検出された全ての中心座標(x,y)が候補位置のリストとして記録される。
【0055】
次に、ブロック画像抽出部32は、候補位置として判定された中心座標(x,y)に対応した新たなブロック画像SI(x,y)を取得する。一例を説明すると、前述した最初の処理においてブロック画像抽出部32は、ブロック画像I(x,y)を32×32画素ブロックとして抽出する。そして、今回の処理においては、ブロック画像I(x,y)と中心座標(x,y)が同じであり、領域サイズがブロック画像I(x,y)の1/4倍、1/2倍、2倍、4倍となるようなサイズの異なる新たなブロック画像SI(x,y)を抽出するのである。
【0056】
図7は、ブロック画像I(x,y)の領域サイズを変化させた状態を示している。図中、拡縮率S4は倍率1、つまり元のブロック画像I(x,y)を示している。したがって、拡縮率S1〜S3は、ブロック画像I(x,y)の領域サイズを縮小させたものであり、拡縮率S5〜S7は、ブロック画像I(x,y)の領域サイズを拡大させたものである。
【0057】
ブロック画像抽出部32が、まず、ある拡縮率の新ブロック画像SI(x,y)を抽出すると、次に、ヒストグラム解析部31が、新ブロック画像SI(x,y)のヒストグラムを解析する。この解析処理の内容は、前述したオブジェクト画像Iaやブロック画像I(x,y)に対する解析処理の内容と同様である。これにより、新ブロック画像SI(x,y)のヒストグラム解析結果SH(x,y)が得られる。
【0058】
さらに、類似度算出部33が、新ブロック画像SI(x,y)のヒストグラム解析結果SH(x,y)とオブジェクト画像Iaのヒストグラム解析結果Haについて類似度SC(x,y)を算出する。この類似度算出処理の内容は、前述した解析結果Haと解析結果H(x,y)との間の類似度算出処理の内容と同様である。
【0059】
以上の処理によりある候補位置におけるブロック画像I(x,y)のある拡縮率Sについて類似度SC(x,y)を算出すると、ブロック画像抽出部32が次の拡縮率Sについて新ブロック画像SI(x,y)を生成し、この新ブロック画像SI(x,y)について類似度SC(x,y)が算出される。このような処理を繰り返し、ある候補位置の全ての拡縮率Sについて新ブロック画像SC(x,y)が生成され、全ての新ブロック画像SI(x,y)についての類似度SC(x,y)が算出される。次に、ブロック画像抽出部32は、判定結果記録部6に記録されている候補位置のリストに従って、次の候補位置に対しても新ブロック画像SI(x,y)を抽出する。そして、全ての新ブロック画像SI(x,y)に対する類似度SC(x,y)が算出される。
【0060】
類似度算出部33が全ての候補位置の全ての新ブロック画像SI(x,y)に対する類似度SC(x,y)を算出すると、次に、類似度判定部34は、類似度算出部33が算出した全ての新ブロック画像SI(x,y)に対応する類似度SC(x,y)を取得し、オブジェクト画像Iaと新ブロック画像SI(x,y)の類似度の判定処理を行う。具体的には、類似度判定部34は、図8に示すように、拡縮率Sを横軸(X軸)、類似度SC(x,y)を縦軸(Y軸)とするような関数を考え、この関数の最大値となる拡縮率Sを求めるのである。なお、図8においては、ある候補位置についての最大値を示す図であるが、実際には、全ての候補位置の中でSC(x,y)が最大となる中心座標(x,y)と拡縮率の組み合わせを選択することにより、類似度SC(x,y)が最大となる新ブロック画像SI(x,y)を検出することが可能となるのである。
【0061】
そして、類似度判定部34は、この類似度SC(x,y)の最大値が閾値記憶部5より取得した閾値SH2より大きいか否かの判定を行い、閾値SH2より大きい場合には、この最大値となった中心座標(x,y)と拡縮率Sに対応する新ブロック画像SI(x,y)を、オブジェクト画像Iaが存在する新ブロック画像として判定するのである。
【0062】
あるいは、複数の検出結果を許容するのであれば、類似度SC(x,y)が極大値をとる中心座標(x,y)および拡縮率の組み合わせを選択するようにしてもよい。そして、極大値をとる複数の類似度SC(x,y)と閾値SH2とを比較し、閾値SH2を超えるものが複数存在する場合には、オブジェクト画像Iaが複数存在するという検出結果としてもよい。
【0063】
なお、閾値SH2は、あらかじめ閾値記憶部5に格納されるデータであるが、オペレータによって任意に設定、変更することが可能である。たとえば、他の物体の誤検出があっても、対象オブジェクトの検出漏れを防ぎたい場合には、閾値SH2を低く設定すればよい。対象オブジェクトの検出漏れが発生しても、誤検出を防ぎたい場合には、閾値SH2を高く設定すればよい。
【0064】
また、複数の色相成分についてヒストグラムが解析されている場合には、類似度SC(x,y)についても複数の色相成分に対応したものが算出される。したがって、この場合にも、複数の色相成分に対応した類似度SC(x,y)それぞれについて判定処理を行い総合評価を行うようにしてもよい。総合評価としては、いずれの色相成分についても条件を満たす場合のみオブジェクトが検出されたと判定する方法が考えられる。あるいは、いずれかの色相成分についての判定結果を優先的に扱うようにしてもよい。
【0065】
以上説明したように、本発明の第1の実施の形態によれば、オブジェクトの形状情報を用いることなく、画像のヒストグラムを解析してオブジェクト検出を行うので、画像内に映っているオブジェクトの大きさ、回転などに左右されることなくロバストなオブジェクト検出を行うことが可能である。
【0066】
また、最初にブロック画像との間で類似度の判定を行い、候補位置のリストを作成し、検索領域を絞り込むようにしているので、画像検出処理の演算量を低減させることが可能である。また、処理速度の向上を図ることができるので、リアルタイムでの画像検出処理においても効果を発揮する。
【0067】
また、画像同士の類似度を算出する際には、ヒストグラムの形状情報をメモリに記憶する必要がない。本実施の形態によれば、多くともヒストグラムの解析結果としてヒストグラムの平均値、ピーク値、分散値に関する3つの情報をメモリに記憶しておけば類似度の算出を行うことができるので、メモリ消費量も小さくすることが可能である。
【0068】
また、ヒストグラムを解析する色として色相成分を利用することとしたので、輝度情報に関わる情報を利用する場合と比べて照明条件に左右することなくロバストなオブジェクト検出を行うことができる。また、複数の色相成分を利用することにより、例えば顔などのように肌色(皮膚)、赤色(唇)、黒(眉、髭、黒目)といった複数の色相が混在するようなオブジェクト検出であっても、検出精度を向上させることが可能である。
【0069】
{第2の実施の形態}
次に、本発明の第2の実施の形態について説明する。第2の実施の形態にかかる画像検出方法を実行するコンピュータについても、図1で示したようなコンピュータ10を想定すればよい。ここで、図1中の画像検出プログラム30が、第2の実施の形態においては画像検出プログラム50に置き換わったものと考える。
【0070】
図9は、画像検出プログラム50の処理ブロックおよび処理の流れを示す図である。図中、ヒストグラム解析部51、ブロック画像抽出部52、類似度算出部53、類似度判定部54、孤立点除去部56、膨張処理部57は、画像検出プログラム50の機能ブロックである。
【0071】
また、ヒストグラム解析部51、類似度算出部53の処理内容は、第1の実施の形態におけるヒストグラム解析部31、類似度算出部33の処理内容と略同様である。しかし、ブロック画像抽出部52、類似度判定部54の処理内容は、第1の実施の形態におけるブロック画像抽出部32、類似度判定部34の内容と異なる。
【0072】
ヒストグラム解析部51は、オブジェクト画像Iaおよびブロック画像抽出部52が抽出したブロック画像I(x,y)のヒストグラムを解析し、それぞれ解析結果HaおよびH(x,y)を得る。類似度算出部53は、解析結果HaおよびH(x,y)の類似度C(x,y)を算出する。
【0073】
次に、類似度判定部54は、類似度C(x,y)が閾値SH3を越えている場合に、そのブロック画像I(x,y)の中心座標(x,y)を候補位置であると判定する。このように、第2の実施の形態では、類似度C(x,y)の極大値を考慮することなく、類似度が閾値SH3を超えている場合に、その中心座標(x,y)を候補位置と判定するようにしている。そして、判定結果記録部55には、判定結果CRとして候補位置である中心座標(x,y)のリストが記録される。
【0074】
なお、閾値SH3は、あらかじめ閾値記憶部5に格納されるデータであるが、オペレータによって任意に設定、変更することが可能である。たとえば、他の物体の誤検出があっても、対象オブジェクトの検出漏れを防ぎたい場合には、閾値SH3を低く設定すればよい。対象オブジェクトの検出漏れが発生しても、誤検出を防ぎたい場合には、閾値SH3を高く設定すればよい。
【0075】
以上の処理により中心座標(x,y)のリストが作成されると、次に、孤立点除去部56が孤立点除去処理を実行する。図10(a)は孤立点除去処理前における候補位置と判定されている中心座標(x,y)の集合を示している。候補位置の集合は、複数の中心座標(x,y)がまとまった領域を形成している領域61と孤立点62とを含んでいる。ここで、孤立点62に対応するブロック画像I(x,y)内にはオブジェクト画像Iaが存在する可能性が低いという判断のもと、孤立点除去部56が孤立点62を削除する。具体的には、候補位置のリストから孤立点62を削除する。これにより、図10(b)に示すように、孤立点除去処理後における候補位置の集合は領域61で形成されることになる。このように、候補位置の中で、オブジェクト画像Iaが存在する可能性の低い特異点を除去することにより、無駄な検出演算処理を削減するようにしている。
【0076】
次に、膨張処理部57が膨張処理を実行する。図11(a)は膨張処理前における候補位置と判定されている中心座標(x,y)の集合を示している。候補位置の集合は、複数の中心座標(x,y)がまとまった領域を形成している領域61を含んでいるが、この領域61には、窪み部64が形成されている。ここで、窪み部64内に中心座標(x,y)をもつブロック画像I(x,y)内にはオブジェクト画像Iaが存在する可能性があるという判断のもと、膨張処理部57が窪み部64を候補位置に加える。具体的には、候補位置のリストに窪み部64の領域内に存在する中心座標(x,y)を加える。これにより、図11(b)に示すように、膨張処理後における候補位置の集合は領域65で表される。このように、候補位置と判定されなかった領域の中で、オブジェクト画像Iaが存在する可能性のある領域、つまり、候補位置ではない領域についての特異点を付加することにより、検出精度の向上を図っているのである。
【0077】
以上の孤立点除去処理および膨張処理が実行されることにより、判定結果記録部55に記録された候補位置のリストに補正が加えられる。
【0078】
次に、2回目の処理として、ブロック画像抽出部52は、補正後の候補位置リストに記録された中心座標(x,y)をもつブロック画像EI(x,y)を抽出する。ここで、ブロック画像EI(x,y)は、ブロック画像I(x,y)と同じ中心座標(x,y)をもち、ブロック画像I(x,y)よりサイズの大きいブロック画像である。
【0079】
たとえば、最初にブロック画像抽出部52が抽出するブロック画像I(x,y)を8×8画素のブロックとし、2回目に抽出するブロック画像EI(x,y)は32×32画素のブロックとする。さらに、3回目、4回目に抽出するブロック画像EI(x,y)を64×64画素、128×128画素といったように、順にブロック画像EI(x,y)のサイズが大きくなるようにしている。
【0080】
2回目の処理で抽出されたブロック画像EI(x,y)に対しても、ヒストグラム解析部51においてヒストグラムEH(x,y)が解析され、類似度算出部53が、オブジェクト画像Iaの解析結果Haとブロック画像EI(x,y)の解析結果EH(x,y)との類似度EC(x,y)を算出する。
【0081】
1回目の処理で作成された補正後の候補位置リストを1回目候補リストとすると、1回目候補リストに記録された全ての中心座標(x,y)について、32×32画素のブロック画像EI(x,y)が抽出され、それぞれのブロック画像EI(x,y)に対する類似度EC(x,y)が算出され、それぞれの類似度EC(x,y)と閾値SH3との対比が行われる。そして、閾値SH3との比較処理の結果、再び類似度判定部54が候補位置のリストを作成し、判定結果CRを更新して判定記録部6に記録する。
【0082】
この判定結果CRについて、再び、孤立点除去部56において孤立点除去処理が実行され、膨張処理部57によって膨張処理が実行され、さらに、候補位置のリストに補正が加えられ、2回目候補リストが作成される。さらに、3回目の処理として、2回目候補リストに記録された中心座標(x,y)について、ブロック画像EI(x,y)が抽出され(たとえば、64×64画素のブロックが抽出され)、同様に、類似度EC(x,y)が算出され、閾値SH3との対比が行われ、判定結果CRとして絞り込まれた3回目の候補位置のリストが作成されると、同様に孤立点除去処理、膨張処理が実行される。このようにして、次々に、候補位置のリストを絞り込みながら、ブロック画像EI(x,y)のサイズがオブジェクト画像Iaのサイズと同じになるまで処理を繰り返す。なお、各回の処理で閾値SH3の値を異なる値としてもよい。
【0083】
そして、最終的に残る候補位置のリストからオブジェクト画像の位置を推測する。たとえば、最終的に残った候補位置の領域(例えば図10や図11で示すような領域)を考え、その領域の重心位置をオブジェクト画像Iaの検出位置であると推測する方法が考えられる。または、あらかじめ検出位置が特定された複数のテンプレートを用意しておき、候補位置の領域とテンプレートのマッチング処理を行う。そして、マッチングするテンプレートが見つかった場合に、そのテンプレートで特定されている位置をオブジェクト画像Iaの検出位置とする方法などが考えられる。あるいは、特定の位置を決定するのではなく、最終的に残った候補位置の集合を検出結果としてもよい。
【0084】
{変形例}
上記の実施の形態においては、ヒストグラムの解析結果に対して類似度を算出する際、ヒストグラムの平均値、ピーク値、分散値に関する情報を利用することとした。この変形例として、対象となるヒストグラムの分布の重複度合いを利用するようにしてもよい。
【0085】
図12は、比較対照となる一方の画像のヒストグラムである。ここでは、図は、オブジェクト画像Iaのヒストグラムであるとする。このヒストグラムの平均値はm、分散値はdである。そして、ある適当な係数kを考え、平均値mを中心として、(m−k×d)〜(m+k×d)の画素値領域を考える。
【0086】
そして、比較対照となる他方の画像、たとえば、ブロック画像I(x,y)の画素分布が上記(m−k×d)〜(m+k×d)の画素値領域にどれだけ含まれるかを考える。すなわち、ブロック画像I(x,y)の全画素Mのうち、(m−k×d)〜(m+k×d)の画素値領域に含まれる画素数Nの割合(N/M)を類似度として採用するのである。
【0087】
このような画素分布の割合に基づいた類似度の算出方法を上記の第1あるいは第2の実施の形態に適用させることが可能である。そして、係数kの値を変化させることによって、検出の感度を変化させることが可能である。係数kは、あらかじめ閾値記憶部5等の記憶部に格納されるデータであるが、オペレータによって任意に設定、変更することが可能である。たとえば、他の物体の誤検出があっても、対象オブジェクトの検出漏れを防ぎたい場合には、係数kの値を大きく設定すればよい。対象オブジェクトの検出漏れが発生しても、誤検出を防ぎたい場合には、係数kの値を小さく設定すればよい。
【0088】
また、別の変形例として、入力画像Ibをサブサンプリングし、縮小された入力画像に対して上記第1および第2の実施の形態を適用させることも可能である。このような方法をとれば、演算量をさらに低減させることが可能である。
【0089】
【発明の効果】
以上説明したように、請求項1ないし請求項14のいずれかに記載の画像検出方法においては、オブジェクトの形状情報を用いることなく画像検出を行うことが可能である。また、第1条件を満たしたブロックに対してのみ、さらなる類似度の判定処理を行うので、演算量を少なくすることが可能である。
【0090】
請求項2に記載の画像検出方法においては、ヒストグラムの解析結果で得られたデータ量の小さい情報のみを類似度判定に利用するので、メモリ使用量を少なくすることが可能である。
【0091】
請求項12に記載の画像検出方法においては、色相成分のヒストグラムを解析するので、照明条件に左右されずにロバストな画像検出処理を行うことが可能である。
【0092】
請求項15ないし請求項18のいずれかに記載の画像検出方法は、ヒストグラムの解析結果で得られたデータ量の小さい情報のみを類似度判定に利用するので、メモリ使用量を少なくすることが可能である。
【0093】
請求項19は、画像検出プログラムに関するものであり、オブジェクトの形状情報を用いることなく画像検出を行うことが可能である。
【図面の簡単な説明】
【図1】画像検出方法を実行するコンピュータの概略構成図である。
【図2】第1の実施の形態における画像検出プログラムの処理ブロックおよび処理の流れを示す図である。
【図3】検出対象となるオブジェクト画像の具体例を示す図である。
【図4】中心座標を移動させつつ抽出されるブロック画像を示す図である。
【図5】ヒストグラムにおける平均値、ピーク値、分散値を示す図である。
【図6】中心座標を移動させつつ抽出されるブロック画像の類似度を示す図である。
【図7】サイズを変化させつつ抽出されるブロック画像を示す図である。
【図8】サイズを変化させつつ抽出されるブロック画像の類似度を示す図である。
【図9】第2の実施の形態における画像検出プログラムの処理ブロックおよび処理の流れを示す図である。
【図10】孤立点除去処理の前後における候補位置の集合を示す図である。
【図11】膨張処理の前後における候補位置の集合を示す図である。
【図12】類似度を判定する別の評価方法を示す図である。
【符号の説明】
30 画像検出プログラム
C(x,y) (ブロック画像との)類似度
CR 判定結果
Ha (オブジェクト画像の)ヒストグラム解析結果
H(x,y) (ブロック画像の)ヒストグラム解析結果
Ia オブジェクト画像
Ib 入力画像
I(x,y) ブロック画像
SC(x,y) (サイズ変更後のブロック画像との)類似度
SH(x,y) (サイズ変更後のブロック画像の)ヒストグラム解析結果
SI(x,y) (サイズ変更後の)ブロック画像
Claims (19)
- a)第1画像のヒストグラム(以下、第1ヒストグラムとする。)を解析する工程と、
b)第2画像から部分画像を抽出する工程と、
c)前記部分画像のヒストグラム(以下、第2ヒストグラムとする。)を解析する工程と、
d)前記第1および第2ヒストグラムの解析結果から類似度(以下、第1類似度とする。)を算出する工程と、
e)前記第1類似度が所定の条件(以下、第1条件とする。)を満たしている場合に、前記部分画像の前記第2画像における抽出位置を候補位置と判定する工程と、
f)前記第2画像の前記候補位置において、前記部分画像と領域サイズの異なる新部分画像を抽出する工程と、
g)前記新部分画像のヒストグラム(以下、第3ヒストグラムとする。)を解析する工程と、
h)前記第1および第3ヒストグラムの解析結果から類似度(以下、第2類似度とする。)を算出する工程と、
i)前記第2類似度が所定の条件(以下、第2条件とする。)を満たしている場合、前記新部分画像の領域に前記第1画像が検出されたと判定する工程と、
を備えることを特徴とする画像検出方法。 - 請求項1に記載の画像検出方法において、
前記工程d)あるいは工程h)は、
比較対象となる2つのヒストグラムのピーク値をとる画素レベルの差と、2つのヒストグラムの平均画素レベルの差と、2つのヒストグラムの分散値の比のうち、いずれか1つの情報に基づいて類似度を算出する工程、
を含むことを特徴とする画像検出方法。 - 請求項1に記載の画像検出方法において、
前記工程d)は、
前記第1ヒストグラムの平均値を含む特定の画素値領域が設定され、前記部分画像の全画素のうち前記特定の画素値領域に属する画素の割合に基づいて類似度を算出する工程、
を含むことを特徴とする画像検出方法。 - 請求項1に記載の画像検出方法において、
前記工程h)は、
前記第1ヒストグラムの平均値を含む特定の画素値領域が設定され、前記新部分画像の全画素のうち前記特定の画素値領域に属する画素の割合に基づいて類似度を算出する工程、
を含むことを特徴とする画像検出方法。 - 請求項3または請求項4に記載の画像検出方法において、前記特定の画素値領域は、係数kの値によって領域の範囲が確定されるものであり、
前記工程d)あるいは前記工程h)は、
オペレータによって指示された係数kの値に応じて前記特定の画素値領域の範囲を決定する工程、
を含むことを特徴とする画像検出方法。 - 請求項1ないし請求項5のいずれかに記載の画像検出方法において、
前記工程e)は、
前記第2画像から抽出された全ての部分画像に対して前記第1類似度を算出した結果、前記第1類似度の極大値を与える部分画像については、前記第1条件を満たしていると判定する工程、
を含むことを特徴とする画像検出方法。 - 請求項6に記載の画像検出方法において、
前記工程e)は、
前記極大値が所定の閾値を越えている場合に前記第1条件を満たしていると判定する工程、
を含むことを特徴とする画像検出方法。 - 請求項1ないし請求項5のいずれかに記載の画像検出方法において、
前記工程e)は、
前記第1類似度が所定の閾値を越えている場合に前記第1条件を満たしていると判定する工程、
を含むことを特徴とする画像検出方法。 - 請求項1ないし請求項8のいずれかに記載の画像検出方法において、
前記工程i)は、
全ての新部分画像に対して前記第2類似度を算出した結果、前記第2類似度の極大値を与える新部分画像については、前記第2条件を満たしていると判定する工程、
を含むことを特徴とする画像検出方法。 - 請求項9に記載の画像検出方法において、
前記工程i)は、
前記極大値が所定の閾値を越えている場合に前記第2条件を満たしていると判定する工程、
を含むことを特徴とする画像検出方法。 - 請求項1ないし請求項8のいずれかに記載の画像検出方法において、
前記工程i)は、
前記第2類似度が所定の閾値を越えている場合に前記第2条件を満たしていると判定する工程、
を含むことを特徴とする画像検出方法。 - 請求項1ないし請求項11のいずれかに記載の画像検出方法において、
前記第1ないし第3ヒストグラムは、複数の色相成分のうち少なくとも1つの色相成分に関するヒストグラムであることを特徴とする画像検出方法。 - 請求項1ないし請求項12のいずれかに記載の画像検出方法において、
前記工程e)は、
前記候補位置の中で、特異点を前記候補位置から除去する工程、
を含むことを特徴とする画像検出方法。 - 請求項1ないし請求項12のいずれかに記載の画像検出方法において、
前記工程e)は、
前記候補位置と判定されなかった領域の中で、特異点を前記候補位置に付加する工程、
を含むことを特徴とする画像検出方法。 - a)第1画像のヒストグラム(以下、第1ヒストグラムとする。)を解析する工程と、
b)第2画像のヒストグラム(以下、第2ヒストグラムとする。)を解析する工程と、
c)前記第1および第2ヒストグラムの解析結果から類似度を算出する工程と、を備え、
前記工程c)は、
比較対象となる2つのヒストグラムのピーク値をとる画素レベルの差と、2つのヒストグラムの平均画素レベルの差と、2つのヒストグラムの分散値の比のうち、いずれか1つの情報に基づいて類似度を算出する工程、
を含むことを特徴とする画像検出方法。 - a)第1画像のヒストグラム(以下、第1ヒストグラムとする。)を解析する工程と、
b)第2画像のヒストグラム(以下、第2ヒストグラムとする。)を解析する工程と、
c)前記第1および第2ヒストグラムの解析結果から類似度を算出する工程と、を備え、
前記工程c)は、
前記第1ヒストグラムの平均値を含む特定の画素値領域が設定され、前記第2画像の全画素のうち前記特定の画素値領域に属する画素の割合に基づいて類似度を算出する工程、
を含むことを特徴とする画像検出方法。 - 請求項16に記載の画像検出方法において、前記特定の画素値領域は、係数kの値によって領域の範囲が確定されるものであり、
前記工程c)は、
オペレータによって指示された係数kの値に応じて前記特定の画素値領域の範囲を決定する工程、
を含むことを特徴とする画像検出方法。 - 請求項15ないし請求項17のいずれかに記載の画像検出方法において、
前記第1ないし第3ヒストグラムは、複数の色相成分のうち少なくとも1つの色相成分に関するヒストグラムであることを特徴とする画像検出方法。 - コンピュータに請求項1ないし請求項18のいずれかの画像検出方法を実行させる画像検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003201106A JP2005044033A (ja) | 2003-07-24 | 2003-07-24 | 画像検出方法および画像検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003201106A JP2005044033A (ja) | 2003-07-24 | 2003-07-24 | 画像検出方法および画像検出プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005044033A true JP2005044033A (ja) | 2005-02-17 |
Family
ID=34261291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003201106A Pending JP2005044033A (ja) | 2003-07-24 | 2003-07-24 | 画像検出方法および画像検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005044033A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8180158B2 (en) | 2006-07-17 | 2012-05-15 | Panasonic Corporation | Image processing device and image processing method for detecting a specific shape from an image |
JP2012243049A (ja) * | 2011-05-19 | 2012-12-10 | Fuji Heavy Ind Ltd | 環境認識装置および環境認識方法 |
JP2018066846A (ja) * | 2016-10-19 | 2018-04-26 | オリンパス株式会社 | 顕微鏡システム |
JPWO2022130498A1 (ja) * | 2020-12-15 | 2022-06-23 |
-
2003
- 2003-07-24 JP JP2003201106A patent/JP2005044033A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8180158B2 (en) | 2006-07-17 | 2012-05-15 | Panasonic Corporation | Image processing device and image processing method for detecting a specific shape from an image |
JP2012243049A (ja) * | 2011-05-19 | 2012-12-10 | Fuji Heavy Ind Ltd | 環境認識装置および環境認識方法 |
JP2018066846A (ja) * | 2016-10-19 | 2018-04-26 | オリンパス株式会社 | 顕微鏡システム |
JPWO2022130498A1 (ja) * | 2020-12-15 | 2022-06-23 | ||
WO2022130498A1 (ja) * | 2020-12-15 | 2022-06-23 | 三菱電機株式会社 | 類似度算出装置、類似度算出方法、及び、類似度算出プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8254630B2 (en) | Subject extracting method and device by eliminating a background region using binary masks | |
JP4692632B2 (ja) | 画像処理方法、画像処理プログラム、および画像処理装置 | |
JPH0944670A (ja) | 特定画像領域抽出方法及び特定画像領域抽出装置 | |
JP5765026B2 (ja) | 画像処理装置及びプログラム | |
JP2006048322A (ja) | オブジェクト画像検出装置、顔画像検出プログラムおよび顔画像検出方法 | |
EP2980755A1 (en) | Method for partitioning area, and inspection device | |
WO2007074844A1 (ja) | 顔パーツの位置の検出方法及び検出システム | |
JP5719141B2 (ja) | 情報処理装置、その処理方法及びプログラム | |
JP4625949B2 (ja) | 物体追跡方法および物体追跡装置ならびにプログラム | |
CN107527348B (zh) | 基于多尺度分割的显著性检测方法 | |
Johnston et al. | FPGA based remote object tracking for real-time control | |
JP4717445B2 (ja) | 画像処理システム、画像処理装置、ゲーム装置、プログラム、情報記憶媒体および画像処理方法 | |
JP2003006654A (ja) | 動画像における移動体の特徴量抽出方法と自動追跡方法及びそれらの装置、並びに、それらの方法の実行プログラムとこの実行プログラムを記録した記録媒体 | |
JP2005044033A (ja) | 画像検出方法および画像検出プログラム | |
JP2016009448A (ja) | 判定装置、判定方法及び判定プログラム | |
JP4941299B2 (ja) | 画像識別システム及び方法 | |
JP2007156954A (ja) | 信頼度テーブル作成方法、オプティカルフロー推定方法、信頼度テーブル作成装置、オプティカルフロー推定装置、及びプログラム | |
JP2018097415A (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
JP5941351B2 (ja) | 画像処理装置及びその制御方法 | |
JP2002196878A (ja) | 記録媒体、画像処理装置および方法 | |
JP5761989B2 (ja) | 画像認識装置、画像認識方法及びプログラム | |
JP2005250973A (ja) | 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム | |
JP2004355084A (ja) | 画像処理装置及び方法 | |
JP2004118718A (ja) | シーン変化点検出方法および装置並びにプログラム | |
JP6930099B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090825 |