JP2012034069A

JP2012034069A - 画像処理装置、および画像処理プログラム

Info

Publication number: JP2012034069A
Application number: JP2010170035A
Authority: JP
Inventors: Hiroyuki Abe; 啓之阿部
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-07-29
Filing date: 2010-07-29
Publication date: 2012-02-16
Also published as: US20130129226A1; CN103039068A; WO2012014946A1

Abstract

【課題】画像内における所定形状の固定パターンの位置を特定すること。
【解決手段】カメラ１００は、画像内からエッジを抽出してエッジ画像を生成するエッジ画像生成手段と、エッジ画像生成手段によって生成されたエッジ画像を対象として、所定形状の固定パターンの形状を示したテンプレートを用いたテンプレートマッチングを行うマッチング手段と、マッチング手段によるマッチング結果に基づいて、画像内における所定形状の固定パターンの位置を特定するための評価値を算出する評価値算出手段と、評価値算出手段によって算出された評価値に基づいて、画像内における所定形状の固定パターンの位置を特定する特定手段とを備えることを特徴とする。
【選択図】図１

Description

本発明は、画像処理装置、および画像処理プログラムに関する。

次のようなパターンマッチング方法が知られている。このパターンマッチング方法は、画像を複数の領域に分割し、各領域ごとにテンプレートマッチング処理を行って、最も類似度が高い領域をマッチング領域として抽出する（例えば、特許文献１）。

特開平５―８１４３３号公報

しかしながら、従来の方法によるテンプレートマッチングでは、画像が不鮮明な場合には、画像内における被写体位置の特定精度が低下する可能性があった。

本発明による画像処理装置は、画像内からエッジを抽出してエッジ画像を生成するエッジ画像生成手段と、エッジ画像生成手段によって生成されたエッジ画像を対象として、所定形状の固定パターンの形状を示したテンプレートを用いたテンプレートマッチングを行うマッチング手段と、マッチング手段によるマッチング結果に基づいて、画像内における所定形状の固定パターンの位置を特定するための評価値を算出する評価値算出手段と、評価値算出手段によって算出された評価値に基づいて、画像内における所定形状の固定パターンの位置を特定する特定手段とを備えることを特徴とする。
本発明による画像処理プログラムは、画像内からエッジを抽出してエッジ画像を生成するエッジ画像生成手順と、エッジ画像生成手順で生成したエッジ画像を対象として、所定形状の固定パターンの形状を示したテンプレートを用いたテンプレートマッチングを行うマッチング手順と、マッチング手順でのマッチング結果に基づいて、画像内における所定形状の固定パターンの位置を特定するための評価値を算出する評価値算出手順と、評価値算出手段で算出した評価値に基づいて、画像内における所定形状の固定パターンの位置を特定する特定手順とをコンピュータに実行させることを特徴とする。

本発明によれば、画像内における固定パターンの位置を精度高く特定することができる。

カメラの一実施の形態の構成を示すブロック図である。撮影画面内におけるＡＦ枠の表示例を示す図である。顔検出枠の表示例を示す図である。顔の特徴点とＡＦ枠とが重なった場合の具体例を示す図である。ＡＦ枠の隣接画素を用いた消去方法を模式的に示した図である。ＡＦ枠消去後の顔検出結果を示す図である。不鮮明な画像の具体例を示す図である。検出領域の設定例を示す図である。エッジ画像の具体例を示す図である。テンプレートの具体例を示す図である。

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。本実施の形態では、本画像データとサムネイル画像データとは、いずれもＲＧＢ表色系で表された画像データであるものとする。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

本実施の形態では、制御装置１０４は、モニタ１０６上に表示されるスルー画（撮影画面）上に、測距センサの配置位置に対応した枠（ＡＦ枠）を重畳して表示する。例えば、撮影画面上には、図２に示すように５１個のＡＦ枠が表示される。本実施の形態におけるカメラ１００では、この５１個のＡＦ枠の中から、制御装置１０４が公知のＡＦ処理を行って選択した１つのＡＦ枠、あるいは使用者によって指定された１つのＡＦ枠に対応する測距センサの測距情報を用いて、焦点調節を行う。

また、本実施の形態のカメラ１００は、顔検出機能を備えており、制御装置１０４は、撮影画面内を対象として公知の顔検出処理を実行することにより、撮影画面内に存在する人物の顔を検出することができる。例えば、制御装置１０４は、図３に示すように、検出した顔を含む領域を顔検出枠３ａで囲んでスルー画上に表示することにより、使用者に顔の検出結果を明示する。また、制御装置１０４は、検出した顔をフレーム間で追尾することにより、スルー画表示中に被写体追尾を行ったり、検出した顔の近くに位置するＡＦ枠を自動的に選択して焦点調節を行ったりすることもできる。

一般的に、撮影画面内における顔検出は、撮影画面内から目や口等の顔の特徴点を抽出し、その特徴点の位置関係に基づいて、それが人物の顔であるか否かを判定することにより行われる。この場合、本実施の形態におけるカメラ１００のように、撮影画面上にＡＦ枠を表示した場合には、図４に示すように、人物の目や口等の特徴点がＡＦ枠４ａの表示位置と重なってしまうと、制御装置１０４は、顔の特徴点を検出できず、人物の顔を正確に検出できない可能性がある。このような問題点を解決するための方法としては、以下の方法が考えられる。

なお、以下に示す処理は、撮影画面内の画像を顔検出用画像としてバッファメモリに記録してから当該顔検出用画像を対象として行うものとし、モニタ１０６に表示されているスルー画には影響を与えない。すなわち、以下の処理を行っている間も、モニタ１０６には図２に示したＡＦ枠が表示された撮影画面が継続して表示される。

制御装置１０４は、顔検出用画像内の全てのＡＦ枠４ａを対象として、ＡＦ枠４ａの枠線が位置している画素を隣接画素を用いて置き換えることによってＡＦ枠４ａを消去し、ＡＦ枠４ａで隠れている画素を補間する。なお、ＡＦ枠４ａは、図２に示したように、撮影画面内における定められた位置に配置されているため、あらかじめＡＦ枠４ａの撮影画面内における位置情報をフラッシュメモリ等に記録しておくことにより、制御装置１０４は、顔検出用画像内のどこにＡＦ枠４ａが位置しているかを特定することが可能である。

本実施の形態では、例えば、ＡＦ枠４ａの枠線の幅が２画素であるものとし、図５（ａ）に示すように、ＡＦ枠４ａは、縦方向の枠線を構成する画素５ａおよび５ｂと、横方向の枠線を構成する画素５ｃおよび５ｄによって構成される場合の処理について説明する。

制御装置１０４は、これらの画素のうち、縦方向の枠線を構成する画素５ａおよび５ｂについては、図５（ｂ）に示すように画素の置き換えを行う。すなわち、制御装置１０４は、画素５ａは、当該画素５ａの右側に隣接する画素５ｅを用いて置き換えを行い、画素５ｂは、当該画素５ｂの左側に隣接する画素５ｆを用いて置き換えを行う。また、制御装置１０４は、横方向の枠線を構成する画素５ｃおよび５ｄについては、図５（ｃ）に示すように画素の置き換えを行う。すなわち、制御装置１０４は、画素５ｃは、当該画素５ｃの上側に隣接する画素５ｇを用いて置き換えを行い、画素５ｄは、当該画素５ｄの下側に隣接する画素５ｈを用いて置き換えを行う。

以上の処理によって、図４に示したように人物の目がＡＦ枠４ａと重なっていた場合でも、図６に示すように隣接画素を用いてＡＦ枠４ａを消去して、ＡＦ枠４ａで隠れていた目の部分６ａに相当する画素を補間することができる。そして、その結果、制御装置１０４は、顔検出処理により人物の顔を検出して、検出枠３ａをスルー画上に表示することができる。

しかしながら、上記の方法でＡＦ枠４ａを消去するためには、制御装置１０４は、顔検出用画像内におけるＡＦ枠４ａの位置を把握する必要がある。例えば、上述した方法では、あらかじめＡＦ枠４ａの撮影画面内における位置情報をフラッシュメモリ等に記録しておくことにより、制御装置１０４が、顔検出用画像内のどこにＡＦ枠４ａが位置しているかを特定できるようにした。

しかしながら、撮影画面内におけるＡＦ枠４ａの位置は、安定して同じ位置にあるという保証がない場合がある。例えば、撮影画面内におけるＡＦ枠４ａの位置がメカ的にずれてしまう場合や、光学的なズレが生じる場合がある。このような場合には、あらかじめ記録しておいたＡＦ枠４ａの位置情報を用いてＡＦ枠４ａを消去して、画素を補間するための処理を行うと、補間精度が低下してしまうおそれがあった。

このような問題を解決する方法としては、あらかじめＡＦ枠４ａの画像をフラッシュメモリに記録しておき、該ＡＦ枠４ａの画像をテンプレートとして用いて撮影画面内の画像を対象としたテンプレートマッチングを行うことにより、撮影画面内におけるＡＦ枠４ａの位置を検出することが考えられる。しかし、この方法にも以下のような問題がある。すなわち、テンプレートマッチングにおけるマッチング演算の手法としては、公知の相互相関法や残差逐次検定法が用いられるが、これらの方法は、演算用の部分信号とテンプレート信号との対応位置同士で信号強度の演算を行い、その結果を信号全体で集計するものである。この場合、ＡＦ枠４ａのような固定マークを対象としてテンプレートマッチングを行うと、不鮮明な画像、例えば画像の明るさや歪みの変動が大きい環境ではマッチング精度が低下してしまう可能性がある。また、マッチング精度を向上させるためにマッチング対象の画像とテンプレートとを２値化する方法も考えられるが、この場合は２値化の際の閾値の導出が難しい。

そこで、本実施の形態では、制御装置１０４は、次のようにして撮影画面内におけるＡＦ枠４ａの位置を検出する。ここでは、例えば、図７に示すような不鮮明な画像を対象として撮影画面内におけるＡＦ枠４ａの位置を検出する例について説明する。なお、上述したように、撮影画面内におけるＡＦ枠４ａの位置情報は、あらかじめフラッシュメモリ等に記録されているため、制御装置１０４は、該位置情報に基づいておおよそのＡＦ枠４ａの位置を推定することができる。図８（ａ）は、図７に示す画像内における人物の顔を含んだ領域内の画像を拡大した図である。

制御装置１０４は、図８（ｂ）に示すように、推定したＡＦ枠４ａの位置の周囲に所定の大きさの検索領域８ａを設定する。図８（ｃ）は、設定した検索領域８ａ内の画像を拡大した図である。そして、制御装置１０４は、設定した検索領域８ａを対象として、隣接する画素間の差分をとることによりエッジを抽出する。これにより、例えば、図８（ｂ）に示した検索領域８ａを対象として、図９に示すようなエッジ画像が生成される。

制御装置１０４は、算出した検索領域８ａ内のエッジ画像を対象として、ＡＦ枠４ａの位置を特定するためのテンプレートを用いたテンプレートマッチングを行う。ここで用いるテンプレートは、図１０に示すように、ＡＦ枠４ａの形状を示したマスク画像であり、一番外側の画素が１、その内部の画素が０となっている。このテンプレートを用いて検索領域８ａ内のエッジ画像を対象としたテンプレートマッチングを行うことにより、検索領域８ａ内におけるＡＦ枠４ａの位置を特定することができる。

具体的には、制御装置１０４は、検索領域８ａ内で図１０に示すテンプレートを移動させながら、それぞれのテンプレート位置において、テンプレートの各画素の画素値と、テンプレートの各画素と同じ位置にあるエッジ画像の各画素の画素値とを積算し、積算結果をテンプレートの全画素について合算する。制御装置１０４は、合算結果を評価値として用いて、該評価値が最も大きな値となるテンプレート位置にＡＦ枠４ａが存在していると判定することにより、検索領域８ａ内におけるＡＦ枠４ａの位置を特定することができ、結果として、撮影画面内におけるＡＦ枠４ａの位置を特定することができる。

以上説明した本実施の形態によれば、以下のような効果を得ることができる。
（１）制御装置１０４は、ＡＦ枠４ａの枠線が位置している画素を隣接画素を用いて置き換えることによってＡＦ枠４ａを消去するようにした。これによって、ＡＦ枠４ａが顔の特徴点と重なっている場合でも、ＡＦ枠４ａを消去するとともにＡＦ枠４ａで隠れていた目の部分６ａに相当する画素を補間して、顔検出を可能にすることができる。

（２）撮影画面内に重畳表示されるのは、測距センサの配置位置を示すＡＦ枠であるものとした。これによって、このように撮影画面内の固定位置に配置される情報によって顔の特徴部分が隠れてしまう可能性が高いことを加味して、顔検出の妨げになる情報を効果的に消去することができる。

（３）制御装置１０４は、検索領域８ａ内からエッジを抽出してエッジ画像を生成し、生成したエッジ画像を対象として、ＡＦ枠４ａの形状を示したテンプレートを用いたテンプレートマッチングを行い、マッチング結果に基づいて、撮影画面内におけるＡＦ枠４ａの位置を特定するための評価値を算出し、該評価値に基づいて、撮影画面内におけるＡＦ枠４ａの位置を特定するようにした。これによって、画像が不鮮明な場合でも精度高く撮影画面内におけるＡＦ枠４ａの位置を特定することができる。

（４）制御装置１０４は、撮影画面内に設定した検索領域８ａ内でテンプレートを移動させながら、それぞれのテンプレート位置において、テンプレートの各画素の画素値と、テンプレートの各画素と同じ位置にあるエッジ画像の各画素の画素値とを積算し、積算結果をテンプレートの全画素について合算することによって評価値を算出するようにした。これによって、検索領域８ａ内におけるＡＦ枠４ａの位置を精度高く特定することができる。

（５）制御装置１０４は、算出された評価値が最大となるテンプレートの位置を撮影画面内におけるＡＦ枠４ａの位置として特定するようにした。これによって、簡易な処理で撮影画面内におけるＡＦ枠４ａの位置を特定することができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、撮影画面内におけるＡＦ枠４ａの位置を検出する例について説明した。しかしながら、制御装置１０４は、上述した実施の形態における手法を用いて、撮影画面内または画像内に含まれる所定形状の固定パターンの位置を検出することもできる。例えば、画像内に含まれるＡＦ枠４ａ以外の矩形や、ウェハー内のアライメントマークの位置を検出することもできる。

（２）上述した実施の形態では、撮影画面内におけるＡＦ枠４ａの位置情報はあらかじめフラッシュメモリ等に記録されているため、制御装置１０４は、該位置情報に基づいておおよそのＡＦ枠４ａの位置を推定して、その周囲に検索領域８ａを設定するようにした。そして、制御装置１０４は、該検索領域８ａ内を対象としてエッジ画像を生成してテンプレートマッチングを行うようにした。しかしながら、撮影画面内または画像内に含まれる所定形状の固定パターンの位置を推定できない場合には、制御装置１０４は、撮影画面全体または画像全体を対象としてエッジ画像を生成し、テンプレートマッチングを行うようにしてもよい。

（３）上述した実施の形態では、制御装置１０４は、検索領域８ａ内でテンプレートを移動させながら、それぞれのテンプレート位置において、テンプレートの各画素の画素値と、テンプレートの各画素と同じ位置にあるエッジ画像の各画素の画素値とを積算し、積算結果をテンプレートの全画素について合算することにより、評価値を算出する例について説明した。しかしながら、制御装置１０４は、検索領域８ａ内でテンプレートを移動させながら、それぞれのテンプレート位置において、テンプレートの各画素の画素値と、テンプレートの各画素と同じ位置にあるエッジ画像の各画素の画素値とを積算し、積算結果をテンプレートの全画素について積算することにより、評価値を算出するようにしてもよい。

（４）上述した実施の形態では、本発明をカメラ１００に適用する場合について説明した。しかしながら、撮影機能を備えた他の機器、例えばカメラ付き携帯電話機やビデオカメラ等にも本発明は適用可能である。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００カメラ、１０１操作部材、１０２レンズ、１０３撮像素子、１０４制御装置、１０５メモリカードスロット、１０６モニタ

Claims

画像内からエッジを抽出してエッジ画像を生成するエッジ画像生成手段と、
前記エッジ画像生成手段によって生成されたエッジ画像を対象として、所定形状の固定パターンの形状を示したテンプレートを用いたテンプレートマッチングを行うマッチング手段と、
前記マッチング手段によるマッチング結果に基づいて、前記画像内における前記所定形状の固定パターンの位置を特定するための評価値を算出する評価値算出手段と、
前記評価値算出手段によって算出された前記評価値に基づいて、前記画像内における前記所定形状の固定パターンの位置を特定する特定手段とを備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記評価値算出手段は、前記画像内で前記テンプレートを移動させながら、それぞれのテンプレート位置において、テンプレートの各画素の画素値と、テンプレートの各画素と同じ位置にあるエッジ画像の各画素の画素値とを積算し、積算結果をテンプレートの全画素について合算または積算することによって、前記評価値を算出することを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
前記特定手段は、前記画像内において、算出された前記評価値が最大となる前記テンプレートの位置を前記所定形状の固定パターンの位置として特定することを特徴とする画像処理装置。
請求項１〜３のいずれか一項に記載の画像処理装置において、
前記所定形状の固定パターンは、カメラの撮影画面内に配置されたＡＦエリアであることを特徴とする画像処理装置。
画像内からエッジを抽出してエッジ画像を生成するエッジ画像生成手順と、
前記エッジ画像生成手順で生成したエッジ画像を対象として、所定形状の固定パターンの形状を示したテンプレートを用いたテンプレートマッチングを行うマッチング手順と、
前記マッチング手順でのマッチング結果に基づいて、前記画像内における前記所定形状の固定パターンの位置を特定するための評価値を算出する評価値算出手順と、
前記評価値算出手段で算出した前記評価値に基づいて、前記画像内における前記所定形状の固定パターンの位置を特定する特定手順とをコンピュータに実行させるための画像処理プログラム。