JP2008217206A - 画像識別装置，画像識別方法，撮像装置 - Google Patents

Abstract

【課題】画像識別の精度を確保しつつ、処理速度の低下を防止することができる画像識別装置，画像識別方法，撮像装置を提供する。
【解決手段】画像識別時に、画像の行方向及び列方向に対して配置された全画素のうち、格子状の配置を有する複数の画素を識別点とし、該識別点を含む所定の範囲の画素からなる画像ごとに識別を行い、画像識別部が、所定の範囲の画素からなる画像の識別の結果に基づいて、更に、該所定の範囲の画素に対応する識別点の周囲近傍の画素を含む所定の範囲の画素からなる画像について画像の識別を行うか、又は、更に、識別点に対して行方向及び列方向にそれぞれ１／２ピッチずれて配置された格子状の識別点の周囲近傍の画素を含む所定の範囲の画素からなる画像について画像の識別を行う。
【選択図】図２

Description

本発明は、人物の顔等の画像を認識する画像識別装置，画像識別方法，撮像装置に関する。

デジタルカメラなどの撮像装置や、このような撮像装置に採用される画像識別装置には、撮像した画像に含まれる人物の顔などを識別して、所定の画像処理を行うものが知られている。

撮像した画像に含まれる人物等の顔を識別する技術としては、例えば、機械的学習手法として、ブースティング（Boosting）と呼ばれる手法があり、特にその手法の変形であるアダブースティング(Adaboosting)と呼ばれる手法が用いられている。

従来、アダブースティングを用いた画像識別装置は、画像の認識に用いる学習データを生成する学習部と、学習データに基づいて画像の識別を行う識別部と、認識データに基づいて再学習を行う再学習部とを備えている。画像識別としては、例えば、下記特許文献のものがあげられる。

図６は、従来の画像識別システムの処理フローの一例を示す図である。従来の画像識別システムでは、画像データを入力するための画像入力工程と、画像データの多重解像度化を行う多重解像度化工程と、多重解像度化された画像データに正規化を行う正規化工程とが行われる。また、処理された画像データを予め大容量メモリなどに記憶された参照データに基づいて、どの程度参照データの画像と一致するかを解析し、識別の対象となる画像の特徴量を導出する特徴量導出工程と、画像の識別を行う識別工程とが行われる。

ここで、多重解像度化工程では、画像の全画素に対して所定の画素範囲を検出し、所定の画素範囲を検出するための始点となる画素を一個づつずらしていくことで、全画素を検出し、検出し所定の画素範囲の画像データの特徴量が予め設定されたしきい値となるか判別している。しかし、全画素を対象として検出を行うと、識別の精度を最大限まで向上させることができるが、検出にかかる処理量が増大してしまい、処理速度が低下してしまう点が問題となっていた。そこで、図７に示すように、全画素のうち、所定の画素範囲を検出するための始点となる画素を、画素に対してｘ方向及びｙ方向の各方向に対してそれぞれ等間隔に配置した略格子状となるように設定することで、特徴量を検出する処理回数を低減させて、処理速度を向上させる手段が用いられている。

特開２００５−１００１２１号公報 特開２００５−１００１２２号公報 特開２００３−４４８５３号公報 特開２００６−８５６８５号公報

従来のように、多重解像度化工程において所定の画素範囲を検出するための始点となる画素を設定することで、識別処理にかかる時間を短縮できるものの、画像識別の精度が低下してしまうことは避けられなかった。そして、画像識別の精度を確保しつつ、処理時間を短縮できるようにしたいという要望があった。

本発明は、上記事情に鑑みてなされたもので、その目的は、画像識別の精度を確保しつつ、処理速度の低下を防止することができる画像識別装置，画像識別方法，撮像装置を提供することにある。

本発明の上記目的は、下記構成によって達成される。
（１）画像の識別を行う画像識別装置であって、
前記画像の行方向及び列方向に対して配置された全画素のうち、格子状の配置を有する複数の画素を識別点とし、該識別点を含む所定の範囲の画素からなる画像ごとに識別を行う画像識別部を有し、
前記画像識別部が、前記所定の範囲の画素からなる画像の識別の結果に基づいて、更に、該所定の範囲の画素に対応する前記識別点の周囲近傍の画素を含む所定の範囲の画素からなる画像について画像の識別を行うことを特徴とする画像識別装置。
（２）画像の識別を行う画像識別装置であって、
前記画像の行方向及び列方向に対して配置された全画素のうち、格子状の配置を有する複数の画素を識別点とし、該識別点を含む所定の範囲の画素からなる画像ごとに識別を行う画像識別部を有し、
前記画像識別部が、更に、前記識別点に対して行方向及び列方向にそれぞれ１／２ピッチずれて配置された格子状の識別点の周囲近傍の画素を含む所定の範囲の画素からなる画像について画像の識別を行うことを特徴とする画像識別装置。
（３）画像の識別を行う画像識別方法であって、
前記画像の行方向及び列方向に対して配置された全画素のうち、格子状の配置を有する複数の画素を識別点とし、該識別点を含む所定の範囲の画素からなる画像ごとに識別を行う画像識別工程を有し、
前記所定の範囲の画素からなる画像の識別の結果に基づいて、更に、該所定の範囲の画素に対応する前記識別点の周囲近傍の画素を含む所定の範囲の画素からなる画像について画像の識別を行うことを特徴とする画像識別方法。
（４）画像の識別を行う画像識別方法であって、
前記画像の行方向及び列方向に対して配置された全画素のうち、格子状の配置を有する複数の画素を識別点とし、該識別点を含む所定の範囲の画素からなる画像ごとに識別を行う画像識別工程を有し、
前記画像識別工程において、更に、前記識別点に対して行方向及び列方向にそれぞれ１／２ピッチずれて配置された格子状の識別点の周囲近傍の画素を含む所定の範囲の画素からなる画像について画像の識別を行うことを特徴とする画像識別方法。
（５）撮像した画像の識別を行う撮像装置であって、
前記画像の行方向及び列方向に対して配置された全画素のうち、格子状の配置を有する複数の画素を識別点とし、該識別点を含む所定の範囲の画素からなる画像ごとに識別を行う画像識別部を有し、
前記画像識別部が、前記所定の範囲の画素からなる画像の識別の結果に基づいて、更に、該所定の範囲の画素に対応する前記識別点の周囲近傍の画素を含む所定の範囲の画素からなる画像について画像の識別を行うことを特徴とする撮像装置。
（６）撮像した画像の識別を行う撮像装置であって、
前記画像の行方向及び列方向に対して配置された全画素のうち、格子状の配置を有する複数の画素を識別点とし、該識別点を含む所定の範囲の画素からなる画像ごとに識別を行う画像識別部を有し、
前記画像識別部が、更に、前記識別点に対して行方向及び列方向にそれぞれ１／２ピッチずれて配置された格子状の識別点の周囲近傍の画素を含む所定の範囲の画素からなる画像について画像の識別を行うことを特徴とする撮像装置。

本発明は、画像の識別を行う場合に、画像を構成する画素のうち格子状の配置を有する複数の画素を識別点として、この識別点を含む所定の範囲の画素ごとに繰り返して識別を行うことで、画像全体の識別を行うものである。このとき、格子状に配置された識別点ごとの所定の範囲の画素からなる画像の識別の結果を判別し、必要に応じて更に別の画素を含む画像についても識別を行っている。例えば、格子状に配置された識別点ごとの所定の範囲の画素からなる画像が、識別の際に参照する参照データとの一致点が多い場合に特徴量が高くなるように設定し、その特徴量が予め定めたしきい値より大きくなる場合に、更に別の画素に対して識別を行うことができる。こうすれば、従来のように格子状の識別点を含む画像についてのみ識別を行う場合に比べて、画像識別処理の精度をより一層向上させることができるとともに、最初の画像の識別の結果により、別の画像に対して識別を行う必要がない場合は更なる識別を省くことができるため、処理速度の低下を防止することができる。
また、互いに１／２ピッチずれた識別点の画素をサンプリングして、画像の特徴量を算出するようにすれば、従来の単純な格子状の識別点でのみ識別を行う場合に比べて、全画素において広い画素範囲を識別の対象とすることができ、同一の画素が識別の対象として重複して処理されることがないため、識別処理のロスを失くすことができるため、処理速度を向上させることができる。

本発明によれば、画像識別の精度を確保しつつ、処理速度の低下を防止することができる画像識別装置，画像識別方法及び撮像装置を提供できる。

以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、本発明にかかる画像識別装置及びこれを適用した撮像装置の一実施形態の構成を示すブロック図である。本実施形態では、撮像装置の一例としてデジタルカメラの構成を用いて説明する。
撮像装置１０は、被写体からの光を受光するレンズ１２と、レンズ１２に受光した入射光が入射することで画像データを生成する撮像素子１４とを備えている。撮像素子１４は、例えば、固体撮像素子（ＣＣＤ）やＣＭＯＳ型のイメージセンサを用いることができる。

撮像素子１４で生成された画像データがアナログフロントエンド１６に出力される。アナログフロントエンド１６では、撮像素子１４から入力された画像データをアナログ／デジタル変換処理を行い、画像識別部５０に出力する。画像の識別時には、後述するように画像識別部５０で画像データの識別を行った後、識別された画像データをＣＰＵ（中央演算処理部）３６に出力される。ＣＰＵ３６の内部には、デジタル信号を処理する信号処理プロセッサ２２が設けられている。

ＣＰＵ３６には、バス４２を介して、ＡＦ（オートフォーカス）制御回路３２、メインメモリ３８、ＲＯＭ４０、Ｉ／Ｆ（インターフェース）部３４、ＬＣＤ制御部２６、メディア制御部３０がそれぞれ接続されている。

Ｉ／Ｆ部３４には、撮像装置１０を使用する使用者が手指などで直接入力することで操作指示を行うための操作手段２０が接続されている。

ＬＣＤ制御部２６には、ＬＣＤ１８が接続されている。ＬＣＤ１８は、撮像装置１０の撮像時の画像や撮像状態を表示する表示手段として機能している。

メディア制御部３０には、外部記録メディア２８が接続されている。外部記録メディア２８は、撮像装置１０から着脱可能に構成されている。

図２は、本実施形態の画像識別処理の手順を示すフロー図であり、図３は、画像識別部を示すブロック図である。また、図４は、本実施形態の画像の識別点を簡略的に説明する図である。
画像識別を行う場合には、最初に、撮像した画像データを図１に示すアナログフロントエンド１６から画像識別部５０に入力する。

図３に示すように、画像識別部５０は、アナログフロントエンド１６から画像データが、画像データ入力部５２に入力される。画像データは、フレームメモリ５４に転送され、一時的に記憶される。次に、画像データに多重解像処理部５６において多重解像処理が行われる。多重解像処理が行われた画像データは、ラインメモリ５８に記憶され、その後、正規化処理部６２において正規化処理が行われる。画像データは、正規化処理が実行された後、ラインメモリ６４に一旦記憶された後、特徴量導出部６６に出力される。

特徴量導出部６６は、画像の識別時に、ＲＯＭ６８に予め記憶されている画像識別用の学習データを読み出し、正規化された画像データと学習データとに基づいて画像データの特徴量を導き出す。特徴量とは、画像データが識別の目標としている画像にどの程度一致又は近いものであるかを示す指標である。画像データの特徴量は、識別部７２に出力される。識別部７２は、画像データの特徴量に基づいて、特徴量が所定の閾値より高い値（又は、低い値）であることを判別することで、画像データの識別を行う。ここで、特徴量とは、例えば、画像データが識別の目標としている画像にどの程度一致又は近いものであるかを示す指標である。

本実施形態では、入力した画像に多重解像度化の処理を行った後、図７に示すように、画像の行方向（図中ｘ方向）及び列方向（図中ｙ方向）に対して配置された全画素のうち、格子状の配置を有する複数の画素を識別点と設定し、サンプリングを行う。識別点とは、画像の特徴量を検出する所定の範囲の画像に含まれる各画素を検出する際に、始点となる画素である。例えば、横６４０×縦４８０個の画素からなる画像に対して識別を行う場合、各始点となる識別点に設定された画素からｘ方向に対して３２個、かつ、ｙ方向に対して３２個とからなる画像について特徴量を算出する。本実施形態では、図７に示すように最初に設定されている格子状の識別点を第１の識別点群とした。具体的には、第１の識別点群は、画像を構成する全画素のうち、ｘ方向及びｙ方向にそれぞれ４画素に１個のピッチで、識別点となる画素を設定したものである。

次に、サンプリングした第１の識別点群の各画像について算出された特徴量が、予め設定されたしきい値を超えるか否かを判別する。本実施形態では、しきい値より大きい値の特徴量を示す画像を以降のフローで更なる識別処理を行うための対象とする。

第１の識別点群において、しきい値より大きい特徴量を示した画像に対応する識別点の周囲近傍の画素を新たに第２の識別点群に設定し、各識別点を始点として所定の範囲の画素からなる画像の特徴量を算出する。図４では、各四角のマスが画素を示し、「○」を付した画素が第１の識別点群であり、「◎」を付した画素が、第２の識別点群を示している。図４に示すように、第２の識別点群の周囲近傍の画素（図４では、「△」で示す識別点を中心とする縦５個×横５個の範囲Ｒに含まれる画素）からなる画像について、更に、画像識別を行い、特徴量を算出する。

つまり、本実施形態では、図２に示すように、第１の識別点群に基づく画像のうち特徴量がしきい値より大きいものについては、その周囲近傍を画素ごとに識別を行うため、画像識別の精度を向上させることができる。このとき、第１の識別点群に基づく画像のうち特徴量がしきい値を超えないものについては、更なる識別を行うことなく、画像識別処理のフローを終了するため、処理速度の低下を防止することができる。

次に、本実施形態の変形例を説明する。
図５は、画像の識別点を簡略的に説明する図である。この例では、図５に示すように、「○」を付した画素である第１の識別点群をサンプリングし、サンプリングした第１の識別点群に対応する各画像について特徴量を算出し、しきい値に基づいて判別する点で、上述の実施形態と同じである。また、第１の識別点群に対してｘ方向及びｙ方向にそれぞれ１／２ピッチずれて配置された第２の識別点群を設定することができる。こうして、識別を行う場合には、第１の識別点群及び第２の識別点群の画素をサンプリングし、所定の範囲の画像の特徴量を算出してもよい。こうすれば、図４に示す実施形態のように、第２の識別点群を更に識別する際に、一部の画像が識別の対象として重複することに起因して、識別処理のロスが生じることを防止することができる。

本発明にかかる上記実施形態は、画像の識別を行う場合に、図４に示すように、画像を構成する画素のうち格子状の配置を有する複数の画素を識別点として、この識別点を含む所定の範囲の画素ごとに繰り返して識別を行うことで、画像全体の識別を行うものである。このとき、格子状に配置された識別点ごとの所定の範囲の画素からなる画像の識別の結果を判別し、必要に応じて更に別の画素を含む画像についても識別を行っている。そして、格子状に配置された識別点ごとの所定の範囲の画素からなる画像が、識別の際に参照する参照データとの一致点が多い場合に特徴量が高くなるように設定し、その特徴量が予め定めたしきい値より大きくなる場合に、更に別の画素に対して識別を行うことができる。こうすれば、従来のように格子状の識別点を含む画像についてのみ識別を行う場合に比べて、画像識別処理の精度をより一層向上させることができるとともに、最初の画像の識別の結果により、別の画像の対して識別を行う必要がない場合は更なる識別を省くことができるため、処理速度の低下を防止することができる。

また、図５に示す例のように、互いに１／２ピッチずれた識別点の画素をサンプリングして、画像の特徴量を算出するようにすれば、従来の単純な格子状の識別点でのみ識別を行う場合に比べて、全画素において広い画素範囲を識別の対象とすることができ、同一の画素が識別の対象として重複して処理されることがないため、識別処理のロスを失くすことができるため、処理速度を向上させることができる。

本発明にかかる画像識別方法は、上記画像識別装置及び撮像装置を用いることで好適に実施することができる。
すなわち、画像識別方法は、図４に示すように、画像の行方向及び列方向に対して配置された全画素のうち、格子状の配置を有する複数の画素を識別点とし、該識別点を含む所定の範囲の画素からなる画像ごとに識別を行う画像識別工程を有している。そして、所定の範囲の画素からなる画像の識別の結果に基づいて、更に、所定の範囲の画素に対応する識別点の周囲近傍の画素を含む所定の範囲の画素からなる画像について画像の識別を行う。

また、図５に示すように、画像識別工程において、更に、識別点に対して行方向及び列方向にそれぞれ１／２ピッチずれて配置された格子状の識別点の周囲近傍の画素を含む所定の範囲の画素からなる画像について画像の識別を行うことで、全画素において広い画素範囲を識別の対象とすることができ、処理速度を向上させることができる。

なお、本発明は、前述した実施形態に限定されるものではなく、適宜な変形、改良などが可能である。
例えば、画像識別装置は、デジタルカメラや携帯電話に搭載されたものに限定されず、画像識別部５０を備えた、その他の画像識別装置に適用することができる。

本発明にかかる画像識別装置及びこれを適用した撮像装置の一実施形態の構成を示すブロック図である。 画像識別処理の手順を示すフロー図である。 画像識別部の構成を示すブロック図である。 画像の識別点を簡略的に説明する図である。 画像の識別点を簡略的に説明する図である。 従来の画像識別システムの処理フローの一例を示す図である。 従来のサンプリング時における画像の識別点を簡略的に説明する図である。

符号の説明

１０ 撮像装置
５０ 画像識別部

Claims (6)

1. 画像の識別を行う画像識別装置であって、
   前記画像の行方向及び列方向に対して配置された全画素のうち、格子状の配置を有する複数の画素を識別点とし、該識別点を含む所定の範囲の画素からなる画像ごとに識別を行う画像識別部を有し、
   前記画像識別部が、前記所定の範囲の画素からなる画像の識別の結果に基づいて、更に、該所定の範囲の画素に対応する前記識別点の周囲近傍の画素を含む所定の範囲の画素からなる画像について画像の識別を行うことを特徴とする画像識別装置。
2. 画像の識別を行う画像識別装置であって、
   前記画像の行方向及び列方向に対して配置された全画素のうち、格子状の配置を有する複数の画素を識別点とし、該識別点を含む所定の範囲の画素からなる画像ごとに識別を行う画像識別部を有し、
   前記画像識別部が、更に、前記識別点に対して行方向及び列方向にそれぞれ１／２ピッチずれて配置された格子状の識別点の周囲近傍の画素を含む所定の範囲の画素からなる画像について画像の識別を行うことを特徴とする画像識別装置。
3. 画像の識別を行う画像識別方法であって、
   前記画像の行方向及び列方向に対して配置された全画素のうち、格子状の配置を有する複数の画素を識別点とし、該識別点を含む所定の範囲の画素からなる画像ごとに識別を行う画像識別工程を有し、
   前記所定の範囲の画素からなる画像の識別の結果に基づいて、更に、該所定の範囲の画素に対応する前記識別点の周囲近傍の画素を含む所定の範囲の画素からなる画像について画像の識別を行うことを特徴とする画像識別方法。
4. 画像の識別を行う画像識別方法であって、
   前記画像の行方向及び列方向に対して配置された全画素のうち、格子状の配置を有する複数の画素を識別点とし、該識別点を含む所定の範囲の画素からなる画像ごとに識別を行う画像識別工程を有し、
   前記画像識別工程において、更に、前記識別点に対して行方向及び列方向にそれぞれ１／２ピッチずれて配置された格子状の識別点の周囲近傍の画素を含む所定の範囲の画素からなる画像について画像の識別を行うことを特徴とする画像識別方法。
5. 撮像した画像の識別を行う撮像装置であって、
   前記画像の行方向及び列方向に対して配置された全画素のうち、格子状の配置を有する複数の画素を識別点とし、該識別点を含む所定の範囲の画素からなる画像ごとに識別を行う画像識別部を有し、
   前記画像識別部が、前記所定の範囲の画素からなる画像の識別の結果に基づいて、更に、該所定の範囲の画素に対応する前記識別点の周囲近傍の画素を含む所定の範囲の画素からなる画像について画像の識別を行うことを特徴とする撮像装置。
6. 撮像した画像の識別を行う撮像装置であって、
   前記画像の行方向及び列方向に対して配置された全画素のうち、格子状の配置を有する複数の画素を識別点とし、該識別点を含む所定の範囲の画素からなる画像ごとに識別を行う画像識別部を有し、
   前記画像識別部が、更に、前記識別点に対して行方向及び列方向にそれぞれ１／２ピッチずれて配置された格子状の識別点の周囲近傍の画素を含む所定の範囲の画素からなる画像について画像の識別を行うことを特徴とする撮像装置。

Images