JP2005309991A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 記憶するデータ量を少なくするとともに、高速で検出対象物の検出を行うことができる画像処理装置および画像処理方法を提供する。
【解決手段】 画像処理装置１は、第一カメラ２および第二カメラ３で撮像された画像を三次元復元部１１で三次元復元し、三次元画像を作成する。ヒストグラム作成部１２は、三次元復元部で復元されて得られた三次元画像に基づいて、カメラ２，３で撮影される物体映す画素を、第一カメラ２からの距離ごとに振り分けたヒストグラムを作成する。顔パターン検索部１３では、ヒストグラム作成部１２で作成されたヒストグラムと、予め記憶されたヒストグラムテンプレートとを比較し、顔を検出する。
【選択図】 図１

Description

本発明は、画像処理装置および画像処理方法に係り、特に、撮像手段で撮像された画像中における顔などの物体を検出する画像処理装置および画像処理方法に関する。

顔向き計測や個人認証などを行う際、カメラで撮影された顔を含む画像中から、顔を検出ことが要求される。このような顔を検出するものとして、特開平５−１９７７９３号に開示された顔画像特徴点抽出装置がある。この顔画像特徴点抽出装置は、画像中における顔のエッジ抽出を行い、エッジ抽出後に形状データとの一致度を算出する、いわゆるパターンマッチングを行うことにより、顔を検出するというものである。
特開平５−１９７７９３号公報

しかし、カメラで撮影された顔の大きさは一定とはならないものである。このため、上記特許文献１に開示された顔画像特徴点抽出装置においては、形状データとの一致度を算出するにあたり、多くのサイズの形状データを持っていなければならず、データベースが膨大となり、画像処理装置に記憶されるデータ量が多くなるという問題があった。さらには、多くのサイズの形状データについて一致度を算出するので、検出を行う際に長時間を要するという問題があった。

そこで、本発明の課題は、記憶するデータ量を少なくするとともに、高速で検出対象物の検出を行うことができる画像処理装置および画像処理方法を提供することにある。

上記課題を解決した本発明に係る画像処理装置は、所定の位置関係にある複数の撮像手段で撮影した画像内における物体を検出する画像処理装置であって、複数の撮像手段によって撮影された物体を三次元形状に復元する三次元復元手段と、三次元復元手段によって三次元復元された物体を映す画素を、所定位置からの距離ごとに振り分けたヒストグラムを作成するヒストグラム作成手段と、撮像手段で撮影された検出対象物体を映す画素を、所定位置からの距離ごとに振り分けたヒストグラムテンプレートが予め記憶されており、ヒストグラム作成手段で作成されたヒストグラムとヒストグラムテンプレートと、を比較することにより、検出対象物体を検出する比較検出手段と、を備えるものである。

また、上記課題を解決した本発明に係る画像処理方法は、所定の位置関係にある複数の撮像手段で撮影した画像内における物体を検出する画像処理方法であって、複数の撮像手段によって撮影された画像を三次元形状に復元する三次元復元工程と、三次元復元手段によって三次元復元された物体を映す画素を、所定位置からの距離ごとに振り分けたヒストグラムを作成するヒストグラム作成工程と、撮像手段で撮影された検出対象物体を映す画素を、所定位置からの距離ごとに振り分けたヒストグラムテンプレートが予め記憶されており、ヒストグラム作成手段で作成されたヒストグラムとヒストグラムテンプレートと、を比較することにより、検出対象物体を検出する比較検出工程と、を含むことを特徴とする。

本発明に係る画像処理装置および画像処理方法においては、三次元復元された物体を映す画素を所定位置からの距離ごとに振り分けたヒストグラムを作成し、この日を、予め記憶されたテンプレートヒストグラムと比較することにより、検出対象物を検出している。このため、画像処理装置では、テンプレートヒストグラムのみを記憶しておけばよいので、記憶するデータ量を少なくすることができる。また、ヒストグラムとテンプレートヒストグラムとを比較するのみであるので、一次元的な探索を行えばよい。したがって、高速での検出対象物の検出を行うことができる。

本発明に係る画像処理装置および画像処理方法によれば、記憶するデータを少なくするとともに、高速で検出対象物の検出を行うことができる。

以下、図面を参照して、本発明の好適な実施形態について説明する。図１は本発明の実施形態に係る画像処理装置のブロック構成図である。

図１に示すように、本実施形態に係る画像処理装置１は、三次元復元部１１、ヒストグラム作成手段であるヒストグラム作成部１２、および比較検出手段である顔パターン検索部１３を備えている。また、画像処理装置１には、複数の撮像手段である第一カメラ２および第二カメラ３が接続されている。第一カメラ２および第二カメラ３は、互いに所定の位置関係にあるものである。第一カメラ２および第二カメラ３は、人の顔などを撮影した画像を画像処理装置１における三次元復元部１１に出力している。本実施形態では、人の顔を検出対象物体としている。

三次元復元部１１は、第一カメラ２および第二カメラ３で撮影された画像を三次元復元し、三次元復元画像を作成する。三次元復元部１１は、復元した三次元画像をヒストグラム作成部１２に出力する。

ヒストグラム作成部１２は、三次元復元された人の顔を映す画素を、所定位置、たとえば第一カメラ２が設置された位置からの距離ごとに振り分け、所定位置からの距離ごとの画素の数を示すヒストグラムを作成する。ヒストグラム作成部１２は、作成したヒストグラムを顔パターン検索部１３に出力する。

顔パターン検索部１３には、カメラで撮影された顔を映す画素を、所定位置、たてばカメラが設定されている位置からの距離ごとに振り分けたヒストグラムテンプレートが予め記憶されている。顔パターン検索部１３では、ヒストグラム作成部１２から出力されたヒストグラムと、予め記憶されたヒストグラムテンプレートとを比較する。このヒストグラムとヒストグラムテンプレートとの比較結果に基づいて、顔の検出を行う。

以上の構成を有する本実施形態に係る画像処理装置における画像処理方法の手順を示す。図２は、本実施形態における画像処理方法の手順を示すフローチャートである。

図２に示すように、本実施形態に係る画像処理方法では、まず第一カメラ２による撮影を行い、第一カメラ２で撮影された第一画像を取得する（Ｓ１）。第一カメラ２は、撮影した第一画像を画像処理装置１における三次元復元部１１に出力する。また、第二カメラ３においては、第二画像の撮影を行い、第二カメラ３で撮影された第二画像を取得する（Ｓ２）。第二カメラ３は、撮影した第二画像を画像処理装置１における三次元復元部１１に出力する。第一カメラ２および第二カメラ３は、互いにほぼ同一位置を撮影しており、第一カメラ２および第二カメラ３で撮影された画像には、ほぼ同一の物体が映し出されている。

三次元復元部１１では、カメラ２，３で撮影した画像および２つのカメラ２，３のカメラパラメータに基づいて、撮像した画像を三次元復元する（Ｓ３）。復元結果は、図３に示すように、第一カメラ２から見た画像の各画素が、第一カメラ２の光軸方向を奥行き方向としたときの顔ＦＡまでの距離を示す距離画像として算出される。そして、最終的なここでの処理結果は、第一カメラ２で撮影した各画素が、第一カメラ２の奥行き方向にどれ位離れた場所に位置するかを示す画像となり、その距離が画素ごとに求められる。

こうして、カメラ２，３で撮影された物体について三次元復元をしたら、ヒストグラム作成部１２において、三次元復元によって作成された距離画像に基づいてヒストグラムを作成する（Ｓ４）。このヒストグラムは、奥行き画像上の画素数が、顔の前面の奥行き分布に相当するものとなる。ヒストグラム作成部１２では、三次元復元部１１で求めた第一カメラ２から物体までの距離を示す距離画像の各画素を距離ごとに計測して、ヒストグラムを作成する。ヒストグラム作成部１２は、こうして作成したヒストグラムを顔パターン検索部１３に出力する。

ここで、第一カメラ２から顔ＦＡまでの距離と、カメラ２，３で顔ＦＡを撮影した場合に、ヒストグラム作成部１２で作成したヒストグラムとの関係の例を図４に示す。図４に示すように、この例におけるヒストグラムでは、第一カメラ２から顔ＦＡまでの距離が５１２ｍｍ〜５５７ｍｍ付近の範囲で特徴的な形状となっている。この形状は、人間の顔のような楕円体と、鼻の部分に相当する三角錐が結合した形状となっている。

顔パターン検索部１３は、このような人間の顔のような楕円体と、鼻の部分に相当する三角錐が結合した形状をヒストグラム化したものを、ヒストグラムテンプレートとして記憶している。顔パターン検索部１３では、ヒストグラム作成部１２から出力されたヒストグラムと、予め記憶しているヒストグラムテンプレートとの比較として、奥行き距離の測定を行う（Ｓ５）。

奥行き距離の測定は、距離画像に基づいて計測したヒストグラム上で、度数が一定値以上の全奥行きで評価することによって行われる。具体的に、奥行き距離の測定は、下記（１）式に示すヒストグラムテンプレートと、ヒストグラム作成部１２から出力されたヒストグラムの各部分における形状と、の差の総和を下記（１）式によって算出することによって行われる。

上記（１）式は、図５に示すように、距離画像に基づいて計測されたヒストグラムに対して、予め記憶されたヒストグラムテンプレートＨＴを重ね合わせた状態のヒストグラムとヒストグラムテンプレートとの差の総和である。上記（１）式における変数ｘを加算することにより、ヒストグラムテンプレートＨＴが右方向に移動することになる。この変数ｘは適宜の値として設定される。

こうして、ヒストグラムテンプレートＨＴをヒストグラムに対して相対的に移動させながら、上記（１）式の演算を行い、ヒストグラムテンプレートＨＴのそれぞれの位置におけるヒストグラムとヒストグラムテンプレートとの総和の差を求める。

このようにして求めた、ヒストグラムとヒストグラムテンプレートとの総和の差が、所定のしきい値を下回るか否かを判断することにより、顔の検出を行う（Ｓ６）。ヒストグラムの各部分において、ヒストグラムテンプレートの形状に近い形状をなす部分に、顔を映す画素があるものと考えられる。したがって、ヒストグラムとヒストグラムテンプレートとの総和の差が、所定のしきい値を下回り、ヒストグラムテンプレートの近似する形状を有するヒストグラムの部分に顔を映す画像があると判断することができる。この結果、顔が存在する奥行きが分かるので、その奥行き範囲に存在する距離画像上の画素が顔領域を構成する画素として検出することができる。

このように、本実施形態に係る画像処理方法では、画像に映し出される顔を検出するにあたり、１次元的な探索をすればよく、顔のヒストグラムに相当するヒストグラムテンプレートを記憶しておくのみでよい。したがって、記憶するデータ量を少ないものとすることができるとともに、高速で顔の検出を行うことができる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態において、移動する物体として人の顔を例示しているが、たとえば自動車などの移動体などを移動する物体とすることができる。

本発明に係る画像処理装置のブロック構成図である。 本発明に係る画像処理方法の手順を示すフローチャートである。 ヒストグラムとテンプレートヒストグラムとを比較する際のカメラと顔との位置関係を説明する図である。 第一カメラから顔までの距離とヒストグラム作成部で作成したヒストグラムとの関係の例を示す図である。 ヒストグラムにヒストグラムテンプレートを重ね合わせた例を示す図である。

符号の説明

１…画像処理装置、２…第一カメラ、３…第二カメラ、１１…三次元復元部、１２…ヒストグラム作成部、１３…顔パターン検索部、ＦＡ…顔、ＨＴ…ヒストグラムテンプレート。

Claims (2)

1. 所定の位置関係にある複数の撮像手段で撮影した画像内における物体を検出する画像処理装置であって、
   前記複数の撮像手段によって撮影された物体を三次元形状に復元する三次元復元手段と、
   前記三次元復元手段によって三次元復元された物体を映す画素を、所定位置からの距離ごとに振り分けたヒストグラムを作成するヒストグラム作成手段と、
   前記撮像手段で撮影された検出対象物体を映す画素を、所定位置からの距離ごとに振り分けたヒストグラムテンプレートが予め記憶されており、前記ヒストグラム作成手段で作成されたヒストグラムと前記ヒストグラムテンプレートと、を比較することにより、検出対象物体を検出する比較検出手段と、
   を備えることを特徴とする画像処理装置。
2. 所定の位置関係にある複数の撮像手段で撮影した画像内における物体を検出する画像処理方法であって、
   前記複数の撮像手段によって撮影された画像を三次元形状に復元する三次元復元工程と、
   前記三次元復元手段によって三次元復元された物体を映す画素を、所定位置からの距離ごとに振り分けたヒストグラムを作成するヒストグラム作成工程と、
   前記撮像手段で撮影された検出対象物体を映す画素を、所定位置からの距離ごとに振り分けたヒストグラムテンプレートが予め記憶されており、前記ヒストグラム作成手段で作成されたヒストグラムと前記ヒストグラムテンプレートと、を比較することにより、検出対象物体を検出する比較検出工程と、
   を含むことを特徴とする画像処理方法。

Images