JP2004213589A

JP2004213589A - 特定部分姿勢推定装置

Info

Publication number: JP2004213589A
Application number: JP2003002875A
Authority: JP
Inventors: Shoji Tanaka; 昭二田中
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-01-09
Filing date: 2003-01-09
Publication date: 2004-07-29
Anticipated expiration: 2023-01-09
Also published as: JP4298303B2

Abstract

【課題】入力画像の明るさに影響されず、かつ計算能力の低い小規模ハードウェアによっても、短時間に姿勢を検出する。
【解決手段】特定部分を抽出した入力画像の各画素を所定座標範囲内の画像値に基づいた設定しきい値で２値化し、更に大きさが設定範囲内である部品を特定して２値画像を得るマッチング画像生成部３と、この特定して得られた２値画像と、所定のテンプレートとを照合して姿勢を検出するパターン・マッチング部４、とを備えた。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
この発明は、携帯電話や電子手帳などの認識能力の低いハードウェアにより得られる画像によっても、またそのような装置に装備される簡易な画像処理回路によっても容易に短時間に姿勢が推定可能な姿勢推定装置に関するものである。
【０００２】
【従来の技術】
例えば自動車等の運転監視をする場合、または部屋の入室や人物の特定等の認証において、人の顔をその姿勢も含めて抽出し、画像処理して監視、または認証に用いることが行なわれている。こうした監視または認証においては、後の画像処理に先立って、まず姿勢の検出が必要になる、あるいは姿勢検出が大切な事となる。
このような場合に従来は、例えば特許文献１に示された図１１にその構成を示す姿勢抽出用の画像処理装置がある。図において画像処理装置２１は、入力画像から肌色を抽出する肌色抽出手段２２、その結果から目や口の候補となる領域を抽出するための２値化手段２３と、２値化手段の結果から目および口の領域を検出し、動画像からそれらを追跡する目・口領域検出・追跡手段２４で構成されている。
【０００３】
次に動作について説明する。
まず、動画像中から顔領域を特定するために、３次元カラーヒストグラムなど用いて肌色抽出手段２２で肌色画素を検出し、２値化手段２３では肌色画素とそれ以外の画素で２値化する。次に目・口領域検出・追跡手段２４で肌色領域内の穴領域を抽出し、目および口の候補領域とする。抽出した候補領域から、例えば顔領域に対する目の位置、口の位置のヒューリスティックスに基づき目および口位置を検出する。最後に検出した目および口位置から頭部の姿勢情報を抽出する。
【０００４】
【特許文献１】
特開平７−２００７７４号公報
【０００５】
【発明が解決しようとする課題】
従来の姿勢抽出装置は上記のように構成されており、対象を撮影した画像を、肌色抽出し、更に領域検出・追跡して、最終的に姿勢検出するので、先ずビデオカメラで撮影される画像が撮影場所が変わると照明も含めて一定でなく、また良質な画質が得られるとは限らず、肌色の良好な検出が困難であるという課題がある。更に領域検出も含めて処理量が多く、大規模な回路を必要とするので、携帯電話に搭載する小規模のハードウェアでは、処理に時間がかかるという課題がある。
【０００６】
この発明は上記のような課題を解決するためになされたもので、ビデオカメラ等による入力画像の画質に影響されず、かつ計算能力の低い小規模のハードウェアによっても、短時間に姿勢を抽出する。
【０００７】
【課題を解決するための手段】
この発明に係る特定部分姿勢推定装置は、特定部分を推定した入力画像の各画素を所定座標範囲内の画像値に基づいた設定しきい値で２値化し、更に大きさが設定範囲内である部品を特定して２値画像を得るマッチング画像生成部と、
この特定して得られた２値画像と、所定のテンプレートとを照合して姿勢を検出するパターン・マッチング部、とを備えた。
【０００８】
【発明の実施の形態】
実施の形態１．
図１はこの発明の本実施の形態における特定部分姿勢推定装置の構成を示す図である。
図において、特定部分姿勢推定装置１は、ビデオカメラ等で撮影した映像信号をキャプチャするための映像キャプチャ部２、キャプチャした映像に対してフィルタリング処理を施し、後述する姿勢パターンと照合するための画像を生成するためのマッチング画像生成部３、マッチング画像生成部３で生成した画像と、予め記憶した姿勢パターンと照合し、頭部等の部分姿勢を求めるパターン・マッチング部４で構成される。また内部は、映像キャプチャ部２でキャプチャしたカラー画像をグレースケール画像に変換するための色空間変換部５、変換したグレースケール画像を２値画像に変換するための２値画像生成部６、２値画像生成部６で２値化した画像から隣接画素を統合することにより領域を求め、目や口となり得る候補領域のみを抽出する部品候補抽出部７、マッチング画像生成部３で生成したマッチング画像と予め記憶した姿勢パターン画像と照合するためのマッチング部８、マッチング部８で用いるパターンを記憶するためのマッチング・パターンＤＢ９で構成される。
【０００９】
次に図２から図５を用いて本発明の特定部分姿勢推定装置１の動作を説明する。
図２はその動作を説明するためのフローチャートである。また図３は、２値画像生成部６の動作を説明するためのフローチャートである。更に図４は、マッチング画像生成部３で行う処理の流れを説明するための図である。図５は、パターンマッチング部４で行う照合処理を説明するための図である。
【００１０】
まず、映像キャプチャ部２でビデオ信号をキャプチャし（ステップＳ１−１）、キャプチャしたカラー画像を色空間変換部５によりグレースケール画像に変換する（ステップＳ１−２）。
カラー画像からグレースケール画像への変換は、例えば次の（式１）を用いて行う。
Ｇ（ｘ，ｙ）＝０．２１３＊Ｒ（ｘ，ｙ）＋０．７１５１＊Ｇ（ｘ，ｙ）＋０．０７２１＊Ｂ（ｘ，ｙ）（式１）ここで、Ｇ（ｘ，ｙ）は座標値（ｘ，ｙ）における輝度値、Ｒ、Ｇ、Ｂ（ｘ，ｙ）は座標値（ｘ，ｙ）におけるカラー画像の画素値である。カラー画像からグレースケール画像に変換する際の係数値は、上記以外の値を用いてもよい。
または、色空間変換部５におけるカラー・グレースケール変換を、次の（式２）を用いてＲＧＢ値を正規化した後に、上記の（式１）を用いて変換しても良い。
ｒ（ｘ，ｙ）＝Ｒ（ｘ，ｙ）／（Ｒ（ｘ，ｙ）＋Ｇ（ｘ，ｙ）＋Ｂ（ｘ，ｙ））
ｇ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／（Ｒ（ｘ，ｙ）＋Ｇ（ｘ，ｙ）＋Ｂ（ｘ，ｙ））（式２）
ｂ（ｘ，ｙ）＝Ｂ（ｘ，ｙ）／（Ｒ（ｘ，ｙ）＋Ｇ（ｘ，ｙ）＋Ｂ（ｘ，ｙ））
【００１１】
次に、２値画像生成手段６においてグレースケール画像を輝度に応じて２値化する（ステップＳ１−３）。このとき、図３に示す処理を行うことにより、入力された画像に適応して２値画像を生成する。このときの２値化基準となるしきい値は、図４に示す所定範囲のウィンドウ座標３１を設定し、その座標範囲内にある全画素、図４の場合は２５画素の輝度平均値、あるいは中央値を求め、この値をしきい値とする。そして対象となる画素３２の輝度をしきい値と比較する。
こうして、入力画像を走査して、全ての画素に対して、ステップＳ２−１からステップＳ２−８の処理を繰り返し行うことにより画像を２値化する。
【００１２】
即ち、これから判定を行おうとする画素の画素の明るさレベル値が、予め設定した閾値よりも低い画素はその画素値を１に設定する（ステップＳ２−２、ステップＳ２−７）。もし、対象の画素の画素の明るさレベルが閾値よりも大きい場合、注目画素を中心としたＫｘＫ（上記のように図４の場合はＫ＝５としている）の大きさのブロックを設定する（ステップＳ２−３）。次に、設定したブロック内の輝度の平均値を求める（ステップＳ２−４）。そして、注目画素の画素値が次の（式３）の条件を満たすかどうかを判定する（ステップＳ２−５）。
画素の明るさレベル＞平均値−Ｃ（式３）
ここで、Ｃは予め設定する規定値である。
もし、（式３）の条件を満たすのであれば画素値を０に設定し（ステップＳ２−６）、そうでなければ画素値を１に設定する（ステップＳ２−７）。
以上のように、周囲の画素の状態に応じて２値化処理を行うため、例えばビデオカメラの画質劣化によりコントラストが低い画像に対しても所定座標範囲を絞り込むので、適応的にその範囲内の、例えば平均値より２値化処理を行うことが可能となる。
【００１３】
ステップＳ２−４において平均値を求めたが、例えばブロック内の画素値を並べ替えた時の中央値を求め、以下（式４）の条件を用いてもよい。
画素値＞中央値−Ｃ（式４）
【００１４】
また、ヒストグラム平均化法などのコントラスト強調処理を施した後に固定閾値を用いて２値化するようにしてもよい。
以上の処理により、映像キャプチャ部２によりキャプチャしたカラー画像をグレースケールに変換すると、図５の１０になり、その画像を２値化すると図５の１１のようになる。
【００１５】
次に、部品候補抽出部７において、２値画像１１に対して同一２値画素が上下左右斜に４連結あるいは８連結しているかをみて、関連し、かつ意味のある隣接画素を統合して領域を求めてこれを個々の領域として図５の１１−ａ、１１−ｂ等のようにラベリングする（Ｓ１−４）。更に個々の領域１１−ａ等に領域の外接矩形の大きさが予め設定した範囲内に収まる領域のみを抽出する（ステップＳ１−５）。即ち図５の領域１１−ａに対しては、推定対象外の大きさの領域であるとしてこれを除外する。
【００１６】
ここで、携帯電話や電子手帳におけるＴＶ電話機能を利用することを考えた場合、ユーザは自分の顔を画角に収まりかつ大きく撮影するため、予め目の大きさあるいは口の大きさがどの程度になるかを予測することが可能である。よって前述の閾値処理は有効である。
こうしてステップＳ１−５で抽出した結果は図４−１２のようになる。
【００１７】
以上で求めたマッチング画像１２を用いてパターンマッチング部４では、頭部姿勢を推定する（ステップＳ１−６）。
ここで、マッチングパターンＤＢ９には図５の１４に示すテンプレートが格納されているとする。前述の通り、携帯電話や電子手帳でＴＶ電話機能などを利用する際に人物の顔を撮影する場合、予め画角が想定できることから、顔の向きに応じた目および口領域の状態が予め予測ができる。従って、マッチングパターンＤＢ９では、想定した頭部姿勢における目および口領域の２値のマスク画像を格納しておき、マッチング画像１３と各テンプレート画像との論理積を計算し、その結果得られる画像の画素１（マッチングした画素）の数を計算し、もっとも数が多いものを選択することで、照合結果１５を得ることができる。このように、２値化によりパターン・マッチングの検出がアナログ比較ではなくともよく、非常に簡単に行える。
【００１８】
以上のように、マッチングパターンＤＢに格納したパターンの数だけの姿勢情報しか推定できないが、非常に処理が単純であることから、計算能力の低いハードウェアにおいても十分実時間で処理が可能である。
【００１９】
図１の構成においては、マッチングパターンＤＢに規定のパターンを格納するようにしたが、最初にビデオカメラから取得した画像を用いて、ユーザ個人のテンプレート画像を生成してもよい。
図７は、マッチング・パターンを映像キャプチャ部２の出力から作成する場合の特定部分姿勢抽出構成図である。図において、撮影した画像から、姿勢パターンのテンプレート画像を生成するためのマッチングパターン生成部１６を設けている。
【００２０】
次に動作を図８を用いて説明する。図８は、映像キャプチャ部２により通常姿勢で撮影した画像を２値化後、その画像を基にテンプレート画像を生成した結果を示した図である。
ここでは、映像キャプチャ部２で最初にキャプチャする画像を通常の姿勢（カメラに対して正面を向いた姿勢）と見なす、あるいは、ユーザに通常の姿勢で撮影を依頼し、通常姿勢の画像を取得する。
【００２１】
以上のようにして取得した画像をマッチング画像生成部３により２値化した画像１７をマッチングテンプレート生成部１６においてアフィン変換を用いて例えば、首を左右にかしげた画像、首を左右に振った画像、上下に振った画像を生成する。
アフィン変換は、次式で示す行列で表現できる。
【００２２】
【数１】

【００２３】
（式５）で示したアフィン変換行列を、それぞれの姿勢に対応して用意し、２値画像１７の画素値が１の座標を次の（式６）で変換し、変換後の座標に画素値１をそれ以外を画素値０とすることで図８の１８に示す各姿勢に応じた画像を生成することができる。
【００２４】
【数２】

【００２５】
なお、（式６）では、元の座標をＸ，Ｙとし、変換後の座標をｘ，ｙとしている。また、２値画像１７は平面としている。
以上のようにマッチングパターン１８を生成後は、図１の構成と同様の処理を行って姿勢を推定することが可能である。
なお、手間はかかるが、ユーザに例えば図７の１８に示される各種の姿勢をとってもらって、それを２値化するようにしてもよい。そうすれば、アフィン変換なしでテンプレートを生成できる。
【００２６】
以上のように短時間もしくは実時間頭部姿勢推定装置を構成することにより、ユーザの顔の特徴に適合したテンプレートを生成するため、マッチング精度が向上できる効果がある。
なお、以降の実施の形態においても、特定部分として頭部または顔の姿勢の推定について説明したが、特定部分としてはこれに限定されず、手、腕、足あるいは上半身等、他の部分であってもよい。
【００２７】
実施の形態２．
以上の実施の形態１では、マッチングパターンとマッチング画像とを照合することにより頭部姿勢を推定していたが、マッチング画像の画素値１の画素の分布から頭部姿勢を推定するようにマッチング手段を変更した場合の形態を説明する。
図９は本実施の形態における特定部分姿勢推定装置の構成を示した図である。図において、マッチング画像の画素分布を求め、その分布の状態により頭部姿勢を推定するための画素分布計測部１９を設けている。
【００２８】
次に動作を図１０を用いて説明する。図１０は、画素分布に応じて頭部姿勢を推定するためのマップを示したものである。
マッチング画像の画素値１の画素が、マップ２０のどの領域に多く分布するか、各領域に入る画素数をカウントし、そのカウント数が多い領域に対応する頭部姿勢を推定結果とする。
【００２９】
このように、画素分布を用いれば、さらに処理を簡略化することが可能となり、従って、計算能力の低いハードウェアによっても、処理がさらに短縮できる効果がある。
【００３０】
【発明の効果】
以上のようにこの発明によれば、入力画像を所定範囲内の平均画像に基づいて２値化して部品を特定するマッチング画像生成部と、この得られた２値画像と所定のテンプレートとを照合して姿勢を検出するパターン・マッチング部とを備えたので、規模を抑えて容易に部分姿勢を推定できる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１における特定部分姿勢推定装置の構成を示す図である。
【図２】実施の形態１における特定部分姿勢推定装置の動作を示すフロー図である。
【図３】実施の形態１におけるマッチング画像生成部が行なう２値化動作を示すフロー図である。
【図４】実施の形態１における設定しきい値を得る範囲を説明する図である。
【図５】実施の形態１におけるマッチング画像生成部が行なう２値化動作を説明するための図である。
【図６】実施の形態１におけるパターン・マッチング部が行なうマッチング動作を説明するための図である。
【図７】実施の形態１における他の特定部分姿勢推定装置の構成を示す図である。
【図８】実施の形態１における他のパターン・マッチング部が行なうテンプレート作成動作を説明するための図である。
【図９】実施の形態２における特定部分姿勢推定装置の構成を示す図である。
【図１０】実施の形態２におけるパターン・マッチング部が行なう画素分布による姿勢抽出を説明するための図である。
【図１１】従来の画像処理装置による姿勢抽出のための構成を示す図である。
【符号の説明】
１特定部分姿勢推定装置、２映像キャプチャ部、３マッチング画像生成部、４パターン・マッチング部、５色空間（グレースケール画像）変換部、６２値画像生成部、７部品候補抽出部、８マッチング部、９マッチング・パターン・データベース、１６マッチング・パターン生成部、１９画素分布計測部。

Claims

特定部分を抽出した入力画像の各画素を所定座標範囲内の画像値に基づいた設定しきい値で２値化し、更に大きさが設定範囲内である部品を特定して２値画像を得るマッチング画像生成部と、
上記特定して得られた２値画像と、所定のテンプレートと照合して姿勢を検出するパターン・マッチング部、とを備えたことを特徴とする特定部分姿勢推定装置。
マッチング画像生成部は、入力の画像をグレースケール画像に変換し、該グレースケール画像の輝度を、対象画素を座標中心として所定範囲内のある画素の輝度の平均値、または中央値をしきい値として２値化するようにしたことを特徴とする請求項１記載の特定部分姿勢推定装置。
パターン・マッチング部は、予め複数の特定入力画像によりマッチング画像生成して、該生成した２値化画像をテンプレートの要素としたことを特徴とする請求項１記載の特定部分姿勢推定装置。
パターン・マッチング部は、テンプレートの各要素との照合を画素の論理積で得るようにしたことを特徴とする請求項１記載の特定部分姿勢推定装置。
パターン・マッチング部は、マッチング画像生成部で得られる２値画像から特定の値を持つ画素を求め、それらの画素の画像中における分布の状態から検出対象である特定部分の傾きを推定するようにしたことを特徴とする請求項１記載の特定部分姿勢推定装置。