JP2004213589A - 特定部分姿勢推定装置 - Google Patents
特定部分姿勢推定装置 Download PDFInfo
- Publication number
- JP2004213589A JP2004213589A JP2003002875A JP2003002875A JP2004213589A JP 2004213589 A JP2004213589 A JP 2004213589A JP 2003002875 A JP2003002875 A JP 2003002875A JP 2003002875 A JP2003002875 A JP 2003002875A JP 2004213589 A JP2004213589 A JP 2004213589A
- Authority
- JP
- Japan
- Prior art keywords
- image
- matching
- posture
- specific
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】特定部分を抽出した入力画像の各画素を所定座標範囲内の画像値に基づいた設定しきい値で2値化し、更に大きさが設定範囲内である部品を特定して2値画像を得るマッチング画像生成部3と、この特定して得られた2値画像と、所定のテンプレートとを照合して姿勢を検出するパターン・マッチング部4、とを備えた。
【選択図】 図1
Description
【発明の属する技術分野】
この発明は、携帯電話や電子手帳などの認識能力の低いハードウェアにより得られる画像によっても、またそのような装置に装備される簡易な画像処理回路によっても容易に短時間に姿勢が推定可能な姿勢推定装置に関するものである。
【0002】
【従来の技術】
例えば自動車等の運転監視をする場合、または部屋の入室や人物の特定等の認証において、人の顔をその姿勢も含めて抽出し、画像処理して監視、または認証に用いることが行なわれている。こうした監視または認証においては、後の画像処理に先立って、まず姿勢の検出が必要になる、あるいは姿勢検出が大切な事となる。
このような場合に従来は、例えば特許文献1に示された図11にその構成を示す姿勢抽出用の画像処理装置がある。図において画像処理装置21は、入力画像から肌色を抽出する肌色抽出手段22、その結果から目や口の候補となる領域を抽出するための2値化手段23と、2値化手段の結果から目および口の領域を検出し、動画像からそれらを追跡する目・口領域検出・追跡手段24で構成されている。
【0003】
次に動作について説明する。
まず、動画像中から顔領域を特定するために、3次元カラーヒストグラムなど用いて肌色抽出手段22で肌色画素を検出し、2値化手段23では肌色画素とそれ以外の画素で2値化する。次に目・口領域検出・追跡手段24で肌色領域内の穴領域を抽出し、目および口の候補領域とする。抽出した候補領域から、例えば顔領域に対する目の位置、口の位置のヒューリスティックスに基づき目および口位置を検出する。最後に検出した目および口位置から頭部の姿勢情報を抽出する。
【0004】
【特許文献1】
特開平7−200774号公報
【0005】
【発明が解決しようとする課題】
従来の姿勢抽出装置は上記のように構成されており、対象を撮影した画像を、肌色抽出し、更に領域検出・追跡して、最終的に姿勢検出するので、先ずビデオカメラで撮影される画像が撮影場所が変わると照明も含めて一定でなく、また良質な画質が得られるとは限らず、肌色の良好な検出が困難であるという課題がある。更に領域検出も含めて処理量が多く、大規模な回路を必要とするので、携帯電話に搭載する小規模のハードウェアでは、処理に時間がかかるという課題がある。
【0006】
この発明は上記のような課題を解決するためになされたもので、ビデオカメラ等による入力画像の画質に影響されず、かつ計算能力の低い小規模のハードウェアによっても、短時間に姿勢を抽出する。
【0007】
【課題を解決するための手段】
この発明に係る特定部分姿勢推定装置は、特定部分を推定した入力画像の各画素を所定座標範囲内の画像値に基づいた設定しきい値で2値化し、更に大きさが設定範囲内である部品を特定して2値画像を得るマッチング画像生成部と、
この特定して得られた2値画像と、所定のテンプレートとを照合して姿勢を検出するパターン・マッチング部、とを備えた。
【0008】
【発明の実施の形態】
実施の形態1.
図1はこの発明の本実施の形態における特定部分姿勢推定装置の構成を示す図である。
図において、特定部分姿勢推定装置1は、ビデオカメラ等で撮影した映像信号をキャプチャするための映像キャプチャ部2、キャプチャした映像に対してフィルタリング処理を施し、後述する姿勢パターンと照合するための画像を生成するためのマッチング画像生成部3、マッチング画像生成部3で生成した画像と、予め記憶した姿勢パターンと照合し、頭部等の部分姿勢を求めるパターン・マッチング部4で構成される。また内部は、映像キャプチャ部2でキャプチャしたカラー画像をグレースケール画像に変換するための色空間変換部5、変換したグレースケール画像を2値画像に変換するための2値画像生成部6、2値画像生成部6で2値化した画像から隣接画素を統合することにより領域を求め、目や口となり得る候補領域のみを抽出する部品候補抽出部7、マッチング画像生成部3で生成したマッチング画像と予め記憶した姿勢パターン画像と照合するためのマッチング部8、マッチング部8で用いるパターンを記憶するためのマッチング・パターンDB9で構成される。
【0009】
次に図2から図5を用いて本発明の特定部分姿勢推定装置1の動作を説明する。
図2はその動作を説明するためのフローチャートである。また図3は、2値画像生成部6の動作を説明するためのフローチャートである。更に図4は、マッチング画像生成部3で行う処理の流れを説明するための図である。図5は、パターンマッチング部4で行う照合処理を説明するための図である。
【0010】
まず、映像キャプチャ部2でビデオ信号をキャプチャし(ステップS1−1)、キャプチャしたカラー画像を色空間変換部5によりグレースケール画像に変換する(ステップS1−2)。
カラー画像からグレースケール画像への変換は、例えば次の(式1)を用いて行う。
G (x,y) = 0.213 * R(x,y) + 0.7151*G(x,y) + 0.0721*B(x,y) (式1)ここで、G(x,y)は座標値(x,y)における輝度値、R、G、B(x,y)は座標値(x,y)におけるカラー画像の画素値である。カラー画像からグレースケール画像に変換する際の係数値は、上記以外の値を用いてもよい。
または、色空間変換部5におけるカラー・グレースケール変換を、次の(式2)を用いてRGB値を正規化した後に、上記の(式1)を用いて変換しても良い。
r(x,y) = R(x,y)/(R(x,y)+G(x,y)+B(x,y))
g(x,y) = G(x,y)/(R(x,y)+G(x,y)+B(x,y)) (式2)
b(x,y) = B(x,y)/(R(x,y)+G(x,y)+B(x,y))
【0011】
次に、2値画像生成手段6においてグレースケール画像を輝度に応じて2値化する(ステップS1−3)。このとき、図3に示す処理を行うことにより、入力された画像に適応して2値画像を生成する。このときの2値化基準となるしきい値は、図4に示す所定範囲のウィンドウ座標31を設定し、その座標範囲内にある全画素、図4の場合は25画素の輝度平均値、あるいは中央値を求め、この値をしきい値とする。そして対象となる画素32の輝度をしきい値と比較する。
こうして、入力画像を走査して、全ての画素に対して、ステップS2−1からステップS2−8の処理を繰り返し行うことにより画像を2値化する。
【0012】
即ち、これから判定を行おうとする画素の画素の明るさレベル値が、予め設定した閾値よりも低い画素はその画素値を1に設定する(ステップS2−2、ステップS2−7)。もし、対象の画素の画素の明るさレベルが閾値よりも大きい場合、注目画素を中心としたKxK(上記のように図4の場合はK=5としている)の大きさのブロックを設定する(ステップS2−3)。次に、設定したブロック内の輝度の平均値を求める(ステップS2−4)。そして、注目画素の画素値が次の(式3)の条件を満たすかどうかを判定する(ステップS2−5)。
画素の明るさレベル>平均値−C (式3)
ここで、Cは予め設定する規定値である。
もし、(式3)の条件を満たすのであれば画素値を0に設定し(ステップS2−6)、そうでなければ画素値を1に設定する(ステップS2−7)。
以上のように、周囲の画素の状態に応じて2値化処理を行うため、例えばビデオカメラの画質劣化によりコントラストが低い画像に対しても所定座標範囲を絞り込むので、適応的にその範囲内の、例えば平均値より2値化処理を行うことが可能となる。
【0013】
ステップS2−4において平均値を求めたが、例えばブロック内の画素値を並べ替えた時の中央値を求め、以下(式4)の条件を用いてもよい。
画素値>中央値−C (式4)
【0014】
また、ヒストグラム平均化法などのコントラスト強調処理を施した後に固定閾値を用いて2値化するようにしてもよい。
以上の処理により、映像キャプチャ部2によりキャプチャしたカラー画像をグレースケールに変換すると、図5の10になり、その画像を2値化すると図5の11のようになる。
【0015】
次に、部品候補抽出部7において、2値画像11に対して同一2値画素が上下左右斜に4連結あるいは8連結しているかをみて、関連し、かつ意味のある隣接画素を統合して領域を求めてこれを個々の領域として図5の11−a、11−b等のようにラベリングする(S1−4)。更に個々の領域11−a等に領域の外接矩形の大きさが予め設定した範囲内に収まる領域のみを抽出する(ステップS1−5)。即ち図5の領域11−aに対しては、推定対象外の大きさの領域であるとしてこれを除外する。
【0016】
ここで、携帯電話や電子手帳におけるTV電話機能を利用することを考えた場合、ユーザは自分の顔を画角に収まりかつ大きく撮影するため、予め目の大きさあるいは口の大きさがどの程度になるかを予測することが可能である。よって前述の閾値処理は有効である。
こうしてステップS1−5で抽出した結果は図4−12のようになる。
【0017】
以上で求めたマッチング画像12を用いてパターンマッチング部4では、頭部姿勢を推定する(ステップS1−6)。
ここで、マッチングパターンDB9には図5の14に示すテンプレートが格納されているとする。前述の通り、携帯電話や電子手帳でTV電話機能などを利用する際に人物の顔を撮影する場合、予め画角が想定できることから、顔の向きに応じた目および口領域の状態が予め予測ができる。従って、マッチングパターンDB9では、想定した頭部姿勢における目および口領域の2値のマスク画像を格納しておき、マッチング画像13と各テンプレート画像との論理積を計算し、その結果得られる画像の画素1(マッチングした画素)の数を計算し、もっとも数が多いものを選択することで、照合結果15を得ることができる。このように、2値化によりパターン・マッチングの検出がアナログ比較ではなくともよく、非常に簡単に行える。
【0018】
以上のように、マッチングパターンDBに格納したパターンの数だけの姿勢情報しか推定できないが、非常に処理が単純であることから、計算能力の低いハードウェアにおいても十分実時間で処理が可能である。
【0019】
図1の構成においては、マッチングパターンDBに規定のパターンを格納するようにしたが、最初にビデオカメラから取得した画像を用いて、ユーザ個人のテンプレート画像を生成してもよい。
図7は、マッチング・パターンを映像キャプチャ部2の出力から作成する場合の特定部分姿勢抽出構成図である。図において、撮影した画像から、姿勢パターンのテンプレート画像を生成するためのマッチングパターン生成部16を設けている。
【0020】
次に動作を図8を用いて説明する。図8は、映像キャプチャ部2により通常姿勢で撮影した画像を2値化後、その画像を基にテンプレート画像を生成した結果を示した図である。
ここでは、映像キャプチャ部2で最初にキャプチャする画像を通常の姿勢(カメラに対して正面を向いた姿勢)と見なす、あるいは、ユーザに通常の姿勢で撮影を依頼し、通常姿勢の画像を取得する。
【0021】
以上のようにして取得した画像をマッチング画像生成部3により2値化した画像17をマッチングテンプレート生成部16においてアフィン変換を用いて例えば、首を左右にかしげた画像、首を左右に振った画像、上下に振った画像を生成する。
アフィン変換は、次式で示す行列で表現できる。
【0022】
【数1】
【0023】
(式5)で示したアフィン変換行列を、それぞれの姿勢に対応して用意し、2値画像17の画素値が1の座標を次の(式6)で変換し、変換後の座標に画素値1をそれ以外を画素値0とすることで図8の18に示す各姿勢に応じた画像を生成することができる。
【0024】
【数2】
【0025】
なお、(式6)では、元の座標をX,Yとし、変換後の座標をx,yとしている。また、2値画像17は平面としている。
以上のようにマッチングパターン18を生成後は、図1の構成と同様の処理を行って姿勢を推定することが可能である。
なお、手間はかかるが、ユーザに例えば図7の18に示される各種の姿勢をとってもらって、それを2値化するようにしてもよい。そうすれば、アフィン変換なしでテンプレートを生成できる。
【0026】
以上のように短時間もしくは実時間頭部姿勢推定装置を構成することにより、ユーザの顔の特徴に適合したテンプレートを生成するため、マッチング精度が向上できる効果がある。
なお、以降の実施の形態においても、特定部分として頭部または顔の姿勢の推定について説明したが、特定部分としてはこれに限定されず、手、腕、足あるいは上半身等、他の部分であってもよい。
【0027】
実施の形態2.
以上の実施の形態1では、マッチングパターンとマッチング画像とを照合することにより頭部姿勢を推定していたが、マッチング画像の画素値1の画素の分布から頭部姿勢を推定するようにマッチング手段を変更した場合の形態を説明する。
図9は本実施の形態における特定部分姿勢推定装置の構成を示した図である。図において、マッチング画像の画素分布を求め、その分布の状態により頭部姿勢を推定するための画素分布計測部19を設けている。
【0028】
次に動作を図10を用いて説明する。図10は、画素分布に応じて頭部姿勢を推定するためのマップを示したものである。
マッチング画像の画素値1の画素が、マップ20のどの領域に多く分布するか、各領域に入る画素数をカウントし、そのカウント数が多い領域に対応する頭部姿勢を推定結果とする。
【0029】
このように、画素分布を用いれば、さらに処理を簡略化することが可能となり、従って、計算能力の低いハードウェアによっても、処理がさらに短縮できる効果がある。
【0030】
【発明の効果】
以上のようにこの発明によれば、入力画像を所定範囲内の平均画像に基づいて2値化して部品を特定するマッチング画像生成部と、この得られた2値画像と所定のテンプレートとを照合して姿勢を検出するパターン・マッチング部とを備えたので、規模を抑えて容易に部分姿勢を推定できる効果がある。
【図面の簡単な説明】
【図1】この発明の実施の形態1における特定部分姿勢推定装置の構成を示す図である。
【図2】実施の形態1における特定部分姿勢推定装置の動作を示すフロー図である。
【図3】実施の形態1におけるマッチング画像生成部が行なう2値化動作を示すフロー図である。
【図4】実施の形態1における設定しきい値を得る範囲を説明する図である。
【図5】実施の形態1におけるマッチング画像生成部が行なう2値化動作を説明するための図である。
【図6】実施の形態1におけるパターン・マッチング部が行なうマッチング動作を説明するための図である。
【図7】実施の形態1における他の特定部分姿勢推定装置の構成を示す図である。
【図8】実施の形態1における他のパターン・マッチング部が行なうテンプレート作成動作を説明するための図である。
【図9】実施の形態2における特定部分姿勢推定装置の構成を示す図である。
【図10】実施の形態2におけるパターン・マッチング部が行なう画素分布による姿勢抽出を説明するための図である。
【図11】従来の画像処理装置による姿勢抽出のための構成を示す図である。
【符号の説明】
1 特定部分姿勢推定装置、2 映像キャプチャ部、3 マッチング画像生成部、4 パターン・マッチング部、5 色空間(グレースケール画像)変換部、6 2値画像生成部、7 部品候補抽出部、8 マッチング部、9 マッチング・パターン・データベース、16 マッチング・パターン生成部、19 画素分布計測部。
Claims (5)
- 特定部分を抽出した入力画像の各画素を所定座標範囲内の画像値に基づいた設定しきい値で2値化し、更に大きさが設定範囲内である部品を特定して2値画像を得るマッチング画像生成部と、
上記特定して得られた2値画像と、所定のテンプレートと照合して姿勢を検出するパターン・マッチング部、とを備えたことを特徴とする特定部分姿勢推定装置。 - マッチング画像生成部は、入力の画像をグレースケール画像に変換し、該グレースケール画像の輝度を、対象画素を座標中心として所定範囲内のある画素の輝度の平均値、または中央値をしきい値として2値化するようにしたことを特徴とする請求項1記載の特定部分姿勢推定装置。
- パターン・マッチング部は、予め複数の特定入力画像によりマッチング画像生成して、該生成した2値化画像をテンプレートの要素としたことを特徴とする請求項1記載の特定部分姿勢推定装置。
- パターン・マッチング部は、テンプレートの各要素との照合を画素の論理積で得るようにしたことを特徴とする請求項1記載の特定部分姿勢推定装置。
- パターン・マッチング部は、マッチング画像生成部で得られる2値画像から特定の値を持つ画素を求め、それらの画素の画像中における分布の状態から検出対象である特定部分の傾きを推定するようにしたことを特徴とする請求項1記載の特定部分姿勢推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003002875A JP4298303B2 (ja) | 2003-01-09 | 2003-01-09 | 姿勢推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003002875A JP4298303B2 (ja) | 2003-01-09 | 2003-01-09 | 姿勢推定装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004213589A true JP2004213589A (ja) | 2004-07-29 |
JP2004213589A5 JP2004213589A5 (ja) | 2006-06-15 |
JP4298303B2 JP4298303B2 (ja) | 2009-07-15 |
Family
ID=32820495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003002875A Expired - Fee Related JP4298303B2 (ja) | 2003-01-09 | 2003-01-09 | 姿勢推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4298303B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8135209B2 (en) | 2005-07-19 | 2012-03-13 | Nec Corporation | Articulated object position and posture estimation device, method and program |
US8749658B2 (en) | 2009-04-06 | 2014-06-10 | Nec Corporation | Data processing device, image matching method, program, and image matching system |
CN109903264A (zh) * | 2019-01-16 | 2019-06-18 | 深圳市旭东数字医学影像技术有限公司 | 数字人图像与ct图像的配准方法及系统 |
WO2023153094A1 (ja) * | 2022-02-14 | 2023-08-17 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および代表座標導出方法 |
-
2003
- 2003-01-09 JP JP2003002875A patent/JP4298303B2/ja not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8135209B2 (en) | 2005-07-19 | 2012-03-13 | Nec Corporation | Articulated object position and posture estimation device, method and program |
US8749658B2 (en) | 2009-04-06 | 2014-06-10 | Nec Corporation | Data processing device, image matching method, program, and image matching system |
CN109903264A (zh) * | 2019-01-16 | 2019-06-18 | 深圳市旭东数字医学影像技术有限公司 | 数字人图像与ct图像的配准方法及系统 |
CN109903264B (zh) * | 2019-01-16 | 2023-01-03 | 深圳市旭东数字医学影像技术有限公司 | 数字人图像与ct图像的配准方法及系统 |
WO2023153094A1 (ja) * | 2022-02-14 | 2023-08-17 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および代表座標導出方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4298303B2 (ja) | 2009-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6125188B2 (ja) | 映像処理方法及び装置 | |
JP4251719B2 (ja) | 複数人物が存在する場合の人間の顔のロバスト追跡システム | |
US9396382B2 (en) | System and method for a biometric image sensor with spoofing detection | |
US8059870B2 (en) | Time-of-flight sensor-assisted iris capture system and method | |
KR101390756B1 (ko) | 안면 특징 검출 방법 및 장치 | |
JP4004634B2 (ja) | 顔映像の目位置検出装置及び方法 | |
JP2004357277A (ja) | デジタル画像処理方法 | |
JP2008234208A (ja) | 顔部位検出装置及びプログラム | |
JP2003244521A (ja) | 情報処理方法、装置および記録媒体 | |
WO2010032126A2 (en) | A vein pattern recognition based biometric system and methods thereof | |
JP4729188B2 (ja) | 視線検出装置 | |
JP2007052609A (ja) | 手領域検出装置及び手領域検出方法、並びにプログラム | |
US9204130B2 (en) | Method and system for creating a three dimensional representation of an object | |
KR101769741B1 (ko) | 동공 탐지를 통한 홍채 인식 방법 및 홍채 인식 장치 | |
Panetta et al. | Unrolling post-mortem 3D fingerprints using mosaicking pressure simulation technique | |
JP4298303B2 (ja) | 姿勢推定装置 | |
JPH09229646A (ja) | 物体認識方法 | |
CN106446859A (zh) | 利用手机前置摄像头自动识别人眼中黑点和血丝的方法 | |
KR20080101388A (ko) | 엔엠씨티 기반의 얼굴 검출 방법 | |
CN112926367A (zh) | 一种活体检测的设备及方法 | |
WO2005093656A1 (ja) | 特定部分姿勢推定装置、特定部分姿勢推定方法及び特定部分姿勢推定プログラム | |
CN110363192A (zh) | 物件影像辨识系统及物件影像辨识方法 | |
JP5056662B2 (ja) | 皮下パターン取得装置、皮下パターン取得方法および構造物テンプレート | |
KR100593606B1 (ko) | 패턴영상 투사에 의한 물체인식 장치 및 이에 적용되는영상처리 방법 | |
KR100776880B1 (ko) | 특정 부분 자세 추정 장치, 특정 부분 자세 추정 방법 및특정 부분 자세 추정 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040519 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041025 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051221 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060421 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090203 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090415 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |