JP2000099741A - 多眼画像処理による人物の三次元姿勢推定方法 - Google Patents
多眼画像処理による人物の三次元姿勢推定方法Info
- Publication number
- JP2000099741A JP2000099741A JP10288896A JP28889698A JP2000099741A JP 2000099741 A JP2000099741 A JP 2000099741A JP 10288896 A JP10288896 A JP 10288896A JP 28889698 A JP28889698 A JP 28889698A JP 2000099741 A JP2000099741 A JP 2000099741A
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- gravity
- posture
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】 頭頂，手先，足先の各特徴部位を実時間で検
出し、それらより三次元復元を行なうことのできるよう
な多眼画像処理による人物の三次元姿勢推定方法を提供
する。 【解決手段】 ＣＣＤカメラ１〜３により人物の正面像
と側面像と立面像とを撮像し、クロマキー背景分離装置
４によって背景を分離し、画像処理装置５によって各視
点の画像に対してシルエット抽出と重心検出と主軸検出
と特徴点検出の各処理を行ない、特徴点の三次元位置を
もって姿勢と推定する。
出し、それらより三次元復元を行なうことのできるよう
な多眼画像処理による人物の三次元姿勢推定方法を提供
する。 【解決手段】 ＣＣＤカメラ１〜３により人物の正面像
と側面像と立面像とを撮像し、クロマキー背景分離装置
４によって背景を分離し、画像処理装置５によって各視
点の画像に対してシルエット抽出と重心検出と主軸検出
と特徴点検出の各処理を行ない、特徴点の三次元位置を
もって姿勢と推定する。
Description
【０００１】
【発明の属する技術分野】この発明は多眼画像処理によ
る人物の三次元姿勢推定方法に関し、特に、複数のカメ
ラで撮像した人物の多眼シルエット画像に対し、人体形
状の先見的知識を用いた特徴部位の検出を行ない、画像
間でのステレオ視により三次元的な姿勢を推定する多眼
画像処理による人物の三次元姿勢推定方法に関する。
る人物の三次元姿勢推定方法に関し、特に、複数のカメ
ラで撮像した人物の多眼シルエット画像に対し、人体形
状の先見的知識を用いた特徴部位の検出を行ない、画像
間でのステレオ視により三次元的な姿勢を推定する多眼
画像処理による人物の三次元姿勢推定方法に関する。
【０００２】
【従来の技術】１枚のシルエット画像からその画像中に
映された観察物体の姿勢をモデルマッチングによって推
定する方法が、亀田能成らが発表した「シルエット画像
からの関節物体の姿勢推定法」，電子情報通信学会論文
誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．１，ｐ
ｐ．２６−３５（１９９６年１月）によって提案されて
いる。
映された観察物体の姿勢をモデルマッチングによって推
定する方法が、亀田能成らが発表した「シルエット画像
からの関節物体の姿勢推定法」，電子情報通信学会論文
誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．１，ｐ
ｐ．２６−３５（１９９６年１月）によって提案されて
いる。
【０００３】また、本願発明者らは特願平９−８６１３
２号において人体姿勢の推定方法を提案した。
２号において人体姿勢の推定方法を提案した。
【０００４】
【発明が解決しようとする課題】上述の論文で発表され
た方法は、対象人物の正確な形状モデルが必要なため任
意の人物への適用は難しく、モデル当てはめの際の計算
コストが比較的高く、実時間処理に不適切である。
た方法は、対象人物の正確な形状モデルが必要なため任
意の人物への適用は難しく、モデル当てはめの際の計算
コストが比較的高く、実時間処理に不適切である。
【０００５】また、特願平９−８６１３２号では、単眼
画像を用いて非接触な人物の姿勢を推定するものである
が、単眼像であるために身体パーツ同士の自己遮蔽によ
る特定誤りや、三次元的な姿勢情報が得られないという
課題が未解決であった。
画像を用いて非接触な人物の姿勢を推定するものである
が、単眼像であるために身体パーツ同士の自己遮蔽によ
る特定誤りや、三次元的な姿勢情報が得られないという
課題が未解決であった。
【０００６】それゆえに、この発明の主たる目的は、頭
頂，手先，足先の各特徴部位を実時間で検出し、それら
より三次元復元を行なうことができるような多眼画像処
理による人物の三次元姿勢推定方法を提供することであ
る。
頂，手先，足先の各特徴部位を実時間で検出し、それら
より三次元復元を行なうことができるような多眼画像処
理による人物の三次元姿勢推定方法を提供することであ
る。
【０００７】
【課題を解決するための手段】請求項１に係る発明は、
少なくとも２台のカメラで異なる方向から撮像された各
画像から人物の三次元姿勢を推定する多眼画像処理によ
る人物の三次元姿勢推定方法であって、少なくとも２台
のカメラで撮像された各画像をしきい値処理して得られ
た人物領域に距離変換を施すことによって身体重心を求
める第１のステップと、第１のステップで求めた各身体
重心の水平位置よりも上方の画像から腕領域を除去し、
上半身距離画像の主軸を計算して上半身傾き角および回
転角を求める第２のステップと、距離変換を施した距離
変換画像の極大値を求めて骨格画像を作成し、その骨格
画像のうちの身体重心の垂直位置より下方の下半身骨格
画像の端点から所定の条件を満たす端点を足先点として
選ぶ第３のステップと、人物領域の輪郭形状によって手
先点と首位置を求め、頭頂点を決定する第４のステップ
と、遺伝的アルゴリズムを用いて頭頂点と手先点と足先
点の特徴部位から肘と膝の位置を特定する第５のステッ
プと、第５のステップで求められた各特徴部位の二次元
位置を用いて、人物の三次元姿勢を判別する第６のステ
ップを含む。
少なくとも２台のカメラで異なる方向から撮像された各
画像から人物の三次元姿勢を推定する多眼画像処理によ
る人物の三次元姿勢推定方法であって、少なくとも２台
のカメラで撮像された各画像をしきい値処理して得られ
た人物領域に距離変換を施すことによって身体重心を求
める第１のステップと、第１のステップで求めた各身体
重心の水平位置よりも上方の画像から腕領域を除去し、
上半身距離画像の主軸を計算して上半身傾き角および回
転角を求める第２のステップと、距離変換を施した距離
変換画像の極大値を求めて骨格画像を作成し、その骨格
画像のうちの身体重心の垂直位置より下方の下半身骨格
画像の端点から所定の条件を満たす端点を足先点として
選ぶ第３のステップと、人物領域の輪郭形状によって手
先点と首位置を求め、頭頂点を決定する第４のステップ
と、遺伝的アルゴリズムを用いて頭頂点と手先点と足先
点の特徴部位から肘と膝の位置を特定する第５のステッ
プと、第５のステップで求められた各特徴部位の二次元
位置を用いて、人物の三次元姿勢を判別する第６のステ
ップを含む。
【０００８】請求項２に係る発明では、請求項１のカメ
ラは人物の正面，側面，立面を撮像し、正面，側面，立
面のいずれか１つの画像が遮蔽されたとき、残りの２つ
の画像を用いて三次元姿勢を推定する。
ラは人物の正面，側面，立面を撮像し、正面，側面，立
面のいずれか１つの画像が遮蔽されたとき、残りの２つ
の画像を用いて三次元姿勢を推定する。
【０００９】
【発明の実施の形態】図１はこの発明の一実施形態の概
略ブロック図である。図１において、３台のＣＣＤカメ
ラ１，２，３はそれぞれ人物の正面像と、側面像と、立
面像を撮像する。なお、図１では３台のＣＣＤカメラ１
〜３を用いているが、三次元画像を復元するためには、
多少精度が悪くなるが、カメラは少なくとも２台あれば
よい。
略ブロック図である。図１において、３台のＣＣＤカメ
ラ１，２，３はそれぞれ人物の正面像と、側面像と、立
面像を撮像する。なお、図１では３台のＣＣＤカメラ１
〜３を用いているが、三次元画像を復元するためには、
多少精度が悪くなるが、カメラは少なくとも２台あれば
よい。
【００１０】ＣＣＤカメラ１〜３の画像出力はクロマキ
ー背景分離装置４に与えられ、クロマキー処理により背
景画像が分離された画像処理装置５に与えられる。画像
処理装置５は与えられた人物の正面像と側面像と立面像
とに基づいて、シルエット抽出，重心検出，主軸検出，
特徴点検出の各処理を行ない、三次元復元を行なう。
ー背景分離装置４に与えられ、クロマキー処理により背
景画像が分離された画像処理装置５に与えられる。画像
処理装置５は与えられた人物の正面像と側面像と立面像
とに基づいて、シルエット抽出，重心検出，主軸検出，
特徴点検出の各処理を行ない、三次元復元を行なう。
【００１１】図２はこの発明の一実施形態の動作を説明
するためのフローチャートであり、図３は取込んだ画像
から重心検出までの処理を示す図であり、図４は主軸検
出から特徴点検出までの処理を示し、図５は復元された
三次元画像の一例を示す図である。
するためのフローチャートであり、図３は取込んだ画像
から重心検出までの処理を示す図であり、図４は主軸検
出から特徴点検出までの処理を示し、図５は復元された
三次元画像の一例を示す図である。
【００１２】次に、図１〜図５を参照して、この発明の
実施形態の具体的な動作について説明する。図２に示す
ステップ（図示ではＳＰと略称する）ＳＰ１において、
３台のＣＣＤカメラ１〜３によってたとえば図３（ａ）
に示すような人物画像が撮像され、図３（ｂ１），（ｂ
２），（ｂ３）に示すような正面像と側面像と立面像と
が撮像される。各カメラ１〜３の画像出力はクロマキー
背景分離装置４に与えられて背景画像が分離される。画
像処理装置５はステップＳＰ２において背景画像が分離
された正面像と側面像と立面像とからしきい値処理によ
り、図３（ｃ１），（ｃ２），（ｃ３）に示すようなシ
ルエット画像を抽出する。
実施形態の具体的な動作について説明する。図２に示す
ステップ（図示ではＳＰと略称する）ＳＰ１において、
３台のＣＣＤカメラ１〜３によってたとえば図３（ａ）
に示すような人物画像が撮像され、図３（ｂ１），（ｂ
２），（ｂ３）に示すような正面像と側面像と立面像と
が撮像される。各カメラ１〜３の画像出力はクロマキー
背景分離装置４に与えられて背景画像が分離される。画
像処理装置５はステップＳＰ２において背景画像が分離
された正面像と側面像と立面像とからしきい値処理によ
り、図３（ｃ１），（ｃ２），（ｃ３）に示すようなシ
ルエット画像を抽出する。
【００１３】なお、これらの処理に関して、先に述べた
特願平９−８６１３２号で用いたように赤外線カメラを
用い、得られた熱画像をしきい値処理して人物に対応す
る領域を抽出してシルエット画像を得るようにしてもよ
い。
特願平９−８６１３２号で用いたように赤外線カメラを
用い、得られた熱画像をしきい値処理して人物に対応す
る領域を抽出してシルエット画像を得るようにしてもよ
い。
【００１４】次に、ステップＳＰ３において、図３（ｃ
１），（ｃ２），（ｃ３）に示すようなシルエット画像
から図３（ｄ１），（ｄ２），（ｄ３）に示す重心を検
出する。すなわち、シルエット画像ｆijから身体重心を
求めるために距離変換が施される。距離変換画像ｄijの
重心（Ｉc ，Ｊc ）は次式を用いて求められる。
１），（ｃ２），（ｃ３）に示すようなシルエット画像
から図３（ｄ１），（ｄ２），（ｄ３）に示す重心を検
出する。すなわち、シルエット画像ｆijから身体重心を
求めるために距離変換が施される。距離変換画像ｄijの
重心（Ｉc ，Ｊc ）は次式を用いて求められる。
【００１５】
【数１】 ここで、Ｉc とＪc は距離値で重み付けされた領域の重
心である。二値であるシルエット画像より重心を直接求
める場合、腕や足の姿勢によって重心位置が著しく移動
してしまい安定でない。しかし、距離変換画像を用いる
ことで手足の姿勢の重心位置への影響を極力抑えること
が可能となる。
心である。二値であるシルエット画像より重心を直接求
める場合、腕や足の姿勢によって重心位置が著しく移動
してしまい安定でない。しかし、距離変換画像を用いる
ことで手足の姿勢の重心位置への影響を極力抑えること
が可能となる。
【００１６】ステップＳＰ４において、図４（ａ１），
（ａ２），（ａ３）に示す上半身主軸の抽出を行なう。
距離変換画像のうち、身体重心の水平位置よりも上方の
画像に対し、腕領域の除去処理のため前フレームの上半
身主軸を対称軸としたガウス分布を距離位置に乗じる。
得られた画像（上半身距離画像）の領域は、胴体部と頭
部にほぼ集中しているので、上半身距離画像ｇijの重心
を求める。重心を通るｇijの慣性主軸の角度θは次式に
示すように表わされ、上半身の傾きと見なすことができ
る。
（ａ２），（ａ３）に示す上半身主軸の抽出を行なう。
距離変換画像のうち、身体重心の水平位置よりも上方の
画像に対し、腕領域の除去処理のため前フレームの上半
身主軸を対称軸としたガウス分布を距離位置に乗じる。
得られた画像（上半身距離画像）の領域は、胴体部と頭
部にほぼ集中しているので、上半身距離画像ｇijの重心
を求める。重心を通るｇijの慣性主軸の角度θは次式に
示すように表わされ、上半身の傾きと見なすことができ
る。
【００１７】
【数２】 水平方向に手を延ばした場合などは脊髄に沿う方向に主
軸が定まらないことが考えられるが、腕領域の除去処理
によりこの問題を解決できる。
軸が定まらないことが考えられるが、腕領域の除去処理
によりこの問題を解決できる。
【００１８】次に、正面，側面，立面の特徴点の検出が
行なわれる。すなわち、ステップＳＰ５において、図４
（ｂ１），（ｂ２），（ｂ３）に示すような輪郭形状が
獲得される。シルエット画像において身体重心からラス
タ走査し、最初に発見された輪郭（境界）画素を開始点
として反時計回りに境界線の追跡が行なわれる。境界
（輪郭）線上で「１」画素、それ以外で「０」画素とな
る二値画像を輪郭画像と呼ぶことにする。ここで、仮頭
頂点として上半身主軸から最短距離の輪郭点（上半身重
心よりも上方に位置するもの）を選ぶ。
行なわれる。すなわち、ステップＳＰ５において、図４
（ｂ１），（ｂ２），（ｂ３）に示すような輪郭形状が
獲得される。シルエット画像において身体重心からラス
タ走査し、最初に発見された輪郭（境界）画素を開始点
として反時計回りに境界線の追跡が行なわれる。境界
（輪郭）線上で「１」画素、それ以外で「０」画素とな
る二値画像を輪郭画像と呼ぶことにする。ここで、仮頭
頂点として上半身主軸から最短距離の輪郭点（上半身重
心よりも上方に位置するもの）を選ぶ。
【００１９】ステップＳＰ６において、足先点の検出が
行なわれる。身体重心の算出に用いた距離変換画像の極
大値を求めることで骨格画像を作成する。下半身（身体
重心の垂直位置より下方）かつ左（右）半身（身体重心
の水平位置を中心として左あるいは右側）に存在する骨
格の端点の中から「身体重心からの水平偏差が最大」の
条件を満たす端点を足先点として選ぶ。
行なわれる。身体重心の算出に用いた距離変換画像の極
大値を求めることで骨格画像を作成する。下半身（身体
重心の垂直位置より下方）かつ左（右）半身（身体重心
の水平位置を中心として左あるいは右側）に存在する骨
格の端点の中から「身体重心からの水平偏差が最大」の
条件を満たす端点を足先点として選ぶ。
【００２０】ステップＳＰ７において手先点の検出が行
なわれる。輪郭上で仮頭頂から足先までに相当する輪郭
に含まれる画素数をｌh ：ｍh ：ｎh の比率に分割し、
中央部分に含まれる輪郭点を手先点の候補区間とする。
なお、ｌh ，ｍh ，ｎh は経験的に求めた定数である。
なわれる。輪郭上で仮頭頂から足先までに相当する輪郭
に含まれる画素数をｌh ：ｍh ：ｎh の比率に分割し、
中央部分に含まれる輪郭点を手先点の候補区間とする。
なお、ｌh ，ｍh ，ｎh は経験的に求めた定数である。
【００２１】候補中で垂直位置が最高（手先候補点Ａ）
および最低の点（手先候補点Ｂ）と、身体重心からの水
平距離が最長の点（手先候補点Ｃ）を選ぶ。そして、以
下の条件に従って順に評価を加え、上記を満たす候補点
を手先点とする。
および最低の点（手先候補点Ｂ）と、身体重心からの水
平距離が最長の点（手先候補点Ｃ）を選ぶ。そして、以
下の条件に従って順に評価を加え、上記を満たす候補点
を手先点とする。
【００２２】 手先候補点Ａの垂直位置＞仮頭頂点の
垂直位置−Ｔ1 手先候補点Ｂの垂直位置＜身体重心の垂直位置＋Ｔ
1 手先候補点Ｂの水平位置＜身体重心の水平位置＋Ｔ
2 候補区間の終点 ここで、Ｔ1 ，Ｔ2 はそれぞれシルエットの外接四角形
の高さによって定まる定数である。
垂直位置−Ｔ1 手先候補点Ｂの垂直位置＜身体重心の垂直位置＋Ｔ
1 手先候補点Ｂの水平位置＜身体重心の水平位置＋Ｔ
2 候補区間の終点 ここで、Ｔ1 ，Ｔ2 はそれぞれシルエットの外接四角形
の高さによって定まる定数である。
【００２３】ステップＳＰ８において頭頂点の検出が行
なわれる。輪郭上で仮頭頂から手先に相当する輪郭の画
素数をｌp ：ｍp ：ｎp の比率に分割し、中央部分に含
まれる輪郭点を手先点の候補とする。そして、上半身主
軸までの距離が最短である点を首位置として、左右の首
位置に挟まれている輪郭の二等分点を頭頂点とする。手
先点の検出の場合と同様にして、ｌp ，ｍp ，ｎp は経
験的に求めた定数である。
なわれる。輪郭上で仮頭頂から手先に相当する輪郭の画
素数をｌp ：ｍp ：ｎp の比率に分割し、中央部分に含
まれる輪郭点を手先点の候補とする。そして、上半身主
軸までの距離が最短である点を首位置として、左右の首
位置に挟まれている輪郭の二等分点を頭頂点とする。手
先点の検出の場合と同様にして、ｌp ，ｍp ，ｎp は経
験的に求めた定数である。
【００２４】ところで、全身の姿勢をコンピュータグラ
フィックモデルとして再現しようとする場合、重心，
頭，手，足の各位置の情報だけでは不十分である。たと
えば、肘の位置が既知でなければ腕の姿勢は数多くのパ
ターンを取り得ることになり、一意に決定することがで
きず、肘と膝の位置情報が重要となる。しかし、これら
の部位は輪郭として明確な特徴を備えておらず、手先な
どのように輪郭に基づくヒューリスティックな手法では
検出が困難である。そこで、この実施形態では、遺伝的
アルゴリズムによって肘と膝の位置を推定する。
フィックモデルとして再現しようとする場合、重心，
頭，手，足の各位置の情報だけでは不十分である。たと
えば、肘の位置が既知でなければ腕の姿勢は数多くのパ
ターンを取り得ることになり、一意に決定することがで
きず、肘と膝の位置情報が重要となる。しかし、これら
の部位は輪郭として明確な特徴を備えておらず、手先な
どのように輪郭に基づくヒューリスティックな手法では
検出が困難である。そこで、この実施形態では、遺伝的
アルゴリズムによって肘と膝の位置を推定する。
【００２５】遺伝的アルゴリズムでは対象問題の解候補
は遺伝子型として染色体で一次元的に表現される。そし
て、染色体の初期集団を発生させ、評価関数に応じた選
択淘汰，交差，突然変異という遺伝的操作を行ないなが
ら、解の集団を操作対象として並列的に探索を進めてい
く。この実施形態では、肘，膝の位置を前述の身体重
心，頭頂，手先，足先の特徴点の線形結合式で表現し、
その結合式の係数を遺伝子情報として見立て、遺伝的ア
ルゴリズムにより推定誤差が小さくなるような係数の組
合せを探索する。各フレーム毎の膝（肘）の位置を
ｘi ，推定される位置をｘ＾i とするときの適応度（評
価関数）ｆは、推定誤差ｘi −ｘ＾i の平均値／ｅと誤
差の分散の和の逆数として次式で定義される。
は遺伝子型として染色体で一次元的に表現される。そし
て、染色体の初期集団を発生させ、評価関数に応じた選
択淘汰，交差，突然変異という遺伝的操作を行ないなが
ら、解の集団を操作対象として並列的に探索を進めてい
く。この実施形態では、肘，膝の位置を前述の身体重
心，頭頂，手先，足先の特徴点の線形結合式で表現し、
その結合式の係数を遺伝子情報として見立て、遺伝的ア
ルゴリズムにより推定誤差が小さくなるような係数の組
合せを探索する。各フレーム毎の膝（肘）の位置を
ｘi ，推定される位置をｘ＾i とするときの適応度（評
価関数）ｆは、推定誤差ｘi −ｘ＾i の平均値／ｅと誤
差の分散の和の逆数として次式で定義される。
【００２６】
【数３】 ステップＳＰ９において肘位置を推定する。すなわち、
身体重心（ｘg ，ｙg），頭（ｘp ，ｙp ），手先（ｘ
h ，ｙh ），足先（ｘf ，ｙf ）の各位置の荷重線型和
を用いて次式に示すように肘の位置（ｘe ，ｙe ）を表
現する。なお、各部位はｘ〜（但し、〜は上付きの破線
を表わす）＝ｘ−ｘg のように身体重心からの相対位置
で表わしている。前述の如く、次式の係数Ｃi を遺伝的
アルゴリズムにより推定する。
身体重心（ｘg ，ｙg），頭（ｘp ，ｙp ），手先（ｘ
h ，ｙh ），足先（ｘf ，ｙf ）の各位置の荷重線型和
を用いて次式に示すように肘の位置（ｘe ，ｙe ）を表
現する。なお、各部位はｘ〜（但し、〜は上付きの破線
を表わす）＝ｘ−ｘg のように身体重心からの相対位置
で表わしている。前述の如く、次式の係数Ｃi を遺伝的
アルゴリズムにより推定する。
【００２７】
【数４】 次に、ステップＳＰ１０において膝位置の推定を行な
う。手先から足先までの輪郭において、身体重心と足先
の垂直位置の差分を二等分した垂直位置に存在する輪郭
点（ｘ1 ，ｙ1 ）を探索しておく。身体重心（ｘg ，ｙ
g ），頭（ｘp ，ｙp ），足先（ｘf ，ｙf ），輪郭点
（ｘ1 ，ｙ1 ）の各位置の荷重線型和を用いて次式に示
すように膝の位置（ｘk ，ｙk ）を表現し、遺伝的アル
ゴリズムにより係数Ｗi を推定する。図４（ｃ１），
（ｃ２），（ｃ３）に各特徴点の検出画像を示す。
う。手先から足先までの輪郭において、身体重心と足先
の垂直位置の差分を二等分した垂直位置に存在する輪郭
点（ｘ1 ，ｙ1 ）を探索しておく。身体重心（ｘg ，ｙ
g ），頭（ｘp ，ｙp ），足先（ｘf ，ｙf ），輪郭点
（ｘ1 ，ｙ1 ）の各位置の荷重線型和を用いて次式に示
すように膝の位置（ｘk ，ｙk ）を表現し、遺伝的アル
ゴリズムにより係数Ｗi を推定する。図４（ｃ１），
（ｃ２），（ｃ３）に各特徴点の検出画像を示す。
【００２８】
【数５】 このようにして正面特徴点と側面特徴点と立面特徴点と
が検出されると、それら特徴点群の三角測量を行なうス
テップＳＰ１１において特徴点群の三次元位置をもって
姿勢と推定する。
が検出されると、それら特徴点群の三角測量を行なうス
テップＳＰ１１において特徴点群の三次元位置をもって
姿勢と推定する。
【００２９】図５は、復元された三次元画像の一例を示
す図である。上述の如く推定された三次元姿勢に基づい
てコンピュータグラフィックス（ＣＧ）で発生された人
形のキャラクタで姿勢を再現したのが図５（ａ１），
（ａ２），（ａ３）である。これらは、図３（ｂ１），
（ｂ２），（ｂ３）に示した実際に撮像された正面像，
側面像，立面像に対応している。また、図５（ｂ１），
（ｂ２）は、別のキャラクタにより再現した正面像と側
面像である。
す図である。上述の如く推定された三次元姿勢に基づい
てコンピュータグラフィックス（ＣＧ）で発生された人
形のキャラクタで姿勢を再現したのが図５（ａ１），
（ａ２），（ａ３）である。これらは、図３（ｂ１），
（ｂ２），（ｂ３）に示した実際に撮像された正面像，
側面像，立面像に対応している。また、図５（ｂ１），
（ｂ２）は、別のキャラクタにより再現した正面像と側
面像である。
【００３０】上述の如く、この実施形態によれば、正
面，側面，立面の各画像を用いて所定のアルゴリズムを
適用して各特徴点を求めるようにしたので、いずれかの
視点からの画像にのみ自己遮蔽が発生しても、残りの２
つの視点の画像を用いて三次元の特徴点位置を求めるこ
とが容易となる。
面，側面，立面の各画像を用いて所定のアルゴリズムを
適用して各特徴点を求めるようにしたので、いずれかの
視点からの画像にのみ自己遮蔽が発生しても、残りの２
つの視点の画像を用いて三次元の特徴点位置を求めるこ
とが容易となる。
【００３１】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
【００３２】
【発明の効果】以上のように、この発明によれば、少な
くとも２台のカメラで異なる方向から撮像された人物の
シルエット画像に対して、人体形状の先見的知識を用い
た特徴部位の検出を行ない、画像間でのステレオ視によ
り三次点的な姿勢を推定することができる。しかも、非
接触方式のために人体に負担をかけることがなく、任意
の人物の姿勢に対して有効となる。しかも、専用のハー
ドウェアを用いることなく、パーソナルコンピュータの
ソフト処理によって容易に実現できる。さらに、ジェス
チュア認識などへ利用できる程度の精度を有することが
できるので、福祉やテレビゲームや通信などの分野への
応用が可能となる。
くとも２台のカメラで異なる方向から撮像された人物の
シルエット画像に対して、人体形状の先見的知識を用い
た特徴部位の検出を行ない、画像間でのステレオ視によ
り三次点的な姿勢を推定することができる。しかも、非
接触方式のために人体に負担をかけることがなく、任意
の人物の姿勢に対して有効となる。しかも、専用のハー
ドウェアを用いることなく、パーソナルコンピュータの
ソフト処理によって容易に実現できる。さらに、ジェス
チュア認識などへ利用できる程度の精度を有することが
できるので、福祉やテレビゲームや通信などの分野への
応用が可能となる。
【図１】この発明の一実施形態の概略ブロック図であ
る。
る。
【図２】この発明の一実施形態の動作を説明するための
フローチャートである。
フローチャートである。
【図３】取込んだ画像から重心検出までの処理を示す図
である。
である。
【図４】主軸検出から特徴点検出までの処理を示す図で
ある。
ある。
【図５】復元された三次元画像の一例を示す図である。
１〜３ ＣＣＤカメラ ４ クロマキー背景分離装置 ５ 画素処理装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大谷 淳 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール知能映 像通信研究所内
Claims (2)
- 【請求項１】 少なくとも２台のカメラで異なる方向か
ら撮像された各画像から人物の三次元姿勢を推定する多
眼画像処理による人物の三次元姿勢推定方法であって、 前記少なくとも２台のカメラで撮像された各画像をしき
い値処理して得られた人物領域に、距離変換を施すこと
によって身体重心を求める第１のステップ、 前記第１のステップで求めた各身体重心の水平位置より
も上方の画像から腕領域を除去し、上半身距離画像の主
軸を計算して上半身傾き角および回転角を求める第２の
ステップ、 前記距離変換を施した距離変換画像の極大値を求めて骨
格画像を作成し、その骨格画像のうちの身体重心の垂直
位置より下方の下半身骨格画像の端点から所定の条件を
満たす端点を足先点として選ぶ第３のステップ、 前記人物領域の輪郭形状によって手先点と首位置を求
め、頭頂点を決定する第４のステップ、 遺伝的アルゴリズムを用いて前記頭頂点と手先点と足先
点の特徴部位から肘と膝の位置を推定する第５のステッ
プ、および前記第５のステップで求められた各特徴部位
の二次元位置によって前記人物の三次元姿勢を判別する
第６のステップを含むことを特徴とする、多眼画像処理
による人物の三次元姿勢推定方法。 - 【請求項２】 前記カメラは前記人物の正面，側面，立
面を撮像し、 前記正面，側面，立面のいずれか１つの画像が遮蔽され
たとき、残りの２つの画像を用いて三次元姿勢を推定す
ることを特徴とする、請求項１に記載の多眼画像処理に
よる人物の三次元姿勢推定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10288896A JP2967086B1 (ja) | 1998-09-25 | 1998-09-25 | 多眼画像処理による人物の三次元姿勢推定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10288896A JP2967086B1 (ja) | 1998-09-25 | 1998-09-25 | 多眼画像処理による人物の三次元姿勢推定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2967086B1 JP2967086B1 (ja) | 1999-10-25 |
| JP2000099741A true JP2000099741A (ja) | 2000-04-07 |
Family
ID=17736196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10288896A Expired - Lifetime JP2967086B1 (ja) | 1998-09-25 | 1998-09-25 | 多眼画像処理による人物の三次元姿勢推定方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2967086B1 (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003090714A (ja) * | 2001-09-18 | 2003-03-28 | Shigenori Tanaka | 画像処理装置、及び画像処理プログラム |
| JP2005040556A (ja) * | 2003-07-25 | 2005-02-17 | Yoshihito Ono | モーション・キャプチャーを用いた運動機能並びに運動能力の分析 |
| US7340100B2 (en) | 2002-08-09 | 2008-03-04 | Honda Giken Kogyo Kabushiki Kaisha | Posture recognition apparatus and autonomous robot |
| JP2008117059A (ja) * | 2006-11-01 | 2008-05-22 | Fuji Heavy Ind Ltd | 制御パラメータの自動調整装置 |
| JP2008538327A (ja) * | 2005-04-18 | 2008-10-23 | 本田技研工業株式会社 | ロボットコマンド決定方法およびロボットコマンド決定システム |
| JP2009103709A (ja) * | 2003-11-21 | 2009-05-14 | Siemens Corporate Res Inc | ステレオ検出器を訓練する方法 |
| JP2009211563A (ja) * | 2008-03-05 | 2009-09-17 | Tokyo Metropolitan Univ | 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム |
| JP2016140591A (ja) * | 2015-02-03 | 2016-08-08 | 国立大学法人 鹿児島大学 | 動作解析評価装置、動作解析評価方法、及びプログラム |
| JP2016178531A (ja) * | 2015-03-20 | 2016-10-06 | 大日本印刷株式会社 | 印画物作製装置 |
| KR20190022197A (ko) * | 2017-08-25 | 2019-03-06 | 숭실대학교산학협력단 | 하지부 기구학 보정 장치 및 이를 이용한 하지부 자세정보 보정 방법 |
| KR20190022198A (ko) * | 2017-08-25 | 2019-03-06 | 숭실대학교산학협력단 | 착용형 센서를 이용한 자세정보 보정 방법 및 이를 수행하는 기록매체 |
| JP2019125057A (ja) * | 2018-01-12 | 2019-07-25 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム |
| JP2019169069A (ja) * | 2018-03-26 | 2019-10-03 | Kddi株式会社 | オブジェクト分離装置、方法およびプログラム |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018036898A (ja) * | 2016-08-31 | 2018-03-08 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| JP2020188914A (ja) * | 2019-05-21 | 2020-11-26 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | データ処理装置、画像配信システム、画像解析方法及び画像解析プログラム |
-
1998
- 1998-09-25 JP JP10288896A patent/JP2967086B1/ja not_active Expired - Lifetime
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003090714A (ja) * | 2001-09-18 | 2003-03-28 | Shigenori Tanaka | 画像処理装置、及び画像処理プログラム |
| US7340100B2 (en) | 2002-08-09 | 2008-03-04 | Honda Giken Kogyo Kabushiki Kaisha | Posture recognition apparatus and autonomous robot |
| JP2005040556A (ja) * | 2003-07-25 | 2005-02-17 | Yoshihito Ono | モーション・キャプチャーを用いた運動機能並びに運動能力の分析 |
| JP2009103709A (ja) * | 2003-11-21 | 2009-05-14 | Siemens Corporate Res Inc | ステレオ検出器を訓練する方法 |
| JP2009150900A (ja) * | 2003-11-21 | 2009-07-09 | Siemens Corporate Res Inc | リアルタイムの頭部ポーズ検出において使用するためのデータベースシステム |
| JP4647687B2 (ja) * | 2005-04-18 | 2011-03-09 | 本田技研工業株式会社 | ロボットコマンド決定方法およびロボットコマンド決定システム |
| JP2008538327A (ja) * | 2005-04-18 | 2008-10-23 | 本田技研工業株式会社 | ロボットコマンド決定方法およびロボットコマンド決定システム |
| JP2008117059A (ja) * | 2006-11-01 | 2008-05-22 | Fuji Heavy Ind Ltd | 制御パラメータの自動調整装置 |
| JP2009211563A (ja) * | 2008-03-05 | 2009-09-17 | Tokyo Metropolitan Univ | 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム |
| JP2016140591A (ja) * | 2015-02-03 | 2016-08-08 | 国立大学法人 鹿児島大学 | 動作解析評価装置、動作解析評価方法、及びプログラム |
| JP2016178531A (ja) * | 2015-03-20 | 2016-10-06 | 大日本印刷株式会社 | 印画物作製装置 |
| KR20190022197A (ko) * | 2017-08-25 | 2019-03-06 | 숭실대학교산학협력단 | 하지부 기구학 보정 장치 및 이를 이용한 하지부 자세정보 보정 방법 |
| KR20190022198A (ko) * | 2017-08-25 | 2019-03-06 | 숭실대학교산학협력단 | 착용형 센서를 이용한 자세정보 보정 방법 및 이를 수행하는 기록매체 |
| KR102018951B1 (ko) * | 2017-08-25 | 2019-09-05 | 숭실대학교산학협력단 | 착용형 센서를 이용한 자세정보 보정 방법 및 이를 수행하는 기록매체 |
| KR102018950B1 (ko) * | 2017-08-25 | 2019-09-05 | 숭실대학교산학협력단 | 하지부 기구학 보정 장치 및 이를 이용한 하지부 자세정보 보정 방법 |
| JP2019125057A (ja) * | 2018-01-12 | 2019-07-25 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム |
| JP2019169069A (ja) * | 2018-03-26 | 2019-10-03 | Kddi株式会社 | オブジェクト分離装置、方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2967086B1 (ja) | 1999-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103778635B (zh) | 用于处理数据的方法和装置 | |
| JP6430064B2 (ja) | データを位置合わせする方法及びシステム | |
| JP2967086B1 (ja) | 多眼画像処理による人物の三次元姿勢推定方法 | |
| EP1870038B1 (en) | Motion capture apparatus and method, and motion capture program | |
| JP5820366B2 (ja) | 姿勢推定装置及び姿勢推定方法 | |
| US9235753B2 (en) | Extraction of skeletons from 3D maps | |
| JP6723061B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
| JP2009536731A5 (ja) | ||
| WO2007102537A1 (ja) | 姿勢推定装置および方法 | |
| JP2000251078A (ja) | 人物の３次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置 | |
| JP2019125057A (ja) | 画像処理装置及びその方法、プログラム | |
| JP2007310707A (ja) | 姿勢推定装置及びその方法 | |
| JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
| JP2012123667A (ja) | 姿勢推定装置および姿勢推定方法 | |
| JP2014026429A (ja) | 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム | |
| JP4938748B2 (ja) | 画像認識装置及びプログラム | |
| CN110895683B (zh) | 一种基于Kinect的单视点手势姿势识别方法 | |
| Iwasawa et al. | Real-time, 3D estimation of human body postures from trinocular images | |
| CN107949851A (zh) | 在场景内的物体的端点的快速和鲁棒识别 | |
| JPH08287216A (ja) | 顔面内部位認識方法 | |
| JP2001005973A (ja) | カラー画像による人物の３次元姿勢推定方法および装置 | |
| JP7024876B2 (ja) | 検出装置、処理装置、検出方法、及び処理プログラム | |
| Takahashi et al. | Real-time estimation of human body postures using Kalman filter | |
| JP2952208B2 (ja) | 人体姿勢の推定方法 | |
| JP6810442B2 (ja) | カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990803 |