JP2001188897A

JP2001188897A - 三次元形状復元方法とその装置

Info

Publication number: JP2001188897A
Application number: JP2000331312A
Authority: JP
Inventors: Tou Peter; トゥーピーター; Satoyuki Hiroi; 聡幸広井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1991-05-24
Filing date: 2000-10-30
Publication date: 2001-07-10

Abstract

(57)【要約】【目的】マンマシンインターフェースとして使用可能
な人間の指を検出する効果的な方法とその方法を用いた
装置を提供する。【構成】マンマシンインターフェースとして使用され
る人間の手の指を検出する方法は，人間の手を読み取
り，２次元ピクセルデータ形態の画像データとして出力
する段階，上記ピクセルデータに基づいて上記手のエッ
ジを検出する段階，上記検出されたエッジのイメージラ
インをパラメータ空間にパラメータ変換し，該パラメー
タ空間においてエッジピクセルを積算して上記指の向き
を決定する段階，該決定された指の向きに沿って指の先
端に対応する深いローカルミニマムを検索する段階，お
よび，上記指の先端を規定する端点をクラスタリングす
る段階を有する。好適には，上記指の向きの方向の決定
はハフ変換を用いて行われ，このハフ変換は検出された
エッジのイメージライン（画像線）をパラメータ空間に
パラメータ変換し，そのパラメータ空間内にエッジピク
セルの累積を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像信号処理方法および
画像信号処理装置に関するものであり，特に，２次元画
像データから３次元形状を実時間で復元する三次元形状
復元方法およびその装置，対象物体の特徴を抽出する方
法とその装置，および，マンマシンインターフェースと
して使用される人間の手の指を検出する方法とその装置
に関する。

【０００２】対象物体をＣＣＤビデオカメラなどの撮像
手段で撮像し，その撮像画像から対象物体の３次元形状
を復元することが望まれている。このような３次元形状
復元方法は，たとえば，産業用ロボットにおけるロボッ
トハンドの動きと，その把持状態の認識における視覚認
識手段への適用が考えられている。３次元形状復元方法
の他の適用例としては，コンピュータシステムにおける
マン・マシン・インターフェース手段としての人間の体
の一部，たとえば，腕，手，掌，指などを使用する場合
にこれら身体の一部の３次元形状を復元する場合におけ
る認識手段への適用などがある。

【０００３】人間がコンピュータシステムに入力するイ
ンターフェースとして最も一般的なものとしては，ある
種のトランスデューサ，または，たとえば，ＣＲＴキィ
ボード，ジョイステック，トラックボール，マウスなど
のユーザーによって操作されるアクチュエータがある。
対象物体としての人間の腕，掌，指の動きなどは，現在
使用使用されているコンピュータシステムにおけるマン
・マシン・インターフェース装置，たとえば，マウス，
ジョイステックなどの間接的なマン・マシン・インター
フェース装置よりも，直接的かつ有効なマン・マシン・
インターフェース装置として機能することが知られてき
ており，かかる人間の体の一部など動きのある対象物
体，すなわち，変形可能な対象物体の実時間での実用的
な３次元形状の復元方法が要望されている。

【０００４】従来，３次元形状を有する対象物体を撮像
した２次元画像情報からその対象物体の３次元形状を復
元するには対象物体の頂点やエッジ成分を検出し，それ
らの情報をもとに３次元空間で矛盾がないように対象物
体の形状を復元構成する手法が使われている。

【０００５】

【発明が解決しようとする課題】しかしながら，これら
のインターフェース装置が使用される従来の全ての方法
は，それらのインターフェース装置はユーザーがハード
ウエアと物理的に接触することを要求し，そのような入
力装置の操作をユーザーが習熟するまでに通常長い訓練
期間を要するという問題がある。従来の方法はまた，情
報が伝達される範囲が狭いという問題がある。たとえ
ば，マウスは単にコンピュータシステムの中央処理装置
に位置と移動ベクトルを送出するだけである。

【０００６】従来の３次元形状復元方法ではエッジなど
の特徴情報の数が少なかったり，特徴情報がはっきり取
れない場合や，特徴情報のなかに誤った情報が混ざった
場合，３次元形状の復元が困難になるという問題に遭遇
している。特徴情報の誤り情報に対応しようとすると取
りうる形状の組み合わせをすべて考え，それぞれの入力
情報とつじつまが合うか否かを探索して調べる必要があ
るので，計算量が組み合わせ的に莫大になる場合があ
り，その計算時間が非常に長くかかり，たとえば，産業
用ロボットへの実時間処理への適用，あるいは，人間の
身体の一部をマン・マシン・インターフェース手段とし
て使用するような場合に要望される３次元形状を実時間
で実現しようとする要件を満足することができない。特
に，３次元形状を有する対象物体をビデオカメラなどの
撮像装置が撮像した２次元画像データは奥行情報を有し
ていないため，３次元形状を復元する困難さに遭遇して
いる。

【０００７】本発明の目的は，動きのある対象物体を２
次元画像データとして撮像し，その対象物体の３次元形
状を実時間で復元可能な三次元形状復元方法およびその
装置を提供することを目的とする。本発明の他の目的
は，人間の手の指を検出する方法を一般の対象物体に拡
張し，上記三次元形状復元方法における特徴点抽出に適
用して，好適に三次元形状を復元する方法とその装置を
提供することにある。本発明のさらに他の目的は，対象
物体を人間の手とした場合に，画像信号処理方法を上記
三次元形状復元方法に適用して，人間の手を有効なマン
マシン・インターフェース手段として適用可能とするこ
とにある。

【０００８】

【課題を解決するための手段】本発明の第１の観点によ
れば，三次元形状復元方法とその装置が提供される。本
発明の三次元形状復元方法は，ノードを介して接続され
るバネを有し力学的拘束をバネモデルで表わす力学方程
式で示される対象物体の動きを撮像した２次元画像デー
タを入力する段階と，該２次元画像データから特徴を抽
出して特徴抽出データを生成する特徴抽出段階と，上記
対象物体の力学モデルに上記特徴抽出点の２次元座標か
らの力を加えて対象物体モデルを変形させて奥行情報を
補い上記対象物体の３次元形状を復元する段階とを有す
る。好適には，上記３次元形状を復元する段階は，対象
物体の変形の少ない部分領域に分割し，各部分領域ごと
のモードごとに上記３次元形状復元計算を行う。

【０００９】さらに好適には、上記３次元形状を復元す
る段階は，各特徴点と対象物体の対応点との間に働く２
次元座標系における力を算出し，この力を対象物体の力
学方程式に加えて，対象物体の力学方程式モデルを変形
して奥行情報を補って対象物体の３次元形状を復元す
る。

【００１０】好適には、上記３次元形状を復元する段階
は，対象物体の変形の少ない部分領域に分割し，各部分
領域ごとのモードごとに上記３次元形状復元計算を行
う。

【００１１】好適には、上記３次元形状を復元する段階
は，各分割領域の初期からの回転を求めて各回転行列を
算出し，各特徴点から働く力と各分領域を結合する力を
算出し，上記各特徴点に働く力と各分割領域に働く結合
力についての対角行列を算出し，これらの対角行列に基
づく各特徴点に働く力と各分割領域に働く結合力につい
ての対角化された力学方程式を算出し，対象物体の３次
元形状を復元する。

【００１２】好適には、上記特徴抽出段階は，上記入力
された２次元画像データに基づいて上記対象物体のエッ
ジを検出する段階，上記検出されたエッジのイメージラ
インをパラメータ空間にパラメータ変換し，該パラメー
タ空間においてエッジピクセルを積算して上記対象物体
の向きを決定する段階，該向きに沿って対象物体の先端
に対応する深いローカルミニマムを検索する段階，およ
び，上記対象物体の先端を規定する端点をクラスタリン
グする段階を有する。

【００１３】本発明の三次元形状復元装置は上記三次元
形状復元方法を実施する構成となる。すなわち、本発明
の三次元形状復元装置は、ノードを介して接続されるバ
ネを有し力学的拘束をバネモデルで表わす力学方程式で
示される対象物体の動きを撮像した２次元画像データを
入力する手段と，該２次元画像データから特徴を抽出
して特徴抽出データを生成する特徴抽出手段と，上記対
象物体の力学モデルに上記特徴抽出点の２次元座標から
の力を加えて対象物体モデルを変形させて奥行情報を補
い上記対象物体の３次元形状を復元する手段とを有す
る。

【００１４】

【作用】本発明の三次元形状復元方法においては，対象
物体の力学的拘束をバネモデルで表し，対象物体を撮像
した２次元画像の特徴点から上記対象物体の力学方程式
を解いて上記対象物体の３次元形状を復元する。

【００１５】特に，対象物体のモデルに上記特徴抽出点
の２次元座標からの力を加えて対象物体モデルを変形さ
せることにより奥行情報を補うことができ，上記対象物
体の３次元形状を短時間で，正確に復元することができ
る。

【００１６】対象物体の変形の少ない部分領域に分割
し，各部分領域ごとのモードごとに上記３次元形状復元
計算を行うことで，３次元形状復元処理をさらに高速に
行うことができる。

【００１７】

【実施例】本発明の画像信号処理方法および画像信号処
理装置の第１実施態様としての人間の手の指を検出する
方法およびその装置を添付図面に関連づけて述べる。図
１は本発明に基づく人間の手の指を検出する装置のブロ
ック図である。図２は人間の手の向きを決定すること，
および，指の先端を検索（サーチ）するときの指の向き
と検索開始線（スタートライン）の関係を説明するため
の手の拡大図である。図３は深いローカルミニマムを発
見するための方向規定メカニズムを示す図である。図４
は均一な確率分布関数ＰＤＦと伝達関数との関係を示す
特性図である。

【００１８】指の先端はディスプレイユニットに表示さ
れるある項目を直接指定する，および，位置決めする，
あるいは，いずれか１つの操作を行うのに使用できる。
図１に示した人間の手の指を検出する装置は，通常用い
られている標準の撮像手段としてのビデオカメラ２，エ
ッジ検出ユニット４，ハフ変換（Hough Transformatio
n）計算ユニット６，可能性（probabilistic ）検索ユ
ニット８，および，クラスタリングユニット１０を有す
る。ビデオカメラ２は人間の手１２を撮像して２次元状
画像データを出力し，クラスタリングユニット１０は指
の先端の位置を出力する。エッジ検出ユニット４，ハフ
変換計算ユニット６，可能性検索ユニット８，および，
クラスタリングユニット１０はディジタルコンピュータ
システムによって実現されている。

【００１９】ディジタルコンピュータシステムによって
実現される人間の手の指を検出する装置の各ユニットの
処理内容を図５〜図１０のフローチャートに示す。図５
はビデオカメラ２による画像入力処理とエッジ検出ユニ
ット４によるエッジ検出処理を示すフローチャートであ
る。図６および図７はハフ変換計算ユニット６における
ハフ変換処理を示すフローチャートである。図８および
図９は可能性検索ユニット８における可能性検索処理を
示すフローチャートである。図１０はクラスタリングユ
ニット１０におけるクラスタリング処理を示すフローチ
ャートである。上記ディジタルコンピュータシステムに
おけるの処理の一部のプログラムコードを表１〜表４に
示す。これらのプログラムコードは一連の流れに沿って
処理されるが図解の関係で分割して示している。

【表１】

【表２】

【表３】

【表４】表１はハフ変換処理において使用するアキュムレータの
初期化処理を示すプログラムコードである。表２はエッ
ジについての画像を検索する処理を示すプログラムコー
ドである。表３はハフ変換処理における１０本の最良な
ラインを検索するプログラムコードである。表４は可能
性検索処理における画像ラインについての可能性のある
候補としてのアキュムレータの値が最大となる位置ｒ
_m ，ｔ_m を出力するプログラムコードである。表１〜表
４に示すプログラムコードはディジタルコンピュータシ
ステムで処理する一部を示しており，図５〜図１０の処
理内容とは必ずしも一対一には一致していない。

【００２０】画像データ入力図５のステップＳ０１に示すように，チャージカップル
ドデバイス（ＣＣＤ）を有するビデオカメラ２は，手を
読み取り，その手の画像をディジタル化し，その手の２
次元画像データ，すなわち，エッジピクセル（画像）デ
ータＩ（ｉ，ｊ）（ただし，Ｉ（ｉ，ｊ）は画像位置
（ｉ，ｊ）におけるグレーレベル強度である）をエッジ
検出ユニット４に出力する。

【００２１】エッジ検出図５のステップＳ０２〜Ｓ０１０に示すように，エッジ
検出ユニット４は傾斜方法によるエッジ検出アルゴリズ
ムによって手のエッジを検出する。すなわち，エッジ検
出ユニット４は下記式１に基づいて画像の傾きｇｒａｄ
Ｉ（ｉ，ｊ）を計算する。ｇｒａｄはまた逆三角形の記
号，ナブラとしても表現する。

【数１】エッジ検出ユニット４は下記の方法で人間の手のエッジ
を決定する。もしピクセルの傾きｇｒａｄＩ（ｉ，ｊ）
の絶対値が所定のしきい値Ｔよりも大きいときは（Ｓ０
４），そのピクセル（ｉ，ｊ）はエッジピクセルであ
る。すなわち，ピクセルの微分値がしきい値を越えてい
るときエッジとする。エッジ検出ユニット４はそのピク
セルがエッジピクセルと判断した場合，エッジピクセル
Ｉ（ｉ，ｊ）＝１とし（Ｓ０５），そうでない場合は，
Ｉ（ｉ，ｊ）＝０とする（Ｓ０６）。エッジ検出ユニッ
ト４はこのエッジ検出処理を全ての画像座標（ｉ＝１〜
ｉｍａｘ，ｊ＝１〜ｊｍａｘ）について行う。

【００２２】ハフ変換処理図６および図７に示すように，ハフ変換計算ユニット６
は，アキュムレータの値を０に初期化した後（図６のス
テップＳ２１，表１に示すプログラムコード），ピクセ
ル（ｉ，ｊ）がラインｋの上に位置する場合アキュムレ
ータの値を積算（累積）し（ステップＳ２２〜Ｓ３２，
表２），このアキュムレータの積算値から１０個の最良
の線（ベストライン）を抽出する（図７のステップＳ３
３，表３のプログラムコード）。ハフ変換処理とは、た
とえば、テレビジョン画像情報工学ハンドブック、テレ
ビジョン学会編、１９９０年１１月３０日、第１版第１
刷発行、第４１５ページに記載されているように、検出
したい線を表現するパラメータにより構成される空間で
エッジ要素のクラスタリングを行ってパラメータを決定
する方法である。たとえば、もっとも簡単な直線の検出
にハフ変換処理を適用した場合、エッジ要素（ｘ，ｙ）
を直線を示す式、ｘｃｏｓθ＋ｙｓｉｎθ＝ρに従って
パラメータ空間（ρ，θ）に写像すると、同一の直線上
の点は全て（ρ，θ）平面の１点を通ることを利用す
る。このように、ハフ変換処理においては、全てのエッ
ジ要素をパラメータ空間に写像した後、パラメータ空間
で最も多くの点が集まるクラスタを検出して，それに対
応する画像平面内の直線を求める。もちろん、ハフ変換
処理は直線だけでなく，円，楕円、放物線などの検出も
可能である。ただし、本実施の形態においては、直線を
検出する。図２に示すように，人間の手は相互にほぼ並
行するほぼ１０本の線で構成されており，ハフ変換計算
ユニット６は，上記エッジ検出ユニット４において上記
ピクセルの微分値として算出した傾きについて平均傾き
ｍを算出し，その平均傾きを平均化することにより（図
７のステップＳ３４），最終的に，手を２分にして指に
並行して走る手の向きを示す指向線を得ることができ
る。ハフ変換方法において，全ての可能性ある画像ライ
ンはパラメータ空間にパラメータ変換され，パラメータ
空間内のアキュムレータの値が各ラインの一部である全
てのエッジピクセルの経路を維持し，最も値の大きいピ
クセルを有するラインが画像（イメージ）ラインとして
選択される。ハフ変換の処理内容の詳細について以下に
述べる。

【００２３】ユークリッド２次元空間の任意の線は下記
式２で規定される。

【数２】ここで，ｘおよびｙは直線状の座標系，たとえば，２次
元直交座標系における所定のライン上の任意の点の座標
であり，θおよびρはパラメータ空間（極座標系）にお
ける原点に最も近いライン上の位置を規定する。この実
施例において，パラメータ空間を通過しうる全ての可能
なラインは，ρ _min 〜ρ_max とθ_min 〜θ_max の範囲に
あるρおよびθの値にベクトル量子化される。ある画像
内の各々のエッジ位置ｘ，ｙについて，全ての可能なラ
インがθを変化させて決定され，その結果として与えら
れたｘ，ｙに基づいてρが決定される。決定された各ラ
インについて，そのラインについてのアキュムレータの
値を増加させる（図６のステップＳ２５〜Ｓ２６，表２
のプログラムコード）。全てのエッジ点についての処理
が終了した後，アキュムレータの値が検索され，最も大
きい値の大きいアキュムレータに関連する１０本のベス
トラインが選択される（図７のステップＳ３３，表３の
プログラムコード）。

【００２４】パラメータ空間におけるラインを示す上記
形態を元の画像データの二次元直交座標系における座
標：ｙ＝ｍｘ＋ｂの形式に変換するため，下記式３およ
び式４が用いられる。

【数３】

【数４】慣性モーメントｍおよびｂが全ての推奨（候補）ライン
について決定され，それからｍの平均とｂの平均が計算
され，これらの平均が図２に示す手の向きを示す指向線
となる。

【００２５】可能性検索ユニット８が行う可能性検索処
理のフローチャートを図８および図９に示す。図８，ス
テップＳ４１〜Ｓ４８：可能性検索ユニット８は，図２
に図解したように，開始線（スタートライン）と直交し
最も慣性モーメントの大きい線を選択して手の指向線を
決定する。図９，ステップＳ４９〜Ｓ５５：一旦，手の
指向線が決定されると，可能性検索ユニット８におい
て，全てのピクセルについて複数回の検索ＳＥＡＲＣＨ
が行われ「深いローカルミニマム（局所的な最小値）」
を発見する。この深いローカルミニマムは指の先端に対
応している。これらの検索の開始位置は、図２に図解し
たように、指の向きを示す指向線に直交するライン（開
始線（スタートライン））に沿っている。開始線と指向
線の交差（直交）する位置の決定は指向線に対して最も
大きな量の位置を検出することにより決定され，これは
親指のすぐ下の掌の厚い部分に対応している。

【００２６】各々の検索は手の指の向きの方向に向かう
傾向を示す。検索はエッジ領域を横切ることができな
い。浅いローカルミニマムを回避するため，検索は，図
８，ステップ４４〜図９，ステップ５５に示したよう
に，指の先端に向かってバイアスされたランダム方向性
決定メカニズムによって与えられる。各々の検索はある
ピクセルについてある容量のプログラム処理ステップを
有しており，表１〜表４に示すように，全部で４００ス
テップが許容されている。経路決定メカニズムのランダ
ム性により，浅いローカルミニマムが容易に回避できる
が，指の先端は罠（トラップ）のようである。

【００２７】方向性決定メカニズムについて，図８およ
び図９に加えて図３および図４を参照して述べる。各々
の所定のプログラム処理ステップについて，角度αが所
定の確率分布を有する乱数発生器によってある角度につ
いて決定され，上下左右のピクセルのうちの次に入るべ
きピクセルが決定される。もし次のピクセルがエッジピ
クセルの場合，検索はそのステップの間初期ピクセル位
置に残る。

【００２８】乱数発生器は０から１の範囲で均一な確率
分布を有する乱数を発生する（図８，ステップＳ４
５）。図４に示すように，この確率分布を所望の確率分
布関数ＰＤＦに変換するため，その所望のＰＤＦに関す
る累積分布関数ＣＤＦが決定される。もしｕｘが均一な
乱数変数で，Ｆ（ｘ）が所望のＰＤＦのＣＤＦである場
合，ｄｘ＝Ｆ^-1（ｕｘ）が所望のＰＤＦについての乱数
変数である。ステップＳ４５で求められたｄｘに２πが
乗ぜられ（図８，ステップＳ４６），図３に基づいて新
しい角度が得られ（図８，ステップＳ４７），図４に基
づいて新しいピクセルが算出される（ステップＳ４
８）。確率分布関数ＰＤＦの選択は指の向きの方向を強
調するように行われる。この場合，簡単な確率分布が図
４に示すように試みられた。確率分布に有限な数が存在
し，その確率分布の選択が検索の性能を向上させるか，
あるいは後退させる。

【００２９】全ての検索が終了した後，クラスタリング
ユニット１０において，「Ｋ手段（Ｋ−Means ）」アル
ゴリズムなどのクラスタリングアルゴリズムが用いら
れ，５本の指の先端に対応して５つのクラスタが存在す
るという事実に基づいて検索要素の位置がクラスタされ
る。これらのクラスタ位置は指の先端の位置を決定す
る。なおクラスタとは画像処理データの固まりを意味す
る。

【００３０】「Ｋ手段」アルゴリズムの実施について図
１０に示すフローチャートを参照して述べる。ステップＳ６１：任意に初期の５個のクラスタ位置
（群）ｚ１，ｚ２，ｚ３，ｚ４，ｚ５を選択する。ここ
で，ｚｉはｉ番目のクラスタの位置である。ステップＳ６２，Ｓ６３：各々の検索の終わりのピクセ
ルを少なくともユークリッド距離に基づいて，最短の距
離にあるものを同じクラスタ位置にあるものとしてクラ
スタ位置に割りつける。ステップＳ６４〜Ｓ６６：クラスタに対して割りつけら
れたピクセルの全ての中心を計算することにより新しい
クラスタ位置を決定する。ステップＳ６７：もしあるクラスタ位置が変化したら，
ステップＳ６３に戻る。ステップＳ６８：手についての試験的な画像が用いら
れ，アルゴリズムが指の先端の位置の決定を可能にす
る。

【００３１】上述したように異なる確率分布関数ＰＤＦ
の使用は検索の性能を驚く程変化させ，動作時間を向上
させ（短縮し），そして，適切な大きさのプログラム処
理ステップがスケール空間技法の使用を実施可能とす
る。ハフ変換における雑音の効果は比較的小さいが，背
景エッジは信号前処理によって除去すべきである。もし
Ｓ／Ｎ比が高い場合，検索の対象となる確率分布関数Ｐ
ＤＦはバックトラッキングの程度を大きくすることを許
容するように変更されるべきである。この形式のインタ
ーフェースの有利な点は，手動式入力装置を容易に使用
するために要求される巧妙な操作をユーザーが必要とし
ないことである。さらに，手の移動によって伝達される
情報の量が非常に多いので，この種のインターフェース
は広範囲の用途に使用できることである。

【００３２】上述した本発明に基づく方法と装置は手の
寸法と手の形状に制限されないから，誰でも容易にこの
方法と装置を操作することができる。以上に述べたよう
に，本発明の画像信号処理方法の第１の実施態様によれ
ば，直接的な入力インターフェース装置として使用され
る人間の手の指を，容易に正しくそして高速に検出する
方法およびその装置が提供される。

【００３３】上述した人間の手の指を検出する方法は，
特定的な例として，対象物体を人間の手の指を例示した
が，上述した人間の手の指を検出する方法をより一般的
な対象物体，たとえば，産業用ロボットのハンドなどに
適用することができる。

【００３４】本発明の画像信号処理方法およびその装置
の第２実施態様として，２次元画像データから３次元形
状復元を行うる三次元形状復元方法とその装置について
述べる。図１１は三次元形状復元装置の構成図である。
三次元形状復元装置は，２次元画像データ入力手段１０
１，特徴抽出手段１０３および３次元形状復元処理手段
１０５を有している。２次元画像データ入力手段１０１
はたとえば，ＣＣＤビデオカメラで実現でき，特徴抽出
手段１０３および３次元形状復元処理手段１０５はコン
ピュータシステムで実現できる。

【００３５】図１２は図１１に示した三次元形状復元装
置の各部の基本動作を示すフローチャートである。ステ
ップＳ１０１：２次元画像データ入力手段１０１は，た
とえば，対象物体を２次元状態において撮像するＣＣＤ
ビデオカメラであり，このビデオカメラにおいて撮像さ
れた対象物体の２次元状画像データが特徴抽出手段１０
３に印加される。ステップＳ１０２：特徴抽出手段１０
３はビデオカメラから入力された２次元画像データから
特徴抽出を行い，特徴点の２次元座標を出力する。特徴
抽出方法としては従来から知られている種々の方法を適
用することができる。そのような特徴抽出方法として
は，たとえば，対象物体の特徴点にあらかじめ付けられ
たマーカーの色を検出して判別するこにより特徴点の座
標を検出する方法，対象物体のエッジを検出して局所的
な形状で判別することにより特徴点の座標を検出する方
法などがあり，本発明の特徴抽出手段１０３において
も，これらのいずれかを使用する。好適には，上記対象
物体の特徴を抽出する方法をこの三次元形状復元装置に
適用する。これについては後述する。

【００３６】特徴抽出手段１０３において抽出された特
徴点の２次元座標は３次元形状復元処理手段１０５に印
加される。ステップＳ１０３：３次元形状復元処理手段
１０５においては，特徴抽出手段１０３からの特徴抽出
点の２次元座標を用いて，対象物体の力学方程式（力学
的モデル）をもとにしてその対象物体の３次元形状を復
元する。上述したように，本発明の画像処理装置におい
ては，対象物体の力学的拘束をバネモデルで表し，対象
物体を撮像した２次元画像の特徴点から対象物体の力学
方程式を解いて対象物体の３次元形状を復元する。

【００３７】図１３は上述した本発明の三次元形状復元
装置の処理動作のより詳細な処理内容，特に，３次元形
状復元処理手段１０５における３次元形状復元処理方法
の第１の形態の動作フローチャートである。図１４は図
１３における３次元形状復元処理対象である対象物体の
具体例として，コンピュータシステムにおけるマン・マ
シン・インターフェース手段としての人間の掌と指の画
像データとその特徴抽出結果を示した図である。図１３
におけるステップＳ１１１およびＳ１１２の動作内容は
図１２を用いた述べたステップＳ１０１およびＳ１０２
の動作と同様である。ステップＳ１１３〜Ｓ１１６に示
す動作が３次元形状復元処理手段１０５における詳細動
作を示す。

【００３８】図１３に示したステップＳ１１３に示す処
理動作以降の３次元形状復元処理内容について述べる。
まず，対象物体についての力学方程式の一般論について
述べる。一般に対象物体の力学方程式は下記式５で表さ
れる。

【数５】ただし，記号Ｆは力であり，記号Ｍは質量であり，記号
Ｃはダンピング（摩擦）係数であり，記号Ｋはステッフ
ネス（固さ）であり，記号Ｕはノード位置を示す。

【００３９】ノード位置Ｕの頭上に付けられている
（・）は１階微分を示し，（・・）は２階微分を示す。
ただし，本明細書の記述においては電子出願制度におけ
る表記方法の制限から，ノード位置Ｕの１階微分をＵ
^(.) ，２階微分をＵ^(..)として示す。他の場合も同様で
ある。ノード位置Ｕは，各ノードについて３次元座標系
におけるＸ，Ｙ，Ｚ成分を並べたベクトルＵ＝〔Ｕx,Ｕ
y,Ｕz 〕であり，ノード数をｎとすれば下記式６に示す
ように３ｎ個の成分を持つ。

【数６】ただし，本明細書の記述においては，ベクトルＵの表記
についても，電子出願制度における表記方法の制限か
ら，通常の表記方法である太線または頭に矢印をつけた
表現にしていない。他の場合も同様である。

【００４０】ノード位置Ｕには仮想的な質量Ｍが与えら
れ，また系を安定するため摩擦（ダンピング）係数Ｃが
与えられる。たとえば，図１４に図解したように，掌お
よび指などの関節部分を３次元空間におけるノード位置
Ｕとして，指の骨の部分をバネＫとして表している。質
量Ｍ，ダンピング係数Ｃ，ステッフネスＫはそれぞれ，
３ｎｘ３ｎのマトリクスで表現される。これら３ｎｘ３
ｎのマトリクスで表現される質量マトリクスＭの１つの
Ｍ１，ダンピング係数マトリクスＣの１つのＣ１および
ステッフネスマトリクスＫの１つのＫ１を下記式７〜式
９に示す。

【数７】

【数８】

【数９】

【００４１】本実施例においては上記式１に示した力Ｆ
として，力ベクトルＦ_i と力ベクトルＦ_k を導入する。
非線形的内力ベクトルＦ_k はノードの相対的位置により
規定される量であり，非線形な値を示す。この非線形的
内力ベクトルＦ_k は対象物体のバネモデルだけでは表さ
れない非線形的な動き（変形）を癖を表現するものであ
り，「変形のしかたの知識」ともいえるものである。力
ベクトルＦ_i は特徴抽出手段１０３において抽出した２
次元特徴抽出座標から求めた外力ベクトルＦ_i を示す。
式５を非線形的内力ベクトルＦ_k と２次元特徴抽出座標
から求めた外力ベクトルＦ_i を用いて変形すると式１０
が得られる。

【数１０】

【００４２】３次元形状復元処理手段１０５の動作内容
を図１３を参照して述べる。ステップＳ１１３：３次元形状復元処理手段１０５は特
徴抽出手段１０３において特徴抽出した２次元特徴抽出
座標を入力する。ステップＳ１１４：３次元形状復元処理手段１０５は入
力した２次元特徴抽出座標と対象物体の力学モデル内の
対応する点との間に働くＸ，Ｙ座標内，すなわち，２次
元空間内の上記２次元特徴抽出座標から求めた外力ベク
トルＦ_i を計算して決定する。この２次元特徴抽出座標
から求めた外力ベクトルＦ_i は，一般的に奥行成分を持
たないＸ，Ｙ平面と平行な面の上に置かれたバネのよう
な力を意味しており，各特徴点に対応するノードその間
にバネをおくモデルとして表現される。ステップＳ１１５：本実施例においては，２次元特徴抽
出座標から求めた外力ベクトルＦ_i を加えて対象物体の
モデルを変形して，式１０に示した力学方程式を解く。
通常，式１０の力学方程式を解く場合，コンピュータを
用いた周知の数値計算による収束計算を行う。ステップＳ１１６：式１０を収束計算によって解く場
合，計算の反復回数，ノード位置Ｕの前回の結果との偏
差などを考慮して適切な条件において，収束計算を打切
り，得られたノード位置Ｕを出力する。ステップＳ１１７：オンライン実時間処理を想定した場
合，たとえば，２次元画像データ入力手段１０１として
のビデオカメラから連続ビデオフレームで動画像データ
が特徴抽出手段１０３に入力されその特徴抽出が行われ
る，３次元形状復元処理手段１０５においてその時の３
次元形状復元を行うとき，上述した処理を繰り返す。そ
の結果として，３次元形状復元処理手段１０５からは連
続したビデオフレームに対応して連続的にノード位置Ｕ
が出力される。

【００４３】図１４に示したように人間の掌および指な
どのように動画像として撮像される対象物体を扱った場
合，画像信号処理における各ビデオフレームにおいて微
分方程式としての式１０に示した力学方程式を解くと
き，ノード位置Ｕの初期値として前ビデオフレームでも
求めたノード位置Ｕ用いることができるので，前後のビ
デオフレーム間であまりノード位置が変わらない場合，
式１０の収束計算を速めることができる。かりに式１０
に示す力学方程式の解が複数存在しても前フレームの解
と近い解が選ばれるので正しい解が得られる。いくつか
の特徴点が隠れて特徴抽出手段３における特徴抽出情報
に欠落があったり，ノイズ等の原因で中に誤った情報が
混入した場合でも，この力学系は力学モデルのエネルギ
ー状態が安定な所へたどり着こうとするので，最もらし
い解が出力されるという利点がある。

【００４４】図１４は人間の掌および指をビデオカメラ
で撮像し，特徴抽出手段３において２次元特徴抽出点を
抽出し，その結果から３次元形状復元処理手段１０５に
おいて３次元形状を復元した結果を概略的に示す図であ
る。特徴抽出手段１０３における特徴抽出のため，掌の
底部，指先（爪）の先端に，たとえば，赤のマークをつ
けた。

【００４５】三次元形状復元方法とその装置の第１実施
例としては，上述したように，対象物体を力学的モデル
で表し，対象物体をビデオカメラなどの２次元画像デー
タ入力手段１０１で撮像し，２次元画像データを特徴抽
出手段１０３において特徴抽出してその特徴抽出点を３
次元形状復元処理手段１０５に入力し，３次元形状復元
処理手段１０５において，入力された２次元特徴情報を
計算上で力をしてそのモデルに作用させる。その結果，
特徴情報量が少ない場合でも，対象物体の系が安定であ
ればその３次元形状を復元することができる。また特徴
情報がはっきり取れない場合や，中に誤った情報が混入
した場合でも，他の正しい特徴情報や力学モデルからの
拘束により誤った情報の影響は自動的に軽減されてつじ
つまの合う解が得られるから，原理的に，時間のかかる
探索動作を用いない復元手法である。その結果，従来技
術において問題となっている組み合わせ的計算量の莫大
さに依存しない。さらに本実施例によれば，複数のビデ
オカメラを用いることなく１台のビデオカメラのみでも
奥行き情報を再現することが可能である。

【００４６】本発明の三次元形状復元方法とその装置の
第２実施例について述べる。第２実施例は上述した第１
実施例における計算時間をさらに短縮させるものであ
る。第１実施例においては，３次元形状復元における力
学モデルで使用されるノード数の３倍の連立して力学方
程式（微分方程式）を解く必要があり，依然として計算
量が多いという難点がある。かかる問題を解決する方法
として，力学モデルにおけるバネマトリクスを固有値分
解し，振動のモードごとに独立して計算し，連立方程式
を解かず解を得る周知の方法を適用することも考えられ
る。しかしながらこの周知の方法は対象物体が大きく変
形（移動）する場合はバネマトリクスも大きく変わって
しまい，逐次固有値分解をする必要が生ずる。この計算
量がむしろ無視できなくなり，結果的に，たとえば，人
間の掌と指，あるいは，産業用ロボットのハンドなど比
較的動きのある変形する対象物体に適用することは好ま
しくないことが判った。

【００４７】かかる観点から第２実施例においては，対
象物体の３次元力学モデルをそれぞれ変形の少ない部分
領域に分割することにより，モードごとの計算を可能に
して，計算時間の短縮を図ること目的としている。図１
５は第２の例示に適用する対象物体の一部を複数の分割
領域に区分（分割）することを示す図である。

【００４８】図１６に三次元形状復元についての第２実
施例の装置の動作処理のフローチャートを示す。第２実
施例においても三次元形状復元装置の構成は図１１に示
したと同じ構成となる。２次元画像データ入力手段１０
１における撮像処理（ステップＳ１２１）および特徴抽
出手段１０３における特徴抽出処理（ステップＳ１２
２）は図１３に示した処理と同様である。３次元形状復
元処理手段１０５におけるステップＳ１２３〜Ｓ１２８
で示される処理内容が第１の例示とは異なる。

【００４９】以下，第２実施例の３次元形状復元動作に
ついて述べる。３次元形状復元処理手段１０５において
は，基本的には，式５で示した力学方程式を解く。Ｆは
対象物体のモデルに加わる力ベクトルであり，上述した
ように，非線形的内力ベクトルＦ_k および２次元特徴抽
出座標から求めた外力ベクトルＦ_i を含む力ベクトルで
ある。したがって，本実施例においても式１０を解くこ
とになる。ただし，その解法は上述したように，第１実
施例とは異なる。対象物体がたとえば，図１５に示した
ように，人体，手などにおける形状が変化しない脚部，
腕，指などの部分領域が関節などで結合されているもの
と考えることができる。このような仮定をおく場合，バ
ネマトリクスＫにおける各分割領域をｍ個の独立なブロ
ック行列Ｋ１，Ｋ２，・・・，Ｋｍで表し，これらのブ
ロック行列を結合する関節に相当するバネ結合力をＦｊ
として，式１の右辺の力ベクトルＦに移項する。

【００５０】式５の項（ＫＵ）を式１１に示すように表
す。

【数１１】ただし，式１１のＫb は式１２のブロック行列で表され
る。

【数１２】その結果，式５は式１３で表される。

【数１３】

【００５１】式１３について固有値分解を行い，周知の
方法により，質量マトリクスＭ，ダンピング係数マトリ
クスＣ，ステッフネスマトリクスＫｂをそれぞれ，Ｍ
^(<) ，Ｃ^(<) ，Ｋｂ^(<) に対角化するようを行列Ｐを求
めれば，式１３を式１４に書き換えることができる。な
お，本明細書においては電子出願制度における表記上の
制限から，対角化した質量マトリクスＭを示すＭの上の
山形表記をＭ^(<) における^(<) として示す。その他につ
いても同様である。

【数１４】ここで，Ｍ^(<) ，Ｃ^(<) ，Ｋb ^(<) ，Ｕ^(<) ，Ｆ^(<) お
よびＦ_j ^(<) は下記式で示される。

【数１５】ただし，Ｐ^T は行列Ｐの転置行列を示す。

【００５２】対象物体があまり変形しない場合はステッ
フネスマトリクスＫはあまり変化せず，同じ行列Ｐで対
角化可能であるが，時間とともに対象物体が大きく変化
する場合は逐次固有値分解をし直して新しい行列Ｐを求
める必要がある。そこで，各分割領域におけるブロック
行列Ｋｉは一定で，それぞれＡｉだけ回転し，また，質
量マトリクスＭ，ダンピング係数マトリクスＣが定数行
列とすると，式１６で示すことができる。

【数１６】回転変形後のステッフネスマトリクスＫb は式１７で表
される。

【数１７】変形後の力学方程式としては式１８として表すことがで
きる。

【数１８】

【００５３】回転マトリクスＡはユニタリ行列であるか
ら，式１８は式１９に書き改めることができる。

【数１９】質量マトリクスＭおよびダンピング係数マトリクスＣは
定数行列であるから，式１９は式２０として表すことが
できる。

【数２０】ただし，Ｕ^(<)'，Ｆ^(<) ’およびＦ_j ^(<)'は下記式２１
で表される。

【数２１】式２０は対角化されているので，もはや連立方程式では
なく収束計算をすることなく，変形を伴う対象物体に対
するノード位置Ｕを高速に求めることができる。

【００５４】図１６におけるステップＳ１２３〜ステッ
プＳ１２８の処理動作は３次元形状復元処理手段１０５
における上述した演算処理を示す。ステップＳ１２３：３次元形状復元処理手段１０５は特
徴抽出手段１０３からの特徴抽出座標を入力する。ステップＳ１２４：３次元形状復元処理手段１０５は式
１６に示したユニタリ行列Ａを求める。ステップＳ１２５：３次元形状復元処理手段１０５は特
徴点から働く力などのよる力ベクトルＦと，各分割領域
を結合する力Ｆｊを求める。ステップＳ１２６：３次元形状復元処理手段１０５は式
２１に示した転置行列Ｐ^T を用いて変換処理を行う。ステップＳ１２７：３次元形状復元処理手段１０５は式
２０の力学方程式を解く。式２０の力学方程式は対角化
されているので，もはや連立方程式ではなく，収束計算
をすることなく高速に解くことができることに留意され
たい。ステップＳ１２８：３次元形状復元処理手段１０５は求
められたＵ^(<) からノード位置Ｕを変換し，求められた
ノード位置Ｕを出力する。ステップＳ１２９：次のフレームについて上記動作を反
復する。

【００５５】以上のように，三次元形状復元についての
第２実施例においては，対象物体をあまり変形しない部
分に分割して作ったステッフネスマトリクスＫb を予め
固有値分解して固有行列Ｐを求めておき，各分割領域の
初期状態からのずれを計算される回転マトリクスＡを用
いてＦ^(<) ’およびＦ_j ^(<)'を計算し，式２０を解くこ
とにより，ノード位置Ｕ’を求め，このノード位置Ｕ’
と固有行列Ｐおよび回転マトリクスＡからノード位置Ｕ
を求める。固有行列Ｐおよび鑑定マトリクスＡで力ベク
トルＦおよびＦｊ，ノード位置ＵをそれぞれＦ^(<) ，Ｆ
_j ^(<) ，Ｕ^(<) に変換する必要があるが，式５で表され
る連立方程式をそのまま解く手法に比較して計算量は少
なくなり，高速な処理が可能となる。つまり，三次元形
状復元についての第２実施例においては，対象物体の３
次元モデルを変形の少ない部分領域に分割し，各分割領
域ではバネマトリクスが変化しないと仮定してモードご
との計算を可能とし，各分割領域を結合するバネによる
力については逐次計算を行い，全体として３次元形状復
元計算時間を短縮する。

【００５６】本発明の三次元形状復元装置を実施するに
際しては，上述した特徴抽出手段１０３および３次元形
状復元処理手段１０５の動作処理の他，他の処理を適用
することができる。たとえば，上述した実施例において
は，２次元画像データ入力手段１０１における撮像デー
タを２次元情報について例示したが，距離画像データな
どを入力する場合でも，上記実施例と同様に処理するこ
とができる。

【００５７】図１７は本発明の三次元形状復元装置の特
定的な適用例として，マン・マシン・インターフェース
手段としての人間の掌と指を対象物体として用いること
を想定した場合の３次元形状復元処理動作を示すフロー
チャートである。図１８は図１７に示す３次元形状復元
処理を行うに際して，予め，掌と指の諸態様を分析した
結果を示す図である。図１８（Ａ）は掌と指を開いたと
きの撮像データから特徴抽出した結果を示す。左側は表
面特徴抽出図，右側は側面特徴抽出図である。以下，図
１８（Ｂ）から図１８（Ｄ）に向かって順次，小指，薬
指，中指，人指指を折り曲げていったときの正面図と側
面図を示す。

【００５８】図１７に示したフローチャートを参照し
て，３次元形状復元処理手段１０５の動作処理を述べ
る。ステップＳ１３１：３次元形状復元処理手段１０５は特
徴抽出手段１０３から現在の特徴点を入力する。ステップＳ１３２：３次元形状復元処理手段１０５は画
像特徴点と対応する点との間のＸ，Ｙ面における力ベク
トルを計算する。ステップＳ１３３：３次元形状復元処理手段１０５は
Ｘ，Ｙバネ力Ｆ_i を決定し，適切な力マトリクスに加え
る。ステップＳ１３４：３次元形状復元処理手段１０５はセ
グメント間の結合力を決定し，適切な力マトリクスに加
える。ステップＳ１３５：手のモデルが不自然な場合，３次元
形状復元処理手段１０５において「手の知識の力」を適
切な力マトリクスに加える。ステップＳ１３６：３次元形状復元処理手段５は各セグ
メントについて行列Ｐと回転マトリクスＡを計算する。ステップＳ１３７：３次元形状復元処理手段１０５は各
セグメントについて行列Ｐと回転マトリクスＡを用いて
力学方程式を式２０に示すクローズ形式の力学方程式に
変換する。ステップＳ１３８：３次元形状復元処理手段１０５は各
Ｕｉ^(<) について微分（差分）時間δｔを用いて簡単な
線形差分方程式を解く。ステップＳ１３９：３次元形状復元処理手段１０５はノ
ード位置マトリクスＵ ^(<) からノード位置マトリクスＵ
を決定し，指の各関節位置を更新する。ステップＳ１４０：３次元形状復元処理手段１０５は以
上の処理を手のモデルと画像とが一致するまで反復す
る。

【００５９】図１９および図２０は上述した演算処理結
果を示す図である。図１９（Ａ）は対象物体としての手
の形状として指をやや曲げた状態の２次元画像データ入
力手段１０１による撮像結果である。図１９（Ｂ）〜図
１９（Ｄ）は図１９（Ａ）に示した撮像結果を特徴抽出
手段１０３および３次元形状復元処理手段１０５を介し
て３次元形状復元したそれぞれ上部からみた図，正面図
および側面図を示す。図２０（Ａ）は対象物体としての
手の形状として中指を曲げ，人指指の先端をやや曲げ，
薬指もやや曲げ，小指の先端を若干曲げた時の２次元画
像データ入力手段１０１による撮像結果である。図２０
（Ｂ）〜図２０（Ｄ）は図２０（Ａ）に示した撮像結果
を特徴抽出手段１０３および３次元形状復元処理手段１
０５を介して３次元形状復元したそれぞれを上部からみ
た図，正面図および側面図を示す。図１９および図２０
の図解から明らかなように，先ず，ビデオカメラなどの
２次元画像データ入力手段１０１で撮像した２次元画像
データから３次元形状が復元されていることが判る。図
１９（Ｂ）〜図１９（Ｄ）と図２０（Ｂ）〜図２０
（Ｄ）とは復元データとして明らかに異なっており，こ
の手の動きの差異を利用して，人間の手をマン・マシン
・インターフェース手段として用いることができる。

【００６０】本発明の三次元形状復元装置は人間の手な
どに限らず，対象物体として，たとえば，産業用ロボッ
トのハンドとその把持状態などの認識における３次元形
状復元に使用することができる。

【００６１】図１１に示した特徴抽出手段３と３次元形
状復元処理手段１０５とは機能的に異なるために分離し
て構成して示したが，通常，特徴抽出手段１０３および
３次元形状復元処理手段１０５はコンピュータを用いて
実現するから，同じコンピュータに一体化することがで
きる。勿論，特徴抽出手段１０３と３次元形状復元処理
手段１０５とを異なるマイクロコンピュータなどで分散
処理させることもできる。

【００６２】以上述べたように，本発明の三次元形状復
元方法とその装置によれば，力学方程式に変形力を加え
ることにより，対象物体についての２次元画像データか
ら３次元形状を復元することができる。また本発明の三
次元形状復元方法とその装置によれば，対象物体のうち
変形が少ないか変形しない部分を分割して処理すること
により，高速に対象物体についての２次元画像データか
らの３次元形状復元が可能になる。

【００６３】図２１は本発明の三次元形状復元装置の構
成図である。この三次元形状復元装置は，図１１示した
三次元形状復元装置に対して，特徴抽出手段１０３を図
１に示した人間の手の指を検出する装置を特徴点抽出手
段１０３Ａとして組み込んだものである。この三次元形
状復元装置は，特徴抽出手段１０３Ａを用いて人間の手
の特徴点を抽出し，この特徴点を用いて人間の手の三次
元形状を復元するに好適な装置である。図２１における
個々の構成要素とよびその動作は上述したものと同様で
あるから，その詳細な記述は割愛する。

【００６４】なお，図２１に図解した三次元形状復元装
置を人間の手の三次元形状復元だけでなく，たとえば，
産業用ロボットのハンドはもとより，その他の対象物体
に適用することができる。

【００６５】図２２は人間の手の指の検出と，人間の手
の三次元形状の復元とを同時的に行う画像信号処理装置
の構成図である。ビデオカメラ２などの２次元画像デー
タ入力手段１０１が人間の手を撮像する。この撮像デー
タは２次元ピクセルデータとしてエッジ検出ユニット４
および特徴抽出手段１０３に印加され，それぞれ，並列
的に，人間の手の指の検出，および，人間の手の三次元
形状復元が行われる。エッジ検出ユニット４，ハフ変換
計算ユニット６，可能性検索ユニット８，および，クラ
スタリングユニット１０からなる特徴抽出手段１０３Ａ
の出力結果を特徴点抽出結果として，特徴抽出手段１０
３に使用することもできる。もちろん，図２２に図解し
た画像信号処理装置を人間の手以外の対象物体に適用す
ることができる。

【００６６】上述した人間の手の指を検出する方法とそ
の装置，三次元形状復元方法とその装置は例示であり，
本発明は上述した例示に限定されない。つまり，本発明
の種々の広範囲な異なる実施態様が本発明の技術的思想
および本発明の範囲を逸脱することなく構成することが
でき，本発明が上述した特定的な実施例に制限されない
ことは容易に理解されよう。

【００６７】

【発明の効果】上述したように，本発明によれば，迅速
かつ正確に人間の手の指を検出することができる。この
人間の手の指を検出する方法は一般的な対象物体の検出
に適用できる。また本発明によれば，２次元画像データ
から３次元形状を復元することができる。特に，本発明
の三次元形状復元は実時間処理に適用可能な迅速性と正
確さを示す。

【図面の簡単な説明】

【図１】本発明に基づく人間の手の指を検出する画像処
理装置のブロック図である。

【図２】本発明の手の向きを決定すること，および，指
の先端を検索するときの指の向きと検索開始線との関係
を説明するための手の拡大図である。

【図３】本発明の人間の手の深いローカルミニマムを発
見するための方向検出メカニズムを示す図である。

【図４】本発明の確率分布関数と伝達関数との関係を示
す特性図である。

【図５】本発明の画像入力処理およびエッジ検出処理を
示すフローチャートである。

【図６】本発明のハフ変換処理の一部の処理を示すフロ
ーチャートである。

【図７】本発明のハフ変換処理の残りの処理を示す部分
フローチャートである。

【図８】本発明の可能性検索処理の一部の処理を示すフ
ローチャートである。

【図９】本発明の可能性検索処理の残りの処理を示すフ
ローチャートである。

【図１０】本発明のクラスタリング処理を示すフローチ
ャートである。

【図１１】本発明の三次元形状復元装置の実施例構成を
示す図である。

【図１２】図１１に示した三次元形状復元装置の基本動
作処理を示すフローチャートである。

【図１３】図１１に示した三次元形状復元装置の第１実
施例の処理を示すフローチャートである。

【図１４】図１３における処理に適用する対象とする物
体の１例としての人間の掌と指との動きを示す図であ
る。

【図１５】本発明の三次元形状復元装置における対象物
体の変形の少ない部分を部分領域に分割することを説明
する図である。

【図１６】図１１に示した三次元形状復元装置の第２実
施例の処理を示すフローチャートである。

【図１７】図１１に示した三次元形状復元装置の特定的
な例示として，対象物体を人間の掌と指にした場合の本
発明の三次元形状復元装置における画像処理方法を説明
するフローチャートである。

【図１８】図１７における処理に用いた人間の掌と指の
特徴抽出モデル図である。

【図１９】図１７に示した三次元形状復元装置の実施例
に基づく第１の結果を示す図である。

【図２０】図１７に示した三次元形状復元装置の実施例
に基づく第２の結果を示す図である。

【図２１】本発明の他の三次元形状復元装置の構成図で
ある。

【図２２】本発明の人間の手の指を検出する装置と三次
元形状復元装置の構成図である。

【符号の説明】

２・・ビデオカメラ４・・エッジ検出ユニット６・・ハフ変換計算ユニット８・・可能性検索ユニット１０・・クラスタリングユニット１２・・人間の手１０１・・２次元画像データ入力手段１０３・・特徴抽出手段１０５・・３次元形状復元処理手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）

Claims

【特許請求の範囲】

【請求項１】ノードを介して接続されるバネを有し力学
的拘束をバネモデルで表わす力学方程式で示される対象
物体の動きを撮像した２次元画像データを入力する段階
と，該２次元画像データから特徴を抽出して特徴抽出デ
ータを生成する特徴抽出段階と，上記対象物体の力学モ
デルに上記特徴抽出点の２次元座標からの力を加えて対
象物体モデルを変形させて奥行情報を補い上記対象物体
の３次元形状を復元する段階とを有する三次元形状復元
方法。
【請求項２】上記３次元形状を復元する段階は，各特徴
点と対象物体の対応点との間に働く２次元座標系におけ
る力を算出し，この力を対象物体の力学方程式に加え
て，対象物体の力学方程式モデルを変形して奥行情報を
補って対象物体の３次元形状を復元する請求項１記載の
三次元形状復元方法。
【請求項３】上記３次元形状を復元する段階は，対象物
体の変形の少ない部分領域に分割し，各部分領域ごとの
モードごとに上記３次元形状復元計算を行う請求項１記
載の三次元形状復元方法。
【請求項４】上記３次元形状を復元する段階は，各分割
領域の初期からの回転を求めて各回転行列を算出し，各
特徴点から働く力と各分領域を結合する力を算出し，上
記各特徴点に働く力と各分割領域に働く結合力について
の対角行列を算出し，これらの対角行列に基づく各特徴
点に働く力と各分割領域に働く結合力についての対角化
された力学方程式を算出し，対象物体の３次元形状を復
元する請求項２記載の三次元形状復元方法。
【請求項５】上記特徴抽出段階は，上記入力された２次
元画像データに基づいて上記対象物体のエッジを検出す
る段階，上記検出されたエッジのイメージラインをパラ
メータ空間にパラメータ変換し，該パラメータ空間にお
いてエッジピクセルを積算して上記対象物体の向きを決
定する段階，該向きに沿って対象物体の先端に対応する
深いローカルミニマムを検索する段階，および，上記対
象物体の先端を規定する端点をクラスタリングする段階
を有する請求項１または２記載の三次元形状復元方法。
【請求項６】上記エッジを検出する段階が，各々がグレ
ーレベルを示す上記ピクセルデータの２次元方向の傾き
を計算する段階，上記計算した傾きの絶対値をしきい値
レベルと比較する段階，および，上記計算された絶対値
が上記しきい値レベルよりも大きいときエッジとして決
定する段階を有する請求項５記載の三次元形状復元方
法。
【請求項７】上記パラメータ変換およびエッジピクセル
積算段階が，上記検出エッジを示す直線状の座標系から
極座標系に変換する段階，上記パラメータ空間において
エッジの点を積算する段階，上記ラインの各々について
最も大きい積算値を求めて上記対象物体の指の向きを決
定する段階を有する請求項６記載の三次元形状復元方
法。
【請求項８】上記検索段階が，ランダム方向決定メカニ
ズムによって上記深いローカルミニマムを決定し浅いロ
ーカルミニマムを回避する段階を有する請求項７記載の
三次元形状復元方法。
【請求項９】上記クラスタリング段階が，クラスタ内に
任意の位置を選択する段階，少なくともユークリッド距
離に基づいて各検索の端点ピクセルをクラスタ位置に割
りつける段階，および，上記クラスタへ割りつけられた
ピクセルの全ての中心を計算することにより新しいクラ
スタ位置を決定する段階を有する請求項７記載の三次元
形状復元方法。
【請求項１０】上記対象物体は人間の手である請求項１
記載の三次元形状復元方法。
【請求項１１】ノードを介して接続されるバネを有し力
学的拘束をバネモデルで表わす力学方程式で示される対
象物体の動きを撮像した２次元画像データを入力する手
段と，該２次元画像データから特徴を抽出して特徴抽出
データを生成する特徴抽出手段と，上記対象物体の力学
モデルに上記特徴抽出点の２次元座標からの力を加えて
対象物体モデルを変形させて奥行情報を補い上記対象物
体の３次元形状を復元する手段とを有する三次元形状復
元装置。
【請求項１２】上記３次元形状復元手段は，対象物体の
変形の少ない部分領域に分割し，各部分領域ごとのモー
ドごとに上記３次元形状復元計算を行う請求項１１記載
の三次元形状復元装置。
【請求項１３】上記特徴抽出手段は，上記入力された２
次元画像データに基づいて上記対象物体のエッジを検出
する手段，上記検出されたエッジのイメージラインをパ
ラメータ空間にパラメータ変換し，該パラメータ空間に
おいてエッジピクセルを積算して上記対象物体の向きを
決定する手段，該向きに沿って対象物体の先端に対応す
る深いローカルミニマムを検索する手段，および，上記
対象物体の先端を規定する端点をクラスタリングする手
段を有し，上記クラスタリング結果に基づいて特徴抽出
点を規定し，上記対象物体の力学モデルに上記特徴抽出
点の２次元座標からの力を加えて対象物体モデルを変形
させて奥行情報を補い上記対象物体の３次元形状を復元
する請求項１１または１２記載の三次元形状復元装置。
【請求項１４】上記対象物体は人間の手である請求項１
１記載の三次元形状復元装置。