JP2000172163A - 手動作分節方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 利用者の手動作を認識する際に行われ、利用
者側が分節位置を提示しなくても、検出される手動作を
単語単位または複数の単語からなる有意味単位に自動的
に分節することができるような手動作分節方法を提供す
る。 【解決手段】 利用者の身体に、一つの単語を示す動作
の途中には現れず、ある単語を示す動作から別の単語を
示す動作へと遷移する際に現れる遷移動作の特徴を記述
した遷移特徴データを予め記憶しておく。そして、遷移
動作の現れる身体部位と対応する画像の動きを検出し
（ステップＳ１０６）、検出した画像の動きを遷移特徴
データと比較して（ステップＳ１０７）、遷移動作が現
れた時間位置を求めることにより、手動作を分節する
（ステップＳ１０８）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、手動作分節方法お
よび装置に関し、より特定的には、手話等のための手動
作を自動的に認識する際に、その手動作を単語単位に自
動的に分節する方法および装置に関する。

【０００２】

【従来の技術】近年、パーソナル・コンピュータは、面
倒なキーボード操作を行わなくてもポインティングデバ
イス等を用いて簡単に入力が行えるようになり、専門家
以外の利用者にも広く用いられるようになった。そし
て、最近では、利用者の音声を自動的に認識する技術の
開発に伴い、音声入力が可能なパーソナル・コンピュー
タや、音声で操作指示を行えるマイクロ・コンピュータ
を用いた家電製品なども登場している（以下、パーソナ
ル・コンピュータや、マイクロ・コンピュータを用いた
家電製品などを、コンピュータ装置と呼ぶことにす
る）。この技術がさらに進歩すれば、利用者は、コンピ
ュータ装置の入力操作を、対人のコミュニケーションに
近い態様で行えるようになる。また、手操作が困難な利
用者が音声入力によって気軽にコンピュータ装置を使用
できるようになる。

【０００３】さて、人と人とのコミュニケーションで
は、音声に加えて、手や頭の動き、顔の表情なども用い
られる。コンピュータ装置が、こうした利用者の体の特
定の部分の動きをも自動的に認識することができれば、
利用者は、対人のコミュニケーションにさらに近い態様
で入力操作を行えるようになる。また、音声操作が困難
な利用者が手話入力によって気軽にコンピュータ装置を
使用できるようになり、例えば、それを用いて手話を翻
訳することも可能となる。こうした要請に応えるべく、
本出願人等によって、手話等のための手動作をはじめ、
利用者の体の特定の部分の動きを認識するコンピュータ
装置が開発されている。この従来のコンピュータ装置で
行われる処理は、例えば手話のための手動作を認識しよ
うとする場合、次のようなものである。すなわち、最
初、利用者を撮影して、その画像を記憶する。次に、画
像のどの部分が手であるかを特定する。そして、手の動
きを検出し、検出した手の動きに基づいて手話単語を判
定する。判定は、手話の動作的特徴を記述した辞書を参
照して行う。こうして、コンピュータ装置は、利用者の
行う手話を”認識”する。

【０００４】以下、上記の一連の処理のうち、手の動き
に基づいて手話単語を判定する処理を、具体的に説明す
る。一般に、手話単語は、いくつかの単位動作およびそ
れらの組み合わせによって表現される。ここで単位動作
とは、上げる、下げる、曲げるなどの、分割可能な最小
の動作をいう。各単位動作をＡ，Ｂ，Ｃ，…とすると、
手話単語は、（Ａ），（Ｂ），（Ｃ），…，（Ａ，
Ｂ），（Ａ，Ｃ），（Ｂ，Ｃ），…，（Ａ，Ｂ，Ｃ），
…のように表現される。そして、これら手話単語を組み
合わせることによって手話が行われる。例えば、手話単
語（Ａ）が「電源」、手話単語（Ｂ，Ｃ）が「切断す
る」を意味するとすると、手話単語（Ａ）および（Ｂ，
Ｃ）を提示する、すなわち単位動作Ａ，ＢおよびＣを連
続して行うことによって、「電源を切断する」意が表現
される。

【０００５】人と人との間で行う手話の場合、話し手
が、手話単語（Ａ）および（Ｂ，Ｃ）を意図して、単位
動作Ａ、ＢおよびＣを連続して行ったとすると、受け手
は、その一連の単位動作を、通常、直感的に手話単語
（Ａ）および（Ｂ，Ｃ）と認識できる。しかし、コンピ
ュータ装置に対して手話入力をする場合、利用者が、手
話単語（Ａ）および（Ｂ，Ｃ）を意図して単位動作Ａ、
ＢおよびＣを連続して行っても、コンピュータ装置は、
その一連の単位動作Ａ、ＢおよびＣを、手話単語（Ａ）
および（Ｂ，Ｃ）であると認識することができない。

【０００６】そこで、従来、利用者は、手話単語（Ａ）
と手話単語（Ｂ，Ｃ）との間に、静止等の予め決められ
た動作（以下、分節動作ａ）を挿入するようにしてい
た。すなわち、「電源を切断する」と入力したい場合、
利用者は、手話単語（Ａ）、分節動作ａおよび手話単語
（Ｂ，Ｃ）を提示、つまり単位動作Ａ，分節動作ａ，お
よび単位動作ＢおよびＣを連続して実行する。コンピュ
ータ装置は、提示される一連の動作を検出して、分節動
作ａを挟んでその前後で分節（セグメンテーション）
し、手話単語（Ａ）と手話単語（Ｂ，Ｃ）とを得る。

【０００７】

【発明が解決しようとする課題】上記のように、コンピ
ュータ装置において行われる従来の動作認識方法では、
利用者は、例えば、複数の単語からなる文章を、手話の
ための手動作によってコンピュータ装置に入力しようと
する場合、ある単語と対応する手動作と次の単語と対応
する手動作との間に分節動作を逐一挿入しつつ、入力を
行わなければならなかった。なぜなら、従来の動作認識
方法では、検出される動作を、単語単位に自動的に分節
することができなかったからである。

【０００８】なお、検出される一連の単位動作（動作コ
ード列）を単語単位に分節する方法としては、例えば、
文字コード列を単語単位に分節して文字に変換するワー
ドプロセッサで行われるものと同様の処理を行うことが
考えられる。しかし、この場合、単語を登録した辞書を
参照することによって、動作コード列中の分節位置を求
めるので、分節位置が一義的に求まらないことがある。
その場合、コンピュータ装置は、いくつかの分節位置に
基づく選択肢を利用者に提示し、利用者が、提示された
選択肢の中から、自らの意図するものを選ばねばならな
い。そのため、利用者は、入力に手間がかかり、入力速
度も上がらない。

【０００９】例えば、利用者が、手話単語（Ａ）および
（Ｂ，Ｃ）を意図して単位動作Ａ、ＢおよびＣを連続し
て行ったとき、コンピュータ装置の辞書に手話単語
（Ａ），（Ｂ），（Ｃ），…，（Ａ，Ｂ），（Ａ，
Ｃ），（Ｂ，Ｃ），…，（Ａ，Ｂ，Ｃ），…が登録され
ているとすると、この辞書を参照して分節位置を求めた
のでは、分節位置が１つに決まらない。そこで、コンピ
ュータ装置は、可能ないくつかの位置で分節を行い、手
話単語（Ａ）および（Ｂ，Ｃ）や、手話単語（Ａ，Ｂ）
および（Ｃ）、手話単語（Ａ，Ｂ，Ｃ）などからなる選
択肢を提示する。応じて、利用者は、提示された選択肢
の中から、自らが意図するものを選び、それをコンピュ
ータ装置に通知する。つまり、こうした動作コード列に
基づいて分節位置を求める方法では、検出される一連の
動作を単語単位に自動的に分節することはできない。

【００１０】それゆえに、本発明の目的は、利用者の手
動作を認識する際に行われ、利用者側が分節位置を提示
しなくても、検出される手動作を単語単位に自動的に分
節することができるような手動作分節方法および装置を
提供することである。

【００１１】

【課題を解決するための手段および発明の効果】第１の
発明は、利用者が行う手動作を認識する際に当該手動作
を単語単位または複数の単語からなる有意味単位に自動
的に分節するための方法であって、利用者の身体に、一
つの単語を示す動作の途中には現れず、ある単語を示す
動作から別の単語を示す動作へと遷移する際に現れる遷
移動作の特徴を記述した遷移特徴データを予め記憶する
ステップと、利用者を撮影して、その画像データを記憶
するステップと、画像データから、遷移動作の現れる身
体部位と対応する画像を抽出するステップと、遷移動作
の現れる身体部位と対応する画像の動きを検出するステ
ップと、遷移動作の現れる身体部位と対応する画像の動
きを遷移特徴データと比較して、遷移動作が現れた時間
位置を求めることにより、手動作を分節するステップと
を備えている。

【００１２】上記第１の発明によれば、利用者の身体
に、一つの単語を示す動作の途中には現れず、ある単語
を示す動作から別の単語を示す動作へと遷移する際に現
れる遷移動作に基づいて手動作を分節するので、利用者
側が分節位置を提示しなくても、検出される手動作を単
語単位または複数の単語からなる有意味単位に自動的に
分節することができるようになる。

【００１３】第２の発明は、第１の発明において、遷移
動作は、瞬きを含むことを特徴としている。

【００１４】第３の発明は、第１の発明において、遷移
動作は、頷きを含むことを特徴としている。

【００１５】第４の発明は、第１の発明において、遷移
動作は、閉口を含むことを特徴としている。

【００１６】第５の発明は、第１の発明において、遷移
動作は、手静止を含むことを特徴としている。

【００１７】第６の発明は、第１の発明において、遷移
動作は、胴体静止を含むことを特徴としている。

【００１８】第７の発明は、第１の発明において、遷移
動作は、手と顔との接触を含むことを特徴としている。

【００１９】第８の発明は、第１の発明において、利用
者の身体を取り巻く空間内に、手がその内部に存在する
場合は有効な手動作が行われていないと見なされるよう
な死手領域を設定するステップをさらに備え、遷移動作
は、死手領域への手の出入を含むことを特徴としてい
る。

【００２０】第９の発明は、第１の発明において、手動
作を分節するステップでは、遷移動作の継続時間を計測
して、当該継続時間に関連して分節を行うことを特徴と
している。

【００２１】上記第９の発明によれば、分節処理の精度
を高めることができる。

【００２２】第１０の発明は、第１の発明において、利
用者の身体に、ある単語を示す動作から別の単語を示す
動作への遷移時には現れず、一つの単語を示す動作の途
中に現れる非遷移動作の特徴を記述した非遷移特徴デー
タを予め記憶するステップと、画像データから、非遷移
動作の現れる身体部位と対応する画像を抽出するステッ
プと、非遷移動作の現れる身体部位と対応する画像の動
きを検出するステップと、非遷移動作の現れる身体部位
と対応する画像の動きを非遷移特徴データと比較して、
非遷移動作が現れた時間位置を求めるステップとをさら
に備え、手動作を分節するステップでは、非遷移動作が
現れた時間位置においては分節を行わないことを特徴と
している。

【００２３】上記第１０の発明によれば、利用者の身体
に、ある単語を示す動作から別の単語を示す動作への遷
移時には現れず、一つの単語を示す動作の途中に現れる
非遷移動作が現れる時間位置では分節を行わないので、
誤って単語を分節することがなくなり、分節処理の精度
を高めることができる。

【００２４】第１１の発明は、第１０の発明において、
非遷移動作は、右手と左手との距離が予め決められた値
以下に接近する両手接近を含むことを特徴としている。

【００２５】第１２の発明は、第１０の発明において、
非遷移動作は、口形変化を含むことを特徴としている。

【００２６】第１３の発明は、第１０の発明において、
非遷移動作は、右手と左手とを互いに対称的に動かす対
称動作を含むことを特徴としている。

【００２７】第１４の発明は、第１３の発明において、
利用者を撮影して、その画像データを記憶するステップ
では、当該利用者を立体的に撮影して、その３次元画像
データを記憶し、画像データから、非遷移動作の現れる
身体部位と対応する画像を抽出するステップでは、３次
元画像データから、非遷移動作の現れる身体部位と対応
する３次元画像を抽出し、非遷移動作の現れる身体部位
と対応する画像の動きを検出するステップでは、３次元
画像の動きを検出し、非遷移動作が現れた時間位置を求
めるステップでは、３次元画像の動きに基づいて、右手
の動作面および左手の動作面の変化を検出し、右手の動
作面および左手の動作面がどちらも変化しない場合、当
該非遷移動作が現れたと判定して、その時間位置を求め
ることを特徴としている。

【００２８】第１５の発明は、第１４の発明において、
非遷移動作が現れた時間位置を求めるステップでは、右
手の動作面および左手の動作面の変化を、それら動作面
の法線ベクトルの変化に基づいて検出することを特徴と
している。

【００２９】第１６の発明は、第１４の発明において、
それぞれ互いに異なる方向を持つ３次元ベクトルと対応
する複数の３次元動作コードに関し、１つの面内に含ま
れるような３次元動作コードの組み合わせを記載した単
一動作面テーブルを、予め作成するステップと、３次元
画像の動きを、複数の３次元動作コードで表現された３
次元動作コード列に変換するステップとをさらに備え、
非遷移動作が現れた時間位置を求めるステップでは、右
手の動作面および左手の動作面の変化を、同一動作面テ
ーブルに基づいて検出することを特徴としている。

【００３０】第１７の発明は、第１の発明において、遷
移動作を示すアニメーションの画像データを予め記憶す
るステップと、遷移動作の検出状況および手動作の認識
状況を検知するステップと、遷移動作の検出状況および
手動作の認識状況に関連して、利用者に対し、遷移動作
を示すアニメーションを視覚的に提示するステップとを
さらに備えている。

【００３１】上記第１７の発明によれば、例えば特定の
遷移動作の検出頻度が著しく低い場合や、検出した遷移
動作に基づいて手動作を分節したが手動作を認識できな
かった場合に、その遷移動作を示すアニメーションが提
示されるので、利用者は、表示されたアニメーションを
参照して、意識的に遷移動作を矯正することができ、そ
の結果、遷移動作の検出を正確に行えるようになる。

【００３２】第１８の発明は、第１７の発明において、
遷移動作を示すアニメーションを視覚的に提示するステ
ップでは、当該アニメーションの速度を、手動作の認識
状況に応じて変化させることを特徴としている。

【００３３】上記第１８の発明によれば、例えば、手動
作の認識状況が悪い場合、提示するアニメーションの速
度を下げ、それによって、遷移動作をゆっくり行うよ
う、利用者を誘導するので、手動作の認識状況を改善す
ることができる。

【００３４】第１９の発明は、利用者が行う手動作を認
識する際に当該手動作を単語単位または複数の単語から
なる有意味単位に自動的に分節するための方法を記述し
た、コンピュータ装置において実行されるプログラムを
記録した記録媒体であって、利用者の身体に、一つの単
語を示す動作の途中には現れず、ある単語を示す動作か
ら別の単語を示す動作へと遷移する際に現れる遷移動作
の特徴を記述した遷移特徴データを予め記憶するステッ
プと、利用者を撮影して、その画像データを記憶するス
テップと、画像データから、遷移動作の現れる身体部位
と対応する画像を抽出するステップと、遷移動作の現れ
る身体部位と対応する画像の動きを検出するステップ
と、遷移動作の現れる身体部位と対応する画像の動きを
遷移特徴データと比較して、遷移動作が現れた時間位置
を求めることにより、手動作を分節するステップとを備
える動作環境を、コンピュータ装置上で実現するための
プログラムを記録している。

【００３５】第２０の発明は、第１９の発明において、
利用者の身体に、ある単語を示す動作から別の単語を示
す動作への遷移時には現れず、一つの単語を示す動作の
途中に現れる非遷移動作の特徴を記述した非遷移特徴デ
ータを予め記憶するステップと、画像データから、非遷
移動作の現れる身体部位と対応する画像を抽出するステ
ップと、非遷移動作の現れる身体部位と対応する画像の
動きを検出するステップと、非遷移動作の現れる身体部
位と対応する画像の動きを非遷移特徴データと比較し
て、非遷移動作が現れた時間位置を求めるステップとを
さらに備え、手動作を分節するステップでは、非遷移動
作が現れた時間位置においては分節を行わないことを特
徴とする動作環境を、コンピュータ装置上で実現するた
めのプログラムを記録している。

【００３６】第２１の発明は、第１９の発明において、
遷移動作を示すアニメーションの画像データを予め記憶
するステップと、遷移動作の検出状況および手動作の認
識状況を検知するステップと、遷移動作の検出状況およ
び手動作の認識状況に関連して、利用者に対し、遷移動
作を示すアニメーションを視覚的に提示するステップと
をさらに備える動作環境を、コンピュータ装置上で実現
するためのプログラムを記録している。

【００３７】第２２の発明は、利用者が行う手動作を認
識する際に当該手動作を単語単位または複数の単語から
なる有意味単位に自動的に分節するための手動作分節装
置であって、利用者の身体に、一つの単語を示す動作の
途中には現れず、ある単語を示す動作から別の単語を示
す動作へと遷移する際に現れる遷移動作の特徴を記述し
た遷移特徴データを記憶する手段と、利用者を撮影し
て、その画像データを記憶する手段と、画像データか
ら、遷移動作の現れる身体部位と対応する画像を抽出す
る手段と、遷移動作の現れる身体部位と対応する画像の
動きを検出する手段と、遷移動作の現れる身体部位と対
応する画像の動きを遷移特徴データと比較して、遷移動
作が現れた時間位置を求めることにより、手動作を分節
する手段とを備えている。

【００３８】第２３の発明は、第２２の発明において、
利用者の身体に、ある単語を示す動作から別の単語を示
す動作への遷移時には現れず、一つの単語を示す動作の
途中に現れる非遷移動作の特徴を記述した非遷移特徴デ
ータを予め記憶する手段と、画像データから、非遷移動
作の現れる身体部位と対応する画像を抽出する手段と、
非遷移動作の現れる身体部位と対応する画像の動きを検
出する手段と、非遷移動作の現れる身体部位と対応する
画像の動きを非遷移特徴データと比較して、非遷移動作
が現れた時間位置を求める手段とをさらに備え、手動作
を分節する手段は、非遷移動作が現れた時間位置におい
ては分節を行わないことを特徴としている。

【００３９】第２４の発明は、利用者が行う手動作を認
識する手動作認識装置、および当該手動作を単語単位ま
たは複数の単語からなる有意味単位に自動的に分節する
ための手動作分節装置に付随して設けられ、利用者を視
覚的に誘導して当該利用者に所定の動作を行わせるため
の動作誘導装置であって、手動作分節装置は、利用者の
身体に、一つの単語を示す動作の途中には現れず、ある
単語を示す動作から別の単語を示す動作へと遷移する際
に現れる遷移動作を検出して分節を行う機能を有してお
り、遷移動作を示すアニメーションの画像データを予め
記憶する手段と、手動作分節装置および手動作認識装置
を監視して、遷移動作の検出状況および手動作の認識状
況を検知する手段と、遷移動作の検出状況および手動作
の認識状況に関連して、利用者に対し、遷移動作を示す
アニメーションを視覚的に提示する手段とを備えてい
る。

【００４０】第２５の発明は、第２４の発明において、
遷移動作を示すアニメーションを視覚的に提示する手段
は、当該アニメーションの速度を、手動作の認識状況に
応じて変化させる手段を含んでいる。

【００４１】第２６の発明は、利用者が行う手動作を認
識する際に当該手動作を単語単位または複数の単語から
なる有意味単位に自動的に分節するための手動作分節装
置であって、利用者の身体に、一つの単語を示す動作の
途中には現れず、ある単語を示す動作から別の単語を示
す動作へと遷移する際に現れる遷移動作の特徴を記述し
た遷移特徴データを記憶する手段と、利用者に対向して
設置されるテレビカメラを含み、当該テレビカメラで当
該利用者を撮影して、その画像データを記憶する手段
と、画像データから、遷移動作の現れる身体部位と対応
する画像を抽出する手段と、遷移動作の現れる身体部位
と対応する画像の動きを検出する手段と、遷移動作の現
れる身体部位と対応する画像の動きを遷移特徴データと
比較して、遷移動作が現れた時間位置を求めることによ
り、手動作を分節する手段と、遷移動作の検出状況およ
び手動作の認識状況に関連して、利用者に対し、遷移動
作を示すアニメーションを視覚的に提示する手段と、利
用者に対して、テレビカメラが露見しないよう、当該テ
レビカメラを隠蔽する手段とを備えている。

【００４２】上記第２６の発明によれば、利用者からテ
レビカメラが見えなくなるので、利用者がテレビカメラ
を意識して緊張し、手動作がぎこちなくなることを防ぐ
ことができる。その結果、分節を正確に行えるようにな
る。

【００４３】第２７の発明は、第２６の発明において、
遷移動作を示すアニメーションを視覚的に提示する手段
は、利用者とテレビカメラとを結ぶ直線の鉛直下方に、
鉛直上方を向いて設置されるモニタを含み、テレビカメ
ラを隠蔽する手段は、順方向からの光を透過させ、かつ
逆方向からの光を反射するようなハーフミラーを含み、
ハーフミラーは、利用者とテレビカメラとを結ぶ直線上
であって、かつモニタの鉛直上方の位置に、当該直線に
対して４５度となるような角度で設置されることを特徴
としている。

【００４４】上記第２７の発明によれば、簡単な構成
で、テレビカメラを隠蔽することができるようになる。

【００４５】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。 （第１の実施形態）図１は、本発明の第１の実施形態に
係る手動作分節方法を用いた手動作認識方法を示すフロ
ーチャート、図２は、図１の方法を実現するコンピュー
タ装置の構成の一例を示すブロック図である。図２にお
いて、コンピュータ装置は、ＣＰＵ２０１と、ＲＡＭ２
０２と、プログラム記憶部２０３と、入力部２０４と、
出力部２０５と、撮像部２０６と、画像記憶部２０７
と、手話用手動作記憶部２０８と、遷移動作記憶部２０
９とを備えている。

【００４６】図２のコンピュータ装置は、利用者が行う
手話のための手動作を認識して所定の処理を実行する装
置である。具体的には、例えば、所定のプログラムデー
タをインストールすると共に、テレビカメラを接続する
ことによって、手話入力や手話の自動翻訳を実現する汎
用的なパーソナル・コンピュータ・システムを想定して
いる。あるいは、利用者の手動作に応じて電源のｏｎ／
ｏｆｆや動作モードの切替などを行うマイクロ・コンピ
ュータを備えた家電製品等であってもよい。図１に示さ
れる手動作認識方法には、利用者の手動作を認識する際
に、検出された手動作を単語単位または複数の単語から
なる有意味単位に分節するための手動作分節処理が含ま
れる。

【００４７】ここで、本願発明の理解を容易にする目的
で、予めその概要を説明しておく。従来の技術の項目に
おいて説明したように、手話では一般に、文章は、複数
の手話単語を用いて表現される。そして、各手話単語
は、それぞれ１以上の単位動作の組み合わせによって構
成されている。一方、コンピュータ装置は、利用者の手
動作を一連の単位動作として検出するので、コンピュー
タ装置に手動作を認識させるには、何らかの方法で、一
連の単位動作を利用者の意図する単語単位に分節するこ
とが必要となる。従来の分節方法では、利用者が、ある
単語と対応する動作と次の単語と対応する動作との間に
静止動作等を挿入し、コンピュータ装置は、静止動作等
の検出を行うことによって、一連の単位動作を分節して
いた。つまり、利用者側が、意図的に分節位置を提示す
る必要があった。

【００４８】一方、人同士が行う自然な手話では、各単
語は、連続的に提示される。本願の発明者は、このよう
な自然な手話において、手話者がある単語と対応する動
作を終えてから次の単語と対応する動作を開始するまで
の間に、利用者の体に無意識的にある特定の動きが現れ
ることに着目した。例えば、瞬き、閉口、頷きなどであ
る（以下では、こうした単語と単語の切れ目で利用者が
無意識的に行う動作を、遷移動作と呼ぶ）。単語と単語
の切れ目に挿入される自然な静止動作も、遷移動作に含
まれる。これらの遷移動作は、一つの単語と対応する手
動作の最中に行われることは少ない。そこで、本願の発
明者は、遷移動作を、手動作の分節に利用することを発
案した。

【００４９】つまり、図１の方法では、コンピュータ装
置は、利用者が行う手話のための手動作を検出する際
に、それと平行して遷移動作の検出をも行う。そして、
遷移動作が現れる時間位置を求めることによって、手動
作（つまり一連の単位動作）を単語ないしは有意味単位
に分節する。そのため、上記従来の分節方法と異なり、
利用者は、意図的に分節位置を提示する必要がなくな
る。

【００５０】さて、図２において、プログラム記憶部２
０３には、図１のフローチャートに示されるような処理
を実現するためのプログラムデータが格納されている。
ＣＰＵ２０１は、プログラム記憶部２０３に格納された
プログラムデータに従って、図１に示す処理を実行す
る。ＲＡＭ２０２は、ＣＰＵ２０１の処理に必要なデー
タ類や処理中に生じる作業データ等を記憶する。

【００５１】入力部２０４は、キーボードやマウスを含
み、オペレータの操作に応じて、各種指示やデータをＣ
ＰＵ２０１に入力する。出力部２０５は、ディスプレイ
やスピーカを含み、ＣＰＵ２０１の処理結果等を、映像
や音声などの形態で出力する。

【００５２】撮像部２０６は、少なくとも１台のテレビ
カメラを含み、利用者の動作を撮像する。ここで、テレ
ビカメラの台数は、利用者の動きを２次元的に捉える場
合は１台でよいが、３次元的に捉える場合は２台必要と
なる。画像記憶部２０７は、撮像部２０６の出力画像を
複数フレーム分記憶する。手話用手動作記憶部２０８に
は、手話のための手動作の特徴を示す手話特徴データが
格納されている。遷移動作記憶部２０９には、遷移動作
の特徴を示す遷移特徴データが格納されている。

【００５３】ここで、プログラム記憶部２０３へプログ
ラムデータを格納する方法としては、次の３つの方法が
ある。第１は、プログラムデータを記録した記録媒体か
らそのプログラムデータを読み取って、プログラム記憶
部２０３へ格納する方法である。第２は、通信回線を通
じて伝送されてくるプログラムデータを受信して、プロ
グラム記憶部２０３に格納する方法である。第３は、本
コンピュータ装置の出荷時に、予めプログラム記憶部２
０３へプログラムデータを格納しておく方法である。な
お、手話特徴データおよび遷移特徴データも、上記第１
〜第３の方法と同様の方法により、それぞれ手話用手動
作記憶部２０８、遷移動作記憶部２０９に格納すること
ができる。

【００５４】以下、上記のように構成されたコンピュー
タ装置の動作について、図１のフローチャートを用いて
説明する。まず、撮像部２０６によって、利用者の撮像
が開始される（ステップＳ１０１）。撮像部２０６から
出力される画像データは、所定のサンプリング周期（例
えば３０分の１秒間隔）で画像記憶部２０７に格納され
る（ステップＳ１０２）。画像記憶部２０７に格納され
る画像データの各フレームには、時系列的に連続番号
（フレーム番号）が付される。

【００５５】次に、ＣＰＵ２０１は、ステップＳ１０２
で画像記憶部２０７に格納された画像データの各フレー
ムから、利用者の手に対応するデータを抽出する（ステ
ップＳ１０３）。そして、ステップＳ１０３で抽出され
たデータに基づいて、利用者の手の動きを検出する（ス
テップＳ１０４）。これらステップＳ１０３およびＳ１
０４の詳細については、後述する。

【００５６】次に、ＣＰＵ２０１は、ステップＳ１０２
で画像記憶部２０７に格納された画像データから、利用
者の体の特定の部位に対応するデータを抽出する（ステ
ップＳ１０５）。ここで、特定の部位は、利用者の体の
うち前述の遷移動作が現れる部位であり、例えば、目、
口、顔（の輪郭）、胴体などである。ステップＳ１０５
では、これら特定の部位のうち少なくとも１つの部位、
好ましくは複数の部位について、各部位に対応するデー
タの抽出が行われる。以下の説明では、目、口、顔およ
び胴体と対応するデータが抽出されるものとする。

【００５７】次に、ＣＰＵ２０１は、ステップＳ１０５
で抽出したデータに基づいて、上記各部位の動きを検出
する（ステップＳ１０６）。なお、遷移動作は、目、
口、顔および胴体だけでなく手にも現れるが、手の動き
については、ステップＳ１０４の検出結果を転用する。

【００５８】ここで、上記ステップＳ１０３およびＳ１
０５のデータ抽出処理、およびステップＳ１０４および
Ｓ１０６の動き検出処理について具体的に説明する。ス
テップＳ１０３およびＳ１０５のデータ抽出処理は、例
えば、次のようにして行われる。最初、ＣＰＵ２０１
は、画像記憶部２０７に格納された画像データを、利用
者の体の各部位に対応付けられた複数の領域に分割す
る。ここでは、手を含む手領域、顔を含む顔領域、胴体
を含む胴体領域の３つの領域に分割する。この領域分割
は、例えば、次のようにして行う。

【００５９】次に、利用者が、抽出したい部位の色を、
入力部２０４を通じてＣＰＵ２０１に入力する。すなわ
ち、ステップＳ１０３では、手の色（例えば肌色）が入
力され、一方、ステップＳ１０５では、目の白目部分の
色（例えば白色）、唇の色（例えば暗赤色）、顔の色
（例えば肌色）、および衣服の色（例えば青）が入力さ
れる。

【００６０】応じて、ＣＰＵ２０１は、各領域内の画像
データを構成する複数の画素データについて、各画素デ
ータの示す色が、利用者によって指定された色と一致な
いしは近接するか否かを判定し、判定結果が肯定である
画素データだけを選択する。すなわち、ステップＳ１０
３では、手領域に属する画像データから肌色を示すデー
タだけが選択されるので、手と対応するデータを抽出す
ることができる。一方、ステップＳ１０５では、顔領域
から白色を示すデータだけが選択されるので、目（白目
部分）と対応するデータを抽出することができる。同様
に、顔領域から暗赤色を示すデータだけが選択されの
で、口（唇部分）と対応するデータを抽出することがで
き、顔領域から肌色を示すデータだけが選択されので、
顔と対応するデータを抽出することができ、胴体領域か
ら青色を示すデータだけが選択されるので、胴体（衣
服）と対応するデータを抽出することができる。

【００６１】ステップＳ１０４の動き検出処理は、次の
ようにして行われる。ＣＰＵ２０１は、ステップＳ１０
３で各フレームから抽出されたデータを相互に比較する
ことによって、各フレームにおける手の動きを検出す
る。そして、検出した動きを所定の手順でコード化す
る。従って、ステップＳ１０４で検出された手の動き
は、手に関して決められた複数の動作コードからなるコ
ード列の形態を有する。この動作コード列は、ＲＡＭ２
０２に一時記憶される。

【００６２】ステップＳ１０６の動き検出処理は、次の
ようにして行われる。ＣＰＵ２０１は、ステップＳ１０
５で各フレームから抽出されたデータを相互に比較する
ことによって、各フレームにおける目、口、顔および胴
体の動きを検出する。そして、検出した動きを所定の手
順でコード化する。従って、ステップＳ１０６で検出さ
れた各部位（目、口、顔および胴体）の動きは、それら
各部位に関して決められた複数の動作コードからなるコ
ード列の形態を有する。これらの動作コード列は、ＲＡ
Ｍ２０２に一時記憶される。

【００６３】再び図２に戻り、ステップＳ１０７以降の
処理を説明する。次に、ＣＰＵ２０１は、遷移動作記憶
部２０９から遷移特徴データを読み出してきて、ステッ
プＳ１０６で検出した各部位の動きと比較する。ここ
で、遷移特徴データは、上記ステップＳ１０４およびＳ
１０６で利用者の体の各部位の動きを表現するのに用い
られた複数の動作コードを用いて記述されている。そし
て、各部位（目、口、顔、手および胴体）の動きにおい
て、遷移動作（瞬き動作、閉口動作、頷き動作、手静止
および胴体静止）に一致ないしは近似している箇所があ
るか否かを判定する（ステップＳ１０７）。具体的に
は、ＣＰＵ２０１は、ＲＡＭ２０２に記憶されている各
部位の動作コード列を検索して、遷移特徴データの動作
コードまたは動作コード列と一致する箇所があるか否か
を判定する。ステップＳ１０７の判定結果が否定である
場合、ＣＰＵ２０１は、ステップＳ１０９に進む。

【００６４】ステップＳ１０７の判定結果が肯定である
場合、ＣＰＵ２０１は、ステップＳ１０４で検出した手
動作を単語単位に分節するための分節位置を決定する
（ステップＳ１０８）。この分節位置決定処理は、次の
ようにして行われる。最初、ＣＰＵ２０１は、各部位の
動きにおいて、遷移動作に一致ないしは近似している箇
所を、分節位置の候補としてピックアップする。具体的
には、ＲＡＭ２０２に記憶されている各部位の動作コー
ド列を検索して、遷移特徴データの動作コードまたは動
作コード列に一致ないしは類似する箇所を検出し、それ
ら一致ないしは類似箇所の時間位置を、フレーム番号を
用いて特定する。こうして特定された時間位置を、以
下、分節位置候補と呼ぶことにする。

【００６５】次に、ＣＰＵ２０１は、上記のようにして
各部位毎にピックアックした分節位置候補を相互に比較
して、その比較結果に基づいて、ステップＳ１０４で検
出した手動作（一連の単位動作）における分節位置を決
定する。

【００６６】具体的には、瞬き動作の場合、例えば瞼が
閉じた（すなわち白目領域が消失した）瞬間を分節位置
候補とする。閉口動作の場合、例えば唇が閉じた瞬間を
分節位置とする。頷き動作の場合、例えば顔の下端の動
きが下向きから上向きに転じる瞬間（顎の先端が最下点
に達した瞬間）を分節位置候補とする。手静止の場合、
例えば手の動きが停止した瞬間を分節位置候補とする。
胴体静止の場合、例えば胴体の動きが停止した瞬間を分
節位置候補とする。こうしてピックアップされた各部位
毎の分節位置候補を相互に比較して、例えば２以上の部
位において、ピックアップされた分節位置候補が互いに
一致ないしは予め決められた間隔よりも近接している場
合、その位置を、分節位置に決定する。より正確には、
２以上の部位の分節位置候補が互いに一致した場合は、
その一致した位置を分節位置とする。２以上の部位の分
節位置候補が互いに近接している場合は、それら近接す
る２以上の位置の平均位置を分節位置とする（または、
近接する２以上の位置のいずれか１つを分節位置として
もよい）。

【００６７】ステップＳ１０９では、ステップＳ１０８
で決定された分節位置を参照して、ステップＳ１０４で
検出された手動作を翻訳する処理が行われる。すなわ
ち、ＣＰＵ２０１は、ステップＳ１０４で検出した手動
作を、ステップＳ１０８で決定した分節位置で分節し、
それによって得られた各手話単語を、手話用手動作記憶
部２０８に格納されている手話特徴データと比較しつつ
翻訳する。ここで、手話特徴データは、上記ステップＳ
１０４で手動作を表現するのに用いられた複数の動作コ
ードを用いて記述されている。その後、動作を終了する
か否かが判断され（ステップＳ１１０）、判断結果が否
定であればステップＳ１０１に戻って上記と同様の処理
が繰り返され、肯定であれば、処理が終了される。

【００６８】以上のように、本実施形態によれば、利用
者の身体に、一つの単語を示す動作の途中には現れず、
ある単語を示す動作から別の単語を示す動作へと遷移す
る際に現れる遷移動作に基づいて手動作を分節するの
で、利用者側が意図的に分節位置を提示しなくても、コ
ンピュータ装置は、検出される手動作を単語単位または
複数の単語からなる有意味単位に自動的に分節すること
ができるようになる。

【００６９】なお、第１の実施形態では、画像データ
を、そこから利用者の体の各部位と対応するデータを抽
出する処理に関連して、手を含む手領域、顔を含む顔領
域、胴体を含む胴体領域の３つの領域に分割したが、代
わりに、それら３つの領域にさらに死手領域を加えた４
つの領域に分割してもよい。ここで、死手領域とは、利
用者が腕を下ろした状態で手がその領域内にあるよう
な、出力部２０５の画面の底辺近縁に相当する領域であ
る。この場合、手が死手領域内に存在する期間は利用者
が手話を行っていないと判断され、手が死手領域外に出
た瞬間が手動作開始と判断される。これによって、コン
ピュータ装置は、利用者が手動作を開始したことを明確
に認識できるようになる。さらには、死手領域への手の
出入を検出するようにして、それを遷移動作として分節
に利用してもよい。

【００７０】また、第１の実施形態では、分節位置を決
定するための遷移動作として、瞬き動作、閉口動作、頷
き動作、手静止および胴体静止（の少なくとも１つ）を
検出したが、遷移動作は、これらの動作に限らない。例
えば、手と顔との接触動作を遷移動作に加えてもよい。
なぜなら、手話では、互いに離れていた手と顔とを接触
させたり、互いに接触していた手と顔とを離したりする
動作は、単語の先頭や末尾で行われることが多いからで
ある。

【００７１】また、第１の実施形態において、分節位置
を決定する際に、遷移動作の継続時間を考慮するように
してもよい。例えば、手静止の継続時間を計測して、予
め決められたしきい値と比較する。そして、継続時間が
しきい値よりも長ければ、その手静止を遷移動作と判断
して分節位置の決定に利用し、継続時間がしきい値より
も短ければ、その手静止を遷移動作でないと判断して無
視する。これによって、分節処理の精度を高めることが
できる。

【００７２】また、第１の実施形態において、遷移動作
に加え、非遷移動作をもさらに記憶しておき、それら遷
移動作および非遷移動作に基づいて分節位置を決定して
もよい。ここで、非遷移動作とは、一つの単語と対応す
る手動作を行っている最中に行われ、かつ、ある単語か
ら次の単語へと移行する際には行われることがまれであ
るような動作である。例えば、両手を互いに接近させる
動作、口形を変化させる動作などである。

【００７３】具体的には、図２のコンピュータ装置に非
遷移動作記憶部（図示せず）をさらに設け、そこに非遷
移動作の特徴を示す非遷移特徴データを格納しておく。
その上で、図１のステップＳ１０６において、遷移動作
に加え、非遷移動作をも検出する。非遷移動作の検出
は、遷移動作の検出と同様にして行える。そして、ステ
ップＳ１０８において、ステップＳ１０６で検出した遷
移動作および非遷移動作に基づいて、手動作の分節を行
う。

【００７４】すなわち、第１の実施形態では、ピックア
ップされた各部位毎の分節位置候補を相互に比較して、
例えば２以上の部位において、ピックアップされた分節
位置候補が互いに一致ないしは予め決められた間隔より
も近接している場合、それら分節位置候補に基づいて分
節位置を決定した（具体的には、一致した位置、ないし
は近接する２以上の位置の平均値を分節位置に決定し
た）。これに対し、非遷移動作をも考慮する場合、たと
え２以上の部位において、ピックアップされた分節位置
候補が互いに一致ないしは予め決められた間隔よりも近
接しても、同時に非遷移動作が検出されていれば、それ
ら分節位置候補に基づいて分節位置を決定することはし
ない。つまり、非遷移動作が行われている期間は、たと
え遷移動作が検出されても、分節が実行されないことに
なる。これにより、分節処理の精度を高めることができ
る。

【００７５】また、第１の実施形態において、コンピュ
ータ装置が遷移動作の検出を正確に行えるようにするた
めに、出力部２０５の画面を通じ、正しい（つまりコン
ピュータ装置が認識しやすいような）遷移動作を行わせ
るよう利用者を誘導するためのアニメーション画像を提
示するようにしてもよい。

【００７６】具体的には、図２のコンピュータ装置にお
いて、各遷移動作を示すアニメーションの画像データ
を、図示しないアニメーション記憶部に予め記憶してお
く。そして、遷移動作の検出状況（例えば特定の遷移動
作の検出頻度が著しく低いことなど）と、手動作の認識
状況（検出した遷移動作に基づいて手動作を分節したと
きに、その手動作を認識できたか否か）とに基づいて、
どの遷移動作を利用者に提示すべきかをＣＰＵ２０１が
判断し、その遷移動作を示すアニメーションの画像デー
タをアニメーション記憶部から読み出して出力部２０５
へと与える。こうして、出力部２０５の画面上には、遷
移動作を示すアニメーションが表示され、利用者は、表
示されたアニメーションを参照ながら、遷移動作を矯正
する。

【００７７】（第２の実施形態）図３は、本発明の第２
の実施形態に係る手話動作セグメンテーション装置の構
成を示すブロック図である。図３において、手話動作セ
グメンテーション装置は、画像入力部３０１、身体特徴
抽出部３０２、特徴運動追跡部３０３、セグメント位置
判定部３０４およびセグメント要素記憶部３０５を備え
ている。

【００７８】手話動作セグメンテーション装置は、例え
ば手話認識装置（図示せず）に設けられる。そのほか、
家電製品や駅の券売機等のようなコンピュータ装置にも
設けられる。画像入力部３０１へは、テレビカメラ等の
画像入力装置を通じて取り込まれた画像が与えられる。
ここでは、特に断らない限り、手話者の動作を２次元的
に捉えるので、画像入力装置は１台でよい。

【００７９】画像入力部３０１は、手話者の身体画像を
入力する。画像入力部３０１から入力された画像（以
下、入力画像）は、フレーム毎に番号を付与され、身体
特徴抽出部３０２に送られる。セグメント要素記憶部３
０５には、予め、分節を行うための要素（以下、セグメ
ント要素）として、身体特徴と動き特徴とが記憶されて
いる。身体特徴抽出部３０２は、入力画像から、セグメ
ント要素記憶部３０５に記憶されている身体特徴と対応
する画像を抽出する。特徴運動追跡部３０３は、抽出さ
れた画像に基づいて、身体特徴の動きを計算し、その計
算結果を示す動き情報を、セグメント位置判定部３０４
に送る。セグメント位置判定部３０４は、送られてきた
動き情報と、セグメント要素記憶部３０５に記憶されて
いる動き特徴とに基づいて、セグメント位置を判定し、
そのセグメント位置を示すフレーム番号を出力する。

【００８０】ここで、画像入力部３０１、身体特徴抽出
部３０２、特徴運動追跡部３０３およびセグメント位置
判定部３０４は、１台もしくは複数台のコンピュータに
よって実現可能である。セグメント要素記憶部３０５
は、コンピュータに接続されるハードディスクやＣＤ−
ＲＯＭ、ＤＶＤ等の記録装置によって実現可能である。

【００８１】以下、上記のように構成された手話動作セ
グメンテーション装置の処理手順について説明する。図
４は、図３の手話動作セグメンテーション装置の処理の
流れの一例を示すフローチャートである。図４の各ステ
ップでは、それぞれ以下のような処理が行われる。

【００８２】［ステップＳ４０１］画像入力部３０１へ
の入力画像があれば、画像入力部３０１は、１フレーム
分の入力画像を取り込む。そして、フレーム番号ｉに
「１」が加えられ、その後、入力画像は、身体特徴抽出
部３０２に送られる。その後、手話動作セグメンテーシ
ョン装置は、ステップＳ４０２に進む。入力画像がない
場合、フレーム番号ｉに「０」が加えられ、次いで、判
定コード番号ｊに「１」が加えられる。その後、手話動
作セグメンテーション装置では、ステップＳ４０１が繰
り返される。

【００８３】［ステップＳ４０２］身体特徴抽出部３０
２は、手話者の身体に応じて空間領域を分割する。空間
領域の分割は、例えば「動作開始位置検出方法」（特開
平９−４４６６８号公報）に記述されている方法と同様
の方法によって行う。すなわち、身体特徴抽出部３０２
は、最初、画像データにおいて、背景と人物との色の違
い等に基づいて人物領域を検出し、次に、検出した人物
領域の輪郭線に沿って、手話者を取り巻く空間領域を分
割する。そして、分割して得られる領域毎に、領域コー
ドを設定する。図５は、身体特徴抽出部３０２が設定す
る領域コードの一例を示す図である。図５において、入
力画像５０１（空間領域）は、人物領域の輪郭線５０
２、頭部外接矩形５０３、首ライン５０４、胴体左ライ
ン５０５、胴体右ライン５０６、および死手決定ライン
５０７によって分割される。

【００８４】具体的には、身体特徴抽出部３０２は、最
初、人物領域の輪郭線５０２から首の位置を検出し、こ
の首の高さにおいて、Ｘ軸に平行に首ライン５０４をひ
く。次に、画面下端から、首ライン５０４の高さに死手
決定比率をかけた高さの位置に、Ｘ軸に水平に死手決定
ライン５０７をひく。ここで、死手決定比率は、手の有
効性を確定するためのパラメータであって、死手決定ラ
イン５０７より下に手が入った場合、たとえ手動作が行
われていても、その手動作は無効、つまり手が使われて
いないのと同様であると判断される。本実施形態では、
死手決定比率は、およそ１／５に設定される。

【００８５】次に、上記のようにして分割して得られる
各領域に、領域コードが設定される。図中の丸内の数字
が、領域コードである。本実施形態では、領域コード
は、例えば図５に示されるように設定される。すなわ
ち、頭部外接矩形５０３の外側にあってかつ首ライン５
０４より上の領域が、頭部外接矩形５０３の内側の領
域が、首ライン５０４と死手決定ライン５０７との間
にあってかつ胴体左ライン５０５の左の領域が、首ラ
イン５０４と死手決定ライン５０７との間にあってかつ
胴体左ライン５０５と胴体右ライン５０６との間に挟ま
れた領域が、首ライン５０４と死手決定ライン５０７
との間にあってかつ胴体右ライン５０６の右の領域が
、そして、死手決定ライン５０７の下の領域がのよ
うに設定される。その後、手話動作セグメンテーション
装置は、ステップＳ４０３に進む。

【００８６】［ステップＳ４０３］身体特徴抽出部３０
２は、入力画像から、セグメント要素記憶部３０５に記
憶されている身体特徴と対応する画像を抽出する。こう
して抽出された画像を、以下、抽出身体特徴と呼ぶ。図
６は、セグメント要素記憶部３０５に記憶されるセグメ
ント要素データの一例を示す図である。図６において、
セグメント要素データは、身体特徴６０１と、動き特徴
６０２とを含む。身体特徴６０１には、１以上の身体特
徴、ここでは、顔領域と、目と、口と、手領域および胴
体と、手領域および顔領域と、手領域とがセットされ
る。

【００８７】一方、動き特徴６０２には、身体特徴６０
１にセットされた各身体特徴と対応する動き特徴がセッ
トされる。すなわち、顔領域と対応して頷き頂点がセッ
トされ、目と対応して瞬きがセットされ、口と対応して
口形変化がセットされ、手領域および胴体と対応して動
作静止がセットされ、手領域および顔領域と対応して手
顔接触がセットされ、手領域と対応して手有効性変化点
がセットされる。身体特徴抽出部３０２は、身体特徴６
０１にセットされた身体特徴を、抽出身体特徴として検
出する。例えば、身体特徴６０１に「顔領域」がセット
されている場合、身体特徴抽出部３０２は、抽出身体特
徴として顔領域を抽出する。

【００８８】ここで、顔領域の抽出方法について説明す
る。身体特徴抽出部３０２は、最初、入力画像から、Ｒ
ＧＢ色情報を元に、肌色領域を抽出する。次に、抽出し
た肌色領域のうち、ステップＳ４０２で分割して得られ
た、領域コードがである領域（頭部領域）と重なる部
分を取り出し、それを顔領域とする。

【００８９】図７は、身体特徴抽出部３０２によって抽
出された肌色領域の一例を示す図である。図７に示すよ
うに、肌色領域には、顔の肌色領域７０２および手の肌
色領域７０３がある。そのため、単にＲＧＢ色情報に基
づいて肌色領域を抽出したのでは、顔の肌色領域７０２
および手の肌色領域７０３が抽出され、両者の区別が付
かない。そこで、図５に示すように、予め入力画像を領
域〜に分割しておき、抽出された肌色領域のうち、
頭部領域７０１（図５の領域）と重なる部分だけを取
り出す。それによって、顔の肌色領域７０２が得られ
る。

【００９０】次に、身体特徴抽出部３０２は、顔領域情
報を生成する。すなわち、抽出した顔領域に関し、その
重心、面積、Ｘ軸方向最大長およびＹ軸方向最大長を、
ｉ番目の顔領域情報ｆａｃｅ［ｉ］にセットする。図８
は、身体特徴抽出部３０２が生成する顔領域情報の一例
を示す図である。図８において、顔領域情報には、顔領
域の重心座標８０１、顔領域の面積８０２、顔領域のＸ
軸方向最大長８０３、および顔領域のＹ軸方向最大長８
０４が含まれる。その後、手話動作セグメンテーション
装置は、ステップＳ４０４に進む。

【００９１】［ステップＳ４０４］フレーム番号ｉが１
の場合、手話動作セグメンテーション装置は、ステップ
Ｓ４０１に進む。一方、フレーム番号ｉが１でない場
合、ステップＳ４０５に進む。

【００９２】［ステップＳ４０５］特徴運動追跡部３０
３は、＜式１＞を用いて、ｉ番目の顔領域情報ｆａｃｅ
［ｉ］と、ｉ−１番目の顔領域情報ｆａｃｅ［ｉ−１］
とから、顔領域の特徴運動コードを求める。また、ｉ番
目の顔領域情報ｆａｃｅ［ｉ］の重心ｇ＿ｆａｃｅ
［ｉ］と、ｉ−１番目の顔領域情報ｆａｃｅ［ｉ−１］
の重心ｇ＿ｆａｃｅ［ｉ−１］とから、ｉ番目の顔領域
の顔運動方向ベクトルＶ＿ｆａｃｅ［ｉ］を求める。

【数１】

【００９３】次に、特徴運動追跡部３０３は、ｉ番目の
顔運動方向ベクトルＶ＿ｆａｃｅ［ｉ］から、特徴運動
コードを決定する 図９は、特徴運動追跡部３０３が特徴運動コードを決定
するための、顔による特徴運動決定条件を示す図であ
る。図９において、顔による特徴運動決定条件は、運動
コード９０１と、条件９０２とを含む。運動コード９０
１には、番号「１」〜「８」がセットされ、条件９０２
には、運動コード９０１にセットされた各番号と対応し
て、各々、顔による特徴運動決定条件がセットされる。
つまり、特徴運動追跡部３０３は、ｉ番目の顔運動方向
ベクトルＶ＿ｆａｃｅ［ｉ］を、図９の条件９０２と比
較して、ｉ番目の顔運動方向ベクトルＶ＿ｆａｃｅ
［ｉ］と一致するような顔による特徴運動決定条件を選
択する。そして、図９の運動コード９０１のうち、選択
した顔による特徴運動決定条件と対応する番号を取り出
すことによって、特徴運動コードを決定する。その後、
手話動作セグメンテーション装置は、ステップＳ４０６
に進む。

【００９４】［ステップＳ４０６］セグメント位置判定
部３０４は、特徴運動コードを、セグメント要素記憶部
３０５に記憶されているセグメント要素データ（図６参
照）と比較して、特徴運動コードが、動き特徴６０２と
一致するかどうかをチェックする。動き特徴６０２に
は、セグメント確定のための動き特徴（動き特徴）を示
すパラメータ（動き特徴パラメータ）がセットされてい
る。

【００９５】図１０は、動き特徴６０２にセットされる
動き特徴パラメータの一例を示す図である。図１０にお
いて、動き特徴パラメータには、動き特徴１００１、判
定コード１００２、時間１００３およびセグメント位置
１００４が含まれる。動き特徴１００１は、動き特徴の
種別を示す。判定コード１００２は、動き特徴を判定す
る条件となるコード列である。時間１００３は、動き特
徴を判定する条件となる時間である。セグメント位置１
００４は、動き特徴におけるセグメント位置を示す。

【００９６】判定コード１００２に含まれるコード列で
は、各コードは、図９の運動コード９０１（特徴運動コ
ード）と同様の番号「１」〜「８」と、動作静止を示す
番号「０」とを用いて表現され、コードとコードの間
が”−”で結ばれている。そして、ステップＳ４０５で
決定された特徴運動コードと、例えば「１−０−２」が
一致するか否かは、「１」の次に「０」、「２」という
順番でコードが続くか否かで判定され、その順番でコー
ドが続いた場合に、一致と判定される。

【００９７】なお、（ ）内のコードについては、それ
がなくても一致するとみなされる。例えば、「７−
（０）−３」は、コード「７」の次に「０」、「３」と
続いた場合も、コード「７」の次に「３」と続いた場合
も、条件一致とみなされる。また、”／”を間に挟んだ
コードは、どちらのコードでもよいことを示す”／”は
図示していない。例えば、「０／３」となっている場
合、「０」でも「３」でも条件一致とみなされる。一
方、”＊”は、どのコードでもよいことを表す。

【００９８】頷き運動を検出する場合、図６の身体特徴
６０１は「顔領域」であり、動き特徴６０２として「頷
き頂点」がセットされている。このとき、セグメント位
置判定部３０４は、ステップＳ４０５で決定された顔の
特徴運動コードが、図１０の「頷き頂点」と対応するコ
ード列「７−（０）−３」と一致するかどうかを判定す
る。手話動作セグメンテーション装置は、ｊが１である
か否かを判定し、ｊ＝１の場合、ステップＳ４０７に進
む。ｊ＞１の場合、ステップＳ４０９に進む。

【００９９】［ステップＳ４０７］手話動作セグメンテ
ーション装置は、特徴運動コードが判定コード１００２
の最初のコードと一致しているか否かを判定し、一致し
ている場合、ステップＳ４０８に進む。一致していない
場合、Ｓ４０１に進む。

【０１００】［ステップＳ４０８］セグメント位置判定
部３０４は、判定コードデータを作成する。すなわち、
１番目の判定コードデータＣｏｄｅ＿ｄａｔａ［１］の
コード番号に、特徴運動コードをセットし、１番目の判
定コードデータＣｏｄｅ＿ｄａｔａ［１］のコード開始
フレーム番号に、ｉをセットする。図１１は、セグメン
ト位置判定部３０４が作成する判定コードデータの一例
を示す図である。図１１において、判定コードデータに
は、コード番号１１０１、コード開始フレーム番号１１
０２、およびコード終了フレーム番号１１０３が含まれ
る。

【０１０１】例えば、図１０の例の場合、特徴運動コー
ドが「７」であれば、１番目の判定コードデータＣｏｄ
ｅ＿ｄａｔａ［１］のコード番号に「７」をセットし、
１番目の判定コードデータＣｏｄｅ＿ｄａｔａ［１］の
コード開始フレーム番号にｉをセットする。その後、ｊ
に２がセットされ、手話動作セグメンテーション装置
は、ステップＳ４０１に進む。

【０１０２】［ステップＳ４０９］特徴運動コードがｊ
−１番目の判定コードデータＣｏｄｅ#ｄａｔａ［ｊ−
１］のコード番号と一致しているか否かが判断され、一
致している場合、手話動作セグメンテーション装置は、
ステップＳ４０１に進む。特徴運動コードがｊ−１番目
の判定コードデータＣｏｄｅ#ｄａｔａ［ｊ−１］のコ
ード番号と一致していない場合、ステップＳ４１０に進
む。

【０１０３】［ステップＳ４１０］セグメント位置判定
部３０４は、ｊ−１番目の判定コードデータＣｏｄｅ#
ｄａｔａ［ｊ−１］のコード終了フレーム番号に、ｉ−
１をセットする。その後、手話動作セグメンテーション
装置は、ステップＳ４１１に進む。

【０１０４】［ステップＳ４１１］判定コード１００２
のコード数がｊ個以上であるか否かが判定され、ｊ個以
上の場合、手話動作セグメンテーション装置は、ステッ
プＳ４１２に進む。判定コード１００２のコード数がｊ
−１個の場合、ステップＳ４１７に進む。

【０１０５】［ステップＳ４１２］判定コード１００２
のｊ番目のコードと特徴運動コードとが一致しているか
否かが判定され、一致していない場合、手話動作セグメ
ンテーション装置は、ステップＳ４１３に進む。一致し
ている場合、ステップＳ４１６に進む。

【０１０６】［ステップＳ４１３］判定コード１００２
のｊ番目のコードが（ ）付であるか否かが判定され、
（）付である場合、手話動作セグメンテーション装置
は、ステップＳ４１４に進む。（ ）付でない場合、ス
テップＳ４１５に進む。

【０１０７】［ステップＳ４１４］判定コード１００２
のｊ＋１番目のコードと特徴運動コードとが一致してい
るか否かが判定され、一致していない場合、手話動作セ
グメンテーション装置は、ステップＳ４１５に進む。一
致している場合、ｊに１が加えられ、その後、ステップ
Ｓ４１６に進む。

【０１０８】［ステップＳ４１５］ｊに１がセットさ
れ、その後、手話動作セグメンテーション装置は、ステ
ップＳ４０１に進む。

【０１０９】［ステップＳ４１６］ｊ番目の判定コード
データＣｏｄｅ#ｄａｔａ［ｊ］のコード番号に、特徴
運動コードがセットされる。また、ｊ番目の判定コード
データＣｏｄｅ#ｄａｔａ［ｊ］のコード開始フレーム
番号に、ｉがセットされる。そして、ｊに１が加えられ
る。その後、手話動作セグメンテーション装置は、ステ
ップＳ４０１に進む。

【０１１０】［ステップＳ４１７］セグメント位置判定
部３０４は、動き特徴１００１およびセグメント位置１
００４（図１０参照）に基づき、動き特徴におけるセグ
メント位置を求める。動き特徴が「頷き頂点」の場合、
「頷き頂点」と対応するセグメント位置は、Ｙ座標最下
点であり、セグメント位置判定部３０４は、Ｙ座標最下
点と対応するフレーム番号を求める。すなわち、１番目
の判定コードデータＣｏｄｅ#ｄａｔａ［１］のコード
開始フレーム番号から、ｊ−１番目の判定コードデータ
Ｃｏｄｅ#ｄａｔａ［ｊ−１］のコード終了フレーム番
号までに該当する各フレームについて、顔領域の重心の
Ｙ座標を相互に比較する。そして、Ｙ座標が最小となる
（つまり顔領域の重心が最下点にくる）ようなフレーム
のフレーム番号を、動き特徴におけるセグメント位置と
する。なお、Ｙ座標最下点に該当するフレーム番号が複
数出てきた場合は、最初の（番号が最も若い）フレーム
番号を、セグメント位置とする。その後、手話動作セグ
メンテーション装置は、ステップＳ４１８に進む。

【０１１１】［ステップＳ４１８］手話動作セグメンテ
ーション装置は、セグメント位置を出力する。その後、
ステップＳ４０１に戻り、上記と同様の処理を繰り返
す。以上の手順により、頷き運動の検出による手話動作
セグメンテーション方法が実現できる。

【０１１２】次に、瞬き運動の検出による手話動作セグ
メンテーション方法について説明する。瞬き運動の検出
による手話動作セグメンテーション方法では、前述の頷
き運動の検出による手話動作セグメンテーション方法
（図４参照）において、ステップＳ４０３の処理を、次
のように変更する。 ［ステップＳ４０３ａ］身体特徴抽出部３０２は、入力
画像から、セグメント要素記憶部３０５に記憶されてい
る身体特徴６０１（図６参照）と対応する画像を抽出す
る。瞬き運動を検出する場合、身体特徴６０１に「目」
が設定され、身体特徴抽出部３０２は、抽出身体特徴と
して目を抽出する。

【０１１３】ここで、目の抽出方法について説明する。
最初、上記ステップＳ４０３と同様の方法で、顔領域を
抽出する。次に、抽出された顔領域から、以下のように
して、目を抽出する。図１２は、身体特徴抽出部３０２
によって抽出された顔領域の一例を示す図である。図１
２において、抽出された顔領域１２０１には、眉毛によ
る穴領域１２０２、目による穴領域１２０３、および口
による穴領域１２０４が存在する（網掛けした部分が肌
色領域）。

【０１１４】図中、参照番号１２０５で示される直線
は、顔上下分割ラインである。顔上下分割ライン１２０
５は、抽出された顔領域１２０１を上下に分割するライ
ンである。最初、この顔上下分割ライン１２０５が、顔
の上端から顔の下端の間の、顔上下分割比率で指定され
る位置にひかれる。ここで、顔上下分割比率は、パラメ
ータであり、目の穴領域１２０３が顔上下分割ライン１
２０５の上側の領域に入るように設定される。本実施形
態では、例えば、顔上下分割比率を「１／２」に設定す
る。

【０１１５】次に、顔上下分割ライン１２０５より上側
の顔領域中の穴領域を検出する。検出された穴領域が２
つの場合、それらの穴領域を眉毛と判定し、目は閉じら
れていると判定する。検出された穴領域が３つの場合、
片目が閉じられていると判定し、３つの穴領域のうち下
にある１つを目と判定する。検出された穴領域が４つの
場合、両目が開かれていると判定し、４つの穴領域のう
ち下にある２つを目と判定する。図１２の例の場合、穴
領域が４つあるため、下の２つの穴領域が、目による穴
領域１２０３とわかる。

【０１１６】次に、身体特徴抽出部３０２は、目領域情
報を生成する。すなわち、抽出した目の数と、目の面積
とを、ｉ番目の目領域情報ｅｙｅ［ｉ］にセットする。
図１３は、身体特徴抽出部３０２によって生成される目
領域情報の一例を示す図である。図１３において、目領
域情報は、目の数１３０１、１つめの（目の）面積１３
０２、および２つめの面積１３０３を含む。身体特徴抽
出部３０２は、最初、抽出した目の数を、目の数１３０
１にセットする。そして、抽出した目の数に応じ、次の
ようにして目の面積をセットする。

【０１１７】抽出した目の数が０の場合、１つめの面積
１３０２、および２つめの面積１３０３にそれぞれ０を
セットする。抽出した目の数が１の場合、目（目による
穴領域１２０３）の面積を計算して、１つめの面積１３
０２にセットする。２つめの面積１３０３には、０をセ
ットする。抽出した目の数が２の場合、２つの目の面積
を各々計算して、１つめの面積１３０２には、左目（目
による穴領域１２０３の左側の方）の面積をセットし、
２つめの面積１３０３には、右目の面積をセットする。
その後、手話動作セグメンテーション装置は、ステップ
Ｓ４０４に進む。

【０１１８】瞬き運動の検出による手話動作セグメンテ
ーション方法では、上記のステップＳ４０５の処理を、
次のように変更する。 ［ステップＳ４０５ａ］特徴運動追跡部３０３は、＜式
２＞を用いて、ｉ番目の目領域情報ｅｙｅ［ｉ］と、ｉ
−１番目の目領域情報ｅｙｅ［ｉ−１］とから、目の特
徴運動コードを求める。また、ｉ番目の目領域情報ｅｙ
ｅ［ｉ］の１つめの面積ｓ１＿ｅｙｅ［ｉ］と、ｉ−１
番目の目領域情報ｅｙｅ［ｉ−１］の１つめの面積ｓ１
＿ｅｙｅ［ｉ−１］とから、ｉ番目の目の１つめの目の
目領域面積変化ｄ１＿ｅｙｅ［ｉ］を求める。また、ｉ
番目の目領域情報ｅｙｅ［ｉ］の２つめの面積ｓ２＿ｅ
ｙｅ［ｉ］と、ｉ−１番目の目領域情報ｅｙｅ［ｉ−
１］の２つめの面積ｓ２＿ｅｙｅ［ｉ−１］とから、ｉ
番目の目の２つめ目領域面積変化ｄ２＿ｅｙｅ［ｉ］を
求める。

【数２】

【０１１９】図１４は、特徴運動追跡部３０３が特徴運
動コードを決定するための、目による特徴運動決定条件
を示す図である。図１４において、目による特徴運動決
定条件は、運動コード１４０１と、条件１４０２とを含
む。運動コード１４０１には、番号「０」〜「６」がセ
ットされ、条件１４０２には、運動コード１４０１にセ
ットされた各番号と対応して、各々、目による特徴運動
決定条件がセットされる。条件１４０２中のαは、目が
閉じているかどうかを判定する目面積閾値であり、例え
ば「１」がセットされる。βは、目の大きさが変化して
いるかどうかを判定する目大きさ変化閾値であり、例え
ば「５」がセットされる。

【０１２０】つまり、特徴運動追跡部３０３は、ｉ番目
の目領域情報ｅｙｅ［ｉ］、ｉ番目の１つめの目領域面
積変化ｄ１＿ｅｙｅ［ｉ］、および２つめの目領域面積
変化ｄ２＿ｅｙｅ［ｉ］を、図１４の条件１４０２と比
較して、ｉ番目の目領域情報ｅｙｅ［ｉ］、ｉ番目の１
つめの目領域面積変化ｄ１＿ｅｙｅ［ｉ］、および２つ
めの目領域面積変化ｄ２＿ｅｙｅ［ｉ］と一致するよう
な目による特徴運動決定条件を選択する。そして、図１
４の運動コード１４０１のうち、選択した目による特徴
運動決定条件と対応する番号を取り出すことによって、
特徴運動コードを決定する。例えば、目が両方閉じてい
る場合、ｓ１＿ｅｙｅ［ｉ］≦α、ｓ２＿ｅｙｅ［ｉ］
≦αとなり、このとき、特徴運動コードは、０となる。
その後、手話動作セグメンテーション装置は、ステップ
Ｓ４０６に進む。

【０１２１】瞬き運動の検出による手話動作セグメンテ
ーション方法では、上記ステップＳ４１７の処理を、次
のように変更する。 ［ステップＳ４１７ａ］セグメント位置判定部３０４
は、動き特徴１００１およびセグメント位置１００４
（図１０参照）に基づき、動き特徴におけるセグメント
位置を求める。動き特徴が「瞬き」の場合、「瞬き」と
対応するセグメント位置は、目領域消失点であり、セグ
メント位置判定部３０４は、目領域消失点と対応するフ
レーム番号を求める。すなわち、２番目の判定コードデ
ータＣｏｄｅ#ｄａｔａ［２］のコード開始フレーム番
号を、セグメント位置とする。その後、手話動作セグメ
ンテーション装置は、ステップＳ４１８に進む。以上の
手順により、瞬き運動の検出による手話動作セグメンテ
ーション方法が実現できる。

【０１２２】次に、口形変化（閉口）の検出による手話
動作セグメンテーション方法について説明する。この場
合、前述の頷き運動の検出による手話動作セグメンテー
ション方法（図４参照）において、ステップＳ４０３の
処理を、次のように変更する。 ［ステップＳ４０３ｂ］身体特徴抽出部３０２は、入力
画像から、セグメント要素記憶部３０５に記憶されてい
る身体特徴６０１（図６参照）と対応する画像を抽出す
る。口形変化（閉口）を検出する場合、身体特徴６０１
に「口」が設定され、身体特徴抽出部３０２は、抽出身
体特徴として口を抽出する。

【０１２３】ここで、口の抽出方法について説明する。
最初、上記ステップＳ４０３と同様の方法で、顔領域を
抽出する。次に、抽出された顔領域から、以下のように
して、口を抽出する。図１２において、最初、ステップ
Ｓ４０３と同様にして、顔上下分割ライン１２０５がひ
かれる。次に、顔上下分割ライン１２０５より下側の顔
領域中の穴領域を検出する。

【０１２４】検出された穴領域が２つ以上の場合、それ
らの穴領域のうち、顔領域の下端との間の距離が口高さ
条件に最も近いものを口とする。ここで、口高さ条件
は、パラメータであり、標準的な人の口の位置を、顔領
域の下端との間の距離によって表したものである。本実
施形態では、口高さ条件を「１０」に設定する。検出さ
れた穴領域が１つの場合、その穴領域を口とする。穴領
域が検出されない場合、口を閉じているとみなす。図１
２の例の場合、顔上下分割ライン１２０５より下側に
は、穴領域が１つだけなので、その穴領域が、口による
穴領域１２０４とわかる。

【０１２５】次に、身体特徴抽出部３０２は、口領域情
報を生成する。すなわち、抽出した口の面積と、口のＹ
軸方向最大長とを、ｉ番目の口領域情報ｍｏｕｔｈ
［ｉ］にセットする。図１５は、身体特徴抽出部３０２
が生成する口領域情報の一例を示す図である。図１５に
おいて、口領域情報は、口の面積１５０１、および口の
Ｙ軸方向最大長１５０２を含む。身体特徴抽出部３０２
は、抽出した口の面積を計算して、口の面積１５０１に
セットし、さらに、口のＹ軸方向の長さの最大長を計算
して、口のＹ軸方向最大長１５０２にセットする。その
後、手話動作セグメンテーション装置は、ステップＳ４
０４に進む。

【０１２６】口形変化の検出による手話動作セグメンテ
ーション方法では、上記のステップＳ４０５の処理を、
次のように変更する。 ［ステップＳ４０５ｂ］特徴運動追跡部３０３は、＜式
３＞を用いて、ｉ番目の口領域情報ｍｏｕｔｈ［ｉ］
と、ｉ−１番目の口領域情報ｍｏｕｔｈ［ｉ−１］とか
ら、口の特徴運動コードを求める。また、ｉ番目の口領
域情報ｍｏｕｔｈ［ｉ］の面積ｓ＿ｍｏｕｔｈ［ｉ］
と、ｉ−１番目の口領域情報ｍｏｕｔｈ［ｉ−１］の面
積ｓ＿ｍｏｕｔｈ［ｉ−１］とから、ｉ番目の口の口領
域面積変化ｄ＿ｍｏｕｔｈ［ｉ］を求める。

【数３】

【０１２７】また、＜式４＞を用いて、ｉ番目の口領域
情報ｍｏｕｔｈ［ｉ］のＹ軸方向最大長ｈ＿ｍｏｕｔｈ
［ｉ］と、ｉ−１番目の口領域情報ｍｏｕｔｈ［ｉ−
１］のＹ軸方向最大長ｈ＿ｍｏｕｔｈ［ｉ−１］とか
ら、ｉ番目の口のＹ軸方向変化ｙ＿ｍｏｕｔｈ［ｉ］を
求める。

【数４】

【０１２８】図１６は、特徴運動追跡部３０３が特徴運
動コードを決定するための、口による特徴運動決定条件
を示す図である。図１６において、口による特徴運動決
定条件は、運動コード１６０１と、条件１６０２とを含
む。運動コード１６０１には、番号「０」および「１」
がセットされ、条件１６０２には、運動コード１６０１
にセットされた各番号と対応して、各々、口による特徴
運動決定条件がセットされる。条件１６０２中のγは、
口形の変化の有無を判定するための口面積変化閾値であ
り、本実施形態では、例えば「５」がセットされる。λ
は、口Ｙ軸方向変化閾値であり、例えば「３」がセット
される。

【０１２９】つまり、特徴運動追跡部３０３は、ｉ番目
の口領域面積変化ｄ＿ｍｏｕｔｈ［ｉ］およびＹ軸方向
最大長ｈ＿ｍｏｕｔｈ［ｉ］を、図１６の条件１６０２
と比較して、ｉ番目の口領域面積変化ｄ＿ｍｏｕｔｈ
［ｉ］およびＹ軸方向最大長ｈ＿ｍｏｕｔｈ［ｉ］と一
致するような口による特徴運動決定条件を選択する。そ
して、図１６の運動コード１６０１のうち、選択した口
による特徴運動決定条件と対応する番号を取り出すこと
によって、特徴運動コードを決定する。例えば、口が閉
じている場合は、ｓ＿ｍｏｕｔｈ［ｉ］≦γとなり、こ
のとき、特徴運動コードは、「０」となる。その後、手
話動作セグメンテーション装置は、ステップＳ４０６に
進む。

【０１３０】口形変化の検出による手話動作セグメンテ
ーション方法では、上記のステップＳ４１７の処理を、
次のように変更する。 ［ステップＳ４１７ｂ］セグメント位置判定部３０４
は、動き特徴１００１およびセグメント位置１００４
（図１０参照）に基づき、動き特徴におけるセグメント
位置を求める。動き特徴が「口形変化」の場合、「口形
変化」と対応するセグメント位置は、変化始点終点であ
り、セグメント位置判定部３０４は、変化始点終点と対
応するフレーム番号を求める。すなわち、２番目の判定
コードデータＣｏｄｅ#ｄａｔａ［２］のコード開始フ
レーム番号と、２番目の判定コードデータＣｏｄｅ#ｄ
ａｔａ［２］のコード終了フレーム番号とを、セグメン
ト位置として出力する。その後、手話動作セグメンテー
ション装置は、ステップＳ４１８に進む。以上の手順に
より、口形変化の検出による手話動作セグメンテーショ
ン方法が実現できる。

【０１３１】次に、手および胴体の静止動作の検出によ
る手話動作セグメンテーション方法について説明する。
この場合、前述の頷き動作の検出による手話動作セグメ
ンテーション方法（図４参照）において、ステップＳ４
０３の処理を、次のように変更する。 ［ステップＳ４０３ｃ］身体特徴抽出部３０２は、入力
画像から、セグメント要素記憶部３０５に記憶されてい
る身体特徴６０１（図６参照）と対応する画像を抽出す
る。手および胴体の静止動作を検出する場合、身体特徴
６０１に「手領域、胴体」が設定され、身体特徴抽出部
３０２は、抽出身体特徴として手領域および胴体を抽出
する。

【０１３２】ここで、手領域および胴体の抽出方法につ
いて説明する。最初、身体特徴抽出部３０２は、上記ス
テップＳ４０３と同様の方法で、手領域を抽出する。す
なわち、入力画像から肌色領域を抽出して、抽出された
肌色領域のうち頭部領域と重複しない部分を取り出し、
それを手領域とする。図７の場合、肌色領域のうち頭部
領域と重複しない領域、すなわち手の領域７０３が抽出
される。胴体については、ステップＳ４０２で検出され
た人物領域を、そのまま胴体とする。

【０１３３】次に、身体特徴抽出部３０２は、手領域情
報を生成する。すなわち、抽出した手領域に関し、その
重心、面積、Ｘ軸方向最大長およびＹ軸方向最大長を、
ｉ番目の手領域情報ｈａｎｄ［ｉ］にセットする。次い
で、抽出した胴体に関し、その重心、面積、Ｘ軸方向最
大長およびＹ軸方向最大長を、ｉ番目の胴体情報ｂｏｄ
ｙ［ｉ］にセットする。図１７は、身体特徴抽出部３０
２が生成する手領域情報の一例を示す図である。図１７
において、手領域情報には、手の数１７０１、１つめの
手の重心座標１７０２、１つめの手の面積１７０３、２
つめの手の重心座標１７０４、および２つめの手の面積
１７０５が含まれる。身体特徴抽出部３０２は、最初、
抽出した手の数を、手の数１７０１にセットする。そし
て、抽出した手の数に応じ、次のようにして手の重心座
標および手の面積をセットする。

【０１３４】抽出した手の数１７０１が０の場合、１つ
めの手の重心座標１７０２、および２つめの手の重心座
標１７０４に、それぞれ（０，０）を設定し、また、１
つめの手の面積１７０３、および２つめの手の面積１７
０４に、それぞれ０を設定する。抽出した手の数１７０
１が「１」の場合、手領域の重心座標および面積を計算
して、１つめ手の重心座標１７０２、および１つめの手
の面積１７０３にセットする。また、２つめの手の重心
座標１７０４に（０、０）をセットし、２つめの手の面
積１７０４に０をセットする。抽出した手の数１７０１
が「２」の場合、２つの手領域のうち左側の領域の重心
座標および面積を計算して、１つめ手の重心座標１７０
２、および１つめの手の面積１７０３にセットする。ま
た、２つの手領域のうち右側の領域の重心座標および面
積を計算して、２つめ手の重心座標１７０４、および２
つめの手の面積１７０５にセットする。胴体情報ｂｏｄ
ｙ［ｉ］は、顔領域情報ｆａｃｅ［ｉ］と同様、図８の
構成で実現できる。その後、手話動作セグメンテーショ
ン装置は、ステップＳ４０４に進む。

【０１３５】手および胴体の静止動作の検出による手話
動作セグメンテーション方法では、上記のステップＳ４
０５の処理を、次のように変更する。 ［ステップＳ４０５ｃ］特徴運動追跡部３０３は、＜式
５＞を用いて、ｉ番目の手領域情報ｈａｎｄ［ｉ］と、
ｉ−１番目の手領域情報ｈａｎｄ［ｉ−１］と、ｉ番目
の胴体情報ｂｏｄｙ［ｉ］と、ｉ−１番目の胴体情報ｂ
ｏｄｙ［ｉ−１］とから、手領域および胴体の特徴運動
コードを求める。また、ｉ番目の手領域情報ｈａｎｄ
［ｉ］の１つめの手の重心ｇ１＿ｈａｎｄ［ｉ］と、ｉ
−１番目の手領域情報ｈａｎｄ［ｉ−１］の１つめの手
の重心ｇ１＿ｈａｎｄ［ｉ−１］とから、ｉ番目の手領
域の１つめの手の移動量ｍ１＿ｈａｎｄ［ｉ］を求め
る。また、ｉ番目の手領域情報ｈａｎｄ［ｉ］の２つめ
の手の重心ｇ２＿ｈａｎｄ［ｉ］と、ｉ−１番目の手領
域情報ｈａｎｄ［ｉ−１］の２つめの手の重心ｇ２＿ｈ
ａｎｄ［ｉ−１］とから、ｉ番目の手領域の２つめの手
の移動量ｍ２＿ｈａｎｄ［ｉ］を求める。

【数５】

【０１３６】また、＜式６＞を用いて、ｉ番目の手領域
情報ｈａｎｄ［ｉ］の１つめの手の面積ｓ１＿ｈａｎｄ
［ｉ］と、ｉ−１番目の手領域情報ｈａｎｄ［ｉ−１］
の１つめの手の面積ｓ１＿ｈａｎｄ［ｉ−１］とから、
ｉ番目の手領域の１つめの手の面積変化量ｄ１＿ｈａｎ
ｄ［ｉ］を求める。また、ｉ番目の手領域情報ｈａｎｄ
［ｉ］の２つめの手の面積ｓ２＿ｈａｎｄ［ｉ］と、ｉ
−１番目の手領域情報ｈａｎｄ［ｉ−１］の２つめの手
の面積ｓ２＿ｈａｎｄ［ｉ−１］とから、ｉ番目の手領
域の２つめの手の面積変化量ｄ２＿ｈａｎｄ［ｉ］を求
める。

【数６】

【０１３７】また、＜式７＞を用いて、ｉ番目の胴体情
報ｂｏｄｙ［ｉ］の重心ｇ＿ｂｏｄｙ［ｉ］と、ｉ−１
番目の胴体情報ｂｏｄｙ［ｉ−１］の重心ｇ＿ｂｏｄｙ
［ｉ−１］とから、ｉ番目の胴体の移動量ｍ＿ｂｏｄｙ
［ｉ］を求める。

【数７】

【０１３８】図１８は、胴体および手領域による特徴運
動決定条件を示す図である。図１８において、胴体およ
び手領域による特徴運動決定条件は、運動コード１８０
１と、条件１８０２とを含む。運動コード１８０１に
は、番号「０」および「１」がセットされ、条件１８０
２には、運動コード１８０１にセットされた各番号と対
応して、各々、胴体および手領域による特徴運動決定条
件がセットされる。条件１８０２中のχは、手領域の停
止判定閾値であり、本実施形態では、例えば「５」がセ
ットされる。δは、手領域の形状変化判定閾値であり、
例えば「１０」がセットされる。εは、胴体の停止判定
閾値であり、例えば「５」がセットされる。

【０１３９】つまり、特徴運動追跡部３０３は、ｉ番目
の手領域の１つめの手の移動量ｍ１＿ｈａｎｄ［ｉ］、
ｉ番目の手領域の２つめの手の移動量ｍ２＿ｈａｎｄ
［ｉ］、ｉ番目の手領域の１つめの手の面積変化量ｄ１
＿ｈａｎｄ［ｉ］、ｉ番目の手領域の２つめの手の面積
変化量ｄ２＿ｈａｎｄ［ｉ］、およびｉ番目の胴体の移
動量ｍ＿ｂｏｄｙ［ｉ］を、図１８の条件１８０２と比
較して、ｉ番目の手領域の１つめの手の移動量ｍ１＿ｈ
ａｎｄ［ｉ］、ｉ番目の手領域の２つめの手の移動量ｍ
２＿ｈａｎｄ［ｉ］、ｉ番目の手領域の１つめの手の面
積変化量ｄ１＿ｈａｎｄ［ｉ］、ｉ番目の手領域の２つ
めの手の面積変化量ｄ２＿ｈａｎｄ［ｉ］、およびｉ番
目の胴体の移動量ｍ＿ｂｏｄｙ［ｉ］と一致するような
手領域および胴体による特徴運動決定条件を選択する。
そして、図１８の運動コード１８０１のうち、選択した
手領域および胴体による特徴運動決定条件と対応する番
号を取り出すことによって、特徴運動コードを決定す
る。例えば、手領域が左右に移動中の場合、ｉ番目の手
領域の移動量ｍ＿ｈａｎｄ［ｉ］＞χとなり、このと
き、特徴運動コードは、「１」となる。その後、手話動
作セグメンテーション装置は、ステップＳ４０６に進
む。

【０１４０】手および胴体の静止動作の検出による手話
動作セグメンテーション方法では、上記のステップＳ４
１７の処理を、次のように変更する。 ［ステップＳ４１７ｃ］セグメント位置判定部３０４
は、動き特徴１００１およびセグメント位置１００４
（図１０参照）に基づき、動き特徴におけるセグメント
位置を求める。動き特徴が「動作静止」の場合、「動作
静止」と対応するセグメント位置は、動作静止始点であ
り、セグメント位置判定部３０４は、動作静止始点と対
応するフレーム番号を求める。または、静止区間の中間
点と対応するフレーム番号を求めてもよい。この場合、
１番目の判定コードデータＣｏｄｅ＿ｄａｔａ［１］の
コード開始フレーム番号と、１番目の判定コードデータ
Ｃｏｄｅ＿ｄａｔａ［１］のコード終了フレーム番号と
を求めて、それらの中間値を計算すればよい。その後、
手話動作セグメンテーション装置は、ステップＳ４１８
に進む。以上の手順により、手および胴体の静止動作の
検出による手話動作セグメンテーション方法が実現でき
る。

【０１４１】次に、手と顔との接触動作の検出による手
話動作セグメンテーション方法について説明する。この
場合、前述の頷き動作の検出による手話動作セグメンテ
ーション方法（図４参照）において、ステップＳ４０３
の処理を、次のように変更する。 ［ステップＳ４０３ｄ］身体特徴抽出部３０２は、入力
画像から、セグメント要素記憶部３０５に記憶されてい
る身体特徴６０１（図６参照）と対応する画像を抽出す
る。手と顔との接触動作を検出する場合、身体特徴６０
１に「顔領域、手領域」が設定され、抽出身体特徴とし
て顔領域および手領域を抽出する。

【０１４２】ここで、顔領域および手領域の抽出方法に
ついて説明する。最初、上記ステップＳ４０３と同様の
方法で、顔領域を抽出し、また、上記ステップＳ４０３
ｃと同様の方法で、手領域を抽出する。次に、抽出した
顔領域に関し、その重心、面積、Ｘ軸方向最大長および
Ｙ軸方向最大長を、ｉ番目の顔領域情報ｆａｃｅ［ｉ］
にセットする。また、抽出した手領域に関し、その重
心、面積、Ｘ軸方向最大長およびＹ軸方向最大長を、ｉ
番目の手領域情報ｈａｎｄ［ｉ］にセットする。その
後、手話動作セグメンテーション装置は、ステップＳ４
０４に進む。

【０１４３】手と顔との接触動作の検出による手話動作
セグメンテーション方法では、上記のステップＳ４０５
の処理を、次のように変更する。 ［ステップＳ４０５ｄ］特徴運動追跡部３０３は、＜式
８＞を用いて、ｉ番目の手領域情報ｈａｎｄ［ｉ］と、
ｉ番目の顔領域情報ｆａｃｅ［ｉ］とから、手領域およ
び顔領域の特徴運動コードを求める。また、ｉ番目の手
領域情報ｈａｎｄ［ｉ］の１つめの手の重心ｇ１＿ｈａ
ｎｄ［ｉ］と、ｉ番目の顔領域情報ｆａｃｅ［ｉ］の重
心ｇ＿ｆａｃｅ［ｉ］とから、ｉ番目の手領域の１つめ
の手と顔との距離ｌ１＿ｆｈ［ｉ］を求める。また、ｉ
番目の手領域情報ｈａｎｄ［ｉ］の２つめの手の重心ｇ
２＿ｈａｎｄ［ｉ］と、ｉ番目の顔領域情報ｆａｃｅ
［ｉ］の重心ｇ＿ｆａｃｅ［ｉ−１］とから、ｉ番目の
手領域の２つめの手と顔との距離ｌ２＿ｆｈ［ｉ］を求
める。

【数８】

【０１４４】ただし、ｉ番目の手領域情報ｈａｎｄ
［ｉ］の１つめの手の面積ｓ１＿ｈａｎｄ［ｉ］が０の
場合は、ｌ１＿ｆｈ［ｉ−１］≦Φであれば、ｌ１＿ｆ
ｈ［ｉ］＝０とする。ｌ１＿ｆｈ［ｉ−１］＞Φであれ
ば、ｌ１＿ｆｈ［ｉ］＝１０００とする。同様に、ｉ番
目の手領域情報ｈａｎｄ［ｉ］の２つめの手の面積ｓ２
＿ｈａｎｄ［ｉ］が０の場合、ｌ２＿ｆｈ［ｉ−１］≦
Φであれば、ｌ２＿ｆｈ［ｉ］＝０とする。ｌ２＿ｆｈ
［ｉ−１］＞Φであれば、ｌ２＿ｆｈ［ｉ］＝１０００
とする。ここで、Φは、顔と手との距離閾値であり、本
実施形態では、例えば「２０」がセットされる

【０１４５】図１９は、特徴運動追跡部３０３が特徴運
動コードを決定するための、手と顔との接触動作による
特徴運動決定条件を示す図である。図１９において、手
と顔との接触動作による特徴運動決定条件は、運動コー
ド１９０１と、条件１９０２とを含む。運動コード１９
０１には、番号「０」および「１」がセットされ、条件
１９０２には、運動コード１９０１にセットされた各番
号と対応して、各々、手と顔との接触動作による特徴運
動決定条件がセットされる。条件１９０２中のωは、手
領域と顔領域の接触閾値であり、本実施形態では、例え
ば「５」がセットされる。

【０１４６】つまり、特徴運動追跡部３０３は、ｉ番目
の手領域の１つめの手と顔との距離ｌ１＿ｆｈ［ｉ］、
およびｉ番目の手領域の２つめの手と顔との距離ｌ２＿
ｆｈ［ｉ］を、図１９の条件１９０２と比較して、ｉ番
目の手領域の１つめの手と顔との距離ｌ１＿ｆｈ
［ｉ］、およびｉ番目の手領域の２つめの手と顔との距
離ｌ２＿ｆｈ［ｉ］と一致するような特徴運動決定条件
を選択する。そして、図１９の運動コード１９０１のう
ち、選択した特徴運動決定条件と対応する番号を取り出
すことによって、特徴運動コードを決定する。例えば、
右手が顔と重なっている場合、ｉ番目の手領域の一つめ
の手と顔の距離ｌ１＿ｆｈ［ｉ］＝０となり、このと
き、特徴運動コードは、「０」となる。その後、手話動
作セグメンテーション装置は、ステップＳ４０６に進
む。

【０１４７】手と顔との接触動作の検出による手話動作
セグメンテーション方法では、上記のステップＳ４１７
の処理を、次のように変更する。 ［ステップＳ４１７ｄ］セグメント位置判定部３０４
は、動き特徴１００１およびセグメント位置１００４
（図１０参照）に基づき、動き特徴におけるセグメント
位置を求める。動き特徴が「手と顔との接触動作」の場
合、「手顔接触」と対応するセグメント位置は、「接触
始点終点」であり、セグメント位置判定部３０４は、手
顔接触区間の始点および終点と対応するフレーム番号を
求める。すなわち、１番目の判定コードデータＣｏｄｅ
#ｄａｔａ［１］のコード開始フレーム番号と、１番目
の判定コードデータＣｏｄｅ#ｄａｔａ［１］のコード
終了フレーム番号とを、セグメント位置とする。その
後、手話動作セグメンテーション装置は、ステップＳ４
０１に進む。以上の手順により、手と顔との接触動作の
検出による手話動作セグメンテーション方法が実現でき
る。

【０１４８】次に、手の有効性変化の検出による手話動
作セグメンテーション方法について説明する。この場
合、前述の頷き動作の検出による手話動作セグメンテー
ション方法（図４参照）において、ステップＳ４０３の
処理を、次のように変更する。 ［ステップＳ４０３ｅ］身体特徴抽出部３０２は、入力
画像から、セグメント要素記憶部３０５に記憶されてい
る身体特徴６０１（図６参照）と対応する画像を抽出す
る。手の有効性変化を検出する場合、身体特徴６０１に
「手領域」が設定され、身体特徴抽出部３０２は、抽出
身体特徴として手領域を抽出する。

【０１４９】なお、手領域は、上記ステップＳ４０３ｃ
と同様の方法で抽出する。次に、身体特徴抽出部３０２
は、抽出した手領域に関し、その重心、面積、Ｘ軸方向
最大長およびＹ軸方向最大長を、ｉ番目の手領域情報ｈ
ａｎｄ［ｉ］にセットする。その後、手話動作セグメン
テーション装置は、ステップＳ４０４に進む。

【０１５０】手の有効性変化の検出による手話動作セグ
メンテーション方法では、上記のステップＳ４０５の処
理を、次のように変更する。 ［ステップＳ４０５ｅ］特徴運動追跡部３０３は、前述
の＜式５＞を用いて、ｉ番目の手領域情報ｈａｎｄ
［ｉ］から、手の有効性および動きによる特徴運動コー
ドを求める。また、ｉ番目の手領域情報ｈａｎｄ［ｉ］
の１つめの手の重心ｇ１＿ｈａｎｄ［ｉ］から、１つめ
の手が、上記ステップＳ４０２で空間分割して得られた
複数の領域（図５参照）のうちどの領域に属するかを判
定して、その領域コードを求め、一つめの手の手領域空
間コードｓｐ１＿ｈａｎｄ［ｉ］にセットする。なお、
ｉ番目の手領域情報ｈａｎｄ［ｉ］の１つめの手の面積
ｓ１＿ｈａｎｄ［ｉ］が０の場合、１つめの手の手領域
空間コードｓｐ１＿ｈａｎｄ［ｉ］に「６」をセットす
る。

【０１５１】また、ｉ番目の手領域情報ｈａｎｄ［ｉ］
の２つめの手の重心ｇ２＿ｈａｎｄ［ｉ］から、領域コ
ードを求めて、２つめの手の手領域空間コードｓｐ２＿
ｈａｎｄ［ｉ］にセットする。なお、ｉ番目の手領域情
報ｈａｎｄ［ｉ］の２つめの手の面積ｓ２＿ｈａｎｄ
［ｉ］が０の場合、２つめの手の手領域空間コードｓｐ
２＿ｈａｎｄ［ｉ］に「６」をセットする。

【０１５２】また、ｉ番目の手領域情報ｈａｎｄ［ｉ］
の１つめの手の重心ｇ１＿ｈａｎｄ［ｉ］と、ｉ−１番
目の手領域情報ｈａｎｄ［ｉ−１］の１つめの手の重心
ｇ１＿ｈａｎｄ［ｉ−１］とから、ｉ番目の手領域の１
つめの手の移動量ｍ１＿ｈａｎｄ［ｉ］を求める。ま
た、ｉ番目の手領域情報ｈａｎｄ［ｉ］の２つめの手の
重心ｇ２＿ｈａｎｄ［ｉ］と、ｉ−１番目の手領域情報
ｈａｎｄ［ｉ−１］の２つめの手の重心ｇ２＿ｈａｎｄ
［ｉ−１］とから、ｉ番目の手領域の２つめの手の移動
量ｍ２＿ｈａｎｄ［ｉ］を求める。

【０１５３】図２０は、特徴運動追跡部３０３が特徴運
動コードを決定するための、手の有効性変化による特徴
運動決定条件を示す図である。図２０において、手の有
効性変化による特徴運動決定条件は、運動コード２００
１と、条件２００２とを含む。運動コード２００１に
は、番号「０」〜「５」がセットされ、条件２００２に
は、運動コード２００１にセットされた各番号と対応し
て、各々、手と顔との接触動作による特徴運動決定条件
がセットされる。条件２００２中のχは、手領域の停止
判定閾値であり、本実施形態では、例えば「５」がセッ
トされる。

【０１５４】つまり、特徴運動追跡部３０３は、ｉ番目
の手領域の１つめの手の手領域空間コードｓｐ１＿ｈａ
ｎｄ［ｉ］、ｉ番目の手領域の１つめの手の移動量ｍ１
＿ｈａｎｄ［ｉ］、ｉ番目の手領域の２つめの手の手領
域空間コードｓｐ２＿ｈａｎｄ［ｉ］、およびｉ番目の
手領域の２つめの手の移動量ｍ２＿ｈａｎｄ［ｉ］を、
図２０の条件２００２と比較して、ｉ番目の手領域の１
つめの手の手領域空間コードｓｐ１＿ｈａｎｄ［ｉ］、
ｉ番目の手領域の１つめの手の移動量ｍ１＿ｈａｎｄ
［ｉ］、ｉ番目の手領域の２つめの手の手領域空間コー
ドｓｐ２＿ｈａｎｄ［ｉ］、およびｉ番目の手領域の２
つめの手の移動量ｍ２＿ｈａｎｄ［ｉ］と一致するよう
な手と顔との接触動作による特徴運動決定条件を選択す
る。例えば、右手が移動中で、かつ左手が入力画像５０
１（図５参照）の一番下の位置まで降りた状態の場合、
ｉ番目の手領域の１つめの手の移動量ｍ１＿ｈａｎｄ
［ｉ］＞χとなり、ｉ番目の手領域の２つめの手の手領
域空間コードｓｐ２＿ｈａｎｄ［ｉ］＝７となり、この
とき、特徴運動コードは、「２」となる。その後、手話
動作セグメンテーション装置は、ステップＳ４０６に進
む。

【０１５５】手の有効性変化の検出による手話動作セグ
メンテーション方法では、上記のステップＳ４１７の処
理を、次のように変更する。 ［ステップＳ４１７ｅ］セグメント位置判定部３０４
は、動き特徴１００１およびセグメント位置１００４
（図１０参照）に基づき、動き特徴におけるセグメント
位置を求める。動き特徴が「手の有効性変化点」の場
合、「手有効性変化点」と対応するセグメント位置は、
「コード変化点」であり、セグメント位置判定部３０４
は、コード変化点と対応するフレーム番号を求める。す
なわち、１番目の判定コードデータＣｏｄｅ＿ｄａｔａ
［１］のコード開始フレーム番号と、１番目の判定コー
ドデータＣｏｄｅ＿ｄａｔａ［１］のコード終了フレー
ム番号とを、セグメント位置とする。その後、ステップ
Ｓ４１８に進む。以上の手順により、手の有効性変化の
検出による手話動作セグメンテーション方法が実現でき
る。

【０１５６】次に、上記の各動作の検出の組み合わせに
よる手話動作セグメンテーション方法について説明す
る。この場合、前述の頷き動作の検出による手話動作セ
グメンテーション方法（図４参照）において、ステップ
Ｓ４０３を次のように変更する。 ［ステップＳ４０３ｆ］身体特徴抽出部３０２は、入力
画像から、セグメント要素記憶部３０５に記憶されてい
る身体特徴６０１（図６参照）と対応する画像を抽出す
る。上記の各動作を検出する場合、身体特徴６０１に
「顔領域」、「目」、「口」、「手領域、胴体」、「手
領域、顔領域」および「手領域」が設定され、身体特徴
抽出部３０２は、抽出身体特徴として、顔領域、目、
口、手領域および胴体を抽出する。なお、顔領域は、上
記ステップＳ４０３と同様の方法で抽出する。目は、上
記ステップＳ４０３ａと同様の方法で抽出する。口は、
上記ステップＳ４０３ｂと同様の方法で抽出する。手領
域および胴体は、上記ステップＳ４０３ｃと同様の方法
で抽出する。

【０１５７】次に、身体特徴抽出部３０２は、抽出した
顔領域、目、口、手領域および胴体に関する情報を、各
々、顔領域情報ｆａｃｅ［ｉ］、目領域情報ｅｙｅ
［ｉ］、口領域情報ｍｏｕｔｈ［ｉ］、手領域情報ｈａ
ｎｄ［ｉ］、および胴体情報ｂｏｄｙ［ｉ］にセットす
る。その後、手話動作セグメンテーション装置は、ステ
ップＳ４０４に進む。

【０１５８】そして、手話動作セグメンテーション装置
は、上記ステップＳ４０５からステップＳ４１７までを
処理し、続いて、上記ステップＳ４０５ｂからステップ
Ｓ４１７ｂまでを処理する。以降、上記ステップＳ４０
５ｃからステップＳ４１７ｃまでの処理、上記ステップ
Ｓ４０５ｄからステップＳ４１７ｄまでの処理、および
上記ステップＳ４０５ｅからステップＳ４１７ｄまでの
処理を、順番に処理する。これにより、上記の各動作の
検出の組み合わせによる手話動作セグメンテーション方
法が実現できる。

【０１５９】次に、上記各方法において、検出した動作
の継続時間を考慮してセグメンテーションを行うような
手話動作セグメンテーション方法について説明する。図
２１は、頷き動作の検出による手話動作セグメンテーシ
ョン方法（図４参照）において、検出した動作の継続時
間を考慮してセグメンテーションを行う場合の処理の流
れを示すフローチャートである。図２１の方法は、図４
の方法において、ステップＳ４１１を次のように変更
し、さらにステップＳ２１０１を追加したものである。 ［ステップＳ４１１ａ］判定コード１００２のコード数
がｊ個以上か否かが判定され、ｊ個以上の場合、ステッ
プＳ４１２に進む。ｊ−１個の場合、ステップＳ２１０
１に進む。

【０１６０】［ステップＳ２１０１］最初、１番目の判
定コードデータＣｏｄｅ＿ｄａｔａ［１］のコード開始
フレーム番号と対応するフレームから、ｊ−１番目の判
定コードデータＣｏｄｅ＿ｄａｔａ［ｊ−１］のコード
終了フレーム番号と対応するフレームまでのフレーム数
が、特徴継続時間にセットされる。次に、動き特徴パラ
メータ（図１０参照）の時間１００３に、値が設定され
ているか否かが判定され、さらに、特徴継続時間が、時
間１００３に設定された値より小さいか否かが判定され
る。そして、時間１００３に値が設定されており、かつ
特徴継続時間が時間１００３に設定された値より小さい
場合、ステップＳ４１５に進む。時間１００３に何も設
定されていないか、特徴継続時間が時間１００３に設定
された値以上の場合、ステップＳ４１７に進む。以上の
手順により、検出した動作の継続時間を考慮してセグメ
ンテーションを行うような手話動作セグメンテーション
方法が実現できる。

【０１６１】次に、セグメント要素に加えて、非セグメ
ント要素を検出してセグメンテーションを行うような手
話動作セグメンテーション方法について説明する。 （第３の実施形態）図２２は、本発明の第３の実施形態
に係る手話動作セグメンテーション装置の構成を示すブ
ロック図である。図２２の装置は、図３の装置におい
て、非セグメント要素記憶部２２０１をさらに備えてい
る。非セグメント要素記憶部２２０１には、セグメント
を行わない条件となる非セグメント要素が、予め記憶さ
れている。他の構成要素は、図３のものと同様のもので
ある。すなわち、図２２の装置は、セグメント要素に加
えて、非セグメント要素をも検出し、それらに基づいて
手話動作のセグメンテーションを行うような手話動作セ
グメンテーション方法を実行する。

【０１６２】以下、上記のように構成された手話動作セ
グメンテーション装置の処理手順について説明する。最
初、非セグメント要素として、両手の接近を検出する場
合を説明する。図２３および２４は、図２２の手話動作
セグメンテーション装置の処理の流れの一例を示すフロ
ーチャートである。図２３および２４の方法は、図２１
の方法において、ステップＳ４０３の後にステップＳ２
４０１を追加し、また、ステップＳ４０５の後にステッ
プＳ２４０２〜Ｓ２４０５を追加し、さらに、ステップ
Ｓ４１８をステップＳ４１８ａのように変更したもので
ある。これら各ステップ（Ｓ２４０１〜Ｓ２４０５，Ｓ
４１８ａ）では、以下のような処理が行われる。

【０１６３】［ステップＳ２４０１］身体特徴抽出部３
０２は、入力画像から、非セグメント要素記憶部２２０
１に記憶されている身体特徴と対応する画像を抽出す
る。図２５は、非セグメント要素記憶部２２０１に記憶
されている非セグメント要素データの一例を示す図であ
る。図２５において、非セグメント要素データは、身体
特徴２５０１と、非セグメント動き特徴２５０２とを含
む。例えば、両手の接近を検出する場合、「手領域」が
身体特徴２５０１にセットされている。身体特徴抽出部
３０２は、手領域を非セグメント身体特徴として抽出す
る。手領域は、上記ステップＳ４０３ｃの手順で抽出で
きる。その後、手話動作セグメンテーション装置は、ス
テップＳ４０４に進む。

【０１６４】［ステップＳ２４０２］次の手順で、非セ
グメント特徴運動コードが決定される。ｉ番目の手領域
情報ｈａｎｄ［ｉ］の手の数が２の場合、特徴運動追跡
部３０３は、＜式９＞を用いて、ｉ番目の手領域情報ｈ
ａｎｄ［ｉ］の１つめの手の重心ｇ１＿ｈａｎｄ［ｉ］
と、２つめの手の重心ｇ２＿ｈａｎｄ［ｉ］とから、ｉ
番目の手領域の手間距離ｌ＿ｈａｎｄ［ｉ］を求める。

【数９】

【０１６５】次に、＜式１０＞を用いて、ｉ番目の手領
域の手間距離ｌ＿ｈａｎｄ［ｉ］と、ｉ−１番目の手領
域の手間距離ｌ＿ｈａｎｄ［ｉ−１］とから、手間距離
変化量ｄｌ＿ｈａｎｄ［ｉ］を求める。

【数１０】

【０１６６】ｉ番目の手領域情報ｈａｎｄ［ｉ］の手の
数が２でないか、または、ｉ番目の手領域情報ｈａｎｄ
［ｉ］の手の数と、ｉ−１番目の手領域情報ｈａｎｄ
［ｉ−１］の手の数とが異なる場合、特徴運動追跡部３
０３は、手間距離変化量ｄｌ＿ｈａｎｄ［ｉ］に、負で
ない値、例えば１０００をセットする。手間距離変化量
ｄｌ＿ｈａｎｄ［ｉ］≦−θの場合、非セグメント特徴
運動コードは、「１」となる。手間距離変化量ｄｌ＿ｈ
ａｎｄ［ｉ］＞−θの場合、非セグメント特徴運動コー
ドは、「０」となる。ここで、θは、手間距離変化閾値
であり、本実施形態では、例えば「５」がセットされ
る。非セグメントコード番号ｋに何もセットされていな
い場合、非セグメントコード番号ｋに「１」がセットさ
れ、非セグメント特徴フレーム数に「０」がセットされ
る。ここで非セグメントコード番号ｋは、非セグメント
特徴運動コードを構成するコードの個数を示し、非セグ
メント特徴フレーム数は、非セグメント動き特徴の検出
期間に相当するフレーム数、つまり検出開始フレームか
ら検出終了フレームまでのフレーム数を示す。その後、
手話動作セグメンテーション装置は、ステップ３００３
に進む。

【０１６７】［ステップＳ２４０３］セグメント位置判
定部３０４は、非セグメント特徴運動コードを、非セグ
メント要素記憶部２２０１に記憶されている非セグメン
ト要素データ（図２５参照）と比較して、非セグメント
特徴運動コードが、非セグメント動き特徴２５０２と一
致するかどうかをチェックする。非セグメント動き特徴
２５０２には、非セグメント確定のための動き特徴（非
セグメント動き特徴）を示すパラメータ（非セグメント
動き特徴パラメータ）がセットされている。

【０１６８】図２６は、非セグメント動き特徴２５０２
にセットされる非セグメント動き特徴パラメータの一例
を示す図である。図２６において、非セグメント動き特
徴パラメータは、非セグメント動き特徴２６０１、判定
コード２６０２、および時間２６０３を含む。非セグメ
ント動き特徴２６０１は、非セグメント動き特徴の種別
を示す。判定コード２６０２は、非セグメント動き特徴
を判定する条件となるコード列である。時間２６０３
は、非セグメント動き特徴を判定する条件となる時間で
ある。判定コード２６０２は、図１０の動き特徴パラメ
ータ中の判定コード１００２と同様の方法で記述され
る。時間２６０３には、非セグメント動き特徴２６０１
の最低継続時間が設定される。

【０１６９】判定コード２６０２と、ステップＳ２４０
２で決定された非セグメント特徴運動コードのｋ番目の
コード、つまり非セグメント特徴運動コードを構成する
最後のコードとが異なる場合、手話動作セグメンテーシ
ョン装置は、ステップＳ２４０４に進む。同じ場合、ス
テップＳ２４０５に進む。

【０１７０】［ステップＳ２４０４］非セグメント特徴
フレーム数に「０」がセットされ、非セグメントコード
番号ｋに「１」がセットされる。その後、手話動作セグ
メンテーション装置は、ステップＳ４０６に進む。

【０１７１】［ステップＳ２４０５］非セグメント特徴
フレーム数に「１」が加算される。ｋ＞２ので非セグメ
ント確定コード列条件のｋ−１番目のコードと、非セグ
メント特徴運動コードとが異なる場合、ｋに「１」が加
算される。その後、手話動作セグメンテーション装置
は、ステップＳ４０６に進む。

【０１７２】［ステップＳ４１８ａ］非セグメント動き
特徴パラメータ（図２６参照）中の時間２６０３に値が
設定されていない場合、非セグメント時間最小値に０が
セットされる。時間２６０３に値が設定されている場
合、非セグメント時間最小値に、時間２６０３の値をセ
ットする。非セグメント特徴フレーム数が、非セグメン
ト時間最小値に相当するフレーム数より小さい場合は、
ステップＳ４１７でセットしたセグメント位置を出力す
る。その後、手話動作セグメンテーション装置は、ステ
ップＳ４０１に進む。以上の手順により、セグメント要
素に加えて、非セグメント要素（両手接近）をも検出
し、それらに基づいてセグメンテーションを行うような
手話動作セグメンテーション方法が実現できる。

【０１７３】次に、非セグメント要素として口形変化を
検出する場合を説明する。この場合、上記のステップＳ
２４０１を次のように変更する。 ［ステップＳ２４０１ａ］身体特徴抽出部３０２は、入
力画像から、非セグメント要素記憶部２２０１に記憶さ
れている身体特徴と対応する画像を抽出する。図２５に
おいて、口形変化を検出する場合、「口」が身体特徴２
５０１にセットされている。身体特徴抽出部３０２は、
口を非セグメント身体特徴として抽出する。口は、上記
ステップＳ４０３ｂの手順で抽出できる。その後、手話
動作セグメンテーション装置は、ステップＳ４０４に進
む。

【０１７４】また、上記のステップＳ２４０２を次のよ
うに変更する。 ［ステップＳ２４０２ａ］次の手順で、非セグメント特
徴運動コードが決定される。特徴運動追跡部３０３は、
最初、上記のステップＳ４０５ｂと同様の手順で、ｉ番
目の口領域情報の口領域面積変化ｄ＿ｍｏｕｔｈ
［ｉ］、およびｉ番目の口領域情報のＹ軸方向変化ｙ＿
ｍｏｕｔｈ［ｉ］を求める。次に、ｉ番目の口領域情報
の口領域面積変化ｄ＿ｍｏｕｔｈ［ｉ］、およびｉ番目
の口領域情報のＹ軸方向変化ｙ＿ｍｏｕｔｈ［ｉ］を、
図１６の条件１６０２と比較して、ｉ番目の口領域情報
の口領域面積変化ｄ＿ｍｏｕｔｈ［ｉ］、およびｉ番目
の口領域情報のＹ軸方向変化ｙ＿ｍｏｕｔｈ［ｉ］と一
致するような口による特徴運動決定条件を選択する。そ
して、図１６の運動コード１６０１のうち、選択した口
による特徴運動決定条件と対応する番号を取り出すこと
によって、非セグメント特徴運動コードを決定する。例
えば、口を動かしていない場合、口の面積およびＹ軸方
向最大長が変化せず、このとき、非セグメント特徴運動
コードは、「０」となる。非セグメントコード番号ｋに
何もセットされていない場合、非セグメントコード番号
ｋに「１」がセットされ、非セグメント特徴フレーム数
に「０」がセットされる。その後、手話動作セグメンテ
ーション装置は、ステップＳ２４０３に進む。以上の手
順により、セグメント要素に加えて、非セグメント要素
（口形変化）をも検出して、それらに基づいてセグメン
テーションを行うような手話動作セグメンテーション方
法が実現できる。

【０１７５】次に、非セグメント要素として、右手と左
手との動作の対称性を検出する場合を説明する。この場
合、上記のステップＳ２４０２を次のように変更する。 ［ステップＳ２４０２ｂ］次の手順で、非セグメント特
徴運動コードが決定される。特徴運動追跡部３０３は、
最初、ｉ番目の手領域情報ｈａｎｄ［ｉ］の手の数が１
以下か否かを判定し、１以下の場合、非セグメント特徴
運動コードに０をセットする。その後、手話動作セグメ
ンテーション装置は、ステップＳ２４０３に進む。ｉ番
目の手領域情報ｈａｎｄ［ｉ］の手の数が２の場合、特
徴運動追跡部３０３は、〈式１１〉を用いて、ｉ番目の
手領域情報ｈａｎｄ［ｉ］の１つめの手の重心ｇ１＿ｈ
ａｎｄ［ｉ］と、２つめの手の重心ｇ２＿ｈａｎｄ
［ｉ］と、ｉ−１番目の手領域情報ｈａｎｄ［ｉ−１］
の１つめの手の重心ｇ１＿ｈａｎｄ［ｉ−１］と、２つ
めの手の重心ｇ２＿ｈａｎｄ［ｉ−１］とから、ｉ番目
の１つめの手領域運動方向ベクトルｖｈ［１］［ｉ］、
およびｉ番目の２つめの手領域運動方向ベクトルｖｈ
［２］［ｉ］を求める。

【数１１】

【０１７６】次に、特徴運動追跡部３０３は、＜式１２
＞により、ｉ番目の１つめの手領域の移動量ｄｖｈ
［１］［ｉ］、およびｉ番目の２つめの手領域の移動量
ｄｖｈ［２］［ｉ］を求める。

【数１２】

【０１７７】図２７は、特徴運動追跡部３０３が非セグ
メント特徴運動コードを決定するための、手話動作の対
称性による非セグメント特徴運動決定条件である。図２
７において、手話動作の対称性による非セグメント特徴
運動決定条件は、運動コード２７０１と、条件２７０２
とを含む。運動コード２７０１には、番号「０」〜
「８」がセットされ、条件２７０２には、運動コード２
７０１にセットされた各番号と対応して、各々、手話動
作の対称性による非セグメント特徴運動決定条件がセッ
トされる。次に、特徴運動追跡部３０３は、図２７の手
話動作の対称性による非セグメント特徴運動決定条件に
より、ｉ番目の１つめの手領域運動コードＣｈ［１］
［ｉ］、およびｉ番目の２つめの手領域運動コードＣｈ
［２］［ｉ］を求める。非セグメント特徴フレーム数が
０の場合、１つめの非セグメント条件始点Ｐｓｈ［１］
に、ｉ−１番目の手領域情報ｈａｎｄ［ｉ−１］の１つ
めの手の重心ｇ１＿ｈａｎｄ［ｉ−１］をセットし、２
つめの非セグメント条件始点Ｐｓｈ［２］に、ｉ−１番
目の手領域情報ｈａｎｄ［ｉ−１］の２つめの手の重心
ｇ２＿ｈａｎｄ［ｉ−１］をセットする。

【０１７８】ここで、非セグメント要素記憶部２２０１
には、予め、手話動作の対称性による非セグメントコー
ド決定条件が記憶されている。図２８は、非セグメント
要素記憶部２２０１に記憶される、手話動作の対称性に
よる非セグメントコード決定条件の一例を示す図であ
る。図２８の非セグメントコード決定条件には、図示し
ない手話認識装置が認識対象とする動作（手話動作）に
おいて現れるような対照性が、番号１〜１０の条件とし
て設定される。例えば、手話動作の場合、左右の手は、
胴体と垂直または平行な面に対して、互いに対称的な軌
跡をとることが多い。なお、認識対象となる、手動作以
外の動作についても、同様の条件を設定することができ
る。

【０１７９】次に、セグメント位置判定部３０４は、１
つめの非セグメント条件始点Ｐｓｈ［１］＝（Ｘｐｓ
１，Ｙｐｓ１）と、２つめのセグメント条件始点Ｐｓｈ
［２］＝（Ｘｐｓ２、Ｙｐｓ２）と、ｉ番目の１つめの
手領域運動コードＣｈ［１］［ｉ］と、ｉ番目の２つめ
の手領域運動コードＣｈ［２］［ｉ］とをもとに、手話
動作の対称性の特徴運動コード（すなわち、ｉ番目の１
つめの手領域運動コードＣｈ［１］［ｉ］、およびｉ番
目の２つめの手領域運動コードＣｈ［２］［ｉ］）が、
図２８の条件（番号１〜１０のいずれかの条件）に一致
するか否かを判定し、一致する場合、非セグメント特徴
コードに１をセットする。一致しない場合、非セグメン
ト特徴コードに０をセットする。その後、手話動作セグ
メンテーション装置は、ステップ２４０３に進む。以上
の手順により、セグメント要素に加えて、非セグメント
要素（右手と左手の動作の対称性）をも検出して、それ
らに基づいてセグメンテーションを行うような手話動作
セグメンテーション方法が実現できる。

【０１８０】ところで、上記の、セグメント要素に加え
て、非セグメント要素（右手と左手の動作の対称性）を
も検出して、それらに基づいてセグメンテーションを行
うような手話動作セグメンテーション方法では、右手と
左手の動作の対称性を検出する際に、手話者の動作が平
面的に捉えられおり、従って、検出可能な右手と左手の
動作の対称性は、２次元的なものに限られる。そこで、
次に、手話者の動作を立体的に捉えて、右手と左手の動
作の３次元的な対称性を検出する方法を説明する。

【０１８１】図２２において、画像入力部３０１は、２
台のテレビカメラを含み、３次元画像を入力する。それ
によって、手話者の動作が立体的に捉えられる。この場
合も、図２２の装置の処理動作は、図２３および２４と
基本的には同様であるが、以下の点が変更される。すな
わち、図２３のステップＳ４０３において、身体特徴抽
出部３０２は、２台のテレビカメラによる３次元入力画
像から、身体特徴、ここでは手領域の画像を抽出する。
３次元画像から手領域を抽出するには、２次元画像から
手領域を抽出する場合と同様、ＲＧＢ色情報をもとに肌
色領域を抽出すればよい。ただしこの場合、ＲＧＢ色情
報には、例えば、３次元画像を構成する各画素のＲＧＢ
色情報が、３次元座標の関数として記述される。その
他、「ファジイパターン照合を用いた色彩画像からの顔
検出システム」（呉，陳，谷内田；電子情報通信学会論
文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ Ｎｏ．７
ｐｐ．１７７４〜１７８５，１９９７．７）に記載さ
れている方法を用いてもよい。

【０１８２】手領域を抽出すると、身体特徴抽出部３０
２は、ｉ番目の１つめの手領域の３次元座標ｈ［１］
［ｉ］、およびｉ番目の２つめの手領域の３次元座標ｈ
［２］［ｉ］を求める。２台のテレビカメラによる３次
元画像から抽出された手領域の３次元位置座標を求める
には、一方のテレビカメラによる２次元画像と、他方の
テレビカメラによる２次元画像との間に生じる視差を利
用すればよい。

【０１８３】また、上記のステップＳ２４０２ｂを、次
のように変更する。 ［ステップＳ２４０２ｃ］２台のテレビカメラのうちの
一方、たとえば左側のテレビカメラの画像から算出した
手領域の情報を使って、ステップＳ２４０２ｂと同様の
処理が行われる。ただし、特徴運動追跡部３０３は、ｉ
番目の１つめの手領域の３次元移動ベクトルＶｔｈ
［１］［ｉ］、ｉ番目の２つめの手領域の３次元移動ベ
クトルＶｔｈ［２］［ｉ］を求める際、〈式１３〉を使
って求める。

【数１３】 非セグメント特徴フレーム数が３より小さい場合、手話
動作セグメンテーション装置は、ステップＳ２４０３に
進む。以上の手順で、右手と左手との動作の３次元的な
対称性を検出することができる。

【０１８４】次に、前述の、セグメント要素に加えて、
非セグメント要素（右手と左手の動作の対称性）をも検
出して、それらに基づいてセグメンテーションを行うよ
うな手話動作セグメンテーション方法において、右手と
左手との動作の対称性の変化をどのようにして検出する
かを説明する。

【０１８５】動作の対称性の変化は、例えば、動作面の
変化を捉えることにより検出することができる。ここ
で、動作面とは、動作の軌跡を含むような面をいう。例
えば、手の動作面は、手動作の軌跡を含むような面であ
る。そして、左手および右手の少なくとも一方の動作面
が変化した場合、動作の対称性の変化が生じたとみな
す。

【０１８６】動作面の変化を検出するには、例えば、動
作面の法線ベクトルの変化を検出すればよい。そこで、
次に、動作面が変化したことを、動作面の法線ベクトル
の変化によって検出する方法を説明する。動作面が変化
したことを、動作面の法線ベクトルの変化によって検出
する場合、上記のステップＳ２４０２を、次のように変
更する。

【０１８７】［ステップＳ２４０２ｄ］特徴運動追跡部
３０３は、〈式１４〉を使って、ｉ番目の１つめの手領
域の３次元移動ベクトルＶｔｈ［１］［ｉ］と、ｉ−１
番目の１つめの手領域の３次元移動ベクトルＶｔｈ
［１］［ｉ−１］とから、ｉ番目の１つめの手領域運動
面の法線ベクトルＶｃｈ［１］［ｉ］を求め、ｉ番目の
２つめの手領域の３次元移動ベクトルＶｔｈ［２］
［ｉ］と、ｉ−１番目の２つめの手領域の３次元移動ベ
クトルＶｔｈ［２］［ｉ−１］とから、ｉ番目の２つめ
の手領域運動面の法線ベクトルＶｃｈ［２］［ｉ］を求
める。

【数１４】

【０１８８】また、〈式１５〉を使って、ｉ番目の１つ
めの手領域運動面の法線ベクトルＶｃｈ［１］［ｉ］
と、ｉ−１番目の１つめの手領域運動面の法線ベクトル
Ｖｃｈ［１］［ｉ−１］とから、ｉ番目の１つめの手領
域運動余弦ＣｏｓΘｈ［１］［ｉ］を求め、ｉ番目の２
つめの手領域運動面の法線ベクトルＶｃｈ［２］［ｉ］
と、ｉ−１番目の２つめの手領域運動面の法線ベクトル
Ｖｃｈ［２］［ｉ−１］とから、ｉ番目の２つめの手領
域運動余弦ＣｏｓΘｈ［２］［ｉ］を求める。

【数１５】

【０１８９】ｉ番目の１つめの手領域運動余弦ＣｏｓΘ
ｈ［１］［ｉ］、およびｉ番目の２つめの手領域運動余
弦ＣｏｓΘｈ［２］［ｉ］が、〈式１６〉の条件の少な
くとも一方を満たさない場合、非セグメント特徴コード
に０をセットする。ここで、α＿ｖｃは、法線方向変化
閾値であり、例えば、０．１がセットされる。

【数１６】 その後、手話動作セグメンテーション装置は、ステップ
Ｓ２４０３に進む。以上の手順により、動作面が変化し
たことを、動作面の法線ベクトルの変化によって検出す
ることができる。

【０１９０】上記の方法の他に、動作面の変化を検出す
るのに、動作コードベクトルを用いる方法がある。そこ
で、次に、動作面が変化したことを、動作コードベクト
ルを用いて検出する方法を説明する。動作面が変化した
ことを、動作コードベクトルを用いて検出する場合、上
記のステップＳ２４０２を、次のように変更する。

【０１９１】［ステップＳ２４０２ｅ］特徴運動追跡部
３０３は、ｉ番目の１つめの３次元座標ｈ１［ｉ］と、
ｉ−１番目の１つめの３次元座標位置ｈ１［ｉ−１］と
から、ｉ番目の１つめの手領域３次元運動コードＣｏｄ
ｅ＿ｈ１［ｉ］を求める。ｉ番目の２つめの３次元座標
ｈ２［ｉ］と、ｉ−１番目の２つめの３次元座標位置ｈ
２［ｉ−１］とから、ｉ番目の２つめの手領域３次元運
動コードＣｏｄｅ＿ｈ２［ｉ］を求める。

【０１９２】ここで、３次元運動コードの算出方法は、
例えば、「動作認識装置」（特開平７−２８２２３５号
公報）に記載されている。この方法では、手領域の運動
が、０から２６の２７個のコードによって表現される。
これら２７個のコードは、それぞれ互いに異なる方向を
持つ３次元ベクトルと対応している。一方、非セグメン
ト要素記憶部２２０１には、予め、同一動作面テーブル
が記憶されている。

【０１９３】図２９は、非セグメント要素記憶部２２０
１に記憶される同一動作面テーブルの一例を示す図であ
る。図２９において、同一動作面テーブルには、９個の
同一動作面（動作面番号「１」〜「９」）が記載されて
いる。各同一動作面は、上記２７個のコードと同様のコ
ードを用いて表現されている。特徴運動追跡部３０３
は、ｉ番目の１つめの３次元座標ｈ１［ｉ］に基づい
て、図２９のテーブルから、ｉ番目の１つめの手領域が
含まれる動作面番号と、ｉ番目の２つめの手領域が含ま
れる動作面番号とを抽出する。

【０１９４】１つめの手領域動作面候補Ｍｏｖｅ＿ｐｌ
ａｎｅ１に何も設定されていない場合、抽出した１つめ
の手領域の動作面番号を全て、１つめの手領域動作面候
補Ｍｏｖｅ＿ｐｌａｎｅ１にセットし、また、抽出した
２つめの手領域の動作面番号を全て、２つめの手領域動
作面候補Ｍｏｖｅ＿ｐｌａｎｅ２にセットする。その
後、手話動作セグメンテーション装置は、ステップＳ２
４０３に進む。

【０１９５】次に、特徴運動追跡部３０３は、抽出した
１つめの手領域の動作面番号の中に、Ｍｏｖｅ＿ｐｌａ
ｎｅ１に設定されている動作面番号と一致するものがあ
るか否か、および、抽出した２つめの手領域の動作面番
号の中に、Ｍｏｖｅ＿ｐｌａｎｅ２に設定されている動
作面番号と一致するものがあるか否かを判定する。

【０１９６】判定の結果、抽出した１つめの手領域の動
作面番号の中に、Ｍｏｖｅ＿ｐｌａｎｅ１に設定されて
いる動作面番号と一致するものがない場合、もしくは、
抽出した２つめの手領域の動作面番号の中に、Ｍｏｖｅ
＿ｐｌａｎｅ２に設定されている動作面番号と一致する
ものがない場合、特徴運動追跡部３０３は、Ｍｏｖｅ＿
ｐｌａｎｅ１に設定されている動作面番号を全て削除
し、また、Ｍｏｖｅ＿ｐｌａｎｅ２に設定されている動
作面番号を全て削除し、さらに、非セグメント特徴コー
ドに０をセットする。その後、手話動作セグメンテーシ
ョン装置は、ステップＳ２４０３に進む。

【０１９７】一方、抽出した１つめの手領域の動作面番
号の中に、Ｍｏｖｅ＿ｐｌａｎｅ１に設定されている動
作面番号と一致するものがある場合、１つめの手領域の
動作面番号のうち一致する番号のみをＭｏｖｅ＿ｐｌａ
ｎｅ１に設定し、一致しない番号をＭｏｖｅ＿ｐｌａｎ
ｅ１から削除する。また、抽出した２つめの手領域の動
作面番号の中に、Ｍｏｖｅ＿ｐｌａｎｅ１に設定されて
いる動作面番号と一致するものがある場合、２つめの手
領域動作面候補Ｍｏｖｅ＿ｐｌａｎｅ２に、１つ以上の
動作面番号が設定されていれば、２つめの手領域の動作
面番号のうち一致する番号のみを、Ｍｏｖｅ＿ｐｌａｎ
ｅ２に設定し、一致しない番号を、Ｍｏｖｅ＿ｐｌａｎ
ｅ２から削除する。その後、手話動作セグメンテーショ
ン装置は、ステップＳ２４０３に進む。以上の手順によ
り、動作面が変化したことを、動作コードベクトルを用
いて検出することができる。

【０１９８】次に、図示しない手話認識装置と、図３ま
たは図２２の手話動作セグメンテーション装置とに付随
して設けられ、アニメーション画面を通じ、手話動作セ
グメンテーション装置がセグメンテーションを行いやす
いような遷移動作を行わせるよう利用者を誘導するセグ
メント要素誘導装置について説明する。 （第４の実施形態）図３０は、本発明の第４の実施形態
に係るセグメント要素誘導装置の構成を示すブロック図
である。図３０のセグメント要素誘導装置は、図示しな
い手話認識装置と、図３または図２２の手話動作セグメ
ンテーション装置とに付随して設けられる。図３０にお
いて、セグメント要素誘導装置は、認識結果入力部３０
０１、セグメント結果入力部３００２、誘導制御情報生
成部３００３、出力部３００４および誘導規則記憶部３
００５を備えている。

【０１９９】認識結果入力部３００１に接続された手話
認識装置から、現在の認識状況情報が認識結果入力部３
００１に入力される。セグメント結果入力部３００２に
接続された手話動作セグメンテーション装置から、現在
のセグメント状況情報がセグメント結果入力部３００２
に入力される。

【０２００】認識結果入力部３００１は、入力された認
識状況情報を、誘導制御情報生成部３００３に送る。セ
グメント結果入力部３００２は、入力されたセグメント
状況情報を、誘導制御生成部３００３に送る。誘導制御
情報生成部３００３は、認識状況情報とセグメント状況
情報とをもとに、誘導規則記憶部３００５に記憶された
誘導規則を使って誘導制御情報を生成し、出力部３００
４に送る。出力部３００４は、出力部３００４に接続さ
れた手話アニメーション装置等（図示せず）に、誘導制
御情報を出力する。

【０２０１】以下、上記のように構成されたセグメント
要素誘導装置の処理について説明する。図３１は、図３
０のセグメント要素誘導装置の処理の流れを示すフロー
チャートである。図３１の各ステップでは、それぞれ以
下のような処理が行われる。 ［ステップＳ３１０１］認識結果入力部３００１は、認
識結果入力部３００１に接続された手話認識装置から入
力される認識状況情報をチェックする。図３２は、認識
結果入力部３００１に入力される認識状況情報の一例を
示す図である。図３２において、認識状況情報は、フレ
ーム番号３２０１、および状況フラグ３２０２を含む。
フレーム番号３２０１には、カレントフレーム、つまり
手話認識装置が認識状況情報作成時に処理中のフレーム
のフレーム番号がセットされる。状況フラグ３２０２に
は、認識に成功していれば「０」、失敗していれば
「１」がセットされる。認識状況情報が入力されると、
認識結果入力部３００１は、その認識状況情報を誘導制
御情報生成部３００３に送る。その後、セグメント要素
誘導装置は、ステップＳ３１０２に進む。

【０２０２】［ステップＳ３１０２］セグメント結果入
力部３００２は、手話動作セグメンテーション装置から
入力されたセグメント状況情報をチェックする。図３３
は、セグメント結果入力部３００２に入力されるセグメ
ント状況情報の一例を示す図である。図３３において、
セグメント状況情報は、フレーム番号３３０１、および
未セグメントフレーム数３３０２を含む。フレーム番号
３３０１には、カレントフレーム、つまり手話動作セグ
メンテーション装置がセグメント状況情報作成時に処理
中のフレームのフレーム番号がセットされる。未セグメ
ントフレーム数３３０２には、最後にセグメント対象と
なったフレームから、カレントフレームまでのフレーム
数がセットされる。セグメント状況情報が入力される
と、セグメント結果入力部３００２は、そのセグメント
情報を誘導制御情報生成部３００３に送る。その後、セ
グメント要素誘導装置は、ステップＳ３１０３に進む。

【０２０３】［ステップＳ３１０３］誘導制御情報生成
部３００３は、誘導規則記憶部３００５に記憶されてい
る誘導規則を使って、誘導制御情報を作成する。図３４
は、誘導制御情報生成部３００３が作成する誘導制御情
報の一例を示す図である。図３４において、誘導制御情
報は、制御部位数３４０１、制御部位３４０２、および
制御動作３４０３を含む。制御部位数３４０１には、Ｃ
Ｇキャラクタ（アニメーション）において、制御対象と
なる部位の数がセットされる。制御部位３４０２には、
ＣＧキャラクタにおいて、制御対象となる部位がセット
される。制御動作３４０３には、制御対象となる部位の
動作がセットされる。なお、制御部位３４０２、および
制御動作３４０３については、制御部位数３４０１にセ
ットされた部位数に等しい回数、続けてセットが行われ
る。

【０２０４】次に、誘導制御情報生成部３００３は、現
在入力されている認識状況情報およびセグメント状況情
報に応じて、誘導規則記憶部３００５から誘導規則を抽
出する。図３５は、誘導規則記憶部３００５に記憶され
る誘導規則の一例を示す図である。図３５において、誘
導規則は、認識状況３５０１、非セグメントフレーム数
３５０２、制御部位３５０３、および制御動作３５０４
を含む。例えば、図３２の認識状況情報と、図３３のセ
グメント状況情報とが入力されているとき、認識状況お
よびグメント状況は、図３５の認識状況３５０１および
非セグメントフレーム数３５０２の第２行目に記載の条
件と一致する。よって、図３４の誘導制御情報では、制
御部位数３４０１に「１」が、制御部位３４０２に
「頭」が、制御動作３４０３に「頷き」が、それぞれセ
ットされる。こうして生成された誘導制御情報は、出力
部３００４に送られる。その後、セグメント要素誘導装
置は、ステップＳ３１０４に進む。

【０２０５】［ステップＳ３１０４］出力部３００４
は、誘導制御情報生成部３００３から送られてきた誘導
制御情報を、アニメーション生成装置等に出力する。そ
の際、出力部３００４は、必要に応じ、誘導制御情報
を、アニメーション生成装置等から要求される形式に変
形する。その後、セグメント要素誘導装置は、ステップ
Ｓ３１０１に進む。以上の手順により、セグメント要素
誘導方法が実現できる。

【０２０６】次に、上記のセグメント要素誘導方法にお
いて、手話動作の認識率に応じて、アニメーションの速
度を変化させる場合を説明する。すなわち、手話認識装
置の手話動作認識率を、セグメント要素誘導装置側に与
える。セグメント要素誘導装置には、手話動作認識率が
悪い場合、提示するアニメーションの速度を下げ、それ
によって、遷移動作をゆっくり行うよう、手話者を誘導
するためのアニメーション速度調整装置を設ける。

【０２０７】図３６は、図３０のセグメント要素誘導装
置に設けられるアニメーション速度調整装置の構成を示
すブロック図である。図３６において、アニメーション
速度調整装置は、認識結果入力部３６０１と、セグメン
ト結果入力部３６０２と、速度調整情報生成部３６０３
と、速度調整規則記憶部３６０４と、出力部３６０５と
を備えている。認識結果入力部３６０１へは、図示しな
い手話認識装置からの認識結果情報が入力される。セグ
メント結果入力部３６０２へは、図３または図２２の手
話動作セグメンテーション装置からのセグメンテーショ
ン結果情報が入力される。速度調整規則記憶部３６０４
には、予め、速度調整規則が記憶されている。速度調整
情報生成部３６０３は、速度調整規則を参照しつつ、少
なくとも認識結果情報、好ましくは、識結果情報および
セグメンテーション結果情報に基づいて、アニメーショ
ンの速度を制御するための制御情報（アニメーション速
度調整情報）を生成する。なお、ここでは、速度調整情
報生成部３６０３は、認識結果情報に基づいてアニメー
ション速度調整情報を生成する場合を説明する。

【０２０８】上記のように構成されたアニメーション速
度調整装置が設けられたセグメント要素誘導装置では、
図３１と同様の処理が行われる。ただし、以下の点が異
なる。図３１のステップＳ３１０３を、次のように変更
する。 ［ステップＳ３１０３ａ］速度調整情報生成部３６０３
は、誤認識フラグｆｌａｇ＿ｒｅｃに何も設定されてい
ない場合、０を設定する。認識結果情報に含まれる状況
フラグが１の場合、誤認識フラグｆｌａｇ＿ｒｅｃに１
を加える。状況フラグが０で、誤認識フラグｆｌａｇ＿
ｒｅｃ＞０の場合、誤認識フラグｆｌａｇ＿ｒｅｃから
１を引く。

【０２０９】図３７は、速度調整規則記憶部３６０４に
記憶される速度調整規則の一例を示す図である。図３７
において、速度調整規則は、速度調整量３７０１と、条
件３７０２とを含む。条件３７０２は、速度調整量を決
めるための条件である。条件３７０２中のｄ＿ｓｐｄ
は、速度調整パラメータであり、例えば、５０がセット
される。速度調整情報生成部３６０３は、速度調整規則
記憶部３６０４に記憶されている速度調整規則を参照し
つつ、誤認識フラグｆｌａｇ＿ｒｅｃに応じた速度調整
量ｄ＿ｓｐｄを求める。こうして求められた速度調整量
は、出力部３６０５に送られる。なお、上記以外の処理
は、ステップＳ３１０３と同様であり、省略する。

【０２１０】また、ステップＳ３１０４を、次のように
変更する。 ［ステップＳ３１０４ａ］出力部３６０５は、速度調整
量ｄ＿ｓｐｄを、図示しないアニメーション生成装置に
送る。アニメーション生成装置は、デフォルトのアニメ
ーション速度Ｓｐｄ＿ｄｅｆから、速度調整量ｄ＿ｓｐ
ｄの分だけ、アニメーションの速度が遅くなるよう調整
する。以上の手順により、手話動作認識率が悪い場合
に、提示するアニメーションの速度を下げ、それによっ
て、遷移動作をゆっくり行うよう、手話者を誘導するこ
とができる。

【０２１１】次に、上記のセグメント要素誘導装置（図
２２参照；なお、図３６のアニメーション速度調整装置
は、設けられていてもいなくてもよい）において、手話
者からテレビカメラが見えないように、テレビカメラ隠
蔽部を設けた場合を説明する。なお、テレビカメラが露
出していると、手話者がテレビカメラを意識して緊張
し、手話動作がぎこちなくなることがある。その結果、
セグメンテーションが正しく行われず、手話認識装置の
認識率が悪くなることがある。

【０２１２】図３８は、図２２のセグメント要素誘導装
置に設けられるテレビカメラ隠蔽部の構成の一例を示す
模式図である。図３８において、テレビカメラ３８０２
は、手話者３８０１と対向して設置され、モニタ３８０
３は、テレビカメラ３８０２と手話者３８０１とを結ぶ
直線の鉛直下方に、鉛直上方を向いて設置される。テレ
ビカメラ隠蔽部は、順方向からの光を透過させ、かつ逆
方向からの光を反射するようなハーフミラー３８０４を
備え、このハーフミラー３８０４を、手話者３８０１と
テレビカメラ３８０２とを結ぶ直線上であって、かつモ
ニタ３８０３の鉛直上方の位置に、その直線に対して４
５度となるような角度で設置することによって実現され
る。

【０２１３】すなわち、モニタ３８０３からの光は、ハ
ーフミラー３８０４で反射されて手話者３８０１に到達
するので、手話者３８０１は、モニタ３８０３（に表示
されるアニメーション）を見ることができる。一方、手
話者３８０１からテレビカメラ３８０２へ向かう光は、
ハーフミラー３８０４を透過するが、テレビカメラ３８
０２から手話者３８０１へ向かう光は、ハーフミラーで
反射される。よって、テレビカメラ３８０２で手話者３
８０１を撮影できるにもかかわらず、撮影の際、手話者
３８０１からは、テレビカメラ３８０２が見えない。こ
のようなテレビカメラ隠蔽部を設けることにより、手話
者からテレビカメラが見えないようにすることができ
る。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る手動作分節方法
を用いた手動作認識方法を示すフローチャートである。

【図２】図１の方法を実現するコンピュータ装置の構成
の一例を示すブロック図である。

【図３】本発明の第２の実施形態に係る手話動作セグメ
ンテーション装置の構成を示すブロック図である。

【図４】図３の手話動作セグメンテーション装置の処理
の流れの一例を示すフローチャートである。

【図５】身体特徴抽出部３０２が設定する領域コードの
一例を示す図である。

【図６】セグメント要素記憶部３０５に記憶されるセグ
メント要素データの一例を示す図である。

【図７】身体特徴抽出部３０２によって抽出された肌色
領域の一例を示す図である。

【図８】身体特徴抽出部３０２が生成する顔領域情報の
一例を示す図である。

【図９】特徴運動追跡部３０３が特徴運動コードを決定
するための、顔による特徴運動決定条件を示す図であ
る。

【図１０】動き特徴６０２にセットされる動き特徴パラ
メータの一例を示す図である。

【図１１】セグメント位置判定部３０４が作成する判定
コードデータの一例を示す図である。

【図１２】身体特徴抽出部３０２によって抽出された顔
の肌色領域の一例を示す図である。

【図１３】身体特徴抽出部３０２によって作成される目
領域情報の一例を示す図である。

【図１４】特徴運動追跡部３０３が特徴運動コードを決
定するための、目による特徴運動決定条件を示す図であ
る。

【図１５】身体特徴抽出部３０２が生成する口領域情報
の一例を示す図である。

【図１６】特徴運動追跡部３０３が特徴運動コードを決
定するための、口による特徴運動決定条件を示す図であ
る。

【図１７】身体特徴抽出部３０２が生成する手領域情報
の一例を示す図である。

【図１８】特徴運動追跡部３０３が特徴運動コードを決
定するための、胴体と手領域とによる特徴運動決定条件
を示す図である。

【図１９】特徴運動追跡部３０３が特徴運動コードを決
定するための、手と顔との接触動作による特徴運動決定
条件を示す図である。

【図２０】特徴運動追跡部３０３が特徴運動コードを決
定するための、手の有効性変化による特徴運動決定条件
を示す図である。

【図２１】頷き動作の検出による手話動作セグメンテー
ション方法（図４参照）において、検出した動作の継続
時間を考慮してセグメンテーションを行う場合の処理の
流れを示すフローチャートである。

【図２２】本発明の第３の実施形態に係る手話動作セグ
メンテーション装置の構成を示すブロック図である。

【図２３】図２２の手話動作セグメンテーション装置の
処理の流れの一例を示すフローチャートである。

【図２４】図２２の手話動作セグメンテーション装置の
処理の流れの一例を示すフローチャートである。

【図２５】非セグメント要素記憶部２２０１に記憶され
ている非セグメント要素データの一例を示す図である。

【図２６】非セグメント動き特徴２５０２にセットされ
る非セグメント動き特徴パラメータの一例を示す図であ
る。

【図２７】特徴運動追跡部３０３が特徴運動コードを決
定するための、手話動作の対称性による非セグメント特
徴運動決定条件である。

【図２８】非セグメント要素記憶部２２０１に記憶され
る、手話動作の対称性による非セグメントコード決定条
件の一例を示す図である。

【図２９】非セグメント要素記憶部２２０１に記憶され
る同一動作面テーブルの一例を示す図である。

【図３０】本発明の第４の実施形態に係るセグメント要
素誘導装置の構成を示すブロック図である（図示しない
手話認識装置と、図３または図２２の手話動作セグメン
テーション装置とに付随して設けられる）。

【図３１】図３０のセグメント要素誘導装置の処理の流
れを示すフローチャートである。

【図３２】認識結果入力部３００１に入力される認識状
況情報の一例を示す図である。

【図３３】セグメント結果入力部３００２に入力される
セグメント状況情報の一例を示す図である。

【図３４】誘導制御情報生成部３００３が作成する誘導
制御情報の一例を示す図である。

【図３５】誘導規則記憶部３００５に記憶される誘導規
則の一例を示す図である。

【図３６】図３０のセグメント要素誘導装置に設けられ
るアニメーション速度調整装置の構成を示すブロック図
である。

【図３７】速度調整規則記憶部３６０４に記憶される速
度調整規則の一例を示す図である。

【図３８】図２２のセグメント要素誘導装置に設けられ
るテレビカメラ隠蔽部の構成の一例を示す模式図であ
る。

【符号の説明】

２０１ ＣＰＵ ２０２ ＲＡＭ ２０３ プログラム記憶部 ２０４ 入力部 ２０５，３００４，３６０５ 出力部 ２０６ 撮像部 ２０７ 画像記憶部 ２０８ 手話用手動作記憶部 ２０９ 遷移動作記憶部 ３０１ 画像入力部 ３０２ 身体特徴抽出部 ３０３ 特徴運動追跡部 ３０４ セグメント位置判定部 ３０５ セグメント要素記憶部 ２２０１ 非セグメント要素記憶部 ３００１，３６０１ 認識結果入力部 ３００２，３６０２ セグメント結果入力部 ３００３ 誘導制御情報生成部 ３００５ 誘導規則記憶部 ３６０３ 速度調整情報生成部 ３６０４ 速度調整規則記憶部 ３８０１ 手話者 ３８０２ テレビカメラ ３８０３ モニタ ３８０４ ハーフミラー

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松尾 英明 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 猪木 誠二 東京都小金井市貫井北町４丁目２番１号 郵政省通信総合研究所内 (72)発明者 呂 山 東京都小金井市貫井北町４丁目２番１号 郵政省通信総合研究所内 (72)発明者 長嶋 祐二 東京都府中市晴見町１丁目28番地７−301

Claims (27)

【特許請求の範囲】
1. 【請求項１】 利用者が行う手動作を認識する際に当該
   手動作を単語単位または複数の単語からなる有意味単位
   に自動的に分節するための方法であって、 利用者の身体に、一つの単語を示す動作の途中には現れ
   ず、ある単語を示す動作から別の単語を示す動作へと遷
   移する際に現れる遷移動作の特徴を記述した遷移特徴デ
   ータを予め記憶するステップと、 利用者を撮影して、その画像データを記憶するステップ
   と、 前記画像データから、前記遷移動作の現れる身体部位と
   対応する画像を抽出するステップと、 前記遷移動作の現れる身体部位と対応する画像の動きを
   検出するステップと、 前記遷移動作の現れる身体部位と対応する画像の動きを
   前記遷移特徴データと比較して、前記遷移動作が現れた
   時間位置を求めることにより、前記手動作を分節するス
   テップとを備える、手動作分節方法。
2. 【請求項２】 前記遷移動作は、瞬きを含むことを特徴
   とする、請求項１に記載の手動作分節方法。
3. 【請求項３】 前記遷移動作は、頷きを含むことを特徴
   とする、請求項１に記載の手動作分節方法。
4. 【請求項４】 前記遷移動作は、閉口を含むことを特徴
   とする、請求項１に記載の手動作分節方法。
5. 【請求項５】 前記遷移動作は、手静止を含むことを特
   徴とする、請求項１に記載の手動作分節方法。
6. 【請求項６】 前記遷移動作は、胴体静止を含むことを
   特徴とする、請求項１に記載の手動作分節方法。
7. 【請求項７】 前記遷移動作は、手と顔との接触を含む
   ことを特徴とする、請求項１に記載の手動作分節方法。
8. 【請求項８】 利用者の身体を取り巻く空間内に、手が
   その内部に存在する場合は有効な手動作が行われていな
   いと見なされるような死手領域を設定するステップをさ
   らに備え、 前記遷移動作は、前記死手領域への手の出入を含むこと
   を特徴とする、請求項１に記載の手動作分節方法。
9. 【請求項９】 前記手動作を分節するステップでは、前
   記遷移動作の継続時間を計測して、当該継続時間に関連
   して分節を行うことを特徴とする、請求項１に記載の手
   動作分節方法。
10. 【請求項１０】 利用者の身体に、ある単語を示す動作
    から別の単語を示す動作への遷移時には現れず、一つの
    単語を示す動作の途中に現れる非遷移動作の特徴を記述
    した非遷移特徴データを予め記憶するステップと、 前記画像データから、前記非遷移動作の現れる身体部位
    と対応する画像を抽出するステップと、 前記非遷移動作の現れる身体部位と対応する画像の動き
    を検出するステップと、 前記非遷移動作の現れる身体部位と対応する画像の動き
    を前記非遷移特徴データと比較して、前記非遷移動作が
    現れた時間位置を求めるステップとをさらに備え、 前記手動作を分節するステップでは、前記非遷移動作が
    現れた時間位置においては分節を行わないことを特徴と
    する、請求項１に記載の手動作分節方法。
11. 【請求項１１】 前記非遷移動作は、右手と左手との距
    離が予め決められた値以下に接近する両手接近を含むこ
    とを特徴とする、請求項１０に記載の手動作分節方法。
12. 【請求項１２】 前記非遷移動作は、口形変化を含むこ
    とを特徴とする、請求項１０に記載の手動作分節方法。
13. 【請求項１３】 前記非遷移動作は、右手と左手とを互
    いに対称的に動かす対称動作を含むことを特徴とする、
    請求項１０に記載の手動作分節方法。
14. 【請求項１４】 前記利用者を撮影して、その画像デー
    タを記憶するステップでは、当該利用者を立体的に撮影
    して、その３次元画像データを記憶し、 前記画像データから、前記非遷移動作の現れる身体部位
    と対応する画像を抽出するステップでは、前記３次元画
    像データから、前記非遷移動作の現れる身体部位と対応
    する３次元画像を抽出し、 前記非遷移動作の現れる身体部位と対応する画像の動き
    を検出するステップでは、前記３次元画像の動きを検出
    し、 前記非遷移動作が現れた時間位置を求めるステップで
    は、 前記３次元画像の動きに基づいて、右手の動作面および
    左手の動作面の変化を検出し、 右手の動作面および左手の動作面がどちらも変化しない
    場合、当該非遷移動作が現れたと判定して、その時間位
    置を求めることを特徴とする、請求項１３に記載の手動
    作分節方法。
15. 【請求項１５】 前記非遷移動作が現れた時間位置を求
    めるステップでは、右手の動作面および左手の動作面の
    変化を、それら動作面の法線ベクトルの変化に基づいて
    検出することを特徴とする、請求項１４に記載の手動作
    分節方法。
16. 【請求項１６】 それぞれ互いに異なる方向を持つ３次
    元ベクトルと対応する複数の３次元動作コードに関し、
    １つの面内に含まれるような３次元動作コードの組み合
    わせを記載した単一動作面テーブルを、予め作成するス
    テップと、 前記３次元画像の動きを、前記複数の３次元動作コード
    で表現された３次元動作コード列に変換するステップと
    をさらに備え、 前記非遷移動作が現れた時間位置を求めるステップで
    は、右手の動作面および左手の動作面の変化を、前記同
    一動作面テーブルに基づいて検出することを特徴とす
    る、請求項１４に記載の手動作分節方法。
17. 【請求項１７】 前記遷移動作を示すアニメーションの
    画像データを予め記憶するステップと、 前記遷移動作の検出状況および前記手動作の認識状況を
    検知するステップと、 前記遷移動作の検出状況および前記手動作の認識状況に
    関連して、利用者に対し、前記遷移動作を示すアニメー
    ションを視覚的に提示するステップとをさらに備える、
    請求項１に記載の手動作分節方法。
18. 【請求項１８】 前記遷移動作を示すアニメーションを
    視覚的に提示するステップでは、当該アニメーションの
    速度を、前記手動作の認識状況に応じて変化させること
    を特徴とする、請求項１７に記載の手動作分節方法。
19. 【請求項１９】 利用者が行う手動作を認識する際に当
    該手動作を単語単位または複数の単語からなる有意味単
    位に自動的に分節するための方法を記述した、コンピュ
    ータ装置において実行されるプログラムを記録した記録
    媒体であって、 利用者の身体に、一つの単語を示す動作の途中には現れ
    ず、ある単語を示す動作から別の単語を示す動作へと遷
    移する際に現れる遷移動作の特徴を記述した遷移特徴デ
    ータを予め記憶するステップと、 利用者を撮影して、その画像データを記憶するステップ
    と、 前記画像データから、前記遷移動作の現れる身体部位と
    対応する画像を抽出するステップと、 前記遷移動作の現れる身体部位と対応する画像の動きを
    検出するステップと、 前記遷移動作の現れる身体部位と対応する画像の動きを
    前記遷移特徴データと比較して、前記遷移動作が現れた
    時間位置を求めることにより、前記手動作を分節するス
    テップとを備える動作環境を、前記コンピュータ装置上
    で実現するためのプログラムを記録した、記録媒体。
20. 【請求項２０】 利用者の身体に、ある単語を示す動作
    から別の単語を示す動作への遷移時には現れず、一つの
    単語を示す動作の途中に現れる非遷移動作の特徴を記述
    した非遷移特徴データを予め記憶するステップと、 前記画像データから、前記非遷移動作の現れる身体部位
    と対応する画像を抽出するステップと、 前記非遷移動作の現れる身体部位と対応する画像の動き
    を検出するステップと、 前記非遷移動作の現れる身体部位と対応する画像の動き
    を前記非遷移特徴データと比較して、前記非遷移動作が
    現れた時間位置を求めるステップとをさらに備え、 前記手動作を分節するステップでは、前記非遷移動作が
    現れた時間位置においては分節を行わないことを特徴と
    する動作環境を、前記コンピュータ装置上で実現するた
    めのプログラムを記録した、請求項１９に記載の記録媒
    体。
21. 【請求項２１】 前記遷移動作を示すアニメーションの
    画像データを予め記憶するステップと、 前記遷移動作の検出状況および前記手動作の認識状況を
    検知するステップと、 前記遷移動作の検出状況および前記手動作の認識状況に
    関連して、利用者に対し、前記遷移動作を示すアニメー
    ションを視覚的に提示するステップとをさらに備える動
    作環境を、前記コンピュータ装置上で実現するためのプ
    ログラムを記録した、請求項１９に記載の記録媒体。
22. 【請求項２２】 利用者が行う手動作を認識する際に当
    該手動作を単語単位または複数の単語からなる有意味単
    位に自動的に分節するための手動作分節装置であって、 利用者の身体に、一つの単語を示す動作の途中には現れ
    ず、ある単語を示す動作から別の単語を示す動作へと遷
    移する際に現れる遷移動作の特徴を記述した遷移特徴デ
    ータを記憶する手段と、 利用者を撮影して、その画像データを記憶する手段と、 前記画像データから、前記遷移動作の現れる身体部位と
    対応する画像を抽出する手段と、 前記遷移動作の現れる身体部位と対応する画像の動きを
    検出する手段と、 前記遷移動作の現れる身体部位と対応する画像の動きを
    前記遷移特徴データと比較して、前記遷移動作が現れた
    時間位置を求めることにより、前記手動作を分節する手
    段とを備える、手動作分節装置。
23. 【請求項２３】 利用者の身体に、ある単語を示す動作
    から別の単語を示す動作への遷移時には現れず、一つの
    単語を示す動作の途中に現れる非遷移動作の特徴を記述
    した非遷移特徴データを予め記憶する手段と、 前記画像データから、前記非遷移動作の現れる身体部位
    と対応する画像を抽出する手段と、 前記非遷移動作の現れる身体部位と対応する画像の動き
    を検出する手段と、 前記非遷移動作の現れる身体部位と対応する画像の動き
    を前記非遷移特徴データと比較して、前記非遷移動作が
    現れた時間位置を求める手段とをさらに備え、 前記手動作を分節する手段は、前記非遷移動作が現れた
    時間位置においては分節を行わないことを特徴とする、
    請求項２２に記載の手動作分節装置。
24. 【請求項２４】 利用者が行う手動作を認識する手動作
    認識装置、および当該手動作を単語単位または複数の単
    語からなる有意味単位に自動的に分節するための手動作
    分節装置に付随して設けられ、利用者を視覚的に誘導し
    て当該利用者に所定の動作を行わせるための動作誘導装
    置であって、 前記手動作分節装置は、利用者の身体に、一つの単語を
    示す動作の途中には現れず、ある単語を示す動作から別
    の単語を示す動作へと遷移する際に現れる遷移動作を検
    出して分節を行う機能を有しており、 前記遷移動作を示すアニメーションの画像データを予め
    記憶する手段と、 前記手動作分節装置および前記手動作認識装置を監視し
    て、前記遷移動作の検出状況および前記手動作の認識状
    況を検知する手段と、 前記遷移動作の検出状況および前記手動作の認識状況に
    関連して、利用者に対し、前記遷移動作を示すアニメー
    ションを視覚的に提示する手段とを備える、動作誘導装
    置。
25. 【請求項２５】 前記遷移動作を示すアニメーションを
    視覚的に提示する手段は、当該アニメーションの速度
    を、前記手動作の認識状況に応じて変化させる手段を含
    む、請求項２４に記載の手動作分節装置。
26. 【請求項２６】 利用者が行う手動作を認識する際に当
    該手動作を単語単位または複数の単語からなる有意味単
    位に自動的に分節するための手動作分節装置であって、 利用者の身体に、一つの単語を示す動作の途中には現れ
    ず、ある単語を示す動作から別の単語を示す動作へと遷
    移する際に現れる遷移動作の特徴を記述した遷移特徴デ
    ータを記憶する手段と、 利用者に対向して設置されるテレビカメラを含み、当該
    テレビカメラで当該利用者を撮影して、その画像データ
    を記憶する手段と、 前記画像データから、前記遷移動作の現れる身体部位と
    対応する画像を抽出する手段と、 前記遷移動作の現れる身体部位と対応する画像の動きを
    検出する手段と、 前記遷移動作の現れる身体部位と対応する画像の動きを
    前記遷移特徴データと比較して、前記遷移動作が現れた
    時間位置を求めることにより、前記手動作を分節する手
    段と、 前記遷移動作の検出状況および前記手動作の認識状況に
    関連して、利用者に対し、前記遷移動作を示すアニメー
    ションを視覚的に提示する手段と、 前記利用者に対して、前記テレビカメラが露見しないよ
    う、当該テレビカメラを隠蔽する手段とを備える、手動
    作分節装置。
27. 【請求項２７】 前記遷移動作を示すアニメーションを
    視覚的に提示する手段は、前記利用者と前記テレビカメ
    ラとを結ぶ直線の鉛直下方に、鉛直上方を向いて設置さ
    れるモニタを含み、 前記テレビカメラを隠蔽する手段は、順方向からの光を
    透過させ、かつ逆方向からの光を反射するようなハーフ
    ミラーを含み、 前記ハーフミラーは、前記利用者と前記テレビカメラと
    を結ぶ直線上であって、かつ前記モニタの鉛直上方の位
    置に、当該直線に対して４５度となるような角度で設置
    されることを特徴とする、請求項２６に記載の手動作分
    節装置。