JP2003334389A - ジェスチャ認識による制御装置、その方法および記録媒体 - Google Patents
ジェスチャ認識による制御装置、その方法および記録媒体Info
- Publication number
- JP2003334389A JP2003334389A JP2002144058A JP2002144058A JP2003334389A JP 2003334389 A JP2003334389 A JP 2003334389A JP 2002144058 A JP2002144058 A JP 2002144058A JP 2002144058 A JP2002144058 A JP 2002144058A JP 2003334389 A JP2003334389 A JP 2003334389A
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- image
- type
- feature
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Toys (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 制御に対する新規な指示を可能とする。
【解決手段】 撮像手段１００により撮影した人間のジ
ェスチャ画像をジェスチャ認識手段１１０により認識
し、その認識結果に対応する少なくとも１以上の制御命
令を制御命令生成手段１２０により生成する。
ェスチャ画像をジェスチャ認識手段１１０により認識
し、その認識結果に対応する少なくとも１以上の制御命
令を制御命令生成手段１２０により生成する。
Description
【０００１】
【発明の属する技術分野】本発明は、ロボット、玩具、
その他、撮像手段を有し、撮像手段により撮影された人
間のジェスチャにより何らかの制御処理を行う制御装置
に関する。
その他、撮像手段を有し、撮像手段により撮影された人
間のジェスチャにより何らかの制御処理を行う制御装置
に関する。
【０００２】
【従来の技術】近年、人間と対話する小型ロボットの開
発がなされており、この小型ロボットは犬や猫などの動
物に類似した形態をとっている。従ってこれらは玩具の
一種と考えてよい。この玩具ロボットの使用目的とし
て、それを老人や身障者へ与えることにより、その精神
的なリハビリに有用であることがわかってきた。現在も
一部は市販されるようになってきた。今後、その市場は
拡大していくと思われる。
発がなされており、この小型ロボットは犬や猫などの動
物に類似した形態をとっている。従ってこれらは玩具の
一種と考えてよい。この玩具ロボットの使用目的とし
て、それを老人や身障者へ与えることにより、その精神
的なリハビリに有用であることがわかってきた。現在も
一部は市販されるようになってきた。今後、その市場は
拡大していくと思われる。
【０００３】さて、現在、この玩具ロボットと人間との
コミュニケーションの手段は主として、たとえば、特開
２００２−１１６７９４号公報に見られるように人間側
からのロボットへの接触と音声による声かけに限られて
いる。しかし、より人間と玩具ロボットとのコミュニケ
ーションの幅を広げることが極めて重要で、これがこの
種のロボットの市場拡大に決定的な技術的要因である。
現在、使われているコミュニケーション手段である、接
触と音声による手段自体もその性能が低いということか
らもその重要性が高い。例えば、接触センサーによるロ
ボットへの人間の接触も限られた部署への単純な接触回
収などの情報しか用いられていないし、音声でも１０単
語以内の極めて少ない語彙しか扱うことが可能でない。
コミュニケーションの手段は主として、たとえば、特開
２００２−１１６７９４号公報に見られるように人間側
からのロボットへの接触と音声による声かけに限られて
いる。しかし、より人間と玩具ロボットとのコミュニケ
ーションの幅を広げることが極めて重要で、これがこの
種のロボットの市場拡大に決定的な技術的要因である。
現在、使われているコミュニケーション手段である、接
触と音声による手段自体もその性能が低いということか
らもその重要性が高い。例えば、接触センサーによるロ
ボットへの人間の接触も限られた部署への単純な接触回
収などの情報しか用いられていないし、音声でも１０単
語以内の極めて少ない語彙しか扱うことが可能でない。
【０００４】
【発明が解決しようとする課題】ロボットに対する人間
の接触による情報入力は、人間がロボットに接触できな
い環境、たとえば、高温度の環境、極低温度の環境等で
は難しい。また、音声による情報入力は、雑音が発生す
る環境下では難しいという不具合がある。
の接触による情報入力は、人間がロボットに接触できな
い環境、たとえば、高温度の環境、極低温度の環境等で
は難しい。また、音声による情報入力は、雑音が発生す
る環境下では難しいという不具合がある。
【０００５】そこで、本発明の第１の目的は、環境の影
響の少ない制御装置、その方法および記録媒体を提供す
ることにある。
響の少ない制御装置、その方法および記録媒体を提供す
ることにある。
【０００６】本発明の第２の目的は、制御に関する新た
な指示形態を可能とする制御装置、その方法および記録
媒体を提供することにある。
な指示形態を可能とする制御装置、その方法および記録
媒体を提供することにある。
【０００７】
【課題を解決するための手段】このような目的を達成す
るために、本発明では制御命令に基づいて、制御対象の
機器を制御する制御装置において、人間のジェスチャを
撮影する撮像手段と、当該撮影されたジェスチャ画像の
種類を認識するジェスチャ認識手段と、該ジェスチャ認
識手段により認識された種類に対応する少なくとも１以
上の制御命令を生成する制御命令生成手段とを備えたこ
とを特徴とする制御装置を提供する。
るために、本発明では制御命令に基づいて、制御対象の
機器を制御する制御装置において、人間のジェスチャを
撮影する撮像手段と、当該撮影されたジェスチャ画像の
種類を認識するジェスチャ認識手段と、該ジェスチャ認
識手段により認識された種類に対応する少なくとも１以
上の制御命令を生成する制御命令生成手段とを備えたこ
とを特徴とする制御装置を提供する。
【０００８】本発明では、前記ジェスチャ認識手段は、
前記撮像手段により撮影されたジェスチャ画像からジェ
スチャの特徴を画像分析により取得する特徴分析手段を
有し、予め種類が判明している複数のジェスチャの特徴
と、前記特徴分析手段により取得された特徴とを比較す
ることによりジェスチャの種類を認識してもよい。
前記撮像手段により撮影されたジェスチャ画像からジェ
スチャの特徴を画像分析により取得する特徴分析手段を
有し、予め種類が判明している複数のジェスチャの特徴
と、前記特徴分析手段により取得された特徴とを比較す
ることによりジェスチャの種類を認識してもよい。
【０００９】本発明ではさらに、前記予め種類が判明し
ているジェスチャの特徴を登録可能であり、前記撮像手
段により撮影したジェスチャ画像を前記特徴分析手段に
より分析して登録すべき特徴を取得してもよい。
ているジェスチャの特徴を登録可能であり、前記撮像手
段により撮影したジェスチャ画像を前記特徴分析手段に
より分析して登録すべき特徴を取得してもよい。
【００１０】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。 （制御装置の制御方法の説明）制御装置としてここでは
玩具ロボットを例に説明するが、制御装置についてはこ
れに限ることはない。
施形態を説明する。 （制御装置の制御方法の説明）制御装置としてここでは
玩具ロボットを例に説明するが、制御装置についてはこ
れに限ることはない。
【００１１】ここにおいて、現在もっとも重要な人間と
玩具ロボットとのコミュニケーション手段はジェスチャ
などの動作によるものである。人間側がジェスチャや身
振りによってロボットへの働きかけを行い、それに反応
して、同じくロボット側が、鳴き声や動作で応える、と
いうコミュニケーションである。
玩具ロボットとのコミュニケーション手段はジェスチャ
などの動作によるものである。人間側がジェスチャや身
振りによってロボットへの働きかけを行い、それに反応
して、同じくロボット側が、鳴き声や動作で応える、と
いうコミュニケーションである。
【００１２】このような人間側のジェスチャや身振り
は、実際の生きた犬や猫を家で飼う場合においては、そ
れらの動物と極めて通常に行われている交流手段であ
る。例えば、「こっちへおいで」、「おてて」、「ぶつ
よ」、「あっちへいってらっしゃい」、「ぐるっとまわ
って」などの意味のジェスチャや身振りを、人間が動物
に対して行い、コミュニケーションを図っている。この
ジェスチャや身振りを理解する機能を玩具ロボットに付
加する記述が本発明の主体となっている。ジェスチャや
身振りを理解するためのジェスチャ認識方法について
は、本願発明者がすでに開示している公知文献として以
下にリストされるものを用いるとする。そのリストと
は、 （１）ＵＳＰ−４９８９２４９ 音声の特徴抽出方法、
認識方法及び認識装置 （２）特願平５−２１７５６６号 ジェスチャ動画像認
識方法 （３）特願平８−４７５１０号 ジェスチャ動画像認識
方法 （４）特願平８−１４９４５１号 ジェスチャ認識装置
および方法 （５）特願平８−３２２８３７号 ジェスチャ認識方法 （６）特願平８−３０９３３８号 ジェスチャ認識方法
および装置 である。
は、実際の生きた犬や猫を家で飼う場合においては、そ
れらの動物と極めて通常に行われている交流手段であ
る。例えば、「こっちへおいで」、「おてて」、「ぶつ
よ」、「あっちへいってらっしゃい」、「ぐるっとまわ
って」などの意味のジェスチャや身振りを、人間が動物
に対して行い、コミュニケーションを図っている。この
ジェスチャや身振りを理解する機能を玩具ロボットに付
加する記述が本発明の主体となっている。ジェスチャや
身振りを理解するためのジェスチャ認識方法について
は、本願発明者がすでに開示している公知文献として以
下にリストされるものを用いるとする。そのリストと
は、 （１）ＵＳＰ−４９８９２４９ 音声の特徴抽出方法、
認識方法及び認識装置 （２）特願平５−２１７５６６号 ジェスチャ動画像認
識方法 （３）特願平８−４７５１０号 ジェスチャ動画像認識
方法 （４）特願平８−１４９４５１号 ジェスチャ認識装置
および方法 （５）特願平８−３２２８３７号 ジェスチャ認識方法 （６）特願平８−３０９３３８号 ジェスチャ認識方法
および装置 である。
【００１３】本発明は、これらのジェスチャや身振りの
認識方法を適用した制御装置に関する。これを以下に説
明する。 （小型玩具ロボットへの応用）ロボットの目として、小
型ＣＣＤカメラを１個または複数個を頭部につける。ま
た、このカメラからの動画像をキャプチャして、ジェス
チャを学習や認識処理するＣＰＵをロボット内に内蔵す
る。さらに、このＣＰＵによるジェスチャ認識結果を、
ロボットの発声する合成音やロボット身体の動作へと変
換する機能を付加する。
認識方法を適用した制御装置に関する。これを以下に説
明する。 （小型玩具ロボットへの応用）ロボットの目として、小
型ＣＣＤカメラを１個または複数個を頭部につける。ま
た、このカメラからの動画像をキャプチャして、ジェス
チャを学習や認識処理するＣＰＵをロボット内に内蔵す
る。さらに、このＣＰＵによるジェスチャ認識結果を、
ロボットの発声する合成音やロボット身体の動作へと変
換する機能を付加する。
【００１４】図１に示すような小型の玩具ロボット１
内、たとえば、目２の位置にＣＣＤカメラを１つ、また
は２つを装着する。これによってロボットの正面でなさ
れるジェスチャを動画像として捉える。このジェスチャ
はロボットの目には図２に示すようなイメージ３として
捉えられることになる。これらの動画像の系列の中に、
既に登録されたジェスチャの区間時系列が出現してきた
ときのみ、それが認識される。この認識されるジェスチ
ャの種類を、１２個登録した場合、現在の時点で何が認
識されているかの結果を文字によって示すと、図２の右
の上部に示されるようになる。ここにおいて、ジェスチ
ャ認識の結果に応答するロボット側の動きを事前に決め
ておけば、その動作をロボットに実行させると、人間と
ロボットのジェスチャによる対話が実現する。
内、たとえば、目２の位置にＣＣＤカメラを１つ、また
は２つを装着する。これによってロボットの正面でなさ
れるジェスチャを動画像として捉える。このジェスチャ
はロボットの目には図２に示すようなイメージ３として
捉えられることになる。これらの動画像の系列の中に、
既に登録されたジェスチャの区間時系列が出現してきた
ときのみ、それが認識される。この認識されるジェスチ
ャの種類を、１２個登録した場合、現在の時点で何が認
識されているかの結果を文字によって示すと、図２の右
の上部に示されるようになる。ここにおいて、ジェスチ
ャ認識の結果に応答するロボット側の動きを事前に決め
ておけば、その動作をロボットに実行させると、人間と
ロボットのジェスチャによる対話が実現する。
【００１５】例えば、いま人間側が、Ｓｔｏｐ （止ま
れ）というジェスチャをした場合、そのジェスチャの動
作が認識され、Ｓｔｏｐ という認識コードを、ロボッ
トの走行や首ふりの動きなどを行わせる運動系に伝達さ
れ、その走行や首ふりの運動を停止させることとなる。
れ）というジェスチャをした場合、そのジェスチャの動
作が認識され、Ｓｔｏｐ という認識コードを、ロボッ
トの走行や首ふりの動きなどを行わせる運動系に伝達さ
れ、その走行や首ふりの運動を停止させることとなる。
【００１６】同様に、手を右左に動かすジェスチャ動作
の動画像区間系列を、「動け」という意味であるとする
とき、（これは後述するように簡単にオンラインで登録
できる）、この動作を人間がした場合、それをカメラで
動画像として観測し、その動作を認識すると、つまり、
「Ｍｏｖｅ」という認識コードが得られたとき、その認
識コードをロボット駆動系に伝達して、動いていない場
合には、ロボットを動かすこととする。
の動画像区間系列を、「動け」という意味であるとする
とき、（これは後述するように簡単にオンラインで登録
できる）、この動作を人間がした場合、それをカメラで
動画像として観測し、その動作を認識すると、つまり、
「Ｍｏｖｅ」という認識コードが得られたとき、その認
識コードをロボット駆動系に伝達して、動いていない場
合には、ロボットを動かすこととする。
【００１７】さて、おもちゃのロボットが動いている状
況で、周辺にいる人物がジェスチャを行っているとき、
これを良好に認識できるものであるかということが問題
となる。つまり、これらの状況でも頑強であるジェスチ
ャ認識方法が必要となる。この頑強さを得るには、一つ
は、動画像からの特徴抽出において頑強さを確保するこ
とが重要となる。より具体的には、時間的な流れの中
で、そのジェスチャ動作を認識できることが必要とな
る。このために、特願平８−３２２８３７号で提案した
ジェスチャ認識方法を使用するとよい。この方法を図３
に示す。
況で、周辺にいる人物がジェスチャを行っているとき、
これを良好に認識できるものであるかということが問題
となる。つまり、これらの状況でも頑強であるジェスチ
ャ認識方法が必要となる。この頑強さを得るには、一つ
は、動画像からの特徴抽出において頑強さを確保するこ
とが重要となる。より具体的には、時間的な流れの中
で、そのジェスチャ動作を認識できることが必要とな
る。このために、特願平８−３２２８３７号で提案した
ジェスチャ認識方法を使用するとよい。この方法を図３
に示す。
【００１８】図３において、複数の連続する静止画像、
いわゆる動画像１０の中の隣接する２つ静止画像の画像
データの時間差分値がＣＰＵ等の情報処理装置により計
算される。時間差分値は、同一画素の２つの異なる時刻
の画像データの値の差である。差の値はしきい値より大
きいものと、小さいものに分けられ、大きい値はビット
“１”で表し、小さい値はビット“０”で表す。このよ
うにして差分値を２値化して、画素位置に対応させたビ
ット値の分布を符号１１で示す。符号１１のビット分布
がジェスチャの特徴を表す。ジェスチャの特徴を数値に
より表すために、符号１１の分布領域（画面に対応）が
複数の領域に分割される。分割された領域内のビット
“１”の個数を計数し、１つの静止画のジェスチャにお
ける特徴値として設定される。複数の連続する静止画の
特徴の値の連続が、いわゆるジェスチャの特徴パターン
となる。符号１３は分割された各領域内のビット“１”
の個数を示すマトリクスである。このような認識方法を
使用することにより２ｘ２程度まで落とすことによっ
て、ジェスチャ認識における頑健さを得ることができ
る。
いわゆる動画像１０の中の隣接する２つ静止画像の画像
データの時間差分値がＣＰＵ等の情報処理装置により計
算される。時間差分値は、同一画素の２つの異なる時刻
の画像データの値の差である。差の値はしきい値より大
きいものと、小さいものに分けられ、大きい値はビット
“１”で表し、小さい値はビット“０”で表す。このよ
うにして差分値を２値化して、画素位置に対応させたビ
ット値の分布を符号１１で示す。符号１１のビット分布
がジェスチャの特徴を表す。ジェスチャの特徴を数値に
より表すために、符号１１の分布領域（画面に対応）が
複数の領域に分割される。分割された領域内のビット
“１”の個数を計数し、１つの静止画のジェスチャにお
ける特徴値として設定される。複数の連続する静止画の
特徴の値の連続が、いわゆるジェスチャの特徴パターン
となる。符号１３は分割された各領域内のビット“１”
の個数を示すマトリクスである。このような認識方法を
使用することにより２ｘ２程度まで落とすことによっ
て、ジェスチャ認識における頑健さを得ることができ
る。
【００１９】次に問題になるのは、解像度を落としたと
きに、認識できるジェスチャの数の問題である。図３の
解像度においては、４０種類のジェスチャの認識が限界
となっているが、おもちゃのロボットを相手には１０種
類以下のジェスチャで十分と思われるので、各フレーム
の画像からの特徴量は２ｘ２で十分であるといえる。
きに、認識できるジェスチャの数の問題である。図３の
解像度においては、４０種類のジェスチャの認識が限界
となっているが、おもちゃのロボットを相手には１０種
類以下のジェスチャで十分と思われるので、各フレーム
の画像からの特徴量は２ｘ２で十分であるといえる。
【００２０】さらに、問題になるのは、ジェスチャをす
るタイミングの問題である。特定の指示がないとそのジ
ェスチャを受け付けないということでは、実用的な制約
が強すぎるものとなる。しかし、これについても、特願
平８−１４９４５１号や特願平８−３２２８３７号で開
示されている連続ＤＰとよばれる整合方法を用いれば、
このような制約を、一切なくすことができる。図４およ
び図５がこの連続ＤＰによる整合方法を使用したジェス
チャの認識方法を示している。
るタイミングの問題である。特定の指示がないとそのジ
ェスチャを受け付けないということでは、実用的な制約
が強すぎるものとなる。しかし、これについても、特願
平８−１４９４５１号や特願平８−３２２８３７号で開
示されている連続ＤＰとよばれる整合方法を用いれば、
このような制約を、一切なくすことができる。図４およ
び図５がこの連続ＤＰによる整合方法を使用したジェス
チャの認識方法を示している。
【００２１】図４は縦軸がリファレンスベクトルシーケ
ンスであり、１つのジェスチャについての、いわゆる標
準パターンである。図３に示す方法で取得した特徴パタ
ーンである。横軸が入力の時系列パターン（入力ベクト
ルシーケンス）であり、これには始めと終わりを示すい
かな目印もついていないものである。分かりやすく説明
すると，認識対象のジェスチャの撮影画像から、図３の
方法により取得された特徴値の連続が横軸（入力ベクト
ルシーケンス）となる。
ンスであり、１つのジェスチャについての、いわゆる標
準パターンである。図３に示す方法で取得した特徴パタ
ーンである。横軸が入力の時系列パターン（入力ベクト
ルシーケンス）であり、これには始めと終わりを示すい
かな目印もついていないものである。分かりやすく説明
すると，認識対象のジェスチャの撮影画像から、図３の
方法により取得された特徴値の連続が横軸（入力ベクト
ルシーケンス）となる。
【００２２】時刻ｔ１〜ｔ２までの間の入力ベクトルシ
ーケンスとリファレンスベクトルシーケンスとの間の距
離（ＣＤＰと称す）が連続ＤＰ（動的計画法）により計
算され、その計算結果が図５の時刻ｔ２のＣＤＰ出力値
となる。全ての時刻について、距離計算を行うと、図５
に示すようなＣＤＰの出力分布が得られる。認識対象の
入力ベクトルシーケンスが、参照ベクトルシーケンスと
同じジェスチャであった場合には、出力分布５０が得ら
れ、層でない場合には、出力分布５１または５２が得ら
れる。
ーケンスとリファレンスベクトルシーケンスとの間の距
離（ＣＤＰと称す）が連続ＤＰ（動的計画法）により計
算され、その計算結果が図５の時刻ｔ２のＣＤＰ出力値
となる。全ての時刻について、距離計算を行うと、図５
に示すようなＣＤＰの出力分布が得られる。認識対象の
入力ベクトルシーケンスが、参照ベクトルシーケンスと
同じジェスチャであった場合には、出力分布５０が得ら
れ、層でない場合には、出力分布５１または５２が得ら
れる。
【００２３】同一ジェスチャの場合には、図５の符号Ｐ
に示すように出力値がしきい値よりも低くなるという特
性を有する。
に示すように出力値がしきい値よりも低くなるという特
性を有する。
【００２４】複数種類のジェスチャに対応するリファレ
ンスベクトルシーケンスを予めロボット内のメモリに用
意しておき、ＣＣＤの撮影結果から得られる入力ベクト
ルシーケンスとそれぞれＣＰＵ等により比較し、上記Ｐ
点を有するリファレンスベクトルシーケンスの示すジェ
スチャが認識結果となる。認識結果はリファレンスジェ
スチャの種類を示す識別情報の形態で得られる。
ンスベクトルシーケンスを予めロボット内のメモリに用
意しておき、ＣＣＤの撮影結果から得られる入力ベクト
ルシーケンスとそれぞれＣＰＵ等により比較し、上記Ｐ
点を有するリファレンスベクトルシーケンスの示すジェ
スチャが認識結果となる。認識結果はリファレンスジェ
スチャの種類を示す識別情報の形態で得られる。
【００２５】この整合方法は連続する静止画像を認識対
象とすることができるので、ビデオカメラのスイッチが
ＯＮになっている間中にデータがとぎれもなく入ってき
ているとう状態を許している。この状態で、人間側が、
ロボットのカメラの視野にそのジェスチャが入ってき
て、かつ登録したジェスチャを行った瞬間にその結果を
瞬時に出力することができる。
象とすることができるので、ビデオカメラのスイッチが
ＯＮになっている間中にデータがとぎれもなく入ってき
ているとう状態を許している。この状態で、人間側が、
ロボットのカメラの視野にそのジェスチャが入ってき
て、かつ登録したジェスチャを行った瞬間にその結果を
瞬時に出力することができる。
【００２６】この連続ＤＰの出力は１つの標準パターン
には１つ作られるが、この数値が局所的に小さくなる
と、それに対応する標準パターンに類似しているジェス
チャが存在しているということを判定する。そのとき、
登録されていても入力中にそれがなければ連続ＤＰ値の
値は小さくならない。図５では、３つの標準パターンの
出力の様子が表示されているが、そのうちの１つがマッ
チして、連続ＤＰ値が小さくなっている様子が示されて
いる。また、このとき、カメラがジェスチャを絶え間な
く捉え、また、人間側も絶え間なくジェスチャを繰り返
していても、登録したものを人間が行わない限り連続Ｄ
Ｐの値は小さくならない。このことは、ユーザにとっ
て、ジェスチャをするべき時刻を一切指定されなくても
よいということで、極めて負担が少ないものとなってお
り、それゆえ自然なジェスチャをすることができるもの
となる。このような使い方は、おもちゃのロボットが、
子供や老人や身障者に使われるものであることを想定す
ると、極めて重要な機能であると思われる。その意味
で、おもちゃのロボットに実装するソフトとしては、極
めその有用性が強いということができる。
には１つ作られるが、この数値が局所的に小さくなる
と、それに対応する標準パターンに類似しているジェス
チャが存在しているということを判定する。そのとき、
登録されていても入力中にそれがなければ連続ＤＰ値の
値は小さくならない。図５では、３つの標準パターンの
出力の様子が表示されているが、そのうちの１つがマッ
チして、連続ＤＰ値が小さくなっている様子が示されて
いる。また、このとき、カメラがジェスチャを絶え間な
く捉え、また、人間側も絶え間なくジェスチャを繰り返
していても、登録したものを人間が行わない限り連続Ｄ
Ｐの値は小さくならない。このことは、ユーザにとっ
て、ジェスチャをするべき時刻を一切指定されなくても
よいということで、極めて負担が少ないものとなってお
り、それゆえ自然なジェスチャをすることができるもの
となる。このような使い方は、おもちゃのロボットが、
子供や老人や身障者に使われるものであることを想定す
ると、極めて重要な機能であると思われる。その意味
で、おもちゃのロボットに実装するソフトとしては、極
めその有用性が強いということができる。
【００２７】次に、人間によるジェスチャのオンライン
による教示の第２の実施形態を説明する。人間側とすれ
ば、どのような意味のジェスチャをどのように行った場
合に、ロボットがその意図どおりに動いて欲しいという
要求は様々である。これは、例えば、「おいでおいで」
「お手手を上げて」という意味はそれぞれ決まっていて
も、それをどうジェスチャで表現するかには、個性があ
るということである。このような、実際の使用状況にお
いて、その場で、新しい意味のジェスチャを与え、これ
の動きを指定できるものであることは、極めて重要な機
能であるということができる。そこで、この機能を以下
のように実現する。
による教示の第２の実施形態を説明する。人間側とすれ
ば、どのような意味のジェスチャをどのように行った場
合に、ロボットがその意図どおりに動いて欲しいという
要求は様々である。これは、例えば、「おいでおいで」
「お手手を上げて」という意味はそれぞれ決まっていて
も、それをどうジェスチャで表現するかには、個性があ
るということである。このような、実際の使用状況にお
いて、その場で、新しい意味のジェスチャを与え、これ
の動きを指定できるものであることは、極めて重要な機
能であるということができる。そこで、この機能を以下
のように実現する。
【００２８】まず、ロボットの動作で可能な動きのリス
トを作っておく。次に、この動作の内容を合成音声でロ
ボットに発声させる。例えば、「おいでおいでしてくだ
さい」と発声する。そのあと、人間側が、おいでおいで
のジェスチャをする。そうすると、このジェスチャが動
画像系列として登録されることになる。この登録の方法
を図６で説明する。いま、動画像特徴ベクトルの数値を
全部足したものをＰ（ｔ）とする。
トを作っておく。次に、この動作の内容を合成音声でロ
ボットに発声させる。例えば、「おいでおいでしてくだ
さい」と発声する。そのあと、人間側が、おいでおいで
のジェスチャをする。そうすると、このジェスチャが動
画像系列として登録されることになる。この登録の方法
を図６で説明する。いま、動画像特徴ベクトルの数値を
全部足したものをＰ（ｔ）とする。
【００２９】このＰ（ｔ）の値がある閾値より高く、そ
の前後にその閾値より低い区間が存在するとき、そのＰ
（ｔ）の値が閾値より高い区間の動画像の特徴時系列区
間を登録するとする。このような登録により、ロボット
側が音声で述べた内容を表すジェスチャが登録されるこ
とになる。登録された後には、その登録されたものと類
似したジェスチャを含むジェスチャをすれば、それが認
識されることとなる。また、合成音声で話す動きがロボ
ット側で行うものであれば、それをジェスチャによって
なされたとき、そのような動きをとる事にすればよい。
このようにして、ジェスチャによるロボットと人間の対
話が振興することになる。
の前後にその閾値より低い区間が存在するとき、そのＰ
（ｔ）の値が閾値より高い区間の動画像の特徴時系列区
間を登録するとする。このような登録により、ロボット
側が音声で述べた内容を表すジェスチャが登録されるこ
とになる。登録された後には、その登録されたものと類
似したジェスチャを含むジェスチャをすれば、それが認
識されることとなる。また、合成音声で話す動きがロボ
ット側で行うものであれば、それをジェスチャによって
なされたとき、そのような動きをとる事にすればよい。
このようにして、ジェスチャによるロボットと人間の対
話が振興することになる。
【００３０】上記の技術において、動画像のみを参照パ
ターンとして議論したが、ジェスチャが静止状態で示さ
れる場合、例えば、じゃんけんのグー、チョキ、パー
や、指を、１本、２本、と立てることで、その意味を表
示する場合、静止状態の系列を、動画像のように扱うこ
ともできるので、このような静止型のジェスチャについ
ても応用が可能である。
ターンとして議論したが、ジェスチャが静止状態で示さ
れる場合、例えば、じゃんけんのグー、チョキ、パー
や、指を、１本、２本、と立てることで、その意味を表
示する場合、静止状態の系列を、動画像のように扱うこ
ともできるので、このような静止型のジェスチャについ
ても応用が可能である。
【００３１】以上は、おもちゃのロボットについての応
用であったが、これと類似したやり方で、例えば携帯電
話における番号呼び出しをジェスチャによって行うこと
も可能である。携帯電話には、最近画像を取り込むこと
ができるようなカメラがついているので、このような機
能の実装が容易であるといえる。
用であったが、これと類似したやり方で、例えば携帯電
話における番号呼び出しをジェスチャによって行うこと
も可能である。携帯電話には、最近画像を取り込むこと
ができるようなカメラがついているので、このような機
能の実装が容易であるといえる。
【００３２】例えば、息子Ａを呼び出したい場合、携帯
電話から、「Ａさんは、どうやってよぶ」という合成音
を聞かせ、携帯電話を片手でもって、他方の手でジェス
チャを行って、そのジェスチャとＡさんとの対応を教示
する。このようにして、区別できるジェスチャの数だ
け、教示すれば、番号やワンタッチのボタンも押さずに
その番号を呼び出すことができる。
電話から、「Ａさんは、どうやってよぶ」という合成音
を聞かせ、携帯電話を片手でもって、他方の手でジェス
チャを行って、そのジェスチャとＡさんとの対応を教示
する。このようにして、区別できるジェスチャの数だ
け、教示すれば、番号やワンタッチのボタンも押さずに
その番号を呼び出すことができる。
【００３３】また、携帯電話を切るなどの、現在いろい
ろの操作をボタンを押すことでやっている機能を、ジェ
スチャ動作で指示するということも、同じ方法で可能で
ある。さらに、身障者や病人が声も出すことができない
場合、その意志を片手でのジェスチャで意志を伝えると
いうことも、同じような構成で実現できる。
ろの操作をボタンを押すことでやっている機能を、ジェ
スチャ動作で指示するということも、同じ方法で可能で
ある。さらに、身障者や病人が声も出すことができない
場合、その意志を片手でのジェスチャで意志を伝えると
いうことも、同じような構成で実現できる。
【００３４】このように、音声を発生することやボタン
操作がわずらわしいときや、それができない状況での指
示や、ジェスチャの方がその意志を伝えるのが便利であ
るというような状況での利用が以上のような、技術を利
用することで可能となる。
操作がわずらわしいときや、それができない状況での指
示や、ジェスチャの方がその意志を伝えるのが便利であ
るというような状況での利用が以上のような、技術を利
用することで可能となる。
【００３５】以上、説明したジェスチャ認識方法を適用
する制御装置のハードウェアの構成を図７に示す。
する制御装置のハードウェアの構成を図７に示す。
【００３６】図７において、１００は人間のジェスチャ
を撮影する撮像手段であり、ＣＣＤカメラ、ビデオカメ
ラ等、光学的な画像を画像信号に変換する機器を使用す
ることができる。撮像手段１００は周知のものを使用す
ることができ、どのような撮像手段を使用するかは、制
御装置の大きさや使用環境により適宜定めればよい。
を撮影する撮像手段であり、ＣＣＤカメラ、ビデオカメ
ラ等、光学的な画像を画像信号に変換する機器を使用す
ることができる。撮像手段１００は周知のものを使用す
ることができ、どのような撮像手段を使用するかは、制
御装置の大きさや使用環境により適宜定めればよい。
【００３７】１１０はジェスチャ認識手段であり、デジ
タルプロセッサ、ＣＰＵ等を使用することができる。上
述したジェスチャ認識方法で、撮像手段１００により撮
影されたジェスチャ画像を認識するためのプログラムを
デジタルプロセッサやＣＰＵが実行してジェスチャ認識
が行われる。１２０は制御命令生成手段であり、ジェス
チャ認識手段の認識結果に基づいて、ジェスチャに対応
する制御命令を生成する。
タルプロセッサ、ＣＰＵ等を使用することができる。上
述したジェスチャ認識方法で、撮像手段１００により撮
影されたジェスチャ画像を認識するためのプログラムを
デジタルプロセッサやＣＰＵが実行してジェスチャ認識
が行われる。１２０は制御命令生成手段であり、ジェス
チャ認識手段の認識結果に基づいて、ジェスチャに対応
する制御命令を生成する。
【００３８】制御命令の作成方法のいちばん簡単な例
は、テーブルによる変換である。ジェスチャの１つの種
類に対応する少なくとも１以上の制御命令で１つのデー
タセットを構成し、複数種類のジェスチャに対応する複
数のデータセットをテーブルに記載しておく。ジェスチ
ャの認識結果が得られると、その認識結果に対応するデ
ータセットを取り出すことにより、後述の制御手段１３
０に与える制御命令を生成することができる。
は、テーブルによる変換である。ジェスチャの１つの種
類に対応する少なくとも１以上の制御命令で１つのデー
タセットを構成し、複数種類のジェスチャに対応する複
数のデータセットをテーブルに記載しておく。ジェスチ
ャの認識結果が得られると、その認識結果に対応するデ
ータセットを取り出すことにより、後述の制御手段１３
０に与える制御命令を生成することができる。
【００３９】他の方法としては、テーブルの代わり、関
数などを使用することもできる。制御命令生成手段１２
０には、上記デジタルプロセッサやＣＰＵを兼用しても
よいし、ルックアップデーブルと呼ばれるメモリを使用
してもよい。
数などを使用することもできる。制御命令生成手段１２
０には、上記デジタルプロセッサやＣＰＵを兼用しても
よいし、ルックアップデーブルと呼ばれるメモリを使用
してもよい。
【００４０】１３０は制御手段であり、ロボットのアク
チュエータやモータを上記制御命令に基づいて制御する
回路を使用することができる。制御手段はドライバとも
呼ばれ、従来から周知であるので、詳細な説明を要しな
いであろう。
チュエータやモータを上記制御命令に基づいて制御する
回路を使用することができる。制御手段はドライバとも
呼ばれ、従来から周知であるので、詳細な説明を要しな
いであろう。
【００４１】上述の各手段の間は、本発明の利用形態に
より好適な通信手段により結合すればよい。利用形態が
ロボットある場合には、各手段は信号線により結合され
る。また、利用形態がＣＣＤカメラ付携帯電話による遠
隔的な制御である場合には、ＣＣＤカメラにより撮影さ
れたジェスチャ画像は、電話回線を解して制御装置本体
に通信される。
より好適な通信手段により結合すればよい。利用形態が
ロボットある場合には、各手段は信号線により結合され
る。また、利用形態がＣＣＤカメラ付携帯電話による遠
隔的な制御である場合には、ＣＣＤカメラにより撮影さ
れたジェスチャ画像は、電話回線を解して制御装置本体
に通信される。
【００４２】また、本発明の利用形態としては、玩具用
ロボット、工業用ロボット、などとすることができる。
さらにその他電子機器ＣＣＤカメラ付携帯電話による遠
隔的な制御（制御対象は電化製品など各種）にも本発明
を適用できる。
ロボット、工業用ロボット、などとすることができる。
さらにその他電子機器ＣＣＤカメラ付携帯電話による遠
隔的な制御（制御対象は電化製品など各種）にも本発明
を適用できる。
【００４３】撮像手段１００により撮影したジェスチャ
画像の特徴をジェスチャ認識手段１１０に登録する場合
には次のようにすればよい。ジェスチャ認識手段１２０
は撮影手段１００により撮影したジェスチャ画像（動画
像）を図３に示す方法で特徴を抽出する。したがって、
抽出された特徴をメモリに登録することで、種類の認識
に使用するジェスチャの特徴を新規に登録することがで
きる。また、このために、音声合成手段（ＣＰＵが周知
の音声合成プログラムを実行することで実現）により、
登録すべきジェスチャを案内する音声を出力すればよい
こと勿論である。音声合成手段の代わりにディスプレイ
のような画像表示手段により文字形態でメッセージを表
示してもよい。
画像の特徴をジェスチャ認識手段１１０に登録する場合
には次のようにすればよい。ジェスチャ認識手段１２０
は撮影手段１００により撮影したジェスチャ画像（動画
像）を図３に示す方法で特徴を抽出する。したがって、
抽出された特徴をメモリに登録することで、種類の認識
に使用するジェスチャの特徴を新規に登録することがで
きる。また、このために、音声合成手段（ＣＰＵが周知
の音声合成プログラムを実行することで実現）により、
登録すべきジェスチャを案内する音声を出力すればよい
こと勿論である。音声合成手段の代わりにディスプレイ
のような画像表示手段により文字形態でメッセージを表
示してもよい。
【００４４】上述のジェスチャ認識手段１１０、制御命
令生成手段１２０をＣＰＵなどのプログラムを実行する
手段で実現する場合には、その実行プログラムは記録媒
体に記録しておけばよい。記録媒体としては、ＩＣメモ
リ、ハードディスク、フロッピー（登録商標）ディス
ク、ＣＤＲＯＭ等周知の記録媒体を使用することができ
る。
令生成手段１２０をＣＰＵなどのプログラムを実行する
手段で実現する場合には、その実行プログラムは記録媒
体に記録しておけばよい。記録媒体としては、ＩＣメモ
リ、ハードディスク、フロッピー（登録商標）ディス
ク、ＣＤＲＯＭ等周知の記録媒体を使用することができ
る。
【００４５】
【発明の効果】以上、説明したように、本発明によれ
ば、ジェスチャにより制御内容を指示することができる
ので、雑音環境下や人間が装置近くに接触できない環境
下での指示に好適である。また、音声とジェスチャとを
併用することにより新規な制御指示を行うことも可能と
なる。
ば、ジェスチャにより制御内容を指示することができる
ので、雑音環境下や人間が装置近くに接触できない環境
下での指示に好適である。また、音声とジェスチャとを
併用することにより新規な制御指示を行うことも可能と
なる。
【図１】ジェスチャ認識方法を適用する玩具ロボットを
示す説明図である。
示す説明図である。
【図２】玩具ロボットが撮影するジェスチャ画像を示す
説明図である。
説明図である。
【図３】ジェスチャ認識方法を説明するための図であ
る。
る。
【図４】ジェスチャ認識方法を説明するための図であ
る。
る。
【図５】ジェスチャ認識方法を説明するための図であ
る。
る。
【図６】ジェスチャの登録を説明するための図である。
【図７】制御装置の一構成例を示すブロック図である。
１００ 撮像手段
１１０ ジェスチャ認識手段
１２０ 制御命令生成手段
１３０ 制御手段
Claims (9)
- 【請求項１】 制御命令に基づいて、制御対象の機器を
制御する制御装置において、 人間のジェスチャを撮影する撮像手段と、 当該撮影されたジェスチャ画像の種類を認識するジェス
チャ認識手段と、 該ジェスチャ認識手段により認識された種類に対応する
少なくとも１以上の制御命令を生成する制御命令生成手
段とを備えたことを特徴とする制御装置。 - 【請求項２】 請求項１に記載の制御装置において、前
記ジェスチャ認識手段は、前記撮像手段により撮影され
たジェスチャ画像からジェスチャの特徴を画像分析によ
り取得する特徴分析手段を有し、予め種類が判明してい
る複数のジェスチャの特徴と、前記特徴分析手段により
取得された特徴とを比較することによりジェスチャの種
類を認識することを特徴とする制御装置。 - 【請求項３】 請求項２に記載の制御装置において、前
記予め種類が判明しているジェスチャの特徴を登録可能
であり、前記撮像手段により撮影したジェスチャ画像を
前記特徴分析手段により分析して登録すべき特徴を取得
することを特徴とする制御装置。 - 【請求項４】 制御命令に基づいて、制御対象の機器を
制御する制御装置の制御方法において、人間のジェスチ
ャを撮像手段により撮影し、 当該撮影されたジェスチャ画像の種類を情報処理装置に
より認識し、 当該認識された種類に対応する少なくとも１以上の制御
命令を前記情報処理装置により生成することを特徴とす
る制御装置の制御方法。 - 【請求項５】 請求項４に記載の制御装置の制御方法に
おいて、前記情報処理装置は、前記撮像手段により撮影
されたジェスチャ画像からジェスチャの特徴を画像分析
により取得し、予め種類が判明している複数のジェスチ
ャの特徴と、特徴分析により取得された特徴とを比較す
ることによりジェスチャの種類を認識することを特徴と
する制御装置の制御方法。 - 【請求項６】 請求項５に記載の制御装置の制御方法に
おいて、前記予め種類が判明しているジェスチャの特徴
を前記情報処理装置に登録可能であり、前記撮像手段に
より撮影したジェスチャ画像を前記特徴分析により分析
して登録すべき特徴を取得することを特徴とする制御装
置の制御方法。 - 【請求項７】 制御命令に基づいて、制御対象の機器を
制御する制御装置で実行するプログラムを記録した記録
媒体において、前記プログラムは、 人間のジェスチャを撮影する撮像手段により撮影された
ジェスチャ画像の種類を認識するジェスチャ認識ステッ
プと、 該ジェスチャ認識ステップにより認識された種類に対応
する少なくとも１以上の制御命令を生成する制御命令生
成ステップとを備えたことを特徴とする記録媒体。 - 【請求項８】 請求項７に記載の記録媒体において、前
記ジェスチャ認識ステップでは、前記撮像手段により撮
影されたジェスチャ画像からジェスチャの特徴を画像分
析により取得する特徴分析ステップを有し、予め種類が
判明している複数のジェスチャの特徴と、前記特徴分析
手段により取得された特徴とを比較することによりジェ
スチャの種類を認識することを特徴とする記録媒体。 - 【請求項９】 請求項８に記載の記録媒体において、前
記予め種類が判明しているジェスチャの特徴を登録可能
であり、前記撮像手段により撮影したジェスチャ画像を
前記特徴分析ステップにより分析して登録すべき特徴を
取得することを特徴とする記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002144058A JP3837505B2 (ja) | 2002-05-20 | 2002-05-20 | ジェスチャ認識による制御装置のジェスチャの登録方法 |
| US10/164,723 US20030214524A1 (en) | 2002-05-20 | 2002-06-07 | Control apparatus and method by gesture recognition and recording medium therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002144058A JP3837505B2 (ja) | 2002-05-20 | 2002-05-20 | ジェスチャ認識による制御装置のジェスチャの登録方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003334389A true JP2003334389A (ja) | 2003-11-25 |
| JP3837505B2 JP3837505B2 (ja) | 2006-10-25 |
Family
ID=29417064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002144058A Expired - Lifetime JP3837505B2 (ja) | 2002-05-20 | 2002-05-20 | ジェスチャ認識による制御装置のジェスチャの登録方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20030214524A1 (ja) |
| JP (1) | JP3837505B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007109118A (ja) * | 2005-10-17 | 2007-04-26 | Hitachi Ltd | 入力指示処理装置および入力指示処理プログラム |
| JP2007272708A (ja) * | 2006-03-31 | 2007-10-18 | Nec Corp | 携帯装置、入力支援方法及び入力支援プログラム |
| JP2008501169A (ja) * | 2004-06-01 | 2008-01-17 | スイスコム モービル アーゲー | 触覚的制御によるデータ送信システム |
| JP2012502344A (ja) * | 2008-09-04 | 2012-01-26 | エクストリーム リアリティー エルティーディー． | 画像センサベースのヒューマンマシンインタフェースを提供する方法システムおよびソフトウェア |
| EP2450879A1 (en) | 2010-11-09 | 2012-05-09 | Sony Corporation | Information processing apparatus, information processing method, and computer-readable storage medium |
| WO2018235191A1 (ja) * | 2017-06-21 | 2018-12-27 | 三菱電機株式会社 | ジェスチャ操作装置及びジェスチャ操作方法 |
| US10241565B2 (en) | 2014-06-19 | 2019-03-26 | Ricoh Company, Ltd. | Apparatus, system, and method of controlling display, and recording medium |
| JP2020129252A (ja) * | 2019-02-08 | 2020-08-27 | 三菱電機株式会社 | 機器制御システムおよび端末装置 |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100575906B1 (ko) * | 2002-10-25 | 2006-05-02 | 미츠비시 후소 트럭 앤드 버스 코포레이션 | 핸드 패턴 스위치 장치 |
| JP2005242694A (ja) * | 2004-02-26 | 2005-09-08 | Mitsubishi Fuso Truck & Bus Corp | ハンドパターンスイッチ装置 |
| JP4572615B2 (ja) * | 2004-07-27 | 2010-11-04 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
| US20060036947A1 (en) * | 2004-08-10 | 2006-02-16 | Jelley Kevin W | User interface controller method and apparatus for a handheld electronic device |
| US20060267927A1 (en) * | 2005-05-27 | 2006-11-30 | Crenshaw James E | User interface controller method and apparatus for a handheld electronic device |
| US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
| US7599520B2 (en) * | 2005-11-18 | 2009-10-06 | Accenture Global Services Gmbh | Detection of multiple targets on a plane of interest |
| US8209620B2 (en) | 2006-01-31 | 2012-06-26 | Accenture Global Services Limited | System for storage and navigation of application states and interactions |
| WO2009018988A2 (de) * | 2007-08-03 | 2009-02-12 | Ident Technology Ag | Spielzeug, insbesondere in der art einer puppe oder stofftieres |
| WO2009027999A1 (en) * | 2007-08-27 | 2009-03-05 | Rao, Aparna | External stimuli based reactive system |
| US7810033B2 (en) * | 2007-10-31 | 2010-10-05 | International Business Machines Corporation | Methods and systems involving text analysis |
| US8545283B2 (en) * | 2008-02-20 | 2013-10-01 | Ident Technology Ag | Interactive doll or stuffed animal |
| US20100295782A1 (en) | 2009-05-21 | 2010-11-25 | Yehuda Binder | System and method for control based on face ore hand gesture detection |
| KR20110003146A (ko) * | 2009-07-03 | 2011-01-11 | 한국전자통신연구원 | 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법 |
| TWI477995B (zh) * | 2010-05-17 | 2015-03-21 | Hon Hai Prec Ind Co Ltd | 相片分類系統及方法 |
| US9336456B2 (en) | 2012-01-25 | 2016-05-10 | Bruno Delean | Systems, methods and computer program products for identifying objects in video data |
| US9211644B1 (en) * | 2013-10-25 | 2015-12-15 | Vecna Technologies, Inc. | System and method for instructing a device |
| JP6844135B2 (ja) | 2016-07-05 | 2021-03-17 | 富士ゼロックス株式会社 | 移動ロボットおよび移動制御システム |
| US11195000B2 (en) * | 2018-02-13 | 2021-12-07 | FLIR Belgium BVBA | Swipe gesture detection systems and methods |
| JP7315430B2 (ja) * | 2019-10-15 | 2023-07-26 | シャープ株式会社 | 画像形成装置、制御プログラムおよび制御方法 |
| CN112233505A (zh) * | 2020-09-29 | 2021-01-15 | 浩辰科技(深圳)有限公司 | 一种新型盲童交互学习系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4989249A (en) * | 1987-05-29 | 1991-01-29 | Sanyo Electric Co., Ltd. | Method of feature determination and extraction and recognition of voice and apparatus therefore |
| US5889506A (en) * | 1996-10-25 | 1999-03-30 | Matsushita Electric Industrial Co., Ltd. | Video user's environment |
| US6040871A (en) * | 1996-12-27 | 2000-03-21 | Lucent Technologies Inc. | Method and apparatus for synchronizing video signals |
| US6681031B2 (en) * | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
| JP2000163196A (ja) * | 1998-09-25 | 2000-06-16 | Sanyo Electric Co Ltd | ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置 |
| WO2002073955A1 (en) * | 2001-03-13 | 2002-09-19 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, studio apparatus, storage medium, and program |
| US20030001908A1 (en) * | 2001-06-29 | 2003-01-02 | Koninklijke Philips Electronics N.V. | Picture-in-picture repositioning and/or resizing based on speech and gesture control |
-
2002
- 2002-05-20 JP JP2002144058A patent/JP3837505B2/ja not_active Expired - Lifetime
- 2002-06-07 US US10/164,723 patent/US20030214524A1/en not_active Abandoned
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008501169A (ja) * | 2004-06-01 | 2008-01-17 | スイスコム モービル アーゲー | 触覚的制御によるデータ送信システム |
| JP2007109118A (ja) * | 2005-10-17 | 2007-04-26 | Hitachi Ltd | 入力指示処理装置および入力指示処理プログラム |
| JP2007272708A (ja) * | 2006-03-31 | 2007-10-18 | Nec Corp | 携帯装置、入力支援方法及び入力支援プログラム |
| JP2012502344A (ja) * | 2008-09-04 | 2012-01-26 | エクストリーム リアリティー エルティーディー． | 画像センサベースのヒューマンマシンインタフェースを提供する方法システムおよびソフトウェア |
| EP2450879A1 (en) | 2010-11-09 | 2012-05-09 | Sony Corporation | Information processing apparatus, information processing method, and computer-readable storage medium |
| US10241565B2 (en) | 2014-06-19 | 2019-03-26 | Ricoh Company, Ltd. | Apparatus, system, and method of controlling display, and recording medium |
| WO2018235191A1 (ja) * | 2017-06-21 | 2018-12-27 | 三菱電機株式会社 | ジェスチャ操作装置及びジェスチャ操作方法 |
| JPWO2018235191A1 (ja) * | 2017-06-21 | 2019-11-07 | 三菱電機株式会社 | ジェスチャ操作装置及びジェスチャ操作方法 |
| JP2020129252A (ja) * | 2019-02-08 | 2020-08-27 | 三菱電機株式会社 | 機器制御システムおよび端末装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20030214524A1 (en) | 2003-11-20 |
| JP3837505B2 (ja) | 2006-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3837505B2 (ja) | ジェスチャ認識による制御装置のジェスチャの登録方法 | |
| JP7095722B2 (ja) | 情報処理装置およびプログラム | |
| JP4689107B2 (ja) | 自律行動ロボット | |
| JP7447302B2 (ja) | デバイスのハンドジェスチャベースの制御のための方法及びシステム | |
| US20110273551A1 (en) | Method to control media with face detection and hot spot motion | |
| KR20220144890A (ko) | 다중 사용자 환경에서 손 제스처를 사용하여 디바이스를 제어하기 위한 방법 및 시스템 | |
| RU2708027C1 (ru) | Способ передачи движения субъекта из видео на анимированного персонажа | |
| US20120019684A1 (en) | Method for controlling and requesting information from displaying multimedia | |
| JP2006287749A (ja) | 撮像装置、及びその制御方法 | |
| JP2003039365A (ja) | ジェスチャを認識するコンピュータシステム、歩行ロボット及び方法 | |
| JP2016510144A (ja) | ナチュラルユーザインプットの関与の検出 | |
| JP4275304B2 (ja) | インターフェース装置およびインターフェース処理プログラムを記録した記録媒体 | |
| JP2009166184A (ja) | ガイドロボット | |
| WO2012119371A1 (zh) | 一种用户交互系统和方法 | |
| WO2019155735A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2018049481A (ja) | 情報処理装置、評価システムおよびプログラム | |
| JP2015011404A (ja) | 動作認識処理装置 | |
| KR20230093191A (ko) | 오차 종류별 관절 인식 방법, 서버 | |
| CN110442243A (zh) | 一种人机交互方法及系统 | |
| CN114360020B (zh) | 口腔清洁区域识别方法、装置、电子设备及存储介质 | |
| Pansare et al. | Gestuelle: A system to recognize dynamic hand gestures using hidden Markov model to control windows applications | |
| JP2009032056A (ja) | コミュニケーションシステム | |
| JP4831750B2 (ja) | コミュニケーション誘発システム | |
| KR20230023520A (ko) | 장거리 모션 제스처 인식장치 | |
| JP2018049482A (ja) | 評価システム、情報処理装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060425 |
|
| R155 | Notification before disposition of declining of application |
Free format text: JAPANESE INTERMEDIATE CODE: R155 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3837505 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |