JP2009104569A - カラーリストバンドを用いた手指形状推定装置及び手指形状推定方法、並びにプログラム - Google Patents
カラーリストバンドを用いた手指形状推定装置及び手指形状推定方法、並びにプログラム Download PDFInfo
- Publication number
- JP2009104569A JP2009104569A JP2007297258A JP2007297258A JP2009104569A JP 2009104569 A JP2009104569 A JP 2009104569A JP 2007297258 A JP2007297258 A JP 2007297258A JP 2007297258 A JP2007297258 A JP 2007297258A JP 2009104569 A JP2009104569 A JP 2009104569A
- Authority
- JP
- Japan
- Prior art keywords
- finger
- data
- color
- database
- finger shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】手指をカメラで撮影した画像から、その手指の前腕回旋を含んだ形状をより正確に検出できるようにする。
【解決手段】手首に装着したカラーリストバンドをカメラで撮影したときの前記カラーリストバンドの色データと、前記色データの取得時の前腕回旋を含んだ手指の形状データとを記憶してデータベースを構成させる。そして、検出対象の手指を撮影して得た画像データから、カラーリストバンドの色データを検出し、その検出された色データを、データベースに記憶された色データと照合する。さらに、その照合でほぼ一致が検出された色データに基づいて、その色データに対応してデータベースに記憶された画像データを読み出し、その画像データで示される手指形状を、検出対象の手指の形状として判定する。
【選択図】図1
【解決手段】手首に装着したカラーリストバンドをカメラで撮影したときの前記カラーリストバンドの色データと、前記色データの取得時の前腕回旋を含んだ手指の形状データとを記憶してデータベースを構成させる。そして、検出対象の手指を撮影して得た画像データから、カラーリストバンドの色データを検出し、その検出された色データを、データベースに記憶された色データと照合する。さらに、その照合でほぼ一致が検出された色データに基づいて、その色データに対応してデータベースに記憶された画像データを読み出し、その画像データで示される手指形状を、検出対象の手指の形状として判定する。
【選択図】図1
Description
本発明は、たとえばロボットの腕および手首並びに手指の駆動、あるいは仮想の腕および手首並びに手指を操作するのに適した手指形状推定装置及び手指形状推定方法、並びにプログラムに関する。
近年、仮想世界とその操作が広く開発されている。人間が仮想世界上で物体操作を行う際には、手による情報入力がある。推定した手指の形状に基づいて、仮想空間上の手の3次元CGモデルを人間の手と同様に動かすことにより、仮想物体を掴むことや自在に変形するなどの高度な作業が簡単に行える。この仮想上の手を操作する手法の一つとして、操作者の手をカメラで撮影して、そのカメラで撮影した手指の画像から手指形状を推定することが提案されている。
特許文献1には、本発明の発明者らが先に提案した、手指の画像から手指の形状を推定する手法についての記載がある。特許文献1に記載された手法では、手指を撮影した画像から、手指の輪郭を検出し、その輪郭から手指の形状を推定するようにしている。
特開2006−294018号公報
特許文献1には、本発明の発明者らが先に提案した、手指の画像から手指の形状を推定する手法についての記載がある。特許文献1に記載された手法では、手指を撮影した画像から、手指の輪郭を検出し、その輪郭から手指の形状を推定するようにしている。
特許文献1に記載したように、手指を撮影した画像から、手指の輪郭を検出することで、手指の形状を推定することができるが、前腕回旋動作を伴った手指形状推定では、手指の各関節角度を、誤って推定してしまうことがあった。つまり、精度よく手指の形状推定を行うためには、手指の撮影位置や前腕回旋の角度は固定しなければならなかった。
本発明はかかる点に鑑みてなされたものであり、腕および手首並びに手指をカメラで撮影した画像から、その腕および手首並びに手指の形状をより正確に推定できるようにすることを目的とする。
本発明は、手首に装着したカラーリストバンドをカメラで撮影したときの前記カラーリストバンドの色データと、前記色データの取得時の前腕回旋角度データとを記憶してデータベースを構成させる。
また、前腕回旋角度データに対応した手指の画像と手指の形状とを記憶してデータベースを構成させる。
そして、検出対象の手指の撮影をして得た画像データから、前記カラーリストバンドの色データの色データを検出し、その検出された色データを、データベースに記憶された前腕回旋角度データと照合する。さらに、その前腕回旋角度データに基づいて、その前腕回旋角度データに対応してデータベースに記憶された手指の画像を読み出し、その手指の画像で示される手指の形状を、検出対象の手指の形状として判定するようにしたものである。
また、前腕回旋角度データに対応した手指の画像と手指の形状とを記憶してデータベースを構成させる。
そして、検出対象の手指の撮影をして得た画像データから、前記カラーリストバンドの色データの色データを検出し、その検出された色データを、データベースに記憶された前腕回旋角度データと照合する。さらに、その前腕回旋角度データに基づいて、その前腕回旋角度データに対応してデータベースに記憶された手指の画像を読み出し、その手指の画像で示される手指の形状を、検出対象の手指の形状として判定するようにしたものである。
本発明によるとカラーリストバンドを装着することにより、正確な前腕回旋を含んだ手指の形状の推定が可能となり、カラーリストバンドにより形状の推定のためのデータ探索領域が狭まるため、従来技術と比べ推定速度が10倍以上となる。
この場合、撮影した画像から推定した手指の形状に基づいて、各種機器の高度な駆動と制御、並びに操作が可能となる。
例えば、推定した手指の形状を、ロボットハンドに再現させる制御を行うことで、ロボットハンドの制御を、操作者の手指の動きから簡単かつ正確に行えるようになる。
また、撮影した画像から推定した手指の形状に基づいて、手の3次元CGモデルを動作させることが可能となる。手の3次元CGモデルに当たり判定などの機能を付加することにより、コンピュータ内の仮想世界で3次元の物体操作が行えるようになる。
例えば、推定した手指の形状を、ロボットハンドに再現させる制御を行うことで、ロボットハンドの制御を、操作者の手指の動きから簡単かつ正確に行えるようになる。
また、撮影した画像から推定した手指の形状に基づいて、手の3次元CGモデルを動作させることが可能となる。手の3次元CGモデルに当たり判定などの機能を付加することにより、コンピュータ内の仮想世界で3次元の物体操作が行えるようになる。
さらに、手指の形状推定の際に、装用者の撮影位置や前腕回旋運動に拘束を与えなくて済む。従って、通常の人間が行っている運動を正しく計測することができる。
カラーリストバンドに描画される色は、前腕回旋方向に向かってスペクトルカラーと同じく変化するため、カラーリストバンドの色のデータを表色系で数値化することができ、データベース構築が容易となる。
この場合、その色変化の粒度が細かいほど前腕回旋の微弱な変化をより正確に推定することができる。
この場合、その色変化の粒度が細かいほど前腕回旋の微弱な変化をより正確に推定することができる。
手指の輪郭情報を用いることにより、データベースの規模を縮小できる。
また、前腕回旋角度データに応じた手指の輪郭情報と手指の各関節角度とを併せて記憶し、前記データベースに記憶された手指の輪郭情報を照会に用いることにより、皺や色や手の陰影などの余計なデータの影響が少なくなり、手指の各関節角度の角度を正確に推定できるようになる。
また、前腕回旋角度データに応じた手指の輪郭情報と手指の各関節角度とを併せて記憶し、前記データベースに記憶された手指の輪郭情報を照会に用いることにより、皺や色や手の陰影などの余計なデータの影響が少なくなり、手指の各関節角度の角度を正確に推定できるようになる。
この場合、データベースとして、画像データに対応した手指の関節角度データまたは3次元座標データを記憶して、照会で一致が検出された前腕回旋角度データに応じた手指の輪郭情報と関節の角度データまたは3次元座標データから、手指の関節角度を推定することで、ロボットハンドや手指のCGを正確に駆動することが可能となる。
また、データベースに記憶された手指の関節角度データあるいは3次元座標データは、手指の各関節にセンサを取り付けたいわゆるデータグローブや磁気センサなどを使用して、簡単にデータベース用の関節角度データあるいは3次元座標データを得ることが可能となる。
以下、本発明の一実施の形態を、添付図面を参照して説明する。
本実施の形態においては、カラーリストバンドを含む検出対象の腕および手首並びに手指をカラーカメラで撮影して、その撮影した画像から、前腕回旋角度と手指の形状や関節の角度を推定するものである。推定した前腕回旋角度と手指の形状や関節の角度は、ロボットハンドや手の3次元CGモデルなどの各種装置の制御に使用する。
カラースペクトルを描画したカラーリストバンドとカラーカメラを用いて、事前に、カラーリストバンドを手首に装着した状態で撮影される色と前腕回旋角度の対応付けを行う。その後、カラーリストバンドを手首に装着した状態をカラーカメラで撮影することにより前腕回旋角度の推定を行う。
本実施の形態においては、カラーリストバンドを含む検出対象の腕および手首並びに手指をカラーカメラで撮影して、その撮影した画像から、前腕回旋角度と手指の形状や関節の角度を推定するものである。推定した前腕回旋角度と手指の形状や関節の角度は、ロボットハンドや手の3次元CGモデルなどの各種装置の制御に使用する。
カラースペクトルを描画したカラーリストバンドとカラーカメラを用いて、事前に、カラーリストバンドを手首に装着した状態で撮影される色と前腕回旋角度の対応付けを行う。その後、カラーリストバンドを手首に装着した状態をカラーカメラで撮影することにより前腕回旋角度の推定を行う。
まず、図1を参照して装置のシステム構成を説明する。本実施の形態の装置は、図1に示すように、手指の形状などのデータを記憶したデータベース装置10と、そのデータベース装置10に記憶されたデータを参照しながら手指の形状を推定する手指推定装置20とで構成される。データベース装置10と手指推定装置20は、図1では別体の装置として構成させてあるが、一体化して構成してもよい。
データベース装置10は、手指の様々な形状についてのデータを記憶する手段である。本例の場合には、ビデオカメラ31が撮影した画像データと、データグローブ40に取り付けられた各センサのデータとが供給される。ビデオカメラ31は、データベース用の手指の画像を撮影するものである。データグローブ40は、その画像を撮影する際に、手指に装着されたデータグローブである。
図2はデータグローブ40の一例を示したものであり、指の各関節に相当する箇所に、その関節が動いた角度を検出するセンサ41が配置してある。また、手首の動きを検出するために、掌の部分にもセンサ41が配置してある。以下の説明で手指の関節の動きと述べた場合には、この手首の動きも含まれる。センサ41は、たとえば歪みセンサを使用する。また、本例のデータグローブ40の上には、手の形状推定時と同じく、カラーリストバンド43を装着している。
図2はデータグローブ40の一例を示したものであり、指の各関節に相当する箇所に、その関節が動いた角度を検出するセンサ41が配置してある。また、手首の動きを検出するために、掌の部分にもセンサ41が配置してある。以下の説明で手指の関節の動きと述べた場合には、この手首の動きも含まれる。センサ41は、たとえば歪みセンサを使用する。また、本例のデータグローブ40の上には、手の形状推定時と同じく、カラーリストバンド43を装着している。
図1の説明に戻ると、ビデオカメラ31が撮影した画像データは、画像データ記憶手段11に供給されて、一旦記憶される。記憶された画像データは、画像特徴量抽出手段12に供給されて、画像中の手指の輪郭を抽出するための特徴量の抽出処理が行われる。特徴量の抽出処理については後述する。
カラーリストバンドの色データ抽出手段13では、画像中のカラーリストバンドの色データを抽出する処理を行う。カラーリストバンドの色データ抽出処理の詳細についても後述するが、簡単に述べるとデータグローブ40と同様に装着しているカラーリストバンド43の色データを抽出する。
画像特徴量抽出手段12で検出された特徴量のデータと、カラーリストバンドの色データ抽出手段13で検出された色データは、画像及び色データ対応動作指令記憶手段14に供給して、データベース化して記憶させる。
カラーリストバンドの色データ抽出手段13では、画像中のカラーリストバンドの色データを抽出する処理を行う。カラーリストバンドの色データ抽出処理の詳細についても後述するが、簡単に述べるとデータグローブ40と同様に装着しているカラーリストバンド43の色データを抽出する。
画像特徴量抽出手段12で検出された特徴量のデータと、カラーリストバンドの色データ抽出手段13で検出された色データは、画像及び色データ対応動作指令記憶手段14に供給して、データベース化して記憶させる。
また、データグローブ40の各センサの出力を、サンプリング手段15で周期的にサンプリングし、そのサンプリングされたセンサ出力を、時系列関節角度データ記憶手段16に供給して、時系列の関節角度データとして記憶させる。記憶された時系列の関節角度データについても、画像及び色データ対応動作指令記憶手段14に供給して、データベース化して記憶させる。
画像及び色データ対応動作指令記憶手段14でデータベース化する際には、カラーリストバンドの色データと、その際の手指の形状のデータと、その形状の際の手指の各関節の角度データとを、対応づけてデータベース化する。
この記憶手段14に記憶されたデータベースは、手指形状推定装置20からの指示で読み出される。
この記憶手段14に記憶されたデータベースは、手指形状推定装置20からの指示で読み出される。
次に、図1の手指形状推定装置と図5データベース構成を参照して、手指形状推定の流れを説明する。
手指形状推定装置20は、カラーカメラ32で撮影した手指の画像データから画像特徴量抽出手段24で画像特徴量が抽出され、手指の輪郭が抽出される。また、画像データ記憶手段23に記憶された画像データからカラーリストバンド色データ抽出手段25で色データが抽出される。
画像特徴量抽出手段24で抽出された特徴量のデータと、カラーリストバンド色データ抽出手段25で抽出された色のデータは、データ特定及び動作指令発生手段26に送られる。データ特定及び動作指令発生手段26では、供給された特徴量のデータと、カラーリストバンドの色データとから、データベース装置10に記憶されたデータベース上の類似したデータを検索し、最も近いデータに対応して記憶された前腕回旋角度を含んだ関節角度のデータをデータベースから読み出す。
手指形状推定装置20は、カラーカメラ32で撮影した手指の画像データから画像特徴量抽出手段24で画像特徴量が抽出され、手指の輪郭が抽出される。また、画像データ記憶手段23に記憶された画像データからカラーリストバンド色データ抽出手段25で色データが抽出される。
画像特徴量抽出手段24で抽出された特徴量のデータと、カラーリストバンド色データ抽出手段25で抽出された色のデータは、データ特定及び動作指令発生手段26に送られる。データ特定及び動作指令発生手段26では、供給された特徴量のデータと、カラーリストバンドの色データとから、データベース装置10に記憶されたデータベース上の類似したデータを検索し、最も近いデータに対応して記憶された前腕回旋角度を含んだ関節角度のデータをデータベースから読み出す。
そして、データベースから読み出された関節角度のデータを、撮影した手指の各関節の角度として推定する。その推定された関節の角度のデータを、ロボットハンドの各関節の動作指令として生成させ、その動作指令をロボットハンドの駆動手段27に送り、対応した状態にロボットハンド50内の各関節のアクチュエータを駆動させる。
なお、図1の構成では、データベース構築用のビデオカメラ31と、実際に手指の形状を判別(推定)する際に使用するビデオカメラ32は、別のものを使用したが、同一のカメラを使用してもよい。また、各ビデオカメラ31,32は、例えば毎秒150フレーム程度の高速撮影が可能なものを使用するのが好ましいが、毎秒60フレーム程度の撮影を行う通常のビデオカメラを使用してもよい。
なお、図1の構成では、データベース構築用のビデオカメラ31と、実際に手指の形状を判別(推定)する際に使用するビデオカメラ32は、別のものを使用したが、同一のカメラを使用してもよい。また、各ビデオカメラ31,32は、例えば毎秒150フレーム程度の高速撮影が可能なものを使用するのが好ましいが、毎秒60フレーム程度の撮影を行う通常のビデオカメラを使用してもよい。
図3は、本例の手指形状記憶手段20で推定した手指の形状に基づいて駆動されるロボットハンド50の一例を示したものである。
この図3に示すように、ロボットハンド50は、実際の手指の関節の位置に対応した位置に、関節用アクチュエータ52が配置されたものが、支持部材51で支持される構成としてある。支持部材51内にもアクチュエータ(図示せず)が設けてあり、手首を曲げた状態に対応して、支持部材51でロボットハンドを支持させる角度も調整できる構成としてある。各関節用アクチュエータ52が、データベースから読み出された各関節角度のデータで、対応した角度に設定されるように駆動される。
この図3に示すように、ロボットハンド50は、実際の手指の関節の位置に対応した位置に、関節用アクチュエータ52が配置されたものが、支持部材51で支持される構成としてある。支持部材51内にもアクチュエータ(図示せず)が設けてあり、手首を曲げた状態に対応して、支持部材51でロボットハンドを支持させる角度も調整できる構成としてある。各関節用アクチュエータ52が、データベースから読み出された各関節角度のデータで、対応した角度に設定されるように駆動される。
次に、本実施の形態による手指判定処理のおおまかな流れを、図4と図6のフローチャートを参照して説明する。
まず、データベース装置でデータベースを構築させる処理の流れを、図4を参照して説明する。
データベースの構築時には、まず図2に示したデータグローブ40を装着した手指の画像を取り込み、その手指の画像から手指の形状とカラーリストバンドの色データを抽出し、さらにそのときのデータグローブ40のセンサ41の出力を関節の角度に変換して読み込む(ステップS101)。そして、その読み込んだ手指の形状とカラーリストバンドの色データと前腕回旋角度を含んだ関節の角度とを対応づけて、データベース化する(ステップS102)。その後、データベースの構築を続行するか否か判断して(ステップS103)、データベースの構築を続行する場合には、ステップS101に戻って、別の形状(即ち手指の関節の曲げ具合などが異なる形状)の手指を取り込ませる。このようにして、様々な手指の形状をデータベース化し、ステップS103でデータベースの構築が終了であると判断した場合に、このデータベース構築処理を終了する。
まず、データベース装置でデータベースを構築させる処理の流れを、図4を参照して説明する。
データベースの構築時には、まず図2に示したデータグローブ40を装着した手指の画像を取り込み、その手指の画像から手指の形状とカラーリストバンドの色データを抽出し、さらにそのときのデータグローブ40のセンサ41の出力を関節の角度に変換して読み込む(ステップS101)。そして、その読み込んだ手指の形状とカラーリストバンドの色データと前腕回旋角度を含んだ関節の角度とを対応づけて、データベース化する(ステップS102)。その後、データベースの構築を続行するか否か判断して(ステップS103)、データベースの構築を続行する場合には、ステップS101に戻って、別の形状(即ち手指の関節の曲げ具合などが異なる形状)の手指を取り込ませる。このようにして、様々な手指の形状をデータベース化し、ステップS103でデータベースの構築が終了であると判断した場合に、このデータベース構築処理を終了する。
次に、データベース装置のデータベース構成の例を、図5を参照して説明する。データベースはカラーリストバンドの色データと手指の形状データの2階層となる。
まず、カラーリストバンドの色データ61をカラースペクトル順に並べる。カラーリストバンドにはカラースペクトルの順に色が描画されているため、例えばHSV表色系などで表すと前腕回旋角度に比例した値となる。従って、データベース構成時にはカラースペクトル順に色データを並べるだけで、前腕回旋角度順に並べられる。
次に、その下の階層に手指の形状データ62が関節角度順並べられる。そして、各々の色データ61と手指の形状データ62に対応する前腕回旋角度を含んだ関節の角度データ63が出力データとして付属する。
つまり、図1のデータ特定及び動作指令発生手段26では、図5のデータ探索開始点60から探索を開始し、カラーリストバンドの色データ抽出手段25で得られた色データからデータベース内の色データ61の一つを特定し、画像特徴量抽出手段24で得られた手指の形状データからデータベース内の手指の形状データ62を特定し、それに付属する前腕回旋角度を含んだ関節の角度データ63から手指の関節動作指令を発生させる。
まず、カラーリストバンドの色データ61をカラースペクトル順に並べる。カラーリストバンドにはカラースペクトルの順に色が描画されているため、例えばHSV表色系などで表すと前腕回旋角度に比例した値となる。従って、データベース構成時にはカラースペクトル順に色データを並べるだけで、前腕回旋角度順に並べられる。
次に、その下の階層に手指の形状データ62が関節角度順並べられる。そして、各々の色データ61と手指の形状データ62に対応する前腕回旋角度を含んだ関節の角度データ63が出力データとして付属する。
つまり、図1のデータ特定及び動作指令発生手段26では、図5のデータ探索開始点60から探索を開始し、カラーリストバンドの色データ抽出手段25で得られた色データからデータベース内の色データ61の一つを特定し、画像特徴量抽出手段24で得られた手指の形状データからデータベース内の手指の形状データ62を特定し、それに付属する前腕回旋角度を含んだ関節の角度データ63から手指の関節動作指令を発生させる。
図6のフローチャートは、検出対象者の手指を撮影して、形状を推定する処理の流れを示したものである。
手指の形状の推定処理としては、ビデオカメラ32により撮影された手指の画像データを取り込み(ステップS121)、手指とカラーリストバンドの背景画像からの切り出しを行う(ステップS122)。そして、手指画像を検出する(ステップS123)と共に、カラーリストバンドの色データの検出を行う(ステップS124)。
各データが検出されると、検出されたそれぞれデータに基づいて、データベースから最も類似度が高いデータを検索し、検索されたデータに対応した全ての関節の角度データを読み出す(ステップS125)。各関節のデータを読み出すと、その読み出した関節の角度に、ロボットハンド50の各関節用アクチュエータ52を対応した角度に設定させる指令を生成させる(ステップS126)。ここまでの処理が終了すると、ステップS121に戻って、画像の読み込みから繰り返し処理される。ステップS125で読み出した各関節の角度で示される形状が、推定された手指の形状に相当する。
手指の形状の推定処理としては、ビデオカメラ32により撮影された手指の画像データを取り込み(ステップS121)、手指とカラーリストバンドの背景画像からの切り出しを行う(ステップS122)。そして、手指画像を検出する(ステップS123)と共に、カラーリストバンドの色データの検出を行う(ステップS124)。
各データが検出されると、検出されたそれぞれデータに基づいて、データベースから最も類似度が高いデータを検索し、検索されたデータに対応した全ての関節の角度データを読み出す(ステップS125)。各関節のデータを読み出すと、その読み出した関節の角度に、ロボットハンド50の各関節用アクチュエータ52を対応した角度に設定させる指令を生成させる(ステップS126)。ここまでの処理が終了すると、ステップS121に戻って、画像の読み込みから繰り返し処理される。ステップS125で読み出した各関節の角度で示される形状が、推定された手指の形状に相当する。
次に、各処理の詳細を、図7以降を参照して説明する。
まず、データベース構築時に、画像特徴量抽出手段12で行われる画像の特徴量を抽出する処理の詳細を、図7のフローチャートを参照して説明する。ここでは、画像データのノイズ除去処理を行い(ステップS11)、そのノイズ除去した画像データを2値化する(ステップS12)。2値化した画像データからは、手領域の輪郭線を検出する(ステップS13)。この輪郭線の検出処理を行うために、画像データで示される全ての画素について、高次局所自己相関パターンを算出する(ステップS14)。
図8は、高次局所自己相関特徴を検出するための局所パターンの例を示したものである。この例では、縦3画素×横3画素の9画素のブロック単位で示してあり、パターンM1からパターンM25までの25種類のパターンに分類してあり、輪郭線が黒色で示した画素配列である場合に、該当する番号のパターンであると算出し、そのパターンの組み合わせで、手指の輪郭線を示すようにしてある。なお、輪郭情報の特徴量化は、輪郭情報の低次元化が目的であり、低次元化の手段は高次局所自己相関関数による特徴量化に限らない。
このようにして得た手指の輪郭線のデータを、データベースに登録させる。
なお、図7のフローチャートでは、画像からの手指の形状検出処理として、輪郭線の検出処理を行うようにしたが、例えば、画像中の手指の領域そのものを検出するようにしてもよい。例えば、画像中の手指の色の部分(データグローブの色の部分)を検出して、手指の輪郭ではなく、手指が存在する領域を検出するようにしてもよい。
まず、データベース構築時に、画像特徴量抽出手段12で行われる画像の特徴量を抽出する処理の詳細を、図7のフローチャートを参照して説明する。ここでは、画像データのノイズ除去処理を行い(ステップS11)、そのノイズ除去した画像データを2値化する(ステップS12)。2値化した画像データからは、手領域の輪郭線を検出する(ステップS13)。この輪郭線の検出処理を行うために、画像データで示される全ての画素について、高次局所自己相関パターンを算出する(ステップS14)。
図8は、高次局所自己相関特徴を検出するための局所パターンの例を示したものである。この例では、縦3画素×横3画素の9画素のブロック単位で示してあり、パターンM1からパターンM25までの25種類のパターンに分類してあり、輪郭線が黒色で示した画素配列である場合に、該当する番号のパターンであると算出し、そのパターンの組み合わせで、手指の輪郭線を示すようにしてある。なお、輪郭情報の特徴量化は、輪郭情報の低次元化が目的であり、低次元化の手段は高次局所自己相関関数による特徴量化に限らない。
このようにして得た手指の輪郭線のデータを、データベースに登録させる。
なお、図7のフローチャートでは、画像からの手指の形状検出処理として、輪郭線の検出処理を行うようにしたが、例えば、画像中の手指の領域そのものを検出するようにしてもよい。例えば、画像中の手指の色の部分(データグローブの色の部分)を検出して、手指の輪郭ではなく、手指が存在する領域を検出するようにしてもよい。
10…データベース装置、11…画像データ記憶手段、12…画像特徴量抽出手段、13…カラーリストバンドの色データ抽出手段、14…画像及び色データ対応動作指令記憶手段、15…サンプリング手段、16…時系列関節角度データ記憶手段、20…手指形状記憶手段、23…画像データ記憶手段、24…画像特徴量抽出手段、25…カラーリストバンドの色データ抽出手段、26…データ特定及び動作指令発生手段、27…駆動手段、31,32…ビデオカメラ、40…データグローブ、41…角度センサ、50…ロボットハンド、51…支持部、52…関節用アクチュエータ、60…データ探索開始点、61…カラーリストバンドの色データ、62…手指の形状データ、63…前腕回旋角度を含んだ関節の角度データ
Claims (8)
- 手首に装着したカラーリストバンドをカメラで撮影したときの前記カラーリストバンドの色データと、前記色データの取得時の前腕回旋角度データとを記憶するデータベースと、
検出対象の手を撮影して得た画像データ中の前記カラーリストバンドの色データから前記データベースに記憶された前記前腕回旋角度データと照合する照合手段と、
前記照合手段で検出された前記前腕回旋角度データに基づいて、前腕回旋角度ごとに用意された手指の画像と手指の形状とのデータベースによる手指形状を推定する推定手段とを備えることを特徴とする手指形状推定装置。 - 請求項1記載の手指形状推定装置において、
前記カラーリストバンドは、前腕回旋方向に向かって変化する色が描画されていることを特徴とする手指形状推定装置。 - 請求項1記載の手指形状推定装置において、
前記カラーリストバンドは、前腕回旋方向に向かってスペクトルカラーと同じく変化する色が描画されていることを特徴とする手指形状推定装置。 - 請求項1記載の手指形状推定装置において、
前記手指の画像と手指の形状とのデータベースは、手指の輪郭情報を記憶することを特徴とする手指形状推定装置。 - 請求項3に記載の手指形状推定装置において、
前記手指の形状データは、手指の関節角度データを記憶し、前記照合手段で照合された手指の輪郭情報に対応して前記データベースに記憶された関節角度データから、前記推定手段で手指の関節角度を推定することを特徴とする手指形状推定装置。 - 請求項3に記載の手指形状推定装置において、
前記手指の形状データは、3次元座標データを記憶し、前記照合手段で照合された手指の輪郭情報に対応して前記データベースに記憶された3次元座標データから、前記推定手段で手指の3次元座標データを推定することを特徴とする手指形状推定装置。 - 手首に装着したカラーリストバンドをカメラで撮影したときのカラーリストバンドの色データと、前記色データの取得時の前腕回旋角度データとを記憶するデータベース構成処理と、
検出対象の手を撮影して得た画像データ中のカラーリストバンドの色データから前記データベースに記憶された前腕回旋角度と照合する照合処理と、
前記照合手法で検出された前腕回旋角度に基づいて、前腕回旋角度ごとに用意された手指の画像と手指の形状データベースによる手指形状の判定手段とを備えることを特徴とする手指形状推定方法。 - コンピュータ装置に実装して処理を実行させるプログラムにおいて、
手首に装着したカラーリストバンドをカメラで撮影したときのカラーリストバンドの色データと、前記色データの取得時の前腕回旋角度データとを記憶するデータベース構成処理と、
検出対象の手を撮影して得た画像データ中のカラーリストバンドの色データから前記データベースに記憶された前腕回旋角度と照合する照合処理と、
前記照合手法で検出された前腕回旋角度に基づいて、前腕回旋角度ごとに用意された手指の画像と手指の形状データベースによる手指形状の推定処理とを備えることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007297258A JP2009104569A (ja) | 2007-10-20 | 2007-10-20 | カラーリストバンドを用いた手指形状推定装置及び手指形状推定方法、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007297258A JP2009104569A (ja) | 2007-10-20 | 2007-10-20 | カラーリストバンドを用いた手指形状推定装置及び手指形状推定方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009104569A true JP2009104569A (ja) | 2009-05-14 |
Family
ID=40706154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007297258A Pending JP2009104569A (ja) | 2007-10-20 | 2007-10-20 | カラーリストバンドを用いた手指形状推定装置及び手指形状推定方法、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009104569A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9311713B2 (en) | 2013-06-05 | 2016-04-12 | Samsung Electronics Co., Ltd. | Estimator training method and pose estimating method using depth image |
JP2018136950A (ja) * | 2014-03-14 | 2018-08-30 | 株式会社ソニー・インタラクティブエンタテインメント | 回転自在に設置されたカメラ付きのゲーミングデバイス |
-
2007
- 2007-10-20 JP JP2007297258A patent/JP2009104569A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9311713B2 (en) | 2013-06-05 | 2016-04-12 | Samsung Electronics Co., Ltd. | Estimator training method and pose estimating method using depth image |
US9449392B2 (en) | 2013-06-05 | 2016-09-20 | Samsung Electronics Co., Ltd. | Estimator training method and pose estimating method using depth image |
JP2018136950A (ja) * | 2014-03-14 | 2018-08-30 | 株式会社ソニー・インタラクティブエンタテインメント | 回転自在に設置されたカメラ付きのゲーミングデバイス |
US10620711B2 (en) | 2014-03-14 | 2020-04-14 | Sony Interactive Entertainment Inc. | Gaming device with rotatably placed cameras |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5403699B2 (ja) | 手指形状推定装置、手指形状の推定方法及びプログラム | |
JP4878842B2 (ja) | ロボットの駆動方法 | |
JP5526465B2 (ja) | 爪位置データ検出装置及び爪位置データ検出方法、並びに爪位置データ検出プログラム | |
US8675972B2 (en) | Method and device for determining the pose of a three-dimensional object in an image and method and device for creating at least one key image for object tracking | |
JP5205187B2 (ja) | 入力システム及び入力方法 | |
JP4479194B2 (ja) | 動作識別装置、及び対象物の姿勢識別装置 | |
JP6331517B2 (ja) | 画像処理装置、システム、画像処理方法、および画像処理プログラム | |
JP6066093B2 (ja) | 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム | |
JP5772825B2 (ja) | 画像処理学習装置、画像処理学習方法、および画像処理学習プログラム | |
JP2007538318A5 (ja) | ||
JP2004157850A (ja) | 運動検出装置 | |
TWI682326B (zh) | 追蹤系統及其方法 | |
JP2013125402A (ja) | 姿勢推定装置および姿勢推定方法 | |
JPWO2018154709A1 (ja) | 動作学習装置、技能判別装置および技能判別システム | |
WO2019142329A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
EP3127586B1 (en) | Interactive system, remote controller and operating method thereof | |
JP2018119833A (ja) | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 | |
JP2010123019A (ja) | 動作認識装置及び方法 | |
JP7359577B2 (ja) | ロボット教示装置及びロボットシステム | |
JP2007304721A (ja) | 画像処理装置及び画像処理方法 | |
JP2017191426A (ja) | 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体 | |
JP2009104569A (ja) | カラーリストバンドを用いた手指形状推定装置及び手指形状推定方法、並びにプログラム | |
JP5083715B2 (ja) | 三次元位置姿勢計測方法および装置 | |
JP4410208B2 (ja) | 高速検索方法を用いたロボットの駆動方法 | |
JP6810442B2 (ja) | カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体 |