JP2004185565A - 運動特定装置、電子楽器、および入力デバイス - Google Patents

Abstract

【課題】対象の運動を正確に特定すること。
【解決手段】イメージャ１は、所定のサイズの画素領域を有する撮像素子１１と、所定の指定情報により指定された撮像素子１１の画素領域の一部である部分領域の画像データを出力させる制御回路１２とを有する。演算処理部２は、少なくともイメージャから出力されたあるフレームの部分領域の画像データに基づいて、部分領域の画像データの画像特徴量を演算するとともに、運動特定対象が部分領域に含まれるように次フレーム用の指定情報を演算する。後処理部３は、演算手段により演算された画像特徴量に基づいて運動特定対象の運動を特定する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、視野内の対象の運動を特定する運動特定装置、並びにその運動特定装置を使用した電子楽器および入力デバイスに関するものである。
【０００２】
【従来の技術】
従来、物体、ユーザの手などを対象物として撮像し、その対象物の運動を特定し、その運動に応じて各種処理を行う装置が提案されている。
【０００３】
そのような従来の装置には、ユーザを撮影し、ユーザの映像と仮想楽器とをディスプレイ上で合成し、ユーザがその映像を見ながら動くと、その楽器の楽音を出力する仮想楽器演奏装置（例えば特許文献１参照）、音楽に合わせて踊る人の映像を撮影し、その映像に基づいてその踊る人の各箇所の基準位置からの変化量に応じて強調された踊りを行うコンピュータグラフィックスによる仮想ダンサーの映像を表示する踊り映像強調合成装置（例えば特許文献２参照）などがある。
【０００４】
また、その他にも、従来の装置として、移動体を撮影し、その移動体の移動量に応じて、その移動体に対応付けられたアニメーション画像を移動させて表示するアニメーション画像による実況中継システム（例えば特許文献３参照）などがある。
【０００５】
【特許文献１】
特開２００２−４１０３８号公報（要約書）
【特許文献２】
特開２００２−４２１６８号公報（要約書）
【特許文献３】
特開２００２−１６３６７４号公報（要約書）
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の装置において、対象を撮像する際の高空間解像度と高速リアルタイム性の両立が困難であるため、空間解像度および／または時間解像度の観点から対象の運動を正確に特定することが困難である。ひいては、対象の運動に対応して正確な楽音を発生したり、その運動に対応した処理や動作を正確に行うが困難である。
【０００７】
すなわち、例えばＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）方式といった従来の撮像方式では、約１秒間に３０フレームのレートで対象が撮像されるため、このフレームレートの場合、例えば時速３００キロメートルで走行する新幹線鉄道は、あるフレームから次のフレームまでの間に約２．７メートルも走行してしまう。また同様に、時速２００キロメートルで飛んでくるサーブ時のテニスボールは、フレーム間で約１．９メートルも進む。そのため、従来の撮像方式では、対象の運動を正確に特定することは困難である。
【０００８】
一方、例えば１００万画素の画素回路を用いて高解像度としたままで、毎秒１０００フレームのレートで撮影すると、撮像素子から画像処理装置への通信路として、毎秒１ギガバイト以上のデータ転送レートのものが必要になり、画像処理装置には同様に毎秒１ギガバイト以上のデータ処理能力が要求されることとなる。このため、運動する対象を十分な解像度で撮像しその運動を特定する場合、リアルタイム性が不足してしまう。
【０００９】
本発明は、上記の問題に鑑みてなされたものであり、対象の運動を正確に特定することができる運動特定装置、並びに、その運動に対応した処理や動作を正確に行うができる電子楽器および入力デバイスを得ることを目的とする。
【００１０】
【課題を解決するための手段】
上記の課題を解決するために、本発明の運動特定装置は、所定のサイズの画素領域を有する撮像素子と、所定の指定情報により指定された撮像素子の画素領域の一部である部分領域の画像データを出力させる制御回路とを有するイメージャと、少なくともイメージャから出力されたあるフレームの部分領域の画像データに基づいて、部分領域の画像データの画像特徴量を演算するとともに、運動特定対象が部分領域に含まれるように次フレーム用の指定情報を演算する演算手段と、演算手段により演算された画像特徴量に基づいて運動特定対象の運動を特定する運動特定手段とを備える。
【００１１】
この運動特定装置を利用すると、対象の運動を正確に特定することができる。
【００１２】
さらに、本発明の運動特定装置は、上記発明の運動特定装置に加え、演算手段が、座標変換後の運動特定対象が部分領域内で一定の姿勢になる座標変換を特定し、画像特徴量の演算の際または前に部分領域に対して座標変換を行うようにしたものである。
【００１３】
この運動特定装置を利用すると、対象が部分領域内で一定姿勢で捕捉し続けられるため、部分領域内での対象の位置のゆらぎがなくなり、より正確に対象の運動を特定することができる。
【００１４】
さらに、本発明の運動特定装置は、上記発明の運動特定装置のいずれかに加え、演算手段が、座標変換後の運動特定対象が部分領域内で一定の姿勢になる座標変換を特定し、部分領域の画像データとともに座標変換に基づいて次フレーム用の指定情報を演算するようにしたものである。
【００１５】
この運動特定装置を利用すると、視野内での対象の姿勢変化を考慮して、次フレームでの位置を予測するため、部分領域で対象を捕捉し続けることができる。
【００１６】
さらに、本発明の運動特定装置は、上記発明の運動特定装置のいずれかに加え、演算手段が、あるフレームについての部分領域の画素値の重心位置に基づいて次フレーム用の指定情報を演算するようにしたものである。
【００１７】
この運動特定装置を利用すると、対象の画像データと周辺の画像データとの画素値の違いを利用して対象の移動量を簡単に得ることができる。
【００１８】
さらに、本発明の運動特定装置は、上記発明の運動特定装置のいずれかに加え、演算手段が、運動特定対象の像が部分領域から外れないフレームレートで指定情報を繰り返しイメージャに供給するようにしたものである。
【００１９】
この運動特定装置を利用すると、高フレームレートで正確に運動特定対象を追尾することができる。
【００２０】
さらに、本発明の運動特定装置は、上記発明の運動特定装置のいずれかに加え、運動特定手段が、各フレームについての画像特徴量から運動特定対象の位置を特定するようにしたものである。
【００２１】
この運動特定装置を利用すると、現実での運動特定対象の位置を正確に特定することができる。
【００２２】
さらに、本発明の運動特定装置は、上記発明の運動特定装置のいずれかに加え、運動特定手段が、複数フレームについての画像特徴量から運動特定対象の速度を特定するようにしたものである。
【００２３】
この運動特定装置を利用すると、現実での運動特定対象の速度を正確に特定することができる。
【００２４】
さらに、本発明の運動特定装置は、上記発明の運動特定装置のいずれかに加え、運動特定手段が、複数フレームについての画像特徴量から運動特定対象の加速度を特定するようにしたものである。
【００２５】
この運動特定装置を利用すると、現実での運動特定対象の加速度を正確に特定することができる。
【００２６】
さらに、本発明の運動特定装置は、上記発明の運動特定装置のいずれかに加え、運動特定手段により特定された運動特定対象の運動に基づいて、運動特定対象の動きを予測する予測手段を備えるものである。
【００２７】
この運動特定装置を利用すると、現在および過去の運動が正確に特定されるため、運動特定対象の動きの予測を正確に行うことができる。
【００２８】
さらに、本発明の運動特定装置は、上記発明の運動特定装置に加え、予測手段により予測された運動特定対象の動きに応じて、運動特定対象に対応した所定の処理または動作を行う反応手段を備える。
【００２９】
この運動特定装置を利用すると、運動特定対象の動きの正確な予測に応じて処理や動作を行うため、対象の動きを非接触で認知しその対象に対して何らかの行為を行う場合に、正確にその行為を行うことができる。
【００３０】
本発明の電子楽器は、上記発明の運動特定装置のいずれかと、その運動特定装置により特定された運動特定対象の運動に応じた楽音信号を出力する楽音出力手段とを備える。
【００３１】
この電子楽器を利用すると、奏者やバチなどの運動を非接触で正確に特定して、奏者による演奏に合った楽音を電子的に得て出力することができる。
【００３２】
本発明の入力デバイスは、上記発明の運動特定装置のいずれかと、その運動特定装置により特定された運動特定対象の運動に応じた信号を出力する信号出力手段とを備える。
【００３３】
この入力デバイスを利用すると、ユーザの身体の運動を非接触で正確に特定して、ユーザの入力操作（入力動作）に合った信号を出力することができる。
【００３４】
【発明の実施の形態】
以下、図に基づいて本発明の実施の形態を説明する。
【００３５】
実施の形態１．
図１は、本発明の実施の形態１に係る運動特定装置の構成を示すブロック図である。図１において、イメージャ１は、視野内の対象を撮像し、撮像した対象の画像データを出力する装置であって、所定のサイズの画素領域（画素数が縦横Ｍ×Ｎの領域）を有する撮像素子１１と、所定の指定情報により指定された撮像素子１１の画素領域の一部である部分領域の画像データＩ（Ｘ，Ｙ）を出力させる制御回路１２とを有する。なお、撮像素子１１としては、各画素にランダムアクセス可能な撮像素子が使用される。それにより、任意形状の部分領域のみをスキャンする、いわゆるエリアスキャンが実行可能となる。そのような撮像素子としては、所定の画素数（例えば、縦横１０２４×１０２４）を有するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ ）イメージセンサなどがある。
【００３６】
なお、部分領域の広さは、予測される対象の最大運動速度、フレーム間の時間間隔などを考慮して決定され、撮像素子１１の画素領域上でのフレーム間における対象の最大移動距離（最大運動速度×フレーム間の時間間隔）だけ移動しても部分領域の外側とならないように設定される。また、例えば、部分領域の広さを６４×６４画素として画素領域全体の１００分の１以下とする。
【００３７】
また、演算処理部２は、少なくともイメージャ１から出力されたあるフレームについての部分領域の画像データに基づいて、その部分領域の画像データの画像特徴量を演算するとともに、運動特定対象が部分領域に含まれるように次フレーム用の指定情報を演算する演算手段として機能する回路群である。この演算処理部２は、イメージャ１の撮像素子１１とは別体の集積回路などとして実装される。すなわち、イメージャ１の撮像素子１１と演算処理部２の演算器２１とは、ＬＳＩチップ間に設けられた通信路を介して互いに接続される。なお、画像特徴量とは、部分領域の画像に所定の演算を施して得られる物理量であり、例えば、画素値で重み付けした部分領域の重心位置、対象の画像の重心位置などの位置情報（全画素領域内での位置を示す情報）である。
【００３８】
演算処理部２における演算器２１は、イメージャ１からの部分領域の画像データＩ（Ｘ，Ｙ）を、画素数が縦横ｍ×ｎの矩形領域（ｍ＜Ｍ、ｎ＜Ｎ）の画像データＩ’（ｘ，ｙ）とし、例えば式（１）に従って、その部分領域の画像データＩ’（ｘ，ｙ）（ｘ＝１，・・・，ｍ、ｙ＝１，・・・，ｎ）の画像特徴量ζ_ｋを演算するとともに、例えば式（２）に従って、運動特定対象が部分領域に含まれるように次フレームにおける部分領域の位置および形状に対応する座標変換を示す座標変換パラメータρ_ｋ＋１ を生成する回路または装置である。
【００３９】
ζ_ｋ＝Ｇ（Ｉ’（ｘ，ｙ），ρ_ｋ） ・・・（１）
【００４０】
ここで、ｋは、フレームの番号であり、Ｇは、画像データから画像特徴量を導出するための関数であり、ρ_ｋ は、第ｋフレームについての１または複数の画像変換パラメータである。
【００４１】
ρ_ｋ＋１＝Ｈ（Ｉ’（ｘ，ｙ），ρ_ｋ） ・・・（２）
【００４２】
ここで、ｋは、フレームの番号であり、Ｈは、次フレームについての１または複数の座標変換パラメータρ_ｋ＋１ を導出するための関数である。
【００４３】
この実施の形態１においては、その座標変換として、２次元のアフィン変換が使用される。なお、アフィン変換を使用することで、２次元画像に対して拡大／縮小、回転、並進移動、及び剪断変形を施すことができる。ただし、座標変換は、アフィン変換に限定されるものではなく、極座標変換、射影変換などの、対象の運動に対して適切な他の座標変換を使用してもよい。
【００４４】
また、この実施の形態１においては、演算器２１は、あるフレームについての部分領域の画像データおよび座標変換パラメータから、そのフレームについての部分領域の画像特徴量および次フレームの座標変換パラメータを演算する。なお、座標変換パラメータとしては、例えば式（３）に示すアフィン変換における変換行列の各要素ａ，ｂ，ｃ，ｄおよび定数ベクトルの各要素ｅ，ｆが使用される。
【００４５】
【数１】

【００４６】
演算処理部２における座標変換回路２２は、例えば式（４）に従って、演算器２１により生成された座標変換パラメータに基づいて次フレーム用の部分領域の指定情報を演算する回路である。なお、この座標変換回路２２は、コンピュータで実現してもよいし、専用ＬＳＩで実現するようにしてもよい。実施の形態１では、部分領域の指定情報としては、部分領域内の各画素についての全画素領域内での位置の情報（Ｘ，Ｙ）が使用される。
【００４７】
（Ｘ_ｋ，Ｙ_ｋ）＝Ｆ（（ｘ，ｙ），ρ_ｋ） ・・・（４）
【００４８】
ここで、（Ｘ_ｋ，Ｙ_ｋ）は、第ｋフレームにおける、部分領域内のある画素についての、撮像素子１１の画素領域における位置を示す画素位置情報であり、（ｘ，ｙ）は、演算器２１に記憶される際の、その部分領域に対応する矩形領域でのその画素の位置を示す画素位置情報である。
【００４９】
また、後処理器３は、演算処理部２により演算された１または複数の画像特徴量ζｋに基づいて運動特定対象の運動を特定する運動特定手段として機能する回路または装置である。なお、後処理器３は、特定した対象の運動を示すパラメータ（後述の各フレーム時点での位置、速度、加速度など）を必要に応じて出力する。
【００５０】
実施の形態１では、後処理器３は、例えば式（５）に従って、あるフレームについて、演算処理部２からの画像特徴量により示される部分領域の位置から、そのフレームの時点での現実の運動特定の対象の位置を計算し、対象の運動を特定する。
【００５１】
Ｐ_ｋ＝Ｐ（ζ_ｋ） ・・・（５）
【００５２】
ここで、Ｐ_ｋ は、部分領域（または対象）の位置を示す位置ベクトルであり、Ｐは、画像特徴量から位置ベクトルＰ_ｋ を計算するための関数である。
【００５３】
なお、後処理器３は、あるフレームについて、そのフレームの時点での運動特定の対象の位置に基づいて、その位置の差分からそのフレームの時点での対象の速度を計算し、その速度を含めて対象の運動を特定するようにしてもよい。例えば、後処理器３は、式（６）に従って、第ｋフレームの時点での対象の速度ベクトルＶ_ｋ を計算する。ただし、Δｔは、フレーム間の時間間隔である。
【００５４】
Ｖ_ｋ＝（Ｐ_ｋ−Ｐ_ｋ−１）／Δｔ ・・・（６）
【００５５】
また、後処理器３は、あるフレームについて、そのフレームの時点での運動特定の対象の位置に基づいて、その位置の２次差分からそのフレームの時点での対象の加速度を計算し、その加速度を含めて対象の運動を特定するようにしてもよい。例えば、後処理器３は、式（７）に従って、第ｋフレームの時点での対象の加速度ベクトルＡ_ｋを計算する。
【００５６】
Ａ_ｋ＝（Ｐ_ｋ−２Ｐ_ｋ−１＋Ｐ_ｋ−２）／（Δｔ×Δｔ） ・・・（７）
【００５７】
なお、対象の速度を計算する場合、速度の絶対値と方向を計算し、対象の加速度を計算する場合、加速度の絶対値と方向を計算するようにしてもよいし、速度や加速度の絶対値のみを計算するようにしてもよい。また、式（６），（７）以外の式に基づいて上述の速度や加速度を計算するようにしても勿論よい。
【００５８】
図２は、実施の形態１に係る運動特定装置における演算器２１の構成例を示すブロック図である。演算器２１は、いわゆるコンピュータとして実現される。この演算器２１には、各種のマイクロプロセッサを使用すればよい。
【００５９】
図２において、ＣＰＵ３１は、ＲＯＭ３２やＲＡＭ３３に記憶されたプログラムを実行し、各種処理を行う装置である。また、ＲＯＭ３２は、プログラムやデータを予め書き込まれた不揮発性のメモリである。また、ＲＡＭ３３は、プログラムやデータを一時的に記憶するメモリである。この実施の形態１では、ＲＯＭ３２には、演算器２１が実行すべき処理を記述したプログラムが記憶される。
【００６０】
また、インタフェース３４は、イメージャ１に接続されたインタフェース回路である。インタフェース３５は、座標変換回路２２に接続されたインタフェース回路である。インタフェース３６は、後処理器３に接続されたインタフェース回路である。
【００６１】
次に、上記装置の動作について説明する。図３は、実施の形態１に係る運動特定装置の動作について説明するフローチャートである。
【００６２】
まず、イメージャ１の全画素領域のうちの対象を含む部分領域の初期位置の情報が、手動または従前の画像処理方式によって、座標変換回路２２に入力される（ステップＳ１）。
【００６３】
最初（ｋ＝１）のフレームについては、座標変換回路２２は、入力された情報に基づいて、部分領域を指定する指定情報をイメージャ１の制御回路１２に供給する（ステップＳ２）。その際、座標変換回路２２は、部分領域内の画素を指定するための画素位置情報（Ｘ_１，Ｙ_１）を、転送後の領域における画素（ｘ，ｙ）ごとに順番に制御回路１２に供給する。
【００６４】
そして、イメージャ１の制御回路１２は、順番に、供給された画素位置情報に対応する撮像素子１１の画素から部分領域の画像データＩ（Ｘ_１，Ｙ_１）を出力させる（ステップＳ３）。イメージャ１から出力された画像データＩ（Ｘ_１，Ｙ_１）は、演算器２１に転送され、部分領域に対応する矩形領域の画像データＩ’（ｘ，ｙ）として順番に記憶されていく。
【００６５】
そして、部分領域内の全画素の画像データの転送が完了すると、演算器２１は、その部分領域の画像データＩ（ｘ，ｙ）（ｘ＝１，・・・，ｍ、ｙ＝１，・・・，ｎ）からその部分領域の画像についての画像特徴量ζ_１ を演算し、後処理器３に出力する（ステップＳ４）。後処理器３は、その画像特徴量ζ_１ または時系列に沿った複数の画像特徴量ζ_１ からその部分領域内の対象の運動を特定する（ステップＳ４）。
【００６６】
また、演算器２１は、その部分領域の画像データＩ’（ｘ，ｙ）から、次フレーム用の座標変換パラメータρ_ｋ＋１ （今の場合、ρ_２ ）の値を演算し、座標変換回路２２に供給する（ステップＳ５）。
【００６７】
このようにして、まず最初（ｋ＝１）のフレームについての画像特徴量ζ_ｋ の演算処理および対象の運動の特定処理を行う。
【００６８】
次にステップＳ２に戻り、次フレーム（ｋ＝２）についての処理を開始する。
座標変換回路２２は、演算器２１から供給された座標変換パラメータρ_２ に基づいて部分領域を座標変換し、部分領域内の各画素の、座標変換後の画素位置情報（Ｘ_２，Ｙ_２）を、順番にイメージャの制御回路１２に供給する（ステップＳ２）。
【００６９】
イメージャ１の制御回路１２は、順番に、供給された画素位置情報に対応する撮像素子１１の画素から画像データＩ（Ｘ_２，Ｙ_２）を出力させる（ステップＳ３）。イメージャ１から出力された部分領域の画像データＩ（Ｘ_２，Ｙ_２）は、演算器２１に転送され、演算器２１において画像データＩ’（ｘ，ｙ）として順番に記憶されていく。図４は、実施の形態１に係る運動特定装置における撮像素子１１の全画素領域の画像データ４１からの部分領域の画像データ４１ａの切り出しを説明する図である。図４に示すように、撮像素子１１の全画素領域の画像データ４１のうちの部分領域の画像データ４１ａが、演算器２１に転送され、画像データ４２として記憶される。
【００７０】
そして、部分領域内の全画素の画像データの転送が完了すると、演算器２１は、その部分領域の画像データＩ’（ｘ，ｙ）および本フレーム用の座標変換パラメータρ_２ に基づいてその部分領域の画像についての画像特徴量ζ_２ を演算し、後処理器３に出力する（ステップＳ４）。後処理器３は、その画像特徴量ζ_２または時系列に沿った複数の画像特徴量ζ_２ からその部分領域内の対象の運動を特定する（ステップＳ４）。
【００７１】
その際、後処理器３は、そのフレームの時点の画像特徴量ζ_２ 、または時系列に沿った複数の画像特徴量ζ_１，ζ_２から、対象の位置、速度、加速度などを演算し、それらの値を出力する。
【００７２】
また、演算器２１は、その部分領域の画像データＩ’（ｘ，ｙ）および本フレーム用の座標変換パラメータρ_２ に基づいて、次フレーム用の座標変換パラメータρ_３ の値を演算し、座標変換回路２２に供給する（ステップＳ５）。
【００７３】
その際、演算器２１は、対象のトラッキングのための座標変換処理、および画像データＩ’（ｘ，ｙ）内の対象の画像が同一姿勢になるようにする座標変換処理を行う。
【００７４】
図５は、実施の形態１に係る運動特定装置において実行されるトラッキング処理での２値化処理を説明する図である。実施の形態１に係る運動特定装置におけるトラッキング処理では、座標変換前の部分領域の画像データＩ’（ｘ，ｙ）を、図５に示すように所定の閾値で２値化し、２値化後の画素値（０または１）を重みとして、各画素位置に重み付けをした場合の部分領域の２値化画像の重心位置を演算し、その重心位置の基準位置からの変位に応じて部分領域を変位させる。
【００７５】
また、図６は、実施の形態１に係る運動特定装置において実行される座標変換処理を説明する図である。実施の形態１に係る運動特定装置における姿勢一定のための座標変換処理では、対象の基準画像と本フレームの画像とを比較して、画像データＩ’（ｘ，ｙ）内の対象の画像が同一姿勢になる座標変換を特定する。
【００７６】
そして、上述のトラッキングおよび姿勢一定のための座標変換の両方を満たすアフィン変換などの座標変換パラメータの値を演算する。
【００７７】
以下、同様にして、第３フレーム以降（ｋ＞２）、ステップＳ２からステップＳ５までの処理を繰り返すことで、移動する対象を追跡して時系列に沿った対象の画像が得られ、時系列に沿って後処理器３により対象の運動が特定される。図７は、実施の形態１に係る運動特定装置において実行されるトラッキングの一例を示す図である。すなわち、図７に示すように、時系列に沿って、全画素領域内で部分領域の位置や形状を変更していき、その部分領域の画像特徴量として部分領域の位置を対象の位置として、対象が一定姿勢である状態で検出していき、対象の運動を特定する。
【００７８】
なお、その際、フレーム間の時間間隔は、部分領域の広さ、撮像素子１１から演算器２１へのデータ転送速度、および演算処理部２の演算速度に応じて決定される。部分領域は、全画素領域より少なくて済むため、フレーム間の時間間隔を、全画素領域の画像データを転送する場合に比べ短く設定される。例えば、全画素数が１０２４×１０２４である場合に、部分領域の画素数を６４×６４とすると、転送すべき画像データが２５６分の１となり、その分だけフレーム間の時間間隔を短く（例えば１０００分の１秒以下に）設定することができる。
【００７９】
なお、上記実施の形態１においては、説明の便宜上、部分領域を１つとして説明しているが、（後述の実施の形態２，３のように）複数の対象を含む複数の部分領域について、並行して同様に運動を特定することができる。その場合、各対象についての処理を並列に実行するようにしてもよい。
【００８０】
以上のように、上記実施の形態１によれば、イメージャ１は、所定のサイズの画素領域を有する撮像素子１１と、所定の指定情報により指定された、撮像素子１１の画素領域の一部である部分領域の画像データを出力させる制御回路１２とを有し、演算処理部２は、少なくともイメージャ１から出力されたあるフレームの部分領域の画像データに基づいて、部分領域の画像データの画像特徴量を演算するとともに、運動特定対象が部分領域に含まれるように次フレーム用の指定情報を演算し、後処理器３は、演算処理部２により演算された画像特徴量に基づいて運動特定対象の運動を特定する。
【００８１】
これにより、対象の運動を正確に特定することができる。すなわち、撮像素子１１の全画素から得られる画像データのうちの運動特定対象を含む一部の領域の画像データをイメージャ１から演算処理部２に転送して処理することで、一定のデータ転送速度および処理速度を有する装置において、高レートかつ高解像度で、移動する対象を追尾しつつ撮影することができ、その結果、その対象の運動を正確に特定することができる。
【００８２】
また、対象の移動に合わせて撮像素子１１の画素領域内の部分領域を移動させるようにしたので、電子的フィードバック制御により対象の追尾が行われる。これにより、アクチュエータを機械的に動かす機械式フィードバック制御と比較して、対象の運動に対する応答を非常に速くすることができる。
【００８３】
さらに、上記実施の形態１によれば、演算処理部２が、座標変換後の運動特定対象が部分領域内で一定の姿勢になる座標変換を特定し、画像特徴量の演算の際（または前）に部分領域に対して座標変換を行う。
【００８４】
これにより、対象が部分領域内で一定姿勢で捕捉し続けられるため、部分領域内での対象の位置のゆらぎがなくなり、より正確に対象の運動を特定することができる。
【００８５】
さらに、上記実施の形態１によれば、演算処理部２が、座標変換後の運動特定対象が部分領域内で一定の姿勢になる座標変換を特定し、部分領域の画像データとともにその座標変換に基づいて次フレーム用の指定情報を演算する。これにより、視野内での対象の姿勢変化を考慮して、次フレームでの位置を予測するため、部分領域で対象を捕捉し続けることができる。
【００８６】
さらに、上記実施の形態１によれば、演算処理部２が、あるフレームについての部分領域の画素値の重心位置に基づいて次フレーム用の指定情報を演算する。
これにより、対象の画像データと周辺の画像データとの画素値の違いを利用して対象の移動量を簡単に得ることができる。
【００８７】
さらに、上記実施の形態１によれば、演算処理部２が、運動特定対象の像が部分領域から外れないフレームレートで指定情報を繰り返しイメージャに供給する。これにより、高フレームレートで正確に運動特定対象を追尾することができる。
【００８８】
さらに、上記実施の形態１によれば、後処理器３が、各フレームについての画像特徴量から運動特定対象の位置を特定する。これにより、現実での運動特定対象の位置を正確に特定することができる。
【００８９】
さらに、上記実施の形態１によれば、後処理器３が、複数フレームについての画像特徴量から運動特定対象の速度を特定する。これにより、現実での運動特定対象の速度を正確に特定することができる。
【００９０】
さらに、上記実施の形態１によれば、後処理器３が、複数フレームについての画像特徴量から運動特定対象の加速度を特定する。これにより、現実での運動特定対象の加速度を正確に特定することができる。
【００９１】
実施の形態２．
図８は、本発明の実施の形態２に係る電子楽器の構成を示すブロック図である。実施の形態２に係る電子楽器は、上述の実施の形態１に係る運動特定装置によりバチの運動を特定し、その運動に応じて楽音を出力する電子木琴である。
【００９２】
図８において、楽音出力器５１は、上述の運動特定装置により特定される対象の運動に応じた楽音信号を出力する楽音出力手段として機能する装置である。また、スピーカ５２は、楽音出力器５１に接続され、楽音信号を供給されるとそれに対応する楽音を出力するスピーカである。
【００９３】
なお、図８におけるその他の構成要素については、実施の形態１によるものと同様であるので、その説明を省略する。
【００９４】
次に、上記装置の動作について説明する。
【００９５】
図９は、実施の形態２に係る電子楽器において使用される、木琴を模して描画した絵５３および運動特定の対象となる２つのバチの先端部５４Ｌ，５４Ｒを示す斜視図である。なお、バチの先端部５４Ｌ，５４Ｒの色は、背景を異なる色とされる。
【００９６】
この実施の形態２では、イメージャ１により絵５３およびバチの先端部５４Ｌ，５４Ｒが撮影される。そして、バチの先端部５４Ｌ，５４Ｒの運動が後処理器３により特定され、時系列に沿って、各時点での運動のパラメータ（位置、速度、加速度など）が楽音出力器５１に供給される。なお、イメージャ１および演算処理部２の動作については、実施の形態１の場合と同様である。
【００９７】
そして、楽音出力器５１は、各バチの先端部５４Ｌ，５４Ｒの位置などから、絵５３に描かれた鍵盤が打鍵されたか否か、どの鍵が打たれたかを特定し、打鍵されたと判断した場合には、その鍵に割り当てられた楽音データから楽音信号を再生し、スピーカ５２から出力させる。
【００９８】
なお、おもちゃの木琴のように、正確な音色を必要としない場合には、各バチの先端部５４Ｌ，５４Ｒの位置のみで音色を選択するようにしてもよい。また、実際の木琴と同じような正確な音色を必要とする場合には、各バチの先端部５４Ｌ，５４Ｒの位置の他に、速度および／または加速度を考慮して音色を選択して実際の木琴の楽音により近づくようにしてもよい。
【００９９】
このようにすることで、ユーザが紙などに描かれた木琴の絵５３に対して打鍵することで、スピーカ５２から木琴の楽音が出力される。
【０１００】
以上のように、上記実施の形態２によれば、楽音出力器５１が、運動特定装置により特定された運動特定対象の運動に応じた楽音信号を出力するので、奏者やバチなどの運動を非接触で正確に特定して、奏者による演奏に合った楽音を電子的に得て出力することができる。
【０１０１】
実施の形態３．
図１０は、本発明の実施の形態３に係る入力デバイスの構成を示すブロック図である。実施の形態３に係る入力デバイスは、上述の実施の形態１に係る運動特定装置によりユーザの指の運動を特定し、その運動に対応した処理を行い、その処理結果をディスプレイに表示するものである。この実施の形態３に係る入力デバイスは、パーソナルコンピュータ、ゲーム機器、測定機器などといった電子情報機器用の入力デバイスである。
【０１０２】
図１０において、信号出力器７１は、運動特定装置により特定された運動特定対象の運動に応じて、所定の既存入力デバイス（マウス、タブレットなど）の信号形式に従った信号を出力する信号出力手段として機能する回路または装置である。なお、信号出力器７１を設ける代わりに、運動特定装置をコンピュータ７２に直接接続し、信号出力器７１と同様の機能を有するプログラム（例えばデバイスドライバ）をコンピュータ７２で実行するようにしてもよい。
【０１０３】
また、コンピュータ７２は、各種アプリケーションプログラムを実行可能なパーソナルコンピュータといった装置である。ディスプレイ７３は、コンピュータ７２に接続され、各種画像を表示する装置である。
【０１０４】
なお、図１０におけるその他の構成要素については、実施の形態１によるものと同様であるので、その説明を省略する。
【０１０５】
図１１は、実施の形態３に係る入力デバイスにおいて使用される、ユーザに着用されたグローブ８１を示す図である。図１１に示すグローブ８１において、人差し指の先端部８２−１、薬指の先端部８２−２、および小指の先端部８２−３の色は、他の部分や背景とは異なる色とされる。
【０１０６】
次に、上記装置の動作について説明する。
【０１０７】
この実施の形態３では、イメージャ１によりユーザの手に嵌められたグローブ８１が撮影される。そして、３つの指の先端部８２−１〜８２−３の運動が後処理器３により特定され、時系列に沿って、各時点での各指の運動のパラメータが信号出力器７１に供給される。なお、イメージャ１および演算処理部２の動作については、実施の形態１の場合と同様である。
【０１０８】
そして、信号出力器７１は、その３つの指の運動が所定の運動である場合に、既存の入力デバイス（マウス、タブレットなど）に対して所定の操作を行った場合に出力される信号を出力する。コンピュータ７２は、その信号を受信し、既存の入力デバイスからの信号と同様に処理し、その信号に応じた処理を行う。
【０１０９】
以上のように、上記実施の形態３によれば、信号出力器７１が、運動特定装置により特定された運動特定対象の運動に応じた信号を出力するので、ユーザの身体の運動を非接触で正確に特定して、ユーザの入力操作（入力動作）に合った信号を出力することができる。
【０１１０】
実施の形態４．
本発明の実施の形態４に係るゲーム装置は、実施の形態３に係る入力デバイスを使用したゲーム装置である。
【０１１１】
実施の形態３に係る入力デバイスを使用し、かつユーザがグローブを装着することで、例えばじゃんけんゲームを実施することができる。その場合、実施の形態４に係るゲーム装置により、先端部の動きから、ユーザがグー、チョキおよびパーのいずれを出したかを判別し、ユーザが出したものとゲーム装置側で選択したグー、チョキおよびパーのいずれかとの間で勝敗を判定し、勝敗の表示を、ゲーム装置側の選択したもののコンピュータグラフィクス表示とともに行う。
【０１１２】
その他、実施の形態３に係る入力デバイスを使用し、かつユーザがモーションキャプチャ用のマーカーを手首、肘、膝、足首などの必要に応じた身体の各部を装着することで、モーションキャプチャシステムを構築することができる。その場合にも、例えば、マーカーの位置の他にマーカーの速度や加速度を計算することで、それらの物理量に基づいてユーザの運動がより正確に特定される。さらに、そのシステムを応用して、例えばギターシミュレーション、ドラムシミュレーション、ダンスシミュレーションなどといった擬似体験型シミュレーションゲームを実施することができる。その場合、実施の形態４に係るゲーム装置により、装着されたマーカーの動きから、ユーザの動きを特定し、ユーザの動きに合わせてゲームを進行させていく。なお、このモーションキャプチャシステムは、ゲーム装置以外の用途にも勿論使用することができる。
【０１１３】
以上のように、上記実施の形態４によれば、実施の形態３に係る入力デバイスを使用することで、ユーザに装着された対象の運動が正確に特定されるため、ゲーム中にユーザが激しい動きをしても正確にゲームを進行させることができる。
【０１１４】
実施の形態５．
本発明の実施の形態５に係るコンピュータシステムは、入力デバイスとして実施の形態３に係る入力デバイスを使用したものである。
【０１１５】
すなわち、コンピュータ７２が、実施の形態３に係る入力デバイスにより、所定の入力動作に対応して入力された信号に応じてフォルダやファイルの選択、プログラムの起動、プログラム実行中の各種指令の入力などを行う。
【０１１６】
実施の形態６．
本発明の実施の形態６に係る運動特定装置は、実施の形態１〜５のいずれかに係る運動特定装置に、後処理器３により特定された運動特定対象の運動に基づいて、運動特定対象の動きを予測する予測装置を追加したものである。
【０１１７】
図１２は、本発明の実施の形態６に係る運動特定装置の構成を示すブロック図である。図１２において、予測装置９１は、後処理器３により特定された運動特定対象の運動に基づいて、運動特定対象の動きを予測する予測手段として機能する装置である。この予測装置９１は、演算回路やコンピュータにより実現される。
【０１１８】
また、反応装置９２は、予測装置９１により予測された運動特定対象の動きに応じて、運動特定対象に対応した所定の処理または動作を行う反応手段として機能する装置である。反応装置９２は、運動特定対象に対して直接関与する機械的な装置や、予測結果に応じた音や表示で報知を行う装置などとされる。
【０１１９】
なお、図１２におけるその他の構成要素については実施の形態１のものと同様であるので、その説明を省略する。
【０１２０】
次に、上記装置の動作について説明する。
【０１２１】
予測装置９１は、後処理器３から得られる現在の位置並びに速度および／または加速度からある時間後の対象の位置や速度を予測したり、現在および過去の位置、速度、加速度などの履歴に基づいてある時間後の対象の位置や速度を予測し、その予測結果を出力する。
【０１２２】
そして、その出力先の一例である反応装置９２は、予測装置９１による予測結果に基づいて、機械的な動作や電気的な処理を行う。例えば、対象である落下物を機械的に受け止めたり、ある物体を駆動して、対象である飛行物体に接触させたりする。
【０１２３】
以上のように、上記実施の形態６によれば、現在および過去の運動が正確に特定されるため、予測装置９１により運動特定対象の動きの予測を正確に行うことができる。
【０１２４】
また、上記実施の形態６によれば、運動特定対象の動きの正確な予測に応じて処理や動作を行うため、反応装置９２により、対象の動きを非接触で認知しその対象に対して何らかの行為を行う場合に、正確にその行為を行うことができる。
【０１２５】
なお、上述の各実施の形態は、本発明の好適な例であるが、本発明は、これらに限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。
【０１２６】
例えば、本発明を適用した電子楽器としては上述の木琴のほか、ギター、ピアノなどの他の電子楽器も同様にして実現可能である。また、それらの複数の楽器を１台の装置で実現し、ユーザが選択した楽器を模擬してその楽器の楽音を出力するようにしてもよい。そのようにすると１台の装置で複数の楽器を簡単に楽しむことができる。
【０１２７】
その他、本発明の運動特定装置は、上述の電子楽器および入力デバイスの他にも、工場での製造工程において、材料、部品、製品などを撮影し、その位置などを運動特定装置で測定し、その測定結果に応じて各種ロボットを制御して、部品の取り付けや組み立てを行うようにしたり、また、製造工程を監視して事故や不具合を予測し報知したりすることも可能である。
【０１２８】
また、本発明の入力デバイスにより、パーソナルコンピュータなどに使用されるキーボードを擬似的に実現することも可能である。その場合、例えばキーボードを模した紙などをユーザが打鍵することで、文字が入力される。
【０１２９】
また、本発明を交通関連システムに適用して、車両や歩行者などを撮影し、その位置などを運動特定装置で測定し、その測定結果に応じて、交通の係る情報（渋滞情報、事故情報など）を警察へ送信したり、信号機や道路標識の表示を制御することも可能である。
【０１３０】
また、対象の運動を正確に特定できるため、陸上競技、競馬、競輪、競艇、オートレースなどの写真判定などにも本発明を応用することができる。その場合には、例えば、各競技者を対象としてトラッキングしていき、競技者の画像がゴールラインに到達した順番を特定する。
【０１３１】
また、イメージャ１および演算処理部２には、プロセッサ内蔵型のカメラヘッドを使用することができる。そのようなカメラヘッドには、ＦａｓｔＣｏｍ社製のｉＭＶＳ−１５５などがある。ｉＭＶＳ−１５５は、１０２４×１０２４画素の白黒の撮像素子を有し、その撮像素子に対して毎秒２．５メガ画素にランダムアクセスが可能である。また、外部インタフェースとしてＲＳ２３２Ｃのインタフェース回路を有する。
【０１３２】
【発明の効果】
本発明によれば、対象の運動を正確に特定することができる運動特定装置、並びに、その運動に対応した処理や動作を正確に行うができる電子楽器および入力デバイスを得ることができる。
【図面の簡単な説明】
【図１】図１は、本発明の実施の形態１に係る運動特定装置の構成を示すブロック図である。
【図２】図２は、実施の形態１に係る運動特定装置における演算器２１の構成例を示すブロック図である。
【図３】図３は、実施の形態１に係る運動特定装置の動作について説明するフローチャートである。
【図４】図４は、実施の形態１に係る運動特定装置における撮像素子の全画素領域の画像データからの部分領域の画像データの切り出しを説明する図である。
【図５】図５は、実施の形態１に係る運動特定装置において実行されるトラッキング処理での２値化処理を説明する図である。
【図６】図６は、実施の形態１に係る運動特定装置において実行される座標変換処理を説明する図である。
【図７】図７は、実施の形態１に係る運動特定装置において実行されるトラッキングの一例を示す図である。
【図８】図８は、本発明の実施の形態２に係る電子楽器の構成を示すブロック図である。
【図９】図９は、実施の形態２に係る電子楽器において使用される、木琴を模して描画した絵および運動特定の対象となる２つのバチの先端部を示す斜視図である。
【図１０】図１０は、本発明の実施の形態３に係る入力デバイスの構成を示すブロック図である。
【図１１】図１１は、実施の形態３に係る入力デバイスにおいて使用される、ユーザに着用されたグローブを示す図である。
【図１２】図１２は、本発明の実施の形態６に係る運動特定装置の構成を示すブロック図である。
【符号の説明】
１ イメージャ
２ 演算処理部（演算手段）
３ 後処理部（運動特定手段）
１１ 撮像素子
１２ 制御回路
５１ 楽音出力器（楽音出力手段）
７１ 信号出力器（信号出力手段）
９１ 予測装置（予測手段）
９２ 反応装置（反応手段）

Claims (12)

1. 所定のサイズの画素領域を有する撮像素子と、所定の指定情報により指定された上記撮像素子の画素領域の一部である部分領域の画像データを出力させる制御回路とを有するイメージャと、
   少なくとも上記イメージャから出力されたあるフレームの上記部分領域の画像データに基づいて、上記部分領域の画像データの画像特徴量を演算するとともに、運動特定対象が上記部分領域に含まれるように次フレーム用の上記指定情報を演算する演算手段と、
   上記演算手段により演算された上記画像特徴量に基づいて上記運動特定対象の運動を特定する運動特定手段と、
   を備えることを特徴とする運動特定装置。
2. 前記演算手段は、座標変換後の前記運動特定対象が前記部分領域内で一定の姿勢になる座標変換を特定し、前記画像特徴量の演算の際または前に前記部分領域に対して上記座標変換を行うことを特徴とする請求項１記載の運動特定装置。
3. 前記演算手段は、座標変換後の前記運動特定対象が前記部分領域内で一定の姿勢になる座標変換を特定し、前記部分領域の画像データとともに上記座標変換に基づいて次フレーム用の前記指定情報を演算することを特徴とする請求項１または請求項２記載の運動特定装置。
4. 前記演算手段は、あるフレームについての前記部分領域の画素値の重心位置に基づいて次フレーム用の前記指定情報を演算することを特徴とする請求項１から請求項３のうちのいずれか１項記載の運動特定装置。
5. 前記演算手段は、前記運動特定対象の像が前記部分領域から外れないフレームレートで前記指定情報を繰り返し前記イメージャに供給することを特徴とする請求項１から請求項４のうちのいずれか１項記載の運動特定装置。
6. 前記運動特定手段は、各フレームについての前記画像特徴量から前記運動特定対象の位置を特定することを特徴とする請求項１から請求項５のうちのいずれか１項記載の運動特定装置。
7. 前記運動特定手段は、複数フレームについての前記画像特徴量から前記運動特定対象の速度を特定することを特徴とする請求項１から請求項６のうちのいずれか１項記載の運動特定装置。
8. 前記運動特定手段は、複数フレームについての前記画像特徴量から前記運動特定対象の加速度を特定することを特徴とする請求項１から請求項７のうちのいずれか１項記載の運動特定装置。
9. 前記運動特定手段により特定された前記運動特定対象の運動に基づいて、前記運動特定対象の動きを予測する予測手段を備えることを特徴とする請求項１から請求項８のうちのいずれか１項記載の運動特定装置。
10. 前記予測手段により予測された前記運動特定対象の動きに応じて、前記運動特定対象に対応した所定の処理または動作を行う反応手段を備えることを特徴とする請求項９記載の運動特定装置。
11. 請求項１から請求項１０のうちのいずれか１項記載の運動特定装置と、
    前記運動特定装置により特定された運動特定対象の運動に応じた楽音信号を出力する楽音出力手段と、
    を備えることを特徴とする電子楽器。
12. 請求項１から請求項１０のうちのいずれか１項記載の運動特定装置と、
    前記運動特定装置により特定された運動特定対象の運動に応じた信号を出力する信号出力手段と、
    を備えることを特徴とする入力デバイス。

Images