JP2005071208A - 処理情報入力装置、処理情報入力方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】利用者の動きでコンピュータ上の処理情報を入力できる。
【解決手段】利用者の動きを撮影した画像を入力する画像入力部と、画像入力部で入力した画像を登録、及びそれに対応するコンピュータ上での処理内容を登録する動き登録部と、動き登録部に登録した画像から利用者の動きパターン画像を生成し、この動きパターン画像を動き登録部に登録しておく動き検出部と、画像入力部から入力された利用者の動きパターン画像と動き登録部に登録された動きパターン画像との照合に基づき、利用者の動きを識別する動き識別部と、動き識別部の識別結果に基づき、動き登録部にて登録された処理内容をコンピュータに実行させる動き処理部とを備え、コンピュータに対する処理情報入力を利用者の直感的な動きで行えるようにする。
【選択図】 図１

Description

本発明は、コンピュータ利用者の動きから、コンピュータ上の処理情報を入力するための処理情報入力装置および方法に関する。

ユビキタス（時空自在）という言葉が一般に利用されているように、日常生活のさまざまな場面においてコンピュータが利用できる環境が整いつつある。このようなコンピュータが遍在し利用者の実世界の作業を支援するような環境では、コンピュータをコンピュータとして意識せずに自然で直感的に利用できるインタフェースが求められている。これらの問題を鑑み、画像情報を利用して利用者の動きを認識する技術が提案されている。

この種の従来技術としては、オプティカルフローによる方法が知られている（例えば、特許文献１参照）。この方法は、画像中の物体の移動による映像の変化を光学的な流れとしてみなして分析し、物体の動きを認識する手法である。

また、他の従来技術としては、人物の動きにより周辺の流体に拡散現象が生じるものとし、その状況をセル状に離散化したモデルで解析し、動きを認識する方法がある（例えば、特許文献２参照）。

しかし、特許文献１では、オプティカルフローに着目しているので、オプティカルフローが精度良く検出できない場合の処理が困難であった。

また、セル状拡散モデルを利用して動きを認識する方法は、拡散モデルの濃度値の分布をある軸方向へ投影したものを特徴量として利用しており、局所的に動きが異なるといった場合についての考慮がなされていない。
特開平１０−３３４２７０号公報 特開２００２−８０４２号公報

本発明は、前記の課題を解決ため、コンピュータに対する情報入力のための新たな装置、特に、利用者の動きでコンピュータ上の処理情報を入力できる処理情報入力装置、処理情報入力方法、この方法のプログラム、およびこのプログラムを記録した記録媒体を提供することを目的とする。

本発明は、前記の課題を解決するため、利用者の動きを撮影した画像を入力する画像入力部（過程）と、前記画像入力部（過程）で入力した画像を登録、及びそれに対応するコンピュータ上での処理内容を登録する動き登録部（過程）と、前記動き登録部（過程）に登録した画像から利用者の動きパターン画像を生成し、この動きパターン画像を前記動き登録部（過程）に登録しておく動き検出部（過程）と、前記画像入力部（過程）から入力された利用者の動きパターン画像と前記動き登録部（過程）に登録された動きパターン画像との照合に基づき、利用者の動きを識別する動き識別部（過程）と、前記動き識別部（過程）の識別結果に基づき、前記動き登録部（過程）にて登録された処理内容をコンピュータに実行させる動き処理部（過程）とを備え、コンピュータに対する処理情報入力を利用者の直感的な動きで行えるようにする。

また、前記動き登録部（過程）は、利用者の動きに対応するコンピュータ上での処理内容を入力する手段（ステップ）と、動き開始、終了指示とともに実施された動きを撮影した画像を前記画像入力部（過程）から入力する手段（ステップ）と、該入力された画像群から、動き構成フレーム数を算出する手段（ステップ）と、前記動き検出部（過程）において生成された動きパターン画像を登録する手段（ステップ）と、該動きパターン画像、動き構成フレーム数、及びコンピュータ上での処理内容を格納する手段（ステップ）とを有し、さらに複数の動き速度の異なる同じ動きを、動き構成フレーム数の違いにより登録することで、複数の動き速度の異なる同じ動きを、動き構成フレーム数の違いにより登録および識別できるようにする。

また、前記動き検出部（過程）は、登録されている動き構成フレーム数を取得する手段（ステップ）と、該構成フレーム数の画像を前記動き登録部（過程）から読み出す手段（ステップ）と、各画素についてフレーム間での画素値の差を算出する手段（ステップ）と、該画素値の差がしきい値を越える場合に、その画素値にフレーム番号を割り当てる手段（ステップ）と、フレーム番号が割り当てられた画素が存在する領域を抽出する手段（ステップ）と、該領域内の各画素に対して、最小のフレーム番号の値をその画素の画素値として、該領域サイズの動きパターン画像を生成する手段（ステップ）とを有することで、最大となる動き構成フレーム数に対して、画素値にフレーム番号を割り当てる処理までを行い、それに対して、該当する各動き構成フレーム数での処理ができるようにする。

また、前記動き検出部（過程）は、最大となる動き構成フレーム数に対して、画素値にフレーム番号を割り当てる処理までを行い、それに対して、該当する各動き構成フレーム数での処理を行うことを特徴とする。

また、前記動き識別部（過程）は、前記動き登録部（過程）に登録されている動きパターン画像を取得する手段（ステップ）と、前記動き検出部（過程）にて生成された動きパターン画像、及び動き構成フレーム数を入力する手段（ステップ）と、前記動き登録部（過程）に登録されている動きパターン画像から該動き構成フレーム数を有する動きパターン画像を選択する手段（ステップ）と、これらの画像群に対して、入力された動きパターン画像の画像サイズを補正し、相関値を算出する手段（ステップ）と、該相関値がしきい値を越える場合に、それに対応する登録されている動きパターン画像が照合したと判断する手段（ステップ）とを有することを特徴とする。

また、本発明のプログラムは、前記処理情報入力方法における処理過程を、コンピュータで実行可能に構成したことを特徴とする。

また、本発明の記録媒体は、前記処理情報入力方法における処理過程を、コンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。

以上説明したように、本発明によれば、利用者の動きにより、コンピュータ上での処理を実行することができ、動きによる直感的な入力を支援することができる。

以下、本発明の実施形態について図面を参照しながら詳細に説明する。

図１は、本実施形態による情報入力装置の機能ブロック図を示す。図１に示すように、情報入力装置は、画像入力部１、動き登録部２、動き検出部３、動き識別部４、動き処理部５から構成されている。

画像入力部１は、利用者の動きを撮影した画像を入力し、図示省略するメモリに格納する。この画像入力は、ＣＣＤを撮像素子として用いたカメラ６などを利用することができる。

また、動き処理部５は、動き識別部４の識別結果に基づき、動き登録部２に登録された処理内容をコンピュータに実行させる。この処理内容は、コンピュータの操作に関することであれば、特に制限されるものではなく、情報を入力したり、表示させたり、といった、通常、入力デバイスを利用して実施している処理を実行させることができる。

図２、図３、及び図４は、図１の動き登録部２、動き検出部３、動き識別部４の各部の処理を示すフローチャートである。以下、この流れにしたがって詳細に説明する。

動き登録部２では、動きを撮影した画像、及びそれに対応するコンピュータ上での処理内容を登録することが行われる。この処理は図２に示す手順で以下のように行われる。

［ステップ１］動きに対応するコンピュータ上での処理内容を入力する。

［ステップ２］動き開始、終了指示とともに実施された動きを撮影した画像を画像入力部から入力する。

［ステップ３］入力された画像群から、動き構成フレーム数を算出する。

［ステップ４］入力された画像群から動き検出部で生成された動きパターン画像を取得する。

［ステップ５］動きパターン画像、動き構成フレーム数、及び対応する処理内容を格納する。

このとき、同じ動きについても、動き速度の異なる複数のバリエーションを、動き構成フレーム数の違いにより登録するとしてもよい。

動き検出部３では、入力された画像群から動きパターン画像を生成する。この処理は図３に示す手順で以下のように行われる。

［ステップ１１］登録されている動き構成フレーム数を取得する。

［ステップ１２］取得したフレーム数の画像をメモリから読み出す。

［ステップ１３］各画像の画素についてフレーム間での画素値の差を算出する。

［ステップ１４］画素値の差がしきい値を越える場合に、その画素値にフレーム番号を割り当てる。

［ステップ１５］フレーム番号が割り当てられた画素が存在している領域を抽出する。

［ステップ１６］抽出した領域内の各画素に対して、最小のフレーム番号の値をその画素の画素値として、その領域と同じサイズの動きパターン画像を生成する。

このとき、［ステップ１１］で取得した動き構成フレーム数が複数となる場合、最大となる動き構成フレーム数に対して、［ステップ１４］までを行い、それに対して、以降の［ステップ１５］と［ステップ１６］を、該当する各動き構成フレーム数で行うとしてもよい。

また、領域を抽出する処理は、通常の画像処理で利用される領域分割処理と同じであり、これらの手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。

また、ステップ１４で利用するしきい値は、あらかじめ決めておくか、平均値、度数、偏差値などといった統計的に算出される値を利用して動的に算出してもよく、これらの値の算出手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。

動き識別部４では、画像入力部１から得る利用者の動きパターン画像と、動き登録部２に登録されている動きパターン画像との照合に基づき、利用者の動きを認識する。この処理は図４に示す手順で以下のように行われる。

［ステップ２１］登録されている動きパターン画像を取得する。

［ステップ２２］動き検出部３で生成された動きパターン画像、及び動き構成フレーム数を入力する。

［ステップ２３］登録されている動きパターン画像から、入力された動き構成フレーム数を有する動きパターン画像を選択する。

［ステップ２４］これらの画像群に対して、入力された動きパターン画像の画像サイズを補正し、相関値を算出する。

［ステップ２５］相関値がしきい値を越える場合に、それに対応する登録されている動きパターン画像に照合が得られたと判断する。

ここで、相関値の算出は、通常の画像処理で利用される、例えば、以下の式で示される正規化相互相関値を利用するとしてよい。基準画像Ｔ（ｘ，ｙ）、入力画像Ｉ（ｘ，ｙ）とすると、相関値Ｒ（ｘ，ｙ）は、

で表される。

以下では、これまで説明してきた利用者の動き情報入力装置において、コンピュータに対する情報入力を直感的な動きで行う際の具体的な手順を説明する。

動き登録部２において、ある動き（ここでは利用者が手を左から右へ振る）を登録し、この利用者の動きをコンピュータ上ではメールの受信という処理を対応させていたとする。このとき、この利用者の動きは図５に示すように、全６フレームの画像５０１〜５０６から構成されたとする。図中のＴは時刻である。

これら画像群から、動き検出部３において動きパターン画像を生成する。各画素について、フレーム間での画素値の差がしきい値を越える場合に、フレーム番号が割り当てられる。図５に示す画像に対して、各フレーム間での画素値の差を算出すると、図６に示す画像６０３〜６０５での画素がしきい値を越えることになる。これらの画素に対し、図７の７０３〜７０５には図示のようなフレーム番号が割り当てられる。

これに対して、フレーム番号が割り当てられた画素が存在している領域を抽出すると、図８の８０１に示すような動き領域となる。この領域内の各画素に対して、最小のフレーム番号を画素値として、図８の８０２に示すような動きパターン画像が生成される。この動きパターン画像においては、各画素の画素値は、その画素の位置で動きが検出された最初のフレーム数（時刻）を表している。したがって、画素値によって利用者の動きを辿ることができる。

こうして、検出および登録された動きパターン画像に対し、入力された動きがどれに対応するかを認識することにより、それに対応する処理が実行されることになる。ここでは、動き構成フレーム数が６であることから、６フレームの画像群が逐次入力され、動き識別部４による動き識別処理が行われる。例えば、ある瞬間に、図９に示す全６フレームの画像群が入力されたとする。これに対し、図に示すようなフレーム番号９０１〜９０６が割り当てられ、図１０に示すようにしきい値を越えた画素が抽出され、これらの画素が図１１の１１０１に示す動き領域が抽出され、１１０２に示す動きパターン画像が生成される。この１１０２と図８の８０２の動きパターン画像との相関値が算出され、各画素値を見て分かるように、これらの画像の相関は高くなく、この動きが識別されないことになる。

続いて、ある瞬間に、図１２に示す全６フレームの画像群が入力されたとする。これに対し、図１３に示すようなフレーム番号が割り当てられ、図１４の１４０１に示す動き領域が抽出され、１４０２に示す動きパターン画像が生成される。この１４０２と図８の８０２との相関値が算出され、この相関は非常に高いことから、同じ動きであると識別される。こうして識別された動きに対応する処理、ここでは、図１ではパソコン（ＰＣ）７によりメールの受信が実行されることになる。

また、例えば画像の右下から左上へ手を上げた場合には、図１５に示すような全６フレームの画像群が入力されることになり、図１６に示す過程を経て、図７の１７０１に示す動き領域が抽出され、１７０２に示す動きパターン画像が生成される。

このように、いろいろな動き、あるいは、動き速度をかえたものを複数登録しておき、それぞれに対応する処理を実行させることにより、動きによる直感的な入力を支援することができる。

更には、これらの動きを複数組み合わせた場合も考えられる。例えば、図１８には、右手（上側）を左から右へ、左手（下側）を右から左へ振った場合を示している。この場合、図１９に示す過程を経て、図２０の２００１に示す動き領域が抽出され、２００２に示す動きパターン画像が生成される。このように、従来技術では難しかった、局所的に異なる動きを行った場合も、良好に動きを識別することができる。

以上、本発明を実施形態例に基づき具体的に説明したが、木発明は上述の実施形態に限定されるものではなく、幅広く応用することができる。

また、本発明は、図１に示した装置の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいは図２〜図４で示した処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。

本発明に係る利用者の動き情報入力装置の機能ブロック図。 本発明に係る各部の動きを示す処理フロー。 本発明に係る各部の動きを示す処理フロー。 本発明に係る各部の動きを示す処理フロー。 本発明に係る処理の一例を説明するための図。 本発明に係る処理の一例を説明するための図。 本発明に係る処理の一例を説明するための図。 本発明に係る処理の一例を説明するための図。 本発明に係る処理の一例を説明するための図。 本発明に係る処理の一例を説明するための図。 本発明に係る処理の一例を説明するための図。 本発明に係る処理の一例を説明するための図。 本発明に係る処理の一例を説明するための図。 本発明に係る処理の一例を説明するための図。 本発明に係る処理の一例を説明するための図。 本発明に係る処理の一例を説明するための図。 本発明に係る処理の一例を説明するための図。 本発明に係る処理の一例を説明するための図。 本発明に係る処理の一例を説明するための図。 本発明に係る処理の一例を説明するための図。

符号の説明

１ 画像入力部
２ 動き登録部
３ 動き検出部
４ 動き識別部
５ 動き処理部
６ カメラ
７ パソコン（ＰＣ）

Claims (14)

1. コンピュータ利用者の動きから、コンピュータ上の処理情報を入力するための処理情報入力装置であって、
   利用者の動きを撮影した画像を入力する画像入力部と、
   前記画像入力部で入力した画像を登録、及びそれに対応するコンピュータ上での処理内容を登録する動き登録部と、
   前記動き登録部に登録した画像から利用者の動きパターン画像を生成し、この動きパターン画像を前記動き登録部に登録しておく動き検出部と、
   前記画像入力部から入力された利用者の動きパターン画像と前記動き登録部に登録された動きパターン画像との照合に基づき、利用者の動きを識別する動き識別部と、
   前記動き識別部の識別結果に基づき、前記動き登録部にて登録された処理内容をコンピュータに実行させる動き処理部と、
   を備えたことを特徴とする処理情報入力装置。
2. 請求項１において、前記動き登録部は、
   利用者の動きに対応するコンピュータ上での処理内容を入力する手段と、
   動き開始、終了指示とともに実施された動きを撮影した画像を前記画像入力部から入力する手段と、
   該入力された画像群から、動き構成フレーム数を算出する手段と、
   前記動き検出部において生成された動きパターン画像を登録する手段と、
   該動きパターン画像、動き構成フレーム数、及びコンピュータ上での処理内容を格納する手段と、
   を有することを特徴とする処理情報入力装置。
3. 請求項１または２において、前記動き登録部は、複数の動き速度の異なる同じ動きを、動き構成フレーム数の違いにより登録することを特徴とする処理情報入力装置。
4. 請求項１乃至３のいずれかにおいて、前記動き検出部は、
   登録されている動き構成フレーム数を取得する手段と、
   該構成フレーム数の画像を前記動き登録部から読み出す手段と、
   各画素についてフレーム間での画素値の差を算出する手段と、
   該画素値の差がしきい値を越える場合に、その画素値にフレーム番号を割り当てる手段と、
   フレーム番号が割り当てられた画素が存在する領域を抽出する手段と、
   該領域内の各画素に対して、最小のフレーム番号の値をその画素の画素値として、該領域サイズの動きパターン画像を生成する手段と、
   を有することを特徴とする処理情報入力装置。
5. 請求項１乃至４のいずれかにおいて、前記動き検出部は、最大となる動き構成フレーム数に対して、画素値にフレーム番号を割り当てる処理までを行い、それに対して、該当する各動き構成フレーム数での処理を行うことを特徴とする処理情報入力装置。
6. 請求項１乃至５のいずれかにおいて、前記動き識別部は、
   前記動き登録部に登録されている動きパターン画像を取得する手段と、
   前記動き検出部にて生成された動きパターン画像、及び動き構成フレーム数を入力する手段と、
   前記動き登録部に登録されている動きパターン画像から該動き構成フレーム数を有する動きパターン画像を選択する手段と、
   これらの画像群に対して、入力された動きパターン画像の画像サイズを補正し、相関値を算出する手段と、
   該相関値がしきい値を越える場合に、それに対応する登録されている動きパターン画像が照合したと判断する手段と、
   を有することを特徴とする処理情報入力装置。
7. コンピュータ利用者の動きから、コンピュータ上の処理情報を入力するための処理情報入力方法であって、
   利用者の動きを撮影した画像を入力する画像入力過程と、
   前記画像入力過程で入力した画像を登録、及びそれに対応するコンピュータ上での処理内容を登録する動き登録過程と、
   前記動き登録過程に登録した画像から利用者の動きパターン画像を生成し、この動きパターン画像を前記動き登録過程に登録しておく動き検出過程と、
   前記画像入力過程から入力された利用者の動きパターン画像と前記動き登録過程に登録された動きパターン画像との照合に基づき、利用者の動きを識別する動き識別過程と、
   前記動き識別過程の識別結果に基づき、前記動き登録過程にて登録された処理内容をコンピュータに実行させる動き処理過程と、
   を備えたことを特徴とする処理情報入力方法。
8. 請求項７において、前記動き登録過程は、
   利用者の動きに対応するコンピュータ上での処理内容を入力するステップと、
   動き開始、終了指示とともに実施された動きを撮影した画像を前記画像入力過程から入力するステップと、
   該入力された画像群から、動き構成フレーム数を算出するステップと、
   前記動き検出過程において生成された動きパターン画像を登録するステップと、
   該動きパターン画像、動き構成フレーム数、及びコンピュータ上での処理内容を格納するステップと、
   を有することを特徴とする処理情報入力方法。
9. 請求項７または８において、前記動き登録過程は、複数の動き速度の異なる同じ動きを、動き構成フレーム数の違いにより登録することを特徴とする処理情報入力方法。
10. 請求項７乃至９のいずれかにおいて、前記動き検出過程は、
    登録されている動き構成フレーム数を取得するステップと、
    該構成フレーム数の画像を前記動き登録過程から読み出すステップと、
    各画素についてフレーム間での画素値の差を算出するステップと、
    該画素値の差がしきい値を越える場合に、その画素値にフレーム番号を割り当てるステップと、
    フレーム番号が割り当てられた画素が存在する領域を抽出するステップと、
    該領域内の各画素に対して、最小のフレーム番号の値をその画素の画素値として、該領域サイズの動きパターン画像を生成するステップと、
    を有することを特徴とする処理情報入力方法。
11. 請求項７乃至１０のいずれかにおいて、前記動き検出過程は、最大となる動き構成フレーム数に対して、画素値にフレーム番号を割り当てる処理までを行い、それに対して、該当する各動き構成フレーム数での処理を行うことを特徴とする処理情報入力方法。
12. 請求項７乃至１１のいずれかにおいて、前記動き識別過程は、
    前記動き登録過程に登録されている動きパターン画像を取得するステップと、
    前記動き検出過程にて生成された動きパターン画像、及び動き構成フレーム数を入力するステップと、
    前記動き登録過程に登録されている動きパターン画像から該動き構成フレーム数を有する動きパターン画像を選択するステップと、
    これらの画像群に対して、入力された動きパターン画像の画像サイズを補正し、相関値を算出するステップと、
    該相関値がしきい値を越える場合に、それに対応する登録されている動きパターン画像が照合したと判断するステップと、
    を有することを特徴とする処理情報入力方法。
13. 前記請求項７乃至１２の処理情報入力方法における処理過程を、コンピュータで実行可能に構成したことを特徴とするプログラム。
14. 前記請求項７乃至１２の処理情報入力方法における処理過程を、コンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする記録媒体。

Images