JP2010204730A - ジェスチャーに応答して機器を制御するシステム - Google Patents

Abstract

【課題】同一のジェスチャーで異なる制御を可能とする技術の利便性を高める。
【解決手段】機器を制御するシステムが、ジェスチャーを認識するジェスチャー認識手段と、認識されたジェスチャーの背景対象の属性を認識する属性認識手段と、認識されたジェスチャーとその背景対象属性との組合せに基づく制御命令を生成して機器に発信する命令発信手段とを備える。
【選択図】図１

Description

本発明は、ジェスチャーに応答した機器の制御に関する。

人間にとって自然で直感的な方法で機器を制御するために、ジェスチャーで機器を制御する技術がいくつか提案されている。しかしながら、同一のジェスチャーで異なる制御をしようとする場合（例えば、同一の機器に異なる制御をしようとしたり、異なる複数の機器を制御しようとしたりする場合）、以下のような課題がある。
・機能毎にジェスチャーが必要になるケースがある。機能によっては、対応しそうなジェスチャーの類推が難しいものもある（例えば、「電源を入れる」という機能）。機能毎に全てのジェスチャーを記憶して正しく制御することは、人間にとって容易ではない。
・制御又は機器を選択させなければならないケースがある。このケースでは、いったん制御又は機器の候補を提示する何らかの方法が必要になり、その上でさらに選択のためのジェスチャーを実行するなど、本来直感的なはずのジェスチャーが、面倒で効率の悪い方法となってしまう。

これらの課題は、何らかの方法で特定のジェスチャーに異なる意味を付与することで、一部解決が可能であると考えられる。

その一つの方法としては、例えば特許文献１のように、音声を併用する方法がある。つまり、ジェスチャーを認識した時点での音声や、音声認識による言語情報を利用する方法がある。

特開平１０−３１５５１号公報

しかし、音声には、雑音や個人差による誤認識の問題が無視できないほか、制御又は機器と複数種類の言葉との対応関係を人間が記憶しなければならず、人間にとっての不便を本質的には解消できていない。

そこで、本発明の目的は、同一のジェスチャーで異なる制御を可能とする技術の利便性を高めることにある。

機器を制御するシステムが、ジェスチャーを認識するジェスチャー認識手段と、認識されたジェスチャーの背景対象の属性を認識する属性認識手段と、認識されたジェスチャーとその背景対象属性との組合せに基づく制御命令を生成して機器に発信する命令発信手段とを備える。

なお、ジェスチャーは、人間の体のみを動かすことに限らず、何らかの物（例えば指し棒）を持って行われても良い。

また、背景対象は、例えば、形状、文字（例えば数字や符号を含む）、色彩及び模様のうちの少なくとも一つである。背景対象は、例えば、ジェスチャーの背景の撮影画像を基に特定されても良いし、種々の対象に取り付けられている記憶媒体（例えばＲＦＩＤ（Radio Frequency Identification）タグ）から読み出された情報に表されていても良い。

図１は、本発明の第１の実施形態に係る制御システムの機能ブロック及び処理流れを示す。 図２は、本発明の第２の実施形態に係る制御システムの機能ブロック及び処理流れを示す。 図３は、本発明の第３の実施形態に係る制御システムの機能ブロック及び処理流れを示す。 図４は、本発明の第４の実施形態で行われる処理の説明図である。 図５Ａは、本発明の第５の実施形態で行われる処理の説明図である。図５Ｂは、本発明の第５の実施形態の一変形例で行われる処理の説明図である。 図６は、本発明の第６の実施形態で行われる処理の説明図である。

以下、図面を参照して、本発明の幾つかの実施形態を説明する。

図１は、本発明の第１の実施形態に係る制御システム１００の機能ブロック及び処理流れを示す。

制御対象の機器１０９がある。機器１０９としては、例えば、パーソナルコンピューター、テレビジョン装置、プリンター、プロジェクター、電子ペーパー、照明機器、エアコンディショナー（以下、エアコン）など種々の装置を採用し得る。本実施形態では、制御対象の機器１０９は一つであるが、例えば第３の実施形態で説明するように、制御対象の機器１０９は複数個あっても良い。

制御システム１００は、ジェスチャーの背景対象として色を識別し、ジャスチャーと識別された色の属性との組合せに応じた制御命令を機器１０９に発信する。このため、ユーザーは、どんな色を有する対象の上でジェスチャーをするかで、機器１０９を制御する。つまり、機器１０９をどのように制御したいかに応じて、どんな色を有する対象の上でジェスチャーを行うかが選択される。ジェスチャーの背景対象を有する「もの」としては、例えば、壁、紙、機器、人間の体又はその各部位（頭、手、足など）、プロジェクター等により投影された画像、携帯電話機、パーソナルコンピューター又は電子ペーパー等のディスプレイ画面上の表示画像など、種々のものがあり得る。

制御システム１００は、ジェスチャーセンサー１０８と、カメラ１０７と、ジェスチャー認識部１０５と、属性認識部１０４と、設定情報記憶部１０３と、命令発信部１０６とを備える。ジェスチャー認識部１０５、属性認識部１０４及び命令発信部１０６は、ハードウェア回路であっても良いし、マイクロプロセッサーがコンピュータープログラムを実行することにより実現される機能であっても良いし、ハードウェア回路とその機能との組合せであっても良い。また、ジェスチャー認識部１０５、属性認識部１０４、設定情報記憶部１０３及び命令発信部１０６は、一つの装置（例えば、ハードウェア回路）に備えられていても良いし、複数の装置に分散して備えられていても良い。

ジェスチャーセンサー１０８は、ジェスチャーを検出する。ジェスチャーセンサー１０８としては、例えば、カメラ、レーザーポインターなどを採用し得る。検出したジェスチャーを表す信号が、ジェスチャーセンサー１０８からジェスチャー認識部１０５に入力される。

カメラ１０７は、例えば、所定の場所（例えば部屋の天井）に取り付けられており、ジェスチャーの背景を撮影する。カメラ１０７の撮影画像を表す信号が、カメラ１０７から属性認識部１０４に入力される。なお、撮影画像は、動画像であっても良いし静止画像であっても良い。カメラ１０７は、複数台あっても良い。カメラ１０７としては、特定の波長の光のみを検出する特殊なカメラであっても良い。この場合、ジェスチャーの背景対象属性を有する対象には、特定の波長の光を発する色材が表面に付されていることになる。

ジェスチャー認識部１０５は、ジェスチャーセンサー１０８から入力された信号に基づき、ジェスチャーを認識する。ジェスチャー認識部１０５は、認識したジェスチャーを表す情報を命令発信部１０６に通知する。また、ジェスチャー認識部１０５は、ジェスチャーが行われた位置（以下、ジェスチャー位置）も認識する。ジェスチャー位置は、例えば、複数のジェスチャーセンサー１０８のうちのどのジェスチャーセンサー１０８から信号が入力されたかを基に（つまりどのジェスチャーセンサー１０８がジェスチャーを検出したかを基に）、認識される。ジェスチャー認識部１０５は、認識されたジェスチャー位置を表す情報を属性認識部１０４に通知する。なお、ジェスチャー位置は、例えば、カメラ１０７の設置位置などに応じた座標系で表現することができる。例えば、カメラ１０７が部屋の天井に設置されている場合、ジェスチャー位置は、部屋の縦横をｘ軸・ｙ軸とし高さをｚ軸としたｘｙｚ座標で表現されて良い。この場合、ジェスチャーの背景対象属性は、ジェスチャー位置のｚ座標よりも低い位置に存在することとなる。

属性認識部１０４は、ジェスチャー認識部１０５から通知された情報が表すジェスチャー位置を基に、カメラ１０７から入力された撮影画像を解析することで、ジェスチャーの背景対象の属性を認識する。属性認識部１０４は、認識した背景対象属性を表す情報を命令発信部１０６に通知する。

設定情報記憶部１０３は、記憶資源（例えば、揮発性又は不揮発性のメモリ）である。設定情報記憶部１０３は、設定情報を予め記憶している。設定情報は、どのようなジェスチャーとどのような背景対象属性が認識された場合にどのような制御を行うかを表す情報である。設定情報は、特定のコンソールからユーザーによって編集されても良い。

命令発信部１０６は、ジェスチャー認識部１０５から通知された情報が表すジェスチャーと属性認識部１０４から通知された情報が表す背景対象属性との組合せに対応する制御及び制御対象を、設定情報記憶部１０３内の設定情報から特定する。命令発信部１０６は、特定された制御対象（機器１０９）に特定された制御を行うための制御命令を生成し、生成した制御命令を機器１０９に送信する。

以下、本実施形態で行われる処理の流れを説明する。その際、機器１０９はエアコンであるとし、設定情報は、「制御対象：エアコン、赤色又は青色：電源スイッチ、赤色：オン、青色：オフ」という情報を含んでいるとする。また、ジェスチャーの背景対象「色」の属性としては、赤と青の２色とし、背景対象を有するものは、赤紙１１２と、青紙１１３であるとする（赤紙１１２及び青紙１１３は、特殊な波長の光を発する色材を用いて赤色や青色の領域が印刷された紙であっても良いし、市販されている紙であっても良い）。また、赤紙１１２及び青紙１１３上で行われるジェスチャーは、同一のジェスチャー（例えば、矢印に示すように、手を左から右へと水平に移動させるジェスチャー）であるとする。

例えば、青紙１１３の近傍且つ上方で、ユーザーがジェスチャーを行った場合、ジェスチャーセンサー１０８が、そのジェスチャーを検出する（Ｓ１０１）。検出されたジェスチャーを表す信号がジェスチャー認識部１０５に入力される。

ジェスチャー認識部１０５は、ジェスチャーセンサー１０８から入力された信号に基づき、ジェスチャーと、ジェスチャー位置とを認識する（Ｓ１０２）。ジェスチャー認識部１０５は、認識したジェスチャーを表す情報を命令発信部１０６に通知し（Ｓ１０３）、認識したジェスチャー位置を表す情報を属性認識部１０４に通知する（Ｓ１０４）。

属性認識部１０４は、通知された情報が表すジェスチャー位置の背景の撮影画像、つまり青紙１１３がうつっている撮影画像をカメラ１０７から取得する（Ｓ１０５）。例えば、属性認識部１０４は、ジェスチャー位置を含んだ所定サイズの領域を視野とした背景をカメラ１０７に撮影させる。この場合、ジェスチャーが認識された後のジェスチャーの背景対象の撮影画像が取得されることになる。このため、撮影画像において、ジェスチャーにより動かされた部位で背景対象が隠れてしまっているという可能性を低減できる。属性認識部１０４は、撮影画像を解析することで、背景対象属性として色「青」を認識し（Ｓ１０６）、認識した背景対象属性：色「青」を表す情報を命令発信部１０６に通知する（Ｓ１０７）。

命令発信部１０６は、通知された情報が表すジェスチャー及び背景対象属性：色「青」の組合せに対応した制御「電源スイッチオン」を、設定情報記憶部１０３内の設定情報から特定する（Ｓ１０８）。命令発信部１０６は、エアコン１０９をターンオンするための制御命令を生成し（Ｓ１０９）、生成した制御命令をエアコン１０９に送信する（Ｓ１１０）。これにより、エアコン１０９がターンオンされる。

以上が、第１の実施形態についての説明である。なお、赤紙１１２及び青紙１１３は、室内の壁に貼られる等のユーザー所望の場所に備えられても良いし、別の部屋へ持ち運ばれても良い。別の部屋で赤紙１１２及び青紙１１３上でジェスチャーが行われた場合、その別の部屋に設置されているエアコンの電源のオン／オフが制御される。つまり、複数の部屋にあるエアコンの電源スイッチ（赤紙１１２及び青紙１１３）を共通のスイッチとすることができる。また、制御システム１００は、部屋毎にあっても良いが、部品点数削減などの観点から、カメラ１０７、ジェスチャーセンサー１０８及び機器１０９が部屋毎に設けられていて、ジェスチャー認識部１０５、属性認識部１０４、設定情報記憶部１０３及び命令発信部１０６が、複数の部屋に共通であることが好ましいと考えられる。

上述した第１の実施形態によれば、ジェスチャーと背景対象属性との組合せに応じた制御が行われる。このため、同一のジェスチャーで異なる制御が可能となる。また、背景対象属性から直感的にどんな制御が行われるかを類推できるので、ジェスチャー及び背景対象属性の組合せと行われる制御との対応関係をユーザーが記憶しなければならないという負担を軽減できる。

以下、本発明の第２の実施形態を説明する。その際、第１の実施形態との相違点を主に説明し、第１の実施形態との共通点については説明を省略又は簡略化する（これは、第３の実施形態以降も同様である）。

図２は、本発明の第２の実施形態に係る制御システム２００の機能ブロック及び処理流れを示す。

エアコン１０９の電源スイッチ（背景対象を有するもの）として、一枚の黄紙２１４が利用される。黄紙２１４には、エアコン１０９の電源オン／オフのそれぞれのジェスチャーの方法（例えば、図２に示すように、手を動かす方向を表す矢印）が記載されている。黄紙２１４によれば、エアコン１０９の電源をターンオンするためには、黄紙２１４上で手を上から下に移動させる下ジェスチャーを行う必要があり、電源をターンオフするためには、黄紙２１４上で手を下から上に移動させる上ジェスチャーを行う必要があることがわかる。

設定情報記憶部２０３内の設定情報が、「制御対象：エアコン、黄色：電源スイッチ、上ジェスチャー：オフ、下ジェスチャー：オン」という情報を含んでいる。

例えば、図２に示すように、黄紙２１４の近傍且つ上方で、手を下から上に移動させるジェスチャー（以下、上ジェスチャー）が行われたとする。この場合、前述したＳ１０１〜Ｓ１１０とそれぞれほぼ同様のＳ２０１〜Ｓ２１０が行われる。例えば、Ｓ２０２では、上ジェスチャーが認識され、Ｓ２０３では、上ジェスチャーを表す情報が命令発信部１０６に通知される。また、Ｓ２０６では、背景対象属性：色「黄」が認識され、Ｓ２０７では、背景対象属性：色「黄」を表す情報が命令発信部１０６に通知される。命令発信部１０６は、上ジェスチャー及び背景対象属性：色「黄」に対応する制御「オフ」を設定情報から特定し（Ｓ２０８）、エアコン１０９をターンオフするための制御命令を生成し（Ｓ１０９）、その制御命令をエアコン１０９に発信する。これにより、エアコン１０９がターンオフされる。

この第２の実施形態によれば、黄紙２１４に、下向きの矢印及び文字「ＯＮ」のセットと、下向きの矢印及び文字「ＯＦＦ」のセットとが書かれている。このため、電源オンとオフでは異なるジェスチャーが必要になるものの、人間はとまどうことなくエアコン１０９を制御でき、且つ、電源スイッチとしての紙を１枚に減らすことができる（第１の実施形態において、一枚の紙に、赤色の領域と青色の領域があっても良い）。

なお、この第２実施形態は、第１実施形態を基に以下のようにして実現可能である。すなわち、第１の実施形態での設定情報が上記の設定情報に編集され、紙１１２及び１１３に代えて黄紙２１４が用意されれば、この第２の実施形態となる。なお、矢印などのジェスチャーの方法は、ユーザーが手で書いても良い。

図３は、本発明の第３の実施形態に係る制御システム３００の機能ブロック及び処理流れを示す。

複数の機器として、例えば、エアコン１０９Ａとテレビジョン装置（ＴＶ）１０９Ｔがある。そして、制御システム３００に、ＯＣＲ（Optical Character Reader）エンジン３０２が備えられる。ＯＣＲエンジン３０２は、撮影画像にうつっている対象上の文字を認識する。ＯＣＲエンジン３０２は、例えば、コンピュータープログラムであり、マイクロプロセッサーに実行される。

本実施形態は、背景対象として、色の他に、文字も利用される。例えば、設定情報記憶部３０３内の設定情報が、「文字「Ａ」：エアコン、文字「Ｔ」：ＴＶ、横ジェスチャー：オン／オフのトグル、上ジェスチャー：上げる、下ジェスチャー：下げる、黄色：スイッチ」という情報を含んでいる。そして、背景対象を有するものとして、第１と第２の紙３１５Ａ及び３１５Ｔが用意される。第１の紙３１５Ａは、文字「Ａ」と色「黄」を表面に有しており、第２の紙３１５Ｔは、文字「Ｔ」と色「黄」を表面に有している。

例えば、図３に示すように、第２の紙３１５Ｔの近傍且つ上方で、手を横方向に移動させる横ジェスチャーが行われたとする。この場合、前述したＳ１０１〜Ｓ１１０とそれぞれほぼ同様のＳ３０１〜Ｓ３１０が行われる。例えば、Ｓ３０２では、横ジェスチャーが認識され、Ｓ３０３では、横ジェスチャーを表す情報が命令発信部１０６に通知される。また、Ｓ３０６では、背景対象属性：色「黄」が認識され、且つ、属性認識部３０４がＯＣＲエンジン３０２に撮影画像を解析させることで背景対象属性：文字「Ｔ」も認識される。Ｓ３０７では、背景対象属性：色「黄」及び文字「Ｔ」を表す情報が命令発信部１０６に通知される。命令発信部１０６は、横ジェスチャーと背景対象属性：色「黄」及び文字「Ｔ」に対応する制御対象「ＴＶ」と制御「オン／オフのトグル」とを設定情報から特定する（Ｓ３０８）。命令発信部１０６は、ＴＶ１０９Ｔの電源のオン／オフを切り替えるための制御命令を生成し（Ｓ３０９）、その制御命令をＴＶ１０９Ｔに発信する。これにより、ＴＶ１０９Ｔの電源のオン／オフが切り替わる。

この第３の実施形態によれば、横ジェスチャー、上ジェスチャー及び下ジェスチャーの３種類のジェスチャーだけで、エアコン１０９Ａの電源オン／オフの切替えと設定温度の上下の調節や、ＴＶ１０９Ｔの電源オン／オフの切替えと音量の上下の調節が可能となる。つまり、背景対象属性の種類として色の他に文字が加わったことで、同一のジェスチャーでより多くの制御対象を制御したりより多くの制御をしたりすることが可能となる。しかも、上下のジェスチャーはどんな制御が行われるかを容易に類推できるため、これらのジェスチャーは覚えやすい。

この第３の実施形態では、次のような応用も期待できる。例えば、電話番号一覧のうちの所望の電話番号の上で横方向に指を動かすだけで、その電話番号を相手先として発信したり（この場合、制御対象は室内の電話器）、室内の壁に貼られているカレンダーの数字（日付）上で或る方向に指を動かすだけで、ユーザーのスケジュール或いはＴＶ番組表など日付に関連した情報をＴＶ或いはＰＣ等の出力機器に表示したりすることが期待できる（この場合、制御対象は出力機器である）。

また、この第３の実施形態や、上述した第１及び第２の実施形態によれば、どのような設定情報とどのような背景対象属性を有する対象とを用意するかによって、様々な制御方法が生まれる。つまり、柔軟性が高く、また、記憶しなければいけないことも少なく、故に、ユーザーの利便性は高いと考えられる。

本発明の第４の実施形態では、命令発信部が、ジェスチャーの背景対象属性を有する出力を出力機器に実行させるための制御命令を生成して発信する。

具体的には、例えば、図４に示すように、命令発信部が、プロジェクターに、初期メニュー１２３をスクリーン１２２に投影させる。この処理は、ユーザーの入室の検出に応答して行われても良いし、ユーザーによる特定のジェスチャーに応答して行われても良い。プロジェクターは、ジャスチャーによる制御対象となり得る一つの機器である。

初期メニュー１２３には、制御対象となり得る機器を表す文字列の一覧である。文字列に代えて、マークなど他のジェスチャー背景対象が採用されても良い。

初期メニュー１２３上で所定のジェスチャーが行われると、そのジェスチャーと、そのジェスチャーの背景対象属性とが認識される。命令発信部は、その組合せに応じた操作メニューを表示するための制御命令を生成し、プロジェクターに送信する。これにより、初期メニュー１２３から操作メニューへの遷移が行われる。例えば、初期メニュー１２３における文字列「テレビ」の上で所定のジェスチャーが行われると、ＴＶ操作メニュー１２４が表示され、一方、初期メニュー１２３における文字列「エアコン」の上で所定のジェスチャーが行われると、エアコン操作メニュー１２５が表示される。

以上のように、第４の実施形態では、命令発信部が、プロジェクターから、ジェスチャーの背景対象を有するメニューを表示させる。この第４の実施形態によれば、制御対象の機器や制御が増えても、背景対象を有するもの（例えば紙）を増やす必要が無い。

なお、上記の説明では、利便性を考慮し、全ての背景対象上で同一のジェスチャーが行われることとしたが、それに代えて、ユーザー所望のジェスチャーが行われても良い。ジェスチャーと背景対象属性との組合せは、設定情報に定義される。また、メニューを出力する出力機器は、プロジェクターに限らず、パーソナルコンピューター、ＴＶ、電子ペーパーなどの機器であっても良い。

本発明の第５の実施形態では、制御システムに、ユーザーがいる空間内（例えば室内）に存在する物のうちジェスチャー背景対象をユーザーに通知する背景対象通知部が備えられる。背景対象通知部は、例えば、前述した命令発信部と、照明機器との組合せにより実現することが可能である。この場合、命令発信部は、背景対象に照明機器から光をあてることで、ユーザーに背景対象を知らしめることができる。図５Ａの例によれば、カレンダー５０１にある文字列や、紙５０３上の色に、点線で示すように光があてられているため、ユーザーは、カレンダー５０１にある文字列や紙５０３上の色が背景対象であることがわかる。

より具体的には、次の通りである。例えば、属性認識部が、カメラから室内の撮影画像を取得し、撮影画像を解析し、その解析結果と、設定情報とを基に、背景対象を特定する。例えば、属性認識部は、設定情報に、色に関する属性を表す情報しか含まれていない場合には、色を背景対象として認定するが、文字やその他の対象が撮影画像から特定されても、背景対象として認定しない。属性認識部は、特定された背景対象の位置を表す情報を、命令発信部に通知する。命令発信部は、属性認識部から通知された情報が表す位置に光をあてるよう照明機器を制御する。

なお、次のような変形例も考えられる。すなわち、属性認識部は、撮影画像から、ユーザーの位置も認識し、ユーザーの位置情報も命令発信部に通知する。命令発信部は、ユーザーが背景対象から所定の距離内にいる場合には、その背景対象に光をあてるよう照明機器を制御し、ユーザーがその背景対象から所定の距離より遠い位置に離れた場合には、照明機器から照射を停止する。この場合、例えば図５Ｂに示すように、背景対象を有する紙１１９にユーザーが近づいた場合には、その紙１１９が照らされるので、その紙１１９に背景対象があることがユーザーにわかる。また、その背景対象から離れた場合には、照射が停止されるので、省電力への貢献が期待できる。

以上が、本発明の第５の実施形態及びその一つの変形例についての説明である。なお、背景対象の通知方法としては、光の照射に限らず、音声での通知など、種々の方法が考えられる。

本発明の第６の実施形態では、背景対象の有効期間が設定される。その有効期間外に背景対象上でジェスチャーが行われても、その背景対象の属性とジェスチャーとの組合せに対応した制御は非実行となる。以下、その一つの具体例を説明する。

具体的には、例えば、図６に示すように、会議室（又は会議室内の機器）の利用時間の予約が実行された場合に、予約を受け付けたシステム６０１（以下、例えばコンピュータープログラムを実行するマイクロプロセッサー）が、背景対象（例えば色）を有する領域６１０と２次元バーコード６０３とをプリンターから印刷させる。これにより、ユーザーは、背景対象を有する領域６１０と２次元バーコード６０３とを有するプリントアウト６０２を得ることになる。２次元バーコード６０３は、予約された利用時間を表す情報を有する。

ユーザーは、プリントアウト６０２を会議室６０４に持参する。そして、会議室内の所望の又は特定の場所（例えばテーブルの上）に、プリントアウト６０２を置く。ユーザーは、プリントアウト６０２における領域６１０上で、所望の制御を行うためのジェスチャーを行う。

属性認識部は、ジェスチャーの背後にあるプリントアウト６０２の撮影画像を解析する。これにより、属性認識部は、プリントアウト６０２における２次元バーコード６０３が表す情報を特定し、背景対象属性を表す情報の他に、２次元バーコード６０３から特定された情報を、命令発信部に通知する。

命令発信部は、２次元バーコード６０３から特定された情報が表す利用時間を特定し、現在日時がその利用時間内であるか否かを判断する。現在日時が利用時間内であれば、命令発信部は、ジェスチャーと背景対象属性との組合せに対応した制御命令をその制御対象（つまり会議室内の機器）に発信する。一方、現在日時が利用時間外であれば、命令発信部は、その制御命令をその制御対象に発信しない。

以上により、予約された利用時間以外の時間帯で会議室内の機器を制御することは不可能である。この第六の実施形態は、会議室の利用の予約に限らず、他の部屋或いは機器の利用について応用することが可能である。

なお、この第６の実施形態において、背景対象属性が認識される前に、２次元バーコード６０３から特定された情報が表す利用時間に現在日時が属するか否かが判定されても良い。この場合、属すると判定された場合に、背景対象属性の認識が行われ、属さないと判定された場合に、背景対象属性の認識は非実行とされても良い。或いは、例えば、２次元バーコード６０３から特定された情報が表す利用時間に現在日時が属しないと判定された場合には、制御命令は生成されなくて良い。

以上、本発明の好適な実施形態を説明したが、これは本発明の説明のための例示であって、本発明の範囲をこの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。例えば、カメラ１０７はジェスチャーセンサー１０８と兼用であっても良い。つまり、カメラ１０７の撮影画像を解析することで、ジェスチャーとその背景対象属性の両方が認識されても良い。

１００…制御システム １０７…カメラ １０８…ジェスチャーセンサー １０９…機器

Claims (8)

1. ジェスチャーとそのジェスチャーの背景に関わる信号を入力する入力手段と、
   前記入力された信号を基に、ジェスチャーを認識するジェスチャー認識手段と、
   前記入力された信号を基に、認識されたジェスチャーの背景対象の属性を認識する属性認識手段と、
   認識されたジェスチャーとその背景対象属性との組合せに基づく制御命令を生成して機器に発信する命令発信手段と
   を備える制御システム。
2. どのようなジェスチャーとどのような背景対象属性が認識された場合にどのような制御を行うかを表す設定情報を記憶する記憶手段と、
   特定の部屋又はその部屋に設置されている機器の利用時間が指定された場合に、その利用時間に関するオブジェクトである利用制限オブジェクトと前記特定の部屋での機器制御のための背景対象とを出力機器から出力させる出力制御手段と
   を更に備え、
   前記入力手段は、ジェスチャーを検出するジェスチャーセンサーと、ジェスチャーの背景を撮影するカメラとを有し、
   前記ジェスチャー認識手段についての前記入力された信号は、検出されたジェスチャーを表す信号であり、
   前記属性認識手段についての前記入力された信号は、前記利用制限オブジェクトと背景対象とが出力されている被出力媒体上でのジェスチャーの、前記カメラによって撮影された背景画像であり、
   前記属性認識手段は、前記背景画像を解析することで、前記被出力媒体上の利用制限オブジェクトとジェスチャーの背景対象の属性とを認識し、
   前記命令発信手段は、前記認識された利用制限オブジェクトが表す利用時間を特定し、現在日時がその利用時間に属する場合にのみ、前記特定の部屋に設けられている機器に制御命令を発信し、その制御命令は、認識されたジェスチャーとその背景対象属性との組合せを基に前記設定情報から特定した制御をその機器に対して行うための命令である、
   請求項１記載の制御システム。
3. 前記命令発信手段が、ジェスチャーの背景対象を有する出力を出力機器に実行させるための制御命令を生成して発信する、
   請求項１記載の制御システム。
4. ユーザーがいる空間内に存在する物のうちジェスチャー背景対象をユーザーに通知する属性通知手段、
   を更に備える請求項１乃至３のうちのいずれかに記載の制御システム。
5. 前記背景対象属性通知手段は、ジェスチャー背景対象からユーザーが所定の距離以内にいる場合にその対象に光を当てることで、ジェスチャー背景対象をユーザーに通知し、ユーザーがその対象から所定の距離より離れた場所に移動した場合に、その対象に光を当てることを停止する、
   請求項４記載の制御システム。
6. 前記命令発信手段は、スケジュールを特定し、前記命令発信手段が行う処理は、特定されたスケジュールと現在日時との関係によって異なる、
   請求項１記載の制御システム。
7. ジェスチャーを認識するジェスチャー認識手段と、
   認識されたジェスチャーの背景対象の属性を認識する属性認識手段と、
   認識されたジェスチャーとその背景対象属性との組合せに基づく制御命令を生成して機器に発信する命令発信手段と
   を備える制御装置。
8. ジェスチャーを認識するステップと、
   認識されたジェスチャーの背景対象の属性を認識するステップと、
   認識されたジェスチャーとその背景対象属性との組合せに基づく制御命令を生成して機器に発信するステップと
   をコンピュータに実行させるためのコンピュータープログラム。

Images