JP2014089688A - コントローラ - Google Patents

Abstract

【課題】
手指で簡単に形成できて誤認識の少ない形状を選択して、キューサインとして登録し、コントロールの対象としたい機器およびその動作を手指で作るキューサインやその動作で制御できるコントローラを提供することが課題である。
【解決手段】
コントローラは、マイコン等から構成されるコントロール回路２００１、画像センサユニット２００２、そしてメモリ２００３から構成される。コントロール回路の通信接続が、照明機器１００６の照明制御部２００４、シェード１００８のシェード制御部２００５、そして空調設備１００９の空調制御部２００６との間に設けられている。
【選択図】図２

Description

本発明は、各種電化製品、情報端末、室内外の装備、対局時計等のコントローラ、特に画像センサを利用したコントローラに関する。

従来、各種電化製品、情報端末、室内外の装備等のコントローラは、ユーザが直接に手でボタン等を押す、回すあるいは移動させるといった操作を行うものであった。遠隔操作のためのリモートコントローラは、操作の対象機器に設けられたコントローラに直接触れることなく操作するものであるが、直接にする対象のボタン等を備えたリモートコントローラを所持している必要がある。

囲碁、将棋、チェス等のように時間の制限を設けて行なうゲームに使用する対局時計においても、着手（盤面に碁石を置くこと、盤面上の碁石、将棋またはチェスの駒等を移動することを言う）ごとに、着手を完了した対局者が直接に手でボタン等のスイッチを押すあるいは移動させるといった操作を行うものであった。手でスイッチを操作し、この操作時から、相手方が次にスイッチを操作するまでの時間を計り、これを考慮時間としていた。

最近は、人感センサにより、室内に人間の動きが検知されると電源がオンになり、検知がされなくなると電源がオフとなる照明のコントローラが出てきた。しかしながら、単純なオン／オフの操作に限られる。
また、デジタルカメラの各種操作において、画像センサが取得した画像を解析して所定の形状を認識した場合に、所定の操作を行う方式が提案されている。すなわち、直接ボタン等に触れることなく、撮影範囲内で手や指で形成した形状（以下、手指ポーズという）を所定の動作を開始させるためのキューサインとする方式が提示されている。

特許文献１の図面
図３（ｃ）には、いわゆるパーやチョキの手指形状等を認識対象とするカメラ制御装置の記載がある。文献１の明細書において、手指の形状を認識する手指形状認識手段及び手指が形成するポーズを登録したポーズと比較し、略一致すると判断されると、カメラの所定の動作を行う制御方法が開示されている。
しかしながら、様々な形状を認識対象のポーズとする方式のため、誤認識を避けるために、ユーザは手の形状作りに注意を要し、動作指示が返って煩雑となる。
又、凹凸のない人差し指を１本立てるポーズ（凹となる欠損部がない。）のように、手指形状認識に適切でない形状も認識対象とする構成であるため、手の角度によって別のポーズとして認識してしまう誤認識の問題がある。
これらの問題について、本願発明者は鋭意研究を行い、本願発明では、５本の指を全て開いて伸ばした、いわゆるパーのポーズの凹凸のある手指が作る形状を認識の対象として絞り込んで選択した。
特開２０１０−１８１９６８号公報

特許文献２に記載の対局タイマーは、盤裏面に定数の磁石を取り付け、碁石または駒等に、鉄を付着または内蔵させ、磁石の磁力を利用することで、磁石にスイッチ機能を持たせ、着手の検出を行い、検出信号間の時間の計測をできるようにしたものである。
しかしながら、盤内及び碁石又は駒等に着手を検知するための部材等を設置する必要があることが問題であった。
特開平８−１１２３９７号公報

特許文献１の場合は、コントローラのための形状認識対象について考察不足である。不適切な形状をサインとすると、誤認識を誘発し、過大なリソースや認識時間が必要となる問題が発生する。誤認識の少ない形状を選択して、登録するキューサインとすることにより、信頼性の高いコントローラを提供することが本発明の課題である。
ユーザである一般的人間にとって、キューサインを形成することが煩雑あるいは困難にならないキューサインであることも重要な課題である。
また、選択したキューサイン認識を適当なリソースと時間で行える、誤認識の少ない認識アルゴリズムを提供することも課題となる。
暗闇など通常の画像センサでは手指の形状を捉えた画像を得ることが困難な環境でも機能するコントローラを提供することも課題である。

さらには、対局者が対局タイマーのスイッチに直接接触しなくても考慮時間の計測ができ、かつ、盤や碁石又は駒等に部材を設置する必要がないコントローラを供給することも課題とする。

上記課題について、本願発明者は鋭意研究を行い、本願発明では、いわゆるパーのポーズである凹凸のある手指が作る形状を認識の対象として選択したコントローラを開発した。
本発明の課題を解決するため、請求項１に記載の発明では、画像センサと接続したコントローラであって、
１）予め選択した５本の指を全て開いた形状（以下、キューサインと呼ぶ）を形成する手指のバイオメトリクスとして設定された伸ばした指の間に形成される４つの欠損部、凸部に当たる伸ばした５本の指の位置関係及び親指に係る特徴を含む基準データと、
２）前記キューサインとコントロール対象機器の所定動作を関連付けて、該関連を記憶する関連記憶手段と、
３）前記画像センサが連続して生成する画像（以下、スルー画像と呼ぶ）を所定の周期で解析をして手指の形状の検出をし、
該形状において、伸ばした指の間に形成される欠損部、凸部に当たる伸ばした指の位置関係及び親指に係る特徴を検出し、
前記基準データに含まれるバイオメトリクスと比較して、
前記キューサインの認識をする認識手段と、
４）前記認識がされると、前記関連記憶手段を参照して、該認識がされたキューサインに関連付けされた前記所定動作の制御信号を所定のタイミングで発する制御手段とを、
有する装置を提供する。
ここでバイオメトリクスとは、人間の身体的特徴をいい、所定のフォーマットのデータとして、コンピュータで取り扱える形式となっているものをいう。
いわゆるパーの５本の指を開いて伸ばした手の形状は、その凸凹がパターン認識に好適であり、認識に要するリソースや認識時間を少ないものとする効果がある。従来ジェスチャー認識の研究対象とされてきたいわゆるグーやチョッキに比べて、パーの形状は、特徴の判別が容易な親指が明瞭であること、人間工学的見地からも形成し易い形状であることのため、特に顕著な認識向上効果がある。

請求項２に記載の発明は、請求項１に記載の装置において、
前記所定のタイミングは、前記認識の後であって該認識が検知されなくなったタイミングであることを特徴とする。
キューサインの認識のときを制御のタイミングとすることは、外部要因によって遅延が発生するおそれもあり、ユーザが思った瞬間に制御するために問題がある可能性がある。一方、認識がされた後、その認識が検知されなくなった瞬間は上記遅延の発生のおそれが極めて少ない。よって、ユーザが制御のタイミングと思った瞬間にキューサインの形状を変えることや、撮影範囲から手指を外すことにより、ユーザの意思に近いタイミングで安定的に制御することを可能にする効果がある。

請求項３に記載の発明は、請求項１又は２に記載の装置において、
前記位置関係は、所定の位置から各指の先端までの相対的距離を画像上で計測して得られる相対的関係であって、前記比較は該距離の相対的関係が検出された形状の位置関係と前記バイオメトリクスに含まれる相対的位置関係との差が予め設定した範囲内であるか否かを判断するステップを含むことを特徴とする。
いわゆるパーの形状は、各指の先端が一定の位置関係にあるため、手のひらのエッジを既知の形状検知方法で抽出して、手の重心を求めるなどして基準となる位置を決め、その位置から各指の先端までの距離又は相対距離を求めることにより、パーの特徴を有しているかどうかを判断する指標とすることができる。

請求項４に記載の発明は、請求項１乃至３のいずれかに記載の装置において、
前記所定の位置は、前記キューサインの重心であることを特徴とする。

請求項５の発明は、請求項３又は４に記載の装置において、
前記親指の特徴は、前記キューサインの重心から親指の先端までの相対距離が他の相対距離に比べて最も短いことであることを特徴とする。

請求項６に記載の発明は、請求項１又は２に記載の装置において、
前記指の位置関係は、親指と人差し指とがなす夾角、人差し指と中指とがなす夾角、中指と薬指とがなす夾角、そして薬指と小指とがなす夾角であることを特徴とする。
基準データに含む各夾角とスルー画像から抽出した手の形状を分析して得られる各夾角との差分が所定の範囲にあるかどうかをキューサインの特徴である位置関係にあるかどうかの指標することは、キューサインの認識の精度と高速化に有効である。

請求項7に記載の発明は、請求項６に記載の装置において、
前記親指の特徴は、前記親指と人差し指とがなす夾角が、他の前記夾角よりも大きいことであることを特徴とする。

請求項８に記載の発明は、請求項１乃至７のいずれかに記載の装置において、
前記コントロール対象機器の所定動作との関連付けは、前記キューサインを振る動作、前記キューサインを所定の方向へ払う動作、両手で形成する前記キューサインの組合せから選ばれる少なくとも１つに対しての関連付けであることを特徴とする。

請求項９に記載の発明は、請求項１乃至８のいずれかに記載の装置において、
前記バイオメトリックスには、右手のキューサインの特徴と左手のキューサインの特徴が含まれており、前記認識において右手か左手かを識別するステップが含まれ、前記コントロール対象機器の所定動作との関連付けにおいて、前記右手のキューサインと前記左手のキューサインとでは異なる動作に対しての関連付けされることを特徴とする。
手で形成できる認識に好適な形状には限りがあるので、右手と左手とを区別することにより、キューサインの数を増やし、コントロールの対象とする機器や動作を広げる効果がある。

請求項１０に記載の発明は、請求項８又は９に記載の装置において、
前記コントローラは、スピーカ音量、照明の色もしくは光量、空調機器の温度、湿度もしくは風量、カーテン、シェードもしくは窓の開度、椅子のリクライニングの角度から選ばれる少なくとも１つのボリュームコントローラであって、前記払う動作に連動させてボリュームの上げ下げが行われることを特徴とする。

請求項１１に記載の発明は、請求項１乃至８のいずれかに記載の装置において
前記コントローラは、テレビ、ラジオ、ゲーム機、デジタルカメラ、カメラ付き携帯電話から選ばれた少なくとも１つをコントロール対象機器とすることを特徴とする。

請求項１２に記載の発明は、請求項１乃至９のいずれかに記載の装置において、
前記コントローラは、ドアの開閉、ドアロックの解除又は施錠、電話、テレビ電話もしくはインタホンの応答、エレベータの呼び出し、換気扇ON/OFFから選ばれる少なくとも1つの室内外の設備機器のコントロールを実行することを特徴とする。

請求項１３に記載の発明は、請求項１乃至１０のいずれかに記載の装置において、
前記コントローラは、ユーザの画像センサに対する位置に応じて、コントロール対象とする機器を変更する変更手段を有することを特徴とする。

請求項１４に記載の発明は、請求項１乃至９のいずれかに記載の装置において、
前記コントローラは、チェス、将棋、碁から選ばれる少なくとも１つのボードゲームの対局時計をコントロール対象とすることを特徴とする。

請求項１５に記載の発明は、請求項１４に記載の装置において、
前記画像センサの撮影エリアは、予め前記ボードゲームのボード内に設定されていることを特徴とする。

請求項１６に記載の発明は、請求項１４又は１５に記載の装置において、
前記キューサインを形成する手が前記撮影エリアに入る方向に応じて、前記所定動作が関連付けされることを特徴とする。

請求項１７に記載の発明は、請求項１４又は１５に記載の装置において、
前記キューサインを形成する手が前記ボードに入る方向に応じて、前記所定動作が関連付けされることを特徴とする。

請求項１８に記載の発明は、請求項１乃至１７のいずれかに記載の装置において、
熱画像センサと接続したコントローラであって、前記所定の周期で解析及び手指の形状の検出は、熱画像に対して行われることを特徴とする。
熱画像センサは、暗闇においても手指の形状を明瞭にとらえた画像を取得することができるので、コントローラを用いる場所の明るさについて配慮しなくても機能するので、適用する場所や環境を広げる効果がある。
また、背景とキューサインを作る手指の温度差から、背景から手指の形状を切り出すことが容易であり、認識の精度や速度を向上させる効果がある。

コントローラを装備した部屋の概念図 コントローラとコントロール対象機器の制御部とを示したブロック図 壁に備えられたコントローラの動作を示したフローチャート バイオメトリクスのデータ構造 関連付けのデータ構造 本発明のカメラ付き携帯情報端末を操作しているユーザのイメージ図 コントローラと当該端末の各種デバイスのブロック図 実施例２に係る関連記憶部のデータ構造 本発明のテレビを操作しているユーザのイメージ図 コントローラと各種デバイスのブロック図 実施例３に係る関連記憶部のデータ構造 本発明の対局タイマーを利用した対局のイメージ図 コントローラと各種デバイスのブロック図 実施例４に係る関連記憶部のデータ構造 手の方向のイメージ図 他のバイオメトリクスのデータ構造 対局時計コントローラの動作を示したフローチャート それぞれの機器に備えたコントローラの動作を示したフローチャート

以下、本発明の具体例につき図面を用いた実施例において説明する。

図１は、本発明のコントローラを装備した部屋の概念図である。
ユーザ１００１は、部屋の入り口にいる想定である。手指１００２を側面の壁１００３に備えられたコントローラ１００４に向けて、いわゆるパーの形状にして振っているところである。ここでコントローラ１００４には画像センサユニット１００５が設けられていて、所定の周期で画像を生成している。

特に図示しない天井には照明機器１００６が設けられている。正面の壁１００７には、窓があって、電動式巻き上げ機能を備えたシェード１００８が設けられている。さらに、正面の壁上部には、空調設備１００９が備えられている。
１０１０は、照明機器に備えたコントローラであって、画像センサユニットを備え、このセンサユニットに向かってユーザが所定のキューサインもしくはキューサインを作って動作することにより、この機器を操作するように構成されている。
１０１１は、シェードに備えたコントローラであって、画像センサユニットを備え、このセンサユニットに向かってユーザが所定のキューサインもしくはキューサインを作って動作することにより、この機器を操作するように構成されている。
１０１２は、空調設備に備えたコントローラであって、画像センサユニットを備え、このセンサユニットに向かってユーザが所定のキューサインもしくはキューサインを作って動作することにより、この空調設備を操作するように構成されている。
さらに、これらの機器もしくは設備は、特に図示しない回線によりコントローラ１００４と接続している。

図２は、それぞれのコントローラ１００４、１０１０、１０１１そして１０１２とコントロール対象の機器や設備の制御部とを示したブロック図である。
コントローラ１００４は、マイコン等から構成されるコントロール回路２００１、画像センサユニット２００２、メモリ２００３、照明機器１００６の照明制御部２００４、シェード１００８のシェード制御部２００５、そして空調設備１００９の空調制御部２００６から構成される。
コントローラ１０１０は、マイコン等から構成されるコントロール回路２０１１、画像センサユニット２０１２、メモリ２０１３、そして照明機器１００６の照明制御部２０１４から構成される。
コントローラ１０１１は、マイコン等から構成されるコントロール回路２０２１、画像センサユニット２０２２、メモリ２０２３、そしてシェード１００８のシェード制御部２０２４から構成される。
コントローラ１０１２は、マイコン等から構成されるコントロール回路２０３１、画像センサユニット２０３２、メモリ２０３３、そして空調設備１００９の空調制御部２０３４との間に設けられているから構成される。
上記各コントローラは、予め組み込まれたファームウエア等の制御プログラムをコントロール回路のプロセッサーで実行し、画像センサユニット等のデバイスと協働することにより実現される。また、これらのプログラムは、コンピュータで読み取り可能な記録媒体に記録され、当該プロセッサーによって記録媒体から読み出され、コントローラのユーザが操作すること又はコントローラを構成するデバイスからの信号を受信することによって実行される。

図３は、コントローラ１００４の動作を示したフローチャートである。
特に図示しないメインスイッチが操作されると、コントローラの動作を実行するプログラムがコントロール回路で実行され、画像センサユニットおよびコントロール対象機器の制御部も起動してスタートとなる。
ステップ３００１において、画像センサユニットが生成するスルー画像の取得が、所定の周期で行われる。

次に、ステップ３００２において、取得したスルー画像から手指の形状の検出が行われる。手指の形状の検出は、画像の色成分の分析による肌色のパターンマッチング、エッジの切り出し等公知の解析方法を適宜採用して行う。尚、手指の形状の検出は、所定の時間内に生成される複数のスルー画像を解析して、複数の解析結果を相互に補完するステップを含む。
ここで手指の形状の有無が判断され、なければリターンとなり、あると判断されるとステップ３００３へ進む。

ステップ３００３では、メモリ２００３に予め登録されたキューサインの認識が行われる。
ここで、キューサインの認識は、以下のようなステップを実行することによる。
検出された手指の形状の特徴である欠損部、伸ばした指先の先端そして該形状の重心を抽出するステップ、この重心と各先端との画像上の距離で測定して相対的距離を抽出するステップ、メモリ２００３内に設けられたキューサイン記憶部に格納されたキューサインのバイオメトリクスと比較するステップである。この比較で予め設定した一致の範囲にある場合、キューサインの認識が成立する。
尚、手指の形状の検出は、所定の時間内に生成される複数のスルー画像を解析して、複数の解析結果を相互に補完するステップを含ものである。

図４は、メモリ２００３に設けられたキューサイン記憶部に格納されたバイオメトリクスのデータ構造を示した図である。
キューサインの名称４００１、バイオメトリクス４００２という大構造である。バイオメトリクスは、手指の形状モデル４００３と形状の特徴４００４とから構成されている。
ここで、右手パーのキューサインのための比較に用いる形状の特徴は、４００５に示す4つの欠損部（k1,k2,k3,k4）があること、４００６に示す指の先端に相当する5つの先端（T1,T2,T3,T4,T5）があること、４００７に示す重心Ｇから各指の先端までを画像上で計測した相対距離（L1，Ｌ2，Ｌ3，L４,L５）が所定の関係にあって、４００８に示す親指に該当するL1が他の相対距離に比べて最も短いことを採用する。
尚、ここで示した比較に用いる形状の特徴は、欠損部、先端そして先端の位置関係を示す特徴であれば、本実施例の特徴に限定されることなく適宜採用可能である。相対距離（Ｌｘ）の計測は重心からの距離の計測に限られるものではなく、適当に選択した形状に固有な特異点からの距離の計測であればよい。

図１６は、メモリ２００３に設けられたキューサイン記憶部に格納されたバイオメトリクスとして採用可能な他のデータ構造を示した図である。
キューサインの名称１６００１、バイオメトリクス１６００２という大構造である。バイオメトリクスは、手指の形状モデル１６００３と形状の特徴１６００４とから構成されている。
ここで、右手パーのキューサインのための比較に用いる形状の特徴は、１６００５に示す4つの欠損部（k1,k2,k3,k4）があること、１６００６に示す指の先端に相当する5つの先端（T1,T2,T3,T4,T5）があること、１６００７に示す各指同士の夾角（θ１、θ２、θ3、θ4）から所定の範囲にあること、１６００８に示す親指と人差し指とがなす夾角θ１が最も大きいことを採用する。左手のパーの場合は、１６００９に示すようにθ４が最も大きいことを採用する。
ここで夾角は、１６００３の形状モデルに示すように各指先と重心Ｇを結ぶ線分同士が作る夾角（∠T1GT2, ∠T2GT3, ∠T3GT4, ∠T4GT5）によって計測することとしたが、各指の中心線同士が交差して作る角度など適宜採用可能である。
また、端点の位置関係を示す特徴として、端点を結んで得られる直線同士の角度を計測し、形状の特徴に含むものとしてもよい。すなわち、形状モデル１６００３において、線分T1T2と線分T2T3とが作る角度、線分T2T3と線分T3T4とが作る角度、あるいは線分T3T4と線分T4T5とが作る角度といった角度である。

図３のフローに戻る。
キューサインの認識が成立しない場合、キューサインがないと判断されてリターンとなる。キューサインの認識が成立して、キューサインがあると判断されると、ステップ３００４に進む。
ステップ３００４において、メモリ２００３に備えた関連記憶部に格納されたキューサインの所定の動作の認識が行われる。動作の検出は、肌色領域のオプティカルフローを分析、スルー画像中に認識されるキューサインの重心の移動の検出など公知の方法を適宜採用して行われ、検出されたキューサインの動作と格納されたキューサインの動作とを比較して、所定の範囲で一致と判断されると、キューサインの動作の認識が成立する。
キューサインの動作が認識されない場合、リターンとなる。キューサインの動作が認識されると、ステップ３００５に進み、ユーザ位置の認識が行われる。ユーザ位置の認識は、画像センサユニットの撮影エリアに対してのキューサインを形成する手指の方向を認識することによって行う。
ここでは、キューサインが画像エリアの右辺（室内に向かう辺）から手が画像エリアに伸ばされた手指を認識したとき、入口から奥と認識し、それ以外を入口手前と認識するように設定することとする。ここでユーザ位置の認識は、画像エリアを任意に設定し、そのエリアと認識されるキューサインを形成する手指との関係で適宜決められることができるものであり、本実施例に限定されるものではない。
次にステップ３００６に進み、認識されたキューサイン、動作、ユーザ位置を関連記憶部に格納されたデータに照らし合わせて、制御動作を決定し、関連付けされたコントロール対象機器の制御信号の送出が行われる。
尚、ここではキューサインが所定の動作をした場合に制御信号の送出が行われる構成となっているが、本発明のコントローラはこれに限定されるものではなく単に所定のキューサインが認識されるだけで、このキューサインの予め関連付けしておいたコントロール対象機器の動作の制御信号を送出するものであってもよい。

図５の５０００は、メモリ２００３に備えた関連記憶部に格納された関連付けのデータ構造を示した図である。
ユーザ位置５００１、キューサインの動作５００２、そして関連付けられた動作５００３という構造である。
５００４に示すように、ユーザが入口手前にいる場合、右パーを振る動作が認識されると、照明機器の照明制御部に照明をオンとする信号が送出される。ユーザ位置は撮影エリアに入る手の方向を分析して判断するものとする。
５００５に示すように、ユーザが入口手前にいる場合、右パーを上へスウィープする動作が認識されると、照明機器の照明制御部に照度を上げる信号が送出される。５００６に示すように、右パーを下へスウィープすると、照明機器の照明制御部に照度を下げる信号が送出される。
ここで、スウィープ動作の継続に連動して、照度も継続して上下していく構成とする。そのため、ユーザは自らの手指のスウィープ上下への動作に連動して変化する照度を感じながら適切なところで動作を止めることにより、所望の照度コントロールを行うことができる効果がある。
ここでコントローラの対象とする機器の動作として、照明機器、シェード及び空調設備の動作が挙げられているが、本発明の対象機器の動作はこれに限られるものではなく、スピーカ音量、照明の色もしくは光量、空調機器の温度、湿度もしくは風量、カーテン、シェードもしくは窓の開度、椅子のリクライニングの角度、ドアの開閉、ドアロックの解除又は施錠、電話、テレビ電話もしくはインタホンの応答、エレベータの呼び出し、換気扇ON/OFFなどを適宜採用することが可能である。

ユーザが入口から奥にいる場合、５００７及び５００８に示すように同じ右パーのスウィープ動作であっても、照明ではなくシェードの巻き上げ、下げの動作をコントロールすることができる。
このようにユーザの画像センサに対する位置によって、コントロールの対象機器を変更する構成を採用することにより、限られたキューサインや動作を利用して多くの機器や動作をコントロールすることができる効果がある。
本発明のようにキューサインの形状として、人間工学的に形成が簡単であって、かつ、画像認識が比較的確実な形状を選択して利用するコントローラにとっては、コントロール対象機器を増やす顕著な効果がある。

図１８は、コントローラ１０１０、１０１１そして１０１２の動作を示したフローチャートである。
特に図示しないメインスイッチが操作されると、コントローラの動作を実行するプログラムがコントロール回路で実行され、画像センサユニットおよびコントロール対象機器の制御部も起動してスタートとなる。
ステップ１８００１において、画像センサユニットが生成するスルー画像の取得が、所定の周期で行われる。

次に、ステップ１８００２において、取得したスルー画像から手指の形状の検出が行われる。手指の形状の検出は、画像の色成分の分析による肌色のパターンマッチング、エッジの切り出し等公知の解析方法を適宜採用して行う。尚、手指の形状の検出は、所定の時間内に生成される複数のスルー画像を解析して、複数の解析結果を相互に補完するステップを含む。
ここで手指の形状の有無が判断され、なければリターンとなり、あると判断されるとステップ１８００３へ進む。

ステップ１８００３では、それぞれのコントローラに対応するメモリ２０１３、２０２３そして２０３３のいずれかに予め登録されたキューサインの認識が行われる。
ここで、キューサインの認識は、コントローラ１００４と同様のステップを実行することにより実行される。
キューサインの認識が成立しない場合、キューサインがないと判断されてリターンとなる。キューサインの認識が成立して、キューサインがあると判断されると、ステップ１８００４に進む。
ステップ１８００４において、それぞれのコントローラに対応するメモリ２０１３、２０２３そして２０３３のいずれかに備えた関連記憶部に格納されたキューサインの所定の動作の認識が行われる。
キューサインの動作が認識されない場合、リターンとなる。キューサインの動作が認識されると、ステップ１８００５に進み、関連付けされたコントロール対象機器の制御信号の送出が行われる。
尚、ここではキューサインが所定の動作をした場合に制御信号の送出が行われる構成となっているが、本発明のコントローラはこれに限定されるものではなく単に所定のキューサインが認識されるだけで、このキューサインの予め関連付けしておいたコントロール対象機器の動作の制御信号を送出するものであってもよい。

図５の５０１０、５０２０そして５０３０は、メモリ２０１３、２０２３そして２０３３に備えた関連記憶部に格納された関連付けのデータ構造を示した図である。
キューサインの動作は、５０１１、５０２１そして５０３１と、関連付けられた動作５０１２、５０２２、５０３２という構造である。
５０１３から５０１６、５０２３と５０２４、そして５０３３から５０３６は、それぞれのコントローラが各対象機器もしくは設備を制御する動作を示したものである。

（実施例１の変形例：熱画像センサを採用）
本実施例では、画像センサユニットに通常の画像センサを採用したが、熱画像センサを採用することも可能である。形状や動作の認識は、基本的には先に記載した構成で機能する。
熱画像センサは、暗闇でも明瞭な手指の形状の画像を生成することができるため、照明がオフになっている暗い部屋の確実に機能するコントローラとして、顕著な効果がある。

実施例２は、本発明のコントローラ装置がカメラ付き携帯情報端末に組み込まれている場合である。
図６は、本発明のコントローラ装置を適用したカメラ付き携帯情報端末を操作しているユーザのイメージ図である。
上記コントローラ装置は、予め組み込まれたファームウエア等のコントロールプログラムをカメラ付き携帯情報端末のプロセッサー又はコントロール回路で実行し、カメラ付き携帯情報端末を構成する画像センサ等のデバイスと協働することにより実現される。また、これらのプログラムは、コンピュータで読み取り可能な記録媒体に記録され、当該プロセッサー又はコントロール回路によって記録媒体から読み出され、ユーザが操作すること又はカメラ付き携帯情報端末を構成するデバイスからの信号を受信することによって実行される。

図７は、コントローラと当該端末の各種デバイスのブロック図である。
７００１は、コントローラ回路である。当該端末の回路の一部とすることも可能である。
７００２は、端末に内蔵の画像センサユニットである。ここで別途熱画像センサユニットを当該端末に組み込んで、熱画像をキューサインの認識に利用する構成も可能である。
７００３は、メモリであり、キューサイン記憶部、関連記憶部を設けてある。ここでメモリは当該端末のメモリの一部を利用することも可能である。
７００４は、端末内蔵カメラの制御部である。シャッター操作等を制御する。
７００５は、音量制御部であり、端末内蔵のスピーカの音量を制御する。

コントローラの動作のフロー及びキューサイン記憶部の構成は、実施例１と同様である。
図８は、実施例２に係る関連記憶部のデータ構造を示した図である。カメラ制御特有の動作であるレリーズ、ズームアップとズームダウンと、スピーカに特有の動作である「音量を増やす」および「音量を減少させる」とに、キューサインの動作が関連付けられている。
本発明のコントローラの対象とする機器の動作は、ここで採用した関連付けの動作に限られるものではなく対象機器の性質に応じて、適宜採用可能である。

ここでは、カメラ付き携帯情報端末をコントローラの対象機器としたが、本発明の対象機器はこれに限られるものではなく、デジタルカメラ、ゲーム機などに適宜採用可能である。

（実施例２の変形例：熱画像センサを採用）
本実施例では、画像センサユニットに端末内蔵の画像センサを採用したが、先に記載した通り別途当該端末に組み込んだ熱画像センサを採用することも可能である。形状や動作の認識は、基本的には先に記載した構成で機能する。
熱画像センサは、暗闇でも明瞭な手指の形状の画像を生成することができるため、照明がオフになっている暗い部屋の確実に機能するコントローラとして、顕著な効果がある。

実施例３は、本発明のコントローラ装置がテレビに組み込まれている場合である。
図９は、本発明のコントローラ装置を適用したテレビを操作しているユーザのイメージ図である。ユーザ９００１は、テレビ９００２に備えられた画像センサユニット９００３に向けてキューサイン９００４を形成している様子を示したイメージ図である。
ここでコントローラは、テレビ本体に内蔵されるため、図示されない。
図１０は、コントローラと当該端末の各種デバイスのブロック図である。
１０００１は、コントローラ回路である。当該端末の回路の一部とすることも可能である。
１０００２は、画像センサユニットである。ここで別途熱画像センサユニットを当該端末に組み込んで、熱画像をキューサインの認識に利用する構成も可能である。
１０００３は、メモリであり、キューサイン記憶部、関連記憶部を設けてある。ここでメモリは当該端末のメモリの一部を利用することも可能である。
１０００４は、チャンネル制御部である。チャンネルの変更を制御する。
１０００５は、音量制御部であり、スピーカの音量を制御する。
１０００６は。電源スイッチ制御部であり、テレビ電源のオンとオフを制御する。

コントローラの動作フロー及びキューサイン記憶部の構成は、実施例１と同様である。
図１１は、実施例３に係る関連記憶部のデータ構造を示した図である。テレビ制御特有の動作である電源スイッチ操作、チャンネルアップとチャンネルダウン、そしてスピーカの「音量を増やす」および「音量を減少させる」とに、キューサインの動作が関連付けられている。
本発明のコントローラの対象とする機器の動作は、ここで採用した関連付けの動作に限られるものではなく対象機器の性質に応じて、適宜採用可能である。

ここでは、テレビをコントローラの対象機器としたが、本発明の対象機器はこれに限られるものではなく、ラジオ、ゲーム機などに適宜採用可能である。

（実施例３の変形例：熱画像センサを採用）
本実施例では、画像センサユニットに通常の画像センサを採用したが、熱画像センサを採用することも可能である。形状や動作の認識は、基本的には先に記載した構成で機能する。
熱画像センサは、暗闇でも明瞭な手指の形状の画像を生成することができるため、照明がオフになっている暗い部屋の確実に機能するコントローラとして、顕著な効果がある。

実施例４は、本発明のコントローラ装置が対局時計に組み込まれている場合である。
図１２は、本発明のコントローラ装置を適用した対局時計を利用した対局のイメージ図である。ここで行われる対局は、チェスとするが、本発明で利用可能な対局はこれに限られるものではなく、将棋、碁など持ち時間計測の必要なボードゲームに適宜採用可能である。
先手用タイマー部１２００２と後手用タイマー部１２００３を有する対局時計１２００１、チェスボード１２００５を撮影エリアに設定したカメラ１２００４、着手を完了してキューサインのパー１２００７を作る先手ユーザ１２００６、後手ユーザ１２００８という対局状況である。
撮影エリアをチェスボード上に設定することにより、手指で作るキューサインの背景となる画像を予め設定することができるので、手指形状の切り出しを高速かつ正確にさせることができる。
ここでコントローラは、対局時計に内蔵されるため、図示されない。
図１３は、カメラ１２００４とコントローラの各種デバイスの関係を示したブロック図である。
１３００１は、コントローラ回路である。当該端末の回路の一部とすることも可能である。
１３００２は、メモリであり、キューサイン記憶部、関連記憶部を設けてある。
１３００３は、タイマー制御部である。タイマー部１２００２及び１２００３のスタート、停止等を制御する。

図１７は対局時計に内蔵されたコントローラの動作のフローチャートである。
特に図示しないメインスイッチが操作されると、コントローラの動作を実行するプログラムがコントロール回路で実行され、画像センサユニットおよびコントロール対象機器の制御部も起動してスタートとなる。
ステップ１７００１において、画像センサユニットが生成するスルー画像の取得が、所定の周期で行われる。

次に、ステップ１７００２において、取得したスルー画像から手指の形状の検出が行われる。手指の形状の検出は、画像の色成分の分析による肌色のパターンマッチング、エッジの切り出し等公知の解析方法を適宜採用して行う。尚、手指の形状の検出は、所定の時間内に生成される複数のスルー画像を解析して、複数の解析結果を相互に補完するステップを含む。
ここで手指の形状の有無が判断され、なければリターンとなり、あると判断されるとステップ１７００３へ進む。

ステップ１７００３では、メモリ１３００２に予め登録されたキューサインの認識が行われる。
ここで、キューサインの認識は、実施例１と同様のステップを実行することにより実行される。
キューサインの認識が成立しない場合、キューサインがないと判断されてリターンとなる。キューサインの認識が成立して、キューサインがあると判断されると、ステップ１７００４に進む。
ステップ１７００４において、後で説明するキューサインの方向の認識が行われる。
キューサインの方向が認識されると、ステップ１７００５に進み、関連付けされた動作の制御信号の送出が行われる。

図１４は、実施例４に係る関連記憶部のデータ構造を示した図である。１４００１は、カメラ１２００４の撮像エリアに入る手指の形状の方向の種類である。
中央から１４００４、先手側から１４００５そして後手側から１４００６の３種類がある。
１４００２は、ここで採用するキューサインの種類である。左手の手指で形成する５本の指を伸ばした形状である「左パー」と、右手の手指で形成する５本の指を伸ばした形状である「右パー」が選択されている。
上記３種類の方向と２つのキューサインの組み合わせについて、関連つけられた動作１４００３が設定されている。すなわち、「中央からの左パー」について、先手タイマーのスタートが、「先手側からの右パー」について、先手タイマー停止と後手タイマースタートが、「後手側からの右パー」について、後手タイマー停止と先手タイマースタートという関連付けである。
これらの動作は、採用するボードゲームのルールに基づいて設定される対局時計特有の動作であり、ここで採用した関連付けの動作に限られるものではなく対象ゲームのルールに応じて、適宜採用可能である。

図１５は、前述の方向についてのイメージに基づく説明図である。
矢印１５００１は、「中央から」を示す。次に、矢印１５００２は、「先手側から」を示す。そして、矢印１５００３は、「後手側から」を示すものである。
１５００４は、チェスボードに設定された撮影エリアであり、上記矢印の方向と略直角となるようにエリアを形成する矩形の上下辺と左右辺の向きを調節する。

（実施例４の変形例：熱画像センサを採用）
本実施例では、画像センサユニットに通常の画像センサを採用したが、熱画像センサを採用することも可能である。形状や動作の認識は、基本的には先に記載した構成で機能する。
熱画像センサは、背景となるゲームボードとキューサインを形成する温度差により手指の形状を正確かつ高速に検知して、ボード上に駒や碁石が複雑に存在していても明瞭な手指の形状の画像を生成することができるため、確実に機能する対局時計のコントローラとして、顕著な効果がある。

本発明のコントローラは、通信接続可能な機器であれば、いかなるものにも適用可能であり、室内外の設備機器からスマホで代表される情報端末まで利用可能性が幅広いものである。

２００１ 画像センサユニット
２００２ コントローラ回路
２００３ メモリ

Claims (18)

1. 画像センサと接続したコントローラであって、
   １）予め選択した５本の指を全て開いた形状（以下、キューサインと呼ぶ）を形成する手指のバイオメトリクスとして設定された伸ばした指の間に形成される４つの欠損部、凸部に当たる伸ばした５本の指の位置関係及び親指に係る特徴を含む基準データと、
   ２）前記キューサインとコントロール対象機器の所定動作を関連付けて、該関連を記憶する関連記憶手段と、
   ３）前記画像センサが連続して生成する画像（以下、スルー画像と呼ぶ）を所定の周期で解析をして手指の形状の検出をし、
   該形状において、伸ばした指の間に形成される欠損部、凸部に当たる伸ばした指の位置関係及び親指に係る特徴を検出し、
   前記基準データに含まれるバイオメトリクスと比較して、
   前記キューサインの認識をする認識手段と、
   ４）前記認識がされると、前記関連記憶手段を参照して、該認識がされたキューサインに関連付けされた前記所定動作の制御信号を所定のタイミングで発する制御手段とを、
   有する装置。
2. 前記所定のタイミングは、前記認識の後であって該認識が検知されなくなったタイミングであることを特徴とする請求項１に記載の装置。
3. 前記位置関係は、所定の位置から各指の先端までの相対的距離を画像上で計測して得られる相対的関係であって、前記比較は該距離の相対的関係が検出された形状の位置関係と前記バイオメトリクスに含まれる相対的位置関係との差が予め設定した範囲内であるか否かを判断するステップを含むことを特徴とする請求項１又は２に記載の装置。
4. 前記所定の位置は、前記キューサインの重心であることを特徴とする請求項３に記載の装置。
5. 前記親指の特徴は、前記キューサインの重心から親指の先端までの相対距離が他の相対距離に比べて最も短いことであることを特徴とする請求項３又は４に記載の装置。
6. 前記指の位置関係は、親指と人差し指とがなす夾角、人差し指と中指とがなす夾角、中指と薬指とがなす夾角、そして薬指と小指とがなす夾角であることを特徴とする請求項１又は２に記載の装置。
7. 前記親指の特徴は、前記親指と人差し指とがなす夾角が、他の前記夾角よりも大きいことであることを特徴とする請求項６に記載の装置。
8. 前記コントロール対象機器の所定動作との関連付けは、前記キューサインを振る動作、前記キューサインを所定の方向へ払う動作、両手で形成する前記キューサインの組合せから選ばれる少なくとも１つに対しての関連付けであることを特徴とする請求項１乃至７のいずれかに記載の装置。
9. 前記バイオメトリックスには、右手のキューサインの特徴と左手のキューサインの特徴が含まれており、前記認識において右手か左手かを識別するステップが含まれ、前記コントロール対象機器の所定動作との関連付けにおいて、前記右手のキューサインと前記左手のキューサインとでは異なる動作に対しての関連付けされることを特徴とする請求項１乃至８のいずれかに記載の装置。
10. 前記コントローラは、スピーカ音量、照明の色もしくは光量、空調機器の温度、湿度もしくは風量、カーテン、シェードもしくは窓の開度、椅子のリクライニングの角度から選ばれる少なくとも１つのボリュームコントローラであって、前記払う動作に連動させてボリュームの上げ下げが行われることを特徴とする請求項８又は９に記載の装置。
11. 前記コントローラは、テレビ、ラジオ、ゲーム機、デジタルカメラ、カメラ付き携帯電話から選ばれた少なくとも１つをコントロール対象とすることを特徴とする請求項１乃至８のいずれかに記載の装置。
12. 前記コントローラは、ドアの開閉、ドアロックの解除又は施錠、電話、テレビ電話もしくはインタホンの応答、エレベータの呼び出し、換気扇ON/OFFから選ばれる少なくとも1つの室内外の設備機器のコントロールを実行することを特徴とする請求項１乃至９のいずれかに記載の装置。
13. 前記コントローラは、ユーザの画像センサに対する位置に応じて、コントロール対象とする機器を変更する変更手段を有することを特徴とする請求項１乃至１２のいずれかに記載の装置。
14. 前記コントローラは、チェス、将棋、碁から選ばれる少なくとも１つのボードゲームの対局時計をコントロール対象とすることを特徴とする請求項1乃至９のいずれかに記載の装置。
15. 前記画像センサの撮影エリアは、予め前記ボードゲームのボード内に設定されていることを特徴とする請求項１４に記載の装置。
16. 前記キューサインを形成する手が前記撮影エリアに入る方向に応じて、前記所定動作が関連付けされることを特徴とする請求項１４又は１５に記載の装置。
17. 前記キューサインを形成する手が前記ボードに入る方向に応じて、前記所定動作が関連付けされることを特徴とする請求項１４又は１５に記載の装置。
18. 熱画像センサと接続したコントローラであって、
    前記所定の周期で解析及び手指の形状の検出は、熱画像に対して行われることを特徴とする請求項１乃至１７のいずれかに記載の装置。