JP2013196047A - ジェスチャ入力装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器、ジェスチャ入力システム、および、ジェスチャ入力装置の制御方法 - Google Patents

ジェスチャ入力装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器、ジェスチャ入力システム、および、ジェスチャ入力装置の制御方法 Download PDF

Info

Publication number
JP2013196047A
JP2013196047A JP2012059391A JP2012059391A JP2013196047A JP 2013196047 A JP2013196047 A JP 2013196047A JP 2012059391 A JP2012059391 A JP 2012059391A JP 2012059391 A JP2012059391 A JP 2012059391A JP 2013196047 A JP2013196047 A JP 2013196047A
Authority
JP
Japan
Prior art keywords
gesture
sensor
gesture input
input device
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012059391A
Other languages
English (en)
Inventor
Takashi Ota
昂志 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2012059391A priority Critical patent/JP2013196047A/ja
Priority to EP13151664.3A priority patent/EP2639672A2/en
Priority to US13/746,694 priority patent/US20130241830A1/en
Priority to KR1020130009023A priority patent/KR101545777B1/ko
Priority to CN2013100325884A priority patent/CN103309438A/zh
Publication of JP2013196047A publication Critical patent/JP2013196047A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

【課題】ジェスチャ認識の開始点を効率よく、また精度よく検出し、ジェスチャ認識精度の向上を図る。
【解決手段】センサ３からの入力を検知するセンサ感知部２２と、センサ３からの入力が検知されたときを基準として、カメラ５が撮影した画像を用いたジェスチャ認識を開始するジェスチャ認識処理部２４と、を備える
【選択図】図１

Description

本発明は、ユーザのジェスチャを認識することにより、機器を制御する制御信号を生成するジェスチャ入力装置、制御プログラム、コンピュータ読み取り可能な記録媒体、ジェスチャ入力システム、電子機器、および、ジェスチャ入力装置の制御方法に関する。
近年、カメラを用いたジェスチャ認識によるユーザインターフェースに対する需要が高まっている。ジェスチャ認識によるユーザインターフェースでは、特定の入力器具を用いなくてもユーザが手軽に操作を行うことができる一方で、ユーザのジェスチャを誤認することがある。
このため、ジェスチャ認識によるユーザインターフェースでは、ジェスチャ認識精度の向上が望まれている。特に、ジェスチャ認識の開始点が検出できていないと、ジェスチャ認識の誤認識が増えてしまうため、従来、ユーザのジェスチャの開始点を精度よく認識するための様々な技術が提案されている。
例えば、特許文献１には、ユーザが所持するペンライトの点灯によりジェスチャの開始を認識し、当該ペンライトの消灯によりジェスチャの終了を認識するジェスチャ認識装置であって、上記開始から終了までのペンライトの移動状態に基づいてジェスチャの種別を認識するジェスチャ認識装置が記載されている。
特開平９−３１１７５９号公報（１９９７年１２月２日公開）
しかしながら、特許文献１の技術では、ペンライトの点灯を検知するため、常に画像処理を行ってペンライトを補足していなければならず、処理負荷が高かった。また、ペンライトを画像認識して、ジェスチャの開始点を認識しているに過ぎなかったため、画像認識の精度が悪いと、開始点の認識精度もまた悪くなってしまっていた。従って、特許文献１の技術には、ジェスチャの開始点の認識において処理時間がかかったり、十分な精度が得られなかったりするという課題があった。
よって、ジェスチャ認識の開始点を精度よく認識するという課題に対して、依然として有効な対応策が示されていないのが現状である。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ジェスチャ認識の開始点を効率よく、また精度よく検出し、ジェスチャ認識の精度向上を図ることができるジェスチャ入力装置等を実現することにある。
上記の課題を解決するために、本発明に係るジェスチャ入力装置は、ジェスチャ主体がカメラに対して行うジェスチャの認識を行い、認識したジェスチャに基づいて制御対象機器を制御するジェスチャ入力装置であって、センサからの入力を検知するセンサ検知手段と、上記センサからの入力が検知されたときを基準として、上記カメラが撮影した画像を
用いたジェスチャ認識を開始するジェスチャ認識手段と、を備えることを特徴とする。
上記の課題を解決するために、本発明に係るジェスチャ入力装置の制御方法は、ジェスチャ主体がカメラに対して行うジェスチャの認識を行い、認識したジェスチャに基づいて制御対象機器を制御するジェスチャ入力装置の制御方法であって、センサからの入力を検知するセンサ検知ステップと、上記センサからの入力が検知されたときを基準として、上記カメラが撮影した画像を用いたジェスチャ認識を開始するジェスチャ認識ステップと、を含むことを特徴とする。
ジェスチャ主体とは、ジェスチャを行う主体であり、ジェスチャにより制御対象機器の操作を行うユーザである。なお、ジェスチャ主体は、人に限られず、動物や、可動する物体であってもよい。ジェスチャとは、ジェスチャ主体の特定部位の形状（特徴量）または動作、または、それらの組み合わせのことである。
例えば、ジェスチャ主体が人である場合、その人の顔（目、口等）、手、腕、胴、脚等のその人の身体の所定の形状もしくは所定の動作、または、それらの組み合わせを意味する。
また、ジェスチャ主体が人である場合、所定の動作としては、例えば、“手を旋回させる”、“手を振る”、“手を握ったり、開いたりする”が挙げられる。なお、所定の動作には、静止していることが含まれる。
上記構成では、ジェスチャ主体のジェスチャ認識を行い、認識したジェスチャに基づいて制御対象機器を制御する。当該ジェスチャ認識では、例えば、画像データを解析し、パターン認識によりジェスチャを認識する手法を採用することができる。
また、上記構成では、センサからの入力を検知する。センサは、温度・圧力・流量・光・磁気・音波・電磁波などを検知するものである。また、センサは、これらの物理量を計測したり、当該物理量の変化量を検出したり、これらの物理量およびその変化量を検出して物理的な状態変化を感知したりしてもよい。
また、センサは、ジェスチャ主体周辺の物理量または該物理量の変化を計測できるよう構成されていてもよい。このような構成によれば、センサがジェスチャ主体周辺の物理量等を計測したことを感知して、上記ジェスチャ主体の存否を判定することができる。
センサから取得したセンサデータから、ジェスチャ主体の存否を判定する手法については、特に限定されず、例えば、赤外線等を用いて物体を検知する手法等を採用することができる。
また、ジェスチャ主体そのものの物理量等を検出して、直接的に判定してもよいし、ジェスチャ主体の付随物に関する物理量等を検出し、間接的に判定してもよい。この付随物は、ジェスチャ主体が人である場合は、例えば、その人が所持している物も含まれる。例えば、その人が所有している携帯電話機等も含まれる。
より具体的には、ジェスチャ主体またはジェスチャ主体の付随物が熱を発している場合、センサ周囲の温度が所定値以上となることが観測できるときに、ジェスチャ主体が存在すると判定することができる。また、人が携帯電話機を所持している場合、携帯電話機が発信する電波を感知して、ジェスチャ主体が存在すると判定することができる。
以上のように、センサからの入力が検知される状況は、ジェスチャ主体によってジェス
チャが開始される可能性が高い状況ということができる。
上記構成によれば、センサからの入力が検知されたときを基準として、カメラが撮影した画像を用いたジェスチャ認識を開始するので、ジェスチャ主体によってジェスチャが開始される可能性が高い状況から、上記ジェスチャ認識を開始することができる。なお、基準とするとは、ジェスチャ主体が存在すると判定された時点を起点としても、当該時点から所定時間をおいた時点を起点としても構わないということである。
その結果、ジェスチャ認識の開始点を効率よく、また精度よく検出することができ、ジェスチャ認識の精度向上を図ることができるという効果を奏する。
本発明に係るジェスチャ入力装置では、上記センサは、無線通信に用いられる電波を感知する電波感知センサであり、上記センサ検知手段は、上記電波感知センサからの入力を検知するものであることが好ましい。
上記構成によれば、例えば、ジェスチャ主体が携帯電話機等の携帯通信端末を携帯しているような場合、携帯電話機の無線通信に用いられる電波を感知することで、間接的にジェスチャ主体を感知することができる。
本発明に係るジェスチャ入力装置では、上記ジェスチャ認識手段は、上記ジェスチャ認識に成功した場合、上記ジェスチャ認識を終了することが好ましい。
上記構成によれば、次のジェスチャ認識は、ジェスチャ主体が改めて感知されたときに開始される。すなわち、上記構成によれば、ジェスチャ入力の際に、ジェスチャ主体を感知してから、ジェスチャ認識を行うという一連の動作を都度行うことになる。
このように、ジェスチャ入力の際、都度、ジェスチャ主体を感知してから、ジェスチャ認識を行うことで、ジェスチャ認識の精度向上を図ることができる。
本発明に係るジェスチャ入力装置では、上記ジェスチャ認識手段は、上記ジェスチャ認識を開始した時点から、所定時間が経過した場合、上記ジェスチャ認識を終了することが好ましい。
上記構成によれば、所定期間内にジェスチャ認識が成功しなければジェスチャ認識を終了する。よって、ジェスチャ主体が感知されたが、ジェスチャ主体がジェスチャを行わないような場合、不用意にジェスチャ認識を継続することを避けることができる。
本発明に係るジェスチャ入力装置では、上記センサ検知手段は、上記センサからの入力を検知したときに、上記カメラの電源をオンにすることが好ましい。
ジェスチャ主体が存在しない可能性が高いときは、ジェスチャ入力が行われない。よって、このようなときには、カメラの電源をオフにしておけば、カメラの無駄な消費電力を抑えることができる。
上記構成によれば、ジェスチャ主体が存在しないときは、カメラの電源がオフになっていても、ジェスチャ主体が感知されたときに、カメラの電源をオンにして、カメラで撮影を開始することができる。よって、カメラの無駄な消費電力を抑えることができる。
なお、上記ジェスチャ入力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記ジェスチャ入力装置の各手段として動作させることにより、上記
ジェスチャ入力装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
また、上記ジェスチャ入力装置と、上記ジェスチャ入力装置にセンサデータを出力するセンサと、上記ジェスチャ入力装置に撮影した画像を出力するカメラと、上記ジェスチャ入力装置によって制御される制御対象機器と、を備える電子機器も本発明の範疇に入る。
また、上記ジェスチャ入力装置と、センサデータを出力するセンサと接続するためのインターフェースと、撮影した画像を出力するカメラと接続するためのインターフェースと、上記ジェスチャ入力装置によって制御される制御対象機器と、を備えることを特徴とする電子機器
また、上記ジェスチャ入力装置と、上記ジェスチャ入力装置にセンサデータを出力するセンサと、上記ジェスチャ入力装置に撮影した画像を出力するカメラと、上記ジェスチャ入力装置によって制御される制御対象機器と、を備えるジェスチャ入力システムも本発明の範疇に入る。
また、上記ジェスチャ入力システムにおいて、例えば、上記制御対象機器は、室内に設置され、上記センサは、ジェスチャ主体が、上記室内に入口から入室することを感知可能に構成され、上記カメラは、上記室内の上記入口付近の所定範囲を撮影可能に構成されていてもよい。
上記構成によれば、室内に制御対象機器が設置されている場合において、ジェスチャ認識の精度を向上させることができる。
本発明に係るジェスチャ入力装置は、センサからの入力を検知するセンサ検知手段と、上記センサからの入力が検知されたときを基準として、上記カメラが撮影した画像を用いたジェスチャ認識を開始するジェスチャ認識手段と、を備える構成である。
本発明に係るジェスチャ入力装置の制御方法は、センサからの入力を検知するセンサ検知ステップと、上記センサからの入力が検知されたときを基準として、上記カメラが撮影した画像を用いたジェスチャ認識を開始するジェスチャ認識ステップと、を含む方法である。
よって、ジェスチャの開始点を効率よく、また精度よく検出することができ、ジェスチャ認識の精度向上を図ることができる。
本発明の一実施形態に係るジェスチャ入力装置１を含むジェスチャ入力システムの機能的構成の一例を示す機能ブロック図である。 上記ジェスチャ入力装置が備える記憶部に格納されているジェスチャ認識データの一例を示す図である。 上記記憶部に格納されている制御信号テーブルの一例を示す図である。 上記ジェスチャ入力装置におけるジェスチャ入力処理の一例を示すフローチャートである。 本発明の他の実施形態に係るジェスチャ入力システムの機能的構成の一例を示す機能ブロック図である。 テレビジョン受像機の記憶部に格納されている制御内容テーブルの一例を示す図である。 上記ジェスチャ入力システムにおいて、テレビジョン受像機の電源をＯＮにする場合の使用態様の例について示した図である。 本発明のさらに他の実施形態に係るジェスチャ入力システムの機能的構成の一例を示す機能ブロック図である。 上記ジェスチャ入力システムにより、照明を点灯する場合の使用態様の例について示した図である。 上記ジェスチャ入力システムの変形例について示す図である。 本発明のさらに他の実施形態に係るジェスチャ入力システムの機能的構成の一例を示す機能ブロック図である。 上記ジェスチャ入力システムにおいて、エアーコンディショナの電源をＯＮにする場合の使用態様の例について示した図である。 本発明のさらに別の実施形態に係るジェスチャ入力システムについて示した図である。
〔実施形態１〕
図１〜図４を用いて、本発明の一実施形態に係るジェスチャ入力システムＳＹＳ１について説明すると以下のとおりである。
（システム概要）
まず、図１を参照しながら、ジェスチャ入力装置１を含むジェスチャ入力システムＳＹＳ１全体について説明する。
ジェスチャ入力システムＳＹＳ１は、ジェスチャ入力装置１、センサ３、カメラ５、および制御対象機器７を備える。
ジェスチャ入力装置１は、カメラ５から入力された画像に基づいて、ジェスチャ主体Ｕのジェスチャを認識し、認識したジェスチャに応じた操作を制御対象機器７に実行させるものである。
ジェスチャ主体Ｕとは、ジェスチャを行う主体であり、ジェスチャにより制御対象機器７の操作を行うユーザである。また、ジェスチャとは、ジェスチャ主体Ｕの特定部位の形状（特徴量）または動作、または、それらの組み合わせのことである。例えば、ジェスチャ主体Ｕが人である場合、その人の顔（目、口等）、手、腕、胴、脚等のその人の身体の所定の形状もしくは所定の動作、または、それらの組み合わせを意味する。この動作には、静止していることが含まれる。
また、ジェスチャ入力装置１は、ジェスチャ認識の開始時期を、センサ３からのセンサデータに基づいて決定する。ジェスチャ入力装置１の構成については、後ほど詳しく説明する。
センサ３は、温度・圧力・流量・光・磁気・音波・電磁波などの物理量を計測したり、当該物理量の変化量を検出したり、これらの物理量およびその変化量を検出して物理的な状態変化を感知したりするものである。センサ３は、上記ジェスチャ主体周辺の物理量等を感知するために設けられる。センサ３は、検知結果をセンサデータとして出力する。なお、センサ３は、単一のセンサではなく、複合的なセンサであっても構わない。例えば、センサ３は、音波センサおよび電波感知センサを含む構成であってもよい。
また、センサ３は、ジェスチャ主体Ｕを直接的または間接的に感知するためのセンサデータを収集するために設けられる。なお、図１において、ジェスチャ主体Ｕと、センサ３との間を点線の矢印で結線しているのは、直接的関係および間接的関係が含まれることを
示している。
ジェスチャ主体Ｕが人である場合、センサ３には、人感センサを用いることができる。また、ジェスチャ主体Ｕが、ＲＦＩＤタグなどの電波発信素子等を身に着けていることが想定される場合、センサ３には、電波感知センサなどを用いることができる。
カメラ５は、ジェスチャ主体Ｕを撮像素子等により撮影し、撮影した画像の画像データを出力するものである。ジェスチャ主体Ｕは、例えば、制御対象機器７のユーザであり、ジェスチャ入力装置１に対してジェスチャ入力を行うものである。また、カメラ５は、画像データを、連続的に生成して、動画像データとして出力してもよいし、所定間隔で、あるいは、非定期的に画像データを生成して、静止画像データとして出力してもよい。
制御対象機器７は、ジェスチャ入力装置１からの制御信号に従って当該機器の動作を制御する動作制御部７１を備えている。制御対象機器７は、例えば、テレビ、照明、エアコン、ＰＣ等の家電機器である。
ただし、これに限られず、制御対象機器７は、制御信号を受信し、受信した制御信号に基づいて処理を実行する機器であれば何でもよい。例えば、銀行等に設置されているＡＴＭ（Automated teller machine）、自動販売機、および駅等に設置されている券売機であっても構わない。また、制御対象機器７は、ジェスチャ入力装置１を内部に備えていてもよいし、外部に設けられたジェスチャ入力装置１から制御信号を受信するように構成されていてもよい。
（ジェスチャ入力装置）
次に、図１を用いて、ジェスチャ入力装置１の機能的構成について説明する。図１は、ジェスチャ入力装置１の機能的構成の一例を示す機能ブロック図である。
図１に示すように、ジェスチャ入力装置１は、記憶部１０および制御部２０を備える。以下、記憶部１０および制御部２０について順に説明する。
［記憶部］
記憶部１０は、制御部２０が参照するプログラムや各種データ等を格納するものである。より詳細には、記憶部１０は、センサ判定基準データ１１、ジェスチャ認識データ１２、および制御信号テーブル１３を格納している。以下、図２および図３を参照しながら、これらについて説明する。
センサ判定基準データ１１は、ジェスチャ主体Ｕをセンサで感知したか否かを判定するための基準となる情報である。センサ判定基準データ１１では、例えば、センサからのセンサデータに対応した閾値等が定義される。より具体的には、電波センサから電波強度がセンサデータとして出力されてくる構成の場合、電波強度の閾値等を定義しておく。また、例えば、センサからのセンサデータが示す電波強度が、当該閾値以上であるか否かに応じて、ジェスチャ主体Ｕをセンサで感知したか否かが判定される。
ジェスチャ認識データ１２は、ジェスチャを認識するためのパターンを定義する。ジェスチャ認識データ１２の具体例を、図２に示している。図２に示すように、ジェスチャ認識データ１２では、複数のジェスチャパターンが定義されている。例えば、ジェスチャ認識データ１２には、“手を旋回させる”ジェスチャパターンＧ１、“手を握る・開く”ジェスチャパターンＧ２、および、“手を左右に振る”ジェスチャパターンＧ３が含まれる。
制御信号テーブル１３は、送出すべき制御信号と、ジェスチャとを対応付けるテーブルである。制御信号テーブル１３の具体例を、図３に示している。制御信号テーブル１３では、例えば、制御信号ＳＩＧ００１、ＳＩＧ００２、およびＳＩＧ００３が、それぞれ、ジェスチャパターンＧ１、Ｇ２、およびＧ３と対応付けられている。
［制御部］
制御部２０は、記憶部１０から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、ジェスチャ入力装置１が備える各部を統括的に制御するものである。より詳細には、制御部２０は、センサ情報取得部２１、センサ感知部（センサ検知手段）２２、カメラ映像取得部２３、ジェスチャ認識処理部（ジェスチャ認識手段）２４、および機器制御指示部２５を備える。これらの制御部２０の各機能ブロック（２１〜２５）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。
センサ情報取得部２１は、センサ３から出力されるセンサデータを取得するとともに、取得したセンサデータをセンサ感知部２２に供給する。
センサ感知部２２は、ジェスチャ主体Ｕがセンサで感知されたか否かを判定するものである。さらにいえば、センサ感知部２２は、ジェスチャ主体Ｕがジェスチャ入力装置１にジェスチャ入力を行える位置にいるか否かをセンサデータに基づいて判定してもよい。
例えば、センサ感知部２２は、センサ情報取得部２１にセンサ３からの入力があったときに、ジェスチャ主体Ｕがセンサで感知されたと判定する。
また、例えば、センサ感知部２２は、記憶部１０から読みだしたセンサ判定基準データ１１に基づいて、センサデータを判定することで、ジェスチャ主体Ｕの存否を判定する。
より詳しく説明すると次のとおりである。例えば、センサデータが電波強度を示すものであり、センサ判定基準データ１１が電波強度の閾値を定義している場合、センサ感知部２２は、電波強度が閾値以上であるか否かを判定する。
また、例えば、センサ感知部２２は、電波強度が閾値以上である場合、ジェスチャ主体Ｕが存在すると判定し、電波強度が閾値より小さい場合、ジェスチャ主体Ｕが存在しないと判定する。
しかしながら、上述の例は、単なる例示であり、これに限定されない。ジェスチャ主体Ｕがセンサで感知されたか否かの判定は、物体・人等の存在を検出するための任意の手法を用いることができる。また、複合的なセンサを用いる場合、上記判定は、複数のセンサデータおよびセンサ判定基準データ１１に基づいて行う。これによりジェスチャ主体Ｕの存否の判定の精度の向上を図ることができる。
なお、センサ感知部２２は、ジェスチャ主体Ｕがセンサで感知された場合、ジェスチャ認識処理部２４に、ジェスチャ主体Ｕがセンサで感知された旨を通知する。
カメラ映像取得部２３は、カメラ５が出力する画像データを取得するとともに、取得した画像データをジェスチャ認識処理部２４に供給する。
ジェスチャ認識処理部２４は、画像データを解析して画像データに示されるジェスチャを認識するジェスチャ認識処理を行う。ジェスチャ認識処理部２４は、具体的には、ジェ
スチャ主体Ｕの存在が確認されたことを契機に、画像データのジェスチャ認識を開始する。すなわち、ジェスチャ認識処理部２４は、ジェスチャ主体Ｕがセンサ感知された時点をジェスチャの開始時点と認識し、その時点からの画像データに基づいてジェスチャ認識処理を開始する。
上記ジェスチャ認識処理において、ジェスチャ認識処理部２４は、画像データとジェスチャ認識データ１２とを照合し、画像データに、ジェスチャパターンに一致するジェスチャが含まれるか否かを判定する。
なお、ジェスチャ認識処理部２４は、画像データに、ジェスチャパターンに一致するジェスチャが含まれる場合、一致したジェスチャパターンを機器制御指示部２５に通知する。
機器制御指示部２５は、ジェスチャパターンに応じた制御信号を生成し、制御対象機器７に対して出力する。機器制御指示部２５は、具体的には、制御信号テーブル１３を参照して、ジェスチャパターンに対応付けられている制御信号を生成する。また、機器制御指示部２５は、生成した制御信号を制御対象機器７の動作制御部７１に対して出力する。
なお、機器制御指示部２５は、制御信号の出力を終了したとき、その旨をジェスチャ認識処理部２４に通知してもよい。また、ジェスチャ認識処理部２４は、この制御信号の出力の終了通知を受信した場合、ジェスチャ認識を終了してもよい。
また、ジェスチャ入力装置１の機器制御指示部２５と、制御対象機器７の動作制御部７１との間は、どのような接続形態であっても構わない。例えば、制御対象機器７が、ジェスチャ入力装置１を内部に備える構成であれば、プロセス間通信、データバス、配線等により両者の間が接続されていてもよい。また、制御対象機器７が、外部に設けられたジェスチャ入力装置１から制御信号を受信する構成であれば、無線通信手段または有線通信手段によって、両者の間がネットワーク接続されていてもよい。
〔ジェスチャ入力処理の流れ〕
次に、図４を用いて、ジェスチャ入力装置１におけるジェスチャ入力処理について説明する。図４は、ジェスチャ入力装置１におけるジェスチャ入力処理の一例を示すフローチャートである。
図４に示すように、まず、センサ情報取得部２１が取得したセンサデータに基づいて、センサ感知部２２が、ジェスチャ主体Ｕがセンサで感知されたか否かを判定する（Ｓ１１）。
ジェスチャ主体Ｕがセンサで感知されていない場合（Ｓ１１においてＮＯ）、センサ感知部２２は、引き続きセンサデータを受け付ける。
一方、ジェスチャ主体Ｕがセンサで感知された場合（Ｓ１１においてＹＥＳ）、センサ感知部２２は、その旨をジェスチャ認識処理部２４に通知し、これによりジェスチャ認識処理部２４において画像データに基づくジェスチャ認識が開始される（Ｓ１２）。
次に、ジェスチャ認識処理部２４が、ジェスチャ認識処理を行って（Ｓ１３）、ジェスチャ認識処理が成功したか否かを判定する（Ｓ１４）。
画像データにおいて、ジェスチャパターンに一致するジェスチャが含まれておらず、ジェスチャ認識処理が失敗した場合（Ｓ１４においてＮＯ）、ジェスチャ認識処理部２４は
、引き続き画像データを受け付けてジェスチャ認識処理を行う（Ｓ１３に戻る）。
一方、画像データにおいて、ジェスチャパターンに一致するジェスチャが含まれており、ジェスチャ認識処理が成功した場合（Ｓ１４においてＹＥＳ）、機器制御指示部２５が、一致したジェスチャパターンに対応付けられている制御信号を生成し、生成した制御信号を制御対象機器７に対して出力する。
その後、ジェスチャ認識処理部２４は、ジェスチャ認識を終了し（Ｓ１６）、ジェスチャ入力処理が終了する。
なお、ジェスチャ主体Ｕがセンサで感知された場合、Ｓ１２において、ジェスチャ認識処理部２４が画像データに基づくジェスチャ認識を開始することとしたが、次のように構成することもできる。
すなわち、ジェスチャ主体Ｕがセンサで感知されていない間は、カメラ映像取得部２３が、カメラから画像データを取得することを停止する一方で、ジェスチャ主体Ｕがセンサで感知されたときから、ジェスチャ認識処理部２４への画像データの供給を開始するよう構成してもよい。
また、Ｓ１２において、ジェスチャ認識処理部２４は、ジェスチャ主体Ｕがセンサで感知された時点から、所定時間をおいて、ジェスチャ認識を開始してもよい。
なお、センサの設置場所と、カメラの設置場所とが離れている場合、所定時間は次のように決定できる。例えば、当該所定時間は、センサの設置場所と、カメラの設置場所との距離、およびジェスチャ主体Ｕが、当該距離を移動するためにかかると予測される時間に応じて決定することができる。
また、Ｓ１４において、ジェスチャ認識処理に失敗した場合において、ジェスチャ認識の開始から、所定時間が経過していれば、ジェスチャ認識を終了してもよい（すなわち、Ｓ１１に戻ってもよい）。
また、Ｓ１６において、ジェスチャ認識処理部２４がジェスチャ認識を終了するようにしたが、カメラ映像取得部２３が、画像データを取得することを終了してもよい。
また、以上では、ジェスチャ認識が成功すれば、ジェスチャ認識を終了する構成とした。すなわち、上記構成によれば、ジェスチャ入力操作の都度、ジェスチャ主体Ｕを感知する。
これは、ジェスチャ入力操作が続けて行われない場合もあり、一つのジェスチャ認識がいったん終了し、次にジェスチャ認識を行う際には、改めてジェスチャ主体Ｕを感知し直したほうが好ましい場合があるためである。
すなわち、一つのジェスチャ入力操作が終わってから、次のジェスチャ入力操作までに、所定の時間間隔があるようであれば、ジェスチャ入力操作の都度、ジェスチャ主体Ｕを感知することが、ジェスチャ認識精度向上の観点から好ましい。しかしながら、これに限られずジェスチャ認識を継続して行うことも可能である。
（作用・効果）
以上に示した通り、ジェスチャ入力装置１は、ジェスチャ主体Ｕがカメラ５に対して行うジェスチャを認識し、認識したジェスチャに基づいて制御対象機器７を制御するジェス
チャ入力装置１であって、ジェスチャ主体Ｕ周辺の物理量または該物理量の変化を計測するためのセンサ３からの入力を検知するセンサ感知部２２と、センサ３からの入力が検知されたときを基準として、カメラ５が撮影した画像を用いたジェスチャ認識を開始するジェスチャ認識処理部２４と、を備える構成である。
これにより、ジェスチャ認識の開始点を効率よく、また精度よく検出することができ、ジェスチャ認識の精度向上を図ることができるという効果を奏する。
〔実施形態２〕
図５〜図７を用いて、本発明の他の実施形態に係るジェスチャ入力システムＳＹＳ２について説明すると以下のとおりである。なお、説明の便宜上、前記実施形態１にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
（システム概要）
まず、図５を用いて、ジェスチャ入力システムＳＹＳ２の概要について説明する。図５に示すジェスチャ入力システムＳＹＳ２は、図１に示したジェスチャ入力システムＳＹＳ１の構成を、より具体的な機器に適用したものである。
すなわち、図５に示すジェスチャ入力システムＳＹＳ２は、図１に示すジェスチャ入力システムＳＹＳ１において、制御対象機器７を、テレビジョン受像機７Ａとしたものである。また、図５において、図１におけるジェスチャ主体Ｕに相当するのは、当該テレビジョン受像機７Ａを使用する視聴者Ｕ１である。
図５に示すジェスチャ入力システムＳＹＳ２は、携帯電話機（携帯通信端末）１００を使用する視聴者Ｕ１が、テレビジョン受像機７Ａを操作して番組を視聴するためのジェスチャ入力機能を提供する。また、以下では、テレビジョン受像機７Ａにおいて、視聴者Ｕ１が使用する携帯電話機１００を感知することにより、間接的にジェスチャ主体Ｕを検出する例について説明する。
（システム構成）
図５に示すように、ジェスチャ入力システムＳＹＳ２は、携帯電話機１００およびテレビジョン受像機７Ａを備える。
携帯電話機１００は、携帯電話網、および近距離無線通信網に通信接続することが可能な通信端末である。近距離無線通信網としては、例えば、ＷＬＡＮ（Wireless LAN）、Ｗｉｍａｘ、およびＢｌｕｅｔｏｏｔｈ（登録商標）等が挙げられる。
また、以下では、例示的に、ジェスチャ入力システムＳＹＳ２が携帯電話機１００を備える構成について説明するが、これに限られない。携帯電話機１００は、その他の携帯通信端末であっても構わない。例えば、タブレット型ＰＣや、スマートフォン（多機能携帯電話機とも称される）であってもよい。
テレビジョン受像機７Ａは、近距離無線装置３Ａと、カメラ５と、電源部８と、記憶部１０と、制御部２０とを備える。
近距離無線装置３Ａは、図１のセンサ３に対応する電波感知センサ３１を備えている。電波感知センサ３１は、携帯電話機１００の電波発信部１０１から発信される電波を感知するためのセンサである。電波発信部１０１は、視聴者Ｕ１の操作に応じて上記近距離無線通信網で用いられる周波数帯の電波を発信する。例えば、近距離無線網が、ＷＬＡＮである場合、電波発信部１０１は、ＷＬＡＮの周波数帯である２．１２ＧＨｚ〜２．４７２ＧＨｚの電波を発信する。
カメラ５は、これまでに説明したとおりであるので、その説明を省略する。
電源部８は、カメラ５をはじめとする、テレビジョン受像機７Ａの各部が動作するための電源を供給する。電源部８は、後に説明する機器制御指示部２５からの制御信号に従って、各部への電源供給を開始および停止する。
なお、テレビジョン受像機７Ａが、“電源ＯＦＦ”の状態であっても、少なくともジェスチャ入力装置１が動作するための電源が電源部８から供給されるものとする。
また、テレビジョン受像機７Ａは、ジェスチャ入力装置１を内部に備えている。ジェスチャ入力装置１が備える構成要素については、既に説明した通りであるのでその説明を省略する。
記憶部１０および制御部２０は、ジェスチャ入力装置１とテレビジョン受像機７Ａとの間で、共有されている。
なお、記憶部１０では、上述したジェスチャ入力装置１の構成要素に加えて、動作制御部７１が参照できるように構成されている制御内容テーブル７２を設けている。
制御内容テーブル７２は、テレビジョン受像機７Ａの制御内容を定義したテーブルである。図６に、制御内容テーブル７２の具体的構成例を示している。図６に示すように、制御内容テーブル７２は、機器制御指示部２５が出力する制御信号と、当該制御信号に従って実行すべき制御内容とを対応付けている。
より詳細には、制御内容テーブル７２では、例えば、制御信号ＳＩＧ００１、ＳＩＧ００２、およびＳＩＧ００３に、それぞれ、“電源ＯＮ／ＯＦＦ”、“決定”、および“キャンセル”が対応付けられている。
また、制御部２０は、上述したジェスチャ入力装置１の構成要素に加えて、テレビジョン受像機７Ａの動作制御部７１を備える。
（使用態様の例）
次に、図７を参照しながら、ジェスチャ入力装置１を含むジェスチャ入力システムＳＹＳ２の使用態様の例について説明する。図７の（ａ）〜（ｄ）は、ジェスチャ入力システムＳＹＳ２において、テレビジョン受像機７Ａの電源をＯＮにする場合の使用態様の例について示した図である。なお、以下の説明では、図４に示したフローチャートにおける対応するステップを括弧書きにて記載している。また、図７には、記載の便宜上、ジェスチャ入力システムＳＹＳ３の大まかな構成のみ示しているので、その構成詳細については、図５も併せて参照されたい。
まず、図７の（ａ）に示す状態では、テレビジョン受像機７Ａは、電源ＯＦＦの状態であるとする。また、テレビジョン受像機７Ａの付近（例えば、同じ部屋）に設置されているデスクの上には、携帯電話機１００が静置されている。近距離無線装置の電波感知センサ３１は、電波を感知していないので、センサ感知部２２は、視聴者Ｕ１が感知されるのを待ち受ける（Ｓ１１においてＮＯ）。携帯電話機１００は、例えば、充電中であってもよい。なお、図７の（ａ）〜（ｄ）では、説明の便宜のため、視聴者Ｕ１の手だけを示している。
次に、図７の（ｂ）に示すように、視聴者Ｕ１が、携帯電話機１００の電波発信部１０
１に対して操作を行う。これに伴って、電波Ｒ１は電波発信部１０１から発信される。電波発信部１０１は、例えば、ユーザの操作を受け付けるための操作部を有していてもよい。
また、上記ユーザの操作は、携帯電話機１００の所定の操作以外の操作を制限するロック機能を解除する操作であっても構わない。上記操作部は、物理的なボタンであってもよいし、タッチパネル等の入力インターフェースであっても構わない。
また、電波発信部１０１は、携帯電話機１００に導入可能なアプリケーションによって実現されていても構わない。また、上記アプリケーションは、テレビジョン受像機７Ａを、電波を用いてリモートコントロールするための機能を備えていてもよい。
一方、テレビジョン受像機７Ａでは、近距離無線装置３Ａでは、電波感知センサ３１が、電波Ｒ１を検出し、検出結果に基づくセンサデータを生成する。そして、センサ情報取得部２１が取得したセンサデータに基づいて、センサ感知部２２が、“視聴者Ｕ１が感知された”と判定する（Ｓ１１においてＹＥＳ）。これにより、ジェスチャ認識処理部２４が、ジェスチャ認識を開始する（Ｓ１２）。なお、視聴者Ｕ１がジェスチャを行う前に、携帯電話機１００が静置されている場所から、カメラの撮影範囲まで移動することが想定される場合、“視聴者Ｕ１が感知された”と判定されたときから、所定時間後に、ジェスチャ認識を開始してもよい。
次に、図７の（ｃ）に示すように、視聴者Ｕ１が、カメラ５に向かってジェスチャを行う。ここでは、視聴者Ｕ１が、“手を旋回させる”ジェスチャを行うものとする。これに対して、ジェスチャ認識処理部２４がカメラ５からの画像データに基づき、ジェスチャ認識処理を実行する（Ｓ１３）。
次に、図７の（ｄ）に示すように、ジェスチャ認識処理部２４が認識したジェスチャに応じてテレビジョン受像機７Ａの電源がＯＮとなる。具体的には、“手を旋回させる”ジェスチャ（図２に示すジェスチャパターンＧ１）のジェスチャ認識処理が成功すると（Ｓ１４においてＹＥＳ）、機器制御指示部２５が、図３に示した制御信号テーブル１３に基づいて制御信号ＳＩＧ００１を生成し、動作制御部７１に出力する（Ｓ１５）。動作制御部７１は、図６に示した制御内容テーブル７２を参照し、制御信号ＳＩＧ００１に対応する電源ＯＮ動作を実行する。その後、ジェスチャ認識処理部２４は、ジェスチャ認識を終了する（Ｓ１６）。
なお、センサ感知部２２において、“視聴者Ｕ１が感知された”と判定されるまでは、カメラ５に対する電源供給は停止されていてもよい。そして、センサ感知部２２が、“視聴者Ｕ１が感知された”と判定したときに、電源部８に対して、カメラ５の電力供給を開始するように指示しても構わない。これにより、カメラ５の消費電力を低減することが可能である。
（変形例）
以上では、テレビジョン受像機７Ａが、カメラ５および電波感知センサ３１を備える構成であったが、これに限られない。テレビジョン受像機７Ａは、カメラ５および電波感知センサ３１と接続するためのインターフェースを備える構成であってもよく、当該インターフェースを介して、カメラ５および電波感知センサ３１と接続されてもよい。
また、以上では、近距離無線装置３Ａにおいて、電波を感知するための電波感知センサ３１を設ける構成について説明したが、これに限られず以下のとおりに構成することも可能である。
（１）近距離無線装置３Ａにおいて、携帯電話機１００が、無線ネットワークに参加したことを検出し、その旨を示すセンサデータを出力してもよい。また、近距離無線装置３Ａが出力するセンサデータが、携帯電話機１００が無線ネットワークに参加したことを示すとき、センサ感知部２２は、“視聴者Ｕ１が感知された”と判定してもよい。
（２）近距離無線装置３Ａにおいて、次のように複合的なセンサを設ける構成とし、携帯電話機１００からの出力される電波等を複合的に検知するようにすることができる。
すなわち、携帯電話機１００は、電波発信部１０１に加えて、ユーザの操作に応じて音声を出力する音声出力部を備える構成とする。音声出力部は、ユーザが画面入力操作を行ったときや、着信や音楽再生を行ったときに音声を出力するものである。
また、近距離無線装置３Ａは、電波感知センサ３１に加えて、音感知センサを備える構成とする。これにより、近距離無線装置３Ａは、電波発信部１０１から出力される電波に加えて、上記音声出力部から出力される音声を感知することができる。
また、携帯電話機１００に対して行う視聴者Ｕ１の操作は、ロック機能を解除する機能であってもよい。また、携帯電話機１００では、ロック機能の解除に伴って、上記電波および音声が出力されるように構成されていてもよい。
上記構成によれば、視聴者Ｕ１が携帯電話機１００のロック機能を解除したことを、近距離無線装置３Ａにおいて検知することができる。このように、近距離無線装置３Ａにおいて複合的なセンサを設けることにより、視聴者Ｕ１を感知する精度を向上させることができる。
（３）また、以上では、携帯電話機１００に対する操作に基づいて視聴者Ｕ１の存在を感知していたが、次のとおり構成変更することも可能である。
すなわち、携帯電話機１００を、テレビジョン受像機７Ａの赤外線リモートコントローラに変更するとともに、電波感知センサ３１を、赤外線入力部に変更してもよい。また、リモートコントローラのジェスチャスイッチがＯＮになったことを、赤外線入力部において感知することで、視聴者Ｕ１の存在を感知してもよい。
〔実施形態３〕
図８〜図１０を用いて、本発明のさらに他の実施形態に係るジェスチャ入力システムＳＹＳ３について説明すると以下のとおりである。なお、説明の便宜上、これまで説明した実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
（システム概要）
まず、図８を用いて、ジェスチャ入力システムＳＹＳ３の概要について説明する。図８に示すジェスチャ入力システムＳＹＳ３は、図１に示したジェスチャ入力システムＳＹＳ１を、室内照明システムに適用したものである。
すなわち、図８に示すジェスチャ入力システムＳＹＳ３は、図１に示したジェスチャ入力システムＳＹＳ１において、制御対象機器７を、照明７Ｂとしたものである。また、図８において、図１におけるジェスチャ主体Ｕに相当するのは、照明器具が設けられた室内に入室する入室者Ｕ２である。
図８に示すジェスチャ入力システムＳＹＳ３は、自動ドア３Ｂが設けられた室内に入室する入室者Ｕ２が、室内に設けられた照明７Ｂを操作するためのジェスチャ入力機能を提
供する。また、以下では、自動ドア３Ｂにおいて、入室者Ｕ２を感知することにより、直接的にジェスチャ主体Ｕを検出する例について説明する。
（システム構成）
図８に示すように、ジェスチャ入力システムＳＹＳ３は、ジェスチャ入力装置１、自動ドア３Ｂ、カメラ５、および照明７Ｂを備える。
図８に示すジェスチャ入力装置１は、図１に示すジェスチャ入力装置１において、接続部９を追加した構成である。
接続部９は、ジェスチャ入力装置１を、自動ドア３Ｂ、カメラ５、および照明７Ｂと接続するための端子またはネットワークインターフェースを備える。接続部９における接続形態は、任意のものを採用することができる。例えば、接続部９は、金属配線を接続するための端子を備えていてもよい。また、接続部９は、有線または無線ＬＡＮ（Local Area
Network）のネットワークインターフェースを備えていてもよい。
なお、ジェスチャ入力システムＳＹＳ３に含まれるジェスチャ入力装置１のジェスチャ認識データ１２および制御信号テーブル１３では、ジェスチャパターンＧ２およびＧ３に関する定義を省略してもかまわない。
自動ドア３Ｂは、開閉式のドアを備えており、開閉センサ３２により入室者Ｕ２を感知することで開閉する。開閉センサ３２は、所定範囲の人物の存否を感知するものである。開閉センサ３２として、例えば、赤外線により人物の存否を検出するもの等を用いることができるが、これに限られず任意の人感センサを用いることができる。また、開閉センサ３２は、ジェスチャ入力装置１の接続部９に接続されている。
カメラ５は、これまでに説明したとおりであるので、その説明を省略する。
照明７Ｂは、ジェスチャ入力装置１の機器制御指示部２５から出力される電源ＯＮ／ＯＦＦ制御信号に従って、点灯／消灯する。
（使用態様の例）
次に、図９を参照しながら、ジェスチャ入力装置１を含むジェスチャ入力システムＳＹＳ３の使用態様の例について説明する。図９の（ａ）〜（ｃ）は、ジェスチャ入力システムＳＹＳ３により、照明７Ｂを点灯する場合の使用態様の例について示した図である。また、以下の説明では、図４に示したフローチャートにおける対応するステップを括弧書きにて記載している。また、図９には、記載の便宜上、ジェスチャ入力システムＳＹＳ３の大まかな構成のみ示しているので、その構成詳細については、図８も併せて参照されたい。また、図９の（ａ）〜（ｃ）では、ジェスチャ入力装置１と、自動ドア３Ｂ、カメラ５、および照明７Ｂとの接続の記載を省略している。
また、図９の（ａ）〜（ｃ）では、開閉センサ３２の感知範囲を符号Ｒ１１にて示し、カメラ５の撮影範囲を符号Ｒ１２にて示している。カメラ５の撮影範囲Ｒ１２は、自動ドア３Ｂを通じて、ユーザが外部から入室してくる位置に設定される。また、図示のとおり、照明７Ｂは、室内に設置されている。
まず、図９の（ａ）に示すように、入室者Ｕ２は、部屋の外におり、これから部屋の内部に入室しようとしている。ここで、開閉センサ３２が、その感知範囲Ｒ１１に移動してきた入室者Ｕ２を感知し、これに伴い、センサ感知部２２では、“入室者Ｕ２が感知された”と判定する（Ｓ１１においてＹＥＳ）。
次に、図９の（ｂ）に示すように、開閉センサ３２によって入室者Ｕ２が感知されたことに応じて、自動ドア３Ｂのドアが開く一方で、ジェスチャ認識処理部２４が、ジェスチャ認識を開始する（Ｓ１２）。入室者Ｕ２が、部屋の中に移動することで、カメラ５の撮影範囲Ｒ１２に入ってくる。なお、ジェスチャ認識処理部２４は、“入室者Ｕ２が感知された”と判定されたときから、所定時間後に、ジェスチャ認識を開始してもよい。
また、部屋に入室した入室者Ｕ２は、カメラ５に向かって電源ＯＮ／ＯＦＦのジェスチャを行う。すなわち、入室者Ｕ２は、ジェスチャパターンＧ１の“手を旋回させる”ジェスチャを行う。これに対して、ジェスチャ認識処理部２４がカメラ５からの画像データに基づき、ジェスチャ認識処理を実行する（Ｓ１３）。
次に、図９の（ｃ）に示すように、ジェスチャ認識処理部２４が認識したジェスチャに応じて照明７Ｂの電源がＯＮとなる。具体的には、“手を旋回させる”ジェスチャ（図２に示すジェスチャパターンＧ１）のジェスチャ認識処理が成功すると（Ｓ１４においてＹＥＳ）、機器制御指示部２５が、図３に示した制御信号テーブル１３に基づいて制御信号ＳＩＧ００１を生成し、照明７Ｂに出力する（Ｓ１５）。
照明７Ｂは、制御信号ＳＩＧ００１に応じて電源ＯＮ動作を実行する。その後、ジェスチャ認識処理部２４は、ジェスチャ認識を終了する（Ｓ１６）。
（変形例）
図１０を用いて、ジェスチャ入力システムＳＹＳ３の変形例について説明すると次のとおりである。図１０は、ジェスチャ入力システムＳＹＳ３の変形例であるジェスチャ入力システムＳＹＳ３Ａの構成例について示す図である。
図１０に示すように、ジェスチャ入力システムＳＹＳ３Ａは、ジェスチャ入力システムＳＹＳ１、開閉センサ３４が設けられた開き戸３Ｄ、カメラ５、ＡＴＭ７Ｄを備える。
すなわち、ジェスチャ入力システムＳＹＳ３Ａは、ジェスチャ入力システムＳＹＳ３において、自動ドア３Ｂを、開き戸３Ｄに変更するとともに、照明７Ｂを、ＡＴＭ７Ｄに変更した構成である。
開閉センサ３４は、開き戸３Ｄが開かれているか、それとも閉じられているかを感知する。また、カメラ５の撮影範囲Ｒ３１は、開き戸３Ｄが開けられてユーザが入室してくる位置に設定される。
入室者Ｕ２が開き戸３Ｄを開けたことが開閉センサ３４によって感知されると、ジェスチャ認識処理部２４がジェスチャ認識を開始する。すなわち、ジェスチャ認識処理部２４が、カメラ５が撮影範囲Ｒ３１を撮影して得られる画像データに基づくジェスチャ認識を開始する。
ここで、入室者Ｕ２がカメラ５に向かってジェスチャを行うことにより、ジェスチャ認識処理部２４がジェスチャ認識処理を行い、認識されたジェスチャに応じて機器制御指示部２５がＡＴＭに対して制御信号を出力する。これにより、ＡＴＭ７Ｄは、制御信号に従った動作を行う。
〔実施形態４〕
図１１および図１２を用いて、本発明のさらに他の実施形態に係るジェスチャ入力システムＳＹＳ４について説明すると以下のとおりである。なお、説明の便宜上、前記実施形態１にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明
を省略する。
（システム概要）
まず、図１１を用いて、ジェスチャ入力システムＳＹＳ４の概要について説明する。図１１に示すジェスチャ入力システムＳＹＳ４は、図１に示したジェスチャ入力システムＳＹＳ１の構成を、より具体的な機器に適用したものである。
すなわち、図１１に示すジェスチャ入力システムＳＹＳ４は、図１に示すジェスチャ入力システムＳＹＳ１において、制御対象機器７を、エアーコンディショナ７Ｃとしたものである。また、図１１において、図１におけるジェスチャ主体Ｕに相当するのは、当該エアーコンディショナ７Ｃを使用する使用者Ｕ３である。
図１１に示すジェスチャ入力システムＳＹＳ４は、エアーコンディショナ７Ｃを使用する使用者Ｕ３がエアーコンディショナ７Ｃを操作するためのジェスチャ入力機能を提供する。また、以下では、エアーコンディショナ７Ｃに設けられた人感センサにより、使用者Ｕ３を感知することにより、直接的にジェスチャ主体Ｕを検出する例について説明する。
（システム構成）
図１１に示すように、ジェスチャ入力システムＳＹＳ４は、エアーコンディショナ７Ｃから構成される。エアーコンディショナ７Ｃは、人感センサ３Ｃと、カメラ５と、記憶部１０と、制御部２０とを備える。
人感センサ３Ｃは、所定範囲の人物の存否を感知するものである。人感センサ３Ｃとしては、例えば、赤外線により人物の存否を検出するもの等を用いることができるが、これに限られず任意の人感センサを用いることができる。なお、人感センサ３Ｃを、カメラ５の付近に設けて、人感センサ３Ｃの感知範囲と、カメラ５の撮影範囲との少なくとも一部が一致するように構成してもよい。
カメラ５は、これまでに説明したとおりであるので、その説明を省略する。
また、エアーコンディショナ７Ｃは、ジェスチャ入力装置１を内部に備えている。ジェスチャ入力装置１が備える構成要素については、既に説明した通りであるのでその説明を省略する。
記憶部１０および制御部２０は、ジェスチャ入力装置１とエアーコンディショナ７Ｃとの間で、共有している。
なお、記憶部１０に格納されている制御内容テーブル７２および制御部２０が備える動作制御部７１については、既に説明したとおりであるので、その詳細な説明を省略する。
（使用態様の例）
次に、図１２を参照しながら、ジェスチャ入力装置１を含むジェスチャ入力システムＳＹＳ４の使用態様の例について説明する。図１２の（ａ）〜（ｃ）は、ジェスチャ入力システムＳＹＳ４において、エアーコンディショナ７Ｃの電源をＯＮにする場合の使用態様の例について示した図である。なお、以下の説明では、図４に示したフローチャートにおける対応するステップを括弧書きにて記載している。また、図１２には、記載の便宜上、ジェスチャ入力システムＳＹＳ４の大まかな構成のみ示しているので、その構成詳細については、図１１も併せて参照されたい。
まず、図１２の（ａ）に示す状態では、エアーコンディショナ７Ｃは、電源ＯＦＦの状
態であるとする。また、図示のとおり、エアーコンディショナ７Ｃの正面に人感センサ３Ｃおよびカメラ５が並設されている。このため、人感センサ３Ｃの感知範囲およびカメラ５の撮影範囲は、エアーコンディショナ７Ｃの手前付近となる。なお、人感センサ３Ｃとカメラ５とを並設する構成は、あくまで例示のためのものであり、これに限定されない。使用者Ｕ３を感知および撮影できる範囲で、任意の構成を採用することができる。
ここで、センサ感知部２２は、使用者Ｕ３が感知されるのを待ち受けている（Ｓ１１）ところに、使用者Ｕ３が、エアーコンディショナ７Ｃの手前に移動してくると、人感センサ３Ｃが使用者Ｕ３を感知する。人感センサ３Ｃからのセンサデータに基づいて、センサ感知部２２が、“使用者Ｕ３が感知された”と判定する（Ｓ１１においてＹＥＳ）。これにより、ジェスチャ認識処理部２４が、ジェスチャ認識を開始する（Ｓ１２）。
次に、図１２の（ｂ）に示すように、使用者Ｕ３が、カメラ５に向かってジェスチャを行う。ここでは、使用者Ｕ３が、“手を旋回させる”ジェスチャを行うものとする。これに対して、ジェスチャ認識処理部２４がカメラ５からの画像データに基づき、ジェスチャ認識処理を実行する（Ｓ１３）。
次に、図１２の（ｃ）に示すように、ジェスチャ認識処理部２４が認識したジェスチャに応じてエアーコンディショナ７Ｃの電源がＯＮとなる。具体的には、“手を旋回させる”ジェスチャ（図２に示すジェスチャパターンＧ１）のジェスチャ認識処理が成功すると（Ｓ１４においてＹＥＳ）、機器制御指示部２５が、図３に示した制御信号テーブル１３に基づいて制御信号ＳＩＧ００１を生成し、動作制御部７１に出力する（Ｓ１５）。動作制御部７１は、図６に示した制御内容テーブル７２を参照し、制御信号ＳＩＧ００１に対応する電源ＯＮ動作を実行する。その後、ジェスチャ認識処理部２４は、ジェスチャ認識を終了する（Ｓ１６）。
なお、ジェスチャ入力システムＳＹＳ４において、エアーコンディショナ７Ｃを、ＡＴＭ、券売機や、自動販売機等に変更することも可能である。すなわち、ＡＴＭ等の手前に使用者Ｕ３が来た時に、ＡＴＭ等が、使用者Ｕ３を感知し、ジェスチャ認識を開始し、さらに、ジェスチャに応じて各種のサービスを提供するようジェスチャ入力システムＳＹＳ４を構成することも可能である。
（変形例）
以上では、エアーコンディショナ７Ｃが、カメラ５および電波感知センサ３１を備える構成であったが、これに限られない。エアーコンディショナ７Ｃは、カメラ５および人感センサ３Ｃと接続するためのインターフェースを備える構成であってもよく、当該インターフェースを介して、カメラ５および人感センサ３Ｃと接続されてもよい。
〔実施形態５〕
図１３を用いて、本発明の別の実施形態に係るジェスチャ入力システムＳＹＳ５について説明すると以下のとおりである。なお、説明の便宜上、これまで説明した実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
（システム概要）
まず、図１３を用いて、ジェスチャ入力システムＳＹＳ５の概要について説明する。図１３に示すジェスチャ入力システムＳＹＳ５は、複数の制御対象機器を統合的に操作するためのものである。
図１３に例示する入力システムＳＹＳ５は、制御対象機器として、図５に示したテレビジョン受像機７Ａと、図８示した照明７Ｂと、図１１に示したエアーコンディショナ７Ｃ
と、を含む。以下に説明するジェスチャ入力システムＳＹＳ５では、ジェスチャ主体Ｕの位置に応じてこれらの制御対象機器を操作することができる。
（システム構成）
ジェスチャ入力システムＳＹＳ５は、ジェスチャ入力装置１、カメラ５、テレビジョン受像機７Ａ、照明７Ｂ、およびエアーコンディショナ７Ｃを備える構成である。ジェスチャ入力システムＳＹＳ５は、室内に設置されているテレビジョン受像機７Ａ、照明７Ｂ、およびエアーコンディショナ７Ｃを制御対象機器７とする。
なお、ジェスチャ入力装置１、カメラ５、テレビジョン受像機７Ａ、照明７Ｂ、およびエアーコンディショナ７Ｃの各部の構成については、既に説明したとおりであるので、ここではその説明を省略する。
ただし、以下の説明では、次のとおり、これらを構成変更するものとする。まず、テレビジョン受像機７Ａおよびエアーコンディショナ７Ｃが内部に備えていたジェスチャ入力装置１およびカメラ５については、それぞれ図１３に示すジェスチャ入力装置１およびカメラ５に統合する。カメラ５の撮影範囲Ｒ２１は、室内を概ねカバーしている。
また、ジェスチャ主体Ｕを感知するためのセンサは、エアーコンディショナ７Ｃの人感センサ３Ｃを用いる。すなわち、人感センサ３Ｃは、ジェスチャ入力装置１と接続されておりセンサデータをジェスチャ入力装置１に出力する。
また、人感センサ３Ｃのセンサデータに基づいて、室内のいずれの区画にジェスチャ主体Ｕが存在するかを検知可能とする。すなわち、センサ感知部２２は、テレビジョン受像機７Ａの手前の区画Ａ１１、照明７Ｂの手前の区画Ａ１２、およびエアーコンディショナ７Ｃの手前の区画Ａ１３のいずれの区画にジェスチャ主体Ｕが存在するかをセンサデータから判定できるものとする。センサ感知部２２の区画判定の手法には任意の技術を用いることができる。例えば、ジェスチャ主体Ｕとの距離をセンサによって計測し、計測した距離に基づいて判定する手法が挙げられる。
また、機器制御指示部２５は、例示的に、ジェスチャ主体Ｕがいる区画に対応付けられている機器に制御信号を出力するものとする。以下では、テレビジョン受像機７Ａ、照明７Ｂ、およびエアーコンディショナ７Ｃを、それぞれ、区画Ａ１１、手前の区画Ａ１２、および区画Ａ１３に対応付ける。すなわち、それぞれの機器は、自機器の手前の区画と対応付けられる。
（実施例）
次に、図１３を参照しながら、ジェスチャ入力装置１を含むジェスチャ入力システムＳＹＳ５の実施例について説明する。
人感センサ３Ｃが区画Ａ１２にいるジェスチャ主体Ｕを感知すると、センサ感知部２２が、人感センサ３Ｃが出力するデータに基づいて、ジェスチャ主体Ｕが感知されたこと、および、ジェスチャ主体Ｕが区画Ａ１２に存在することを検知する。
これに応じて、ジェスチャ認識処理部２４が、カメラ５から出力される画像データに基づいて、ジェスチャ認識処理を行う。ここで、ジェスチャ主体Ｕの行ったジェスチャが、例えば、エアーコンディショナ７Ｃの電源をＯＮにするジェスチャ（図６に示すジェスチャパターンＧ１）であったとする。
次に、機器制御指示部２５は、ジェスチャ主体Ｕがいる区画Ａ１２に対応している照明
７Ｂに対して制御信号ＳＩＧ００１を出力する。これにより、照明７Ｂが点灯する。
その後、ジェスチャ認識処理部２４が、ジェスチャ認識を終了し、ジェスチャ入力処理が終了する。
（変形例）
以上では、ジェスチャ主体Ｕの位置に応じて制御対象機器に制御信号を出力する構成について説明したが、これに限られない。ジェスチャ主体Ｕの位置に関係なく、制御対象機器がジェスチャ入力により操作される順番が予め定義された構成であっても構わない。
例えば、室内における１番目のジェスチャ認識が、照明７Ｂに対応づけられており、２番目のジェスチャ認識が、エアーコンディショナ７Ｃに対応づけられており、３番目のジェスチャ認識が、テレビジョン受像機７Ａに対応付けられていてもよい。
上記構成によれば、まず、室内に入室してきたジェスチャ主体Ｕの最初のジェスチャ認識により、照明７Ｂが点灯される。以下、２番目および３番目のジェスチャ認識により、それぞれ、エアーコンディショナ７Ｃおよびテレビジョン受像機７Ａの電源がＯＮにされる。
このため、予め制御対象機器が操作される順序が決まっている場合における便宜を図ることができる。
〔付記事項〕
ジェスチャ入力装置１の各ブロック、特に制御部２０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
すなわち、ジェスチャ入力装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム
および各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるジェスチャ入力装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記ジェスチャ入力装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
また、ジェスチャ入力装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回
線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラ
ムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、ジェスチャ認識により操作入力を行うためのジェスチャ入力装置に利用することができる。
１ ジェスチャ入力装置
１０ 記憶部
１１ センサ判定基準データ
１２ ジェスチャ認識データ
１３ 制御信号テーブル
２０ 制御部
２１ センサ情報取得部
２２ センサ感知部（センサ検知手段）
２３ カメラ映像取得部
２４ ジェスチャ認識処理部（ジェスチャ認識手段）
２５ 機器制御指示部
３ センサ
３１ 電波感知センサ
３２ 開閉センサ
３４ 開閉センサ
３Ａ 近距離無線装置
３Ｂ 自動ドア
３Ｃ 人感センサ
３Ｄ 開き戸
５ カメラ
７ 制御対象機器
７１ 動作制御部
７２ 制御内容テーブル
７Ａ テレビジョン受像機（電子機器）
７Ｂ 照明
７Ｃ エアーコンディショナ（電子機器）
８ 電源部
９ 接続部
１００ 携帯電話機（携帯通信端末）
１０１ 電波発信部
ＳＹＳ１、ＳＹＳ２、ＳＹＳ３、ＳＹＳ３Ａ、ＳＹＳ４、ＳＹＳ５ ジェスチャ入力システム

Claims (12)

  1. ジェスチャ主体がカメラに対して行うジェスチャを認識し、認識したジェスチャに基づいて制御対象機器を制御するジェスチャ入力装置であって、
    センサからの入力を検知するセンサ検知手段と、
    上記センサからの入力が検知されたときを基準として、上記カメラが撮影した画像を用いたジェスチャ認識を開始するジェスチャ認識手段と、
    を備えることを特徴とするジェスチャ入力装置。
  2. 上記センサは、無線通信に用いられる電波を感知する電波感知センサであり、
    上記センサ検知手段は、上記電波感知センサからの入力を検知するものであることを特徴とする請求項１に記載のジェスチャ入力装置。
  3. 上記ジェスチャ認識手段は、上記ジェスチャ認識に成功した場合、上記ジェスチャ認識を終了することを特徴とする請求項１または２に記載のジェスチャ入力装置。
  4. 上記ジェスチャ認識手段は、上記ジェスチャ認識を開始した時点から、所定時間が経過した場合、上記ジェスチャ認識を終了することを特徴とする請求項１から３のいずれか１項に記載のジェスチャ入力装置。
  5. 上記センサ検知手段は、上記センサからの入力を検知したときに、上記カメラの電源をオンにすることを特徴とする請求項１から４のいずれか１項に記載のジェスチャ入力装置。
  6. 請求項１から５のいずれか１項に記載のジェスチャ入力装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
  7. 請求項６に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
  8. 請求項１から５のいずれか１項に記載のジェスチャ入力装置と、
    上記ジェスチャ入力装置にセンサデータを出力するセンサと、
    上記ジェスチャ入力装置に撮影した画像を出力するカメラと、
    上記ジェスチャ入力装置によって制御される制御対象機器と、を備えることを特徴とする電子機器。
  9. 請求項１から５のいずれか１項に記載のジェスチャ入力装置と、
    センサデータを出力するセンサと接続するためのインターフェースと、
    撮影した画像を出力するカメラと接続するためのインターフェースと、
    上記ジェスチャ入力装置によって制御される制御対象機器と、を備えることを特徴とする電子機器。
  10. 請求項１から５のいずれか１項に記載のジェスチャ入力装置と、
    上記ジェスチャ入力装置にセンサデータを出力するセンサと、
    上記ジェスチャ入力装置に撮影した画像を出力するカメラと、
    上記ジェスチャ入力装置によって制御される制御対象機器と、を備えることを特徴とするジェスチャ入力システム。
  11. 上記制御対象機器は、室内に設置され、
    上記センサは、ジェスチャ主体が、上記室内に入口から入室することを感知可能に構成され、
    上記カメラは、上記室内の上記入口付近の所定範囲を撮影可能に構成されていることを特徴とする請求項１０に記載のジェスチャ入力システム。
  12. ジェスチャ主体がカメラに対して行うジェスチャを認識し、認識したジェスチャに基づいて制御対象機器を制御するジェスチャ入力装置の制御方法であって、
    センサからの入力を検知するセンサ検知ステップと、
    上記センサからの入力が検知されたときを基準として、上記カメラが撮影した画像を用いたジェスチャ認識を開始するジェスチャ認識ステップと、
    を含むことを特徴とするジェスチャ入力装置の制御方法。
JP2012059391A 2012-03-15 2012-03-15 ジェスチャ入力装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器、ジェスチャ入力システム、および、ジェスチャ入力装置の制御方法 Pending JP2013196047A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012059391A JP2013196047A (ja) 2012-03-15 2012-03-15 ジェスチャ入力装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器、ジェスチャ入力システム、および、ジェスチャ入力装置の制御方法
EP13151664.3A EP2639672A2 (en) 2012-03-15 2013-01-17 Gesture input apparatus, control program, computer-readable recording medium, electronic device, gesture input system, and control method of gesture input apparatus
US13/746,694 US20130241830A1 (en) 2012-03-15 2013-01-22 Gesture input apparatus, control program, computer-readable recording medium, electronic device, gesture input system, and control method of gesture input apparatus
KR1020130009023A KR101545777B1 (ko) 2012-03-15 2013-01-28 제스처 입력 장치, 컴퓨터 판독 가능한 기록 매체, 전자 기기, 제스처 입력 시스템, 및, 제스처 입력 장치의 제어 방법
CN2013100325884A CN103309438A (zh) 2012-03-15 2013-01-28 手势输入设备及其控制方法、电子装置、手势输入系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012059391A JP2013196047A (ja) 2012-03-15 2012-03-15 ジェスチャ入力装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器、ジェスチャ入力システム、および、ジェスチャ入力装置の制御方法

Publications (1)

Publication Number Publication Date
JP2013196047A true JP2013196047A (ja) 2013-09-30

Family

ID=47747337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012059391A Pending JP2013196047A (ja) 2012-03-15 2012-03-15 ジェスチャ入力装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器、ジェスチャ入力システム、および、ジェスチャ入力装置の制御方法

Country Status (5)

Country Link
US (1) US20130241830A1 (ja)
EP (1) EP2639672A2 (ja)
JP (1) JP2013196047A (ja)
KR (1) KR101545777B1 (ja)
CN (1) CN103309438A (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101534745B1 (ko) * 2013-12-31 2015-07-07 현대자동차 주식회사 제스처 인식 장치
WO2016021257A1 (ja) * 2014-08-04 2016-02-11 求 藤川 装置、装置の制御方法
JP2016091528A (ja) * 2014-11-05 2016-05-23 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 画像分割方法および画像分割装置
WO2017038035A1 (ja) * 2015-08-31 2017-03-09 富士フイルム株式会社 行動履歴情報生成装置、システム、及び方法
JP2018092648A (ja) * 2014-10-02 2018-06-14 グーグル エルエルシー 見通し外レーダ型ジェスチャ認識
US10300370B1 (en) 2015-10-06 2019-05-28 Google Llc Advanced gaming and virtual reality control using radar
US10409385B2 (en) 2014-08-22 2019-09-10 Google Llc Occluded gesture recognition
US10496182B2 (en) 2015-04-30 2019-12-03 Google Llc Type-agnostic RF signal representations
US10642367B2 (en) 2014-08-07 2020-05-05 Google Llc Radar-based gesture sensing and data transmission
US10936085B2 (en) 2015-05-27 2021-03-02 Google Llc Gesture detection and interactions
JP6839324B1 (ja) * 2020-08-06 2021-03-03 株式会社キューブシステム 入力システム、入力プログラムおよび入力方法
US10948996B2 (en) 2014-06-03 2021-03-16 Google Llc Radar-based gesture-recognition at a surface of an object
US11140787B2 (en) 2016-05-03 2021-10-05 Google Llc Connecting an electronic component to an interactive textile
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US11709552B2 (en) 2015-04-30 2023-07-25 Google Llc RF-based micro-motion tracking for gesture tracking and recognition
JP7443070B2 (ja) 2020-01-23 2024-03-05 Ｓａｎｅｉ株式会社 画像認識水栓

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD753669S1 (en) * 2013-10-10 2016-04-12 Healthmate International, LLC Display screen with graphical user interface
CN103605701A (zh) * 2013-11-07 2014-02-26 北京智谷睿拓技术服务有限公司 通信对象的确定方法及确定装置
USD749601S1 (en) * 2013-11-21 2016-02-16 Microsoft Corporation Display screen with graphical user interface
US9451434B2 (en) 2013-11-27 2016-09-20 At&T Intellectual Property I, L.P. Direct interaction between a user and a communication network
FR3014571B1 (fr) 2013-12-11 2021-04-09 Dav Dispositif de commande a retour sensoriel
US20150186708A1 (en) * 2013-12-31 2015-07-02 Sagi Katz Biometric identification system
CN103780761A (zh) * 2014-01-23 2014-05-07 深圳市欧珀通信软件有限公司 一种控制红外设备的方法及装置
KR101575650B1 (ko) 2014-03-11 2015-12-08 현대자동차주식회사 단말기, 그를 가지는 차량 및 그 제어 방법
KR102213311B1 (ko) * 2014-03-25 2021-02-05 엘지이노텍 주식회사 제스처 인식장치
KR102209354B1 (ko) * 2014-06-20 2021-01-29 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
DE102014012629A1 (de) * 2014-08-22 2016-02-25 Diehl Ako Stiftung & Co. Kg Bedienvorrichtung und mobiles Bediengerät, insbesondere für ein elektronisches Haushaltsgerät
DE202015102151U1 (de) * 2015-04-29 2016-08-01 Zumtobel Lighting Gmbh Elektrisch verstellbares Möbelstück
DE102015005863A1 (de) 2015-05-11 2016-11-17 SENIC GmbH Eingabevorrichtung für elektronische Geräte
JP2017026230A (ja) * 2015-07-23 2017-02-02 パナソニックＩｐマネジメント株式会社 空調制御装置、空調装置、空調制御方法、空調制御システム、空調制御プログラム、および記録媒体
CN105258444B (zh) * 2015-10-08 2019-03-08 合肥美的电冰箱有限公司 冰箱操作控制方法及系统
KR20170128668A (ko) * 2016-05-12 2017-11-23 한국전자통신연구원 핸드 제스처 인식 장치 및 방법
TWI634474B (zh) * 2017-01-23 2018-09-01 合盈光電科技股份有限公司 具手勢辨識功能之影音系統
TW201832052A (zh) * 2017-02-17 2018-09-01 鴻海精密工業股份有限公司 一種手勢識別裝置以及人機互動系統
CN107102731A (zh) * 2017-03-31 2017-08-29 斑马信息科技有限公司 用于车辆的手势控制方法及其系统
WO2018225081A1 (en) * 2017-06-05 2018-12-13 Symphony Limited A gesture control system for evaporative air coolers
USD839900S1 (en) * 2017-11-06 2019-02-05 Shenzhen Valuelink E-Commerce Co., Ltd. Display screen with graphical user interface
WO2019127618A1 (zh) * 2017-12-25 2019-07-04 图灵通诺（北京）科技有限公司 结算方法、装置和系统
KR20210101858A (ko) * 2020-02-11 2021-08-19 삼성전자주식회사 제스처 인식 기반의 기능 운용 방법 및 이를 지원하는 전자 장치
US11194468B2 (en) * 2020-05-11 2021-12-07 Aron Ezra Systems and methods for non-contacting interaction with user terminals

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003039365A (ja) * 2001-03-28 2003-02-13 Honda Motor Co Ltd ジェスチャを認識するコンピュータシステム、歩行ロボット及び方法
JP2003216955A (ja) * 2002-01-23 2003-07-31 Sharp Corp ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体
JP2003528548A (ja) * 2000-03-21 2003-09-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ハンドフリー家庭用映像製作カムコーダ
JP2004336597A (ja) * 2003-05-12 2004-11-25 Sony Corp 操作入力受付装置、操作入力受付方法および遠隔操作システム
JP2004349915A (ja) * 2003-05-21 2004-12-09 Matsushita Electric Ind Co Ltd リモートコントロール装置
JP2011239279A (ja) * 2010-05-12 2011-11-24 Hitachi Consumer Electronics Co Ltd 遠隔制御装置および遠隔制御方法
JP2012028015A (ja) * 2010-07-20 2012-02-09 Toshiba Corp 照明制御システムおよび照明制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4311190B2 (ja) * 2003-12-17 2009-08-12 株式会社デンソー 車載機器用インターフェース
KR200425246Y1 (ko) 2006-06-21 2006-09-11 (주)실비토스 센서를 구비하는 홈오토메이션 시스템
US8599132B2 (en) * 2008-06-10 2013-12-03 Mediatek Inc. Methods and systems for controlling electronic devices according to signals from digital camera and sensor modules
US8514251B2 (en) * 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
JP5120788B2 (ja) * 2008-10-16 2013-01-16 Ｔｏｔｏ株式会社 電波センサ
US20100295782A1 (en) * 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
KR20100136649A (ko) * 2009-06-19 2010-12-29 삼성전자주식회사 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치
RU2628438C1 (ru) 2009-07-24 2017-08-16 Экспед Холдингс Пти Лтд Система и способ управления информацией и представления информации
US8514188B2 (en) * 2009-12-30 2013-08-20 Microsoft Corporation Hand posture mode constraints on touch input
JP5601045B2 (ja) * 2010-06-24 2014-10-08 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
US8375118B2 (en) * 2010-11-18 2013-02-12 Verizon Patent And Licensing Inc. Smart home device management
KR101054896B1 (ko) 2011-01-24 2011-08-05 하이브모션 주식회사 카메라를 이용한 움직임 감지센서 및 그 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003528548A (ja) * 2000-03-21 2003-09-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ハンドフリー家庭用映像製作カムコーダ
JP2003039365A (ja) * 2001-03-28 2003-02-13 Honda Motor Co Ltd ジェスチャを認識するコンピュータシステム、歩行ロボット及び方法
JP2003216955A (ja) * 2002-01-23 2003-07-31 Sharp Corp ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体
JP2004336597A (ja) * 2003-05-12 2004-11-25 Sony Corp 操作入力受付装置、操作入力受付方法および遠隔操作システム
JP2004349915A (ja) * 2003-05-21 2004-12-09 Matsushita Electric Ind Co Ltd リモートコントロール装置
JP2011239279A (ja) * 2010-05-12 2011-11-24 Hitachi Consumer Electronics Co Ltd 遠隔制御装置および遠隔制御方法
JP2012028015A (ja) * 2010-07-20 2012-02-09 Toshiba Corp 照明制御システムおよび照明制御方法

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349044B2 (en) 2013-12-31 2016-05-24 Hyundai Motor Company Gesture recognition apparatus and method
KR101534745B1 (ko) * 2013-12-31 2015-07-07 현대자동차 주식회사 제스처 인식 장치
US10948996B2 (en) 2014-06-03 2021-03-16 Google Llc Radar-based gesture-recognition at a surface of an object
WO2016021255A1 (ja) * 2014-08-04 2016-02-11 求 藤川 装置、装置の制御方法
WO2016021256A1 (ja) * 2014-08-04 2016-02-11 求 藤川 装置、装置の制御方法
WO2016021257A1 (ja) * 2014-08-04 2016-02-11 求 藤川 装置、装置の制御方法
US10642367B2 (en) 2014-08-07 2020-05-05 Google Llc Radar-based gesture sensing and data transmission
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US11816101B2 (en) 2014-08-22 2023-11-14 Google Llc Radar recognition-aided search
US11221682B2 (en) 2014-08-22 2022-01-11 Google Llc Occluded gesture recognition
US10409385B2 (en) 2014-08-22 2019-09-10 Google Llc Occluded gesture recognition
US10936081B2 (en) 2014-08-22 2021-03-02 Google Llc Occluded gesture recognition
JP2018092648A (ja) * 2014-10-02 2018-06-14 グーグル エルエルシー 見通し外レーダ型ジェスチャ認識
US11163371B2 (en) 2014-10-02 2021-11-02 Google Llc Non-line-of-sight radar-based gesture recognition
US10664059B2 (en) 2014-10-02 2020-05-26 Google Llc Non-line-of-sight radar-based gesture recognition
JP2016091528A (ja) * 2014-11-05 2016-05-23 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 画像分割方法および画像分割装置
US11709552B2 (en) 2015-04-30 2023-07-25 Google Llc RF-based micro-motion tracking for gesture tracking and recognition
US10496182B2 (en) 2015-04-30 2019-12-03 Google Llc Type-agnostic RF signal representations
US10936085B2 (en) 2015-05-27 2021-03-02 Google Llc Gesture detection and interactions
WO2017038035A1 (ja) * 2015-08-31 2017-03-09 富士フイルム株式会社 行動履歴情報生成装置、システム、及び方法
US10908696B2 (en) 2015-10-06 2021-02-02 Google Llc Advanced gaming and virtual reality control using radar
US11693092B2 (en) 2015-10-06 2023-07-04 Google Llc Gesture recognition using multiple antenna
US10768712B2 (en) 2015-10-06 2020-09-08 Google Llc Gesture component with gesture library
US10705185B1 (en) 2015-10-06 2020-07-07 Google Llc Application-based signal processing parameters in radar-based detection
US10540001B1 (en) 2015-10-06 2020-01-21 Google Llc Fine-motion virtual-reality or augmented-reality control using radar
US10300370B1 (en) 2015-10-06 2019-05-28 Google Llc Advanced gaming and virtual reality control using radar
US10503883B1 (en) 2015-10-06 2019-12-10 Google Llc Radar-based authentication
US11132065B2 (en) 2015-10-06 2021-09-28 Google Llc Radar-enabled sensor fusion
US10310621B1 (en) 2015-10-06 2019-06-04 Google Llc Radar gesture sensing using existing data protocols
US10459080B1 (en) 2015-10-06 2019-10-29 Google Llc Radar-based object detection for vehicles
US10401490B2 (en) 2015-10-06 2019-09-03 Google Llc Radar-enabled sensor fusion
US11175743B2 (en) 2015-10-06 2021-11-16 Google Llc Gesture recognition using multiple antenna
US10379621B2 (en) 2015-10-06 2019-08-13 Google Llc Gesture component with gesture library
US11698438B2 (en) 2015-10-06 2023-07-11 Google Llc Gesture recognition using multiple antenna
US11256335B2 (en) 2015-10-06 2022-02-22 Google Llc Fine-motion virtual-reality or augmented-reality control using radar
US11385721B2 (en) 2015-10-06 2022-07-12 Google Llc Application-based signal processing parameters in radar-based detection
US11481040B2 (en) 2015-10-06 2022-10-25 Google Llc User-customizable machine-learning in radar-based gesture detection
US11592909B2 (en) 2015-10-06 2023-02-28 Google Llc Fine-motion virtual-reality or augmented-reality control using radar
US11656336B2 (en) 2015-10-06 2023-05-23 Google Llc Advanced gaming and virtual reality control using radar
US10823841B1 (en) 2015-10-06 2020-11-03 Google Llc Radar imaging on a mobile computing device
US11698439B2 (en) 2015-10-06 2023-07-11 Google Llc Gesture recognition using multiple antenna
US11140787B2 (en) 2016-05-03 2021-10-05 Google Llc Connecting an electronic component to an interactive textile
JP7443070B2 (ja) 2020-01-23 2024-03-05 Ｓａｎｅｉ株式会社 画像認識水栓
JP2022030249A (ja) * 2020-08-06 2022-02-18 株式会社キューブシステム 入力システム、入力プログラムおよび入力方法
JP6839324B1 (ja) * 2020-08-06 2021-03-03 株式会社キューブシステム 入力システム、入力プログラムおよび入力方法

Also Published As

Publication number Publication date
US20130241830A1 (en) 2013-09-19
KR101545777B1 (ko) 2015-08-19
KR20130105324A (ko) 2013-09-25
EP2639672A2 (en) 2013-09-18
CN103309438A (zh) 2013-09-18

Similar Documents

Publication Publication Date Title
JP2013196047A (ja) ジェスチャ入力装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器、ジェスチャ入力システム、および、ジェスチャ入力装置の制御方法
JP5024495B1 (ja) ジェスチャ入力装置およびジェスチャ入力装置の制御方法
US9955248B2 (en) Wearable electronic device
US9058059B2 (en) Gesture input device and method for controlling gesture input device
RU2628558C2 (ru) Способ и устройство для управления интеллектуальным терминалом
CN105785782B (zh) 智能家居设备控制方法及装置
CN106067891B (zh) 用于提供车辆服务的方法和装置
CN106022072B (zh) 实现指纹解锁的方法及装置、电子设备
CN105204742B (zh) 电子设备的控制方法、装置及终端
CN104615240B (zh) 终端的解锁方法和装置
KR102031874B1 (ko) 구도 정보를 이용하는 전자 장치 및 이를 이용하는 촬영 방법
CN106325479B (zh) 触控响应方法及移动终端
CN104023434A (zh) 一种开启智能灯的方法、装置和系统
CN104159360A (zh) 照明控制方法、装置及设备
CN108206916A (zh) 用于获得平移拍摄图像的方法及支持该方法的电子装置
CN104618575B (zh) 检测物体接近的方法和装置
CN103955274B (zh) 应用控制方法和装置
US20180144176A1 (en) Fingerprint template acquisition method and device
CN106357934A (zh) 锁屏的控制方法和装置
CN108319836A (zh) 基于指纹识别执行处理的方法和装置
CN106325575B (zh) 触控响应方法及装置
CN107622189A (zh) 优化指纹解锁的方法和装置
CN108241842A (zh) 指纹识别方法及装置
CN110415392B (zh) 基于前期姿势的进入控制系统
KR101657377B1 (ko) 휴대용 단말기, 휴대용 단말기 케이스 및 그를 이용한 홍채 인식 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141204

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151023

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20151028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160405