JP2014109994A - ジェスチャ認識装置および方法ならびにプログラム - Google Patents

ジェスチャ認識装置および方法ならびにプログラム Download PDF

Info

Publication number
JP2014109994A
JP2014109994A JP2012265377A JP2012265377A JP2014109994A JP 2014109994 A JP2014109994 A JP 2014109994A JP 2012265377 A JP2012265377 A JP 2012265377A JP 2012265377 A JP2012265377 A JP 2012265377A JP 2014109994 A JP2014109994 A JP 2014109994A
Authority
JP
Japan
Prior art keywords
operation target
gesture recognition
coordinate
target device
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012265377A
Other languages
English (en)
Other versions
JP6202810B2 (ja
Inventor
Kijuro Obata
喜重郎 小幡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2012265377A priority Critical patent/JP6202810B2/ja
Priority to US14/031,865 priority patent/US9256779B2/en
Priority to EP13192479.7A priority patent/EP2741232A3/en
Publication of JP2014109994A publication Critical patent/JP2014109994A/ja
Application granted granted Critical
Publication of JP6202810B2 publication Critical patent/JP6202810B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/14643D-gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/199Information management for avoiding maloperation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

【課題】操作性、経済性および迅速性を向上させることができる「ジェスチャ認識装置および方法ならびにプログラム」を提供すること。
【解決手段】操作物体の複数の座標範囲と複数の操作対象機器との対応関係が記憶された記憶装置5と、操作物体を撮像する撮像装置2と、撮像された操作物体の座標を検出する座標検出装置4と、検出された操作物体の座標と前記対応関係とに基づいて、操作物体の座標に対応する操作対象機器を特定する操作対象機器特定装置6と、特定された操作対象機器に対して、撮像された操作物体のジェスチャの認識結果に応じた操作処理を行うジェスチャ認識処理装置7とを備えたこと。
【選択図】図1

Description

本発明は、ジェスチャ認識装置および方法ならびにプログラムに係り、特に、操作物体のジェスチャを認識するのに好適なジェスチャ認識装置および方法ならびにプログラムに関する。
近年、家電機器、PC、ゲーム機器等を中心として、ユーザのジェスチャを認識して認識結果に応じたコマンド入力を行うことが可能とされた機器が普及してきている。
この種の機器においては、ユーザの手を使ったジェスチャによって入力できるコマンドの種類をあまり多くすることは、ユーザに手の動きを覚えるための過度の負担を強いることになるので、上下、左右等の簡単な手の動きのみが使われることが多かった。
また、その一方で、手の限られた動きだけでは複数の操作対象機器に対応することができないため、音声、視線または顔向きと手の動きとを組み合わせる等の様々な手法が提案されていた(例えば、特許文献1〜3参照)。
特開2000−163196号公報 特開2007−121576号公報 特許第4311190号公報
しかるに、音声、視線または顔向き等の手を使ったジェスチャ以外の要素を認識対象とする場合には、却ってユーザに複雑な動きを強いることになるばかりでなく複数種類の認識処理を行わなければならないため、操作性、コストおよび迅速性に問題があった。
そこで、本発明は、このような点に鑑みなされたものであり、操作性、経済性および迅速性を向上させることができるジェスチャ認識装置および方法ならびにプログラムを提供することを目的とするものである。
前述した目的を達成するため、本発明に係るジェスチャ認識装置は、所定の操作物体のジェスチャを認識するジェスチャ認識装置であって、前記操作物体についての複数の座標範囲とこれら複数の座標範囲にそれぞれ対応する複数の操作対象機器との対応関係が記憶された記憶装置と、前記操作物体を撮像する撮像装置と、この撮像装置によって撮像された前記操作物体の座標を検出する座標検出装置と、この座標検出装置によって検出された前記操作物体の座標と前記記憶装置に記憶された前記対応関係とに基づいて、当該操作物体の座標に対応する前記操作対象機器を特定する操作対象機器特定装置と、この操作対象機器特定装置によって特定された前記操作対象機器に対して、前記撮像された操作物体のジェスチャの認識結果に応じた操作処理を行うジェスチャ認識処理装置とを備えたことを特徴としている。
また、本発明に係るジェスチャ認識方法は、所定の操作物体のジェスチャを認識するジェスチャ認識方法であって、前記操作物体についての複数の座標範囲とこれら複数の座標範囲にそれぞれ対応する複数の操作対象機器との対応関係を記憶装置に設定する第1のステップと、前記操作物体を撮像する第2のステップと、この第2のステップにおいて撮像された前記操作物体の座標を検出する第3のステップと、この第3のステップにおいて検出された前記操作物体の座標と、前記第1のステップにおいて設定された前記対応関係とに基づいて、当該検出された操作物体の座標に対応する前記操作対象機器を特定する第4のステップと、この第4のステップにおいて特定された前記操作対象機器に、前記撮像された操作物体のジェスチャの認識結果に応じた操作処理を行う第5のステップとを含むことを特徴としている。
さらに、本発明に係るジェスチャ認識プログラムは、所定の操作物体のジェスチャを認識するジェスチャ認識プログラムであって、コンピュータを、撮像装置によって撮像された前記操作物体の座標を検出する座標検出装置、この座標検出装置によって検出された前記操作物体の座標および記憶装置に記憶された前記操作物体についての複数の座標範囲とこれら複数の座標範囲にそれぞれ対応する複数の操作対象機器との対応関係に基づいて、当該操作物体の座標に対応する前記操作対象機器を特定する操作対象機器特定装置、この操作対象機器特定装置によって特定された前記操作対象機器に対して、前記撮像された操作物体のジェスチャの認識結果に応じた操作処理を行う操作処理装置、として機能させることを特徴としている。
このような本発明によれば、操作物体の位置に応じた操作対象機器の選択が可能であるので、複数の操作対象機器の選択的な操作を簡易な手法によって迅速かつ容易に行うことができる。
また、本発明のジェスチャ認識装置において、前記記憶装置には、前記対応関係が前記操作対象機器の複数の操作対象機能部ごとに細分化された状態で記憶されており、前記操作対象機器特定装置は、前記操作対象機器の特定と同時に前記操作対象機能部の特定を行い、前記ジェスチャ認識処理装置は、前記操作対象機器特定装置によって特定された前記操作対象機能部を対象とした前記操作処理を行ってもよい。同様に、本発明のジェスチャ認識方法において、前記第1のステップは、前記対応関係を前記操作対象機器の複数の操作対象機能部ごとに細分化した状態で設定するステップであり、前記第4のステップは、前記操作対象機器の特定と同時に前記操作対象機能部の特定を行うステップであり、前記第5のステップは、前記第4のステップにおいて特定された前記操作対象機能部を対象とした前記操作処理を行うステップであってもよい。同様に、本発明のジェスチャ認識プログラムにおいて、前記記憶装置には、前記対応関係が前記操作対象機器の複数の操作対象機能部ごとに細分化された状態で記憶されており、前記操作対象機器特定装置に、前記操作対象機器の特定と同時に前記操作対象機能部の特定を行わせ、前記操作処理装置に、前記操作対象機器特定装置によって特定された前記操作対象機能部を対象とした前記操作処理を行わせてもよい。
このような本発明によれば、操作物体の位置に応じた操作対象機能部の選択が可能であるので、複数の操作対象機能部の選択的な操作を簡易な手法によって迅速かつ容易に行うことができる。
さらに、本発明のジェスチャ認識装置において、任意の前記座標範囲は、この座標範囲に対応する前記操作対象機器に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機器に対して相対的に遠い範囲とされていてもよい。同様に、本発明のジェスチャ認識方法において、前記第1のステップは、任意の前記座標範囲を、この座標範囲に対応する前記操作対象機器に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機器に対して相対的に遠い範囲に設定するステップであってもよい。
このような本発明によれば、操作対象機器の近くに操作物体を位置させることによって当該操作対象機器を選択することができるので、操作対象機器の操作をより直感的に行うことができる。
さらにまた、本発明のジェスチャ認識装置において、任意の前記座標範囲は、この座標範囲に対応する前記操作対象機能部に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機能部に対して相対的に遠い範囲とされていてもよい。同様に、本発明のジェスチャ認識方法において、前記第1のステップは、任意の前記座標範囲を、この座標範囲に対応する前記操作対象機能部に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機能部に対して相対的に遠い範囲に設定するステップであってもよい。
このような本発明によれば、操作対象機能部の近くに操作物体を位置させることによって当該操作対象機能部を選択することができるので、操作対象機能部の操作をより直感的に行うことができる。
また、本発明のジェスチャ認識装置において、前記座標範囲は、複数次元の座標範囲であってもよい。同様に、本発明のジェスチャ認識方法において、前記第1のステップは、複数次元の前記座標範囲を設定するステップであってもよい。
このような本発明によれば、操作対象機器または操作対象機能部に対応する座標範囲として2次元以上の座標範囲を指定することができるので、複数の操作対象機器/機能部のレイアウトに柔軟に対応することができる。
さらに、本発明のジェスチャ認識装置において、前記操作物体は、ユーザの手であってもよい。
このような構成によれば、ユーザの手を用いた複数の操作対象機器の選択的な操作を低コストで迅速かつ容易に行うことができる。
さらにまた、本発明のジェスチャ認識装置は、車両に搭載されていてもよい。
このような構成によれば、複数の車載機器の操作を低コストで迅速かつ容易に行うことができる。
また、本発明のジェスチャ認識装置において、前記操作対象機器は、車載機およびエアコンを含んでもよい。
このような構成によれば、車載機およびエアコンの選択操作を低コストで迅速かつ容易に行うことができる。
さらに、本発明のジェスチャ認識装置において、前記操作対象機能部は、車載機の音量調整部ならびに選局部およびエアコンの温度調整部ならびに風量調整部を含んでもよい。
このような構成によれば、車載機の音量調整部ならびに選局部およびエアコンの温度調整部ならびに風量調整部の選択操作を低コストで迅速かつ容易に行うことができる。
さらにまた、本発明のジェスチャ認識装置において、前記操作対象機器は、メータパネルおよびヘッドアップディスプレイを含んでもよい。
このような構成によれば、メータパネルおよびヘッドアップディスプレイの選択操作を低コストで迅速かつ容易に行うことができる。
また、本発明のジェスチャ認識装置において、前記操作対象機器特定装置による前記特定が行われたことをユーザに通知する通知装置を備えてもよい。
このような構成によれば、ユーザが、所望の操作対象機器/機能部が特定されたことを確認した上で所望のジェスチャ入力に移行することができるので、操作の確実性を向上させることができる。
本発明によれば、操作性、経済性および迅速性を向上させることができる。
本発明に係るジェスチャ認識装置の第1実施形態を示すブロック図 手の座標範囲と操作対象機器・機能部との対応関係を示すテーブル 本発明に係るジェスチャ認識方法およびプログラムの第1実施形態を示すフローチャート 本発明の第2実施形態において、手の座標範囲と操作対象機器・機能部との対応関係を示す模式図 本発明の第3実施形態において、手の座標範囲と操作対象機器・機能部との対応関係を示すテーブル 本発明に係るジェスチャ認識装置の第4実施形態を示すブロック図 本発明に係るジェスチャ認識方法およびプログラムの第4実施形態を示すフローチャート
(第1実施形態)
〔ジェスチャ認識装置〕
以下、本発明に係るジャスチャ認識装置の第1実施形態について、図1および図2を参照して説明する。
図1は、本実施形態におけるジェスチャ認識装置1を示すブロック図である。
図1に示すように、ジェスチャ認識装置1は、車両に搭載された撮像装置2を有しており、この撮像装置2は、操作物体としての運転者(ユーザ)の手を撮像可能とされている。この撮像装置2は、CCDやCMOS等の固体撮像素子を備えるとともに、所定の撮像領域を所定のフレームレートで連続的に撮像するデジタルカメラであってもよい。また、撮像装置2は、車両のインストルメントパネル等に、車室内を向くように設置されたものであってもよい。
また、図1に示すように、ジェスチャ認識装置1は、手特徴認識部3を有しており、この手特徴認識部3には、撮像装置2の撮像画像が、撮像の度毎に逐次入力されるようになっている。そして、手特徴認識部3は、入力された撮像画像に対して、予め手特徴認識部3に保有されている手の特徴データ(形状等)D1に基づいて、手の特徴の認識処理を行うようになっている。この認識処理は、撮像画像毎に行うようにしてもよく、または、一連の複数フレーム分の撮像画像群に基づいて行うようにしてもよい。そして、手特徴認識処理部3は、認識された手の特徴を、ジェスチャの認識結果としての手の動き情報として、認識の度毎に逐次出力するようになっている。この手特徴認識部3は、これの機能を実現するためのプログラムをCPU等の演算処理装置が実行することによって具現化してもよい。演算処理装置が実行すべきプログラムについては、ROM等のプログラム記憶部に格納しておき、手の特徴データD1については、ROMやハードディスクドライブ等のデータ記憶部に格納しておき、演算処理装置の処理には、RAM等の作業領域を利用してもよい。
さらに、図1に示すように、ジェスチャ認識装置1は、座標検出装置としての手座標認識部4を有しており、この手座標認識部4には、撮像装置2の撮像画像が、撮像の度毎に逐次入力されるようになっている。そして、手座標認識部4は、入力された撮像画像に対して、手特徴認識部3の認識結果に基づいて、手の座標の認識(検出)処理を行うようになっている。この認識処理は、撮像画像毎に行うようにしてもよく、または、一連の複数フレーム分の撮像画像群に基づいて行うようにしてもよい。また、このとき認識される座標は、手の中心座標であってもよい。そして、手座標認識部4は、認識結果を手の座標情報として認識の度毎に逐次出力するようになっている。本実施形態において、手座標認識部4は、手の座標として二次元座標(X座標およびY座標)を認識するようになっている。手座標認識部4は、これの機能を実現するためのプログラムを演算処理装置が実行することによって具現化してもよい。
さらにまた、図1に示すように、ジェスチャ認識装置1は、記憶装置としての座標/機器対応関係記憶部5を有している。この座標/機器対応関係記憶部5には、手についての複数の座標範囲とこれら複数の座標範囲にそれぞれ対応する複数の操作対象機器との対応関係が記憶されている。図2は、このような対応関係の一例を示すテーブルである。このテーブルには、手の座標範囲としての二次元座標の座標範囲と操作対象機器との対応関係が記述されている。なお、図2に示すように、座標範囲は、同一の操作対象機器について複数の操作対象機能部毎に細分化されている。具体的には、車載機については、音量調整機能に対応する座標範囲と選局に対応する座標範囲とが個別に設定されており、また、エアコンについては、温度調整に対応する座標範囲と風量調整に対応する座標範囲とが個別に設定されている。座標/機器対応関係記憶部5は、ROMやハードディスクドライブ等によって具現化してもよい。
図1に戻って、ジェスチャ認識装置1は、操作対象機器特定装置としての操作対象機器特定部6を有している。この操作対象機器特定部6には、手特徴認識部3によって出力された手の動き情報および手座標認識部4によって出力された手の座標情報がそれぞれ入力されるようになっている。そして、操作対象機器特定部6は、入力された各情報と座標/機器対応関係記憶部5に記憶された対応関係とに基づいて、手の座標に対応する操作対象機器を特定するようになっている。このとき、操作対象機器特定部6は、対応関係が図2に示したように操作対象機能部毎に細分化されている場合には、操作対象機器の特定と同時に操作対象機能部の特定を行うようになっている。そして、操作対象機器特定部6は、特定結果を操作対象機器/機能部特定情報として出力するようになっている。なお、操作対象機器特定部6は、これの機能を実現するためのプログラムを演算処理装置が実行することによって具現化してもよい。
また、図1に示すように、ジェスチャ認識装置1は、ジェスチャ認識処理装置としてのジェスチャコマンド認識部7を有している。このジェスチャコマンド認識部7には、手特徴認識部3から出力された手の動き情報と、操作対象機器特定部6から出力された操作対象機器/機能部特定情報とがそれぞれ入力されるようになっている。そして、ジェスチャコマンド認識部7は、入力された手の動き情報および操作対象機器/機能部特定情報と、予めジェスチャコマンド認識部7に保有されているコマンドデータ(動きパターン情報等)D2とに基づいて、操作対象機器特定部6によって特定された操作対象機器に対して、ジェスチャの認識結果に応じた操作処理としてのコマンド発行を行うようになっている。このとき、操作対象機器/機能部特定情報が操作対象機能部の特定結果を含んでいる場合には、コマンド発行は、操作対象機能部を対象としたものとなる。なお、ジェスチャコマンド認識部7は、これの機能を実現するためのプログラムを演算処理装置が実行することによって具現化してもよい。コマンドデータD2については、ROMやハードディスクドライブ等のデータ記憶部に格納しておいてもよい。
そして、ジェスチャコマンド認識部7から出力されたコマンドは、対応する操作対象機器または操作対象機能部に入力され、入力されたコマンドに応じた処理が機器/機能部において実行されるようになっている。
このような構成によれば、手の位置に応じた操作対象機器および操作対象機能部の選択が可能であるので、複数の操作対象機器/機能部の選択的な操作を簡易な構成によって迅速かつ容易に行うことができる。
〔ジェスチャ認識方法およびプログラム〕
次に、前述したジェスチャ認識装置1を適用した本発明に係るジェスチャ認識方法およびプログラムの第1実施形態について、図3を参照して説明する。
本実施形態においては、まず、図3のステップ1(ST1)において、座標/機器対応関係記憶部5への対応関係の設定(記録)を行う。この処理は、ジェスチャ認識装置1の製造時に行うようにしてもよい。
次いで、ステップ2(ST2)において、実使用の際に、撮像装置2による撮像を開始する。この撮像の開始は、ジェスチャ入力の所定のトリガの発生を待って行うようにしてもよい。
次いで、ステップ3(ST3)において、手特徴認識部3により、ステップ2(ST2)において撮像された撮像画像に基づいて、手の特徴を認識し、認識結果の変化を手の動き情報として出力する。
次いで、ステップ4(ST4)において、本実施形態のプログラムによって作動されるコンピュータの機能としての手座標認識部4により、ステップ3(ST3)において認識された手の特徴に基づいて、手の座標を認識する。
次いで、ステップ5(ST5)において、本実施形態のプログラムによって作動されるコンピュータの機能としての操作対象機器特定部6により、ステップ4(ST4)において認識された手の座標と、ステップ1(ST1)において設定された対応関係とに基づいて、当該手の座標に対応する操作対象機器/機能部を特定する。
次いで、ステップ6(ST6)において、本実施形態のプログラムによって作動されるコンピュータの機能としてのジェスチャコマンド認識部7により、ステップ6(ST6)において特定された操作対象機器/機能部と、ステップ3(ST3)において出力された手の動き情報とに基づいて、対応するコマンドを特定された操作対象機器/機能部に出力して処理を終了する。
(第2実施形態)
次に、本発明の第2実施形態について、図4を参照して説明する。
なお、第1実施形態と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。
本実施形態におけるジェスチャ認識装置1は、基本的な構成は第1実施形態と同様である。
ただし、本実施形態においては、座標/機器対応関係記憶部5に設定される対応関係の態様として、より具体的かつ好適な態様が選択されている。
すなわち、図4に示すように、本実施形態においては、任意の座標範囲が、この座標範囲に対応する操作対象機器および操作対象機能部に対して相対的に近く且つ当該座標範囲に対応しない操作対象機器および操作対象機能部に対して相対的に遠い範囲に設定されている。具体的には、図4において、車載機の音量調整に対応する座標範囲(X1,Y1〜Xa,Ya)は、音量調整用のステアリングスイッチの付近に設定されている。また、エアコンの温度調整に対応する座標範囲(X3,Y3〜Xc,Yc)は、エアコン操作パネルの付近に設定されている。さらに、エアコンの風量調整に対応する座標範囲(X4,Y4〜Xd,Yd)は、エアコンの噴き出し口付近に設定されている。
このような構成によれば、操作対象機器/機能部の近くに手を位置させることによって当該操作対象機器/機能部を選択することができるので、操作対象機器/機能部の操作をより直感的に行うことができる。図4の例でいえば、ハンドル付近で手を上方/下方に払うジェスチャによって音量のアップ/ダウンを行うことができ、また、エアコン操作パネル付近での同様のジェスチャによって温度のアップ/ダウンを行うことができ、さらに、エアコン噴き出し口付近での同様のジェスチャによって風量のアップ/ダウンを行うことができる。
(第3実施形態)
次に、本発明の第3実施形態について、図5を参照して説明する。
図5に示すように、本実施形態においては、座標/機器対応関係記憶部5に、操作対象機器および操作対象機能部と三次元の座標範囲(X,Y,Z)との対応関係が設定されている。ここで、Z座標は、図4の例でいえば奥行き方向となる。
このような構成によれば、操作対象機器/機能部付近でのジェスチャ入力のみが認識されるようにすることができるので、ユーザが意図しない操作が誤認識されることを有効に回避することができる。
なお、本実施形態は、第1実施形態および第2実施形態のいずれとも組み合わせるようにしてもよい。
(第4実施形態)
次に、本発明の第4実施形態について、図6および図7を参照して説明する。
なお、第1実施形態と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。
図6に示すように、本実施形態におけるジェスチャ認識装置1は、第1実施形態の構成に加えて、更に、通知装置としての通知部8を有している。この通知部8は、操作対象機器特定部6による操作対象機器/機能部の特定が行われたことをユーザに通知するようになっている。この通知は、音声出力および表示の少なくとも一方によって行うようにしてもよい。
そして、本実施形態におけるジェスチャ認識方法およびプログラムは、図7に示すように、図3に示したステップ5(ST5)とステップ6(ST6)との間に、ステップ7(ST7)を実行する。
すなわち、ステップ7(ST7)においては、通知部8により、操作対象機器/機能部の特定をユーザに通知する。
本実施形態によれば、ユーザが、所望の操作対象機器/機能部が特定されたことを確認した上で所望のジェスチャ入力に移行することができるので、操作の確実性を向上させることができる。
なお、本発明は、前述した実施の形態に限定されるものではなく、本発明の特徴を損なわない限度において種々変更してもよい。
例えば、本発明は、操作対象機器として、ヘッドアップディスプレイやメータパネルの操作に適用してもよい。
また、本発明は、車室内以外の空間に設置された複数の操作対象機器の操作に適用してもよい。
1 ジェスチャ認識装置
2 撮像装置
4 手座標認識部
5 座標/機器対応関係記憶部
6 操作対象機器特定部
7 ジェスチャコマンド認識部

Claims (18)

  1. 所定の操作物体のジェスチャを認識するジェスチャ認識装置であって、
    前記操作物体についての複数の座標範囲とこれら複数の座標範囲にそれぞれ対応する複数の操作対象機器との対応関係が記憶された記憶装置と、
    前記操作物体を撮像する撮像装置と、
    この撮像装置によって撮像された前記操作物体の座標を検出する座標検出装置と、
    この座標検出装置によって検出された前記操作物体の座標と前記記憶装置に記憶された前記対応関係とに基づいて、当該操作物体の座標に対応する前記操作対象機器を特定する操作対象機器特定装置と、
    この操作対象機器特定装置によって特定された前記操作対象機器に対して、前記撮像された操作物体のジェスチャの認識結果に応じた操作処理を行うジェスチャ認識処理装置と
    を備えたことを特徴とするジェスチャ認識装置。
  2. 前記記憶装置には、前記対応関係が前記操作対象機器の複数の操作対象機能部ごとに細分化された状態で記憶されており、
    前記操作対象機器特定装置は、前記操作対象機器の特定と同時に前記操作対象機能部の特定を行い、
    前記ジェスチャ認識処理装置は、前記操作対象機器特定装置によって特定された前記操作対象機能部を対象とした前記操作処理を行うこと
    を特徴とする請求項1に記載のジェスチャ認識装置。
  3. 任意の前記座標範囲は、この座標範囲に対応する前記操作対象機器に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機器に対して相対的に遠い範囲とされていること
    を特徴とする請求項1に記載のジェスチャ認識装置。
  4. 任意の前記座標範囲は、この座標範囲に対応する前記操作対象機能部に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機能部に対して相対的に遠い範囲とされていること
    を特徴とする請求項2に記載のジェスチャ認識装置。
  5. 前記座標範囲は、複数次元の座標範囲であること
    を特徴とする請求項3または請求項4に記載のジェスチャ認識装置。
  6. 前記操作物体は、ユーザの手であること
    を特徴とする請求項5に記載のジェスチャ認識装置。
  7. 車両に搭載されること
    を特徴とする請求項6に記載のジェスチャ認識装置。
  8. 前記操作対象機器は、車載機およびエアコンを含むこと
    を特徴とする請求項7に記載のジェスチャ認識装置。
  9. 前記操作対象機能部は、車載機の音量調整部ならびに選局部およびエアコンの温度調整部ならびに風量調整部を含むこと
    を特徴とする請求項7に記載のジェスチャ認識装置。
  10. 前記操作対象機器は、メータパネルおよびヘッドアップディスプレイを含むこと
    を特徴とする請求項7に記載のジェスチャ認識装置。
  11. 前記操作対象機器特定装置による前記特定が行われたことをユーザに通知する通知装置を備えたこと
    を特徴とする請求項1乃至請求項11のいずれか1項に記載のジェスチャ認識装置。
  12. 所定の操作物体のジェスチャを認識するジェスチャ認識方法であって、
    前記操作物体についての複数の座標範囲とこれら複数の座標範囲にそれぞれ対応する複数の操作対象機器との対応関係を記憶装置に設定する第1のステップと、
    前記操作物体を撮像する第2のステップと、
    この第2のステップにおいて撮像された前記操作物体の座標を検出する第3のステップと、
    この第3のステップにおいて検出された前記操作物体の座標と、前記第1のステップにおいて設定された前記対応関係とに基づいて、当該検出された操作物体の座標に対応する前記操作対象機器を特定する第4のステップと、
    この第4のステップにおいて特定された前記操作対象機器に、前記撮像された操作物体のジェスチャの認識結果に応じた操作処理を行う第5のステップと
    を含むことを特徴とするジェスチャ認識方法。
  13. 前記第1のステップは、
    前記対応関係を前記操作対象機器の複数の操作対象機能部ごとに細分化した状態で設定するステップであり、
    前記第4のステップは、
    前記操作対象機器の特定と同時に前記操作対象機能部の特定を行うステップであり、
    前記第5のステップは、
    前記第4のステップにおいて特定された前記操作対象機能部を対象とした前記操作処理を行うステップであること
    を特徴とする請求項12に記載のジェスチャ認識方法。
  14. 前記第1のステップは、
    任意の前記座標範囲を、この座標範囲に対応する前記操作対象機器に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機器に対して相対的に遠い範囲に設定するステップであること
    を特徴とする請求項12に記載のジェスチャ認識方法。
  15. 前記第1のステップは、
    任意の前記座標範囲を、この座標範囲に対応する前記操作対象機能部に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機能部に対して相対的に遠い範囲に設定するステップであること
    を特徴とする請求項13に記載のジェスチャ認識方法。
  16. 前記第1のステップは、
    複数次元の前記座標範囲を設定するステップであること
    を特徴とする請求項14または請求項15に記載のジェスチャ認識方法。
  17. 所定の操作物体のジェスチャを認識するジェスチャ認識プログラムであって、
    コンピュータを、
    撮像装置によって撮像された前記操作物体の座標を検出する座標検出装置、
    この座標検出装置によって検出された前記操作物体の座標および記憶装置に記憶された前記操作物体についての複数の座標範囲とこれら複数の座標範囲にそれぞれ対応する複数の操作対象機器との対応関係に基づいて、当該操作物体の座標に対応する前記操作対象機器を特定する操作対象機器特定装置、
    この操作対象機器特定装置によって特定された前記操作対象機器に対して、前記撮像された操作物体のジェスチャの認識結果に応じた操作処理を行う操作処理装置、
    として機能させることを特徴とするジェスチャ認識プログラム。
  18. 前記記憶装置には、前記対応関係が前記操作対象機器の複数の操作対象機能部ごとに細分化された状態で記憶されており、
    前記操作対象機器特定装置に、前記操作対象機器の特定と同時に前記操作対象機能部の特定を行わせ、
    前記操作処理装置に、前記操作対象機器特定装置によって特定された前記操作対象機能部を対象とした前記操作処理を行わせること
    を特徴とする請求項17に記載のジェスチャ認識プログラム。
JP2012265377A 2012-12-04 2012-12-04 ジェスチャ認識装置および方法ならびにプログラム Active JP6202810B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012265377A JP6202810B2 (ja) 2012-12-04 2012-12-04 ジェスチャ認識装置および方法ならびにプログラム
US14/031,865 US9256779B2 (en) 2012-12-04 2013-09-19 Gesture recognition apparatus, gesture recognition method, and recording medium
EP13192479.7A EP2741232A3 (en) 2012-12-04 2013-11-12 Gesture recognition apparatus, gesture recognition method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012265377A JP6202810B2 (ja) 2012-12-04 2012-12-04 ジェスチャ認識装置および方法ならびにプログラム

Publications (2)

Publication Number Publication Date
JP2014109994A true JP2014109994A (ja) 2014-06-12
JP6202810B2 JP6202810B2 (ja) 2017-09-27

Family

ID=49585285

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012265377A Active JP6202810B2 (ja) 2012-12-04 2012-12-04 ジェスチャ認識装置および方法ならびにプログラム

Country Status (3)

Country Link
US (1) US9256779B2 (ja)
EP (1) EP2741232A3 (ja)
JP (1) JP6202810B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016091171A (ja) * 2014-10-31 2016-05-23 三菱自動車工業株式会社 操作入力装置
JP2016091194A (ja) * 2014-10-31 2016-05-23 三菱自動車工業株式会社 操作入力装置
JP2016091182A (ja) * 2014-10-31 2016-05-23 三菱自動車工業株式会社 操作入力装置
JP2016126791A (ja) * 2014-12-30 2016-07-11 ビステオン グローバル テクノロジーズ インコーポレイテッド 感覚フィードバックを備えた追跡のシステム及び方法
EP3135514A1 (en) 2015-07-23 2017-03-01 Panasonic Intellectual Property Management Co., Ltd. Air-conditioning control apparatus, air-conditioning apparatus, air-conditioning control method, air-conditioning control system and non-transitory recording medium
JP2017512327A (ja) * 2014-02-07 2017-05-18 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 制御システム及び制御システムの動作方法
US10180729B2 (en) 2014-10-06 2019-01-15 Hyundai Motor Company Human machine interface apparatus for vehicle and methods of controlling the same
JP2019098932A (ja) * 2017-12-01 2019-06-24 アイシン精機株式会社 制御装置およびプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5750687B2 (ja) * 2013-06-07 2015-07-22 島根県 カーナビ用ジェスチャ入力装置
DE102014202834A1 (de) 2014-02-17 2015-09-03 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zum berührungslosen Bedienen eines in Hardware ausgestalteten Bedienelementes in einem 3D-Gestenmodus
JP2016004541A (ja) * 2014-06-19 2016-01-12 本田技研工業株式会社 車両用操作入力装置
CN104699244B (zh) * 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置
US20160357262A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
WO2017104272A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017188801A1 (ko) 2016-04-29 2017-11-02 주식회사 브이터치 동작-음성의 다중 모드 명령에 기반한 최적 제어 방법 및 이를 적용한 전자 장치
CN109558000B (zh) * 2017-09-26 2021-01-22 京东方科技集团股份有限公司 一种人机交互方法及电子设备
CN108647647B (zh) * 2018-05-14 2022-09-20 邯郸美的制冷设备有限公司 空调器的控制方法、控制装置及空调器
CN111985417A (zh) * 2020-08-24 2020-11-24 中国第一汽车股份有限公司 功能部件识别方法、装置、设备及存储介质
CN113158845A (zh) * 2021-04-02 2021-07-23 歌尔光学科技有限公司 手势识别方法、头戴显示设备及非易失性存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005254851A (ja) * 2004-03-09 2005-09-22 Nissan Motor Co Ltd コマンド入力装置
JP2009051253A (ja) * 2007-08-23 2009-03-12 Denso Corp 車両用遠隔操作装置
JP2009075656A (ja) * 2007-09-18 2009-04-09 Toyota Motor Corp 入力表示装置
JP2010129069A (ja) * 2008-12-01 2010-06-10 Fujitsu Ten Ltd ディスプレイ装置
JP2010184600A (ja) * 2009-02-12 2010-08-26 Autonetworks Technologies Ltd 車載用ジェスチャースイッチ装置
JP2011220894A (ja) * 2010-04-12 2011-11-04 Fujikura Ltd 手振り動作検知装置及び電気機器
WO2013151614A1 (en) * 2012-04-02 2013-10-10 Google Inc. Gesture-based automotive controls

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04311190A (ja) 1991-04-10 1992-11-02 Matsushita Electric Ind Co Ltd Secam tint 回路
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP2000163196A (ja) 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
US6154559A (en) * 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US8482535B2 (en) * 1999-11-08 2013-07-09 Apple Inc. Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
DE10039432C1 (de) * 2000-08-11 2001-12-06 Siemens Ag Bedieneinrichtung
US6703999B1 (en) * 2000-11-13 2004-03-09 Toyota Jidosha Kabushiki Kaisha System for computer user interface
US6804396B2 (en) * 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US6498970B2 (en) * 2001-04-17 2002-12-24 Koninklijke Phillips Electronics N.V. Automatic access to an automobile via biometrics
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP3903968B2 (ja) * 2003-07-30 2007-04-11 日産自動車株式会社 非接触式情報入力装置
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
JP4311190B2 (ja) * 2003-12-17 2009-08-12 株式会社デンソー 車載機器用インターフェース
JP2005242694A (ja) * 2004-02-26 2005-09-08 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置
US7295904B2 (en) * 2004-08-31 2007-11-13 International Business Machines Corporation Touch gesture based interface for motor vehicle
JP2007121576A (ja) 2005-10-26 2007-05-17 Matsushita Electric Works Ltd 音声操作装置
US8421642B1 (en) * 2006-08-24 2013-04-16 Navisense System and method for sensorized user interface
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
US8319832B2 (en) * 2008-01-31 2012-11-27 Denso Corporation Input apparatus and imaging apparatus
US8270669B2 (en) * 2008-02-06 2012-09-18 Denso Corporation Apparatus for extracting operating object and apparatus for projecting operating hand
JP2011525283A (ja) * 2008-06-18 2011-09-15 オブロング・インダストリーズ・インコーポレーテッド 車両インターフェース用ジェスチャ基準制御システム
US20100185341A1 (en) * 2009-01-16 2010-07-22 Gm Global Technology Operations, Inc. Vehicle mode activation by gesture recognition
US8087791B2 (en) * 2009-04-15 2012-01-03 Toyota Motor Engineering And Manufacturing North America, Inc. Methods and systems for adjusting the position of vehicle outside mirrors
JP5005758B2 (ja) * 2009-12-25 2012-08-22 株式会社ホンダアクセス 自動車における車載機器の操作装置
US9292093B2 (en) * 2010-11-18 2016-03-22 Alpine Electronics, Inc. Interface method and apparatus for inputting information with air finger gesture
US9316731B2 (en) * 2011-08-04 2016-04-19 Lattice Semiconductor Corporation Low-cost tracking system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005254851A (ja) * 2004-03-09 2005-09-22 Nissan Motor Co Ltd コマンド入力装置
JP2009051253A (ja) * 2007-08-23 2009-03-12 Denso Corp 車両用遠隔操作装置
JP2009075656A (ja) * 2007-09-18 2009-04-09 Toyota Motor Corp 入力表示装置
JP2010129069A (ja) * 2008-12-01 2010-06-10 Fujitsu Ten Ltd ディスプレイ装置
JP2010184600A (ja) * 2009-02-12 2010-08-26 Autonetworks Technologies Ltd 車載用ジェスチャースイッチ装置
JP2011220894A (ja) * 2010-04-12 2011-11-04 Fujikura Ltd 手振り動作検知装置及び電気機器
WO2013151614A1 (en) * 2012-04-02 2013-10-10 Google Inc. Gesture-based automotive controls
JP2015521127A (ja) * 2012-04-02 2015-07-27 グーグル・インク ジェスチャーに基づく自動車の制御

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017512327A (ja) * 2014-02-07 2017-05-18 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 制御システム及び制御システムの動作方法
US10180729B2 (en) 2014-10-06 2019-01-15 Hyundai Motor Company Human machine interface apparatus for vehicle and methods of controlling the same
JP2016091171A (ja) * 2014-10-31 2016-05-23 三菱自動車工業株式会社 操作入力装置
JP2016091194A (ja) * 2014-10-31 2016-05-23 三菱自動車工業株式会社 操作入力装置
JP2016091182A (ja) * 2014-10-31 2016-05-23 三菱自動車工業株式会社 操作入力装置
JP2016126791A (ja) * 2014-12-30 2016-07-11 ビステオン グローバル テクノロジーズ インコーポレイテッド 感覚フィードバックを備えた追跡のシステム及び方法
EP3135514A1 (en) 2015-07-23 2017-03-01 Panasonic Intellectual Property Management Co., Ltd. Air-conditioning control apparatus, air-conditioning apparatus, air-conditioning control method, air-conditioning control system and non-transitory recording medium
JP2019098932A (ja) * 2017-12-01 2019-06-24 アイシン精機株式会社 制御装置およびプログラム
JP7062930B2 (ja) 2017-12-01 2022-05-09 株式会社アイシン 制御装置およびプログラム

Also Published As

Publication number Publication date
US20140153774A1 (en) 2014-06-05
US9256779B2 (en) 2016-02-09
EP2741232A3 (en) 2016-04-27
EP2741232A2 (en) 2014-06-11
JP6202810B2 (ja) 2017-09-27

Similar Documents

Publication Publication Date Title
JP6202810B2 (ja) ジェスチャ認識装置および方法ならびにプログラム
US9235269B2 (en) System and method for manipulating user interface in vehicle using finger valleys
US9685005B2 (en) Virtual lasers for interacting with augmented reality environments
US10203764B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
JP5261554B2 (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
JP5921835B2 (ja) 入力装置
JP2013161267A5 (ja)
JPWO2011142317A1 (ja) ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
RU2636130C2 (ru) Способ и устройство отображения рабочего режима устройства
US10168787B2 (en) Method for the target recognition of target objects
JP2013218597A5 (ja)
JP2011146796A5 (ja)
JP2010184600A (ja) 車載用ジェスチャースイッチ装置
KR20140040246A (ko) 컴퓨터 비젼 애플리케이션들에서 상호작용 반경을 확대하기 위한 제스쳐-제어 기법
US20140168068A1 (en) System and method for manipulating user interface using wrist angle in vehicle
WO2018061603A1 (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
TWI485600B (zh) 圖樣互換方法與相關多點觸控裝置
WO2014034031A1 (ja) 情報入力装置及び情報表示方法
JP2010081466A (ja) 操作制御装置及び操作表示方法
JP6341343B2 (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム
CN104834461A (zh) 提供单动作多模式界面
JP2017097608A (ja) 画像認識装置
JP5770251B2 (ja) 操作制御装置
JP5988161B2 (ja) ジェスチャ認識装置
KR101860138B1 (ko) 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170829

R150 Certificate of patent or registration of utility model

Ref document number: 6202810

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150