JP2020184147A - ジェスチャ認識装置及びジェスチャ認識装置用プログラム - Google Patents

ジェスチャ認識装置及びジェスチャ認識装置用プログラム Download PDF

Info

Publication number
JP2020184147A
JP2020184147A JP2019087574A JP2019087574A JP2020184147A JP 2020184147 A JP2020184147 A JP 2020184147A JP 2019087574 A JP2019087574 A JP 2019087574A JP 2019087574 A JP2019087574 A JP 2019087574A JP 2020184147 A JP2020184147 A JP 2020184147A
Authority
JP
Japan
Prior art keywords
user
hand
gesture
initial position
recognition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019087574A
Other languages
English (en)
Other versions
JP7179334B2 (ja
Inventor
誠 南平
Makoto Nampei
誠 南平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kodenshi Corp
Original Assignee
Kodenshi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kodenshi Corp filed Critical Kodenshi Corp
Priority to JP2019087574A priority Critical patent/JP7179334B2/ja
Publication of JP2020184147A publication Critical patent/JP2020184147A/ja
Application granted granted Critical
Publication of JP7179334B2 publication Critical patent/JP7179334B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】撮像画像に基づいてユーザのジェスチャを認識するものであって、ジェスチャを開始するのに適した初期位置をユーザが把握でき、ジェスチャの誤認識を低減できるジェスチャ認識装置を提供する。【解決手段】ユーザの手を撮像する撮像手段を備え、当該撮像手段が撮像した撮像画像に基づいて前記ユーザの手のジェスチャを認識するジェスチャ認識装置であって、前記撮像画像に映る前記ユーザの手形状を認識し、当該認識した手形状が少なくとも1本の指を立てた手形状である場合に、前記ユーザの手がジェスチャを開始するのに適した初期位置にあると判定する初期位置判定部と、前記ユーザの手が前記初期位置にあると判定されると、ジェスチャを開始してよい旨を前記ユーザに報知する報知部とを備えるジェスチャ認識装置。【選択図】図3

Description

本発明は、ジェスチャ認識装置及びジェスチャ認識装置用プログラムに関する。
近年、ユーザの手指等によるジェスチャを認識し、これにより種々の操作を受け付けるようにしたジェスチャ認識装置が開発されている。このようなジェスチャ認識装置として、例えば特許文献1には、ユーザの手指等の動きをカメラで撮像し、その撮像画像からジェスチャを認識することで、触れることなく車載機器を操作できるようにしたものが開示されている。
特開2015−184841号公報
しかしながら、先行文献1に示されるような、カメラ等でユーザの手指の動きを撮像するようにしたジェスチャ認識装置では、カメラ等の撮像範囲が見えないため、使い慣れていないユーザとってはジェスチャを開始するのに適した初期位置を把握することが難しい。そのため、適切でない位置で手指を動かすことで、ジェスチャが認識されなかったり、ユーザが意図していないジェスチャが誤認識されてしまったりすることがある。
本発明はこのような問題に鑑みてなされたものであり、撮像画像に基づいてユーザのジェスチャを認識するものであって、ジェスチャを開始するのに適した初期位置をユーザが把握でき、ジェスチャの誤認識を低減できるジェスチャ認識装置を提供することを主たる所期課題とするものである。
本発明者らは、上記課題を解決するため鋭意検討した結果、ジェスチャを行う手がカメラに近すぎる場合には、手指がカメラの画角(撮像範囲)からはみ出してしまうことでユーザの手形状が認識されず、一方で手がカメラから遠すぎる場合には、カメラの画素分解能が不十分となることでユーザの手形状が認識されず、これによりジェスチャが正しく認識されないことに着眼した。そこで、ユーザの手指が撮像範囲からはみ出さず、かつ撮像手段の画素分解能が足りる位置にある場合にこれをユーザに報知することで、ユーザはジェスチャを開始するのに適した位置を把握でき、ジェスチャの誤認識を低減できることを見出し本発明に至った。
すなわち本発明に係るジェスチャ認識装置は、ユーザの手を撮像する撮像手段を備え、当該撮像手段が撮像した撮像画像に基づいて前記ユーザの手のジェスチャを認識するものであって、前記撮像画像に映る前記ユーザの手形状を認識し、その結果に基づき前記ユーザの手がジェスチャを開始するのに適した初期位置にあるかを判定する初期位置判定部と、前記ユーザの手が前記初期位置にあると判定されると、ジェスチャを開始してよい旨を前記ユーザに報知する報知部とを備え、前記初期位置判定部が、少なくとも1本の指を立てた手形状を認識した場合に、前記ユーザの手が前記初期位置にあると判定することを特徴とする。
このようなものであれば、少なくとも一本の指を立てた手形状が認識される位置を初期位置とし、そのような初期位置にユーザの手がある場合にジェスチャを開始してよい旨を報知するようにしているので、ユーザは、ジェスチャを開始するのに適した位置(撮像手段との適切な距離感)を容易に把握でき、ジェスチャの誤認識を低減することができる。ここで“少なくとも一本の指を立てた手形状が認識される位置”を初期位置とすることにより、ユーザは、撮像手段に近すぎずかつ遠すぎない位置、すなわち撮像手段の画角内に手指が収まり、かつ手指を認識するのに撮像手段の画素分解能が足りる位置でジェスチャを開始することができるので、ジェスチャの誤認識を低減することができるのである。
前記ジェスチャ認識装置は、前記初期位置判定部が、複数本の指を互いに離して立てた手形状を認識した場合に、前記ユーザの手が前記初期位置にあると判定することが好ましく、5本の指を互いに離して立てた手形状を認識した場合に、前記ユーザの手が前記初期位置にあると判定することがより好ましい。
撮像手段からの距離が同じであれば、撮像手段の撮像範囲のより中心に近い位置でジェスチャを行うほど誤認識を低減することができる。そのため、複数本の指を互いに離して立てた手形状を認識できる位置を初期位置とし、この位置に手がある場合にこれを報知することで、撮像手段の撮像範囲のより中心に近い位置でジェスチャを開始することができ、ジェスチャの誤認識をより低減できる。5本の指を互いに離して立てた手形状を認識できる位置を初期位置とすることで、ジェスチャの誤認識をより一層低減できる位置でジェスチャを行うことができる。
またこのようにすれば、ユーザが5本の指を互いに離して立てた手形状を作ったとしても、その手が撮像手段に対して正対しておらず傾いている場合には、撮像画像において指が重なってしまい5本の指が認識されないので、ユーザの手が初期位置にあると判定されない。ユーザが5本の指を互いに離して立てた手形状を撮像手段に正対させ、撮像画像において5本の指が認識される場合にのみユーザの手が初期位置にあると判定されるので、ジェスチャの誤認識をより一層低減できる位置でジェスチャを行うことができる。
前記ジェスチャ認識装置は、前記初期位置判定部が、前記認識した手形状の面積が所定の範囲内である場合に、前記ユーザの手が前記初期位置にあると判定することが好ましい。
このようにすれば、ユーザは撮像手段からのより適切な距離感を把握でき、より適切な位置でジェスチャを開始することができるので、ジェスチャの誤認識をより一層低減できる。
前記ジェスチャ認識装置は、少なくとも1本の指を立てた手形状を継続して所定時間以上認識した場合に、前記ユーザの手が前記初期位置にあると判定することが好ましい。
このようにすれば、ユーザの手が初期位置で安定している状態でジェスチャを開始できるので、ジェスチャの誤認識をより一層低減できる。
前記ジェスチャ認識装置は、前記撮像画像に基づいて前記ユーザの手のジェスチャを認識するジェスチャ認識部を備え、前記ジェスチャ認識部は前記ユーザの手が前記初期位置にあると判定された後にジェスチャの認識を行うことが好ましい。
このようにすれば、ユーザの手が初期位置にない場合にはジェスチャが認識されないので、適切でない位置でジェスチャが行われることによる誤認識をより低減できる。
前記ジェスチャ認識装置において、前記報知部は、前記ユーザの手が前記初期位置にないと判定されると、前記ユーザの手を前記初期位置に誘導するための誘導情報を前記ユーザに報知することが好ましい。
このようなものであれば、ユーザはジェスチャ操作に適した初期位置をより簡単に把握することができる。
また、本発明のジェスチャ認識装置用のプログラムは、ユーザの手を撮像する撮像手段を備え、当該撮像手段が撮像した撮像画像に基づいて前記ユーザの手のジェスチャを認識するジェスチャ認識装置用のプログラムであって、前記撮像画像に映る前記ユーザの手形状を認識し、認識した手形状が少なくとも1本の指を立てた手形状である場合に、前記ユーザの手がジェスチャを開始するのに適した初期位置にあると判定する初期位置判定部としての機能と、前記ユーザの手が前記初期位置にあると判定されると、ジェスチャを開始してよい旨を前記ユーザに報知する報知部としての機能とをコンピュータに発揮させることを特徴とする。
このようなジェスチャ認識装置用のプログラムであれば、上記したジェスチャ認識装置と同様の作用効果を奏し得る。
このようにした本発明によれば、撮像画像に基づいてユーザのジェスチャを認識するものであって、ジェスチャを開始するのに適した初期位置をユーザが把握でき、ジェスチャの誤認識を低減できるジェスチャ認識装置を提供することができる。
本発明の一実施形態におけるジェスチャ認識装置の構成を模式的に示す斜視図。 同実施形態のジェスチャ認識装置の機器構成を示す図。 同実施形態のジェスチャ認識装置の機能ブロック図。 同実施形態のジェスチャ認識装置の動作フロー図。 同実施形態のジェスチャ認識装置の動作を説明する図。 同実施形態のジェスチャ認識装置の動作を説明する図。 同実施形態のジェスチャ認識装置の動作を説明する図。
以下に、本発明の一実施形態に係るジェスチャ認識装置100について図面を参照して説明する。
本実施形態に係るジェスチャ認識装置100は、ジェスチャによるコンピュータの操作を支援するためのものである。具体的には、ボタンや音声によって行われていた入力動作をユーザのジェスチャで代替するものであり、ユーザの手のジェスチャを認識して、当該ジェスチャに応じた所定の出力を行うものである。より具体的にこのジェスチャ認識装置100は、図1に示すように、ユーザの手を撮像する撮像手段1と、コンピュータ本体2及びディスプレイ3を一体的に有するコンピュータとを備えている。ディスプレイ3には例えばアイコンやマップ等の操作対象が表示され、ユーザは撮像手段1の撮像領域内で所定のジェスチャを行うことで、ディスプレイ3に表示されている操作対象を非接触で操作できるようになっている。なお本実施形態のジェスチャ認識装置100は、撮像手段1とユーザの手との距離を計測する測距センサ等を備えていない。
撮像手段1は、ユーザの手(手指を含む)を一定の時間間隔で撮像して、その撮像画像を示す画像データをコンピュータ本体2に逐次出力するものである。この撮像手段1は、具体的には赤外線カメラを備えたものである。ここでは実効画素数:160×120の画像データを30fpsのフレームレートで出力するように構成されているが、これに限らない。撮像手段1は所謂取付けタイプのものであり、前記赤外線カメラがユーザ側を向くようにしてディスプレイ3の下部に取付けられている。なお、撮像手段1は赤外線カメラに限らず、フルカラーのイメージセンサや熱検知素子をアレイ化したセンサを利用したものであってもよい。また取付けタイプに限らず、ディスプレイ3と一体型であってもよい。また撮像手段1は、ディスプレイ3の上部に取り付けられてもよく、ユーザの手元ディスプレイ3と離れた個所に設置されてもよい。
コンピュータ本体2は、構造的には、図2に示すように、CPU201、メモリ202、入出力インターフェース203等を備えている。このコンピュータ本体2は、前記メモリ202に記憶させた各種のアプリケーションソフトウェア(以下、プログラムと言う)に基づいて、前記CPU201やその周辺機器が協働することにより、図3に示すように、画像データ受付部21、ジェスチャ認識部22、コマンド出力部23、表示制御部等としての機能を実現するように構成されている。以下、各部について説明する。
画像データ受付部21は、撮像手段1の出力部が出力した画像データを受け付け、これをジェスチャ認識部22に送信するものである。
ジェスチャ認識部22は、受け付けた画像データが示す撮像画像に基づいて、ユーザにより行われたジェスチャを認識する。具体的にこのジェスチャ認識部22は、受け付けた画像データを処理し、例えばユーザの手の輪郭、指先の位置、指の股の位置、指の関節位置、指の関節の角度、画像内における手の重心位置及び手の面積等を認識し、これらに基づいてユーザが行ったジェスチャを認識する。そしてこの認識したジェスチャを示すジェスチャデータを、コマンド出力部23に送信する。
ここでジェスチャ認識部22が認識可能なジェスチャは、例えば上下・左右方向へのフリック動作及びスワイプ動作、右回り・左周り方向へのサークル動作、プッシュ・プル動作、ピンチイン・ピンチアウト動作、指を立てる・OKサイン等を作るポージング動作等の手(手指を含む)の動きによるジェスチャである。
コマンド出力部23は、受け付けたジェスチャデータが示すジェスチャに対応するコマンドをコマンドデータとして図示しない制御部に出力する。コマンドデータが示すコマンドは、ディスプレイ3に表示されている操作対象を操作するコマンドである。例えば、ディスプレイ3に表示されているアイコンの選択、画面の切り替え、画像やマップの拡大・縮小・スクロール等、ユーザが設定可能な任意の操作である。
ディスプレイ3は、コンピュータ本体2から出力される表示データが示す画像をその画面上に表示するものである。このディスプレイ3は、コンピュータ本体2と一体になっているものに限らず、コンピュータ本体2から分離されたものであってもよい。
しかして本実施形態のジェスチャ認識装置100では、初期位置判定部24及び報知部25としての機能がコンピュータ本体2に更に付与されている。
初期位置判定部24は、撮像手段1が撮像した撮像画像に映るユーザの手形状を認識し、その結果に基づいて、ユーザの手がジェスチャを開始するのに適した(すなわち、ジェスチャを行った際に誤認識される可能性が低い)初期位置にあるかを判定する。
具体的にこの初期位置判定部24は、画像データ受付部21から画像データを受信してこれを処理し、ユーザの手形状を認識する。より具体的には、受け付けた画像データが示す画像から、例えばユーザの手の輪郭、指先の位置、指の股の位置、画像内における手の重心位置及び手の面積等を認識し、これらに基づいてユーザの手形状を認識する。そして当該認識した手形状が予めメモリ202に記憶した所定の条件を満たす場合に、ユーザの手が初期位置にあると判定し、その旨を示す判定結果データを報知部25及びジェスチャ認識部22に出力する。
初期位置判定部24は、認識した手形状が複数本(具体的には5本)の指を互いに離して立てた手形状である場合に、ユーザの手が初期位置にあると判定する。より具体的には、複数本(具体的には5本)の指の指先と、当該複数本の指の間の4つの股(すなわち付け根)とが、撮像画像に映る(すなわち撮像手段1の画角に収まっている)手形状である場合に、ユーザの手が初期位置にあると判定する。
本実施形態の初期位置判定部24は、上記した手形状を認識し、さらにその面積(撮像画像における、認識した手の輪郭により囲まれる面積)が所定範囲内である場合に、ユーザの手が初期位置にあると判定するようにしている。ここでは認識した手形状の面積が、200画素以上8000画素以下の範囲である場合にユーザの手が初期位置にあると判定する。なお、使用する撮像手段1のセンサの実効画素数に対する手形状の面積(画素数)が40%以下である場合にユーザの手が初期位置にあると判定することが好ましく、35%以下である場合がより好ましく、30%以下であることがより好ましい。このようにすることで、ユーザはより誤認識が少ない初期位置でジェスチャを開始することができる。すなわち、このようにすれば、ジェスチャを開始した後、手が多少撮像手段1側に近づいたとしても、撮像手段1の画角から手がはみ出にくくなるので、ジェスチャの誤認識をより低減できる。
さらに本実施形態では、初期位置判定部24は、認識した手形状が前記した条件を所定時間以上(具体的には0.1秒以上)継続して満たした場合に、ユーザの手が初期位置にあると判定するようにしている。
一方で、初期位置判定部24は、画像データに基づき認識した手形状が予めメモリ202に記憶した所定の条件を満たさない場合には、ユーザの手が初期位置にないと判定し、その旨を示す判定結果データを報知部25に出力する。さらにこの場合、初期位置判定部24は、認識した手形状に基づき、ユーザの手を初期位置に誘導するための誘導情報を生成し、これを誘導データとして報知部25に出力する。
報知部25は、初期位置判定部24がユーザの手が初期位置にあると判定すると、その位置でジェスチャを開始してよい旨をユーザに報知する。すなわち、初期位置でジェスチャを行うよう促す旨を報知する。
具体的にこの報知部25は、ユーザの手が初期位置にある旨を示す判定結果データを初期位置判定部24から受け取ると、ジェスチャを開始してよい旨を示す報知データを報知手段4に送信する。そして報知手段4によりジェスチャを開始してよい旨が出力される。ここでは、報知部25はユーザの聴覚を利用してジェスチャを開始してよい旨を報知するようにされており、報知手段4としてコンピュータ本体2に備えられたスピーカ(図示しない)を用いている。より具体的には、報知手段4たるスピーカは、報知データを受け付けるとジェスチャを開始してよい旨を示す音を出す。「ジェスチャを開始してよい旨を示す音」とは、例えば「ジェスチャを開始してください」、「ジェスチャ入力可能です」、「その位置で操作してください」等のユーザにジェスチャ動作の開始を促す音声であってよく、ビープ音等であってもよい。
一方で報知部25は、ユーザの手が初期位置にない旨を示す判定結果データと、誘導データとを受け取ると、誘導情報を示す報知データを報知手段4に送信する。そして報知手段4(ここではスピーカ)から誘導情報が出力される。出力される誘導情報は、例えば、「手をもう少し右に移動してください。」や「手を動かさないでください」等の手の動きに関する情報であってもよく、「手をしっかり開いてください。」や「手をまっすぐカメラに向けてください」といった、手の形状や向きに関する情報であってもよい。
また本実施形態では、ジェスチャ認識部22は、ユーザの手が初期位置にある旨を示す判定結果データを受け付けた後、ユーザにより行われるジェスチャを認識するようにされている。具体的にジェスチャ認識部22は、当該判定結果データを受け付けると、これをトリガとして受け付けた画像データを処理し、ユーザにより行われたジェスチャを認識する。機能的に説明すると、ジェスチャ認識部22は、初期位置判定部24によってユーザの手が初期位置にあると判定される前にはジェスチャを認識せず、当該判定がなされた後にジェスチャを認識するようになっている。
次に、このような構成のジェスチャ認識装置100の動作について、図4〜図7を参照しつつ以下に説明する。ここでディスプレイ3には、地図等の操作対象とともに、「カメラに向かって手を開いてください」等というメッセージが表示されている。
まずユーザは、カメラ(撮像手段1)の撮像範囲内と考える位置に手をかざし、そこでカメラに向かって手を開く。すると、カメラから出力された画像データに基づき、初期位置判定部24がユーザの手形状を認識する(ステップS1)。
初期位置判定部24は、ユーザの手が初期位置にあるかを判定する(ステップS2)。初期位置判定部24は、認識した手形状が複数本(具体的には5本)の指を互いに離して立てた手形状であって、かつ複数本(5本)の指の指先と、当該複数本の指の間の4つの股(すなわち付け根)とを含む手形状である場合に、ユーザの手が初期位置にあると判定する(ステップS4に進む)。一方で、認識した手形状が当該条件を満たさない場合には、ユーザの手が初期位置にないと判定し、ユーザの手を初期位置に誘導するための誘導情報を出力する(ステップS3)とともに、ユーザの手形状の認識を続けて行う(ステップS1に戻る)。
例えば、ユーザの手が図5の(a)に示すP位置(カメラからの距離が適切であり、かつカメラから見て真正面の位置)にある場合、初期位置判定部24には図5の(b)に示すような画像データが送信される。初期位置判定部24は、当該画像データから、5本の指を互いに離して立てた手形状であって、かつ5本の指の指先とこれらの間の4つの股を含む手形状であることを認識し、ユーザの手が初期位置にあると判定する。
一方でユーザの手が図6の(a)に示すQ位置(カメラからの距離が適切であるが、カメラから見て横にずれた位置)にある場合、初期位置判定部24には図6の(b)に示すような画像データが送信される。また、ユーザの手がR位置(カメラからの距離が適切であるが、カメラから見て下にずれた位置)にある場合、初期位置判定部24には図6の(c)に示すような画像データが送信される。これらの場合、初期位置判定部24は、当該画像データから、5本の指を互いに離して立てた手形状であって、かつ5本の指の指先とこれらの間の4つの股を含む手形状であることを認識できず、ユーザの手が初期位置にないと判定する。
また、ユーザの手が図7の(a)に示すS位置(カメラからの距離が近すぎる位置)にある場合、初期位置判定部24には図7の(b)に示すような画像データが送信される。この場合、初期位置判定部24は、当該画像データから、5本の指を互いに離して立てた手形状であって、かつ5本の指の指先とこれらの間の4つの股を含む手形状であることを認識できず、ユーザの手が初期位置にないと判定する。また、ユーザの手が図7の(a)に示すT位置(カメラからの距離が遠すぎる位置)にある場合、初期位置判定部24には図7の(c)に示すような画像データが送信される。この場合、初期位置判定部24は、映っている手が小さすぎるため当該画像データから指先や指股を検出できず、5本の指を互いに離して立てた手形状であって、かつ5本の指の指先とこれらの間の4つの股を含む手形状であることを認識できず、ユーザの手が初期位置にないと判定する。
ユーザの手が初期位置にあると判定されると、報知部25は、ジェスチャを開始してよい旨をユーザに報知する(ステップS4)。具体的には、報知手段4(スピーカ)から「その位置でジェスチャを開始してください」等の音声を発し、ユーザにジェスチャの開始を促す。
そしてユーザがP位置(初期位置)でジェスチャを行うと、ジェスチャ認識部22がそのジェスチャを認識する(ステップS5)。そして、コマンド出力部23によりそのジェスチャに応じたコマンドが出力され、ディスプレイ3に映った操作対象が操作される(ステップS6)。
このように構成された本実施形態のジェスチャ認識装置100によれば、5本の指を互いに離して立てた手形状が認識される位置を初期位置とし、そのような初期位置にユーザの手がある場合にジェスチャを開始してよい旨を報知するようにしているので、ユーザは、ジェスチャを開始するのに適した位置を容易に把握でき、ジェスチャの誤認識を低減することができる。ここで“5本の指を互いに離して立てた手形状が認識される位置”を初期位置とすることにより、ユーザは、撮像手段1に近すぎずかつ遠すぎない位置、すなわち撮像手段1の画角内に手指が収まり、かつ手指を認識するのに撮像手段1の画素分解能が足りる位置であって、撮像手段1の画角の中心に近い位置でジェスチャを開始することができるので、ジェスチャの誤認識を高い精度で防ぐことができるのである。
なお、本発明は前記実施形態に限られるものではない。
前記実施形態では、初期位置判定部24は、認識した手形状が複数本(具体的には5本)の指を互いに離して立てた手形状である場合に、ユーザの手が初期位置にあると判定するものであったがこれに限らない。初期位置判定部24は、認識した手形状が1本指を立てた手形状である場合に、ユーザの手が初期位置にあると判定してもよい。
また前記実施形態では、初期位置判定部24は、認識した手形状が所定の条件を継続して所定時間以上満たした場合にユーザの手が初期位置にあると判定するものであったがこれに限らない。他の実施形態では、初期位置判定部24は、認識した手形状が所定の条件(すなわち手形状)を満たすと、ユーザの手が初期位置にあると即座に判定してもよい。
前記実施形態では、画像データ受付部21、ジェスチャ認識部22、コマンド出力部23、初期位置判定部24及び報知部25の機能の全てをコンピュータ本体2が発揮するようにしていたが、これに限定されない。これらの機能の一部又は全部が撮像手段1により発揮されるようにしてもよい。
前記実施形態では、報知部25はユーザの聴覚を利用するものであったが、これに限らず、ユーザの視覚を利用して報知するものであってもよい。例えば、報知手段4としてディスプレイ3を用いて、ジェスチャを開始する旨を示す情報や、手の誘導情報を画面上に表示するようにしてもよい。
前記実施形態の撮像手段1は、ここでは実効画素数:160×120の画像データを30fpsのフレームレートで出力するように構成されているがこれに限らない。例えば16×16の画像データを10fpsのフレームレートで出力するように構成されていてもよい。このように実効画素数が低い撮像手段1を用いた場合において、上記したジェスチャ認識装置100の効果が顕著に奏される。
その他、本発明は前記実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能であるのは言うまでもない。
100・・・ジェスチャ認識装置
1 ・・・撮像手段
2 ・・・コンピュータ本体
21 ・・・画像データ受付部
22 ・・・ジェスチャ認識部
23 ・・・コマンド出力部
24 ・・・初期位置判定部
25 ・・・報知部
3 ・・・ディスプレイ
4 ・・・報知手段

Claims (8)

  1. ユーザの手を撮像する撮像手段を備え、当該撮像手段が撮像した撮像画像に基づいて前記ユーザの手のジェスチャを認識するジェスチャ認識装置であって、
    前記撮像画像に映る前記ユーザの手形状を認識し、その結果に基づき前記ユーザの手がジェスチャを開始するのに適した初期位置にあるかを判定する初期位置判定部と、
    前記ユーザの手が前記初期位置にあると判定されると、ジェスチャを開始してよい旨を前記ユーザに報知する報知部と
    を備え、
    前記初期位置判定部が、少なくとも1本の指を立てた手形状を認識した場合に、前記ユーザの手が前記初期位置にあると判定するジェスチャ認識装置。
  2. 前記初期位置判定部が、複数本の指を互いに離して立てた手形状を認識した場合に、前記ユーザの手が前記初期位置にあると判定する請求項1に記載のジェスチャ認識装置。
  3. 前記初期位置判定部が、5本の指を互いに離して立てた手形状を認識した場合に、前記ユーザの手が前記初期位置にあると判定する請求項2に記載のジェスチャ認識装置。
  4. 前記初期位置判定部が、前記認識した手形状の面積が所定の範囲内である場合に、前記ユーザの手が前記初期位置にあると判定する請求項1〜3のいずれか1項に記載のジェスチャ認識装置。
  5. 前記初期位置判定部が、少なくとも1本の指を立てた手形状を継続して所定時間以上認識した場合に、前記ユーザの手が前記初期位置にあると判定する請求項1〜4のいずれか1項に記載のジェスチャ認識装置。
  6. 前記撮像画像に基づいて前記ユーザの手のジェスチャを認識するジェスチャ認識部を備え、
    前記ジェスチャ認識部は前記ユーザの手が前記初期位置にあると判定された後にジェスチャの認識を行う請求項1〜5のいずれか1項に記載のジェスチャ認識装置。
  7. 前記報知部は、前記ユーザの手が前記初期位置にないと判定されると、前記ユーザの手を前記初期位置に誘導するための誘導情報を前記ユーザに報知する、請求項1〜6のいずれか1項に記載のジェスチャ認識装置。
  8. ユーザの手を撮像する撮像手段を備え、当該撮像手段が撮像した撮像画像に基づいて前記ユーザの手のジェスチャを認識するジェスチャ認識装置用のプログラムであって、
    前記撮像画像に映る前記ユーザの手形状を認識し、認識した手形状が少なくとも1本の指を立てた手形状である場合に、前記ユーザの手がジェスチャを開始するのに適した初期位置にあると判定する初期位置判定部としての機能と、
    前記ユーザの手が前記初期位置にあると判定されると、ジェスチャを開始してよい旨を前記ユーザに報知する報知部としての機能と
    をコンピュータに発揮させることを特徴とするジェスチャ認識装置用のプログラム。
JP2019087574A 2019-05-07 2019-05-07 ジェスチャ認識装置及びジェスチャ認識装置用プログラム Active JP7179334B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019087574A JP7179334B2 (ja) 2019-05-07 2019-05-07 ジェスチャ認識装置及びジェスチャ認識装置用プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019087574A JP7179334B2 (ja) 2019-05-07 2019-05-07 ジェスチャ認識装置及びジェスチャ認識装置用プログラム

Publications (2)

Publication Number Publication Date
JP2020184147A true JP2020184147A (ja) 2020-11-12
JP7179334B2 JP7179334B2 (ja) 2022-11-29

Family

ID=73044558

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019087574A Active JP7179334B2 (ja) 2019-05-07 2019-05-07 ジェスチャ認識装置及びジェスチャ認識装置用プログラム

Country Status (1)

Country Link
JP (1) JP7179334B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050025345A1 (en) * 2003-07-30 2005-02-03 Nissan Motor Co., Ltd. Non-contact information input device
JP2005135439A (ja) * 2004-12-28 2005-05-26 Toshiba Corp 操作入力装置
JP2014048680A (ja) * 2012-08-29 2014-03-17 Alpine Electronics Inc 情報システム
WO2015125213A1 (ja) * 2014-02-18 2015-08-27 三菱電機株式会社 移動体用ジェスチャ誘導装置、移動体用ジェスチャ誘導システムおよび移動体用ジェスチャ誘導方法
JP2016177658A (ja) * 2015-03-20 2016-10-06 カシオ計算機株式会社 仮想入力装置、入力方法、およびプログラム
JP2017212007A (ja) * 2017-08-03 2017-11-30 シャープ株式会社 画像表示装置
JP2018036902A (ja) * 2016-08-31 2018-03-08 島根県 機器操作システム、機器操作方法および機器操作プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050025345A1 (en) * 2003-07-30 2005-02-03 Nissan Motor Co., Ltd. Non-contact information input device
JP2005135439A (ja) * 2004-12-28 2005-05-26 Toshiba Corp 操作入力装置
JP2014048680A (ja) * 2012-08-29 2014-03-17 Alpine Electronics Inc 情報システム
WO2015125213A1 (ja) * 2014-02-18 2015-08-27 三菱電機株式会社 移動体用ジェスチャ誘導装置、移動体用ジェスチャ誘導システムおよび移動体用ジェスチャ誘導方法
JP2016177658A (ja) * 2015-03-20 2016-10-06 カシオ計算機株式会社 仮想入力装置、入力方法、およびプログラム
JP2018036902A (ja) * 2016-08-31 2018-03-08 島根県 機器操作システム、機器操作方法および機器操作プログラム
JP2017212007A (ja) * 2017-08-03 2017-11-30 シャープ株式会社 画像表示装置

Also Published As

Publication number Publication date
JP7179334B2 (ja) 2022-11-29

Similar Documents

Publication Publication Date Title
JP5412227B2 (ja) 映像表示装置、および、その表示制御方法
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
US10015402B2 (en) Electronic apparatus
KR20120096849A (ko) 제스쳐를 이용한 입력 장치 및 방법
US20170214856A1 (en) Method for controlling motions and actions of an apparatus including an image capture device having a moving device connected thereto using a controlling device
JP6177482B1 (ja) タッチパネル入力装置、タッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム
JP6483556B2 (ja) 操作認識装置、操作認識方法及びプログラム
JP2012185630A (ja) 投影装置
JP2006107048A (ja) 視線対応制御装置および視線対応制御方法
JP5817149B2 (ja) 投影装置
EP3400827A1 (en) Electronic make-up mirror device and background switching method thereof
JP6911870B2 (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
TWI499938B (zh) 觸控系統
JP2022188192A (ja) 頭部装着型ディスプレイ装置、頭部装着型ディスプレイ装置の制御方法
JP6792721B2 (ja) 電子機器、プログラム、制御装置および制御方法
JP2020184147A (ja) ジェスチャ認識装置及びジェスチャ認識装置用プログラム
JP2021039549A (ja) 携帯端末装置
JP2023033559A (ja) 情報処理装置、表示制御方法、及びプログラム
JP4932554B2 (ja) 文字入力システム、文字入力装置、文字入力方法、及びプログラム
KR101204868B1 (ko) 프로젝션 및 가상 입력 겸용의 프로젝터 및 데이터 입력 방법
JP6329373B2 (ja) 電子機器および電子機器を制御するためのプログラム
JP2013134549A (ja) データ入力装置およびデータ入力方法
JP2020201664A (ja) 表示装置
JP2010067090A (ja) 情報端末装置
JP6514889B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221109

R150 Certificate of patent or registration of utility model

Ref document number: 7179334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150