JP2009037434A - 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム - Google Patents
制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム Download PDFInfo
- Publication number
- JP2009037434A JP2009037434A JP2007201447A JP2007201447A JP2009037434A JP 2009037434 A JP2009037434 A JP 2009037434A JP 2007201447 A JP2007201447 A JP 2007201447A JP 2007201447 A JP2007201447 A JP 2007201447A JP 2009037434 A JP2009037434 A JP 2009037434A
- Authority
- JP
- Japan
- Prior art keywords
- control device
- gesture
- user
- selection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】カメラ(CA1,CA2)によりユーザの画像を撮像するユーザ撮像手段(C1,C1′)と、ユーザのジェスチャを検出するジェスチャ検出手段(C2)と、選択ジェスチャであるか、操作ジェスチャであるかを判別するジェスチャ判別手段(C3)と、ユーザの視線の方向に制御機器(K)があるか否かを判別する視線方向判別手段(C4C,C5C)と、選択ジェスチャで選択された制御機器(K)とユーザの視線の方向にある制御機器(K)とが一致する場合に制御機器(K)を選択する制御機器選択手段(C4)と、選択された制御機器(K)に対して、操作ジェスチャに応じた操作を実行する制御機器操作手段(C5)とを備えたことを特徴とする制御機器操作ジェスチャ認識装置(PC)。
【選択図】図2
Description
前記ジェスチャを認識することにより、ロボットや家電製品等の制御機器を操作する技術として、例えば、以下の従来技術(J01),(J02)が公知である。
非特許文献1には、複数台のカメラによりユーザを撮影し(ステレオ視し)、ユーザの頭の高さからユーザの体型データ(身長、肩幅、肩の高さ、腕の長さ)を算出し、算出されたユーザの体型データに基づいて、ユーザの指差した位置(3次元座標位置)を認識してロボット等の移動経路指示等の操作をする技術が記載されている。また、非特許文献1には、指差し動作について、動作の滑らかさや速度(角速度)等の、いわゆる、ファジールールに基づいて、ユーザが指差し動作を行ったか否かを判別する技術が記載されている。
非特許文献2には、ユーザのジェスチャを認識し、テレビ、照明機器、扇風機等の家電製品を操作する、いわゆる、インテリジェントルームについての技術が記載されている。また、非特許文献2には、室内に配置された複数台のCCDカメラで、室内にいる複数の人物の中から、手振りをして操作したい意思を示している人物(操作者)をステレオ視することにより、操作者の位置(3次元位置情報)を認識し、操作者の肌色情報から操作者の手の領域(手領域)を抽出することにより、指差し方向や、指の本数、手を上下左右に振る等の動作(ジェスチャ)を認識する技術が記載されている。
前記従来技術(J02)では、ユーザの手領域が抽出され、前記手領域の手の形状だけで画像解析されるため、ユーザのジェスチャが本当に意図して行われているか否かを判別できないという問題があった。また、前記従来技術(J01)のように、ユーザの指差しの動作の滑らかさや速度(角速度)等に基づいて、ユーザが指差し動作を行ったか否かを判別しても、ユーザが本当に意図してその指差し動作を行ったかが判別できなければ、結局、意図しないジェスチャ認識は全て誤認識であり、ロボットや家電製品等を誤操作してしまうという問題があった。
したがって、前記従来技術(J01),(J02)のように、制御対象物を操作するためのジェスチャが手振りや指差し等の単純な動作である場合、普段の生活で何気なく行われる可能性があるため、ユーザの意図が判別できなければ、意図しないジェスチャ認識が行われ、ロボットや家電製品等を誤操作してしまうという問題があった。
また、多様な制御対象物の操作に対して、専用の操作ボタン、操作コマンド、操作ジェスチャが設定されている場合には、ユーザがこれらの設定を覚える必要があり、ユーザに負担を与えてしまうという問題があった。
(O01)制御機器を操作する意図で行われたジェスチャを精度良く認識すること。
カメラによりユーザの画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする。
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段、
を備えたことを特徴とする。
カメラによりユーザの画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、前記選択ジェスチャで選択された制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段と、
を備えたことを特徴とする。
前記制御機器に対応する制御機器画像を表示する制御機器画像表示手段と、
前記画像に基づいて、ユーザの視線の方向に前記制御機器画像があるか否かを判別することにより、ユーザの視線の方向に制御機器があるか否かを判別する前記視線方向判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器画像と、ユーザの視線の方向にある制御機器画像と、が一致する場合に、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致するとみなし、前記制御機器を操作対象として選択する前記制御機器選択手段と、
を備えたことを特徴とする。
前記制御機器に対応する制御機器画像を表示する制御機器画像表示手段と、
前記画像に基づいて、ユーザの視線の方向に前記制御機器画像があるか否かを判別することにより、ユーザの視線の方向に制御機器があるか否かを判別する前記視線方向判別手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器画像に対応する制御機器と、が一致する場合に、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致するとみなし、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段と、
として機能させる。
前記選択ジェスチャで選択された制御機器が、ユーザが意図して選択した制御機器であるか否かを確認するための選択確認画像を表示する選択確認画像表示手段と、
前記選択確認画像が表示された後で、検出された前記ジェスチャが、ユーザが意図して選択した制御機器であることを肯定するための肯定ジェスチャと、ユーザが意図して選択した制御機器であることを否定するための否定ジェスチャとにより構成された確認ジェスチャのいずれかであることを判別する確認ジェスチャ判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記選択確認画像を表示し、前記選択確認画像の表示後に検出された前記ジェスチャが前記肯定ジェスチャであれば前記制御機器を操作対象として選択し、前記否定ジェスチャであれば前記制御機器を操作対象として選択しない前記制御機器選択手段と、
を備えたことを特徴とする。
前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの視線の方向に制御機器があるか否かを判別する前記視線方向判別手段と、
を備えたことを特徴とする。
カメラによりユーザの画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする。
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段、
を備えたことを特徴とする。
カメラによりユーザの画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、前記選択ジェスチャで選択された制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段と、
を備えたことを特徴とする。
コンピュータを、
カメラによりユーザの画像を撮像するユーザ撮像手段、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段、
検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器を操作対象として選択する制御機器選択手段、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段、
として機能させる。
コンピュータを、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段、
として機能させる。
コンピュータを、
カメラによりユーザの画像を撮像するユーザ撮像手段、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、前記選択ジェスチャで選択された制御機器を操作対象として選択する制御機器選択手段、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段、
として機能させる。
請求項2の記載の発明によれば、検出されたジェスチャが操作ジェスチャであり、前記制御機器選択手段で選択された制御機器と、ユーザの視線の方向にある制御機器とが一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行することができる。したがって、本発明の構成を有しない場合に比べ、制御機器を操作する意図で行われた前記操作ジェスチャを精度良く認識することができる。
請求項5の記載の発明によれば、検出されたジェスチャが操作ジェスチャであり、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器画像に対応する制御機器とが一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行することができる。この結果、実際の制御機器に対して前記操作ジェスチャをしなくても、前記制御機器を操作することができる。
請求項7の記載の発明によれば、ユーザの顔の方向を画像解析することにより、ユーザの視線の方向に制御機器があるか否かを判別することができる。
請求項9の記載の発明によれば、検出されたジェスチャが操作ジェスチャであり、前記制御機器選択手段で選択された制御機器と、ユーザの視線の方向にある制御機器とが一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行することができる。したがって、本発明の構成を有しない場合に比べ、制御機器を操作する意図で行われた前記操作ジェスチャを精度良く認識することができる。
請求項12の記載の発明によれば、検出されたジェスチャが操作ジェスチャであり、前記制御機器選択手段で選択された制御機器と、ユーザの視線の方向にある制御機器とが一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行することができる。したがって、本発明の構成を有しない場合に比べ、制御機器を操作する意図で行われた前記操作ジェスチャを精度良く認識することができる。
図1において、実施例1の制御機器操作ジェスチャ認識システムSは、制御機器操作ジェスチャ認識システムS本体としてのクライアントパソコン(パーソナルコンピュータ、制御機器操作ジェスチャ認識装置)PCを有する。
前記クライアントパソコンPCは、コンピュータ装置により構成されており、コンピュータ本体H1と、ディスプレイH2と、キーボードH3やマウスH4等の入力装置、図示しないHDドライブ(ハードディスクドライブ)、CDドライブ(コンパクトディスクドライブ)等により構成されている。
実施例1の前記カメラCA1,CA2は、室内全体をステレオ視可能な位置に予め配置されている。すなわち、実施例1の前記クライアントパソコンPCは、前記カメラCA1,CA2で撮像された室内の動画情報(画像)により、ユーザの3次元位置を識別できる。なお、複数台のカメラで室内をステレオ視することにより、ユーザの3次元位置を識別する技術については、非特許文献1,2等に記載されており、公知である。
図2は本発明の実施例1のクライアントパソコンの制御部が備えている各機能をブロック図(機能ブロック図)で示した図である。
図2において、クライアントパソコンPCのコンピュータ本体H1は、外部との信号の入出力および入出力信号レベルの調節等を行うI/O(入出力インターフェース)、必要な処理を行うためのプログラムおよびデータ等が記憶されたROM(リードオンリーメモリ)、必要なデータを一時的に記憶するためのRAM(ランダムアクセスメモリ)、ハードディスクやROM等に記憶されたプログラムに応じた処理を行うCPU(中央演算処理装置)、ならびにクロック発振器等を有している。
前記構成のクライアントパソコンPCは、前記ハードディスクやROM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
制御機器操作ジェスチャ認識プログラムAP1は、下記の機能手段(プログラムモジュール)を有する。
C1:室内動画撮像制御手段(ユーザ撮像手段)
室内動画撮像制御手段C1は、前記カメラCA1,CA2による室内の動画(ユーザの画像)の撮像を制御する。実施例1の前記室内動画撮像制御手段C1は、前記接続ケーブルCを介して制御信号を送信することにより、前記カメラCA1,CA2による室内の動画の撮像を制御する。
ジェスチャ検出手段C2は、手領域検出手段C2Aと、顔領域検出手段C2Bとを有し、前記室内動画撮像制御手段C1によって撮像された室内の動画に基づいて、ユーザのジェスチャを検出する。実施例1の前記ジェスチャ検出手段C2は、前記カメラCA1,CA2で室内がステレオ視されることにより算出されるユーザの3次元位置を認識し、前記各手段C2A,C2Bにより検出されたユーザの手領域および顔領域の変化(動き)を画像解析して、ユーザのジェスチャを検出する(非特許文献1、2参照)。
手領域検出手段C2Aは、前記室内動画撮像制御手段C1によって撮像された室内の動画に基づいて、ユーザの肌色部分のうちの手の領域(手領域)を検出する。
C2B:顔領域検出手段
顔領域検出手段C2Bは、前記室内動画撮像制御手段C1によって撮像された室内の動画に基づいて、ユーザの肌色部分のうちの顔の領域(顔領域)を検出する。
ジェスチャ判別手段C3は、前記ジェスチャ検出手段C2で検出されたジェスチャが、制御機器Kを選択する選択ジェスチャであるか、選択された制御機器K(K1〜K6)を操作する操作ジェスチャであるかを判別する。実施例1の前記ジェスチャ判別手段C3は、検出されたジェスチャが指差し動作であるか否かを判別することにより、前記ジェスチャが選択ジェスチャであるか、操作ジェスチャであるかを判別する。
制御機器選択手段C4は、制御機器配置位置記憶手段C4Aと、指差し位置判別手段C4Bと、顔方向判別手段C4Cとを有し、前記ジェスチャ判別手段C3によりユーザのジェスチャが選択ジェスチャであると判別された場合に、前記選択ジェスチャに基づいて、前記制御機器K(K1〜K6)のいずれか1つを操作対象として選択する制御機器選択処理を実行する。実施例1の前記制御機器選択手段C4は、ユーザが指差した位置に制御機器K(K1〜K6)のいずれかが存在し、且つ、ユーザの顔の方向が指差した位置、すなわち、前記制御機器K(K1〜K6)に向いていると判別された場合に、指差した位置の前記制御機器K(K1〜K6)を操作対象として選択する。また、前記制御機器選択手段C4は、前記制御機器K(K1〜K6)のいずれか1つを操作対象として選択した場合、対応する選択フラグ(F1〜F5)を「1」にセットすると共に、その他の選択フラグ(F1〜F5)を「0」にリセットする。
制御機器配置位置記憶手段C4Aは、前記照明K1、前記窓K2、前記CDプレイヤーK3、前記テレビK4、前記ビデオK6がそれぞれ配置された位置を記憶する。
C4B:指差し位置判別手段
指差し位置判別手段C4Bは、前記手領域検出手段C2Aおよび前記顔領域検出手段C2Bにより検出されたユーザの手領域および顔領域に基づいて、ユーザの指差した位置を判別する。実施例1の前記指差し位置判別手段C4Bは、非特許文献1記載の技術と同様に、ユーザの頭の高さからユーザの体型データ(身長、肩幅、肩の高さ、腕の長さ)を算出し、算出されたユーザの体型データに基づいて、ユーザの指差した位置を判別する。例えば、頭の位置と指差した指先とを結んだ直線が到達した位置を判別する。
C4C:顔方向判別手段(視線方向判別手段)
顔方向判別手段C4Cは、前記顔領域検出手段C2Bにより検出されたユーザの顔領域に基づいて、ユーザの顔の向きを判別することにより、ユーザの視線の方向に制御機器K(K1〜K6)があるか否かを判別する。実施例1の前記顔方向判別手段C4Cは、前記顔領域内の唇を検出し、顔全体の重心に対する唇の位置から、ユーザの顔の向きを判別する。
制御機器操作手段C5は、操作ジェスチャ記憶手段C5Aと、操作ジェスチャ判別手段C5Bと、顔方向判別手段C5Cとを有し、前記ジェスチャ判別手段C3によりユーザのジェスチャが操作ジェスチャであると判別された場合に、前記操作ジェスチャに基づいて、選択された前記制御機器K(K1〜K6)を操作する制御機器操作処理を実行する。実施例1の前記制御機器操作手段C5は、ユーザの動作が手を上下左右のいずれかに振る動作であり、且つ、ユーザの顔の方向が指差した位置、すなわち、前記制御機器K(K1〜K6)に向いていると判別された場合に、選択された前記制御機器K(K1〜K6)に対して、前記操作ジェスチャに対応する操作を実行する。
C5A:操作ジェスチャ設定記憶手段
操作ジェスチャ記憶手段C5Aは、前記制御機器K(K1〜K6)を操作する前記操作ジェスチャの設定を記憶する。
実施例1の前記操作ジェスチャ記憶手段C5Aでは、図3に示すように、前記操作ジェスチャとして、手を上下左右に振る動作が予め設定されている。また、前記選択ジェスチャで照明K1が選択された場合、手を左右に振る動作では何も操作せず、手を上に振る動作では照明K1を明るくし、手を下に振る動作では照明K1を暗くするよう予め設定されている。また、前記選択ジェスチャで窓K2が選択された場合、手を左に振る動作では窓K2を開け、手を右に振る動作では窓K2を閉め、手を上に振る動作ではカーテンK2aを開け、手を下に振る動作ではカーテンK2aを閉めるよう予め設定されている。
操作ジェスチャ判別手段C5Bは、前記手領域検出手段C2Aにより検出されたユーザの手領域に基づいて、手を上下左右のどの方向に振る動作であるかを判別する。実施例1の前記操作ジェスチャ判別手段C5Bは、非特許文献2記載の技術と同様に、手の重心位置が往復運動した場合に、前記重心位置の移動方向を算出することにより、手を上下左右のどの方向に振る動作であるかを判別する。
C5C:顔方向判別手段(視線方向判別手段)
顔方向判別手段C5Cは、前記顔領域検出手段C2Bにより検出されたユーザの顔領域に基づいて、ユーザの顔の向きを判別することにより、ユーザの視線の方向に制御機器K(K1〜K6)があるか否かを判別する。実施例1の前記顔方向判別手段C5Cは、前記制御機器選択手段C4の顔方向判別手段C4Cと同様に、前記顔領域内の唇を検出し、顔全体の重心に対する唇の位置から、ユーザの顔の向きを判別する。
照明選択フラグFL1は、初期値が「0」であり、選択ジェスチャで前記照明K1が選択されると「1」となり、選択ジェスチャでその他の制御機器K(K2〜K6)が選択されると「0」となる。
FL2:窓選択フラグ
窓選択フラグFL2は、初期値が「0」であり、選択ジェスチャで前記窓K2が選択されると「1」となり、選択ジェスチャでその他の制御機器K(K1,K3〜K6)が選択されると「0」となる。
FL3:CDプレイヤー選択フラグ
CDプレイヤー選択フラグFL3は、初期値が「0」であり、選択ジェスチャで前記CDプレイヤーK3が選択されると「1」となり、選択ジェスチャでその他の制御機器K(K1,K2,K4,K6)が選択されると「0」となる。
テレビ選択フラグFL4は、初期値が「0」であり、選択ジェスチャで前記テレビK4が選択されると「1」となり、選択ジェスチャでその他の制御機器K(K1〜K3,K6)が選択されると「0」となる。
FL5:ビデオ選択フラグ
ビデオ選択フラグFL5は、初期値が「0」であり、選択ジェスチャで前記ビデオK6が選択されると「1」となり、選択ジェスチャでその他の制御機器K(K1〜K4)が選択されると「0」となる。
次に、実施例1のクライアントパソコンPCの制御機器操作ジェスチャ認識プログラムAP1の処理の流れをフローチャートを使用して説明する。
(実施例1のメイン処理のフローチャートの説明)
図4は本発明の実施例1の制御機器操作ジェスチャ認識プログラムのメイン処理のフローチャートである。
図4のフローチャートの各ST(ステップ)の処理は、前記クライアントパソコンPCのROM等に記憶されたプログラムに従って行われる。また、この処理は前記クライアントパソコンPCの他の各種処理と並行してマルチタスクで実行される。
図4のST1において、次の(1),(2)の処理を実行し、ST2に移る。
(1)照明選択フラグFL1、窓選択フラグFL2、CDプレイヤー選択フラグFL3、テレビ選択フラグFL4、ビデオ選択フラグFL5をそれぞれ「0」にセットする。
(2)カメラCA1,CA2による室内の動画の撮像を開始する。
ST3において、検出されたジェスチャは選択ジェスチャ、すなわち、指差し動作であるか否かを判別する。イエス(Y)の場合はST4に移り、ノー(N)の場合はST5に移る。
ST4において、選択ジェスチャに基づいて、制御機器K(K1〜K6)のいずれか1つを操作対象として選択する制御機器選択処理を実行する。そして、ST2に戻る。
ST5において、操作ジェスチャに基づいて、選択された制御機器K(K1〜K6)を操作する制御機器操作処理を実行する。そして、ST2に戻る。
図5は本発明の実施例1の制御機器操作ジェスチャ認識プログラムの制御機器選択処理のフローチャートであり、図4のST4のサブルーチンの説明図である。
図5のST11において、ユーザが指差した位置に制御機器K(K1〜K6)のいずれかが存在するか否かを判別する。イエス(Y)の場合はST12に移り、ノー(N)の場合は制御機器選択処理を終了し、図4のメイン処理に戻る。
ST12において、ユーザの顔の方向が指差した位置、すなわち、制御機器K(K1〜K6)に向いているか否かを判別する。イエス(Y)の場合はST13に移り、ノー(N)の場合は制御機器選択処理を終了し、図4のメイン処理に戻る。
(1)指差された制御機器K(K1〜K6)に対応する選択フラグFL1〜FL5を「1」にセットする。
(2)その他の各選択フラグFL1〜FL5を「0」にセットする。
図6は本発明の実施例1の制御機器操作ジェスチャ認識プログラムの制御機器操作処理のフローチャートであり、図4のST5のサブルーチンの説明図である。
図6のST21において、検出されたユーザのジェスチャが手を上下左右のいずれかに振る動作であるか否かを判別することにより、ユーザのジェスチャが操作ジェスチャであるか否かを判別する。イエス(Y)の場合はST22に移り、ノー(N)の場合は制御機器操作処理を終了し、図4のメイン処理に戻る。
ST23において、ユーザの顔の方向が指差した位置、すなわち、制御機器K(K1〜K6)に向いているか否かを判別する。イエス(Y)の場合はST23に移り、ノー(N)の場合は制御機器操作処理を終了し、図4のメイン処理に戻る。
ST24において、選択フラグFL1〜FL5が「1」の制御機器K(K1〜K6)に対して、検出された操作ジェスチャに対応する操作(図3参照)を実行する。そして、制御機器操作処理を終了し、図4のメイン処理に戻る。
前記構成を備えた実施例1の制御機器操作ジェスチャ認識システムSでは、ユーザが行った動作が、前記制御機器K(K1〜K6)を操作する意図で行われたジェスチャであれば、操作対象である前記制御機器K(K1〜K6)の方向を向いた状態で行われる可能性が高くなる。このため、実施例1の制御機器操作ジェスチャ認識システムSは、前記ジェスチャ(選択ジェスチャ、操作ジェスチャ)を検出し、且つ、ユーザの顔の方向が前記制御機器K(K1〜K6)に向いている場合に、前記制御機器K(K1〜K6)のいずれか1つを操作対象として選択したり(図4のST4、図5のST11〜ST13参照)、選択された前記制御機器K(K1〜K6)に対して、前記操作ジェスチャに対応する操作(図3参照)を実行したりすることができる(図4のST5、図6のST21〜ST24参照)。
この結果、実施例1の制御機器操作ジェスチャ認識システムSは、従来技術(J01),(J02)を適用した場合に比べて、制御機器K(K1〜K6)を操作する意図で行われたジェスチャを精度良く認識することができる。
次に本発明の実施例2の制御機器操作ジェスチャ認識システムSの説明を行うが、この実施例2の説明において、前記実施例1の構成要素に対応する構成要素には同一の符号を付して、その詳細な説明を省略する。この実施例2は、下記の点で前記実施例1と相違しているが、他の点では前記実施例1と同様に構成されている。
図7において、本発明の実施例2の制御機器操作ジェスチャ認識システムSは、実施例1の前記クライアントパソコンPCおよび前記カメラCA1,CA2が、前記制御機器Kが配置された部屋とは異なる部屋に配置されている。
実施例2では、前記制御機器配置画像(制御機器画像)Gとして室内全体を再現して作成された画像が前記ディスプレイH2に表示されている。なお、前記制御機器配置画像Gは、実施例2の表示内容に限定されず、例えば、前記制御機器K(K1〜K6)を操作する度に、前記操作に応じて変化した室内の画像に更新したり、前記制御機器K(K1〜K6)が配置された実際の部屋に新たなカメラを設け、前記カメラで撮像した動画を前記ディスプレイH2に表示したりすることにより、操作時の室内の状態を表示することも可能である。
図8は本発明の実施例2のクライアントパソコンの制御部が備えている各機能をブロック図(機能ブロック図)で示した図であり、実施例1の図2に対応する説明図である。
実施例2では、前記ディスプレイH2の前方のユーザが、前記制御機器K(K1〜K6)に対応する前記制御機器配置画像Gの中の画像G1〜G6に対して行う前記ジェスチャ(選択ジェスチャ、操作ジェスチャ)に基づいて、前記制御機器K(K1〜K6)を操作対象として選択したり、操作したりする。このため、実施例2の制御機器選択手段C4および制御機器操作手段C5では、実施例1とは異なり、前記ジェスチャの対象が、前記制御機器K(K1〜K6)ではなく、前記制御機器K(K1〜K6)に対応する前記制御機器配置画像Gの中の画像G1〜G6となる。
また、実施例2の制御機器操作ジェスチャ認識プログラムAP1は、前記ディスプレイH2の前方のユーザをステレオ視するために、実施例1の室内動画撮像制御手段C1に替えて、前記ディスプレイH2前方の動画の撮像を制御する室内動画撮像制御手段(ユーザ撮像手段)C1′を有する。さらに、前記制御機器操作ジェスチャ認識プログラムAP1には、前記制御機器配置位置記憶手段C4Aに記憶された制御機器K(K1〜K6)の配置位置に基づいて作成された前記制御機器配置画像G(G1〜G6)をディスプレイH2に表示する制御機器配置画像表示手段C6が新たに追加されている。
次に、実施例2のクライアントパソコンPCの制御機器操作ジェスチャ認識プログラムAP1の処理の流れをフローチャートを使用して説明する。
図9は本発明の実施例2の制御機器操作ジェスチャ認識プログラムのメイン処理のフローチャートであり、実施例1の図4に対応する説明図である。
実施例2では、前記ジェスチャの対象が、前記制御機器K(K1〜K6)ではなく、前記制御機器K(K1〜K6)に対応する前記制御機器配置画像Gの中の画像G1〜G6となる。このため、実施例2のメイン処理は、実施例1のメイン処理(図4参照)のST1に替えてST1′を実行する。
図9のST1′において、次の(1),(2)′,(3)′を実行し、ST2に移る。
(1)照明選択フラグFL1、窓選択フラグFL2、CDプレイヤー選択フラグFL3、テレビ選択フラグFL4、ビデオ選択フラグFL5をそれぞれ「0」にセットする。
(2)′カメラCA1,CA2による前記ディスプレイH2前方の動画の撮像を開始する。
(3)′制御機器K(K1〜K6)が配置された位置に基づいて作成された制御機器配置画像G(G1〜G6)をディスプレイH2に表示する。
前記構成を備えた実施例2の制御機器操作ジェスチャ認識システムSでは、前記制御機器Kが配置された部屋とは異なる部屋に前記ディスプレイH2が配置されている。また、前記ディスプレイH2の前方のユーザが、制御機器K(K1〜K6)に対応する前記制御機器配置画像Gの中の画像G1〜G6に対して行う前記ジェスチャ(選択ジェスチャ、操作ジェスチャ)に基づいて、前記制御機器K(K1〜K6)を操作対象として選択したり、選択された前記制御機器K(K1〜K6)を操作したりすることができる。
したがって、実施例2の制御機器操作ジェスチャ認識システムSでは、ユーザが、前記制御機器Kを配置された部屋に居なくても、前記ジェスチャ(選択ジェスチャ、操作ジェスチャ)に基づいて、前記制御機器K(K1〜K6)を操作することができる。この結果、実施例2の制御機器操作ジェスチャ認識システムSは、例えば、遠隔地からの介護等に利用できる。
その他、実施例2の制御機器操作ジェスチャ認識システムSでは、実施例1の制御機器操作ジェスチャ認識システムSと同様の作用効果を奏する。
次に本発明の実施例3の制御機器操作ジェスチャ認識システムSの説明を行うが、この実施例3の説明において、前記実施例1の構成要素に対応する構成要素には同一の符号を付して、その詳細な説明を省略する。この実施例3は、下記の点で前記実施例1と相違しているが、他の点では前記実施例1と同様に構成されている。
図10において、実施例3の制御機器操作ジェスチャ認識プログラムAP1は、制御機器選択手段C4に替えて、制御機器選択手段C4′を有する。実施例3の制御機器選択手段C4′には、実施例1の前記制御機器選択手段C4に比べ、選択確認画像表示手段C4Dと、確認ジェスチャ判別手段C4Eとが新たに追加されている。
C4D:選択確認画像表示手段
選択確認画像表示手段C4Dは、前記制御機器配置位置記憶手段C4Aおよび前記指差し位置判別手段C4Bに基づいて、前記選択ジェスチャ(指差し動作)を検出して特定した制御機器K(K1〜K6)が、ユーザが意図して選択した制御機器K(K1〜K6)であるかを確認するための選択確認画像Ga(図11参照)を表示する。
C4E:確認ジェスチャ判別手段
確認ジェスチャ判別手段C4Eは、前記顔領域検出手段C2Bにより検出されたユーザの顔領域に基づいて、ユーザの確認ジェスチャを判別する。なお、実施例3の前記確認ジェスチャ判別手段C4Eでは、ユーザのうなずき動作(YES、肯定ジェスチャ)と、首振り動作(NO、否定ジェスチャ)とが前記確認ジェスチャとして予め設定されている。具体的には、前記確認ジェスチャ判別手段C4Eは、顔の重心位置が往復運動した場合に、前記重心位置の移動方向を算出することにより、ユーザのうなずき動作(首を上下に振る動作)、または、首振り動作(首を左右に振る動作)のいずれかであることを判別する。
次に、実施例3のクライアントパソコンPCの制御機器操作ジェスチャ認識プログラムAP1の処理の流れをフローチャートを使用して説明する。
(実施例3の制御機器選択処理のフローチャートの説明)
図12は本発明の実施例3の制御機器操作ジェスチャ認識プログラムの制御機器選択処理のフローチャートであり、図4のST4のサブルーチンの説明図であり、実施例1の図5に対応する説明図である。
実施例3では、前記選択確認画像Ga(図11参照)を表示し、前記確認ジェスチャ(うなずき動作、首振り動作)により、前記選択ジェスチャ(指差し動作)を検出して特定した制御機器K(K1〜K6)が、ユーザが意図して選択した制御機器K(K1〜K6)であるか否かを判別する。このため、実施例3の制御機器選択処理は、実施例1の制御機器選択処理のST12と13との間に、ST16〜ST20を実行する。
ST17において、ユーザの動作が首を上下、または、左右に振る動作であるか否かを判別することにより、ユーザのジェスチャが確認ジェスチャ(うなずき動作、首振り動作)であるか否かを判別する。イエス(Y)の場合はST18に移り、ノー(N)の場合はST17を繰り返す。
ST18において、ユーザの顔の方向がディスプレイH2に向いているか否かを判別する。イエス(Y)の場合はST19に移り、ノー(N)の場合はST17に戻る。
ST19において、前記選択確認画像Gaを非表示にする。そして、ST20に移る。
ST20において、前記確認ジェスチャがうなずき動作であるか否かを判別する。イエス(Y)の場合はST13に移り、ノー(N)の場合は制御機器操作処理を終了し、図4のメイン処理に戻る。
前記構成を備えた実施例3の制御機器操作ジェスチャ認識システムSでは、前記選択ジェスチャを検出し、且つ、ユーザの顔の方向が前記制御機器K(K1〜K6)に向いている場合に、前記選択確認画像Ga(図11参照)を前記ディスプレイH2に表示する(図12のST16参照)。
また、実施例3の制御機器操作ジェスチャ認識システムSでは、前記選択確認画像Gaが表示された後で、ユーザのうなずき動作を検出し、且つ、ユーザの顔の方向が前記ディスプレイH2に向いている場合には、前記選択ジェスチャの検出が正しかったと認識し、前記制御機器K(K1〜K6)を操作対象として選択できる(図12のST13、ST17〜ST20参照)。また、前記選択確認画像Gaが表示された後で、ユーザの首振り動作を検出し、且つ、ユーザの顔の方向が前記ディスプレイH2に向いている場合には、選択ジェスチャ(指差し動作)の検出が誤りであったと認識し、前記制御機器K(K1〜K6)を選択しないようにすることができる(図12のST17〜ST20参照)。
その他、実施例3の制御機器操作ジェスチャ認識システムSでは、実施例1の制御機器操作ジェスチャ認識システムSと同様の作用効果を奏する。
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例(H01)〜(H013)を下記に例示する。
(H01)本発明の実施例では、選択ジェスチャ(指差し動作)が行われた場合に、ユーザの顔の方向が選択ジェスチャで選択された制御機器K(K1〜K6)に向いていれば前記制御機器K(K1〜K6)を選択すると共に、操作ジェスチャ(手を上下左右のいずれかに動作)が行われた場合に、ユーザの顔の方向が選択された制御機器K(K1〜K6)に向いていれば前記制御機器K(K1〜K6)を操作したが、これに限定されず、例えば、指差し動作で制御機器K(K1〜K6)を選択した場合、または、ユーザの顔が所定時間だけ制御機器K(K1〜K6)に向いている場合に、前記制御機器K(K1〜K6)を選択し、操作ジェスチャが行われた場合には、ユーザの顔の方向が選択された制御機器K(K1〜K6)に向いていなければ前記制御機器K(K1〜K6)を操作しないように構成することも可能である。また、選択ジェスチャが行われた場合に、ユーザの顔の方向が選択ジェスチャで選択された制御機器K(K1〜K6)に向いていなければ前記制御機器K(K1〜K6)を選択しないが、操作ジェスチャが行われた場合には、ユーザの顔の方向が選択された制御機器K(K1〜K6)に向いていなくても前記制御機器K(K1〜K6)を操作するように構成することも可能である。また、実施例3の前記確認ジェスチャ(うなずき動作、首振り動作)も同様に、ユーザの顔がディスプレイH2に向いていなくても、確認ジェスチャとして認識するように構成することも可能である。
(H03)本発明の実施例では、前記制御機器Kは、前記照明K1と、前記窓K2と、前記CDプレイヤーK3と、前記テレビK4と、前記ビデオK6とにより構成されているが、これに限定されず、例えば、その他の制御機器を追加したり、前記構成要素K1〜K6を操作対象から削除したりすることも可能である。
(H05)本発明の実施例では、前記選択ジェスチャに指差し動作を設定したが、これに限定されず、その他の動作を前記選択ジェスチャに設定することも可能である。例えば、操作ジェスチャのみ手を上下左右に振る動きと、顔の向き(視線の方向)とによって判別する場合には、選択ジェスチャに顔の向きのみ(視線の方向のみ)を設定し、ユーザの顔が所定時間だけ前記制御機器K(K1〜K6)に向いている場合に、前記制御機器K(K1〜K6)が選択されたものと判別することも可能である。また、前記操作ジェスチャに手を上下左右のいずれか一方に振る動作を設定したが、これに限定されず、その他の動作を前記操作ジェスチャに設定することも可能である。また、前記操作ジェスチャによる操作も図3で示す対応表に限定されず、その他の操作を追加したりすることも可能である。さらに、実施例3では、前記確認ジェスチャにうなずき動作(首を上下に振る動作)と首振り動作(首を左右に振る動作)とを設定したが、これに限定されず、例えば、肯定ジェスチャにOKサイン(親指と人差し指で円を作る動作)、否定ジェスチャに手を左右に振る動作等を設定することも可能である。
(H07)本発明の実施例では、前記操作ジェスチャによる操作は、例えば、明るさや音量等の調節ならば1段階だけ上下するように予め設定されているが、これに限定されず、例えば、前記操作ジェスチャを行った時間に応じて明るさや音量等の度合いを調節できるようにすることも可能である。
(H09)本発明の実施例2では、前記制御機器Kが配置された部屋とは異なる部屋に前記ディスプレイH2が配置されているが、これに限定されず、例えば、前記制御機器Kが配置された部屋と同じ部屋に前記ディスプレイH2を配置することも可能である。この場合、前記制御機器配置画像G(G1〜G6)に対して行われた前記ジェスチャ(選択ジェスチャ、操作ジェスチャ)を検出した場合も、実際の制御機器K(K1〜K6)に対して行われた前記ジェスチャを検出した場合も、同様に前記制御機器選択処理(図4のST4、図5のST11〜ST13、図12のST11〜ST13,ST16〜ST20参照)および前記制御機器操作処理(図4のST5、図6のST21〜ST24参照)を実行することも可能である。
(H011)本発明の実施例3では、前記確認ジェスチャ(うなずき動作、首振り動作)を検出した場合、前記選択確認画像Ga(図11参照)を非表示にしているが(図12のST19参照)、これに限定されず、例えば、うなずき動作を検出した場合には、操作対象として選択された前記制御機器K(K1〜K6)についての操作ジェスチャとその操作とを説明する画像を表示したり、首振り動作を検出した場合には、選択ジェスチャが誤検出であったことを説明する画像を表示したりすることも可能である。
(H013)本発明の実施例3において、前記選択確認画像Ga(図11参照)を表示し、前記確認ジェスチャにより、前記選択ジェスチャ(指差し動作)を検出して特定した前記制御機器K(K1〜K6)が、ユーザが意図して選択した制御機器K(K1〜K6)であるか否かを確認する処理(図12のST16〜ST20参照)を、ユーザが前記制御機器K(K1〜K6)が配置された部屋に居て操作する場合に適用したが、これに限定されず、実施例2のように、ユーザが前記ディスプレイH2に表示された制御機器配置画像G(G1〜G6)を介して、遠隔地から前記制御機器K(K1〜K6)を操作する場合にも適用可能である。
C1…ユーザ撮像手段、
C2…ジェスチャ検出手段、
C3…ジェスチャ判別手段、
C4…制御機器選択手段、
C4C,C5C…視線方向判別手段、
C4D…選択確認画像表示手段、
C4E…確認ジェスチャ判別手段、
C5…制御機器操作手段、
C6…制御機器画像表示手段、
CA1,CA2…カメラ、
G…制御機器画像、
Ga…選択確認画像、
K…制御機器、
PC…制御機器操作ジェスチャ認識装置、
S…制御機器操作ジェスチャ認識システム。
Claims (13)
- カメラによりユーザの画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする制御機器操作ジェスチャ認識装置。 - 検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段、
を備えたことを特徴とする請求項1に記載の前記制御機器操作ジェスチャ認識装置。 - カメラによりユーザの画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、前記選択ジェスチャで選択された制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段と、
を備えたことを特徴とする制御機器操作ジェスチャ認識装置。 - 前記制御機器に対応する制御機器画像を表示する制御機器画像表示手段と、
前記画像に基づいて、ユーザの視線の方向に前記制御機器画像があるか否かを判別することにより、ユーザの視線の方向に制御機器があるか否かを判別する前記視線方向判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器画像と、ユーザの視線の方向にある制御機器画像と、が一致する場合に、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致するとみなし、前記制御機器を操作対象として選択する前記制御機器選択手段と、
を備えたことを特徴とする請求項1または請求項2に記載の前記制御機器操作ジェスチャ認識装置。 - 前記制御機器に対応する制御機器画像を表示する制御機器画像表示手段と、
前記画像に基づいて、ユーザの視線の方向に前記制御機器画像があるか否かを判別することにより、ユーザの視線の方向に制御機器があるか否かを判別する前記視線方向判別手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器画像に対応する制御機器と、が一致する場合に、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致するとみなし、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段と、
を備えたことを特徴とする請求項2ないし請求項4のいずれかに記載の前記制御機器操作ジェスチャ認識装置。 - 前記選択ジェスチャで選択された制御機器が、ユーザが意図して選択した制御機器であるか否かを確認するための選択確認画像を表示する選択確認画像表示手段と、
前記選択確認画像が表示された後で、検出された前記ジェスチャが、ユーザが意図して選択した制御機器であることを肯定するための肯定ジェスチャと、ユーザが意図して選択した制御機器であることを否定するための否定ジェスチャとにより構成された確認ジェスチャのいずれかであることを判別する確認ジェスチャ判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記選択確認画像を表示し、前記選択確認画像の表示後に検出された前記ジェスチャが前記肯定ジェスチャであれば前記制御機器を操作対象として選択し、前記否定ジェスチャであれば前記制御機器を操作対象として選択しない前記制御機器選択手段と、
を備えたことを特徴とする請求項1ないし請求項5のいずれかに記載の前記制御機器操作ジェスチャ認識装置。 - 前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの視線の方向に制御機器があるか否かを判別する前記視線方向判別手段と、
を備えたことを特徴とする請求項1ないし請求項6のいずれかに記載の前記制御機器操作ジェスチャ認識装置。 - カメラによりユーザの画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする制御機器操作ジェスチャ認識システム。 - 検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段、
を備えたことを特徴とする請求項8に記載の前記制御機器操作ジェスチャ認識システム。 - カメラによりユーザの画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、前記選択ジェスチャで選択された制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段と、
を備えたことを特徴とする制御機器操作ジェスチャ認識システム。 - コンピュータを、
カメラによりユーザの画像を撮像するユーザ撮像手段、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段、
検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器を操作対象として選択する制御機器選択手段、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段、
として機能させるための制御機器操作ジェスチャ認識プログラム。 - コンピュータを、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段、
として機能させるための請求項11に記載の前記制御機器操作ジェスチャ認識プログラム。 - コンピュータを、
カメラによりユーザの画像を撮像するユーザ撮像手段、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、前記選択ジェスチャで選択された制御機器を操作対象として選択する制御機器選択手段、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段、
として機能させるための制御機器操作ジェスチャ認識プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007201447A JP5207513B2 (ja) | 2007-08-02 | 2007-08-02 | 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007201447A JP5207513B2 (ja) | 2007-08-02 | 2007-08-02 | 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009037434A true JP2009037434A (ja) | 2009-02-19 |
JP5207513B2 JP5207513B2 (ja) | 2013-06-12 |
Family
ID=40439276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007201447A Expired - Fee Related JP5207513B2 (ja) | 2007-08-02 | 2007-08-02 | 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5207513B2 (ja) |
Cited By (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011095984A (ja) * | 2009-10-29 | 2011-05-12 | Nikon Corp | 画像表示装置 |
CN102323859A (zh) * | 2011-09-08 | 2012-01-18 | 昆山市工业技术研究院有限责任公司 | 基于手势控制的讲义播放系统及方法 |
JP2012022699A (ja) * | 2011-08-25 | 2012-02-02 | Toshiba Corp | 情報処理装置及び画面選択方法 |
JP2012027744A (ja) * | 2010-07-24 | 2012-02-09 | Canon Inc | 情報処理装置及びその制御方法 |
JP2012048560A (ja) * | 2010-08-27 | 2012-03-08 | Tokyo Metropolitan Univ | 情報提示システム、情報提示プログラム、及び情報提示方法 |
JP2012146303A (ja) * | 2011-01-06 | 2012-08-02 | Samsung Electronics Co Ltd | モーションによって制御されるディスプレイ装置及びそのモーション制御方法 |
JP2012160051A (ja) * | 2011-02-01 | 2012-08-23 | Kddi Corp | 情報端末装置 |
WO2012117570A1 (ja) | 2011-03-03 | 2012-09-07 | オムロン株式会社 | ジェスチャ入力装置およびジェスチャ入力装置の制御方法 |
JP2013008252A (ja) * | 2011-06-24 | 2013-01-10 | Yamaha Corp | パラメータ制御装置および方法 |
JP2013020434A (ja) * | 2011-07-11 | 2013-01-31 | Konica Minolta Business Technologies Inc | プレゼンテーションシステム、プレゼンテーション装置およびプログラム |
JP2013518316A (ja) * | 2010-01-21 | 2013-05-20 | トビー・テクノロジー・アーベー | アイトラッカーベースのコンテキストアクション |
JP2013239089A (ja) * | 2012-05-16 | 2013-11-28 | Yahoo Japan Corp | 表示制御装置、表示制御方法、情報表示システム、およびプログラム。 |
KR20140014129A (ko) * | 2011-01-19 | 2014-02-05 | 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. | 멀티모달 및 제스처 제어를 위한 방법 및 시스템 |
KR20140061860A (ko) * | 2012-11-14 | 2014-05-22 | 한국전자통신연구원 | 시선 기반의 제어 장치 및 그것의 기기 제어 방법 |
JP2014127870A (ja) * | 2012-12-26 | 2014-07-07 | Mitsui Home Co Ltd | 住宅設備制御装置 |
JP2014149640A (ja) * | 2013-01-31 | 2014-08-21 | Tokai Rika Co Ltd | ジェスチャ操作装置及びジェスチャ操作プログラム |
JP2014180337A (ja) * | 2013-03-18 | 2014-09-29 | Olympus Medical Systems Corp | 医療システム |
WO2014203459A1 (ja) * | 2013-06-18 | 2014-12-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 入力装置及び動作要求を入力する方法 |
JP2015500528A (ja) * | 2011-12-05 | 2015-01-05 | アルカテル−ルーセント | ジェスチャー・コントロールのための方法、ジェスチャー・サーバ・デバイス、およびセンサ入力デバイス |
WO2015037268A1 (ja) * | 2013-09-11 | 2015-03-19 | クラリオン株式会社 | 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム |
JP2015512550A (ja) * | 2012-04-09 | 2015-04-27 | クアルコム,インコーポレイテッド | ジェスチャに基づく遠隔デバイスの制御 |
WO2015111778A1 (ko) * | 2014-01-27 | 2015-07-30 | 엘지전자 주식회사 | 안경형 단말기와 그 안경형 단말기의 제어방법 |
US9134794B2 (en) | 2013-08-20 | 2015-09-15 | Kabushiki Kaisha Toshiba | System to identify user and device the user is intending to operate |
KR101575650B1 (ko) * | 2014-03-11 | 2015-12-08 | 현대자동차주식회사 | 단말기, 그를 가지는 차량 및 그 제어 방법 |
JP2016507810A (ja) * | 2012-12-20 | 2016-03-10 | グーグル インコーポレイテッド | タッチレスジェスチャインターフェースにおける物体間の距離の使用 |
JP2017004553A (ja) * | 2016-08-22 | 2017-01-05 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
JP2017062607A (ja) * | 2015-09-24 | 2017-03-30 | パナソニックIpマネジメント株式会社 | 機器制御装置、機器制御方法、機器制御プログラムおよび記録媒体 |
US9639164B2 (en) | 2013-09-26 | 2017-05-02 | Fujitsu Limited | Gesture input method |
JP2017516242A (ja) * | 2015-02-26 | 2017-06-15 | シャオミ・インコーポレイテッド | スマート機器の操作制御方法、装置、プログラム及び記憶媒体 |
US9684372B2 (en) | 2012-11-07 | 2017-06-20 | Samsung Electronics Co., Ltd. | System and method for human computer interaction |
JP2017152890A (ja) * | 2016-02-24 | 2017-08-31 | 株式会社東芝 | リモートコントロールシステム、ウェアラブル端末およびリモートコントロール方法 |
CN107272888A (zh) * | 2013-07-26 | 2017-10-20 | 株式会社东芝 | 信息处理设备 |
KR20180044550A (ko) * | 2016-10-24 | 2018-05-03 | 엘지전자 주식회사 | Hmd 디바이스 |
JP2018092648A (ja) * | 2014-10-02 | 2018-06-14 | グーグル エルエルシー | 見通し外レーダ型ジェスチャ認識 |
US10037078B2 (en) | 2012-03-29 | 2018-07-31 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
CN108845668A (zh) * | 2012-11-07 | 2018-11-20 | 北京三星通信技术研究有限公司 | 人机交互系统和方法 |
JP2019062271A (ja) * | 2017-09-25 | 2019-04-18 | Kddi株式会社 | 機器制御装置、機器制御方法及び機器制御システム |
US10300370B1 (en) | 2015-10-06 | 2019-05-28 | Google Llc | Advanced gaming and virtual reality control using radar |
US10409385B2 (en) | 2014-08-22 | 2019-09-10 | Google Llc | Occluded gesture recognition |
US10496182B2 (en) | 2015-04-30 | 2019-12-03 | Google Llc | Type-agnostic RF signal representations |
JP2019536140A (ja) * | 2016-10-24 | 2019-12-12 | ブイタッチ・カンパニー・リミテッド | 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 |
WO2020022254A1 (ja) * | 2018-07-24 | 2020-01-30 | 株式会社tiwaki | 操作指示制御装置及びその方法 |
US10642367B2 (en) | 2014-08-07 | 2020-05-05 | Google Llc | Radar-based gesture sensing and data transmission |
JP2020119042A (ja) * | 2019-01-18 | 2020-08-06 | 住友電気工業株式会社 | ジェスチャー認識装置、ジェスチャー認識システム、ジェスチャー認識方法、及びコンピュータプログラム |
WO2020171098A1 (ja) * | 2019-02-19 | 2020-08-27 | 株式会社Nttドコモ | 視線とジェスチャを用いた情報表示装置 |
US10936085B2 (en) | 2015-05-27 | 2021-03-02 | Google Llc | Gesture detection and interactions |
US10948996B2 (en) | 2014-06-03 | 2021-03-16 | Google Llc | Radar-based gesture-recognition at a surface of an object |
WO2021153413A1 (ja) * | 2020-01-29 | 2021-08-05 | ソニーグループ株式会社 | 情報処理装置、情報処理システム及び情報処理方法 |
US11140787B2 (en) | 2016-05-03 | 2021-10-05 | Google Llc | Connecting an electronic component to an interactive textile |
US11169988B2 (en) | 2014-08-22 | 2021-11-09 | Google Llc | Radar recognition-aided search |
WO2021256520A1 (ja) * | 2020-06-17 | 2021-12-23 | 株式会社Nttドコモ | ヘッドマウントディスプレイ |
US11709552B2 (en) | 2015-04-30 | 2023-07-25 | Google Llc | RF-based micro-motion tracking for gesture tracking and recognition |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
JPH0981309A (ja) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | 入力装置 |
JPH10105310A (ja) * | 1996-09-27 | 1998-04-24 | Nissan Motor Co Ltd | 身振り入力装置及びそれを含む入力装置 |
JPH1124694A (ja) * | 1997-07-04 | 1999-01-29 | Sanyo Electric Co Ltd | 命令認識装置 |
JP2000163196A (ja) * | 1998-09-25 | 2000-06-16 | Sanyo Electric Co Ltd | ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置 |
JP2002259989A (ja) * | 2001-03-02 | 2002-09-13 | Gifu Prefecture | ポインティングジェスチャ検出方法及びその装置 |
JP2006155244A (ja) * | 2004-11-29 | 2006-06-15 | Olympus Corp | 情報表示装置 |
JP2007034515A (ja) * | 2005-07-25 | 2007-02-08 | Sony Computer Entertainment Inc | 電気機器の制御装置、電気機器の制御方法、電気機器の制御プログラム及び電気機器の制御システム |
JP2007179338A (ja) * | 2005-12-28 | 2007-07-12 | Oki Electric Ind Co Ltd | 情報処理装置 |
-
2007
- 2007-08-02 JP JP2007201447A patent/JP5207513B2/ja not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
JPH0981309A (ja) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | 入力装置 |
JPH10105310A (ja) * | 1996-09-27 | 1998-04-24 | Nissan Motor Co Ltd | 身振り入力装置及びそれを含む入力装置 |
JPH1124694A (ja) * | 1997-07-04 | 1999-01-29 | Sanyo Electric Co Ltd | 命令認識装置 |
JP2000163196A (ja) * | 1998-09-25 | 2000-06-16 | Sanyo Electric Co Ltd | ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置 |
JP2002259989A (ja) * | 2001-03-02 | 2002-09-13 | Gifu Prefecture | ポインティングジェスチャ検出方法及びその装置 |
JP2006155244A (ja) * | 2004-11-29 | 2006-06-15 | Olympus Corp | 情報表示装置 |
JP2007034515A (ja) * | 2005-07-25 | 2007-02-08 | Sony Computer Entertainment Inc | 電気機器の制御装置、電気機器の制御方法、電気機器の制御プログラム及び電気機器の制御システム |
JP2007179338A (ja) * | 2005-12-28 | 2007-07-12 | Oki Electric Ind Co Ltd | 情報処理装置 |
Cited By (99)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011095984A (ja) * | 2009-10-29 | 2011-05-12 | Nikon Corp | 画像表示装置 |
US9507418B2 (en) | 2010-01-21 | 2016-11-29 | Tobii Ab | Eye tracker based contextual action |
US10353462B2 (en) | 2010-01-21 | 2019-07-16 | Tobii Ab | Eye tracker based contextual action |
JP2013518316A (ja) * | 2010-01-21 | 2013-05-20 | トビー・テクノロジー・アーベー | アイトラッカーベースのコンテキストアクション |
JP2012027744A (ja) * | 2010-07-24 | 2012-02-09 | Canon Inc | 情報処理装置及びその制御方法 |
JP2012048560A (ja) * | 2010-08-27 | 2012-03-08 | Tokyo Metropolitan Univ | 情報提示システム、情報提示プログラム、及び情報提示方法 |
JP2012146303A (ja) * | 2011-01-06 | 2012-08-02 | Samsung Electronics Co Ltd | モーションによって制御されるディスプレイ装置及びそのモーション制御方法 |
KR20140014129A (ko) * | 2011-01-19 | 2014-02-05 | 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. | 멀티모달 및 제스처 제어를 위한 방법 및 시스템 |
US9778747B2 (en) | 2011-01-19 | 2017-10-03 | Hewlett-Packard Development Company, L.P. | Method and system for multimodal and gestural control |
KR101690117B1 (ko) | 2011-01-19 | 2016-12-27 | 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. | 멀티모달 및 제스처 제어를 위한 방법 및 시스템 |
JP2014507714A (ja) * | 2011-01-19 | 2014-03-27 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー. | マルチモーダル及びジェスチャー制御のための方法及びシステム |
JP2012160051A (ja) * | 2011-02-01 | 2012-08-23 | Kddi Corp | 情報端末装置 |
WO2012117570A1 (ja) | 2011-03-03 | 2012-09-07 | オムロン株式会社 | ジェスチャ入力装置およびジェスチャ入力装置の制御方法 |
JP2013008252A (ja) * | 2011-06-24 | 2013-01-10 | Yamaha Corp | パラメータ制御装置および方法 |
JP2013020434A (ja) * | 2011-07-11 | 2013-01-31 | Konica Minolta Business Technologies Inc | プレゼンテーションシステム、プレゼンテーション装置およびプログラム |
US9740291B2 (en) | 2011-07-11 | 2017-08-22 | Konica Minolta Business Technologies, Inc. | Presentation system, presentation apparatus, and computer-readable recording medium |
JP2012022699A (ja) * | 2011-08-25 | 2012-02-02 | Toshiba Corp | 情報処理装置及び画面選択方法 |
CN102323859A (zh) * | 2011-09-08 | 2012-01-18 | 昆山市工业技术研究院有限责任公司 | 基于手势控制的讲义播放系统及方法 |
JP2015500528A (ja) * | 2011-12-05 | 2015-01-05 | アルカテル−ルーセント | ジェスチャー・コントロールのための方法、ジェスチャー・サーバ・デバイス、およびセンサ入力デバイス |
US10437324B2 (en) | 2012-03-29 | 2019-10-08 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
US10037078B2 (en) | 2012-03-29 | 2018-07-31 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
JP2015512550A (ja) * | 2012-04-09 | 2015-04-27 | クアルコム,インコーポレイテッド | ジェスチャに基づく遠隔デバイスの制御 |
JP2013239089A (ja) * | 2012-05-16 | 2013-11-28 | Yahoo Japan Corp | 表示制御装置、表示制御方法、情報表示システム、およびプログラム。 |
CN108845668A (zh) * | 2012-11-07 | 2018-11-20 | 北京三星通信技术研究有限公司 | 人机交互系统和方法 |
CN108845668B (zh) * | 2012-11-07 | 2022-06-03 | 北京三星通信技术研究有限公司 | 人机交互系统和方法 |
US9684372B2 (en) | 2012-11-07 | 2017-06-20 | Samsung Electronics Co., Ltd. | System and method for human computer interaction |
KR20140061860A (ko) * | 2012-11-14 | 2014-05-22 | 한국전자통신연구원 | 시선 기반의 제어 장치 및 그것의 기기 제어 방법 |
KR101878376B1 (ko) * | 2012-11-14 | 2018-07-16 | 한국전자통신연구원 | 시선 기반의 제어 장치 및 그것의 기기 제어 방법 |
JP2016507810A (ja) * | 2012-12-20 | 2016-03-10 | グーグル インコーポレイテッド | タッチレスジェスチャインターフェースにおける物体間の距離の使用 |
JP2014127870A (ja) * | 2012-12-26 | 2014-07-07 | Mitsui Home Co Ltd | 住宅設備制御装置 |
JP2014149640A (ja) * | 2013-01-31 | 2014-08-21 | Tokai Rika Co Ltd | ジェスチャ操作装置及びジェスチャ操作プログラム |
JP2014180337A (ja) * | 2013-03-18 | 2014-09-29 | Olympus Medical Systems Corp | 医療システム |
JPWO2014203459A1 (ja) * | 2013-06-18 | 2017-02-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 入力装置及び動作要求を入力する方法 |
CN105264465B (zh) * | 2013-06-18 | 2018-11-09 | 松下电器(美国)知识产权公司 | 输入装置以及输入动作要求的方法 |
WO2014203459A1 (ja) * | 2013-06-18 | 2014-12-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 入力装置及び動作要求を入力する方法 |
CN105264465A (zh) * | 2013-06-18 | 2016-01-20 | 松下电器(美国)知识产权公司 | 输入装置以及输入动作要求的方法 |
CN107272888B (zh) * | 2013-07-26 | 2019-12-27 | 株式会社东芝 | 信息处理设备 |
CN107272888A (zh) * | 2013-07-26 | 2017-10-20 | 株式会社东芝 | 信息处理设备 |
US9134794B2 (en) | 2013-08-20 | 2015-09-15 | Kabushiki Kaisha Toshiba | System to identify user and device the user is intending to operate |
US9696814B2 (en) | 2013-09-11 | 2017-07-04 | Clarion Co., Ltd. | Information processing device, gesture detection method, and gesture detection program |
JP2015055999A (ja) * | 2013-09-11 | 2015-03-23 | クラリオン株式会社 | 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム |
WO2015037268A1 (ja) * | 2013-09-11 | 2015-03-19 | クラリオン株式会社 | 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム |
US9639164B2 (en) | 2013-09-26 | 2017-05-02 | Fujitsu Limited | Gesture input method |
WO2015111778A1 (ko) * | 2014-01-27 | 2015-07-30 | 엘지전자 주식회사 | 안경형 단말기와 그 안경형 단말기의 제어방법 |
US10318007B2 (en) | 2014-01-27 | 2019-06-11 | Lg Electronics Inc. | Head mounted display device for multi-tasking and method for controlling same |
KR101575650B1 (ko) * | 2014-03-11 | 2015-12-08 | 현대자동차주식회사 | 단말기, 그를 가지는 차량 및 그 제어 방법 |
US10649587B2 (en) | 2014-03-11 | 2020-05-12 | Hyundai Motor Company | Terminal, for gesture recognition and operation command determination, vehicle having the same and method for controlling the same |
US10948996B2 (en) | 2014-06-03 | 2021-03-16 | Google Llc | Radar-based gesture-recognition at a surface of an object |
US10642367B2 (en) | 2014-08-07 | 2020-05-05 | Google Llc | Radar-based gesture sensing and data transmission |
US11816101B2 (en) | 2014-08-22 | 2023-11-14 | Google Llc | Radar recognition-aided search |
US10936081B2 (en) | 2014-08-22 | 2021-03-02 | Google Llc | Occluded gesture recognition |
US11169988B2 (en) | 2014-08-22 | 2021-11-09 | Google Llc | Radar recognition-aided search |
US11221682B2 (en) | 2014-08-22 | 2022-01-11 | Google Llc | Occluded gesture recognition |
US10409385B2 (en) | 2014-08-22 | 2019-09-10 | Google Llc | Occluded gesture recognition |
JP2018092648A (ja) * | 2014-10-02 | 2018-06-14 | グーグル エルエルシー | 見通し外レーダ型ジェスチャ認識 |
US11163371B2 (en) | 2014-10-02 | 2021-11-02 | Google Llc | Non-line-of-sight radar-based gesture recognition |
US10664059B2 (en) | 2014-10-02 | 2020-05-26 | Google Llc | Non-line-of-sight radar-based gesture recognition |
US10007354B2 (en) | 2015-02-26 | 2018-06-26 | Xiaomi Inc. | Method and apparatus for controlling smart device |
JP2017516242A (ja) * | 2015-02-26 | 2017-06-15 | シャオミ・インコーポレイテッド | スマート機器の操作制御方法、装置、プログラム及び記憶媒体 |
US11709552B2 (en) | 2015-04-30 | 2023-07-25 | Google Llc | RF-based micro-motion tracking for gesture tracking and recognition |
US10496182B2 (en) | 2015-04-30 | 2019-12-03 | Google Llc | Type-agnostic RF signal representations |
US10936085B2 (en) | 2015-05-27 | 2021-03-02 | Google Llc | Gesture detection and interactions |
JP2017062607A (ja) * | 2015-09-24 | 2017-03-30 | パナソニックIpマネジメント株式会社 | 機器制御装置、機器制御方法、機器制御プログラムおよび記録媒体 |
US10300370B1 (en) | 2015-10-06 | 2019-05-28 | Google Llc | Advanced gaming and virtual reality control using radar |
US10310621B1 (en) | 2015-10-06 | 2019-06-04 | Google Llc | Radar gesture sensing using existing data protocols |
US10540001B1 (en) | 2015-10-06 | 2020-01-21 | Google Llc | Fine-motion virtual-reality or augmented-reality control using radar |
US11698438B2 (en) | 2015-10-06 | 2023-07-11 | Google Llc | Gesture recognition using multiple antenna |
US10705185B1 (en) | 2015-10-06 | 2020-07-07 | Google Llc | Application-based signal processing parameters in radar-based detection |
US11698439B2 (en) | 2015-10-06 | 2023-07-11 | Google Llc | Gesture recognition using multiple antenna |
US11693092B2 (en) | 2015-10-06 | 2023-07-04 | Google Llc | Gesture recognition using multiple antenna |
US10768712B2 (en) | 2015-10-06 | 2020-09-08 | Google Llc | Gesture component with gesture library |
US10823841B1 (en) | 2015-10-06 | 2020-11-03 | Google Llc | Radar imaging on a mobile computing device |
US10908696B2 (en) | 2015-10-06 | 2021-02-02 | Google Llc | Advanced gaming and virtual reality control using radar |
US10503883B1 (en) | 2015-10-06 | 2019-12-10 | Google Llc | Radar-based authentication |
US10459080B1 (en) | 2015-10-06 | 2019-10-29 | Google Llc | Radar-based object detection for vehicles |
US10401490B2 (en) | 2015-10-06 | 2019-09-03 | Google Llc | Radar-enabled sensor fusion |
US11656336B2 (en) | 2015-10-06 | 2023-05-23 | Google Llc | Advanced gaming and virtual reality control using radar |
US11132065B2 (en) | 2015-10-06 | 2021-09-28 | Google Llc | Radar-enabled sensor fusion |
US11592909B2 (en) | 2015-10-06 | 2023-02-28 | Google Llc | Fine-motion virtual-reality or augmented-reality control using radar |
US10379621B2 (en) | 2015-10-06 | 2019-08-13 | Google Llc | Gesture component with gesture library |
US11481040B2 (en) | 2015-10-06 | 2022-10-25 | Google Llc | User-customizable machine-learning in radar-based gesture detection |
US11175743B2 (en) | 2015-10-06 | 2021-11-16 | Google Llc | Gesture recognition using multiple antenna |
US11385721B2 (en) | 2015-10-06 | 2022-07-12 | Google Llc | Application-based signal processing parameters in radar-based detection |
US11256335B2 (en) | 2015-10-06 | 2022-02-22 | Google Llc | Fine-motion virtual-reality or augmented-reality control using radar |
JP2017152890A (ja) * | 2016-02-24 | 2017-08-31 | 株式会社東芝 | リモートコントロールシステム、ウェアラブル端末およびリモートコントロール方法 |
US11140787B2 (en) | 2016-05-03 | 2021-10-05 | Google Llc | Connecting an electronic component to an interactive textile |
JP2017004553A (ja) * | 2016-08-22 | 2017-01-05 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
JP2019536140A (ja) * | 2016-10-24 | 2019-12-12 | ブイタッチ・カンパニー・リミテッド | 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 |
KR102614087B1 (ko) | 2016-10-24 | 2023-12-15 | 엘지전자 주식회사 | Hmd 디바이스 |
KR20180044550A (ko) * | 2016-10-24 | 2018-05-03 | 엘지전자 주식회사 | Hmd 디바이스 |
JP2019062271A (ja) * | 2017-09-25 | 2019-04-18 | Kddi株式会社 | 機器制御装置、機器制御方法及び機器制御システム |
WO2020022254A1 (ja) * | 2018-07-24 | 2020-01-30 | 株式会社tiwaki | 操作指示制御装置及びその方法 |
JP2020119042A (ja) * | 2019-01-18 | 2020-08-06 | 住友電気工業株式会社 | ジェスチャー認識装置、ジェスチャー認識システム、ジェスチャー認識方法、及びコンピュータプログラム |
JPWO2020171098A1 (ja) * | 2019-02-19 | 2021-11-25 | 株式会社Nttドコモ | 視線とジェスチャを用いた情報表示装置 |
WO2020171098A1 (ja) * | 2019-02-19 | 2020-08-27 | 株式会社Nttドコモ | 視線とジェスチャを用いた情報表示装置 |
WO2021153413A1 (ja) * | 2020-01-29 | 2021-08-05 | ソニーグループ株式会社 | 情報処理装置、情報処理システム及び情報処理方法 |
US11907434B2 (en) | 2020-01-29 | 2024-02-20 | Sony Group Corporation | Information processing apparatus, information processing system, and information processing method |
WO2021256520A1 (ja) * | 2020-06-17 | 2021-12-23 | 株式会社Nttドコモ | ヘッドマウントディスプレイ |
JP7497434B2 (ja) | 2020-06-17 | 2024-06-10 | 株式会社Nttドコモ | ヘッドマウントディスプレイ |
Also Published As
Publication number | Publication date |
---|---|
JP5207513B2 (ja) | 2013-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5207513B2 (ja) | 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム | |
US11567578B2 (en) | Systems and methods of free-space gestural interaction | |
US10642371B2 (en) | Sessionless pointing user interface | |
US10551930B2 (en) | System and method for executing a process using accelerometer signals | |
JP6129879B2 (ja) | 多次元入力のためのナビゲーション手法 | |
US8866781B2 (en) | Contactless gesture-based control method and apparatus | |
US8457353B2 (en) | Gestures and gesture modifiers for manipulating a user-interface | |
US9658695B2 (en) | Systems and methods for alternative control of touch-based devices | |
RU2605349C2 (ru) | Управляемая жестами система, которая использует проприоцепцию, чтобы создавать абсолютную систему координат | |
JP6252409B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
KR20130105725A (ko) | 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전 | |
US20130285904A1 (en) | Computer vision based control of an icon on a display | |
US20220057922A1 (en) | Systems and interfaces for location-based device control | |
US20170124762A1 (en) | Virtual reality method and system for text manipulation | |
US10701661B1 (en) | Location determination for device control and configuration | |
WO2022247506A1 (en) | Systems and methods for controlling virtual widgets in gesture-controlled device | |
CN107430856A (zh) | 信息处理系统和信息处理方法 | |
TW201419051A (zh) | 電腦遙控系統及方法 | |
WO2019176218A1 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
WO2019130729A1 (ja) | 情報処理装置、情報処理方法および情報処理システム | |
US20230085330A1 (en) | Touchless image-based input interface | |
KR102437979B1 (ko) | 제스처 기반의 객체 지향적 인터페이싱 방법 및 장치 | |
Parimala et al. | Real-time Brightness, Contrast and The Volume Control with Hand Gesture Using Open CV Python | |
WO2016035621A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
TW201933183A (zh) | 基於眼球追蹤的控制系統及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130218 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5207513 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |