JP2009037434A - 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム - Google Patents

制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム Download PDF

Info

Publication number
JP2009037434A
JP2009037434A JP2007201447A JP2007201447A JP2009037434A JP 2009037434 A JP2009037434 A JP 2009037434A JP 2007201447 A JP2007201447 A JP 2007201447A JP 2007201447 A JP2007201447 A JP 2007201447A JP 2009037434 A JP2009037434 A JP 2009037434A
Authority
JP
Japan
Prior art keywords
control
gesture
user
selection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007201447A
Other languages
English (en)
Other versions
JP5207513B2 (ja
Inventor
Yasunari Fujimoto
Eri Sato
Toru Yamaguchi
英理 佐藤
亨 山口
泰成 藤本
Original Assignee
Tokyo Metropolitan Univ
公立大学法人首都大学東京
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Metropolitan Univ, 公立大学法人首都大学東京 filed Critical Tokyo Metropolitan Univ
Priority to JP2007201447A priority Critical patent/JP5207513B2/ja
Publication of JP2009037434A publication Critical patent/JP2009037434A/ja
Application granted granted Critical
Publication of JP5207513B2 publication Critical patent/JP5207513B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】他者へ伝える動作と同様なジェスチャにより、制御機器の操作を精度良く認識すること。
【解決手段】カメラ(CA1,CA2)によりユーザの画像を撮像するユーザ撮像手段(C1,C1′)と、ユーザのジェスチャを検出するジェスチャ検出手段(C2)と、選択ジェスチャであるか、操作ジェスチャであるかを判別するジェスチャ判別手段(C3)と、ユーザの視線の方向に制御機器(K)があるか否かを判別する視線方向判別手段(C4C,C5C)と、選択ジェスチャで選択された制御機器(K)とユーザの視線の方向にある制御機器(K)とが一致する場合に制御機器(K)を選択する制御機器選択手段(C4)と、選択された制御機器(K)に対して、操作ジェスチャに応じた操作を実行する制御機器操作手段(C5)とを備えたことを特徴とする制御機器操作ジェスチャ認識装置(PC)。
【選択図】図2

Description

本発明は、ユーザのジェスチャを認識することにより、制御機器を操作する制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラムに関する。

従来より、身振り・手振り等の動作、いわゆる、ジェスチャをロボットや家電製品等の制御機器を操作するための入力インタフェースとして用いる技術が知られている。
前記ジェスチャを認識することにより、ロボットや家電製品等の制御機器を操作する技術として、例えば、以下の従来技術(J01),(J02)が公知である。

(J01)非特許文献1記載の技術
非特許文献1には、複数台のカメラによりユーザを撮影し(ステレオ視し)、ユーザの頭の高さからユーザの体型データ(身長、肩幅、肩の高さ、腕の長さ)を算出し、算出されたユーザの体型データに基づいて、ユーザの指差した位置(3次元座標位置)を認識してロボット等の移動経路指示等の操作をする技術が記載されている。また、非特許文献1には、指差し動作について、動作の滑らかさや速度(角速度)等の、いわゆる、ファジールールに基づいて、ユーザが指差し動作を行ったか否かを判別する技術が記載されている。

(J02)非特許文献2記載の技術
非特許文献2には、ユーザのジェスチャを認識し、テレビ、照明機器、扇風機等の家電製品を操作する、いわゆる、インテリジェントルームについての技術が記載されている。また、非特許文献2には、室内に配置された複数台のCCDカメラで、室内にいる複数の人物の中から、手振りをして操作したい意思を示している人物(操作者)をステレオ視することにより、操作者の位置(3次元位置情報)を認識し、操作者の肌色情報から操作者の手の領域(手領域)を抽出することにより、指差し方向や、指の本数、手を上下左右に振る等の動作(ジェスチャ)を認識する技術が記載されている。

佐藤英理、山口亨、他1名、"Natural Interface Using Pointing Behavior for Human-Robot Gestural Interaction"、「IEEE TRANSACTION ON INDUSTRIAL ELECTRONICS」、2007年4月、第54巻、第2号、p.1105-1112 若村直弘、他3名、"インテリジェンスルームの構築 -直感的なジェスチャを用いた家電製品の操作-"、「online」、2005年7月、「2007年7月3日検索」、インターネット<URL:http://www.mech.chuo-u.ac.jp/umedalab/publications/pdf/2005/suzuki_2005_miru.pdf>

(従来技術の問題点)
前記従来技術(J02)では、ユーザの手領域が抽出され、前記手領域の手の形状だけで画像解析されるため、ユーザのジェスチャが本当に意図して行われているか否かを判別できないという問題があった。また、前記従来技術(J01)のように、ユーザの指差しの動作の滑らかさや速度(角速度)等に基づいて、ユーザが指差し動作を行ったか否かを判別しても、ユーザが本当に意図してその指差し動作を行ったかが判別できなければ、結局、意図しないジェスチャ認識は全て誤認識であり、ロボットや家電製品等を誤操作してしまうという問題があった。
したがって、前記従来技術(J01),(J02)のように、制御対象物を操作するためのジェスチャが手振りや指差し等の単純な動作である場合、普段の生活で何気なく行われる可能性があるため、ユーザの意図が判別できなければ、意図しないジェスチャ認識が行われ、ロボットや家電製品等を誤操作してしまうという問題があった。
また、多様な制御対象物の操作に対して、専用の操作ボタン、操作コマンド、操作ジェスチャが設定されている場合には、ユーザがこれらの設定を覚える必要があり、ユーザに負担を与えてしまうという問題があった。

本発明は、前述の事情に鑑み、次の記載内容(O01)を技術的課題とする。
(O01)制御機器を操作する意図で行われたジェスチャを精度良く認識すること。

前記技術的課題を解決するために、請求項1記載の発明の制御機器操作ジェスチャ認識装置は、
カメラによりユーザの画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする。

請求項2に記載の発明は、請求項1に記載の前記制御機器操作ジェスチャ認識装置において、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段、
を備えたことを特徴とする。

前記技術的課題を解決するために、請求項3記載の発明の制御機器操作ジェスチャ認識装置は、
カメラによりユーザの画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、前記選択ジェスチャで選択された制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段と、
を備えたことを特徴とする。

請求項4に記載の発明は、請求項1または請求項2に記載の前記制御機器操作ジェスチャ認識装置において、
前記制御機器に対応する制御機器画像を表示する制御機器画像表示手段と、
前記画像に基づいて、ユーザの視線の方向に前記制御機器画像があるか否かを判別することにより、ユーザの視線の方向に制御機器があるか否かを判別する前記視線方向判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器画像と、ユーザの視線の方向にある制御機器画像と、が一致する場合に、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致するとみなし、前記制御機器を操作対象として選択する前記制御機器選択手段と、
を備えたことを特徴とする。

請求項5に記載の発明は、請求項2ないし請求項4のいずれかに記載の前記制御機器操作ジェスチャ認識装置において、
前記制御機器に対応する制御機器画像を表示する制御機器画像表示手段と、
前記画像に基づいて、ユーザの視線の方向に前記制御機器画像があるか否かを判別することにより、ユーザの視線の方向に制御機器があるか否かを判別する前記視線方向判別手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器画像に対応する制御機器と、が一致する場合に、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致するとみなし、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段と、
として機能させる。

請求項6に記載の発明は、請求項1ないし請求項5のいずれかに記載の前記制御機器操作ジェスチャ認識装置において、
前記選択ジェスチャで選択された制御機器が、ユーザが意図して選択した制御機器であるか否かを確認するための選択確認画像を表示する選択確認画像表示手段と、
前記選択確認画像が表示された後で、検出された前記ジェスチャが、ユーザが意図して選択した制御機器であることを肯定するための肯定ジェスチャと、ユーザが意図して選択した制御機器であることを否定するための否定ジェスチャとにより構成された確認ジェスチャのいずれかであることを判別する確認ジェスチャ判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記選択確認画像を表示し、前記選択確認画像の表示後に検出された前記ジェスチャが前記肯定ジェスチャであれば前記制御機器を操作対象として選択し、前記否定ジェスチャであれば前記制御機器を操作対象として選択しない前記制御機器選択手段と、
を備えたことを特徴とする。

請求項7に記載の発明は、請求項1ないし請求項6のいずれかに記載の前記制御機器操作ジェスチャ認識装置において、
前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの視線の方向に制御機器があるか否かを判別する前記視線方向判別手段と、
を備えたことを特徴とする。

前記技術的課題を解決するために、請求項8記載の発明の制御機器操作ジェスチャ認識システムは、
カメラによりユーザの画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする。

請求項9に記載の発明は、請求項8に記載の前記制御機器操作ジェスチャ認識システムにおいて、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段、
を備えたことを特徴とする。

前記技術的課題を解決するために、請求項10記載の発明の制御機器操作ジェスチャ認識システムは、
カメラによりユーザの画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、前記選択ジェスチャで選択された制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段と、
を備えたことを特徴とする。

前記技術的課題を解決するために、請求項11記載の発明の制御機器操作ジェスチャ認識システムは、
コンピュータを、
カメラによりユーザの画像を撮像するユーザ撮像手段、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段、
検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器を操作対象として選択する制御機器選択手段、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段、
として機能させる。

請求項12に記載の発明は、請求項11に記載の前記制御機器操作ジェスチャ認識プログラムにおいて、
コンピュータを、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段、
として機能させる。

前記技術的課題を解決するために、請求項13記載の発明の制御機器操作ジェスチャ認識プログラムは、
コンピュータを、
カメラによりユーザの画像を撮像するユーザ撮像手段、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段、
検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段、
前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、前記選択ジェスチャで選択された制御機器を操作対象として選択する制御機器選択手段、
検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段、
として機能させる。

請求項1に記載の発明によれば、検出されたジェスチャが選択ジェスチャであり、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器とが一致する場合に、前記制御機器を操作対象として選択することができる。この結果、ユーザのジェスチャが前記制御機器を選択する意図で行われたジェスチャであれば、ユーザの視線の方向が前記制御機器に向いた状態で行われる可能性が高くなるため、本発明の構成を有しない場合に比べ、制御機器を選択する意図で行われた前記選択ジェスチャを精度良く認識することができる。
請求項2の記載の発明によれば、検出されたジェスチャが操作ジェスチャであり、前記制御機器選択手段で選択された制御機器と、ユーザの視線の方向にある制御機器とが一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行することができる。したがって、本発明の構成を有しない場合に比べ、制御機器を操作する意図で行われた前記操作ジェスチャを精度良く認識することができる。

請求項3の記載の発明によれば、検出されたジェスチャが操作ジェスチャであり、前記制御機器選択手段で選択された制御機器と、ユーザの視線の方向にある制御機器とが一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行することができる。この結果、ユーザのジェスチャが前記制御機器を操作する意図で行われたジェスチャであれば、ユーザの視線の方向が前記制御機器に向いた状態で行われる可能性が高くなるため、本発明の構成を有しない場合に比べ、制御機器を操作する意図で行われた前記操作ジェスチャを精度良く認識することができる。

請求項4の記載の発明によれば、検出されたジェスチャが選択ジェスチャであり、前記選択ジェスチャで選択された制御機器画像と、ユーザの視線の方向にある制御機器画像とが一致する場合に、前記制御機器画像に対応する制御機器を操作対象として選択することができる。この結果、実際の制御機器に対して前記選択ジェスチャをしなくても、前記制御機器を選択することができ、例えば、遠隔地から制御機器の選択および操作を行うことができる。
請求項5の記載の発明によれば、検出されたジェスチャが操作ジェスチャであり、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器画像に対応する制御機器とが一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行することができる。この結果、実際の制御機器に対して前記操作ジェスチャをしなくても、前記制御機器を操作することができる。

請求項6の記載の発明によれば、前記選択確認画像を表示した後、前記確認ジェスチャ(肯定ジェスチャ、否定ジェスチャ)を判別することにより、前記選択ジェスチャで選択された制御機器が、ユーザが意図して選択した制御機器であるか否かを確認できる。また、請求項6の記載の発明によれば、前記選択確認画像の表示後に検出されたジェスチャが前記肯定ジェスチャであれば前記制御機器を操作対象として選択できると共に、前記否定ジェスチャであれば前記制御機器を操作対象として選択しないようにすることができる。
請求項7の記載の発明によれば、ユーザの顔の方向を画像解析することにより、ユーザの視線の方向に制御機器があるか否かを判別することができる。

請求項8に記載の発明によれば、検出されたジェスチャが選択ジェスチャであり、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器とが一致する場合に、前記制御機器を操作対象として選択することができる。この結果、ユーザのジェスチャが前記制御機器を選択する意図で行われたジェスチャであれば、ユーザの視線の方向が前記制御機器に向いた状態で行われる可能性が高くなるため、本発明の構成を有しない場合に比べ、制御機器を選択する意図で行われた前記選択ジェスチャを精度良く認識することができる。
請求項9の記載の発明によれば、検出されたジェスチャが操作ジェスチャであり、前記制御機器選択手段で選択された制御機器と、ユーザの視線の方向にある制御機器とが一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行することができる。したがって、本発明の構成を有しない場合に比べ、制御機器を操作する意図で行われた前記操作ジェスチャを精度良く認識することができる。

請求項10の記載の発明によれば、検出されたジェスチャが操作ジェスチャであり、前記制御機器選択手段で選択された制御機器と、ユーザの視線の方向にある制御機器とが一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行することができる。この結果、ユーザのジェスチャが前記制御機器を操作する意図で行われたジェスチャであれば、ユーザの視線の方向が前記制御機器に向いた状態で行われる可能性が高くなるため、本発明の構成を有しない場合に比べ、制御機器を操作する意図で行われた前記操作ジェスチャを精度良く認識することができる。

請求項11に記載の発明によれば、検出されたジェスチャが選択ジェスチャであり、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器とが一致する場合に、前記制御機器を操作対象として選択することができる。この結果、ユーザのジェスチャが前記制御機器を選択する意図で行われたジェスチャであれば、ユーザの視線の方向が前記制御機器に向いた状態で行われる可能性が高くなるため、本発明の構成を有しない場合に比べ、制御機器を選択する意図で行われた前記選択ジェスチャを精度良く認識することができる。
請求項12の記載の発明によれば、検出されたジェスチャが操作ジェスチャであり、前記制御機器選択手段で選択された制御機器と、ユーザの視線の方向にある制御機器とが一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行することができる。したがって、本発明の構成を有しない場合に比べ、制御機器を操作する意図で行われた前記操作ジェスチャを精度良く認識することができる。

請求項13の記載の発明によれば、検出されたジェスチャが操作ジェスチャであり、前記制御機器選択手段で選択された制御機器と、ユーザの視線の方向にある制御機器とが一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行することができる。この結果、ユーザのジェスチャが前記制御機器を操作する意図で行われたジェスチャであれば、ユーザの視線の方向が前記制御機器に向いた状態で行われる可能性が高くなるため、本発明の構成を有しない場合に比べ、制御機器を操作する意図で行われた前記操作ジェスチャを精度良く認識することができる。

次に図面を参照しながら、本発明の実施の形態の具体例(実施例)を説明するが、本発明は以下の実施例に限定されるものではない。

図1は本発明の実施例1の制御機器操作ジェスチャ認識システムの全体説明図である。
図1において、実施例1の制御機器操作ジェスチャ認識システムSは、制御機器操作ジェスチャ認識システムS本体としてのクライアントパソコン(パーソナルコンピュータ、制御機器操作ジェスチャ認識装置)PCを有する。
前記クライアントパソコンPCは、コンピュータ装置により構成されており、コンピュータ本体H1と、ディスプレイH2と、キーボードH3やマウスH4等の入力装置、図示しないHDドライブ(ハードディスクドライブ)、CDドライブ(コンパクトディスクドライブ)等により構成されている。

また、前記制御機器操作ジェスチャ認識システムSは、室内のユーザを撮影するための2台のカメラCA1,CA2と、操作対象の制御機器Kとを有する。前記カメラCA1,CA2および前記制御機器Kは、接続ケーブルCを介して前記クライアントパソコンPCに接続されている。
実施例1の前記カメラCA1,CA2は、室内全体をステレオ視可能な位置に予め配置されている。すなわち、実施例1の前記クライアントパソコンPCは、前記カメラCA1,CA2で撮像された室内の動画情報(画像)により、ユーザの3次元位置を識別できる。なお、複数台のカメラで室内をステレオ視することにより、ユーザの3次元位置を識別する技術については、非特許文献1,2等に記載されており、公知である。

また、実施例1の前記制御機器Kは、前記接続ケーブルCを介して送信される前記クライアントパソコンPCの各制御信号により、明るさ調節が可能な照明K1と、開閉可能な窓K2と、音量調節が可能なCDプレイヤーK3と、チャンネル変更および音量調節が可能なテレビK4と、再生・停止および巻戻し・早送りが可能なビデオK6とを有する。また、前記窓K2は、前記制御信号により開閉可能なカーテンK2aを有する。

(実施例1のクライアントパソコンPCの制御部の説明)
図2は本発明の実施例1のクライアントパソコンの制御部が備えている各機能をブロック図(機能ブロック図)で示した図である。
図2において、クライアントパソコンPCのコンピュータ本体H1は、外部との信号の入出力および入出力信号レベルの調節等を行うI/O(入出力インターフェース)、必要な処理を行うためのプログラムおよびデータ等が記憶されたROM(リードオンリーメモリ)、必要なデータを一時的に記憶するためのRAM(ランダムアクセスメモリ)、ハードディスクやROM等に記憶されたプログラムに応じた処理を行うCPU(中央演算処理装置)、ならびにクロック発振器等を有している。
前記構成のクライアントパソコンPCは、前記ハードディスクやROM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。

前記クライアントパソコンPCの前記ハードディスクドライブには、クライアントパソコンの基本動作を制御する基本ソフト(オペレーティングシステム)OSや、アプリケーションプログラムとしての制御機器操作ジェスチャ認識プログラムAP1、その他の図示しないソフトウェア(文書作成ソフトウェアや製図ソフトウェア等)が記憶されている。

(制御機器操作ジェスチャ認識プログラムAP1)
制御機器操作ジェスチャ認識プログラムAP1は、下記の機能手段(プログラムモジュール)を有する。
C1:室内動画撮像制御手段(ユーザ撮像手段)
室内動画撮像制御手段C1は、前記カメラCA1,CA2による室内の動画(ユーザの画像)の撮像を制御する。実施例1の前記室内動画撮像制御手段C1は、前記接続ケーブルCを介して制御信号を送信することにより、前記カメラCA1,CA2による室内の動画の撮像を制御する。

C2:ジェスチャ検出手段
ジェスチャ検出手段C2は、手領域検出手段C2Aと、顔領域検出手段C2Bとを有し、前記室内動画撮像制御手段C1によって撮像された室内の動画に基づいて、ユーザのジェスチャを検出する。実施例1の前記ジェスチャ検出手段C2は、前記カメラCA1,CA2で室内がステレオ視されることにより算出されるユーザの3次元位置を認識し、前記各手段C2A,C2Bにより検出されたユーザの手領域および顔領域の変化(動き)を画像解析して、ユーザのジェスチャを検出する(非特許文献1、2参照)。

C2A:手領域検出手段
手領域検出手段C2Aは、前記室内動画撮像制御手段C1によって撮像された室内の動画に基づいて、ユーザの肌色部分のうちの手の領域(手領域)を検出する。
C2B:顔領域検出手段
顔領域検出手段C2Bは、前記室内動画撮像制御手段C1によって撮像された室内の動画に基づいて、ユーザの肌色部分のうちの顔の領域(顔領域)を検出する。

C3:ジェスチャ判別手段
ジェスチャ判別手段C3は、前記ジェスチャ検出手段C2で検出されたジェスチャが、制御機器Kを選択する選択ジェスチャであるか、選択された制御機器K(K1〜K6)を操作する操作ジェスチャであるかを判別する。実施例1の前記ジェスチャ判別手段C3は、検出されたジェスチャが指差し動作であるか否かを判別することにより、前記ジェスチャが選択ジェスチャであるか、操作ジェスチャであるかを判別する。

C4:制御機器選択手段
制御機器選択手段C4は、制御機器配置位置記憶手段C4Aと、指差し位置判別手段C4Bと、顔方向判別手段C4Cとを有し、前記ジェスチャ判別手段C3によりユーザのジェスチャが選択ジェスチャであると判別された場合に、前記選択ジェスチャに基づいて、前記制御機器K(K1〜K6)のいずれか1つを操作対象として選択する制御機器選択処理を実行する。実施例1の前記制御機器選択手段C4は、ユーザが指差した位置に制御機器K(K1〜K6)のいずれかが存在し、且つ、ユーザの顔の方向が指差した位置、すなわち、前記制御機器K(K1〜K6)に向いていると判別された場合に、指差した位置の前記制御機器K(K1〜K6)を操作対象として選択する。また、前記制御機器選択手段C4は、前記制御機器K(K1〜K6)のいずれか1つを操作対象として選択した場合、対応する選択フラグ(F1〜F5)を「1」にセットすると共に、その他の選択フラグ(F1〜F5)を「0」にリセットする。

C4A:制御機器配置位置記憶手段
制御機器配置位置記憶手段C4Aは、前記照明K1、前記窓K2、前記CDプレイヤーK3、前記テレビK4、前記ビデオK6がそれぞれ配置された位置を記憶する。
C4B:指差し位置判別手段
指差し位置判別手段C4Bは、前記手領域検出手段C2Aおよび前記顔領域検出手段C2Bにより検出されたユーザの手領域および顔領域に基づいて、ユーザの指差した位置を判別する。実施例1の前記指差し位置判別手段C4Bは、非特許文献1記載の技術と同様に、ユーザの頭の高さからユーザの体型データ(身長、肩幅、肩の高さ、腕の長さ)を算出し、算出されたユーザの体型データに基づいて、ユーザの指差した位置を判別する。例えば、頭の位置と指差した指先とを結んだ直線が到達した位置を判別する。
C4C:顔方向判別手段(視線方向判別手段)
顔方向判別手段C4Cは、前記顔領域検出手段C2Bにより検出されたユーザの顔領域に基づいて、ユーザの顔の向きを判別することにより、ユーザの視線の方向に制御機器K(K1〜K6)があるか否かを判別する。実施例1の前記顔方向判別手段C4Cは、前記顔領域内の唇を検出し、顔全体の重心に対する唇の位置から、ユーザの顔の向きを判別する。

C5:制御機器操作手段
制御機器操作手段C5は、操作ジェスチャ記憶手段C5Aと、操作ジェスチャ判別手段C5Bと、顔方向判別手段C5Cとを有し、前記ジェスチャ判別手段C3によりユーザのジェスチャが操作ジェスチャであると判別された場合に、前記操作ジェスチャに基づいて、選択された前記制御機器K(K1〜K6)を操作する制御機器操作処理を実行する。実施例1の前記制御機器操作手段C5は、ユーザの動作が手を上下左右のいずれかに振る動作であり、且つ、ユーザの顔の方向が指差した位置、すなわち、前記制御機器K(K1〜K6)に向いていると判別された場合に、選択された前記制御機器K(K1〜K6)に対して、前記操作ジェスチャに対応する操作を実行する。

図3は選択ジェスチャで選択された制御機器と操作ジェスチャによる操作との対応表である。
C5A:操作ジェスチャ設定記憶手段
操作ジェスチャ記憶手段C5Aは、前記制御機器K(K1〜K6)を操作する前記操作ジェスチャの設定を記憶する。
実施例1の前記操作ジェスチャ記憶手段C5Aでは、図3に示すように、前記操作ジェスチャとして、手を上下左右に振る動作が予め設定されている。また、前記選択ジェスチャで照明K1が選択された場合、手を左右に振る動作では何も操作せず、手を上に振る動作では照明K1を明るくし、手を下に振る動作では照明K1を暗くするよう予め設定されている。また、前記選択ジェスチャで窓K2が選択された場合、手を左に振る動作では窓K2を開け、手を右に振る動作では窓K2を閉め、手を上に振る動作ではカーテンK2aを開け、手を下に振る動作ではカーテンK2aを閉めるよう予め設定されている。

また、前記選択ジェスチャでCDプレイヤーK3が選択された場合、手を左右に振る動作では何も操作せず、手を上に振る動作ではCDプレイヤーK3の音量を大きくし、手を下に振る動作ではCDプレイヤーK3の音量を小さくするよう予め設定されている。また、前記選択ジェスチャでテレビK4が選択された場合、手を左に振る動作ではテレビK4のチャンネルの値が小さくなるよう変更し、手を右に振る動作ではテレビK4のチャンネルの値が大きくなるよう変更し、手を上に振る動作ではテレビK4の音量を大きくし、手を下に振る動作ではテレビK3の音量を小さくするよう予め設定されている。さらに、前記選択ジェスチャでビデオK6が選択された場合、手を左に振る動作ではビデオK6の巻戻しを実行し、手を右に振る動作ではビデオK6の早送りを実行し、手を上に振る動作ではビデオK6の再生を実行し、手を下に振る動作ではビデオK6の停止を実行するよう予め設定されている。

C5B:操作ジェスチャ判別手段
操作ジェスチャ判別手段C5Bは、前記手領域検出手段C2Aにより検出されたユーザの手領域に基づいて、手を上下左右のどの方向に振る動作であるかを判別する。実施例1の前記操作ジェスチャ判別手段C5Bは、非特許文献2記載の技術と同様に、手の重心位置が往復運動した場合に、前記重心位置の移動方向を算出することにより、手を上下左右のどの方向に振る動作であるかを判別する。
C5C:顔方向判別手段(視線方向判別手段)
顔方向判別手段C5Cは、前記顔領域検出手段C2Bにより検出されたユーザの顔領域に基づいて、ユーザの顔の向きを判別することにより、ユーザの視線の方向に制御機器K(K1〜K6)があるか否かを判別する。実施例1の前記顔方向判別手段C5Cは、前記制御機器選択手段C4の顔方向判別手段C4Cと同様に、前記顔領域内の唇を検出し、顔全体の重心に対する唇の位置から、ユーザの顔の向きを判別する。

FL1:照明選択フラグ
照明選択フラグFL1は、初期値が「0」であり、選択ジェスチャで前記照明K1が選択されると「1」となり、選択ジェスチャでその他の制御機器K(K2〜K6)が選択されると「0」となる。
FL2:窓選択フラグ
窓選択フラグFL2は、初期値が「0」であり、選択ジェスチャで前記窓K2が選択されると「1」となり、選択ジェスチャでその他の制御機器K(K1,K3〜K6)が選択されると「0」となる。
FL3:CDプレイヤー選択フラグ
CDプレイヤー選択フラグFL3は、初期値が「0」であり、選択ジェスチャで前記CDプレイヤーK3が選択されると「1」となり、選択ジェスチャでその他の制御機器K(K1,K2,K4,K6)が選択されると「0」となる。

FL4:テレビ選択フラグ
テレビ選択フラグFL4は、初期値が「0」であり、選択ジェスチャで前記テレビK4が選択されると「1」となり、選択ジェスチャでその他の制御機器K(K1〜K3,K6)が選択されると「0」となる。
FL5:ビデオ選択フラグ
ビデオ選択フラグFL5は、初期値が「0」であり、選択ジェスチャで前記ビデオK6が選択されると「1」となり、選択ジェスチャでその他の制御機器K(K1〜K4)が選択されると「0」となる。

(実施例1のフローチャートの説明)
次に、実施例1のクライアントパソコンPCの制御機器操作ジェスチャ認識プログラムAP1の処理の流れをフローチャートを使用して説明する。
(実施例1のメイン処理のフローチャートの説明)
図4は本発明の実施例1の制御機器操作ジェスチャ認識プログラムのメイン処理のフローチャートである。
図4のフローチャートの各ST(ステップ)の処理は、前記クライアントパソコンPCのROM等に記憶されたプログラムに従って行われる。また、この処理は前記クライアントパソコンPCの他の各種処理と並行してマルチタスクで実行される。

図4に示すフローチャートは前記クライアントパソコンPC、前記カメラCA1,CA2および全ての制御機器K(K1〜K6)が電源オンされ、前記制御機器操作ジェスチャ認識プログラムAP1が起動された状態、すなわち、前記制御機器操作ジェスチャ認識システムSがスタンバイ状態となった場合に開始される。
図4のST1において、次の(1),(2)の処理を実行し、ST2に移る。
(1)照明選択フラグFL1、窓選択フラグFL2、CDプレイヤー選択フラグFL3、テレビ選択フラグFL4、ビデオ選択フラグFL5をそれぞれ「0」にセットする。
(2)カメラCA1,CA2による室内の動画の撮像を開始する。

ST2において、カメラCA1,CA2により検出されるユーザの手領域および顔領域の変化(動き)を画像解析することにより、ユーザのジェスチャを検出したか否かを判別する。イエス(Y)の場合はST3に移り、ノー(N)の場合はST2を繰り返す。
ST3において、検出されたジェスチャは選択ジェスチャ、すなわち、指差し動作であるか否かを判別する。イエス(Y)の場合はST4に移り、ノー(N)の場合はST5に移る。
ST4において、選択ジェスチャに基づいて、制御機器K(K1〜K6)のいずれか1つを操作対象として選択する制御機器選択処理を実行する。そして、ST2に戻る。
ST5において、操作ジェスチャに基づいて、選択された制御機器K(K1〜K6)を操作する制御機器操作処理を実行する。そして、ST2に戻る。

(実施例1の制御機器選択処理のフローチャートの説明)
図5は本発明の実施例1の制御機器操作ジェスチャ認識プログラムの制御機器選択処理のフローチャートであり、図4のST4のサブルーチンの説明図である。
図5のST11において、ユーザが指差した位置に制御機器K(K1〜K6)のいずれかが存在するか否かを判別する。イエス(Y)の場合はST12に移り、ノー(N)の場合は制御機器選択処理を終了し、図4のメイン処理に戻る。
ST12において、ユーザの顔の方向が指差した位置、すなわち、制御機器K(K1〜K6)に向いているか否かを判別する。イエス(Y)の場合はST13に移り、ノー(N)の場合は制御機器選択処理を終了し、図4のメイン処理に戻る。

ST13において、次の(1),(2)の処理を実行し、制御機器選択処理を終了し、図4のメイン処理に戻る。
(1)指差された制御機器K(K1〜K6)に対応する選択フラグFL1〜FL5を「1」にセットする。
(2)その他の各選択フラグFL1〜FL5を「0」にセットする。

(実施例1の制御機器選択処理のフローチャートの説明)
図6は本発明の実施例1の制御機器操作ジェスチャ認識プログラムの制御機器操作処理のフローチャートであり、図4のST5のサブルーチンの説明図である。
図6のST21において、検出されたユーザのジェスチャが手を上下左右のいずれかに振る動作であるか否かを判別することにより、ユーザのジェスチャが操作ジェスチャであるか否かを判別する。イエス(Y)の場合はST22に移り、ノー(N)の場合は制御機器操作処理を終了し、図4のメイン処理に戻る。

ST22において、選択フラグFL1〜FL5のいずれか1つが「1」であるか否かを判別することにより、ユーザの選択ジェスチャにより選択された制御機器K(K1〜K6)が存在するか否かを判別する。イエス(Y)の場合はST23に移り、ノー(N)の場合は制御機器操作処理を終了し、図4のメイン処理に戻る。
ST23において、ユーザの顔の方向が指差した位置、すなわち、制御機器K(K1〜K6)に向いているか否かを判別する。イエス(Y)の場合はST23に移り、ノー(N)の場合は制御機器操作処理を終了し、図4のメイン処理に戻る。
ST24において、選択フラグFL1〜FL5が「1」の制御機器K(K1〜K6)に対して、検出された操作ジェスチャに対応する操作(図3参照)を実行する。そして、制御機器操作処理を終了し、図4のメイン処理に戻る。

(実施例1の作用)
前記構成を備えた実施例1の制御機器操作ジェスチャ認識システムSでは、ユーザが行った動作が、前記制御機器K(K1〜K6)を操作する意図で行われたジェスチャであれば、操作対象である前記制御機器K(K1〜K6)の方向を向いた状態で行われる可能性が高くなる。このため、実施例1の制御機器操作ジェスチャ認識システムSは、前記ジェスチャ(選択ジェスチャ、操作ジェスチャ)を検出し、且つ、ユーザの顔の方向が前記制御機器K(K1〜K6)に向いている場合に、前記制御機器K(K1〜K6)のいずれか1つを操作対象として選択したり(図4のST4、図5のST11〜ST13参照)、選択された前記制御機器K(K1〜K6)に対して、前記操作ジェスチャに対応する操作(図3参照)を実行したりすることができる(図4のST5、図6のST21〜ST24参照)。

したがって、前記制御機器選択処理(図4のST4、図5のST11〜ST13参照)では、ユーザが指差した位置に制御機器K(K1〜K6)のいずれかが存在する場合でも、ユーザの顔の方向が前記制御機器K(K1〜K6)に向いていると判別されなければ、前記制御機器K(K1〜K6)が操作対象として選択されない(図5のST12参照)。また、前記制御機器操作処理(図4のST5、図6のST21〜ST24参照)では、ユーザのジェスチャが手を上下左右のいずれかに振る動作である場合でも、ユーザの顔の方向が前記制御機器K(K1〜K6)に向いていると判別されなければ、選択された前記制御機器K(K1〜K6)に対して、前記操作ジェスチャに対応する操作が実行されない(図6のST22参照)。
この結果、実施例1の制御機器操作ジェスチャ認識システムSは、従来技術(J01),(J02)を適用した場合に比べて、制御機器K(K1〜K6)を操作する意図で行われたジェスチャを精度良く認識することができる。

また、実施例1では、他者に伝える意図で行われる動作と同様なジェスチャを実現するため、前記選択ジェスチャ(指差し動作と顔の方向)で選択された制御機器K(K1〜K6)に応じて、前記操作ジェスチャによる操作(制御内容)を実行するように予め設定されている(図3参照)。したがって、実施例1の制御機器操作ジェスチャ認識システムSでは、前記制御機器K(K1〜K6)に対応する専用の操作ボタン、操作コマンド、操作ジェスチャ等を覚えるユーザの負担を軽減できると共に、他者へ伝える動作と同様の自然なジェスチャにより、制御機器K(K1〜K6)の操作を精度良く認識することができる。

図7は本発明の実施例2の制御機器操作ジェスチャ認識システムの全体説明図である。
次に本発明の実施例2の制御機器操作ジェスチャ認識システムSの説明を行うが、この実施例2の説明において、前記実施例1の構成要素に対応する構成要素には同一の符号を付して、その詳細な説明を省略する。この実施例2は、下記の点で前記実施例1と相違しているが、他の点では前記実施例1と同様に構成されている。
図7において、本発明の実施例2の制御機器操作ジェスチャ認識システムSは、実施例1の前記クライアントパソコンPCおよび前記カメラCA1,CA2が、前記制御機器Kが配置された部屋とは異なる部屋に配置されている。

また、実施例2では、前記カメラCA1,CA2は、前記クライアントパソコンPCのディスプレイH2の前方をステレオ視できるように、前記ディスプレイH2の上端部の左右両端にそれぞれ固定支持されている。また、前記ディスプレイH2には、前記制御機器K(K1〜K6)が配置された位置に基づいて作成された制御機器配置画像Gが表示されている。
実施例2では、前記制御機器配置画像(制御機器画像)Gとして室内全体を再現して作成された画像が前記ディスプレイH2に表示されている。なお、前記制御機器配置画像Gは、実施例2の表示内容に限定されず、例えば、前記制御機器K(K1〜K6)を操作する度に、前記操作に応じて変化した室内の画像に更新したり、前記制御機器K(K1〜K6)が配置された実際の部屋に新たなカメラを設け、前記カメラで撮像した動画を前記ディスプレイH2に表示したりすることにより、操作時の室内の状態を表示することも可能である。

(実施例2のクライアントパソコンPCの制御部の説明)
図8は本発明の実施例2のクライアントパソコンの制御部が備えている各機能をブロック図(機能ブロック図)で示した図であり、実施例1の図2に対応する説明図である。

(制御機器操作ジェスチャ認識プログラムAP1)
実施例2では、前記ディスプレイH2の前方のユーザが、前記制御機器K(K1〜K6)に対応する前記制御機器配置画像Gの中の画像G1〜G6に対して行う前記ジェスチャ(選択ジェスチャ、操作ジェスチャ)に基づいて、前記制御機器K(K1〜K6)を操作対象として選択したり、操作したりする。このため、実施例2の制御機器選択手段C4および制御機器操作手段C5では、実施例1とは異なり、前記ジェスチャの対象が、前記制御機器K(K1〜K6)ではなく、前記制御機器K(K1〜K6)に対応する前記制御機器配置画像Gの中の画像G1〜G6となる。
また、実施例2の制御機器操作ジェスチャ認識プログラムAP1は、前記ディスプレイH2の前方のユーザをステレオ視するために、実施例1の室内動画撮像制御手段C1に替えて、前記ディスプレイH2前方の動画の撮像を制御する室内動画撮像制御手段(ユーザ撮像手段)C1′を有する。さらに、前記制御機器操作ジェスチャ認識プログラムAP1には、前記制御機器配置位置記憶手段C4Aに記憶された制御機器K(K1〜K6)の配置位置に基づいて作成された前記制御機器配置画像G(G1〜G6)をディスプレイH2に表示する制御機器配置画像表示手段C6が新たに追加されている。

(実施例2のフローチャートの説明)
次に、実施例2のクライアントパソコンPCの制御機器操作ジェスチャ認識プログラムAP1の処理の流れをフローチャートを使用して説明する。

(実施例2のメイン処理のフローチャートの説明)
図9は本発明の実施例2の制御機器操作ジェスチャ認識プログラムのメイン処理のフローチャートであり、実施例1の図4に対応する説明図である。
実施例2では、前記ジェスチャの対象が、前記制御機器K(K1〜K6)ではなく、前記制御機器K(K1〜K6)に対応する前記制御機器配置画像Gの中の画像G1〜G6となる。このため、実施例2のメイン処理は、実施例1のメイン処理(図4参照)のST1に替えてST1′を実行する。
図9のST1′において、次の(1),(2)′,(3)′を実行し、ST2に移る。
(1)照明選択フラグFL1、窓選択フラグFL2、CDプレイヤー選択フラグFL3、テレビ選択フラグFL4、ビデオ選択フラグFL5をそれぞれ「0」にセットする。
(2)′カメラCA1,CA2による前記ディスプレイH2前方の動画の撮像を開始する。
(3)′制御機器K(K1〜K6)が配置された位置に基づいて作成された制御機器配置画像G(G1〜G6)をディスプレイH2に表示する。

(実施例2の作用)
前記構成を備えた実施例2の制御機器操作ジェスチャ認識システムSでは、前記制御機器Kが配置された部屋とは異なる部屋に前記ディスプレイH2が配置されている。また、前記ディスプレイH2の前方のユーザが、制御機器K(K1〜K6)に対応する前記制御機器配置画像Gの中の画像G1〜G6に対して行う前記ジェスチャ(選択ジェスチャ、操作ジェスチャ)に基づいて、前記制御機器K(K1〜K6)を操作対象として選択したり、選択された前記制御機器K(K1〜K6)を操作したりすることができる。
したがって、実施例2の制御機器操作ジェスチャ認識システムSでは、ユーザが、前記制御機器Kを配置された部屋に居なくても、前記ジェスチャ(選択ジェスチャ、操作ジェスチャ)に基づいて、前記制御機器K(K1〜K6)を操作することができる。この結果、実施例2の制御機器操作ジェスチャ認識システムSは、例えば、遠隔地からの介護等に利用できる。
その他、実施例2の制御機器操作ジェスチャ認識システムSでは、実施例1の制御機器操作ジェスチャ認識システムSと同様の作用効果を奏する。

図10は本発明の実施例3のクライアントパソコンの制御部が備えている各機能をブロック図(機能ブロック図)で示した図であり、実施例1の図2に対応する説明図である。
次に本発明の実施例3の制御機器操作ジェスチャ認識システムSの説明を行うが、この実施例3の説明において、前記実施例1の構成要素に対応する構成要素には同一の符号を付して、その詳細な説明を省略する。この実施例3は、下記の点で前記実施例1と相違しているが、他の点では前記実施例1と同様に構成されている。

(制御機器操作ジェスチャ認識プログラムAP1)
図10において、実施例3の制御機器操作ジェスチャ認識プログラムAP1は、制御機器選択手段C4に替えて、制御機器選択手段C4′を有する。実施例3の制御機器選択手段C4′には、実施例1の前記制御機器選択手段C4に比べ、選択確認画像表示手段C4Dと、確認ジェスチャ判別手段C4Eとが新たに追加されている。

図11は実施例3の選択確認画像の説明図である。
C4D:選択確認画像表示手段
選択確認画像表示手段C4Dは、前記制御機器配置位置記憶手段C4Aおよび前記指差し位置判別手段C4Bに基づいて、前記選択ジェスチャ(指差し動作)を検出して特定した制御機器K(K1〜K6)が、ユーザが意図して選択した制御機器K(K1〜K6)であるかを確認するための選択確認画像Ga(図11参照)を表示する。
C4E:確認ジェスチャ判別手段
確認ジェスチャ判別手段C4Eは、前記顔領域検出手段C2Bにより検出されたユーザの顔領域に基づいて、ユーザの確認ジェスチャを判別する。なお、実施例3の前記確認ジェスチャ判別手段C4Eでは、ユーザのうなずき動作(YES、肯定ジェスチャ)と、首振り動作(NO、否定ジェスチャ)とが前記確認ジェスチャとして予め設定されている。具体的には、前記確認ジェスチャ判別手段C4Eは、顔の重心位置が往復運動した場合に、前記重心位置の移動方向を算出することにより、ユーザのうなずき動作(首を上下に振る動作)、または、首振り動作(首を左右に振る動作)のいずれかであることを判別する。

(実施例3のフローチャートの説明)
次に、実施例3のクライアントパソコンPCの制御機器操作ジェスチャ認識プログラムAP1の処理の流れをフローチャートを使用して説明する。
(実施例3の制御機器選択処理のフローチャートの説明)
図12は本発明の実施例3の制御機器操作ジェスチャ認識プログラムの制御機器選択処理のフローチャートであり、図4のST4のサブルーチンの説明図であり、実施例1の図5に対応する説明図である。
実施例3では、前記選択確認画像Ga(図11参照)を表示し、前記確認ジェスチャ(うなずき動作、首振り動作)により、前記選択ジェスチャ(指差し動作)を検出して特定した制御機器K(K1〜K6)が、ユーザが意図して選択した制御機器K(K1〜K6)であるか否かを判別する。このため、実施例3の制御機器選択処理は、実施例1の制御機器選択処理のST12と13との間に、ST16〜ST20を実行する。

図12のST16において、前記選択ジェスチャ(指差し動作)を検出して特定した前記制御機器K(K1〜K6)が、ユーザが意図して選択した制御機器K(K1〜K6)であるか否かを確認するための選択確認画像Ga(図11参照)をディスプレイH2に表示する。そして、ST17に移る。
ST17において、ユーザの動作が首を上下、または、左右に振る動作であるか否かを判別することにより、ユーザのジェスチャが確認ジェスチャ(うなずき動作、首振り動作)であるか否かを判別する。イエス(Y)の場合はST18に移り、ノー(N)の場合はST17を繰り返す。
ST18において、ユーザの顔の方向がディスプレイH2に向いているか否かを判別する。イエス(Y)の場合はST19に移り、ノー(N)の場合はST17に戻る。
ST19において、前記選択確認画像Gaを非表示にする。そして、ST20に移る。
ST20において、前記確認ジェスチャがうなずき動作であるか否かを判別する。イエス(Y)の場合はST13に移り、ノー(N)の場合は制御機器操作処理を終了し、図4のメイン処理に戻る。

(実施例3の作用)
前記構成を備えた実施例3の制御機器操作ジェスチャ認識システムSでは、前記選択ジェスチャを検出し、且つ、ユーザの顔の方向が前記制御機器K(K1〜K6)に向いている場合に、前記選択確認画像Ga(図11参照)を前記ディスプレイH2に表示する(図12のST16参照)。
また、実施例3の制御機器操作ジェスチャ認識システムSでは、前記選択確認画像Gaが表示された後で、ユーザのうなずき動作を検出し、且つ、ユーザの顔の方向が前記ディスプレイH2に向いている場合には、前記選択ジェスチャの検出が正しかったと認識し、前記制御機器K(K1〜K6)を操作対象として選択できる(図12のST13、ST17〜ST20参照)。また、前記選択確認画像Gaが表示された後で、ユーザの首振り動作を検出し、且つ、ユーザの顔の方向が前記ディスプレイH2に向いている場合には、選択ジェスチャ(指差し動作)の検出が誤りであったと認識し、前記制御機器K(K1〜K6)を選択しないようにすることができる(図12のST17〜ST20参照)。

この結果、実施例3の制御機器操作ジェスチャ認識システムSは、制御機器K(K1〜K6)を操作する意図で行われた前記選択ジェスチャを精度良く認識することができると共に、特定した制御機器K(K1〜K6)が、ユーザが意図して選択した制御機器K(K1〜K6)であるかを確認することができる。
その他、実施例3の制御機器操作ジェスチャ認識システムSでは、実施例1の制御機器操作ジェスチャ認識システムSと同様の作用効果を奏する。

(変更例)
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例(H01)〜(H013)を下記に例示する。
(H01)本発明の実施例では、選択ジェスチャ(指差し動作)が行われた場合に、ユーザの顔の方向が選択ジェスチャで選択された制御機器K(K1〜K6)に向いていれば前記制御機器K(K1〜K6)を選択すると共に、操作ジェスチャ(手を上下左右のいずれかに動作)が行われた場合に、ユーザの顔の方向が選択された制御機器K(K1〜K6)に向いていれば前記制御機器K(K1〜K6)を操作したが、これに限定されず、例えば、指差し動作で制御機器K(K1〜K6)を選択した場合、または、ユーザの顔が所定時間だけ制御機器K(K1〜K6)に向いている場合に、前記制御機器K(K1〜K6)を選択し、操作ジェスチャが行われた場合には、ユーザの顔の方向が選択された制御機器K(K1〜K6)に向いていなければ前記制御機器K(K1〜K6)を操作しないように構成することも可能である。また、選択ジェスチャが行われた場合に、ユーザの顔の方向が選択ジェスチャで選択された制御機器K(K1〜K6)に向いていなければ前記制御機器K(K1〜K6)を選択しないが、操作ジェスチャが行われた場合には、ユーザの顔の方向が選択された制御機器K(K1〜K6)に向いていなくても前記制御機器K(K1〜K6)を操作するように構成することも可能である。また、実施例3の前記確認ジェスチャ(うなずき動作、首振り動作)も同様に、ユーザの顔がディスプレイH2に向いていなくても、確認ジェスチャとして認識するように構成することも可能である。

(H02)本発明の実施例では、2台のカメラCA1,CA2により室内の動画を撮影したり、ユーザをステレオ視したりしているが、カメラの台数は2台に限定されず、3台以上のカメラを配置することも可能である。また、1台のカメラだけで、ユーザの3次元位置等を画像解析したり、ジェスチャ(選択ジェスチャ、操作ジェスチャ、確認ジェスチャ)を画像解析したりすることが可能であれば、1台のカメラだけで構成することも可能である。さらに、前記カメラCA1,CA2で撮像するのは動画(動画像)に限定されず、連続的に撮像された画像(連続的な静止画像)等に置き換えることも可能である。
(H03)本発明の実施例では、前記制御機器Kは、前記照明K1と、前記窓K2と、前記CDプレイヤーK3と、前記テレビK4と、前記ビデオK6とにより構成されているが、これに限定されず、例えば、その他の制御機器を追加したり、前記構成要素K1〜K6を操作対象から削除したりすることも可能である。

(H04)本発明の実施例では、前記クライアントパソコンPCと、前記カメラCA1,CA2および前記制御機器Kを前記接続ケーブルCにより接続し、前記接続ケーブルCを介して制御信号を送信することにより、前記カメラCA1,CA2および前記制御機器Kを制御しているが、これに限定されず、例えば、前記接続ケーブルCを省略して、専用リモコンのように無線で前記制御信号を送信して前記カメラCA1,CA2や前記制御機器K(K1〜K6)を制御する(操作する)ことも可能である。
(H05)本発明の実施例では、前記選択ジェスチャに指差し動作を設定したが、これに限定されず、その他の動作を前記選択ジェスチャに設定することも可能である。例えば、操作ジェスチャのみ手を上下左右に振る動きと、顔の向き(視線の方向)とによって判別する場合には、選択ジェスチャに顔の向きのみ(視線の方向のみ)を設定し、ユーザの顔が所定時間だけ前記制御機器K(K1〜K6)に向いている場合に、前記制御機器K(K1〜K6)が選択されたものと判別することも可能である。また、前記操作ジェスチャに手を上下左右のいずれか一方に振る動作を設定したが、これに限定されず、その他の動作を前記操作ジェスチャに設定することも可能である。また、前記操作ジェスチャによる操作も図3で示す対応表に限定されず、その他の操作を追加したりすることも可能である。さらに、実施例3では、前記確認ジェスチャにうなずき動作(首を上下に振る動作)と首振り動作(首を左右に振る動作)とを設定したが、これに限定されず、例えば、肯定ジェスチャにOKサイン(親指と人差し指で円を作る動作)、否定ジェスチャに手を左右に振る動作等を設定することも可能である。

(H06)本発明の実施例のように、前記選択ジェスチャで操作対象の前記制御機器K(K1〜K6)を選択し、前記操作ジェスチャで選択された前記制御機器K(K1〜K6)の操作を実行した後、さらに前記操作ジェスチャを行うことで前記制御機器K(K1〜K6)の操作を続けて実行できるように制御されるのが好ましいが、これに限定されず、前記選択ジェスチャの後で、前記操作ジェスチャを1度しか実行できないように制御することも可能である。
(H07)本発明の実施例では、前記操作ジェスチャによる操作は、例えば、明るさや音量等の調節ならば1段階だけ上下するように予め設定されているが、これに限定されず、例えば、前記操作ジェスチャを行った時間に応じて明るさや音量等の度合いを調節できるようにすることも可能である。

(H08)本発明の実施例では、ユーザの視線の方向を、ユーザの顔の向きに基づいて判別したが、これに限定されず、例えば、実施例2の構成であれば、実際にユーザの視線に基づいて判別することも可能である。
(H09)本発明の実施例2では、前記制御機器Kが配置された部屋とは異なる部屋に前記ディスプレイH2が配置されているが、これに限定されず、例えば、前記制御機器Kが配置された部屋と同じ部屋に前記ディスプレイH2を配置することも可能である。この場合、前記制御機器配置画像G(G1〜G6)に対して行われた前記ジェスチャ(選択ジェスチャ、操作ジェスチャ)を検出した場合も、実際の制御機器K(K1〜K6)に対して行われた前記ジェスチャを検出した場合も、同様に前記制御機器選択処理(図4のST4、図5のST11〜ST13、図12のST11〜ST13,ST16〜ST20参照)および前記制御機器操作処理(図4のST5、図6のST21〜ST24参照)を実行することも可能である。

(H010)本発明の実施例2では、前記制御機器配置画像GをディスプレイH2に表示するが、例えば、ユーザが顔をディスプレイH2に接近・離隔することにより、前記制御機器配置画像Gを拡大・縮小して表示することも可能である。また、ユーザの視線の方向を、ユーザの実際の視線に基づいて判別する場合には、ユーザの視線や目の開度等を検出して視線の位置を拡大・縮小して表示することも可能である。
(H011)本発明の実施例3では、前記確認ジェスチャ(うなずき動作、首振り動作)を検出した場合、前記選択確認画像Ga(図11参照)を非表示にしているが(図12のST19参照)、これに限定されず、例えば、うなずき動作を検出した場合には、操作対象として選択された前記制御機器K(K1〜K6)についての操作ジェスチャとその操作とを説明する画像を表示したり、首振り動作を検出した場合には、選択ジェスチャが誤検出であったことを説明する画像を表示したりすることも可能である。

(H012)本発明の実施例3では、前記選択確認画像Ga(図11参照)を表示した後、前記確認ジェスチャ(うなずき動作、首振り動作)により、前記選択ジェスチャ(指差し動作)を検出して特定した前記制御機器K(K1〜K6)が、ユーザが意図して選択した制御機器K(K1〜K6)であるか否かを確認したが(図12のST16〜ST20参照)、例えば、前記操作ジェスチャについても同様に、操作確認画像を表示して、前記確認ジェスチャ(うなずき動作、首振り動作)により、ユーザが意図する操作であるか否かを確認することも可能である。
(H013)本発明の実施例3において、前記選択確認画像Ga(図11参照)を表示し、前記確認ジェスチャにより、前記選択ジェスチャ(指差し動作)を検出して特定した前記制御機器K(K1〜K6)が、ユーザが意図して選択した制御機器K(K1〜K6)であるか否かを確認する処理(図12のST16〜ST20参照)を、ユーザが前記制御機器K(K1〜K6)が配置された部屋に居て操作する場合に適用したが、これに限定されず、実施例2のように、ユーザが前記ディスプレイH2に表示された制御機器配置画像G(G1〜G6)を介して、遠隔地から前記制御機器K(K1〜K6)を操作する場合にも適用可能である。

図1は本発明の実施例1の制御機器操作ジェスチャ認識システムの全体説明図である。 図2は本発明の実施例1のクライアントパソコンの制御部が備えている各機能をブロック図(機能ブロック図)で示した図である。 図3は選択ジェスチャで選択された制御機器と操作ジェスチャによる操作との対応表である。 図4は本発明の実施例1の制御機器操作ジェスチャ認識プログラムのメイン処理のフローチャートである。 図5は本発明の実施例1の制御機器操作ジェスチャ認識プログラムの制御機器選択処理のフローチャートであり、図4のST4のサブルーチンの説明図である。 図6は本発明の実施例1の制御機器操作ジェスチャ認識プログラムの制御機器操作処理のフローチャートであり、図4のST5のサブルーチンの説明図である。 図7は本発明の実施例2の制御機器操作ジェスチャ認識システムの全体説明図である。 図8は本発明の実施例2のクライアントパソコンの制御部が備えている各機能をブロック図(機能ブロック図)で示した図であり、実施例1の図2に対応する説明図である。 図9は本発明の実施例2の制御機器操作ジェスチャ認識プログラムのメイン処理のフローチャートであり、実施例1の図4に対応する説明図である。 図10は本発明の実施例3のクライアントパソコンの制御部が備えている各機能をブロック図(機能ブロック図)で示した図であり、実施例1の図2に対応する説明図である。 図11は実施例3の選択確認画像の説明図である。 図12は本発明の実施例3の制御機器操作ジェスチャ認識プログラムの制御機器選択処理のフローチャートであり、図4のST4のサブルーチンの説明図であり、実施例1の図5に対応する説明図である。

符号の説明

AP1…制御機器操作ジェスチャ認識プログラム、
C1…ユーザ撮像手段、
C2…ジェスチャ検出手段、
C3…ジェスチャ判別手段、
C4…制御機器選択手段、
C4C,C5C…視線方向判別手段、
C4D…選択確認画像表示手段、
C4E…確認ジェスチャ判別手段、
C5…制御機器操作手段、
C6…制御機器画像表示手段、
CA1,CA2…カメラ、
G…制御機器画像、
Ga…選択確認画像、
K…制御機器、
PC…制御機器操作ジェスチャ認識装置、
S…制御機器操作ジェスチャ認識システム。

Claims (13)

  1. カメラによりユーザの画像を撮像するユーザ撮像手段と、
    前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
    検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
    前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、
    検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
    検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
    を備えたことを特徴とする制御機器操作ジェスチャ認識装置。
  2. 検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段、
    を備えたことを特徴とする請求項1に記載の前記制御機器操作ジェスチャ認識装置。
  3. カメラによりユーザの画像を撮像するユーザ撮像手段と、
    前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
    検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
    前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、
    検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、前記選択ジェスチャで選択された制御機器を操作対象として選択する制御機器選択手段と、
    検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段と、
    を備えたことを特徴とする制御機器操作ジェスチャ認識装置。
  4. 前記制御機器に対応する制御機器画像を表示する制御機器画像表示手段と、
    前記画像に基づいて、ユーザの視線の方向に前記制御機器画像があるか否かを判別することにより、ユーザの視線の方向に制御機器があるか否かを判別する前記視線方向判別手段と、
    検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器画像と、ユーザの視線の方向にある制御機器画像と、が一致する場合に、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致するとみなし、前記制御機器を操作対象として選択する前記制御機器選択手段と、
    を備えたことを特徴とする請求項1または請求項2に記載の前記制御機器操作ジェスチャ認識装置。
  5. 前記制御機器に対応する制御機器画像を表示する制御機器画像表示手段と、
    前記画像に基づいて、ユーザの視線の方向に前記制御機器画像があるか否かを判別することにより、ユーザの視線の方向に制御機器があるか否かを判別する前記視線方向判別手段と、
    検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器画像に対応する制御機器と、が一致する場合に、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致するとみなし、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段と、
    を備えたことを特徴とする請求項2ないし請求項4のいずれかに記載の前記制御機器操作ジェスチャ認識装置。
  6. 前記選択ジェスチャで選択された制御機器が、ユーザが意図して選択した制御機器であるか否かを確認するための選択確認画像を表示する選択確認画像表示手段と、
    前記選択確認画像が表示された後で、検出された前記ジェスチャが、ユーザが意図して選択した制御機器であることを肯定するための肯定ジェスチャと、ユーザが意図して選択した制御機器であることを否定するための否定ジェスチャとにより構成された確認ジェスチャのいずれかであることを判別する確認ジェスチャ判別手段と、
    検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記選択確認画像を表示し、前記選択確認画像の表示後に検出された前記ジェスチャが前記肯定ジェスチャであれば前記制御機器を操作対象として選択し、前記否定ジェスチャであれば前記制御機器を操作対象として選択しない前記制御機器選択手段と、
    を備えたことを特徴とする請求項1ないし請求項5のいずれかに記載の前記制御機器操作ジェスチャ認識装置。
  7. 前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの視線の方向に制御機器があるか否かを判別する前記視線方向判別手段と、
    を備えたことを特徴とする請求項1ないし請求項6のいずれかに記載の前記制御機器操作ジェスチャ認識装置。
  8. カメラによりユーザの画像を撮像するユーザ撮像手段と、
    前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
    検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
    前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、
    検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
    検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
    を備えたことを特徴とする制御機器操作ジェスチャ認識システム。
  9. 検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段、
    を備えたことを特徴とする請求項8に記載の前記制御機器操作ジェスチャ認識システム。
  10. カメラによりユーザの画像を撮像するユーザ撮像手段と、
    前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
    検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
    前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、
    検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、前記選択ジェスチャで選択された制御機器を操作対象として選択する制御機器選択手段と、
    検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段と、
    を備えたことを特徴とする制御機器操作ジェスチャ認識システム。
  11. コンピュータを、
    カメラによりユーザの画像を撮像するユーザ撮像手段、
    前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段、
    検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段、
    前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段、
    検出された前記ジェスチャが前記選択ジェスチャであると判別され、且つ、前記選択ジェスチャで選択された制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器を操作対象として選択する制御機器選択手段、
    検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段、
    として機能させるための制御機器操作ジェスチャ認識プログラム。
  12. コンピュータを、
    検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段、
    として機能させるための請求項11に記載の前記制御機器操作ジェスチャ認識プログラム。
  13. コンピュータを、
    カメラによりユーザの画像を撮像するユーザ撮像手段、
    前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段、
    検出された前記ジェスチャが操作対象の制御機器を選択するための選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段、
    前記画像に基づいて、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段、
    検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、前記選択ジェスチャで選択された制御機器を操作対象として選択する制御機器選択手段、
    検出された前記ジェスチャが前記操作ジェスチャであると判別され、且つ、前記制御機器選択手段で選択された前記制御機器と、ユーザの視線の方向にある制御機器と、が一致する場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する前記制御機器操作手段、
    として機能させるための制御機器操作ジェスチャ認識プログラム。
JP2007201447A 2007-08-02 2007-08-02 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム Expired - Fee Related JP5207513B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007201447A JP5207513B2 (ja) 2007-08-02 2007-08-02 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007201447A JP5207513B2 (ja) 2007-08-02 2007-08-02 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム

Publications (2)

Publication Number Publication Date
JP2009037434A true JP2009037434A (ja) 2009-02-19
JP5207513B2 JP5207513B2 (ja) 2013-06-12

Family

ID=40439276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007201447A Expired - Fee Related JP5207513B2 (ja) 2007-08-02 2007-08-02 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム

Country Status (1)

Country Link
JP (1) JP5207513B2 (ja)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095984A (ja) * 2009-10-29 2011-05-12 Nikon Corp 画像表示装置
CN102323859A (zh) * 2011-09-08 2012-01-18 昆山市工业技术研究院有限责任公司 基于手势控制的讲义播放系统及方法
JP2012022699A (ja) * 2011-08-25 2012-02-02 Toshiba Corp 情報処理装置及び画面選択方法
JP2012027744A (ja) * 2010-07-24 2012-02-09 Canon Inc 情報処理装置及びその制御方法
JP2012048560A (ja) * 2010-08-27 2012-03-08 Tokyo Metropolitan Univ 情報提示システム、情報提示プログラム、及び情報提示方法
JP2012146303A (ja) * 2011-01-06 2012-08-02 Samsung Electronics Co Ltd モーションによって制御されるディスプレイ装置及びそのモーション制御方法
JP2012160051A (ja) * 2011-02-01 2012-08-23 Kddi Corp 情報端末装置
WO2012117570A1 (ja) 2011-03-03 2012-09-07 オムロン株式会社 ジェスチャ入力装置およびジェスチャ入力装置の制御方法
JP2013008252A (ja) * 2011-06-24 2013-01-10 Yamaha Corp パラメータ制御装置および方法
JP2013020434A (ja) * 2011-07-11 2013-01-31 Konica Minolta Business Technologies Inc プレゼンテーションシステム、プレゼンテーション装置およびプログラム
JP2013518316A (ja) * 2010-01-21 2013-05-20 トビー・テクノロジー・アーベーTobii Technology AB アイトラッカーベースのコンテキストアクション
JP2013239089A (ja) * 2012-05-16 2013-11-28 Yahoo Japan Corp 表示制御装置、表示制御方法、情報表示システム、およびプログラム。
KR20140014129A (ko) * 2011-01-19 2014-02-05 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 멀티모달 및 제스처 제어를 위한 방법 및 시스템
KR20140061860A (ko) * 2012-11-14 2014-05-22 한국전자통신연구원 시선 기반의 제어 장치 및 그것의 기기 제어 방법
JP2014127870A (ja) * 2012-12-26 2014-07-07 Mitsui Home Co Ltd 住宅設備制御装置
JP2014149640A (ja) * 2013-01-31 2014-08-21 Tokai Rika Co Ltd ジェスチャ操作装置及びジェスチャ操作プログラム
JP2014180337A (ja) * 2013-03-18 2014-09-29 Olympus Medical Systems Corp 医療システム
WO2014203459A1 (ja) * 2013-06-18 2014-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 入力装置及び動作要求を入力する方法
JP2015500528A (ja) * 2011-12-05 2015-01-05 アルカテル−ルーセント ジェスチャー・コントロールのための方法、ジェスチャー・サーバ・デバイス、およびセンサ入力デバイス
WO2015037268A1 (ja) * 2013-09-11 2015-03-19 クラリオン株式会社 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
JP2015512550A (ja) * 2012-04-09 2015-04-27 クアルコム,インコーポレイテッド ジェスチャに基づく遠隔デバイスの制御
WO2015111778A1 (ko) * 2014-01-27 2015-07-30 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어방법
US9134794B2 (en) 2013-08-20 2015-09-15 Kabushiki Kaisha Toshiba System to identify user and device the user is intending to operate
KR101575650B1 (ko) * 2014-03-11 2015-12-08 현대자동차주식회사 단말기, 그를 가지는 차량 및 그 제어 방법
JP2016507810A (ja) * 2012-12-20 2016-03-10 グーグル インコーポレイテッド タッチレスジェスチャインターフェースにおける物体間の距離の使用
JP2017004553A (ja) * 2016-08-22 2017-01-05 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2017062607A (ja) * 2015-09-24 2017-03-30 パナソニックIpマネジメント株式会社 機器制御装置、機器制御方法、機器制御プログラムおよび記録媒体
US9639164B2 (en) 2013-09-26 2017-05-02 Fujitsu Limited Gesture input method
JP2017516242A (ja) * 2015-02-26 2017-06-15 シャオミ・インコーポレイテッド スマート機器の操作制御方法、装置、プログラム及び記憶媒体
US9684372B2 (en) 2012-11-07 2017-06-20 Samsung Electronics Co., Ltd. System and method for human computer interaction
CN107272888A (zh) * 2013-07-26 2017-10-20 株式会社东芝 信息处理设备
JP2018092648A (ja) * 2014-10-02 2018-06-14 グーグル エルエルシー 見通し外レーダ型ジェスチャ認識
US10037078B2 (en) 2012-03-29 2018-07-31 Sony Corporation Information processing apparatus, information processing method, and computer program
CN108845668A (zh) * 2012-11-07 2018-11-20 北京三星通信技术研究有限公司 人机交互系统和方法
US10300370B1 (en) 2015-10-06 2019-05-28 Google Llc Advanced gaming and virtual reality control using radar
US10409385B2 (en) 2014-08-22 2019-09-10 Google Llc Occluded gesture recognition
US10496182B2 (en) 2015-04-30 2019-12-03 Google Llc Type-agnostic RF signal representations
JP2019536140A (ja) * 2016-10-24 2019-12-12 ブイタッチ・カンパニー・リミテッド 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
WO2020022254A1 (ja) * 2018-07-24 2020-01-30 株式会社tiwaki 操作指示制御装置及びその方法
US10642367B2 (en) 2014-08-07 2020-05-05 Google Llc Radar-based gesture sensing and data transmission
WO2020171098A1 (ja) * 2019-02-19 2020-08-27 株式会社Nttドコモ 視線とジェスチャを用いた情報表示装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JPH10105310A (ja) * 1996-09-27 1998-04-24 Nissan Motor Co Ltd 身振り入力装置及びそれを含む入力装置
JPH1124694A (ja) * 1997-07-04 1999-01-29 Sanyo Electric Co Ltd 命令認識装置
JP2000163196A (ja) * 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
JP2002259989A (ja) * 2001-03-02 2002-09-13 Gifu Prefecture ポインティングジェスチャ検出方法及びその装置
JP2006155244A (ja) * 2004-11-29 2006-06-15 Olympus Corp 情報表示装置
JP2007034515A (ja) * 2005-07-25 2007-02-08 Sony Computer Entertainment Inc 電気機器の制御装置、電気機器の制御方法、電気機器の制御プログラム及び電気機器の制御システム
JP2007179338A (ja) * 2005-12-28 2007-07-12 Oki Electric Ind Co Ltd 情報処理装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JPH10105310A (ja) * 1996-09-27 1998-04-24 Nissan Motor Co Ltd 身振り入力装置及びそれを含む入力装置
JPH1124694A (ja) * 1997-07-04 1999-01-29 Sanyo Electric Co Ltd 命令認識装置
JP2000163196A (ja) * 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
JP2002259989A (ja) * 2001-03-02 2002-09-13 Gifu Prefecture ポインティングジェスチャ検出方法及びその装置
JP2006155244A (ja) * 2004-11-29 2006-06-15 Olympus Corp 情報表示装置
JP2007034515A (ja) * 2005-07-25 2007-02-08 Sony Computer Entertainment Inc 電気機器の制御装置、電気機器の制御方法、電気機器の制御プログラム及び電気機器の制御システム
JP2007179338A (ja) * 2005-12-28 2007-07-12 Oki Electric Ind Co Ltd 情報処理装置

Cited By (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095984A (ja) * 2009-10-29 2011-05-12 Nikon Corp 画像表示装置
JP2013518316A (ja) * 2010-01-21 2013-05-20 トビー・テクノロジー・アーベーTobii Technology AB アイトラッカーベースのコンテキストアクション
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US10353462B2 (en) 2010-01-21 2019-07-16 Tobii Ab Eye tracker based contextual action
JP2012027744A (ja) * 2010-07-24 2012-02-09 Canon Inc 情報処理装置及びその制御方法
JP2012048560A (ja) * 2010-08-27 2012-03-08 Tokyo Metropolitan Univ 情報提示システム、情報提示プログラム、及び情報提示方法
JP2012146303A (ja) * 2011-01-06 2012-08-02 Samsung Electronics Co Ltd モーションによって制御されるディスプレイ装置及びそのモーション制御方法
JP2014507714A (ja) * 2011-01-19 2014-03-27 ヒューレット−パッカード デベロップメント カンパニー エル.ピー.Hewlett‐Packard Development Company, L.P. マルチモーダル及びジェスチャー制御のための方法及びシステム
US9778747B2 (en) 2011-01-19 2017-10-03 Hewlett-Packard Development Company, L.P. Method and system for multimodal and gestural control
KR101690117B1 (ko) 2011-01-19 2016-12-27 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 멀티모달 및 제스처 제어를 위한 방법 및 시스템
KR20140014129A (ko) * 2011-01-19 2014-02-05 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 멀티모달 및 제스처 제어를 위한 방법 및 시스템
JP2012160051A (ja) * 2011-02-01 2012-08-23 Kddi Corp 情報端末装置
WO2012117570A1 (ja) 2011-03-03 2012-09-07 オムロン株式会社 ジェスチャ入力装置およびジェスチャ入力装置の制御方法
JP2013008252A (ja) * 2011-06-24 2013-01-10 Yamaha Corp パラメータ制御装置および方法
JP2013020434A (ja) * 2011-07-11 2013-01-31 Konica Minolta Business Technologies Inc プレゼンテーションシステム、プレゼンテーション装置およびプログラム
US9740291B2 (en) 2011-07-11 2017-08-22 Konica Minolta Business Technologies, Inc. Presentation system, presentation apparatus, and computer-readable recording medium
JP2012022699A (ja) * 2011-08-25 2012-02-02 Toshiba Corp 情報処理装置及び画面選択方法
CN102323859A (zh) * 2011-09-08 2012-01-18 昆山市工业技术研究院有限责任公司 基于手势控制的讲义播放系统及方法
JP2015500528A (ja) * 2011-12-05 2015-01-05 アルカテル−ルーセント ジェスチャー・コントロールのための方法、ジェスチャー・サーバ・デバイス、およびセンサ入力デバイス
US10037078B2 (en) 2012-03-29 2018-07-31 Sony Corporation Information processing apparatus, information processing method, and computer program
US10437324B2 (en) 2012-03-29 2019-10-08 Sony Corporation Information processing apparatus, information processing method, and computer program
JP2015512550A (ja) * 2012-04-09 2015-04-27 クアルコム,インコーポレイテッド ジェスチャに基づく遠隔デバイスの制御
JP2013239089A (ja) * 2012-05-16 2013-11-28 Yahoo Japan Corp 表示制御装置、表示制御方法、情報表示システム、およびプログラム。
CN108845668A (zh) * 2012-11-07 2018-11-20 北京三星通信技术研究有限公司 人机交互系统和方法
US9684372B2 (en) 2012-11-07 2017-06-20 Samsung Electronics Co., Ltd. System and method for human computer interaction
KR101878376B1 (ko) * 2012-11-14 2018-07-16 한국전자통신연구원 시선 기반의 제어 장치 및 그것의 기기 제어 방법
KR20140061860A (ko) * 2012-11-14 2014-05-22 한국전자통신연구원 시선 기반의 제어 장치 및 그것의 기기 제어 방법
JP2016507810A (ja) * 2012-12-20 2016-03-10 グーグル インコーポレイテッド タッチレスジェスチャインターフェースにおける物体間の距離の使用
JP2014127870A (ja) * 2012-12-26 2014-07-07 Mitsui Home Co Ltd 住宅設備制御装置
JP2014149640A (ja) * 2013-01-31 2014-08-21 Tokai Rika Co Ltd ジェスチャ操作装置及びジェスチャ操作プログラム
JP2014180337A (ja) * 2013-03-18 2014-09-29 Olympus Medical Systems Corp 医療システム
CN105264465B (zh) * 2013-06-18 2018-11-09 松下电器(美国)知识产权公司 输入装置以及输入动作要求的方法
WO2014203459A1 (ja) * 2013-06-18 2014-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 入力装置及び動作要求を入力する方法
JPWO2014203459A1 (ja) * 2013-06-18 2017-02-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 入力装置及び動作要求を入力する方法
CN105264465A (zh) * 2013-06-18 2016-01-20 松下电器(美国)知识产权公司 输入装置以及输入动作要求的方法
CN107272888B (zh) * 2013-07-26 2019-12-27 株式会社东芝 信息处理设备
CN107272888A (zh) * 2013-07-26 2017-10-20 株式会社东芝 信息处理设备
US9134794B2 (en) 2013-08-20 2015-09-15 Kabushiki Kaisha Toshiba System to identify user and device the user is intending to operate
US9696814B2 (en) 2013-09-11 2017-07-04 Clarion Co., Ltd. Information processing device, gesture detection method, and gesture detection program
JP2015055999A (ja) * 2013-09-11 2015-03-23 クラリオン株式会社 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
WO2015037268A1 (ja) * 2013-09-11 2015-03-19 クラリオン株式会社 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
US9639164B2 (en) 2013-09-26 2017-05-02 Fujitsu Limited Gesture input method
WO2015111778A1 (ko) * 2014-01-27 2015-07-30 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어방법
US10318007B2 (en) 2014-01-27 2019-06-11 Lg Electronics Inc. Head mounted display device for multi-tasking and method for controlling same
KR101575650B1 (ko) * 2014-03-11 2015-12-08 현대자동차주식회사 단말기, 그를 가지는 차량 및 그 제어 방법
US10649587B2 (en) 2014-03-11 2020-05-12 Hyundai Motor Company Terminal, for gesture recognition and operation command determination, vehicle having the same and method for controlling the same
US10642367B2 (en) 2014-08-07 2020-05-05 Google Llc Radar-based gesture sensing and data transmission
US10409385B2 (en) 2014-08-22 2019-09-10 Google Llc Occluded gesture recognition
JP2018092648A (ja) * 2014-10-02 2018-06-14 グーグル エルエルシー 見通し外レーダ型ジェスチャ認識
US10664059B2 (en) 2014-10-02 2020-05-26 Google Llc Non-line-of-sight radar-based gesture recognition
US10007354B2 (en) 2015-02-26 2018-06-26 Xiaomi Inc. Method and apparatus for controlling smart device
JP2017516242A (ja) * 2015-02-26 2017-06-15 シャオミ・インコーポレイテッド スマート機器の操作制御方法、装置、プログラム及び記憶媒体
US10496182B2 (en) 2015-04-30 2019-12-03 Google Llc Type-agnostic RF signal representations
JP2017062607A (ja) * 2015-09-24 2017-03-30 パナソニックIpマネジメント株式会社 機器制御装置、機器制御方法、機器制御プログラムおよび記録媒体
US10908696B2 (en) 2015-10-06 2021-02-02 Google Llc Advanced gaming and virtual reality control using radar
US10459080B1 (en) 2015-10-06 2019-10-29 Google Llc Radar-based object detection for vehicles
US10503883B1 (en) 2015-10-06 2019-12-10 Google Llc Radar-based authentication
US10768712B2 (en) 2015-10-06 2020-09-08 Google Llc Gesture component with gesture library
US10401490B2 (en) 2015-10-06 2019-09-03 Google Llc Radar-enabled sensor fusion
US10540001B1 (en) 2015-10-06 2020-01-21 Google Llc Fine-motion virtual-reality or augmented-reality control using radar
US10379621B2 (en) 2015-10-06 2019-08-13 Google Llc Gesture component with gesture library
US10310621B1 (en) 2015-10-06 2019-06-04 Google Llc Radar gesture sensing using existing data protocols
US10300370B1 (en) 2015-10-06 2019-05-28 Google Llc Advanced gaming and virtual reality control using radar
US10823841B1 (en) 2015-10-06 2020-11-03 Google Llc Radar imaging on a mobile computing device
US10705185B1 (en) 2015-10-06 2020-07-07 Google Llc Application-based signal processing parameters in radar-based detection
JP2017004553A (ja) * 2016-08-22 2017-01-05 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2019536140A (ja) * 2016-10-24 2019-12-12 ブイタッチ・カンパニー・リミテッド 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
WO2020022254A1 (ja) * 2018-07-24 2020-01-30 株式会社tiwaki 操作指示制御装置及びその方法
WO2020171098A1 (ja) * 2019-02-19 2020-08-27 株式会社Nttドコモ 視線とジェスチャを用いた情報表示装置

Also Published As

Publication number Publication date
JP5207513B2 (ja) 2013-06-12

Similar Documents

Publication Publication Date Title
US9921663B2 (en) Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium
JP2018185873A (ja) レーダベースのジェスチャ感知およびデータ伝送
US20200097093A1 (en) Touch free interface for augmented reality systems
US10331222B2 (en) Gesture recognition techniques
US10031578B2 (en) Gaze detection in a 3D mapping environment
JP6306236B2 (ja) 奥行きセンサーの使用による装置のタッチフリー操作
JP2020061169A (ja) 仮想現実における、頭部、ジェスチャ、およびタッチ入力の動的な切り替えならびにマージ
US10638036B2 (en) Adjusting motion capture based on the distance between tracked objects
US10635185B2 (en) Velocity field interaction for free space gesture interface and control
US10754497B2 (en) Two-handed object manipulations in virtual reality
US10261594B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
JP6031071B2 (ja) 自然なジェスチャに基づくユーザ・インターフェース方法及びシステム
Hinckley et al. Pre-touch sensing for mobile interaction
US20180011546A1 (en) Dynamic user interactions for display control
US9430698B2 (en) Information input apparatus, information input method, and computer program
US8963963B2 (en) Video-based image control system
US8970725B2 (en) User interface system based on pointing device
US20160370871A1 (en) Navigation approaches for multi-dimensional input
CN107077169B (zh) 扩增现实中的空间交互
US20170293364A1 (en) Gesture-based control system
KR101791366B1 (ko) 증강된 가상 터치패드 및 터치스크린
JP6030430B2 (ja) 制御装置、車両及び携帯端末
JP5911796B2 (ja) マルチモーダル情報を用いるユーザ意図推論装置及び方法
Davis et al. Recognizing hand gestures
US9098873B2 (en) Motion-based interactive shopping environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

R150 Certificate of patent or registration of utility model

Ref document number: 5207513

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees