JP2006268212A - 命令入力装置 - Google Patents

Abstract

【課題】TV受像機などの多岐にわたる機器の手ぶらでの複雑な身体的操作を正確に行う命令入力装置を提供する。
【解決手段】命令入力装置はビデオカメラで撮影したユーザの身体の動作によって機器制御命令を発行する際、身体の基本動作と制御命令に対するフィードバックを（触覚の代わりに）画像または音声によって提供する。単純な動作にフィードバックを提供することで各動作の伝達を意図どおりの誤りないものにし、その結果、複雑な複合操作も基本動作の組み合わせとして確実に伝達できる。基本動作に分解することで、組み合わせによって多様な複合操作を定義できるようにする。
【選択図】 なし

Description

本発明は、身体の動作による非接触での機器操作を可能にする方法に関する。

情報機器を操作するためのわかりやすいインタフェースとして、ユーザ身体の動画像から画像処理によって動作を認識する手法は、リモコンなどのデバイスを用いずに手ぶらでの機器操作を実現する。

身体による動作認識の例として、非特許文献１に記載のインテリジェントルームでは、ユーザは指のジェスチャ、具体的には指の本数とその増減で命令入力を行う。例えば、複数の機器の中から、指を２本立てることでテレビを選択し、その後手を開く、閉じるなどの動作で操作を行う。

入江耕太，梅田和昇，若村直弘：ジェスチャ認識を利用したマン・マシン・インタフェースの構築−インテリジェントルームへの適用−，日本機械学会ロボティクス・メカトロニクス講演会'03講演論文集，2003

しかしながら、ジェスチャ認識では身体形状や動作に対しアドホックにジェスチャの意味を割り当てているため、認識できる動作が直感的でなく不自然なものである。また限られたパターンしか認識できない。このため、複雑・多様な操作に対応できない。

一般的にこうした状況を解決する手段は、非特許文献２に記載のダイレクト・マニピュレーションである。ダイレクト・マニピュレーション・インタフェースは、関心のあるオブジェクトを常に表現し続ける、複雑なシンタックスのコマンドではなく、実際にオブジェクトに働きかける動作やメニューによる選択により入力する、これらの操作は速く、可逆的で、結果は直ちにオブジェクトの変化としてみることができる、ことを特徴としている。

B. Shneiderman: Direct manipulation: A step beyond programming languages. IEEE Computer, Vol.16, No.8, pp.57-69 (1983).

しかしながら、ユーザ身体の動画像からの身体動作を入力とする場合、従来の身体動作認識のみからなるインタフェースは身体動作に対する明確なフィードバックがないため、ダイレクト・マニピュレーションを実現することができない。実世界では、対象物のある身体による操作においては、操作に関わる身体の特定の部位に対する触覚応答など何らかの感覚にフィードバックが必須である。しかし、仮想の操作においては触覚にフィードバックが与えられることは望めない。

本発明の目的は、実時間の動画像から得られる身体動作を用いた、確実性が高く、直ちにフィードバックの得られるユーザインタフェースを実現することにある。

本発明の更なる目的は、手ぶらでの直感的動作を用いたユーザインタフェースを実現することにある。

本発明の更なる目的は、個々の身体動作における操作の多様性を確保することにある。

本発明の更なる目的は、身体動作による操作と多様な操作パターンを両立することで複雑な操作を確実に行うことある。

請求項１に記載の命令入力装置は、身体動作によって外部機器への制御命令を生成する命令入力装置であって、ユーザの身体動作を撮影する撮影手段と、該撮影手段で得られたユーザの身体動作映像から身体の特定の部位の位置を表す点である特徴点を抽出する特徴点抽出手段と、該特徴点を監視して該特徴点の振る舞いに応じて制御命令に変換する変換手段と、身体動作と制御命令に応じたフィードバックを生成するフィードバック生成手段と、該フィードバック生成手段によって生成されたフィードバックを出力する出力手段と、外部機器を接続するための接続手段と、を備えることにより、上記目的を達成している。

上記構成によれば、ユーザの身体の一部を用いて、撮影手段に対して行われた身体動作から、特徴点抽出手段によって操作に関わる身体の特定の部位の動作を抽出することができるとともに、フィードバック生成手段によって生成され出力手段によって出力されたフィードバックをユーザが確認しながら操作を行うことで操作性を向上させることができる。

この場合、例えば、請求項２に記載するように、前記フィードバック生成手段は、身体動作に応じて制御される画像と制御命令に応じて制御される画像とを生成する画像生成手段または身体動作に応じて制御される音声と制御命令に応じて制御される音声とを生成する音声生成手段またはその両方を備えるものであってもよい。

上記構成によれば、ユーザは視覚または聴覚またはその両方に対してフィードバックを受けながら操作を行うことができる。

さらに、例えば、請求項３に記載するように、前記画像生成手段は、前記撮影手段によって撮影されたユーザの身体動作映像から身体領域の画像を抽出する領域抽出手段によって抽出された身体領域画像を生成するものであってもよい。

上記構成によれば、身体動作映像から抽出したユーザ自身の身体または身体の一部の画像を操作に用いることで、ユーザは自身の身体で直接操作を行うかのような直感的でわかりやすい操作を行うことができる。このことは自明である。

また、例えば、請求項４に記載するように、前記画像生成手段は、特徴点または特徴点から計算される点を表す画像を生成するものであってもよい。

上記構成によれば、各身体動作における注目度の高い部分をユーザに提示することで、操作の確実性を向上させることができる。例えば、特徴点または特徴点から計算される点の存在する位置にカーソルを表示するなどである。

さらに、例えば、請求項５に記載するように、前記画像生成手段は、制御命令の内容を表す画像を生成するものであってもよい。

上記構成によれば、画像生成手段の生成する画像を現在の身体動作や制御命令に即したものに変更するなど、現在の制御状態をユーザに提示することでユーザの判断を補助し、操作を円滑に行うことができる。例えば、任意の領域を切り取る制御命令を発行する場合、はさみの画像のアイコンを表示するなどである、

また、例えば、請求項６に記載するように、前記変換手段は、前記特徴点抽出手段から得た該特徴点の振る舞いに基づいてユーザの動作と動作の行われた画像上の位置の組であるイベントを検出するイベント検出手段と、該イベント検出手段により検出されたイベントおよびその履歴に応じて制御命令を発行する制御命令発行手段とを備えるものであってもよい。

上記構成によれば、イベントの履歴に応じて意味動作を行うことにより、単純な動作の組み合わせによる複雑な身体的操作を確実に行うことができる。

さらに、例えば、請求項７に記載するように、前記制御命令発行手段は、画像で示された領域ごとに前記イベントの履歴に対応する意味動作の集合を持つものであってもよい。

上記構成によれば、画像上の各領域ごとに、同じ身体動作に異なる意味を持たせることができる。また複数の意味動作のセットを持たせることにより、制御命令の種類を容易に追加することができる。

また、例えば、請求項８に記載するように、外部機器はテレビ受像機やビデオデッキなどであって、前記変換手段は放送番組の選局やビデオデッキにおける再生などの外部機器の機能操作用の制御命令も受け付けるものであってもよい。

上記構成によれば、接続手段によって命令入力装置と接続が可能であるあらゆる外部機器において、身体動作による操作が可能となる。

以下、図面を参照しながら本発明の実施例を詳解する。

図１には、本発明の実施に供される命令入力装置の外観を示す。また図２には、本実施例においてディスプレイ１３に表示される画像の例を示す。本実施例は、家電の例としてのテレビ１４と、使用者の手１５を撮影するビデオカメラ１１(撮影手段)と、画像処理(領域抽出手段、特徴点抽出手段、画像生成手段)や身体動作の制御命令への変換(変換手段)を行うパソコン１２と、合成映像を出力する(表示手段)ディスプレイ１３と、音声を出力するスピーカー２０を必要とする。ビデオカメラ１１は、使用者の手１５の下に設置され、使用者１６の身体動作を撮影する。パソコン１２で映像から背景を除去し使用者の身体のみの映像にし、ディスプレイ１３に表示する。使用者１６はディスプレイ１３に表示された手の画像１７及び電源スイッチの画像１８及びチャンネル操作スイッチの画像１９を見ながら命令入力を行う。

図３は本実施例の命令入力装置全体のブロック図であって、２１は領域抽出部、２２は特徴点抽出部、２３はイベント検出部、２４は制御部、２５はフィードバック生成部であり、図１に対応する部分には同一符号を付けている。

同図において、領域抽出部２１は、ビデオカメラ１２から得た使用者の手を含む映像から手領域画像を出力する。この手領域画像は特徴点抽出部２２とフィードバック生成部２５に供給される。

特徴点抽出部２２は領域抽出部２１の出力画像をもとに特徴点を抽出し、特徴点の現在位置をイベント検出部２３に供給する。

イベント検出部２３は、特徴点抽出部２２の出力結果の履歴を基に特徴点の動きに対応するイベントを制御部２４に供給する。

制御部２４は、イベント検出部２３の出力の履歴を基に、対応する制御命令をテレビ１４と画像合成部２５に供給する。

フィードバック生成部２５は、制御部２４の供給する制御命令に従って生成した画像と領域抽出部２１から得た手領域画像とを合成し、ディスプレイ１３に画像を出力する。また制御命令に従って音声を生成し、スピーカー２０に音声を出力する。

この実施の形態では、手の画像１７における人差し指と親指の先端の位置と動きを身体動作とする。また、イベントとして検出される身体動作は、人差し指と親指の「つまむ」「離す」及び人差し指と親指の「移動」とする。

図４において、この命令入力装置は、テレビの電源の操作を行う。ユーザは電源スイッチの画像１８のつまみ部分をディスプレイ１３に表示された手の画像１７が見かけ上人差し指と親指でつまむように動作を行い、スイッチのＯＦＦ時は手を下方へ、スイッチのＯＮ時は手を上方へ移動させることで電源スイッチが操作される。応答の履歴依存性を状態で記録する。この状態遷移を図６に示す。

図５において、この命令入力装置は、テレビのチャンネルの操作を行う。ユーザは左右のチャンネル操作スイッチの画像１９をディスプレイ１３に表示された手の画像１７が見かけ上人差し指と親指でつまむように動作を行うことでチャンネルの操作が行われる。応答の履歴依存性を状態で記録する。この状態遷移を図７に示す

なお、以上の実施形態では、画像表示装置をディスプレイとして説明したが、かかる画像表示装置としては、表示部を備えた操作対象となる外部機器であってもよい。

本研究の実施の形態の概略構成を説明する仕様状態の概念図である。 本実施例に係る命令入力装置の画面表示例を示した図である。 本実施例に係る命令入力装置のブロック図である。 身体動作によってテレビの電源を操作する際の画面表示例を示した図である。 身体動作によってテレビのチャンネルを操作する際の画面表示例を示した図である。 電源スイッチの状態遷移図 チャンネル操作スイッチの状態遷移図

符号の説明

1 命令入力装置
11 ビデオカメラ
12 パソコン
13 ディスプレイ
14 テレビ
15 使用者の手
16 使用者
17 手の画像
18 電源スイッチの画像
19 チャンネル操作スイッチの画像
20 スピーカー
21 領域抽出部
22 特徴点抽出部
23 イベント検出部
24 制御部
25 フィードバック生成部

Claims (9)

1. 身体動作によって外部機器への制御命令を生成する命令入力装置であって、ユーザの身体動作を撮影する撮影手段と、該撮影手段で得られたユーザの身体動作映像から身体の特定の部位の位置を表す点である特徴点を有限個抽出する特徴点抽出手段と、該特徴点を監視して該特徴点の振る舞いに応じて制御命令に変換する変換手段と、身体動作と制御命令に応じたフィードバックを生成するフィードバック生成手段と、該フィードバック生成手段によって生成されたフィードバックを出力する出力手段と、外部機器を接続するための接続手段とを具備することを特徴とする命令入力装置。
2. 請求項１において、フィードバック生成手段は、身体動作に応じて制御される画像と制御命令に応じて制御される画像とを生成する画像生成手段または身体動作に応じて制御される音声と制御命令に応じて制御される音声とを生成する音声生成手段またはその両方を具備することを特徴とする命令入力装置。
3. 請求項２において、画像生成手段は、撮影手段によって撮影されたユーザの身体動作映像から身体領域の画像を抽出する領域抽出手段によって抽出された身体領域画像を生成することを特徴とする命令入力装置。
4. 請求項２において、画像生成手段は、特徴点または特徴点から計算される点を表す画像を生成することを特徴とする命令入力装置。
5. 請求項２において、画像生成手段は、制御命令の内容を表す画像を生成することを特徴とする命令入力装置。
6. 請求項１から５において、前記変換手段は、前記特徴点抽出手段から得た該特徴点の振る舞いに基づいてユーザの動作の種類と動作の行われた画像上の位置の組であるイベントとするイベント検出手段と、該イベント検出手段により検出されたイベントおよびその履歴に応じて制御命令を出す制御命令発行手段とを具備した命令入力装置。
7. 請求項６において、前記制御命令発行手段は、画像で示された領域ごとに前記イベントの履歴に対応する制御命令の集合を持つことを特徴とする命令入力装置。
8. 請求項１から７において、前記出力手段は、前記画像生成手段によって生成された画像を表示する表示手段と、前記音声生成手段によって生成された音声を出力するスピーカー手段とを具備することを特徴とする命令入力装置。
9. 請求項１から６において、外部機器はテレビ受像機やビデオデッキなどであって、前記変換手段は放送番組の選局やビデオデッキにおける再生などの外部機器の機能操作用の制御命令も受け付けることを特徴とする命令入力装置。