JP2011039844A - 画像認識装置および操作判定方法並びにプログラム - Google Patents

Abstract

【課題】的確な操作の判定を可能にすること。
【解決手段】画像読取部３０１においてビデオカメラ２０１で撮影されたデータを読取り（Ｓ４０１）、そのデータから操作者の像を、画像抽出部３０２により抽出する（Ｓ４０２）。このような準備の結果、抽出した操作者１０２の画像に基づいて仮想操作面および操作領域を形成する（Ｓ４０３）。大人の操作者８１０については、身長（視線の位置）や腕の長さを考慮して操作領域８１１のように形成することができるし、子供の操作者８２０の場合、身長もより低くなり、腕も短くなるので、これにあわせて操作領域８２１を設定することができる。
【選択図】図８

Description

本発明は、画像認識装置および操作判定方法に関し、より詳細には、ビデオカメラ等により撮影した画像から測定対象の動作の判定を行う画像認識装置および操作判定方法に関する。

近年、コンピュータや電子機器と人間とのインタフェース、すなわちマンマシンインタフェースとして様々な機器、手法が提案されており、特にゲーム機や操作ガイド機器などではカメラで操作者全体、あるいは一部を撮影し、その画像に応じて操作者の意志を判断して動作する技術が提案されてきている。例えば、特許文献１には、ＣＣＤカメラで撮像した画像中の物体の形状、動きを認識するホストコンピュータと、ホストコンピュータによって認識した物体の形状、動きを表示するディスプレイとを備え、ＣＣＤカメラにユーザが向い、手振り等によって指示を与えると、与えた手振りがディスプレイの表示画面上に表示され、表示画面上に表示した仮想スイッチ等を手振りによって矢印カーソルのアイコンで選択でき、マウス等の入力装置を必要とせず、非常に簡便な機器の操作が可能となる技術が提案されている。

最近ではさらに、手指の動きや形状を撮像した画像から、ある種のジェスチャとして認識して、操作入力をする入力システムも提案されている。例えば、ジェスチャによる画面操作でのプレゼンテーションや、タッチパネルを必要としない非接触キオスク端末に用いることができる入力装置において、大画面に向き合った操作者は、通常画面下部の位置に設置されたカメラに向けて種々の操作を行うと、その内容が大画面に映し出される。このように撮影された画像から操作者の形状、動きを、本技術分野で知られた方法により抽出し、例えば予め定められ、データベースに格納されたパターンと比較することにより、操作者の形状、動きの意味を判定し機器の制御に用いる。

一方、操作者の画像の読み取り技術としては、図１３に示すように、三次元または立体対応のカメラで操作者を撮影し、立体画像を再現することも可能となっており、セキュリティチェックなどの用途に用いられている。立体画像を再現することにより、操作者の動きを立体的に把握することができ、例えば操作者の、特に手の動きが前後にも認識できるため、二次元画像を用いたものに比べジェスチャのバラエティが増大する。また、複数の操作者が画像として抽出されても、多人数であれば立体画像であるため前後関係がわかり、一番前の操作者の動きのみ抽出し、操作の入力に使用することもできる。

特開２００４−０７８９７７号公報

しかしながら、従来のジェスチャ操作はデファクトスタンダードといった何らかの標準的なジェスチャが確立されておらず、人差し指でのＸＹ座標のポインティング操作以外はユーザがどのような動作で何ができるのかが直感的に認識できない。「クリック」、「ダブルクリック」、「ドラッグ」等・・・、クリック操作を何秒間かのウェイト時間の間座標に固定することで指示するものはあるが、設定されたウェイト時間が長すぎる等により快適な操作を阻害することも少なくない。したがって、クリックや決定（ダブルクリック等）などの操作をわかり易く、かつ快適にする現実的な手法がないという問題がある。

また、従来のジェスチャ検出装置は、タッチパネルといった直接操作者が触れることができる入力装置とは異なり、操作者の明確な意思を汲み取りにくい。すなわち、そもそも操作者が何らかの動作を行っても、それが入力を意図したものなのか、単に癖で動いてしまったのか判定することが容易ではないという問題がある。この結果、例えば単純なジェスチャを不自然に目立つ形で行わなければ認識できず、またジェスチャについての事前の取り決めが必要だったり、複雑なジェスチャは使用できなかったりという問題がある。

本発明は、このような問題に鑑みてなされたもので、操作者に何らかの入力につながる操作をしている状態にあることを認識させた上で装置に対し動作させることにより、的確な操作の判定を可能にする画像認識装置および操作判定方法を提供することを目的とする。この結果、操作に習熟していない特殊なジェスチャを覚えることなく、身体全体あるいは一部を動作させることにより、操作者の意志を的確に示す操作として判定することが可能になる。

このような目的を達成するために、画像認識装置であって、請求項１に記載の発明は、操作者の像を読取って立体画像データを生成する三次元撮像手段と、三次元撮像手段により読取られた操作者の像に基づいて、仮想操作面を形成する操作面形成手段と、形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、三次元撮像手段で読取って、操作者の一部と仮想操作面との位置関係に基づいて動きが操作であるか否かを判定する操作判定手段と、動きが操作であると判定されると、所定の信号を出力する信号出力手段とを備えたことを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像認識装置において、操作者が所定の空間上の仮想操作面を把握するよう設けられた操作者に知覚可能な、撮像手段の撮像範囲内に予め配置された操作面形成基準をさらに備え、操作面形成手段は、三次元撮像手段により読取られた操作者の像および操作面形成基準に基づいて、仮想操作面を形成することを特徴とする。

請求項３に記載の発明は、請求項２に記載の画像認識装置において、操作面形成手段は、操作面形成基準の位置により一定の操作面を形成し、三次元撮像手段により読取られた操作者の像により形成された一定の操作面を補正して、仮想操作面を形成することを特徴とする。

請求項４に記載の発明は、請求項２または３に記載の画像認識装置において、仮想操作面は、操作面形成基準から上方に投射した面であることを特徴とする。

請求項５に記載の発明は、請求項２または３に記載の画像認識装置において、操作面形成基準の操作者側であって、操作者の移動を一定の範囲内に制限する動作制限手段をさらに備えたことを特徴とする。

請求項６に記載の発明は、請求項２ないし５のいずれかに記載の画像認識装置において、操作面形成基準は、操作者が載る床面に示されていることを特徴とする。

請求項７に記載の発明は、請求項２ないし５のいずれかに記載の画像認識装置において、操作者と三次元撮像手段との間に配置された立体物をさらに備え、操作面形成基準は、立体物の所定の外縁であることを特徴とする。

請求項８に記載の発明は、請求項２ないし７のいずれかに記載の画像認識装置において、操作面形成基準は、読取られた画像からの抽出が容易になるように三次元撮像手段に撮像される所定の面にマーカを有することを特徴とする。

請求項９に記載の発明は、請求項１に記載の画像認識装置において、操作者の移動を制限する移動制限手段をさらに備え、操作面形成手段は、移動制限手段の位置または形状および三次元撮像手段により読取られた操作者の像に基づいて、仮想操作面を形成することを特徴とする。

請求項１０に記載の発明は、請求項１ないし９のいずれかに記載の画像認識装置において、操作判定手段は、操作者の一部が仮想操作面よりも三次元撮像手段側にあるとき操作であると判定することを特徴とする。

請求項１１に記載の発明は、請求項１ないし９のいずれかに記載の画像認識装置において、操作判定手段は、操作者の一部の、仮想操作面よりも三次元撮像手段側にある部分の形状または動きによりいずれの操作が行われているかを判定することを特徴とする。

請求項１２に記載の発明は、請求項１１に記載の画像認識装置において、操作判定手段は、予め操作者の一部の形状または動きと対応付けた操作内容を格納する記憶手段を検索して、合致する形状または動きに対応する操作を、入力する操作と判定することを特徴とする。

請求項１３に記載の発明は、請求項１ないし１２のいずれかに記載の画像認識装置において、操作者と対面して配置された画像表示手段をさらに備え、操操作判定手段は、操作者が操作の判定結果を認識できるように、画像表示手段に現時点の操作判定結果を表示させることを特徴とする。

請求項１４に記載の発明は、請求項１ないし１２のいずれかに記載の画像認識装置において、操作者と対面して配置された画像表示手段をさらに備え、仮想操作階層の領域内で操作者の動きが読取られると、画像表示手段に仮想操作階層に予め割当てられた標示を表示することを特徴とする。

請求項１５に記載の発明は、請求項１ないし１２のいずれかに記載の画像認識装置において、操作面形成手段により形成される仮想操作面に対し、三次元撮像手段の反対側における操作者の一部と仮想操作面との位置関係から距離を算出して距離に応じ変化する標示を表示させて、判定しようとする操作を示す操作者が視認可能な画像表示手段を備えたことを特徴とする。

請求項１６に記載の発明は、請求項１ないし１５のいずれかに記載の画像認識装置において、仮想操作面との位置関係に基づいて定められる２つ以上の仮想操作階層のいずれかの領域内で操作者の動きが読取られると、仮想操作階層に予め割当てられた操作種別および仮想操作階層内での操作者の動きに基づいて操作の内容を決定する操作内容決定手段を備えたことを特徴とする。

請求項１７に記載の発明は、画像認識装置によって、操作者の画像を認識して操作内容を判定する操作判定方法であって、操作者の像を読取って立体画像データを生成する三次元撮像ステップと、三次元撮像手段により読取られた操作者の像に基づいて、仮想操作面を形成する操作面形成ステップと、形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、三次元撮像手段で読取って、操作者の一部と仮想操作面との位置関係に基づいて動きが操作であるか否かを判定する操作判定ステップと、動きが操作であると判定されると、所定の信号を出力する信号出力ステップとを備えたことを特徴とする。

請求項１８に記載の発明は、画像認識装置に、操作者の画像を認識して操作内容を判定する操作判定方法を実行させるプログラムであって、操作判定方法は、操作者の像を読取って立体画像データを生成する三次元撮像ステップと、三次元撮像手段により読取られた操作者の像に基づいて、仮想操作面を形成する操作面形成ステップと、形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、三次元撮像手段で読取って、操作者の一部と仮想操作面との位置関係に基づいて動きが操作であるか否かを判定する操作判定ステップと、動きが操作であると判定されると、所定の信号を出力する信号出力ステップとを備えたことを特徴とする。

本実施形態の操作入力システムの一例を示す図である。 本実施形態の操作入力システムのコンピュータとの関係を模式的に示すブロック図である。 本実施形態のコンピュータのＣＰＵ内で処理されるプログラムの機能モジュールの一例を示すブロック図である。 本実施形態の処理のフローチャートである。 本発明の一実施形態にかかる操作面形成基準により形成される仮想的な操作面の様子を示す図である。 本発明の一実施形態にかかる操作面形成基準により形成される仮想的な操作面の様子を示す図である。 従来の３Ｄカメラを用いた複数の操作者の画像取り込んだ場合の画像の一例を示す図である。 本発明の一実施形態にかかる操作入力支援の操作領域設定の一例を示す図である。 本発明の一実施形態にかかる画面またはカメラの位置による操作領域の調整の一例を示す図である。 本発明の一実施形態にかかる画面またはカメラの位置による操作領域の調整の別の例を示す図である。 本発明の一実施形態にかかる画面またはカメラの位置による操作領域の調整の別の例を示す図である。 本発明の一実施形態にかかる画面またはカメラの位置により操作領域を調整する方法を説明するための図である。 従来の３Ｄカメラを用いた操作者の画像取り込み方法を示す図である。 本発明の一実施形態のマーカに基づく仮想操作面を用いた操作入力システムの一例を示す図である。 本発明の別の一実施形態にかかる操作入力方法の具体的な操作の一例を示す図である。 本発明の一実施形態にかかる画面またはカメラの位置による操作領域の調整の一例を示す図である。 本発明の一実施形態にかかる操作入力支援の具体的な表示の一例を示す図である。 本発明の一実施形態にかかる仮想的な操作面および操作領域の様子を示す図である。 本発明の一実施形態にかかる操作者の動きと画面に表示されるアイコンとの関係を示す図である。 本発明の一実施形態にかかる操作入力画面の具体的な表示の一例を示す図である。 本発明の一実施形態にかかる操作入力画面で使用可能な種々のアイコンの例を示す図である。 本発明の一実施形態にかかる操作者の動きと画面に表示されるアイコンとの関係を示す図である。 本発明の一実施形態にかかる操作入力画面のメニューボタンの色の変化する様子を示す図である。 本発明の一実施形態にかかる操作入力画面のメニューボタンの濃淡の変化する様子を示す図である。 本実施形態により画面に表示された図形を移動させる指示を入力する一例の表示画面を示す図である。 本発明の一実施形態にかかる操作者の動きと画面に表示されるメニューとの関係を示す図である。 本発明の別の一実施形態にかかる操作者の動きと画面に表示されるメニューとの関係を示す図である。 本発明のさらに別の一実施形態にかかる操作者の動きと画面に表示されるメニューとの関係を示す図である。 本発明の一実施形態にかかる仮想操作面および操作面形成基準の様子を示す図である。 本発明の一実施形態にかかるプロジェクタによる画面またはカメラの位置による操作領域の調整の一例を示す図である。 本発明の一実施形態にかかる操作者の動きと画面に表示されるメニューとの関係を示す図である。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。
（第１実施形態）
図１は、本実施形態の操作入力システムの一例を示す図である。本実施形態のモニタ１１１は、操作者１０２の前面に配置され、操作者１０２は、モニタ１１１との間の一定の位置に仮想的な操作面があると考えて、指などの形状が操作判定の対象になることを意識して操作入力システムに対し操作を行うことができる。モニタ１１１には、本システムが目的とする様々なアプリケーション用の種々の映像が表示されるが、これに加え後述するように操作入力を支援、すなわち例えば対象となる操作者１０２の部位などを画面の隅の方に表示して、操作者１０２に、現時点で操作として判定されうる動作を認識させることができる。操作者１０２の動きはビデオカメラ２０１により撮影され、撮影された映像はコンピュータ１１０で処理され、操作者１０２の位置、身長および腕の長さなどにより、あるいは身長や肩幅等の身体寸法情報により最適な仮想操作面およびこれを含む操作領域の位置および大きさを設定し、仮想操作面からモニタ１１１側に出た部分のジェスチャがどのような操作を意味するかを判定する。すなわち、コンピュータ１１０は、ビデオカメラ２０１から得られたデータから、操作者１０２の立体画像を作成するとともに、仮想操作面の位置を算出し、さらに後述するビデオカメラ２０１やモニタ１１１の位置や配置態様により仮想操作面の位置および大きさなどを調整し、仮想操作面を基準に操作者１０２の手指などがビデオカメラ２０１側に出ているか否かを決定し、その部分を操作の対象として操作内容を判定する。

図１では、画像を取得するためにビデオカメラ２０１をモニタ１１１の上部に取りつけ撮影しているが、図８ないし１２のように必要な画像が得られればこれに限られることなく、赤外線カメラ等、本技術分野で知られたいずれの撮像手段を用いることもでき、設置場所もモニタの付近の何処を選択することもできる。ここで、本実施形態ではビデオカメラ２０１として三次元（あるいは３Ｄ）カメラを用いることにより、操作者を含め立体画像が作成できるようにする。

さらに、本実施形態のシステムには図示しないスピーカ等の音声出力装置を取り付けられており、表示内容や操作に関する情報を音声で操作者に伝えることもできる。このような機能を設けることにより、ディスプレイに操作内容を画像で表示するだけではなく、指示事項や結果について、同時に音声で流すことで仮想操作面が判るため、視覚障害のある操作者でも操作することが可能になる。

図５および６は、仮想操作面の役割を具体的に説明するための図である。本実施形態の仮想操作面７０１は、操作者１０２の身長や腕の長さ、あるいは身長や肩幅等の身体寸法情報に基づいて設定され、ユーザ１０２は、自分が自然な形で腕を伸ばしたところに操作面７０１が仮想的に存在すると捉え、種々の操作をしようとする場合は操作面７０１を基準に手６０１を前に突き出してジェスチャを示したりすることができる。また、仮想操作面を含む操作領域でのユーザが任意のポーズを取った後に、仮想操作面の前方へ押し出す（決定）動作でアクションを決定したり、操作を決定してから押し出すという判断の基準としたりすることができるため、ユーザが認知しやすく、操作性は従来のタッチパネル操作に近いものとなる。一方、操作バリエーションは、従来のタッチパネルより圧倒的に増える（両手操作や、振舞、複数指等）。

本実施形態で、図５および６に示すような仮想操作面７０１は、カメラ２０１が操作者１０２の像を捉えるとリアルタイムで形成されるようになっているが、操作者が操作を開始するまでは、操作者の立位置が一定しないため、仮想操作面が定まらず操作判定も容易ではない。そこで、本実施形態では、操作者の身体が三次元カメラの撮像範囲内で一定時間静止したタイミングで仮想操作面の設定処理を開始する。

このように本実施形態の仮想操作面の形成はリアルタイムで行うことができるが、この場合でも、何らかの方法で操作者の立位置を、そのシステムにとって最適な一定の範囲に制限することによって、操作判定をより正確にすることができる。例えば、図示しないが床面に立位置を示す足形を描いておくとか、モニタやシステムの配置により操作者に一定の制限範囲の存在を認識させたり、衝立を立てたりして一定範囲内で操作を行うようにさせることもできる。操作者が自然に認識できる仮想操作面の位置や大きさなどは、操作者とモニタとの位置関係に大きく影響され、システム全体でモニタ、カメラ、操作者の位置などは予め想定しておいた方が良いことから、このように制限することにより操作者は概ね仮想操作面が存在する位置を推測して操作を行うことができる。

また、図７に示すように、本実施形態において操作対象者が複数存在、すなわち複数の人物がカメラ２０１により読み取られる場合、そのうちから例えば最前列にいる者７１０を操作者１０２と特定して仮想操作面を形成する。もちろん、複数者のうちのいずれを操作者１０２として選択するかは、システムに応じて種々定めることができるが、最前面の優先ユーザ以外には、操作領域を提供しないことで、誤動作や誤入力を防止できる（シングル入力の場合）。

図２は、本実施形態の画像認識装置のコンピュータ１１０の構造を模式的に示すブロック図である。コンピュータ１１０には、モニタ７０１に取り付けられ、操作者１０２などを撮影するビデオカメラ２０１が接続され、撮影した画像がコンピュータ１１０に取り込まれる。撮影により得られた画像は、ＣＰＵ２１０において本実施形態の特徴である画像の抽出、位置の算出などが行われ、算出した位置に基づいて操作面からビデオカメラ側に身体の一部が出たかどうかを決定する。コンピュータ１１０は、一般にＣＰＵ２１０を備え、ＲＯＭ２１１等に記憶されたプログラムをＲＡＭ２１２上で実行して、画像認識装置から入力した画像に基づいた処理結果をモニタ１１１等に出力する。本実施形態では、モニタ１１１は、主に操作者が体験しようとする様々なアプリケーションにより提供される種々の映像を出力するものだが、後述するように操作入力の支援となるような情報も表示する。

図３は、本実施形態のコンピュータ１１０のＣＰＵ２１０内で処理されるプログラムの機能モジュールの一例を示すブロック図である。図３に示すように、本システムにおける処理は、画像読取部３０１、画像抽出部３０２、画像位置算出部３０３および操作判定部３０４により実行される。なお、本実施形態では、ビデオカメラ２０１からの画像を受取ってからデータの出力を行うまでの処理を４つのモジュールにより実行するがこれに限られることなく、その他のモジュールを用い、あるいはより少ないモジュールで処理することもできる。

（本実施形態の処理）
本実施形態では、図６に示すように、ビデオカメラ２０１で撮影された操作者１０２の像に基づいて仮想操作面を形成し、同じく撮影した操作者１０２の一部である手や指の位置を定めるとともに、仮想的な操作面７０１と操作者１０２の手指６０１との位置関係を算出する処理を行う。本実施形態では、このような処理を行う前提として、本技術分野で知られた初期設定、例えば本実施形態の画像認識装置が新たに設置された場合を想定すると、事前準備として利用するビデオカメラ２０１の利用レンズの歪み、モニタ１１１とレンズとの距離等の情報を装置に入力しておく必要がある。さらに閾値設定等を予め調整しておく。システムの初期設定が終了すると、本実施形態の処理を行うこととなるが、この処理については図４を参照して以下に説明する。

図４は、本実施形態の処理のフローチャートである。まず、画像読取部３０１においてビデオカメラ２０１で撮影されたデータを読取り（Ｓ４０１）、そのデータから操作者の像を、画像抽出部３０２により抽出する（Ｓ４０２）。

このような準備の結果、抽出した操作者１０２の画像に基づいて仮想操作面および操作領域を形成する（Ｓ４０３）。ここで、操作面の形状は図８などを参照すると床面から垂直に立てた長方形となっているが、これに限られず、操作者の操作態様に応じて様々な形状、大きさの操作面を形成することができる。

ここで、操作領域とは本実施形態の特徴である仮想操作面を含み、操作者の操作の主体となる手や指などが主に動かされる領域であり、後述する仮想操作面に至るまでの支援で説明するように、操作者の胴体から仮想操作面を越えた一定の領域が本願発明の操作認識のために用いられる。例えば、図８に示すように大人の操作者８１０については、身長（視線の位置）や腕の長さを考慮して操作領域８１１のように形成することができるし、子供の操作者８２０の場合、身長もより低くなり、腕も短くなるので、これにあわせて操作領域８２１を設定することができる。このような操作領域の中に仮想操作面を設定すれば、操作者が自然に手や指を動かすことにより、手や指の動きで操作者が意図している操作を判定することができるようになる。

より具体的には、例えば、奥行きは、操作者が前方に手を伸ばした指先まで、横幅は、操作者が真横に手を伸ばした場合の左右手首の長さまで、高さは、操作者の頭の位置から腰の位置までの範囲とすることができる。また、本実施形態のシステムの対象者を小学校低学年から成人とした場合、身長の幅はおおよそ１００ｃｍないし１９５ｃｍ程度までになり、その身長差として操作領域または仮想操作面の上下位置の補正幅は、約１００ｃｍ必要となる。

なお、仮想操作面、操作領域は、その都度実行することもできるし、一定の条件のもと実行するようにすることもでき、あるいはこれらの設定タイミングを予めあるいはその都度選択することもできる。

操作判定部３０４は、操作入力システムの形成された仮想操作面と、操作者１０２との相対関係を用い（Ｓ４０４）、操作者１０２の一部が操作面のビデオカメラ２０１から見て手前に来ると、操作が開始されたと判断し（Ｓ４０５）、各部の形状（手を開いている、あるいは指を２本立てているなど）や動きから、その形状、動きが予め想定されたいずれの操作であるかを判定する（Ｓ４０６）。ここで、どのような形状、動きがどのような操作に対応するかは、システム独自に取り決めることもできるし、本技術分野で知られたいずれかの手法を取り入れて決定することもできる。判定した結果は、そのような操作の入力があったものとしてコンピュータ１１０で実行され（Ｓ４０７）、もともと仮想操作面から手前側に手が出ていない場合、操作は行われていないと判定して終了する（Ｓ４０８）。操作内容の判定はここで説明した手法に限られることなく本実施形態で知られたいずれの方法も用いることができる。また、具体的な判定方法も省略したが、一般には予め定めたジェスチャなどの操作者の身体の形状、動きと、それが意味する操作内容とをデータベース等に格納しておいて、画像抽出後、このデータベースにアクセスして、操作内容を判定する。この際にももちろん、画像認識技術や人工知能などを本技術分野で知られた手法により利用し、判定精度を向上させることもできる。

ここで、操作者が子供の場合と大人の場合とで、仮想操作面をどの位置にどの程度の大きさで形成するかが変わることが理解されるが、さらに操作者の身長などの体形の差に加え、カメラ２０１の位置やモニタ１１１の位置や取付角度によっても、仮想操作面を調整する必要がある。通常、三次元カメラは、ＣＣＤやレンズ面に対して平行か、同心円状に対象物までの距離計測を行うことができる。モニタが操作者の目線の高さに設置され、カメラが近接した位置にあり、それぞれが床面に垂直設置の場合、操作者も立位であれば適正操作領域を生成する上で、相互の位置関係等、特に調整や補正の必要は無いと言える。しかし、天井つり下げ型モニタの場合や超大型モニタあるいはプロジェクタ等を利用する場合、カメラ設置位置やモニタおよび操作者との位置関係は、様々な状況が想定される。

一般に、操作者は操作対象画面を見ながら入力操作を行うので、常に操作者の目線と操作対象画面とを結ぶ直線に垂直に仮想操作面を配置し、それに沿った操作領域を生成しなければ、操作者のＺ方向への押し込みストロークの角度が不一致を起こし、操作者が狙ったポイントへの押し込み操作をしても、押し込みに伴い、いずれかの角度に沿って流れてしまい正常な操作ができなくなることになる。したがって、仮想操作面を形成する場合は、モニタ、カメラおよび操作者の位置、配置態様に応じて形成する角度、大きさ、あるいは場合により位置を調整する必要がある。

図９を参照すると、図８に示したように操作者８２０に合わせて操作領域８２１および仮想操作面６０１が定められるが、図９に示す例のようにカメラ２０１がモニタ１１１の上部に配置された場合、仮想操作面６０１は、操作者８２０が腕を伸ばす方向９１０に垂直でなければ操作者８２０は仮想操作面に対する良好な操作感が得られないから、カメラ２０１の視野方向に垂直な平面にはならない。

また、図１０を参照すると、モニタ１１１自体が上方に設置され、しかも角度をもって取り付けられているため、仮想操作面７０１は、操作者８２０がモニタ１１１を見上げて操作できるように、上方への傾きを持つ方向１０１０に垂直な面になる。この場合も、図９に示す例と同様にカメラ２０１の視野１０１１は視線方向１０１０と一定の角度をもって傾いているため、カメラ２０１で読取った情報を傾いた仮想操作面７０１に合わせるよう補正する必要がある。さらに、図１１を参照すると、カメラ２０１がモニタ１１１から離れ床の近くに置かれていて、操作者８２０の視線１１１０とカメラ２０１の視野とは、より大きな角度が付くため、その分の補正が必要である。

図１２は、仮想操作面７０１および操作領域８２１を定める一例を説明するための図である。本実施形態では、仮想操作面を形成するために、モニタ１１１およびカメラ２０１の位置、設置方法（どの程度の角度で設置されているかなど）、操作者８２０の立ち位置、身長などの情報を用いる。すなわち、一例としては先ず、操作者８２０のモニタ１１１に対する目の高さ（身長）、立ち位置から操作者の視線に垂直な仮想操作面７０１を算出する。次に操作者８２０の頭と胴体とを結ぶ線Ａ−Ｂと、カメラ２０１の視野の中心線１２１０の角度を測定し、仮想操作面および操作領域の傾きを補正する。腕のストロークは、操作者の像から抽出しても良いし、得られた身長の情報から、別途身長ごとの平均的な腕の長さの情報から定めてもよい。あるいは、後述する第２実施形態の操作面形成基準と同様のマーカなどを用いて、仮想操作面の位置、大きさ、角度などを設定することもできる。例えば、システムを設置する段階で、マーカの付された台やガードバーなどを最適な位置に置いてカメラで撮像し、これらの撮像されたマーカの位置により仮想操作面の設定を行い、実際に使用するときは、最初に置いた台やガードバーは取り去って、操作者の体形等により補正をかけて仮想操作面および操作領域を形成することができる。

本実施形態の仮想操作面および操作領域は、以上の通りカメラ、モニタおよび操作者の位置、配置態様などに基づいて、自然な操作とより容易な操作判定が可能なように定められ、実際の操作者の動きを検出して、いずれの操作が行われているかが判定される。ただし、ここで説明をしない具体的な処理、例えば三次元カメラの像からどのように位置や形状を特定するか、操作者の一部が仮想操作面を通ったか否かの判定処理など、本実施形態の実装に際して必要な処理は、本技術分野で知られたいずれの方法を用いても達成することができる。

（操作入力の支援）
以上説明したように、単に三次元ビデオカメラにより仮想操作面を形成するだけで、操作者は空間上にタッチパネルのような操作面を認識することができ、この操作面に対し、種々の操作を行うことにより、身体の全部または一部を用いた操作入力が可能となるが、さらに仮想的な操作面に対する操作者の映像をモニタ１１１に表示する等、操作入力を支援することにより、より容易に本実施形態のシステムを活用することができる。

図１７は、このような操作入力の支援となるガイダンスをモニタ１１１に表示している一例を示す図である。例えば、モニタ１１１の中心部に表示されている画像のどこかをポインタで指し示す場合、操作者は仮想的操作面を表示された画像と重ね合わせて、手指を突き出すことにより所望の場所を指し示すことができるが、そのように指し示す様子を図１７に示すポインタ９０１のように表示することにより、操作者は現在行われている操作を認識し確認しながら、次の操作を実行することができる。この例で言うと、たとえば、ポインタ９０１は、操作面から手指を突き出すと画面に表示され、引っ込めると消える、あるいは濃淡をつけて表示するようになっており、手の動きとモニタ１１１に表示されるポインタの様子から、操作者は自然な形で、本実施形態の入力法を実行することができるのである。同様に操作者自身の様子を図５および６に示したような形で表した操作画面９０２を、モニタ１１１の右上隅に小さく表示させて現在どのような動きをして、システムではどのような操作と判定されているかを表示することができ、また、手の動きをグラフ化した折線グラフ９０３を示して、手の前後の動きがどうなっているかを操作者自身に意識させる等により、より的確な操作が期待できる。また、図示しないが、システムで使用することができるジェスチャをガイダンスに表示して、それに倣って操作入力をするよう操作者に促すようにして支援することもできる。

（仮想操作面の手前側の操作支援）
本実施形態では、操作者が空間上に仮想的に形成された仮想操作面を基準に、そこにあたかもタッチパネルのような入力機器が存在するかのように操作することにより、その操作内容を確実に判定しようとするものであるが、操作者の一部である手または指などが仮想操作面に至るまで、つまり操作者が何らかの操作を実行しようと手または指を動かし始めてから、仮想操作面を押下するまでの間も操作支援することにより、さらに操作入力を容易に、より高精度に行うようにすることができる。

基本的には、このような操作支援の原理は仮想操作面に対する操作者の部位、例えば手あるいは指の位置の動きにあわせて、モニタ１１１上に操作者がどのような操作をしようとしているかをビジュアルに表示させることにより、操作者を誘導して的確な操作入力を可能にするというものである。

この点について、図１８および１９を参照して説明すると、本実施形態では予め操作者が一定の立ち位置で操作しうる場合は予め設定された、その立ち位置で仮想操作面への操作が適した位置に、あるいは操作者の立ち位置に合わせて適宜適当な位置に仮想操作面７０１を形成する。同様に図１８に示すように、操作者８２０の適当な操作領域８２１を設定しておく。上述のとおりモニタ１１１には現在どのような操作が行われようとしているかを様々な形態で示すことにより、操作者が自己の操作を認識できるようにする。

このような形態の１つについて図１９を参照して説明すると、操作者はシステムに対し何らかの操作を行おうとする場合、本例ではモニタ１１１に対し、腕２４０１を前後に動かすことにより、手あるいは指６０１の位置が変化するため、その様子をモニタ１１１に表示すると、突き出した指６０１が一定の位置まで来ると、そのときモニタ１１１の画面上で指示された項目が実行される等、システムとして一定の処理が行われる。図１９の例では、仮想操作面７０１に対する指６０１の位置（深さ）によってアイコンの大きさが変化するようになっており、仮想操作面に近づくほどアイコンが小さくなって操作者には自己の操作により一定の場所にフォーカスされていることが認識できるようになっている。そして、最もアイコンが小さくなった位置で、操作が確定しそれに応じた処理が実行される。

以上の操作の結果、アイコンがモニタ１１１の画面２５０１上でどのように変化するかを示したのが図２０である。図２０を参照すると、モニタ１１１の画面２５０１には例えばテレビ番組表が表示されており、ある番組に関する操作を行おうとしている。このような状態で、例えば操作者が「設定変更」のメニューボタンを選択しようとする場合、操作者は上述のようにモニタ１１１に向かって指６０１を突き出して選択しようとする。本実施形態では、指６０１が仮想操作面に対し一定の距離まで近づくと、画面２５０１にアイコン２５０３が表示される。このアイコンは指の位置がまだ遠いため図１９に示すアイコンのうち右の方にある比較的大きなものが表示される。操作者がさらに腕２４０１を伸ばすと、このアイコンは目標である選択項目「設定変更」に近づきつつ、小さくなり一定の大きさのアイコン２５０２のときに特別なアイコンとなり、指が仮想操作面を横切ると指し示す位置の項目が選択されたと判定される。

このように、図２０の例では、指６０１の位置に応じて画面２５０１に表示されるアイコンの大きさを変化させることにより、操作者は自己の動作がシステムでどのように認識されているかを把握することができ、仮想操作面の位置を直感的に認識して、メニューの選択などの操作を行うことができる。ここで、指６０１、腕２４０１を含む操作者全体及び各部位の位置や大きさは、操作者の全体像と同様三次元カメラを用いることにより抽出することができる。これにより画面内の物体は奥行きも含めて把握することができるから、これらの情報に基づき仮想操作面との距離や位置関係を算出することができる。ただし、本実施形態で使用する三次元カメラや位置の抽出、距離の算出などは本技術分野で知られたいずれの方法も用いることができるので、ここではその説明を省略する。

ここで画面に表示されるアイコンは円形で操作者の動作に合わせて大きさが変化するが、これに限られず図２１に示すように様々な形態のアイコンを用い、様々な変化をさせることができる。すなわち、図２１を参照すると、（１）は指の形態のアイコンであり、上述の図２０の例と同様に仮想操作面に近づくほどに小さくするようになっている。（２）は、円形で次第に小さくなるようになっているが、入力あるいは選択が確定すると特別な形状に変化して確定したことが示される。このアイコンや他のアイコンの場合も形状や大きさの変化に代えて、あるいは合わせてアイコンの色を変化させることもできる。例えば、青、緑、黄、赤等、寒色系から暖色系に変化させることにより、直感的に操作がフォーカスされ確定することを操作者は認識することができる。（３）は、Ｘのような形状で、遠くにある場合は大きいだけでなくぼかしが入っており、近づくにしたがって、アイコンの大きさが小さくなるとともに、ぼかしが消えシャープな形状になる。（４）はアイコン全体の大きさは変化することなく、中に描かれた図形が形状変化を起こしてフォーカスされる様子を認識するようになっている。この場合、図形の色も変化させることができる。図２１に示す（５）も、形状を変化させるものである。図２１において、指の動きに応じてアイコンの形状や色などが変化していき、仮想操作面を越えるとその瞬間に、欄２６０１に示すように種々の形状や色に変化させたり、点滅させたりして操作として判定されたことを操作者に認識させるようにすることもできる。また、図示しないがこの他のアイコンの変化としては最初透明で、指が仮想操作面に近づくほどに不透明になるような変化も効果的である。

ここで、アイコンのバリエーションのうち特に形状をあまり変化させず色や濃さを変化させる場合は、図２２に示すようにアイコンはあまり移動せず指６０１を近づけていくと、色が暖色系になったり濃くなったりして、入力を確定することができる。

また、以上の例では操作の判定状況を確認するためアイコンを表示させ、操作者の動作に応じて色や形状を変化させたが、例えば図２３や図２４に示すように元々メニューのように予め指示する位置が固定されているような場合は、わざわざアイコンを表示しなくても、指６０１が指し示す位置がメニューのどの項目ボタンに最も近いかにより決定し、指６０１の動き、特に仮想操作面からの距離に応じて指し示されている項目ボタンを塗りつぶす色または塗りつぶす濃さを変化させることにより、仮想操作面の位置を認識させ、操作入力を容易にすることができる。図２３は、指６０１が近づくにしたがって、その選択されているボタンの色を寒色系から暖色系に変化させる例を示す図である。この例の色の選択としては、例えば（２）青、（３）緑、（４）黄、（５）赤のようにすると操作者は直感的に赤になると確定されると認識することができる。同様に、図２４は、ボタンの塗りつぶしの濃さを変化させる例を示す図である。

同様なメニューの選択例としては、図２６に示すような一例もあるので説明すると、例えば図１９の指６０１が仮想操作面７０１の手前の一定の領域にはいると、画面上にメニュー４３０１が表示され、その指６０１がさらに仮想操作面７０１に近づくと、図２６に示すメニューの例えば項目４３０２上に大きなアイコン２６１０が表示される。その後、仮想操作面７０１まで指６０１が到達すると、項目４３０２の選択が確定し小さいアイコン２６１１が表示されて、このことが通知される。その後、指６０１を左右上下に動かすことで、メニューの選択項目が移動して行き所望の項目で一定時間静止すると、選択された項目に応じた処理が行われるようにすることもできる。また、選択が実行される前に指６０１が仮想操作面７０１の手前の一定の領域より後方へ動かされるとメニューを消去するようにすることもできる。図３１も、図２６と同様に指６０１が仮想操作面７０１の手前の一定の領域にはいると、メニューを表示するが、ここではビデオ映像制御の例である。この例でも図２６に示す例と同様に大きいアイコン３１１０および小さいアイコン３１１１によりメニューの操作が可能となる。

さらに、別の入力操作の例を図２５を参照して説明する。図２５は、本実施形態により画面に表示された図形を移動させる指示を入力する一例の表示画面を示す図である。指示は操作者の手または指を仮想操作面に触れて動かすことにより行う。まず、指などを画面に近づけていくと画面４２１１のアイコン４２０１から画面４２１２のアイコン４２０２へとアイコンを縮小させて仮想操作面に接近していることを示す。その後、仮想操作面に触れると画面の４２１３のアイコン４２０３のように例えば色を変化させて放置し、その状態で上に向けて指などを動かすと画面４２１４のラバーバンド４２０４などを表示させて移動方向を示すことにより、操作者が自己の操作を確認することができる。また、右方向に指を動かすと、画面４２１５のラバーバンド４２０５を表示することができる。このように、仮想操作面に指等が到達後の上下左右のドラッグ距離に応じて伸縮するラバーバンド(上図では矢印）を出現させ（アイコン４２０３の位置は仮想操作面から抜けるまで固定）、伸縮距離に応じて移動スピード、伸ばす角度に応じて３Ｄ空間内での移動する方向を変化させることができる（矢印先端が腕先や指先の動きに追随する）。

以上、図１８に示すような操作者とモニタとがほぼ同じ高さにある、すなわち仮想操作面が操作者の水平方向前面にほぼ垂直に形成される場合について、本実施形態の原理を説明してきたが、この原理はこのような操作者とモニタとの位置関係や形状には影響されることはなく、種々の配置や構成が可能である。例えば、図１０ないし１２に示すようなシステムの配置でも応用することができる。この場合、三次元カメラ２０１もモニタ１１１とともに傾いているので、基本的には上述の水平位置に配置された場合と大きな相違はないが、カメラを別な位置に設置したとしても、本技術分野で知られたいずれかの方法で位置補正などを行なうことで、操作者の部位と仮想操作面との位置関係を算出して、操作を判定することができる。

（仮想操作面の奥側の操作 − 仮想操作階層）
本実施形態では、操作者が空間上に仮想的に形成された仮想操作面を基準に、そこにあたかもタッチパネルのような入力機器が存在するかのように操作することにより、その操作内容を確実に判定しようとするものであるが、このようにして判定された操作の内容を仮想操作面から奥側方向である、操作者から離れる方向への仮想操作面と操作者の手等の身体の一部あるいは身につけた物体の位置関係で決定する。例えば、操作者から離れる方向であるｚ軸方向に２層あるいは３層に操作領域を仮想操作階層として設定し、操作者の手がどの層に入っているかにより操作の種別を決定して、その層内での手の動きにより操作内容を決定する。この際、操作者が視認している表示画面上に手の位置や操作の種別などを表示させれば、より操作者は操作の認識を容易にすることができる。なお、操作者の一部と各階層を分割する面とのｚ方向の距離は、上述した形成された仮想操作面と操作者の一部との距離を算出する手法によって取得することができる。

より具体的に説明すると、図２７に示すトリガ面７０１は、本実施形態の仮想操作面であり、上述の実施形態のいずれかを用いて指６０１がトリガ面７０１からｚ軸方向に入ると、操作が行われたと判定される。さらに、トリガ面７０１から先の操作領域を階層ＡないしＣの３階層に面４５０１および４５０２で分割し、各々異なる操作の種別を割当てる。図２７の例では、階層Ａにはオブジェクトの回転の操作を、階層Ｂには拡大縮小の操作を、階層Ｃにはオブジェクトの移動の操作をそれぞれ割当てている。各階層において指６０１を動かすことにより決められた操作が実行される。例えば、階層Ａにおいては、トリガ面７０１を指６０１が通過した際に指６０１を示すアイコン、例えば回転アイコン４５０３が示す位置を中心に指定されたオブジェクトが指６０１の動きに合わせて回転する。階層Ｂにおいては、例えばモニタ１１１に拡大縮小アイコン４５０４を表示し、指６０１をｚ方向に動かすとオブジェクトが拡大され、反対方向に動かすとオブジェクトが縮小するようにすることができる。

同様に、階層Ｃではモニタ１１１に表示された指定したオブジェクト上の指６０１の位置に移動アイコン４５０５を表示し、指６０１の動きに合わせて移動するようにすることができる。ここで、階層間を区切る面４５０１および４５０２は各階層が同じ厚さになるように配置することもでき、階層に割当てられた操作種別に応じて異なる厚さになるよう配置することもできる。例えば図２７の例では、階層Ｂには拡大縮小の操作が割当てられているが、拡大縮小を前後の動きで表現しなければならないため、階層Ａや階層Ｃと比較して通常はｚ方向の動きが大きくなることから、階層Ｂをより厚くすることによって操作を容易にすることもできる。

図２８は、本実施形態の別のアイコンの例を示す図である。図２８に示す例では、階層Ａにはモニタ１１１上での操作位置を特定する操作を、階層Ｂには特定された位置におけるオブジェクトを「掴む」操作を、階層Ｃには掴んだオブジェクトを投げるあるいは移動させる操作をそれぞれ割当てている。

以上のように、仮想操作面により操作と判定された後の操作内容の判定の際に、指や手の動きだけでなく、そのｚ方向の位置、すなわち仮想操作階層に応じて操作の種別を特定するようにすることができるため、指や手の動きのみでは様々なジェスチャーパターンを数多く準備し、かつユーザがそれらを覚える必要があるのに比較して、単純な動作のみで複雑な操作を使い分けできることとなる。

なお、上述の、特に図２７に示す例では、手や指などの一連の動きを各階層間で連続的に行える操作を配置するようになっているが、連続的に操作できないような配置の場合（図２８に示す例）は、次のような２つの点が問題となる。すなわち、（１）目的とする仮想操作階層に到達する前に他の階層を通過し、操作者が欲しない指示を与えてしまう、（２）目的の操作を終え、手を操作領域から抜く場合、他の仮想操作階層を通過し、操作者が欲しない指示を与えてしまう、という点である。上記の問題を回避するためには、例えば次の方法などが考えられる。すなわち、操作する方と反対の手を操作領域内に差し込むようなマルチセンシングの状態（例えば、右手で操作している場合、左手を操作領域内に入れた状態）を、操作なし（あるいはその逆に、操作あり）の状態と設定し、操作する方と反対の手の出し入れによって、各階層の操作を行うか否かを判断するようにする（この例では両手操作によるが、XY平面上にすり抜け用エリアを設ける等、様々な方法が考えられる）。

以上本実施形態を用いると、操作者は予めジェスチャを覚えたり、取り決めておいたりすることなく、その動きによりシステムの操作を行うことができるほか、操作者の姿勢や各部、例えば手の動きが分かるので身体全体を使用したゲームに用いて、いわゆる複合現実感（ＭＲ）を実現することもできる。

（第２実施形態）
本実施形態は、操作面形成基準を除き基本的に上述の第１実施形態のシステム構成と同様である。すなわち、本実施形態では、第１実施形態のシステムおよび処理を踏まえ、図１４に示すように操作者にも知覚可能な一定のマーカ１０１のような操作面形成基準と言う概念を導入することにより、操作者はこれを目印に仮想操作面の認識がより容易になる。すなわち、図１４等に示すマーカ１０１は、操作者１０２が仮想操作面を認識するための操作面形成基準であり、ユーザ１０２は、図１６に示すように、床面に示されたマーカ１０１の上方に操作面７０１が仮想的に存在すると捉えて種々の操作をして、マーカ１０１を基準に手６０１を前に突き出してジェスチャを示したりすることができる。マーカ１０１の横幅は操作面の幅とすることもできる。また、補助マーカ等により、マーカ１０１の前後を区別したり、補助マーカを用いて、操作領域を確定したり、３次元パース計算要素としたりすることもでき、形状や方向も自由であり、測定に適したエリアを示すようにしても良い。

このような、マーカ１０１を備えた操作入力システムでは、図１６に示すようにマーカ１０１の上部に操作面７０１が仮想的に形成され、操作者１０２は、マーカ１０１から仮想的な操作面７０１を想定して手６０１を突き出したり、モニタ１１１と連動させて画面上の一部と操作面７０１とをタッチパネルに見立ててタッチするように手６０１を動かしたりすることにより、入力操作を容易に行うことができる。また、操作領域でユーザが任意のポーズを取った後に、線分の前方へ押し出す（決定）動作でアクションを決定したり、操作を決定してから押し出すという判断の基準としたりすることができるため、ユーザが認知しやすく、操作性は従来のタッチパネル操作に近いものとなる。

本実施形態で、仮想操作面は図１６などを参照するとマーカの真上に垂直に形成されているように示されているが、図９ないし１１に示すようなシステムの配置の場合は、例えば仮想操作面の底辺のみ操作面形成基準に合わせて仮想操作面全体は傾けたり、形成される位置を身長に合わせて位置を変えたりすることができる。この場合、例えば先ずマーカ１０１により一定の操作面を算出しておいて、その後操作者の像により補正をすることによって適切な位置に仮想操作面を形成するよう調整してもよい。あるいは、計測されたマーカ１０１の位置と、予め設定されたモニタ１１１およびカメラ２０１の位置とに基づいて、操作面を算出しておき、さらに操作者の像から身長、腕の長さなどを抽出してこれらの情報を加味して仮想操作面の位置、大きさおよび角度などを補正することもできる。

また、操作面形成基準であるマーカは視認可能であり、操作者がマーカを視認してこれを基準とし、概ね仮想操作面が存在する位置を推測して操作を行う。したがって、仮想操作面はマーカの上方に形成する必要があるが、操作者から見て前後の位置関係については操作者やシステム全体の状況に応じて変化する可能性がある。一般的には、図２７に示すように、例えば床面などにマーカ４４０１を配置した場合などは操作者１０２の目の位置からするとマーカ４４０１の真上に近い位置に立つことが多いと考えられるので、マーカ４４０１の操作者１０２と反対側に少しずらした位置４４０２に仮想操作面７０１を形成した方が腕の動きに余裕ができて自然な操作が可能な場合もあると考えられる。一方、後述するような図１５に示す机の縁にマーカ１９０２を貼り付けたような場合は、マーカを貼り付けた反対側の縁により操作者は動作を制限される、すなわちこの縁より前面には体を操作面に近づけることはできないから机の幅を操作しやすいように適当に取ることができる。この場合、仮想操作面はマーカの真上に形成するほうが操作者により容易に仮想操作面を認識させることができると考えられる。第１実施形態では、操作者の腕の長さを測定してこのような前後の位置を設定しているが、操作者にも知覚可能なマーカによるとより客観的な操作面の形成が可能となる。

このように、上述の第１実施形態では仮想操作面を含む操作領域として腕のストローク等を考慮して設定しているが、マーカを様々に組み合わせることにより、より客観的に、すなわちどのような操作者があっても目で見て一定の正確さで認識できるように操作領域を確定することができる。

さらに、本実施形態のような操作面形成基準は、キャプチャした画面上で広範囲、適度かつ同時に測定マーカを分散配置することができるため、非常に信頼性の高い測定が可能となる。また、このような効果とともに、常にマーカがカメラの撮影範囲内にあることが保証されるキャリブレーションシステムと併用することができ、省スペース・多機能な装置を実現することができ、基本的に初回設置のキャリブレーション後、毎回再測定する必要がない。

マーカ１０１は、このようにビデオカメラ２０１により撮影されて操作面形成基準となり、これを容易にするため、マーカ素材は本技術分野で知られた種々のものを用いることができるが、通常は使用するカメラにより適当なものが選択される。例えば、通常カメラの場合、背景色彩から際立つような特徴あるカラーリングが必要であり、赤外線カメラを使用するときは、再帰性反射材などを使用することができる。一方、レーザ光は、黒色部分等、反射が少ないような色、素材の場合は反射光を測定しにくいので、レーザ光によりマーカや再帰性反射材などを使用することなく黒色のバーなどを使用することにより、レーザ光が照射された部分は反射されずに画面上欠損が発生するので、このようにしてもバーの位置を検出することができる。

例えば、一定のカラーリングによりマーカを付している場合、具体的には次のように処理してマーカを抽出することができる。画像読取部３０１においてビデオカメラ２０１で撮影されたデータを読取り、そのデータからマーカ１０１の、例えばカラー画像の場合、画像抽出部３０２により、予めマーカとして決めておいた色領域を抜き出してマーカ１０１の画像のみを抽出する。具体的には、本実施形態では、カラーＮＴＳＣ信号の輝度信号Ｙと色差信号Ｕ、Ｖの各々に上下の閾値を設定して全ての閾値を満たす画素を抽出するが、これに限られず本技術分野で知られたいずれの方法を用いることもできる。このようにして、マーカ１０１の位置を三次元的に把握し、仮想的な操作面がどの様なものとなるのかを算出してデータベースに記憶しておく。カラー抽出が終了すると、さらに補助マーカがある場合は補助マーカも同様の処理を行って抽出した後、画像位置算出部３０３により、抽出したマーカ部分を白黒の２値化し、ビデオカメラ２０１の撮影した画像から抽出したマーカの縦横の辺を構成するピクセル数を計算する。取得した画像の縦横の辺の長さや傾斜を、基準となる画像と比較して撮像空間の歪みやスケールを割り出す。本実施形態では、歪みやスケールを算出する場合に、この他に少なくとも４点以上の箇所にマーカを設けて基準とすることもできる。例えば、４点以上の基準点が有ればそれを結んで線分とし、キャリブレーションを行うことが可能である。

マーカはこのように適切な素材を床面に貼り付けることにより使用することができるが、これに限られることなく直接床面に塗布したり、本技術分野で知られた任意の付着方法を用いたりすることができる。また、上記の説明では、操作面形成基準としてマーカ１０１を用いることとしたが、これに限られることなく任意の部材や構造を立体測定基準として用いることができる。例えば、マーカは図１に示すような形ではなく様々な形の図形とすることができ、いくつかの点に一定の面積を有するマーカを複数設けるようにしてもよい。

また、操作面形成基準としては、立体物、例えば図１５に示す机状の立体物１９０１にマーカ１９０２、１９０３を付して操作面形成基準とすることにより仮想操作面７０１を形成し、これに対し例えば指６０１等で操作を行うことで、入力操作を可能とすることもできる。なお、図１６を参照すると仮想操作面の形状は床面から垂直に立てた長方形となっているが、これに限られず、マーカ１０１の形状や配置の仕方で様々な形状、大きさの操作面を形成することができる。例えば、図１５に示すマーカ１０１は、モニタ１１１の面に平行な一定の長さの直線であるため、仮想的な操作面は操作面７０１のようになるが、マーカを斜めに一定の角度をつけた直線とすることもでき、その場合、形状は図１５に示す操作面７０１と同じであるが、向きがモニタ１１１と一定の角度を持って斜めに置かれたものとなる。この場合も、操作者１０２は、マーカで斜めに配置された操作面が仮想的に形成されていると捉えることができるから、その操作面を意識して操作を行えばよい。また、立体的に補助マーカを配置して、床面に対しても一定の角度を持った斜面の操作面にしたり、曲面の操作面にしたりすることもできる。なお、本実施形態は、マーカなどにより形成された仮想的な操作面を基準にして処理を行うように説明するが、当業者であれば理解できるように、実際の計算処理では、操作面から操作者の位置を計算しなくてもよい。仮想的な操作面は、あくまでも操作者が意識して操作入力を行うようにするためのものだからである。

また、図１５に示すようなマーカ付置き台を使用する場合、後述する図１８に示すように、例えばマーカ１９０３を用いて操作者１０２の上半身のみを対象エリア２３０１として、仮想操作面７０１から前面に出た部分の動きのみを操作として判定することもできる。このようにすることにより、操作者が図１５に示すような置き台を体の支えにして入力操作を行う場合に下半身、特に足が仮想操作面から前に出ても、あくまで上半身の動きのみを操作として認識するようにすることができる。

操作面形成基準を用いて仮想操作面などを形成する場合、立体マーカで測定して基準面および測定エリアを設定した後に、立体マーカは取り去り、生成した基準面が判るように床にライン等のマーキングのみを事後設置することもできる。例えば、立体ガイドバー等を残せないような狭いところ等、常に立体マーカを設置するのが不向きな環境において、このような仮想操作面の形成方法が有効である。また、床平面キャリブレーションパターンの場合、３Ｄカメラの設置角度によっては、立体のそれよりも測定しにくい場合や、床面利用下における適性（耐摩耗やスリップ防止等）を備えた良い素材選定が難しい傾向があるためキャリブレーション機の無い簡易な床マーキングとして置き換える方が実施しやすい。また、上記と同様に測定後、キャリブレーション機能（マーカ）を持たない立体ガイドに置き換える。デザイン重視の場合や安価なタイプへの置き換えとして有効であり、ユーザからは変わらず視認できる。

上記のいずれもキャリブレーション後にユーザがその位置を視認でき、移動制限に繋がる別の手段（立体 or 平面）に置き換える方法となる。さらに、カメラ側のみでキャリブレーション手法に頼らず、予め使いやすい距離や位置に基準面を設定し、その後、ユーザ側が認知できるように、その面（エリア）に床ラインか立体ガイドを事後設置する。

ここで、本実施形態におけるマーカと仮想操作面との関係を図２９を参照して説明する。本実施形態では基本的に机や台などの縁にマーカを付してマーカの上方に形成された仮想操作面に対し操作者が接触したり、手を移動させたりしてシステムに入力操作であることを認識させる。この際、机や台のマーカの付されていない縁は操作者の動作を制限し、適度にかざした手が仮想操作面に自然に触れることを支援する。この概念を図３８を参照して説明すると、操作面形成手段であるマーカ４４０２の上方に仮想操作面７０１が形成されるが、一方操作者１０２は、何らかの動作制限手段４４０１により仮想操作面から一定の距離が保たれることになり、自然に前に出した手６０１により仮想操作面に対し操作を行うことができる。本実施形態では、仮想操作面７０１は、マーカ４４０２の真上に形成されているが、第１実施形態で述べたようにマーカ４４０２を基準に前後に移動させることもできる。例えば、動作制限手段４４０１は基本的に固定であるから、操作者１０２の体形によってはマーカ４４０２の真上に仮想操作面が形成されると、手前過ぎたり、奥過ぎたりして使用感が悪くなる可能性もある。この場合に、操作者ごとにマーカ４４０２から、仮想操作面が形成される位置を前後させることもできる。

以上、本実施形態では、仮想操作面を操作者に知覚可能な操作面形成基準および操作者自身を三次元カメラで撮影した像に基づいて形成することから、仮想操作面の位置が客観的に特定しやすく、操作者の身長なども加味されるので、操作者はより違和感なく自然な操作感を得ることができる。

（第３実施形態）
本実施形態は、基本的に上述の第１および第２実施形態のシステム構成と同様であるが、モニタの替わりに表示用としてプロジェクタを用いた点が異なる。すなわち、本実施形態では、第１および２実施形態とその処理は基本的に同じであるが、ＬＣＤやプラズマなどのモニタ１１１の替わりに、図３０に示すようにプロジェクタ３０１１から映像をスクリーン３０１０に投影することによって操作者に様々な情報を通知する。本実施形態のシステムでは、第１実施形態などでＬＣＤ等を配置している表示面にはスクリーンだけが配置されるので、映像を投影するプロジェクタ３０１１、カメラ２０１およびこれらを制御するコンピュータは図３０に示すように一体型にすることができる。このような一体型のシステムは通常操作者とスクリーンとの間におかれるので、例えば図に示すように進入禁止領域を認識させるためにガイドバー３０１２が置かれ、これを第２実施形態のような操作面形成基準として流用することもできる。

本実施形態は、第１実施形態と表示の方法が異なるだけで、表示面自体は大きく異なることはないから、仮想操作面および操作領域の設定並びに操作の判定処理などは基本的に第１または２実施形態と同様である。ただし、上述のようにプロジェクタ、カメラおよびコンピュータが一体型となって、操作者と表示面（スクリーン３０１０）との間に配置されるのでカメラ２０１の位置が若干異なり、カメラが表示面の下部などに設置される第１実施形態などの場合と比較すると、操作領域などの角度の調整幅が大きくなる。また、ガイドバー３０１２と仮想操作面７０１との位置関係は、第２実施形態で説明した場合とは異なり、ガイドバー３０１２の真上に仮想操作面７０１が形成されるとは限らない。これは、例えば図１４に示すような操作者にも知覚可能な一定のマーカ１０１のように床に意識的に描かれている場合と、侵入防止用を兼ねる本実施形態のガイドバー３０１２とは操作面形成基準としての役割は同一であるものの、仮想操作面を形成する位置は操作者との位置関係、操作者との関係により異なってくるからである。本技術分野で知られたいずれかの知識を用いて、システムに応じてガイドバー３０１２を基準に奥側あるいは手前側に仮想操作面を形成することができる。

以上、本実施形態では表示用にプロジェクタを用いることにより、プロジェクタ、カメラおよびコンピュータが一体型とすることができるため、設置や取扱が容易となり、また画面が大型する場合、大型ＬＣＤを使用するのに比べ、設置容易性や費用の点で有利となる。

このような目的を達成するために、請求項１に記載の発明は、操作者の像を読取って立体画像データを生成する三次元撮像手段と、三次元撮像手段により読取られた操作者の像に基づいて、操作者にとって操作しやすいように、三次元撮像手段と操作者との間に仮想操作面を形成する操作面形成手段と、形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、三次元撮像手段で読取って、操作者の一部と仮想操作面との位置関係に基づいて該動きが操作であるか否かを判定する操作判定手段と、操作面形成手段により形成される仮想操作面に対し、三次元撮像手段の反対側における操作者の一部と仮想操作面との位置関係から距離を算出して距離に応じ変化する標示を表示させて、判定しようとする操作を示す操作者が視認可能な画像表示手段と、動きが操作であると判定されると、所定の信号を出力する信号出力手段とを備えたことを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像認識装置において、仮想操作面との位置関係に基づいて定められる２つ以上の仮想操作階層のいずれかの領域内で操作者の動きが読取られると、仮想操作階層に予め割当てられた操作種別および仮想操作階層内での操作者の動きに基づいて操作の内容を決定する操作内容決定手段を備えたことを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の画像認識装置において、画像表示手段は、操作者の一部が仮想操作面に対し三次元撮像手段側にあるときは標示の変化を停止させて判定される操作を示すことを特徴とする。

請求項４に記載の発明は、請求項１ないし３のいずれかに記載の画像認識装置において、操作判定手段は、操作者の一部が仮想操作面よりも三次元撮像手段側にあるとき操作であると判定することを特徴とする。

請求項５に記載の発明は、請求項１ないし４のいずれかに記載の画像認識装置において、操作判定手段は、操作者の一部の、仮想操作面よりも三次元撮像手段側にある部分の形状または動きによりいずれの操作が行われているかを判定することを特徴とする。

請求項６に記載の発明は、請求項５に記載の画像認識装置において、操作判定手段は、予め操作者の一部の形状または動きと対応付けた操作内容を格納する記憶手段を検索して、合致する形状または動きに対応する操作を、入力する操作と判定することを特徴とする。

請求項７に記載の発明は、において、請求項１ないし６のいずれかに記載の画像認識装置操作面形成手段は、操作者の上半身の位置情報に応じた位置に仮想操作面を形成することを特徴とする。

請求項８に記載の発明は、請求項１ないし７のいずれかに記載の画像認識装置において、操作面形成手段は、画像表示手段の位置に基づいて仮想操作面の位置および角度を調整することを特徴とする。

請求項９に記載の発明は、画像認識装置によって、操作者の画像を認識して操作内容を判定する操作判定方法であって、三次元撮像手段によって、操作者の像を読取って立体画像データを生成する三次元撮像ステップと、三次元撮像手段により読取られた操作者の像に基づいて、操作者にとって操作しやすいように、三次元撮像と操作者との間に仮想操作面を形成する操作面形成ステップと、形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、三次元撮像手段で読取って、操作者の一部と仮想操作面との位置関係に基づいて動きが操作であるか否かを判定する操作判定ステップと、操作面形成ステップにおいて形成される仮想操作面に対し、三次元撮像手段の反対側における操作者の一部と仮想操作面との位置関係から距離を算出して距離に応じ変化する標示を表示させて、判定しようとする操作を示す操作者が視認可能な画像表示ステップと、動きが操作であると判定されると、所定の信号を出力する信号出力ステップとを備えたことを特徴とする。

請求項１６に記載の発明は、画像認識装置に、操作者の画像を認識して操作内容を判定する操作判定方法を実行させるプログラムであって、操作判定方法は、三次元撮像手段によって、操作者の像を読取って立体画像データを生成する三次元撮像ステップと、三次元撮像手段により読取られた操作者の像に基づいて、操作者にとって操作しやすいように、三次元撮像と操作者との間に仮想操作面を形成する操作面形成ステップと、形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、三次元撮像手段で読取って、操作者の一部と仮想操作面との位置関係に基づいて動きが操作であるか否かを判定する操作判定ステップと、操作面形成ステップにおいて形成される仮想操作面に対し、三次元撮像手段の反対側における操作者の一部と仮想操作面との位置関係から距離を算出して距離に応じ変化する標示を表示させて、判定しようとする操作を示す操作者が視認可能な画像表示ステップと、動きが操作であると判定されると、所定の信号を出力する信号出力ステップとを備えたことを特徴とする。

このような目的を達成するために、請求項１に記載の発明は、操作者の像を読取って立体画像データを生成する三次元撮像手段と、三次元撮像手段により読取られた操作者の像に基づいて、操作者にとって操作しやすいように、三次元撮像手段と操作者との間の、操作者の頭部と胴体部とで形成される平面から、操作者の腕の長さに基づく距離の位置に仮想操作面を形成する操作面形成手段と、形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、三次元撮像手段で読取って、操作者の一部が仮想操作面を横切ると、動きが、横切った位置に基づく操作であるか否かを判定する操作判定手段と、操作面形成手段により形成される仮想操作面に対し、三次元撮像手段の反対側における操作者の一部と仮想操作面との位置関係から距離を算出して、距離に応じ変化させ、操作者の一部が仮想操作面に近づいていることを示す標示を表示させて、判定しようとする操作を示す操作者が視認可能な画像表示手段と、動きが操作であると判定されると、所定の信号を出力する信号出力手段とを備えたことを特徴とする。

請求項７に記載の発明は、請求項１ないし６のいずれかに記載の画像認識装置において、操作面形成手段は、画像表示手段の位置に基づいて仮想操作面の位置および角度を調整することを特徴とする。

請求項８に記載の発明は、画像認識装置によって、操作者の画像を認識して操作内容を判定する操作判定方法であって、三次元撮像手段によって、操作者の像を読取って立体画像データを生成する三次元撮像ステップと、三次元撮像手段により読取られた操作者の像に基づいて、操作者にとって操作しやすいように、三次元撮像手段と操作者との間の、操作者の頭部と胴体部とで形成される平面から、操作者の腕の長さに基づく距離の位置に仮想操作面を形成する操作面形成ステップと、形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、三次元撮像手段で読取って、操作者の一部が仮想操作面を横切ると、動きが、横切った位置に基づく操作であるか否かを判定する操作判定ステップと、操作面形成ステップにおいて形成される仮想操作面に対し、三次元撮像手段の反対側における操作者の一部と仮想操作面との位置関係から距離を算出して、距離に応じ変化させ、操作者の一部が仮想操作面に近づいていることを示す標示を表示させて、判定しようとする操作を示す操作者が視認可能な画像表示ステップと、動きが操作であると判定されると、所定の信号を出力する信号出力ステップとを備えたことを特徴とする。

請求項９に記載の発明は、画像認識装置に、操作者の画像を認識して操作内容を判定する操作判定方法を実行させるプログラムであって、操作判定方法は、三次元撮像手段によって、操作者の像を読取って立体画像データを生成する三次元撮像ステップと、三次元撮像手段により読取られた操作者の像に基づいて、操作者にとって操作しやすいように、三次元撮像手段と操作者との間の、操作者の頭部と胴体部とで形成される平面から、操作者の腕の長さに基づく距離の位置に仮想操作面を形成する操作面形成ステップと、形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、三次元撮像手段で読取って、操作者の一部が仮想操作面を横切ると、動きが、横切った位置に基づく操作であるか否かを判定する操作判定ステップと、操作面形成ステップにおいて形成される仮想操作面に対し、三次元撮像手段の反対側における操作者の一部と仮想操作面との位置関係から距離を算出して、距離に応じ変化させ、操作者の一部が仮想操作面に近づいていることを示す標示を表示させて、判定しようとする操作を示す操作者が視認可能な画像表示ステップと、動きが操作であると判定されると、所定の信号を出力する信号出力ステップとを備えたことを特徴とする。

Claims (18)

1. 操作者の像を読取って立体画像データを生成する三次元撮像手段と、
   前記三次元撮像手段により読取られた操作者の像に基づいて、仮想操作面を形成する操作面形成手段と、
   当該形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、前記三次元撮像手段で読取って、前記操作者の一部と前記仮想操作面との位置関係に基づいて該動きが操作であるか否かを判定する操作判定手段と、
   前記動きが操作であると判定されると、所定の信号を出力する信号出力手段と
   を備えたことを特徴とする画像認識装置。
2. 前記操作者が所定の空間上の仮想操作面を把握するよう設けられた該操作者に知覚可能な、前記撮像手段の撮像範囲内に予め配置された操作面形成基準
   をさらに備え、前記操作面形成手段は、前記三次元撮像手段により読取られた前記操作者の像および前記操作面形成基準に基づいて、前記仮想操作面を形成することを特徴とする請求項１に記載の画像認識装置。
3. 前記操作面形成手段は、前記操作面形成基準の位置により一定の操作面を形成し、前記三次元撮像手段により読取られた前記操作者の像により当該形成された一定の操作面を補正して、前記仮想操作面を形成することを特徴とする請求項２に記載の画像認識装置。
4. 前記仮想操作面は、前記操作面形成基準から上方に投射した面であることを特徴とする請求項２または３に記載の画像認識装置。
5. 前記操作面形成基準の操作者側であって、操作者の移動を一定の範囲内に制限する動作制限手段をさらに備えたことを特徴とする請求項２または３に記載の画像認識装置。
6. 前記操作面形成基準は、操作者が載る床面に示されていることを特徴とする請求項２ないし５のいずれかに記載の画像認識装置。
7. 操作者と前記三次元撮像手段との間に配置された立体物をさらに備え、
   前記操作面形成基準は、前記立体物の所定の外縁であることを特徴とする請求項２ないし５のいずれかに記載の画像認識装置。
8. 前記操作面形成基準は、読取られた画像からの抽出が容易になるように前記三次元撮像手段に撮像される所定の面にマーカを有することを特徴とする請求項２ないし７のいずれかに記載の画像認識装置。
9. 前記操作者の移動を制限する移動制限手段
   をさらに備え、前記操作面形成手段は、前記移動制限手段の位置または形状および前記三次元撮像手段により読取られた前記操作者の像に基づいて、前記仮想操作面を形成することを特徴とする請求項１に記載の画像認識装置。
10. 前記操作判定手段は、前記操作者の一部が前記仮想操作面よりも前記三次元撮像手段側にあるとき操作であると判定することを特徴とする請求項１ないし９のいずれかに記載の画像認識装置。
11. 前記操作判定手段は、前記操作者の一部の、前記仮想操作面よりも前記三次元撮像手段側にある部分の形状または動きによりいずれの操作が行われているかを判定することを特徴とする請求項１ないし９のいずれかに記載の画像認識装置。
12. 前記操作判定手段は、予め操作者の一部の形状または動きと対応付けた操作内容を格納する記憶手段を検索して、合致する形状または動きに対応する操作を、入力する操作と判定することを特徴とする請求項１１に記載の画像認識装置。
13. 操作者と対面して配置された画像表示手段をさらに備え、
    前記操操作判定手段は、操作者が操作の判定結果を認識できるように、前記画像表示手段に現時点の操作判定結果を表示させることを特徴とする請求項１ないし１２のいずれかに記載の画像認識装置。
14. 操作者と対面して配置された画像表示手段をさらに備え、
    前記仮想操作階層の領域内で前記操作者の動きが読取られると、前記画像表示手段に該仮想操作階層に予め割当てられた標示を表示することを特徴とする請求項１ないし１２のいずれかに記載の画像認識装置。
15. 前記操作面形成手段により形成される仮想操作面に対し、前記三次元撮像手段の反対側における前記操作者の一部と前記仮想操作面との位置関係から当該距離を算出して該距離に応じ変化する標示を表示させて、判定しようとする操作を示す前記操作者が視認可能な画像表示手段
    を備えたことを特徴とする請求項１ないし１２のいずれかに記載の画像認識装置。
16. 前記仮想操作面との位置関係に基づいて定められる２つ以上の仮想操作階層のいずれかの領域内で前記操作者の動きが読取られると、該仮想操作階層に予め割当てられた操作種別および前記仮想操作階層内での操作者の動きに基づいて前記操作の内容を決定する操作内容決定手段
    を備えたことを特徴とする請求項１ないし１５のいずれかに記載の画像認識装置。
17. 画像認識装置によって、操作者の画像を認識して操作内容を判定する操作判定方法であって、
    操作者の像を読取って立体画像データを生成する三次元撮像ステップと、
    前記三次元撮像手段により読取られた操作者の像に基づいて、仮想操作面を形成する操作面形成ステップと、
    当該形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、前記三次元撮像手段で読取って、前記操作者の一部と前記仮想操作面との位置関係に基づいて該動きが操作であるか否かを判定する操作判定ステップと、
    前記動きが操作であると判定されると、所定の信号を出力する信号出力ステップと
    を備えたことを特徴とする操作判定方法。
18. 画像認識装置に、操作者の画像を認識して操作内容を判定する操作判定方法を実行させるプログラムであって、該操作判定方法は、
    操作者の像を読取って立体画像データを生成する三次元撮像ステップと、
    前記三次元撮像手段により読取られた操作者の像に基づいて、仮想操作面を形成する操作面形成ステップと、
    当該形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、前記三次元撮像手段で読取って、前記操作者の一部と前記仮想操作面との位置関係に基づいて該動きが操作であるか否かを判定する操作判定ステップと、
    前記動きが操作であると判定されると、所定の信号を出力する信号出力ステップと
    を備えたことを特徴とするプログラム。

Images