JP2016081286A - 端末操作支援装置および端末操作支援方法 - Google Patents

Abstract

【課題】ペンマウス等の操作用デバイスを用いることなく情報端末を操作する。【解決手段】実施形態による端末操作支援装置１０００は、操作用画像を操作者に視認可能に表示する操作用画面を有する表示装置１０と、操作者の操作部位の位置および動作に関する操作情報を取得する操作情報取得部１１００と、操作情報を操作用画面に表示するために操作情報取得部１１００が対象とする空間を基準に規定される取得座標系で表現された操作情報を操作用画面を基準に規定される視野座標系で表現された情報に変換する操作情報変換部２００とを有する。操作情報取得部１１００は、操作者の操作部位を含む領域を撮影する撮像装置２０と撮像装置が撮影した映像から操作部位の位置および動作を抽出する操作部位抽出部１１０とを有するか、または、操作部位に取り付けられた加速度センサ等を有することでもよい。【選択図】図１

Description

本発明の実施形態は、操作端末を用いた端末操作を支援する端末操作支援装置、およびこれを用いた端末操作支援方法に関する。

近年、情報端末やカメラ等のデバイスが小型化し、身に付けて用いることも容易になった。また、スマートフォンやタブレット端末の普及により、日常生活の中でも可搬型の情報端末の利用や、これを想定したサービスの提供が広まっている。産業分野でもこれらの情報端末の導入が進められており、工場やプラント等で、従来は紙に印刷して用いていた手順書や記録用紙を情報端末に置き換えることで業務の効率化を目指す動きが見られる。

産業分野で利用する場合、情報の閲覧や書き込みは、本来の作業をしながら行われる。そのため、情報端末を利用するためポケットから取り出したり、手元に引き寄せたり等の行動は、本来の作業の一時的な中断を要するため望ましくない。これを解決するために、作業者にヘッドマウントディスプレイを装着させ、情報を提示する方法がたとえば物流業界等で導入されつつある。

しかし、装着者が情報の選択や画面の更新を行うためには、端末を取り出して操作する必要がある。したがって、本来の作業への干渉防止という課題を解決するものではない。また、原子力発電プラント等の放射能汚染区域内のように情報端末に直接触れることが難しい状況では、使用することができない。

そこで、かかる事情を解決しうる技術として、ジェスチャやペン型マウスを用いて身に付けた情報端末を操作する提案がなされている。

特許文献１には、ヘッドマウントディスプレイに装着したカメラで、手や肘などの身体の部位を撮影し認識することで、予め割り付けたコマンドを実行する方法が開示されている。特許文献２および特許文献３には、ペンマウスを用いてヘッドマウントディスプレイの画面に手書き文字を入力する方法が開示されている。入力するためにタッチパネル状の記入操作検出用端末を用いる場合もある。

特許文献２で開示されているのは、手書き入力した文字の重なりや位置ズレを補正して可読なように再配置する技術である。特許文献３に開示されているのは、記入操作検出用端末の上で書き始めた位置を、ヘッドマウントディスプレイの画面左上等に調整する技術である。

特許文献４で開示されているのも、ペンマウスを用いてヘッドマウントディスプレイの画面をポインティング操作する技術である。この技術では、テーブルのような実空間に存在する任意の物体表面の所定の範囲を操作面として定義する。そして、操作面での実空間の位置を、ヘッドマウントディスプレイ画面上の座標と対応付けることでポインティング操作を行う。

特許文献５には、手の動作を頭部に装着したセンサで計測、追跡し画面の切り替え操作などに用いる技術が開示されている。手の奥行き方向の動作のみを情報として用い、距離に応じて操作コマンドを生成するものである。奥行き方向の計測位置は、センサ系のブレ動作に影響を受けにくいという利点があるが、図面の拡縮等の操作には適さない。また、Ｗｅｂブラウザのように画面上にボタンなどのアイテムがちりばめて配置されているグラフィカルユーザインターフェイス（ＧＵＩ）の操作はできない。

特許文献６には、頭部と手の相対位置情報を用いて動作を分析し、操作コマンドを決定する技術が開示されている。ジェスチャで画面操作を実行しうるものだが、動作を計測するために頭部と手の両方にセンサを取りつける必要がある。さらに手の移動に加えて指の曲げ伸ばしを計測する場合は、センサを追加する必要がある。この提案では、身体の計測したい部位の各々にセンサを取りつける必要があるため、産業用途では作業の妨げになる。

特許文献７には、実空間中の手の位置に応じてヘッドマウントディスプレイ画面上のカーソル位置を決める技術が開示されている。手に装着したマークの位置とカーソルが重なるようにカーソル位置を算出している。ヘッドマウントディスプレイの画面をあたかもタッチディスプレイであるかのように操作できるが、手を視線高さまで上げる必要がある。そのため、長時間利用する場合は、腕を上げ続けることで操作者に負担を強いることになる。

特開２０１０−２１８４０５号公報 特開２０１１−１３４０５３号公報 特開２０１１−１３４０５４号公報 特開２０１１−１８０８６７号公報 特開２０１０−１４６４８１号公報 特開２０００−３５３０４６号公報 特開２００１−３５６８７５号公報

しかしながら、特許文献１で開示されている技術は、予め画像やジェスチャのパターンと対応付けた操作を実行するものであるため、オーディオの再生や停止、曲送りなどの単純な操作しかできない。そのため、情報提示や記録等を要する現場での利用を想定した場合には対応できない。また、コマンドが増えると、それに応じて画像やジェスチャのパターンも増加するため、操作法の習得や運用に多大な労力を要する。現場利用を想定した場合、マウスやタッチディスプレイ操作のようなポインティング操作を適用することが現実的である。

しかし、特許文献２、３で開示されている技術は、操作するたびにペンマウスや記入操作用端末を取り出す必要があるため、現場作業との干渉は解決されない。その点、特許文献４で開示されている技術は、記入操作検出用端末は不要となるが、依然としてペンマウスは必要である。

特許文献６で開示されている技術は、操作用デバイスを取り出す必要は無いが、動作を計測したい部位にセンサを取りつけなければならず製造現場などでの作業の妨げとなる。一方、特許文献５、７で開示されている技術は、手に多くのセンサを取りつけることなく、頭部に装着したセンサのみで動作を計測することができる。しかし、原理上、実行できる操作コマンドの種類や使用時の姿勢に制限がかかるため自由度の高いインターフェイスとは言い難い。

本発明の実施形態は、かかる課題を解決するためになされたものであり、ペンマウス等の操作用デバイスを用いることなく操作端末を操作することを目的とする。

上述の目的を達成するため、本実施形態に係る端末操作支援装置は、操作用画像を操作者に視認可能に表示する操作用画面を有する表示装置と、前記操作者の操作部位の位置および動作に関する操作情報を取得する操作情報取得部と、前記操作情報を前記操作用画面に表示するために、前記操作情報取得部が対象とする空間を基準に規定される取得座標系で表現された前記操作情報を、前記操作用画面を基準に規定される視野座標系で表現された情報に変換する操作情報変換部と、を備えることを特徴とする。

また、本実施形態は、操作用画面に表示された操作用画像に基づいて操作者が行う端末操作を支援する端末操作支援方法において、操作情報取得部が、前記操作者の操作部位の位置および動作に関する操作情報を取得する操作情報取得ステップと、取得座標算出部が、前記操作情報を前記操作用画面に表示するために、前記操作情報取得部が前記操作情報の取得を行う対象空間を基準に規定される取得座標系で表現する取得座標算出ステップと、座標変換部が、前記取得座標系で表現された前記操作情報を、前記操作用画面を基準に規定される視野座標系で表現された情報に変換する座標変換ステップと、表示指令部が、前記変換された座標系で表現された情報に基づいて前記操作用画面に表示するための画像情報を作成し、表示装置に出力する表示指令ステップと、を有することを特徴とする。

本発明の実施形態によれば、ペンマウス等の操作用デバイスを用いることなく操作端末を操作することができる。

第１の実施形態に係る端末操作支援装置の構成を示すブロック図である。 第１の実施形態に係る操作端末の手先位置計測部の構成を示すブロック図である。 第１の実施形態に係る端末操作支援装置における座標系を説明する概念図であり、（ａ）は取得座標系、（ｂ）は視野座標系を示す。 第１の実施形態に係る操作端末の座標変換部の構成を示すブロック図である。 第１の実施形態に係る操作端末の幾何特性決定部の構成を示すブロック図である。 第１の実施形態に係る端末操作支援方法における撮影領域と画面の対応付けの校正処理を説明する概念図である。 第１の実施形態に係る操作端末の操作信号生成部の構成を示すブロック図である。 第１の実施形態に係る端末操作支援方法の全体のステップを示すフロー図である。 第１の実施形態に係る端末操作支援方法における手先軌跡計測のステップを示すフロー図である。 第１の実施形態に係る端末操作支援方法における画面上座標算出のステップを示すフロー図である。 第１の実施形態に係る端末操作支援方法におけるジェスチャ認識のステップを示すフロー図である。 第１の実施形態に係る端末操作支援方法における撮影領域と画面の対応付けの校正処理のステップを示すフロー図である。 第２の実施形態に係る端末操作支援装置の構成を示すブロック図である。 第３の実施形態に係る端末操作支援装置の構成を示すブロック図である。 第３の実施形態に係る端末操作支援装置の作用を説明する加速度センサおよび曲げセンサ装着状態を示す概念図である。 第３の実施形態に係る端末操作支援装置の作用における骨格の動きを説明する概念図である。

以下、図面を参照して、本発明の実施形態に係る端末操作支援装置および端末操作支援方法について説明する。ここで、互いに同一または類似の部分には、共通の符号を付して、重複説明は省略する。

［第１の実施形態］
図１は、第１の実施形態に係る端末操作支援装置１０００の構成を示すブロック図である。端末操作支援装置１０００は、表示装置１０、撮像装置２０および操作端末１００を有する。

操作端末１００は、手先抽出部１１０、手先位置計測部１２０、操作情報変換部２００、表示指令部１２００を有する。手先抽出部１１０および手先位置計測部１２０は、撮像装置２０とともに操作情報取得部１１００を構成する。表示指令部１２００は、操作信号生成部１３０および画面生成部１４０を有する。

表示装置１０は、操作端末１００で生成した画面を表示する。表示装置１０は、たとえばヘッドマウントディスプレイである。なお、操作者が、操作状態を含めて操作画面を視認できれば、ヘッドマウントディスプレイに限定されず、操作者の他の部位に装着するものでもよい。

撮像装置２０は、操作者の操作部位を含む領域を撮影する。以下、操作部位が手の場合を例にとって説明する。操作者の手を含む撮影領域は、操作者が操作する際に手を動かす範囲を含む立体角の領域である。撮影に用いる装置としては、カメラや赤外線距離センサ等でよい。

手先抽出部１１０は、撮影した画像から手先を判別し、手先画像を抽出する。抽出は、たとえば、色で識別し抽出する方法がある。また、赤外線距離センサの信号で識別することでもよい。

図２は、操作端末の手先位置計測部１２０の構成を示すブロック図である。手先位置計測部１２０は、抽出された手先画像から、撮影領域内での手先の位置を計測する。ここで計測される位置とは、撮影領域内で定めた基準点と手先の相対位置である。手先位置計測部１２０は、指尖端判別部１２１、指種判別部１２２、相対位置計測部１２３、時刻付与部１２４、および手先位置記憶部１２５を有する。

指尖端判別部１２１は、抽出された手先画像内の突端部分を判別する。抽出した手先画像中の先鋭度が高い部分を検出し、モデルとのマッチングによって突端部分を判別する。あるいは、指先に特徴点となるようなマーカを装着し、これを検出する方法を用いてもよい。マーカを使用している場合は、指先部分のマーカのみ他とは異なる色をつけるなどの手段で処理を簡素化することができる。マーカを用いない場合は、手先画像を二値化したのち画像をメッシュで区切り、各メッシュに含まれる手先部の割合等から尖端部を検出することができる。

指種判別部１２２は、認識した指先が、それぞれどの指かを判別する。手の骨格モデル等とのマッチングや、互いに識別可能なマーカを用いることで指の種類を判別する。

相対位置計測部１２３は、手先画像内で定めた原点に対する各指先の相対位置を計測する。原点位置には、マーカや、あるいは形状や色などの特徴点を用いるが、撮像手段から死角にならない場所である必要がある。

時刻付与部１２４は、計測した相対座標と計測時刻を関連付ける。この処理により、指先位置の時系列データを得ることができる。手先位置記憶部１２５は、ＤＲＡＭのような記憶装置であり、指先の相対座標の時系列データを一時的に記憶する。記憶する単位は、たとえば、一つの操作が完了するまでとし、その後は新たに記憶を開始することでもよい。あるいは、操作端末１００を起動してから、使用を完了するまでとしてもよい。

図１で示す操作情報変換部２００は、取得座標算出部２１０および座標変換部２２０を有する。取得座標算出部２１０は、操作情報取得部１１００が操作情報の取得を行う対象空間を基準に規定される３次元座標、すなわち取得座標系に基づいて、操作部位である手に関する情報を記述する。

図３は、座標系を説明する概念図であり、（ａ）は取得座標系、（ｂ）は視野座標系を示す。図３（ｂ）の視野座標系については後述することとし、以下、図３（ａ）の取得座標系について説明する。取得座標算出部２１０は、次のように撮影領域と画面の対応付けを行う。

撮像装置のレンズ中心部をカメラ座標系の原点Ｂとしている。また、カメラの視野の中で指先Ｆの３次元座標を計測する立体角ηでカバーされる空間領域をスライスした平面内で定義した平面を取得平面Ａとする。取得平面Ａは、取得座標系のＺ軸を法線ベクトルとする平面である。撮像装置２０の光軸は取得平面Ａの中心Ｃを通過しており、距離Ｌだけ離れているものとする。

ここで、操作者が図中で示した点Ｆ（ｘ、ｙ、ｚ）に手先を移動させた場合、取得平面Ａ上に原点から点Ｆを投影した点Ｐの座標は幾何学的な位置関係より、次の式（１）、（２）、および（３）で算出される。
Ｘ＝Ｌ・ｘ／ｚ …（１）
Ｙ＝Ｌ・ｙ／ｚ …（２）
Ｚ＝Ｌ …（３）

図４は、座標変換部２２０の構成を示すブロック図である。座標変換部２２０は、幾何特性決定部２２１、座標対応付け部２２２、および画面範囲比較部２２３を有する。

図５は、幾何特性決定部２２１の構成を示すブロック図である。座標変換部２２０の幾何特性決定部２２１は、表示装置１０（図１）と撮像装置２０（図１）の空間的位置関係や画面サイズで構成される幾何特性を記憶し、座標対応付け部２２２に出力する。幾何特性はヘッドマウントディスプレイの場合は、装着者に知覚される仮想画面の位置すなわち視認距離、あるいはサイズなどがそれにあたる。

幾何特性決定部２２１は、校正座標出力部２２１ａ、差分計測部２２１ｂ、および幾何特性更新部２２１ｃを有する。

校正座標出力部２２１ａは、表示装置１０に操作のための目印、および操作者のたとえばタッチ操作の際の指先位置を、画面上の座標すなわち視野座標系における座標として出力する。差分計測部２２１ｂは、目印の座標と計測された座標を比較し差分を算出する。幾何特性更新部２２１ｃは、算出された差分から、表示装置１０の幾何特性のズレを算出し、幾何特性決定部２２１内で保有している特性値を更新する。このようにして、撮影領域と画面の対応付けの校正処理の機能が確保される。

図６は、撮影領域と画面の対応付けの校正処理を説明する概念図である。幾何特性決定部２２１は、最初は基準点から距離Ｌだけ離れた位置に画面Ａ１が存在すると認識している。しかし、実際には、たとえばＬ+ΔＬの位置に画面Ａ２が存在している。

いま、画面Ａ２上の点Ｐ２に目印を表示する。操作者がこの目印を指示した場合、画面までの距離をΔＬだけ誤っているため、最終的に操作信号生成部１３０では、点Ｐ１の座標が算出される。点Ｐ１の座標を（Ｘ，Ｙ，Ｚ）、点Ｐ２の座標を（Ｘ´，Ｙ´，Ｚ´）とすると、次の式（４）を用いて差分δが算出される。
δ＝（（Ｘ−Ｘ´）^２＋（Ｙ−Ｙ´）^２＋（Ｚ−Ｚ´）^２）^１／２ …（４）

次に、Ｘ座標およびＹ座標をそれぞれ次の式（５）、（６）により算出する。
Ｘ＝（Ｌ＋ΔＬ）・ｘ／ｚ …（５）
Ｙ＝（Ｌ＋ΔＬ）・ｙ／ｚ …（６）

したがって、幾何特性の修正量ΔＬは、次の式（７）により算出される。
ΔＬ＝（Ｘ−Ｘ´）・ｚ／ｘ＝（Ｙ−Ｙ´）・ｚ／ｙ …（７）

図４で示す座標対応付け部２２２は、幾何特性を用いて、撮影領域内の指先の座標を表示装置１０の画面が含まれる平面上に対応付け、座標を算出する。

具体的には、次の式（８）により、取得座標系を視野座標系に変換する。ここで、取得座標系に対する視野座標系の並進方向の相対位置を（α，β，γ）、回転方向のオイラー角を（θ，φ，ω）、取得座標系における位置座標を（Ｘ，Ｙ，Ｚ）^Ｔ（Ｔは転置行列を示す）、視野座標系における位置座標を（Ｘ´，Ｙ´，Ｚ´）^Ｔとする。

図４で示す画面範囲比較部２２３は、算出された座標と表示画面領域を比較する。座標が表示画面領域から外れる場合はこれを破棄し、操作信号生成部１３０へ出力しない。

図７は、操作端末の操作信号生成部１３０の構成を示すブロック図である。操作信号生成部１３０は、手先姿勢テンプレート１３１、手先姿勢判別部１３２、手先動作テンプレート１３３、手先動作判別部１３４、および判別結果出力部１３５を有する。

手先姿勢テンプレート１３１は、ジェスチャ開始時の手先の姿勢をテンプレートとして記憶している。すなわち、撮影領域内の手先の位置座標と、手先の姿勢の典型的な対応関係を記憶している。

手先姿勢判別部１３２は、計測された指先座標や手および指の画像を、手先姿勢のテンプレートと比較して類似度を算出する。各々のテンプレートについて算出された類似度を比較し、最も類似度が高いテンプレートを選択する。選択されたテンプレートを現状の手先姿勢として認識し、判別結果出力部１３５に出力する。

手先動作テンプレート１３３は、撮影領域内での指先座標の時系列的な移動軌跡をテンプレートとして記憶する。移動軌跡は、ジェスチャと対応付けて記憶されている。ジェスチャとは、たとえば「人差し指を曲げる」「親指と人差し指でつまむ」などの動作である。

手先動作判別部１３４は、計測された手先の移動軌跡と、手先動作テンプレートを比較し、類似度を算出する。各々のテンプレートについて算出された類似度を比較し、類似度の最も高いテンプレートを選択する。選択されたテンプレートをジェスチャとして認識し、判別結果出力部１３５に出力する。

判別結果出力部１３５は、入力された手先姿勢およびジェスチャと、各々が入力されたタイミングでの手先座標、即ち画面上の座標位置に基づいて、操作端末１００の操作信号を生成し画面生成部１４０に出力する。たとえばＧＵＩであれば、画面上のあるボタンに相当する座標で、クリック操作を行えば、ボタン押し下げという操作信号を生成し出力する。しかし、シンボルが何もないエリアでクリック操作を行っても操作信号は生成されない。

図８は、端末操作支援方法の全体のステップを示すフロー図である。まず、端末操作支援装置１０００は、撮像装置２０から周期的に画像を取得してジェスチャ入力待機状態となる（ステップＳ１０）。なお、図示していないが、手先にマーカを装着する場合は、ジェスチャ入力待機状態のステップＳ１０の前に、手先にマーカを装着するステップがある。

操作情報取得部１１００の手先抽出部１１０は、色フィルタなどを用い、取得した画像中に手先やマーカが含まれているか否か、すなわち手先を撮影しているか否かを判定する（ステップＳ２０）。画像中に手先が含まれていないと判定された場合（ステップＳ２０ ＮＯ）は、その画像は破棄され、待機状態が継続される。

手先の画像が含まれていると判定された場合（ステップＳ２０ ＹＥＳ）には、手先抽出部１１０は、ジェスチャ認識処理を開始する（ステップＳ３０）。取得された画像から、手先部分を抽出する。抽出した画像が手先画像である。また、手先にマーカを装着している場合は、マーカの画像を手先画像として扱う（ステップＳ４０）。

操作情報取得部１１００の手先位置計測部１２０は、抽出した手先画像を元に、撮影領域内の基準点と手先の相対位置を計測する。取得する相対位置は、指先や関節部分、あるいは手のひらや手の甲の決められた点に対して計測する。また、ジェスチャの認識が開始された後も、撮像装置２０は、周期的な画像の取得を継続する。したがって、操作情報取得部１１００は、手先画像と相対位置を時系列的に取得する。

操作情報変換部２００の取得座標算出部２１０は、計測された相対位置の時系列的な変化を、取得座標系における手先の移動軌跡として表現する（ステップＳ５０）。次に、座標変換部２２０は、取得座標系における位置座標と、視野座標系における位置座標との対応付けを行う（ステップＳ６０）。この結果、手先の移動軌跡は、視野座標系における位置座標として表現される。

操作信号生成部１３０は、基準点に対する手先の相対位置と移動軌跡から、操作者の手先の動きが、何の操作のためのジェスチャかを判別する（ステップＳ７０）。また、実行されたジェスチャが端末の操作上有効であるか否かを判断する（ステップＳ８０）。たとえば、マウスクリックやタッチのような選択操作を行った場合、その際の画面上の座標に、選択可能なシンボルが配置されていれば有効であるが、選択可能なシンボルが配置されていない場合（ステップＳ８０ ＮＯ）は無効であり、ステップＳ２０の手先の撮影継続状態に戻る。

ジェスチャが有効であると判断された場合（ステップＳ８０ ＹＥＳ）、操作信号生成部１３０の判別結果出力部１３５が、操作端末１００の操作信号を生成する（ステップＳ９０）。生成される信号は、たとえば、「ＯＫボタン押下」「ページ送り」などを実行するための信号である。生成された操作信号は、画面生成部１４０に出力される（ステップＳ１００）。

画面生成部１４０は、操作信号生成部１３０からの操作信号に従い画面を生成する（ステップＳ１１０）。たとえば、ページ送り信号が実行された場合は現在表示中のものから一つか、あるいは指定された数だけ先に進んだページの情報が読み込まれ、それを表示する画面を生成する。このようにして生成された画面は表示装置１０に出力され、表示装置１０が表示する（ステップＳ１２０）。

次に、図８で示した全体のステップの中の、ステップＳ５０の手先軌跡計測、ステップＳ６０の画面上座標算出、およびステップＳ７０のジェスチャ認識のそれぞれのステップの詳細な手順を説明する。

図９は、ステップＳ５０の手先軌跡計測を示すフロー図である。手先位置計測部１２０の指尖端判別部１２１は、まず抽出した手先画像の中で、指先部分を検出する（ステップＳ５１）。次に、指種判別部１２２は、検出された指先部の情報を元に、手先の骨格モデルなどの３次元モデルとマッチングを行う（ステップＳ５２）。モデルとのマッチングを行ったら、指先部分に割り当てたモデルから各指を同定する（ステップＳ５３）。

次に、相対位置計測部１２３は、手先画像のある１点Ｆ（図３）を原点として定める（ステップＳ５４）。原点として、他の部分と判別できるマーカを装着する方法を用いてもよい。ただし、原点は撮像装置から死角にならないよう設定する必要がある。相対位置計測部１２３は、次に、撮影空間内の基準点Ｂ（図３）との相対位置を求める（ステップＳ５５）。

相対位置計測部１２３は、次に手先画像内で、原点と各指先の相対位置を算出する（ステップＳ５６）。この結果から、撮影領域内の基準点に対する各指先の相対位置を計測することができる。原点位置を参照点として手先画像をモデルで追跡することが比較的容易になり、さらに指先が撮像装置の死角に入った場合も相対位置を推定することが可能となる。時刻付与部１２４は、計測された手先の相対位置に、入力された時刻を付与する（ステップＳ５７）。

最後に、手先位置記憶部１２５は、時刻が付与された手先の相対位置を手先位置記憶手段に記憶する（ステップＳ５８）。この記憶手段は、ＤＲＡＭのように一時的にデータを保持することを目的としたメモリである。一定時間蓄積した手先の相対位置をジェスチャ認識に用いる。

図１０は、ステップＳ６０の画面上座標算出を示すフロー図である。画面上座標算出ステップＳ６０は、撮影領域と画面上の座標を対応付ける処理である。座標対応付け部２２２は、幾何特性決定部２２１が記憶している幾何特性を受け取り、式（１）、（２）、および（３）に代入する（ステップＳ６１）。また、手先軌跡計測のステップＳ５０で計測した手先の相対位置を式（１）、（２）、および（３）に代入する（ステップＳ６２）。以上の処理で、表示装置の画面が含まれる平面状での座標が算出される。

次に画面範囲比較部２２３は、ステップＳ６２の手先相対位置代入ステップで算出された座標と画面の範囲を比較し、算出された座標が画面の範囲内にあるか否かを判定する（ステップＳ６３）。範囲外となる場合（ステップＳ６３ ＮＯ）には、算出結果を破棄する。画面端部での操作も可能とするために、撮像手段の画角は表示装置の画面より広くする必要がある。このため、画面の外側の座標に対応する手先も検出してしまうことがあるため、以上のように破棄する処理が必要となる。座標が画面の範囲内である場合（ステップＳ６３ ＹＥＳ）には、該当する点にカーソルを表示する（ステップＳ６４）。

図１１は、ステップＳ７０のジェスチャ認識を示すフロー図である。まず、手先姿勢判別部１３２は、手先の相対位置を、手先姿勢テンプレート１３１と比較し、類似度を算出する。手先姿勢テンプレート１３１は、手先の相対位置座標の重心からのベクトルで表記されている。手先姿勢判別部１３２は、手のひら等で構成される面の法線ベクトルを用いて回転方向のズレを修正し、各ベクトルの成分を用いて内積計算を行う（ステップＳ７１）。内積が大きいほど類似度は高いということになる。したがって、内積を類似度としてよい。あるいは、基準値を設けて規格化することでもよい。

手先姿勢判別部１３２は、このように算出された類似度をしきい値と比較する（ステップＳ７２）。全てのテンプレートについて類似度がしきい値以下である場合（ステップＳ７２ ＮＯ）は、該当無しとする。しきい値を超えるものが１つないし複数存在する場合（ステップＳ７２ ＹＥＳ）は、類似度が最大のものを採用する（ステップＳ７３）。

次に、手先動作判別部１３４は、ジェスチャ実施前の手先姿勢から、実行されるジェスチャはある程度特定する（ステップＳ７４）。比較するテンプレートを予め絞ることで処理の高速化が期待できる。次に、手先動作判別部１３４は、手先の移動軌跡パターンを手先動作テンプレート１３３と比較し類似度を算出する（ステップＳ７５）。類似度をしきい値と比較し（ステップＳ７６）、全てのテンプレートについて類似度がしきい値以下である場合（ステップＳ７６ ＮＯ）は、該当無しとする。類似度がしきい値を超えるものがあれば、最大値を示すものを採用する（ステップＳ７７）。採用された手先動作テンプレートに対応するジェスチャを判別結果とする（ステップＳ７８）。

図１２は、撮影領域と画面の対応付けの校正処理のステップを示すフロー図である。また、本実施形態においては、撮影領域と画面上の座標を対応付ける際に、撮像装置２０と表示装置１０の幾何学的な位置関係を用いる。しかし、ヘッドマウントディスプレイのように、表示装置１０の位置を正確に計測することが困難な場合は、座標の対応付けができない。そこで、このような場合は特に、幾何特性を校正する手段が必要となる。

先ず、校正を開始する（ステップＳ２０１）。幾何特性決定部２２１の差分計測部２２１ｂは、校正が開始されると、何点か校正用の目印を生成し、表示装置１０に表示する（ステップＳ２０２）。操作者が表示された目印を指示することにより、操作情報取得部１１００はその目印を映像に取り込み、操作情報変換部２００の取得座標算出部２１０がその目印の座標を計測する（ステップＳ２０３）。

幾何特性決定部２２１の差分計測部２２１ｂは、目印の座標と、操作者に指示された座標を比較し、差分を計測する（ステップＳ２０４）。幾何特性更新部２２１ｃは、算出された差分をしきい値と比較する（ステップＳ２０５）。差分がしきい値を下回っている場合（ステップＳ２０５ ＮＯ）には、更新不要として処理を終了する。差分がしきい値を上回っている場合（ステップＳ２０５ ＹＥＳ）には、幾何特性更新部２２１ｃは、座標の差分から幾何特性の補正量を算出する。幾何特性更新部２２１ｃは、このように算出したΔＬを用いて幾何特性を更新する（ステップＳ２０７）。

以上のように、校正処理は、ヘッドマウントディスプレイに表示された仮想画面のように、幾何学的特性を外部から計測することが困難な場合に特に有効である。

以上に説明したように、本実施形態によれば、ペンマウス等の操作用デバイスを用いることなく操作端末を操作することができる。

［第２の実施形態］
図１３は、第２の実施形態に係る端末操作支援装置の構成を示すブロック図である。本実施形態は、第１の実施形態の変形である。本第２の実施形態においては、操作情報取得部１１０１は、手先抽出部１１０および手先位置計測部１２０に加えて、角速度センサ３０１、加速度センサ３０２、および移動補正部３０３を有する。

角速度センサ３０１および加速度センサ３０２は、それぞれ撮像装置２０に固定して装着されている。角速度センサ３０１は、撮像装置２０の回転動作を計測する。また、加速度センサ３０２は、撮像装置２０の並進移動動作を計測する。

移動補正部３０３は、角速度センサ３０１および加速度センサ３０２によってそれぞれ計測された回転、並進運動をもとに、回転角度、移動量を算出する。具体的には、回転動作の場合、手先の基準点に対する相対位置と撮像手段の回転角度から画像中で移動するピクセル数を算出する。並進についても同様に、手先の相対位置から画像中で移動するピクセル数を算出する。ここで、撮影領域の基準点と撮影手段の位置関係が普遍である必要がある。移動補正部３０３は、算出した結果にも基づいて撮影画像の見かけの移動を補正する。

以上のような本実施形態によって、撮像手段を装着した場合のように、画像の手振れ発生が想定される場合でも、手振れ等による外乱を補正してジェスチャを認識し、操作信号を生成することができる。

［第３の実施形態］
図１４は、第３の実施形態に係る端末操作支援装置の構成を示すブロック図である。本実施形態は、第１の実施形態の変形である。本第３の実施形態においては、操作情報取得部１１０２は、加速度センサ４０１、移動距離計測部４０２、曲げセンサ４０３、曲げ計測部４０４、および手先位置計測部４２０を有する。すなわち、第１の実施形態における操作情報取得部１１００の撮像装置２０および手先抽出部１１０に代えて、本第３の実施形態における操作情報取得部１１０２は、加速度センサ４０１、移動距離計測部４０２、曲げセンサ４０３、および曲げ計測部４０４を有する。

図１５は、端末操作支援装置の作用を説明する加速度センサおよび曲げセンサ装着状態を示す概念図である。加速度センサ４０１は、操作者の手首、手のひら、あるいは手の甲の何れかに装着され、操作者の手先の並進移動、すなわち実空間内の基準点に対する相対位置を計測する。移動距離計測部４０２は、計測された加速度をもとに手先の移動距離と方向を算出する。

曲げセンサ４０３は、たとえば、指の各関節に装着された各センサ、すなわちＤＩＰ関節に第１曲げセンサ４０３ａ、ＰＩＰ関節に第２曲げセンサ４０３ｂ、ＭＰ関節に第３曲げセンサ４０３ｃを有する。曲げセンサ４０３は、加速度センサ４０１を装着した手と同じ側の指に装着され、各関節部の曲げ角度を計測する。

曲げセンサ４０３は、センサの曲がり角度に応じて抵抗値が変化するセンサである。導電部に電位差を与え、出力される電圧値などをモニタリングすることで曲がり角度を計測する。曲げセンサ４０３を、指の関節部分に装着することで、指の曲がり角度を検出する。なお、図１５では、簡単のため人差し指にのみ曲げセンサ４０３を示しているが、これに限定されない。他の指、あるいは複数の指に装着してもよい。また、指の間にＵ字状に曲げセンサを取り付けることで、指の開きも検知することができる。

曲げ計測部４０４は、計測された曲げセンサ４０３の出力から、各指の曲げ角度を算出する。さらに、曲げ角度から指先の座標を算出する。その場合、例えば加速度センサ４０１のある１点を基準点としたローカル座標系の中での座標を求めてもよい。

手先位置計測部４２０は、実空間内の手の相対位置と指の曲げ角度から、指先の座標を算出する。手先位置計測部４２０は、手の骨格モデル４０５を保有している。骨格モデル４０５は、各関節および指先を参照点として、手先中の原点に対する相対位置を座標として保有している。加速度センサ４０１が計測する手先の並進移動は、原点の移動軌跡として出力される。基準点に対する各参照点の位置は、原点座標を基準に算出される。

図１６は、骨格の動きを説明する概念図である。手先の移動軌跡は、以下のように算出される。たとえば、人差し指のＰＩＰ関節に該当する参照点をＰＡ（ａ_ｘ、ａ_ｙ、ａ_ｚ）、人差し指ＤＩＰ関節に該当する参照点をＰＢ（ｂ_ｘ、ｂ_ｙ、ｂ_ｚ）とする。第２曲げセンサ４０３ｂが関節の曲がりを検出すると、手先位置計測部４２０は、参照点ＰＡ、ＰＢの座標からベクトルＡＢ（ａ_ｘ−ｂ_ｘ、ａ_ｙ−ｂ_ｙ、ａ_ｚ−ｂ_ｚ）を生成する。ここで、ＡＢベクトル成分を（ａｂ_ｘ、ａｂ_ｙ、ａｂ_ｚ）と表し、可動部ベクトルと呼ぶ。

また、可動部ベクトルと直交し、手の平が構成する平面と平行な単位直交ベクトルｎを算出する。いま、人差し指のＰＩＰ関節が角度θだけ曲げられたとする。これは、ベクトルＡＢを直交単位ベクトルの周りにθ回転させた状況である。ここで、最初のベクトルＡＢをａ１、ＰＩＰ関節が曲げられた後のベクトルＡＢをａ２とする。単位直行ベクトルｎは、ベクトルａ１およびａ２を含む平面に垂直で、ベクトルａ１からベクトルａ２への回転による右ねじの方向を有するベクトルとすることにより、一義的にベクトルｎが決定される。

手先位置計測部４２０は、回転後のベクトルの各成分（Ｘ、Ｙ、Ｚ）を、次の式（９）、（１０）、（１１）により算出する。ただし、参照点ＰＡ、ＰＢの座標は手先中の原点に対する相対位置である。
Ｘ＝｛ｎ_ｘ ^２（１−ｃｏｓθ）＋ｃｏｓθ｝ａｂ_ｘ
＋｛ｎ_ｘｎ_ｙ（１−ｃｏｓθ）−ｎ_ｚｓｉｎθ｝ａｂ_ｙ
＋｛ｎ_ｚｎ_ｘ（１−ｃｏｓθ）＋ｎ_ｙｓｉｎθ｝ａｂ_ｚ …（９）
Ｙ＝｛ｎ_ｘｎ_ｙ（１−ｃｏｓθ）＋ｎ_ｚｓｉｎθ｝ａｂ_ｘ
＋｛ｎ_ｙ ^２（１−ｃｏｓθ）＋ｃｏｓθ｝ａｂ_ｙ
＋｛ｎ_ｙｎ_ｚ（１−ｃｏｓθ）−ｎ_ｘｓｉｎθ｝ａｂ_ｚ …（１０）
Ｚ＝｛ｎ_ｚｎ_ｘ（１−ｃｏｓθ）−ｎ_ｙｓｉｎθ｝ａｂ_ｘ
＋｛ｎ_ｙｎ_ｚ（１−ｃｏｓθ）＋ｎ_ｘｓｉｎθ｝ａｂ_ｙ
＋｛ｎ_ｚ ^２（１−ｃｏｓθ）＋ｃｏｓθ｝ａｂ_ｚ …（１１）

したがって、手先位置計測部４２０は、ＰＩＰ関節が角度θだけ曲げられたと後のＤＩＰ関節の参照点の座標ＰＢ´（ｂ_ｘ´，ｂ_ｙ´，ｂ_ｃ´）を次の式（１２）によって算出する。
ｂ_ｘ´＝Ｘ＋ａ_ｘ、 ｂ_ｙ´＝Ｘ＋ａ_ｙ、 ｂ_ｚ´＝Ｘ＋ａ_ｚ …（１２）

以上のような本実施形態によって、夜間などの暗闇で使用する場合や、ミトンのように各指の動きが外観では確認できない手袋を装着して使用する場合など、外部から手先の形状を計測することが困難な状況においても適用することが可能となる。また、撮像手段を用いた画像処理的な手法に比べて、より簡単な処理で手先の相対位置を計測することができるため、端末への負荷を軽減し処理を高速化することが期待できる。

［その他の実施形態］
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。たとえば、実施形態では、手で操作する場合、すなわち操作部位が手の場合を例として示しているが、これには限定されない。たとえば他の部位として、腕の場合、足あるいは脚の場合であってもよい。また、身体全体の場合であってもよい。

また、表示装置１０は、実施形態では、操作者の身体の部位として頭部に装着する場合を示したが、身体に装着するものに限定されない。たとえば、机上等に置く場合でも本発明は適用できる。

また、各実施形態の特徴を組み合わせてもよい。さらに、これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。

これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…表示装置、２０…撮像装置、１００…操作端末、１１０…手先抽出部（操作部位抽出部）、１２０…手先位置計測部、１２１…指尖端判別部、１２２…指種判別部、１２３…相対位置計測部、１２４…時刻付与部、１２５…手先位置記憶部、１３０…操作信号生成部、１３１…手先姿勢テンプレート、１３２…手先姿勢判別部、１３３…手先動作テンプレート、１３４…手先動作判別部、１３５…判別結果出力部、１４０…画面生成部、２００…操作情報変換部、２１０…取得座標算出部、２２０…座標変換部、２２１…幾何特性決定部、２２１ａ…校正座標出力部、２２１ｂ…差分計測部、２２１ｃ…幾何特性更新部、２２２…座標対応付け部、２２３…画面範囲比較部、３０１…角速度センサ、３０２…加速度センサ、３０３…移動補正部、４０１…加速度センサ、４０２…移動距離計測部、４０３…曲げセンサ、４０３ａ…第１曲げセンサ、４０３ｂ…第２曲げセンサ、４０３ｃ…第３曲げセンサ、４０４…曲げ計測部、４０５…骨格モデル、４２０…手先位置計測部、１０００…端末操作支援装置、１１００、１１０１、１１０２…操作情報取得部、１２００…表示指令部

Claims (7)

1. 操作用画像を操作者に視認可能に表示する操作用画面を有する表示装置と、
   前記操作者の操作部位の位置および動作に関する操作情報を取得する操作情報取得部と、
   前記操作情報を前記操作用画面に表示するために、前記操作情報取得部が対象とする空間を基準に規定される取得座標系で表現された前記操作情報を、前記操作用画面を基準に規定される視野座標系で表現された情報に変換する操作情報変換部と、
   を備えることを特徴とする端末操作支援装置。
2. 前記操作情報取得部は、
   前記操作者の前記操作部位を含む領域を所定の時間間隔ごとに撮影する撮像装置と、
   前記撮像装置が撮影した映像から前記操作部位の位置および動作を抽出する操作部位抽出部と、
   を有することを特徴とする請求項１に記載の端末操作支援装置。
3. 前記操作情報取得部は、前記操作部位に取り付けられた加速度センサまたは前記操作部位の一部の関節に取り付けられた曲げセンサの少なくとも一方を有することを特徴とする請求項１または請求項２に記載の端末操作支援装置。
4. 前記操作情報変換部は、
   前記操作情報取得部で取得された前記操作情報を前記取得座標系で表現する取得座標算出部と、
   前記取得座標系と前記視野座標系との空間的位置関係に基づいて、前記操作情報を、前記視野座標系に基づく情報に変換する座標変換部と、
   前記視野座標系で表現された情報に基づいて前記操作用画面に表示するための画像情報を作成し、前記表示装置に出力する表示指令部と、
   を有することを特徴とする請求項１ないし請求項３のいずれか一項に記載の端末操作支援装置。
5. 操作用画面に表示された操作用画像に基づいて操作者が行う端末操作を支援する端末操作支援方法において、
   操作情報取得部が、前記操作者の操作部位の位置および動作に関する操作情報を取得する操作情報取得ステップと、
   取得座標算出部が、前記操作情報を前記操作用画面に表示するために、前記操作情報取得部が前記操作情報の取得を行う対象空間を基準に規定される取得座標系で表現する取得座標算出ステップと、
   座標変換部が、前記取得座標系で表現された前記操作情報を、前記操作用画面を基準に規定される視野座標系で表現された情報に変換する座標変換ステップと、
   表示指令部が、前記変換された座標系で表現された情報に基づいて前記操作用画面に表示するための画像情報を作成し、表示装置に出力する表示指令ステップと、
   を有することを特徴とする端末操作支援方法。
6. 前記操作情報取得ステップは、
   前記操作者の操作部位にマーカを付するマーカ装着ステップと、
   前記マーカを装着した操作部位を撮影するステップと、
   を有することを特徴とする請求項５に記載の端末操作支援方法。
7. 目印と前記操作用画面での表示位置との差分を計測する差分計測ステップと、
   前記差分に基づいて前記取得座標系と前記視野座標系との空間的位置関係を補正する補正ステップと、
   をさらに有することを特徴とする請求項６に記載の端末操作支援方法。

Images