JP2017027098A - 操作認識装置、操作認識方法及びプログラム - Google Patents

Abstract

【課題】ユーザが操作を行う前に、ユーザの操作誤りを検出し、操作の誤りを事前に防ぐ。【解決手段】本発明の一態様としての操作認識装置は、ユーザの動きに関する動き情報と、前記ユーザによる操作対象である第１操作箇所の領域情報とを取得する取得部と、前記動き情報に基づき、前記ユーザが着目している位置を推定し、推定した位置と、前記第１操作箇所の領域との位置関係に基づき、前記ユーザが前記第１操作箇所を操作する尤度を算出する算出部と、前記尤度が予め定められた閾値以上の場合に前記動き情報を前記第１操作箇所に対する前記ユーザの操作とする決定部と、を備える。【選択図】図１

Description

本発明の実施形態は、操作認識装置、操作認識方法及びプログラムに関する。

電力制御盤などの保守点検操作において、点検操作員は、事前に定められた点検項目に従い、各地に設置された点検対象機器を操作する。点検操作員は、各点検対象機器の各点検項目に対応する点検操作内容が記載された手順書に従うことで、正しい操作を行うことができる。

しかし、点検対象機器にはボタンやスイッチが複数配置されていることもあり、点検作業に不慣れな点検操作員は、手順書を読み間違え、操作箇所または操作内容を間違える可能性がある。このような点検操作の誤りを放置しないよう、カメラなどにより撮影された点検操作の様子を、管理者が監視室から監視するシステムや、操作前と操作後の機器状態を比較し、正しい操作が行われたかを自動的に判定する手法などが知られている。しかし、これらの手法でも、操作された後でなければ、操作の誤りを認識することができない。

特開平８−３２８６４５号公報

Sebastian O.H. Madgwick, Andrew J.L. Harrison, Ravi Vaidyanathan:"Estimation of IMU and MARG orientation using a gradient descent algorithm", 2011 IEEE International Conference on Rehabilitation Robotics, 2011.June

本発明の実施形態は、ユーザが操作を行う前に、ユーザの操作誤りを検出することで、操作の誤りを事前に防ぐ。

本発明の一態様としての操作認識装置は、ユーザの動きに関する動き情報と、前記ユーザによる操作対象である第１操作箇所の領域情報とを取得する取得部と、前記動き情報に基づき、前記ユーザが着目している位置を推定し、推定した位置と、前記第１操作箇所の領域との位置関係に基づき、前記ユーザが前記第１操作箇所を操作する尤度を算出する算出部と、前記尤度が予め定められた閾値以上の場合に前記動き情報を前記第１操作箇所に対する前記ユーザの操作とする決定部と、を備える。

第１の実施形態における操作認識装置の概略構成の一例を示すブロック図。 操作対象の一例を示す図。 動き情報の計測方法の一例を示す図。 ピッチを説明する図。 ヨーを説明する図。 ロールを説明する図。 操作位置推定の一例を示す図。 確率密度分布の一例を示す図。 接触尤度の算出の一例を示す図。 第１の実施形態における操作認識装置の全体処理の概略フローチャート。 加速度センサが計測したセンサデータの一例を示す図。 第２の実施形態における操作認識装置の全体処理の概略フローチャート。 第３の実施形態における操作認識装置の全体処理の概略フローチャート。 第４の実施形態における操作認識装置の概略構成の一例を示すブロック図。 代表的な基本操作における動作パターンの一例を示す図。 第４の実施形態における操作認識装置の全体処理の概略フローチャート。 第５の実施形態における操作認識装置の全体処理の概略フローチャート。 トリガ検出部１０５をさらに備えた操作認識装置１００の概略構成の一例を示すブロック図。 モード切替ジェスチャの一例を示す図。 第６の実施形態における操作認識装置の概略構成の一例を示すブロック図。 第７の実施形態における操作位置推定方法について説明する図。 本発明の一実施形態におけるハードウェア構成の一例を示すブロック図。 本発明の一実施形態におけるハードウェアをウェアラブル端末に含めた場合のシステム構成の一例を示す図。 本発明の一実施形態におけるハードウェアを、ウェアラブル端末の外部の機器により実現した場合のシステム構成の一例を示す図。 カメラを備えたシステム構成の一例を示す図。 本発明の一実施形態におけるハードウェアの外部の機器が警告を出力する場合のシステム構成の一例を示す図。 カメラを備え、本発明の一実施形態におけるハードウェアの外部の機器が警告を出力する場合のシステム構成の一例を示す図。

以下、図面を参照しながら、本発明の実施形態について説明する。

（第１の実施形態）
図１は、第１の実施形態における操作認識装置１００の概略構成の一例を示すブロック図である。第１の実施形態における操作認識装置１００は、取得部１０１と、操作認識部１０２と、出力制御部１０３と、を備える。

第１の実施形態における操作認識装置１００は、操作対象に対し操作を行うユーザの動きを取得し、ユーザが行おうとする操作の位置を推定し、推定した位置が正しい操作箇所であるかを判定し、ユーザの操作の正誤を判断する。ユーザが操作を誤ると判断した場合は、ユーザが操作を行う前に、警告等を行うことにより、操作の誤りを防ぐことができる。ここで、ユーザの動きとは、操作対象に対し操作を行う動作、である。例えば加速度センサを使う場合、ユーザの操作に伴って加速度が変化するので、加速度を用いてユーザの動作を検出することができる。また、カメラ等でユーザの手や指等の位置を検出してもよい。

以下、各部について説明する。

取得部は、操作対象に関する領域情報（以下、領域情報と呼ぶ）と、ユーザの動き情報（以下、動き情報と呼ぶ）を取得する。領域情報と動き情報は、操作認識部１０２の処理に用いられる。取得部が取得する情報は、上記に限られるわけではなく、これら以外の情報、例えば、管理者からの指示、画像情報などを取得してもよい。

領域情報は、ユーザが操作を行う対象において、操作が行われる領域である操作領域に関する情報を含む。図２は、操作対象の一例を示す図である。この操作対象とされる操作対象機器２０１には、機器を識別するＩＤ、制御用のボタン、スイッチ、メーターなどの操作される部品（操作箇所）が配置されている。ユーザは、手順書などに記載された識別ＩＤ２０２の操作対象機器に対し、操作項目に従い、操作を行う。操作内容としては、図２の例のように、１番目の操作として、ボタン２０３を押し、２番目の操作として、左の制御スイッチ２０４を上げるといったものがある。なお、ここでは、複数の操作をまとめて１つの作業と称する。

操作領域は、操作対象の一部分としてもよいし、操作される各部品の領域としてもよいし、１つの作業に含まれる各操作で操作される各部品の領域全てとしてもよい。例えば、図２の例のように、１つの作業において、ボタンとスイッチを操作するのであれば、そのボタンとスイッチの領域を合わせた領域としてもよい。操作領域および各部品の領域は、例えば、操作対象機器の左端を原点として、右に８０ｃｍ、下に１ｍ離れた位置を中心とした１辺５ｃｍの正方形の領域などとすることが考えられる。

なお、以降の説明では、特に断りがなければ、操作される各部品の領域を操作領域とし、１つの作業に含まれる各操作で操作される各部品の領域全てを作業領域として説明する。

なお、操作対象は、図２のような機器に限られず、ユーザの操作に関連するものであればよい。ボタンなどが配置された分電盤のような機器以外にも、例えば、ボタンなどがないタッチパネルの表示機を備える機器でもよい。また、タッチパネルを用いないデジタルサイネージ（電子看板）、プロジェクタなどにより壁などの対象物に投影されたボタン等が配置された画面でもよい。

領域情報は、操作認識装置１００の外部のデータベースなどに予め登録されているものとする。但し、当該データベースを操作認識装置１００に含めてもよい。また、データベースに限らず、管理者の入力、ウェアラブル端末または他のシステムからの送信などにより、領域情報を取得してもよい。

領域情報には、操作領域以外の情報を含めてよい。例えば、操作対象機器のＩＤ、操作対象機器の寸法、操作対象機器が有するボタンなどの各部品、１つの作業に含まれる各操作が行われる箇所、操作の順番および内容などがある。操作内容としては、押下、上げる、下げる、ひねるなどがある。操作内容は、文章でデータベースに登録されていてもよいし、当該操作時における動き速度情報、あるいは指の傾き変化などのデータとして登録されていてもよい。

また、例えば、ユーザは１番目にボタンを押し、２番目にスイッチを上げて、３番目にダイヤルを回すなど、複数の操作を順番に行う必要がある場合がある。このような場合、次にユーザが行う操作に対応する操作領域を、正解領域と称することとする。なお、操作が１つしかない場合も、正解領域と称することとする。正解領域は、ユーザが行った操作に従い、切り替わる。先ほどの例で言えば、ユーザがボタンを押した後では、正解領域はスイッチを上げる操作にかかる操作領域であり、ユーザがスイッチを上げた後では、正解領域はダイヤルを回す操作にかかる操作領域となる。

取得部１０１は、領域情報を受動的に取得してもよいし、能動的に取得してもよい。能動的に取得する場合は、ユーザから操作対象の機器ＩＤなどを取得し、当該機器ＩＤなどから領域情報を特定すればよい。操作対象は、機器ＩＤに限らず、ユーザのＩＤ、動き情報を取得する装置のＩＤなどから、過去の操作履歴を参照し、特定してもよい。また、ユーザからではなく、他のシステムから取得してもよい。例えば、ユーザの立ち位置を操作対象の近傍に設置されたカメラやＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ）などから判定するシステムなどが考えられる。

動き情報は、ユーザが操作対象に対し操作を行う動作を表す情報であり、一例として、操作を行うユーザの体の一部または全体に関する動きを示す情報を含む。動き情報は、例えば、加速度、角速度、および地磁気で表されるが、これに限られない。動き情報の計測方法は任意でよく、特定の計測方法に限定されるものではない。例えば、加速度センサ、角速度センサ、地磁気センサを用いて計測してもよい。以降の説明では、特に断りがなければ、動き情報として、加速度情報を用いることを想定する。

図３は、動き情報の計測方法の一例を示す図である。この図では、指に取り付けた指輪型の計測装置（ウェアラブル端末）から、ユーザの指の３軸の加速度を時系列的に取得する例について説明する。計測装置は、指輪型に限られない。例えば、グローブ型、腕輪型などでもよく、装着部位も、腕、手首、手のひら、手の甲など、体のどの部分でもよい。また、加速度に限らず、角速度、地磁気を含んでも良い。また、この図だけでなく、以降の説明において、ウェアラブル端末または指と記述されていても、それらに限られるものではない。

また、図３では、ユーザの指により操作が行われることを想定しているが、指以外の体の一部でもよく、また、ケーブルなどの道具を用いてもよい。

ウェアラブル端末は、標準状態における指の傾きを基準に、絶対空間上の座標軸を設定する。標準状態とは、所定のタイミングにおける指の状態のことを意味する。所定のタイミングは、例えば、ウェアラブル端末のプログラムが処理を開始したタイミングでもよい。音声、ボタンの押下などの外部入力により、ウェアラブル端末に所定の信号が入力されたタイミングでもよい。ウェアラブル端末が、特定の動きを検出したタイミングでもよい。例えば、図３のように、指の所定の形状、姿勢、および角度を、ユーザが一定時間保ち続けた場合、ウェアラブル端末は、標準状態を設定する特定の動きがなされたと判断し、この状態を標準状態として、座標軸を設定してもよい。

絶対空間上の座標軸を設定する方法は、任意でよい。例えば、センサにはｘｙｚ座標軸が予め定められており、標準状態におけるセンサのｘｙｚ座標軸を、絶対空間上のｘｙｚ座標軸と設定してもよい。図３では、標準状態における指先の方向をｚ軸、指の腹側から甲側の方向をｙ軸、ｙ軸およびｚ軸と垂直な方向をｘ軸として設定している。また、例えば、静止時の３軸加速度の合成ベクトルは、重力加速度の方向になることを利用し、ウェアラブル端末の動きが重力加速度に比べて小さいと仮定して、３軸の加速度から重力加速度方向を算出し、重力加速度方向をｙ軸として設定してもよい。

ウェアラブル端末は、座標軸の設定後、３軸方向の加速度を取得する。また、座標軸上における指の３次元的な傾きは、例えば、標準状態における指の傾きを基準とした、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ）、およびロール（ｒｏｌｌ）により表現できる。

図４から６はそれぞれ、ピッチ、ヨー、およびロールを説明する図である。ピッチとは、図４に示すように、標準状態における指の左右方向（図３ならばｘ軸）を軸とした上下方向の回転角である。ヨーとは、図５に示すように、標準状態における指の上下方向（図３ならばｙ軸）を軸にした左右方向の回転角である。ロールとは、図６に示すように、標準状態における指の前後方向（図３ならばｚ軸）を軸とした回転角である。

図４から図６に示したピッチ、ヨー、およびロールは、それぞれ下方向、右方向、右回りを正方向としているが、逆でもよい。これらのピッチ、ヨー、およびロールは、加速度、角速度、および地磁気などの動き情報に基づき算出することができる。

ウェアラブル端末と推定装置１００との通信は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など、様々な通信手段によって実現されるものとする。また、ウェアラブル端末に推定装置１００を含めてもよい。

なお、ここでは取得部１０１が２つの情報、領域情報と動き情報を取得したが、それぞれの情報を取得する２つの取得部に分離してもよい。

操作認識部１０２は、ユーザの動きが、正解領域の操作箇所に対する操作かを判断する。算出部１０２Ａは、動き情報に基づき、ユーザが着目している位置を推定し、推定した位置と、正解領域との位置関係に基づき、ユーザが当該正解領域の操作箇所を操作する尤度を算出する。決定部１０２Ｂは、一例として、尤度が予め定められた閾値以上の場合に、動き情報を、正解領域の操作箇所に対するユーザの操作と決定、すなわち、ユーザは、正解領域の操作箇所を操作しようとしていると決定する。一方、決定部１０２Ｂは、尤度が当該閾値未満の場合に、動き情報が、正解領域の操作箇所に対するユーザの操作でない、すなわち、ユーザは、正解領域の操作箇所を操作しようとしていないと決定する。以下、操作認識部１０２についてさらに詳細に説明する。

操作認識部１０２は、算出部１０２Ａを用いて、動き情報に基づき、ユーザが着目している位置を推定する。以下では、ユーザが操作対象機器の操作領域における何らかの箇所（正解領域の操作箇所かもしれないし、それ以外の操作箇所かもしれない）を操作しようとしている状況を想定して、ユーザが着目している位置のことを、ユーザが操作を行おうとしている位置と呼ぶ。また当該位置の推定を行うことを操作位置推定と称する。ここで、操作位置推定は、当該位置を含む領域を推定することを含んでもよい。この場合、推定した領域を推定領域と呼ぶ。算出部１０２Ａは、推定された位置（または領域）と正解領域との位置関係に応じて、ユーザが正解領域の操作箇所を操作する尤度を算出する。この尤度は、ユーザが正解領域に接触する確からしさを表し、接触尤度と呼ぶこともある一例として、推定された位置が正解領域に含まれていれば第１の値、含まれていなければ第２の値を、尤度として算出する。または推定された領域と、正解領域との重複具合に応じて尤度を算出してもよい。例えば推定された領域のうち正解領域と重複する領域サイズが大きいほど、高い尤度を算出してもよい。あるいは、後述するように推定された領域を確率密度分布で表現する場合に、重複領域内の確率密度分布部分を積分した値または確率密度分布部分内の最大値を用いるなど、他の方法を用いて尤度を算出してもよい。決定部１０２Ｂは、当該尤度に応じて、ユーザが正解領域の操作箇所を操作しようとしているかを判定（正解領域判定と称する）する。例えば尤度が閾値以上のときは、正解領域の操作箇所を操作しようとしていると判定し、閾値未満のときは、正解領域以外の領域の操作箇所を操作しようとしていると判定する。正解領域の操作箇所を操作しようとしていると判定したときは、ユーザの操作が正しいと判断し、それ以外の場合は、ユーザの操作は誤りと判断する（当該正しいか否かの判断を、正誤判断と称する）。

図７は、操作位置推定の一例を示す図である。左側の四角で表された操作対象機器の操作面に対して垂直に指が向いた状態を標準状態とする。標準状態において、指の指す方向と操作面との交差位置をＰｓとする。標準状態から指の角度が変化した際に、指の指す方向と操作面とが交差する位置をＰとする。ユーザは、操作する箇所に指を向け、その方向に向けて腕を伸ばして操作面にアクセスすると仮定すると、位置Ｐがユーザの操作を行おうとする位置と推定できる。

手首を支点に、指を標準状態から右方向に角度θｒ、上方向に角度θｕだけ傾けた場合、指している操作面上の位置がＰｓからＰに移動したとして、Ｐの位置を求める。標準状態におけるユーザの手首の位置Ｑとし、位置Ｑと操作対象機器との距離をＬとすると、距離Ｌは距離ＱＰｓを表す。Ｐｓを通る水平線とＰを通る垂直線の交点をＰｒとすると、角度ＰｓＱＰｒがθｒとなる。Ｐｓを通る垂直線とＰを通る水平線の交点をＰｕとすると、ＰｓＱＰｕがθｕとなる。したがって、位置Ｐは、Ｐｓから右にＬｔａｎθｒだけ移動し、上にＬｔａｎθｕだけ移動した位置と表示できる。

指の傾きθｒとθｕは、設定した絶対空間上のｘｙｚ座標軸から求めることができる。しかし、指の傾きは、体の微妙な振動、計測時のノイズなどの影響を受ける。これらのノイズにロバストにするため、ローパスフィルタなどを用いて算出した平均値を用いてもよい。

また、位置Ｐを、平均値に標準偏差を増減させた範囲として表してもよい。標準偏差を用いると、単に平均値を用いた場合よりも、扱える情報を増やすことができる。例えば、ほとんどの値が平均値付近に分布している場合と、平均値から同程度の離れた２箇所に分布している場合とは、単に平均値を用いると、同じ値となる。しかし、分散を用いることにより、異なるデータとして扱うことができる。

また、位置Ｐを、確率密度分布を用いて表してもよい。図８は、確率密度分布の一例を示す図である。ｘｙ平面における中心点は、図７で示した位置Ｐを示す。ｘ軸は位置Ｐに対してのθｒの差分、ｙ軸は位置Ｐに対してのθｕの差分、ｚ軸は、各位置におけるサンプル数を全サンプル数で除算した値を示す。このような確率密度分布を用い、位置Ｐを一点で表すのではなく、領域（範囲）として表してもよい。

操作認識部１０２は、各操作領域における接触尤度を求める。接触尤度は、操作領域にユーザが接触する確からしさを意味する。図９は、接触尤度の算出の一例を示す図である。実線で描かれた矢印が、指が一定の角度で動くと想定した場合における指の軌跡と接触位置を表す。太枠で描かれた四角は、図８で示した確率密度分布の領域を示す。ここでは、太枠で描かれた四角を試行領域と称する。試行領域は、ユーザが操作しようとしている位置を含む領域に相当する。この試行領域には、２つの操作領域と重複している部分（図９の太枠四角内の白い部分）が存在する。ゆえに、これら２つの重複部分に対し、接触尤度を求める。そして、接触尤度が最も大きい操作領域にかかる操作箇所を、ユーザが操作しようとしている操作箇所と推定する。なお、接触尤度を求めずに、これら重複部分を有する複数の操作領域にユーザが接触する可能性があるとしてもよい。

接触尤度の求め方は、例えば、重複部分の確率密度分布を積分した値で表す方法が考えられる。または、重複部分に含まれる確率密度分布の最大値で表す方法などもある。例えば、図９では、２つの操作領域が同じ大きさである操作箇所を想定したが、操作領域が小さい操作箇所と、操作領域が大きい操作箇所が試行領域に含まれる場合もあり得る。その場合において、接触尤度を重複部分の確率密度分布を積分した値とすると、操作領域が小さい操作箇所のほうが、試行領域の中心に存在しているにも関わらず、接触尤度が小さくなる恐れがある。ゆえに、接触尤度は、確率密度分布の最大値としてもよいし、操作領域における重複部分の割合を考慮してもよいし、操作領域の大きさ、または作業における操作箇所であるか等に応じた重み付けを行ってもよい。

操作認識部１０２は、上記のように接触尤度などを用いて、ユーザの操作位置が正解領域であるか判定を行い、ユーザの操作の正誤を判断する。ここでは、ユーザの操作の正誤を判断したが、ユーザが正解領域の操作箇所を操作しようとしていないと判断した場合に、ユーザの操作が誤りと判断するのではなく、ユーザは正解領域の操作箇所を操作しようとしていないとの判断を行ってもよい。また、操作対象機器の各部品の作業領域に、ユーザが接触する可能性は無いと判定された場合は、ユーザには操作の意図が無いと判断してもよい。

距離Ｌおよび指の動き出す位置は、ユーザが操作を開始する時に、ユーザの指または手首などを所定の位置にセットすることとし、その所定の位置としてもよい。または、相対対象の近傍などに置かれたカメラなどの撮像装置の画像に基づき、距離Ｌなど指の位置を割り出すことのできるシステムから、取得部１０１を介して取得してもよい。ユーザの作業履歴から算出した平均値を用いてもよい。また距離Ｌも角度θｒとθｕ同様、確率密度分布にて表してもよい。

なお、ここでは、指がボタンなどに接触して操作が行われることを想定したが、接触しなくとも操作が行われるものも操作として扱ってもよい。例えば、非接触式のＩＣカードなどをカードリーダーにかざす場合などは、カードリーダーに接触しないが、当該かざす行為を、操作箇所（カードリーダー）に対する操作として扱ってもよい。

出力制御部１０３は、操作認識部１０２の判断結果に基づき、出力の形式および内容を決定する。また、操作認識部１０２が、ユーザには操作の意図が無いと判断した場合などでは、何も出力しないとしてもよい。

出力の形式および内容は、任意に定めてよい。出力の形式としては、例えば、警告音もしくはガイダンス音声といった聴覚情報、色彩もしくは「ＯＫ」、「ＮＧ」などの画像といった視覚情報、またはユーザに付けられたウェアラブル端末などを振動させるといった体感情報などが考えられる。

出力の内容も、任意に定めてよい。「ＯＫ」、「ＮＧ」など、単純に判定結果を出力するだけでもよい。ユーザの利便性を考慮し、音の強弱、光の点滅度合い、または、誤りなら赤色、正しければ青色、操作ミスをしそうな場合は橙色といった色彩の変化などにより、正解領域との距離を相対的に認識させてもよい。または、具体的に「右隣のボタンを操作して下さい」と表示または音声出力してもよい。上記のように、正解領域を案内するときは、操作認識部１０２または算出部１０２Ａが、正解領域と試行領域との距離を、領域情報に基づいて算出すればよい。

出力先は、例えば、モニタ、スピーカなど操作対象機器の近傍に設置された出力機器、ユーザが携帯するモバイル端末、ユーザの体に取り付けられたメガネ、ヘッドフォンなどのウェアラブル端末などが考えられる。また、ウェアラブル端末がスクリーンに投影するなど、出力先の機器がさらに別の場所に出力してもよい。出力制御部１０３は、判定結果に基づき、これら予め定められた複数の出力方法から、一の出力方法を選択すればよい。

次に、第１の実施形態における操作認識装置１００の処理のフローについて説明する。図１０は、第１の実施形態における操作認識装置１００の全体処理の概略フローチャートである。当該フローは、操作認識装置１００の電源が入力されたタイミング、または、ユーザもしくは管理者等から操作対象の情報が入力されたタイミングで開始される。

取得部１０１は、領域情報を取得する（Ｓ１０１）。領域情報を取得する相手先、取得すべき領域情報などは、予め取得部１０１に設定しておいてもよいし、ユーザもしくは管理者等が通知してもよい。取得された領域情報は、操作認識部に送られる。

取得部１０１は、ウェアラブル端末などから、ユーザの動き情報を取得する（Ｓ１０２）。動き情報は、随時、操作認識部１０２に送られる。

操作認識部１０２の算出部１０２Ａは、動き情報に基づき、ユーザが操作を行おうとする操作位置（領域）を算出する（Ｓ１０３）。そして、算出した操作位置と、正解領域との位置関係に基づいて、ユーザが正解領域の操作箇所を操作する尤度を算出する。

操作認識部１０２の決定部１０２Ｂは、算出部１０２Ａで算出した尤度に応じて、ユーザが正解領域の操作箇所を操作しようとしているかを判定（正解領域判定）し、判定結果に基づき、操作の正誤を判断する（Ｓ１０４）。

出力制御部１０３は、操作認識部１０２から判断結果を取得し、出力方法を決定する（Ｓ１０５）。以上が、第１の実施形態の全体の処理のフローとなる。

以上のように、第１の実施形態によれば、ユーザが操作を誤ることを事前に検出することができる。よって、ユーザが誤った操作を実際に行う前に警告等を行うことで、操作の誤りを防ぐことができる。

（第２の実施形態）
次に、第２の実施形態について説明する。以降の説明において、先に説明した実施形態と重複する説明は省略する。

第１の実施形態において、操作認識部１０２は、図８で示した通り、操作対象から離れた状態における指の動きなどから、ユーザが操作を行おうとしている位置（ユーザが着目している位置）を推定した。この推定には、体動およびノイズ等の影響を受けることから、確率密度分布等を用いることで、推定の精度を高めることができる。それに対し、第２の実施形態における操作認識部１０２は、ユーザが操作対象に接触したときに、接触位置を推定し、正解領域であるか否かを判定する。ユーザが操作対象機器に接触したか否かは、動き情報で判断することができる。

第２の実施形態において行われる、実際に接触した際の操作位置推定を接触位置推定と称することとする。接触位置推定は、第１の実施形態の操作位置推定と同じく、標準状態との指の角度の変化量に基づき求められるが、接触位置推定は、操作位置推定よりも高精度に推定することが可能である。第１の実施形態では、指が空中にある時点で（操作対象に接触する前に）推定が行われるため、指の振動、実際の方向とのずれなど、誤差が多く含まれる可能性がある。一方で、第２の実施形態では、指が接触した時点の情報で推定するため、指の振動が静止し、また方向のずれはないものとして、接触位置をより正しく推定することができる。

ユーザが操作対象機器に接触した場合でも、操作領域に触れただけでは操作が開始または完了しないような操作であれば、ユーザの誤操作を事前に防ぐことはできる。例えば、ダイヤルを回す、レバーを引くなどの操作を行う場合を考える。ダイヤルやレバーが正解領域の操作箇所でない場合に、ダイヤルやレバーに触れた瞬間に警告を出すことができれば、操作を完了させるために必要な「回す」、「引く」などの動作は行われない。これにより、実際の誤操作が発生するのが事前に防止される。

図１１は、加速度センサが計測したセンサデータの一例を示す図である。指が操作箇所等に接触すると、加速度の波形が急峻に変化し、パルス波形が形成される。このため、加速度のパルス波形を検出し、これを用いることにより、操作認識部１０２は、接触を検出することができる。

なお、操作認識部１０２は、以下で説明する第１条件と第２条件に基づき、接触を高精度に検出することもできる。

第１条件は、過去の所定時間の加速度の平均値を基準値として、加速度の変化量が所定の閾値「Ａ１」以上であるという条件である。

第２条件は、基準値からの加速度の変化量が最大となる時刻を「Ｔｍａｘ」、所定の時間間隔を「Ｔ１」、「Ｔ２」として、時刻「Ｔｍａｘ−Ｔ２」から時刻「Ｔｍａｘ−Ｔ１」までの間と、時刻「Ｔｍａｘ＋Ｔ１」から時刻「Ｔｍａｘ＋Ｔ２」までの間とにおける、加速度の変化量が所定の閾値「Ａ２」未満であるという条件である。

なお、時間間隔「Ｔ１」、「Ｔ２」は、「Ｔ２＞Ｔ１」の関係を有する。また、所定の閾値「Ａ１」、「Ａ２」は、「Ａ１＞Ａ２」の関係を有する。例えば、所定の閾値「Ａ２」は、「Ａ１」の半分程度、若しくは半分以下の値をとればよく、基準値よりも大きい値とする。過去の所定時間は、例えば、１００〜３００ｍｓ（ミリセック）程度の時間である。あまり長い時間における加速度の平均値を基準値とした場合、操作領域への指の接触が繰り返し行なわれた場合の検出が困難になる可能性があるため、適宜変更してもよい。また、「Ａ１」は、例えば「０．５×重力加速度」と定義してもよいし、初期設定時に、操作領域への接触を行ない、計測されたデータのピーク値を基準に定めてもよい。

また、時刻「Ｔｍａｘ−Ｔ２」から時刻「Ｔｍａｘ−Ｔ１」までの間と、時刻「Ｔｍａｘ＋Ｔ１」から時刻「Ｔｍａｘ＋Ｔ２」までの間とは、加速度の変化量が最大となる時刻「Ｔｍａｘ」の前後の時間間隔である。

上述のように、接触時の加速度の波形は、加速度の波形が検知される時間が短く、急峻な形状となる。このため、加速度の変化量が最大となる時刻の前後の波形が、基準値と同等の値となっていれば、操作認識部１０２は、操作領域に指が接触したものと判定してもよい。第１条件および第２条件を用いることにより、本来、指が操作領域に接触しない動作による接触を検出することを抑制することができる。

また、第１条件および第２条件に、第３条件をさらに加えても良い。第３条件は、時刻「Ｔｍａｘ」の前後の時間間隔において、手首の位置が一定の範囲におさまるような静止状態であるという条件である。手首の位置が時系列で算出可能な場合には、操作認識部１０２は、第３条件をさらに加えて接触を判定することにより、より高精度に接触を検出することができる。

第２の実施形態の構成および機能は、第１の実施形態と同じであるため省略する。図１２は、第２の実施形態における操作認識装置１００の全体処理の概略フローチャートである。第２の実施形態では、第１の実施形態のフロー同様、領域情報の取得（Ｓ１０１）、動き情報の取得（Ｓ１０２）は同じであるが、接触を検知する（Ｓ２０１）まで、他の処理は行われない。操作認識部１０２が接触を検知した（Ｓ２０１）ら、操作認識部１０２により接触位置推定（Ｓ２０２）が行われる。接触位置推定の方法およびその後のフローは、第１の実施形態と同様である。

以上のように、第２の実施形態によれば、操作箇所に触れただけでは操作が完了しない操作に対し、ユーザが操作を誤るのを事前に防ぐことができ、正しい操作箇所を操作するようにユーザに促すことが可能となる。

（第３の実施形態）
第３の実施形態における操作認識部１０２は、第１の実施形態で行われた操作位置推定だけでなく、第２の実施形態で示した接触位置推定も行う。つまり、操作認識部１０２は、ユーザが操作箇所に触れる前に操作の正誤を判断し、ユーザが操作対象機器に接触した時にも操作の正誤を判断する。これにより、複数の操作を有する作業において、次々に操作が行われたとしても、操作認識部１０２が各操作の正誤を判断し、正しい操作であれば、次の操作の正解領域を把握し、次の操作が正しいかを判断することができる。

第３の実施形態のブロック図は、第１および第２の実施形態と同じである。また、本実施形態で行われる操作位置推定と接触位置推定の処理は、第１の実施形態で行われる操作位置推定と、第２の実施形態で行われる接触位置推定と同様であるため、これらの説明は省略する。

なお、距離Ｌおよび指が動き出す位置は、動き情報だけでは、完全に認識することはできないため、ユーザは次の操作を行う前に、所定の位置に指を再セットするといった動作、またはカメラなどの位置認識システムで、１つの操作終了後に新たに指の位置を把握するといった処理が必要となる。

図１３は、第３の実施形態における操作認識装置１００の全体処理の概略フローチャートである。当該フローは、第１の実施形態におけるフロー（Ｓ１０１からＳ１０５）の後に、第２の実施形態における接触の検知（Ｓ２０１）およびその後のフロー（Ｓ２０２、Ｓ１０４、Ｓ１０５）が実行される。そして、新たに正誤判断の結果に基づく処理が追加されている。ここでは、新たな処理のフローについて説明する。

接触位置の正誤判断により、接触位置が正解領域でないと判断された場合は（Ｓ３０１の誤）、処理は終了する。接触位置が正解領域であると判断された場合は（Ｓ３０１の正）、操作認識部１０２は、作業の残り操作の有無を確認し、残り操作がない場合は（Ｓ３０２の無）、処理を終了する。残り操作がある場合は（Ｓ３０２の有）、操作認識部１０２は、正解領域を次の操作に対応する正解領域に更新する（Ｓ３０３）。これにより、操作認識部１０２は、次の操作における操作位置推定においても、正解領域を把握することができる。更新後は、再度動き情報を取得して（Ｓ１０２）、操作位置推定が行われる（Ｓ１０３）。以上が、第３の実施形態における全体の処理のフローとなる。

なお、図１３では、出力制御部１０３が、接触位置推定に基づく判断結果に従い、出力制御を行った後に、正誤判断の結果に基づくフローが実行されるようにしたが、当該フローの実行は、出力制御と同時に行われて、順番を入れ替えて行われてもよい。

操作認識部１０２は、出力制御部１０３に送る判断結果を、操作位置推定と接触位置推定のどちらの判断結果なのかを判別し、出力制御部１０３は、操作位置推定の判定結果と、接触位置推定の判定結果とで、出力する形式または内容を変更してもよい。例えば、操作位置推定の結果に基づく警告は、小さな表示または音を出力することとし、接触位置推定の結果に基づく警告は、ユーザが気づくように、大きな表示または音を出力するよう制御してよい。これにより、接触前の予備的な警告と、接触後の警告とを区別できるようにして、ユーザの利便性を向上できる。

また、操作位置推定および接触位置推定の履歴を取り、操作位置推定の精度を高める学習機能を有していてもよい。これらの履歴は、確率密度分布の算出または更新に用いることができる。例えば操作位置推定の結果が、接触位置推定の結果に一致するように確率密度分布の形状を更新することが考えられる。また、操作位置推定により推定された操作箇所と、接触位置推定で推定された操作箇所が一致する場合は、操作位置推定を正解として、このときの接触位置推定の履歴を正解データとして用い、一致しない場合は、操作位置推定を誤りとして、このときの接触位置推定の履歴を誤りデータとして用いてもよい。これらの正解データと誤りデータに基づき、操作位置推定の方法を修正することができる。例えば、誤りデータの比率が高い場合は、接触尤度の算出の際の重み付けに傾斜をつけることが考えられる。この学習機能により、より高い精度で操作位置推定を行うことができる。

また、カメラなどを用いて操作箇所を判定する他のシステムなどから、操作箇所のデータを入手し、その操作箇所のデータと接触位置推定の結果を比較して、接触位置推定についても精度を高めてもよい。

以上のように、第３の実施形態によれば、接触前の正誤判断だけでなく、接触時の正誤判断も行うことで、ユーザの操作誤りを防ぐ可能性を高めることができる。そして、複数の操作を順番に行う作業においても、各作業それぞれにおいて、操作の正誤を判断することが可能となる。

（第４の実施形態）
第４の実施形態では、ユーザによる操作箇所への接触後の操作内容についても推定し、接触後の操作内容が正しいかを判定する。

操作箇所が正しくても、例えば、スイッチを上げるべきところを下げてしまうなど、操作内容を誤る場合がある。本実施形態では、動き情報から、ユーザが行った操作内容である動作パターンを認識する。ここでは、この認識を動作パターン認識と称する。そして、動作パターンと、行うべき操作内容である正解動作パターンに基づき、操作内容の正誤を判定する。この判定を正解操作判定と称する。これにより、操作内容についての操作誤りを検知することができる。

図１４は、第４の実施形態における操作認識装置１００の概略構成の一例を示すブロック図である。第４の実施形態は、第１の実施形態に対し、動作パターン認識部１０４をさらに備える。

取得部１０１は、動作パターン認識部１０４に認識させる動作を、正解動作パターンとして取得する。

正解動作パターンは、領域情報に含めてもよい。手順書の内容として、操作認識装置１００の外部または内部のデータベース、システム、ウェアラブル端末などに予め登録され、取得部１０１は、領域情報を取得した際に、正解動作パターンも取得しているとしてもよい。

また、取得部１０１は、ユーザまたはウェアラブル端末などの指示を受けて、操作対象機器または操作内容について認識した上で、正解動作パターンを能動的に取得してもよい。

なお、ここでは、取得部１０１が正解動作パターンを取得することとしたが、領域情報と正解動作パターンが異なる装置、システムなどに格納されている場合などでは、正解動作パターンを取得する部を、取得部１０１と分けてもよい。

動作パターン認識部１０４は、取得部１０１より、動き情報を取得し、動き情報からユーザの動作パターンを認識する。動作パターンは、時系列で得られた加速度、指の傾き、または、それらの特徴量に基づき、判断してもよい。特徴量としては、周波数解析により得られる周波数分布、所定時間ごとに算出した加速度のヒストグラム、傾きの変化方向のヒストグラムなどがある。また、複数の操作それぞれに対応する識別器に、操作の識別を行わせ、各識別器が算出した各操作における当該操作の尤度の分布に基づき、特徴量を定めてもよい。動作パターン認識部１０４は、当該特徴量と正解動作パターンの特徴量との類似度を算出してもよい。類似度は例えば両者の差分に応じた値でもよい。例えば両者の差分の絶対値またはその２乗でもよいし、その他の値でもよい。正解動作パターンは、特徴量によって記述されてもよいし、パターンを示す識別子によって記述されてもよい。

動作パターンは、算出した特徴量と、予め定められた基準となる基準特徴量を比較し、これらの特徴量の類似度を求め、類似度が予め定めた閾値を越えているかなどにより、決定することができる。動作パターンを決定する基準は、動作パターン認識部１０４に予め与えられていてもよいし、取得部１０１が正解動作パターンとともに取得してもよい。

図１５は、代表的な基本操作における動作パターンの一例を示す図である。図１５（Ａ）がボタンの押下、１５（Ｂ）がスイッチの切替、１５（Ｃ）がケーブルの接続、１５（Ｄ）がテスターの接触に関する動作が描かれている。これらの基本動作パターンには、それぞれ異なる基準特徴量がある。

例えば、ボタン押下とケーブル接続は、同じ押し込む動作ではあるが、押し込む際の反発力および衝撃が異なり、その際に発生する加速度パターンにも差が生ずる。動作パターン認識部１０４は、例えば、動き情報に対し、これら４つの基本動作パターンの識別を行い、各基本動作に対応する当該動作の尤度を算出してもよい。また、動作パターン認識部が、各尤度の分布に基づき、当該動作の特徴量を算出し、１つの動作パターンを決定してもよい。決定した動作パターンは、当該特徴量によって表現してもよいし、当該パターンに対応する識別子によって表現してもよい。

また、加速度以外にも、装着したセンサから角速度、地磁気、気圧、光、音、生体信号などが取得できる場合は、それらを特徴量として用いてもよい。

識別器としては、ニューラルネットワーク、サポートベクタマシンといった公知のパターン認識手法を用いればよい。

なお、ここでは、動作パターン認識部１０４が動作パターンを１つに決定し、決定した動作パターンを操作認識部１０２が正解操作かを判定することを想定しているが、動作パターン認識部１０４は、特徴量または各基本動作の尤度を算出し、操作認識部１０２が、当該特徴量または各基本動作の尤度に基づき動作パターンを決定し、さらに当該動作パターンが正解操作かを判定してもよい。

操作認識部１０２は、今までの実施形態同様、取得部１０１から動き情報と領域情報を取得する。領域情報には、今までの実施形態同様に各操作の情報が含まれ、本実施形態では正解動作パターンも含まれる。したがって、操作認識部１０２は、現在の操作に対する正解動作パターンを把握することができ、正解操作判定を行うことができる。

正解操作判定は、動作パターン認識部１０４から操作認識部１０２に類似度が送られてきた場合は、動作パターンが正解動作パターンであるかを、類似度が閾値以上かで確認すればよい。類似度が閾値未満であるときは、正解の動作パターンではないと判定し、操作誤りと判断する。あるいは、動作パターン認識部１０４が操作認識部１０２に特徴量を送り、操作認識部１０２が、当該特徴量を正解動作パターンの特徴量と比較することで、類似度を算出し、類似度に基づき同様にして判定してもよい。あるいは、動作パターン認識部１０４が動作パターンの識別子を操作認識部１０２に送り、操作認識部１０２が当該識別子と正解動作パターンの識別子を比較することで判定することも可能である。

図１６は、第４の実施形態における操作認識装置１００の全体処理の概略フローチャートである。このフローチャートでは、動作パターン認識部１０４は、操作認識部１０２とは独立して、取得部１０１から動き情報を常時取得し、動作パターンを検出することを想定している。操作認識部１０２がユーザの接触を検知した後に、動作パターンの検出を開始するように制御してもよい。

動作パターン認識部１０４は、動き情報を取得し、動作パターンを検出する（Ｓ４０１）。検出された動作パターンは操作認識部１０２に送られ、操作認識部１０２は、動作パターンが正解動作パターンであるかを判定し、操作の正誤を判断する（Ｓ４０２）。なお、このフローでは、操作の正誤を判断する際、操作認識部１０２は、動作パターンを検出した時刻が、ユーザの接触を検知した時刻よりも後であることを確認してもよい。出力制御部１０３の制御は、今までの制御と同様である（Ｓ１０５）。

以上のように、第４の実施形態によれば、操作箇所だけでなく、操作内容についても正誤の判断を行うことができる。また、操作完了後に更新ボタンを押す必要がある場合などでは、事前に操作誤りを認識することができ、ユーザの操作誤りを防ぐことができる。

（第５の実施形態）
第５の実施形態では、操作認識部１０２が、ある特定の動作（トリガ）を検出した後から、操作位置推定を開始する。操作認識部１０２が、動き情報に基づき、常に操作位置推定、正解領域判定、正誤判断を行うと、処理の負荷が高くなる。ユーザが計測装置（ウェアラブル端末）を取り付けてから、ユーザに操作開始を指示させることが考えられるが、これはユーザの利便性を欠くことになる。そこで、第５の実施形態では、ユーザが操作を行おうとする前に行う動作をトリガとして検出し、トリガの検出後に、操作位置推定を開始することで、推定装置１００の処理の負荷を減らすことができる。

操作認識部１０２は、動き情報に基づき、トリガを検出する。操作認識部１０２はトリガを検出するトリガ検出部を含む。トリガを検出するまでは、操作位置推定は行われないものとする。また、トリガとなる動作は、複数定めてもよい。

トリガとなる動作は、例えば、ユーザが操作対象に触れようとする動きが考えられる。ユーザが操作対象に触れようとする動きは、指先方向の加速度、速度、または移動距離などの任意のパラメータに基づき、定めればよい。例えば、ユーザが指を前に伸ばすという動作をユーザが操作対象に触れようとする動きと定義した場合は、指の一定値（基準値）以上の速度で、一定量（基準値）以上移動した場合を、ユーザが指を前に伸ばす動作と定義してもよい。単に加速度が閾値を越えた場合としてもよい。また、過去のユーザの動作の履歴や実験データから、ユーザが指を前に伸ばす動作の特徴量を算出し、その特徴量に基づいて、トリガ判定してもよい。

トリガを判定する閾値（基準値）は、ユーザごとにまたは操作ごとに変えてもよい。また、トリガとなる動きの履歴を取ることにより、ユーザごと操作ごとなど、トリガとなる動きの判定値を変更していってもよい。

また、トリガを検出した後の一定期間内に、操作対象への接触を認識しない場合は、操作認識部１０２は、再度トリガを検出するまで、操作位置推定を行わないとすることもできる。

トリガと判定するための加速度などの閾値は、操作認識部１０２に予め定められていてもよいし、取得部１０１を介して、取得してもよい。

図１７は、第５の実施形態における操作認識装置１００の全体処理の概略フローチャートである。本フローチャートは、第１の実施形態のフローにおいて、操作認識部１０２の操作位置推定（Ｓ１０３）の前に、トリガを検知する処理（Ｓ５０１）を有することだけが異なる。トリガを検知する処理（Ｓ５０１）が行われるまで、次の処理である操作位置推定（Ｓ１０３）は行われない。

これにより、操作認識部１０２は、常に操作位置推定、正解領域判定、正誤判断を行う必要がなくなり、処理負荷を減らすことができる。

また、トリガの検出は、操作認識部１０２とは別に設けたトリガ検出部１０５（図１８参照）で行ってもよい。または、トリガ検出部１０５は、操作認識部１０２が認識する第１のトリガとは別に、第２のトリガを検出してもよい。なお、第２のトリガは第４の実施形態における動作パターン検出部１０４に検出を行わせてもよい。これにより、第２のトリガを検出するまで、電源制御機能などによって、操作認識部１０２をスリープ状態など、低消費電力な状態にし、消費エネルギーを削減することができる。つまり、第２のトリガに応じて操作認識部１０２を起動してもよい。

図１８は、トリガ検出部１０５をさらに備えた操作認識装置１００の概略構成の一例を示すブロック図である。トリガ検出部１０５は、取得部１０１から動き情報を取得し、動き情報に基づき、第２のトリガとなる動作を検出する。第２のトリガとなる動作は、トリガ検出部１０５に予め定められていてもよいし、取得部１０１を介して取得してもよい。

第２のトリガも、第１のトリガ同様、任意に定めてよい。例えば、ユーザが操作を行う前に行われる動作（予備動作）などが考えられる。例えば、指が所定値（基準値）以上の加速度かつ角度変化量が所定値（基準値）以下で動いた場合は、ユーザが意図的に指を動かしたといえ、操作の前段階の準備動作を行ったと考えられる。そして、次の動作として、操作対象に触れようとする動きを行うことが予想される。

また、ユーザが操作を開始する際に、予め定められた動作を必ず行うようにしている場合は、その動作をトリガとしてもよい。例えば、操作を行う前に、必ず操作対象の機器のナンバーや表示器の値を指さし確認すると定められている場合は、その指さしの動作をトリガとしておけば、これから操作が行われることを検知することができる。

また、第１のトリガおよび第２のトリガを認識した場合に履歴を取り、また、その後予想される操作が実際に行われたかの履歴を取り、両履歴に基づき第１のトリガまたは第２のトリガの認識の精度を高める学習機能を有していてもよい。例えばユーザが操作対象に触れようとする動きを第１のトリガとして検知した場合に、その後ユーザが操作を行ったときは、その検知は正解として正解データとして用い、ユーザが操作を行わなかったときは、その検知は誤りとして、誤りデータとして用いてもよい。操作認識部１０２は、誤りデータと正解データから、その操作対象に触れようとする動きを判定するための加速度などのパラメータの値を見直すことが考えられる。

操作が実際に行われたか否かは、接触位置判定の結果を用いることが考えられる。また、過去の操作履歴を他のシステムなどから入手してもよい。ユーザの接触を検知した時刻とユーザが操作対象に触れようとする動きを検知した時刻を比較し、一定時間の差がある場合は、検知が誤りとして、誤りデータとして活用してもよい。

以上のように、第５の実施形態によれば、操作認識部１０２の処理数を減らすことができる。また、トリガ検出を、操作認識部１０２ではなく他の部に行わせることにより、操作認識部１０２の消費電力を削減するといった利点を得ることができる。

（第６の実施形態）
上記説明した実施形態は、ユーザの指等の動きに従い、操作しようとする箇所や内容を認識するものである。第６の実施形態では、今までに説明した処理に加え、ユーザの特定の動きに従い、ユーザの要望を認識するものである。具体的には、ジェスチャなど、ユーザが特定の動作を行うと、操作認識装置１００がその動作を認識し、動作に対応した処理を行う。これにより、操作の合間に、ユーザの要望に応じ、手順書などの表示、音声指示などの処理を行い、ユーザの操作を支援することができる。

第６の実施形態では、今までの実施形態の動作を実現するモード、すなわち、ユーザの操作の正誤を判断する操作正誤判断モードと、本実施形態で新たに導入するジェスチャ操作モードのモードを有する。操作正誤判断モードにあるときに、ユーザがジェスチャ操作モードに切り替える特定のモード切替ジェスチャを行うと、モード切替ジェスチャを認識し、ジェスチャ操作モードに切り替える。

図１９は、モード切替ジェスチャの一例を示す図である。この図では、ユーザが打指または指上げのジェスチャを行うと、操作正誤判断モードからジェスチャ操作モードに切り替わることを示す。打指は、親指と人差し指を打ち付ける動作を意味する。また、ユーザが指下げのジェスチャを行うと、ジェスチャ操作モードから操作正誤判断モードに切り替わることを示す。このように、モード切替ジェスチャは、切替える先のモードに対応付けて異なるものとしてもよい。また、１つのモード切替ジェスチャで、順々にモードを切り替えてもよい。なお、モード切替ジェスチャは、モード切替ジェスチャを正しく判別するために、各モードで行われる可能性が低い動作であるほうが望ましい。

なお、ジェスチャ操作モードを、行われる処理などに応じて、複数のモードに分けてもよい。例えば、手順書を表示するモード、手順書の音声ガイダンスを再生するモード、行った操作の履歴を記録するモード、操作認識装置１００を管理するモードなど、に分けてもよい。モード切替ジェスチャもそれらのモードに個別に対応づけてもよい。

図１９では、ジェスチャ操作として、指を上に上げた状態から左または右方向に傾けることで手順書のページ切替を行うジェスチャ、上または下方向に傾けることで手順書のページスクロールを行うジェスチャ、打指をすることで作業完了記録を行うジェスチャの例を示す。なお、ジェスチャは、計測装置の設置位置同様、指に限られるものではなく、これらの例に限られるものではない。また、打指のあとに手首をひねるなど、同一または異なる部位で行われる複数の動作をジェスチャとしてもよい。または同じ動作を繰り返し行うことをジェスチャとしてもよい。

図２０は、第６の実施形態における操作認識装置１００の概略構成の一例を示すブロック図である。第１の実施形態に対し、新たにモード切替認識部１０６を備える。

モード切替認識部１０６は、取得部１０１で取得した動き情報からモード切替ジェスチャを検出する。モード切替ジェスチャは、動作パターン認識部１０４の処理同様、時系列で得られた加速度、指の傾き、または、それらの特徴量に基づき、判断してもよい。

また、打指など、急速に動きが変わるジェスチャは、加速度の波形が急峻に変化する。ゆえに、ユーザが操作対象機器に接触した場合と同様に、図１１で示した加速度のパルス波形により検出することができる。

モード切替ジェスチャを検出する基準は、モード切替認識部１０６に予め定められているものとする。また、管理者などは、取得部１０１を介して、モード切替認識部１０６に対し、モード切替ジェスチャの変更、追加、削除を行うことができるものとする。

また、ここでは、モード切替認識部１０６が、モード切替ジェスチャを認識し、モードの切替およびモード切替後のジェスチャの認識は、操作認識部１０２が行うことを想定しているが、モード切替後のジェスチャの認識もモード切替認識部１０６が行ってもよい。

また、動作パターン認識部１０４またはトリガ検出部１０５を有する場合は、モード切替認識部１０６の機能を、動作パターン認識部１０４またはトリガ検出部１０５にて行なってもよい。

操作認識部１０２は、モード切替認識部１０６よりモード切替ジェスチャの検知を通知された場合は、操作モードを切り替える。また、モード切替ジェスチャであるかの判定を操作認識部１０２が行う場合は、モード切替認識部１０６より送られてきた特徴量と、モード切替ジェスチャの特徴量とを比較し、類似度を算出する。類似度が閾値以上であるときは、モード切替操作であると認識し、ジェスチャ操作モードに切り替えるとしてもよい。

なお、操作認識部１０２は、操作正誤を判断するモードにおいて、操作誤りの判断を行っていたとしても、ジェスチャ操作モードに切り替えるためのジェスチャを認識した時点で、判断結果を取り消してもよい。

ジェスチャ操作モードでは、操作認識部１０２は、操作位置推定の代わりに、ジェスチャ認識を行う。ジェスチャ認識は、動作パターン認識と同様に、時系列で得られた加速度、指の傾き、または、それらの特徴量を算出し、ユーザの動きが予め定められた特定のジャスチャであるかを判断する。なお、ジェスチャ操作モードでは、操作位置推定を行わないため、例えば、ジェスチャ操作モードであるというフラグを立て、そのフラグがある間は、操作誤り判定を行わず、ジェスチャ判定を行うものとすればよい。

操作認識部１０２は、ジェスチャ操作モードにおいて、モード切替ジェスチャを認識した場合、モード切替認識部１０６によらず、ジェスチャ操作モードであるというフラグを下ろして、操作位置推定を再開してもよい。その場合、モード切替認識部１０６は、操作認識部１０２から操作正誤判断モードへの切替通知を受けるまで、処理を停止してもよい。

出力制御部１０３は、操作正誤判断結果の取消およびジェスチャ操作モードへの切り替えを通知された場合、今までの制御を取り消して、ジェスチャ操作モードに対応する制御を行う。例えば、手順書の表示、音声ガイダンスのメニューを表示させるなどの制御を行う。

以上のように、第６の実施形態によれば、操作認識装置１００から情報の提供を受けてきたユーザが、操作認識装置１００に対して、情報の提供を求めることができ、操作箇所・内容を能動的に確認することができ、より質の高いユーザ支援を行うことができる。

（第７の実施形態）
上記説明した実施形態では、計測装置が計測した動き情報に基づき、ユーザの指などの角度の変化を認識して、操作位置推定を行った。第７の実施形態では、さらにカメラの画像を用いて、操作位置推定を行う。

本実施形態の構成は、第１の実施形態と同じである。

取得部１０１は、撮像装置で撮影された画像を取得する。画像には、ユーザの操作箇所が映るものとする。また、画像として動画を用いてもよい。撮像装置は、特に限られるものではない。深度センサなどを有する３Ｄカメラでもよい。

カメラは、操作対象機器の近傍に設置されていてもよいし、ユーザまたはユーザが所持する物に取り付けられていてもよい。例えば、ユーザの装着したメガネ、ヘルメットなどに取り付けられていてもよいし、ユーザ自体が首から下げる形で所持してもよい。

操作認識部１０２は、今まで説明した実施形態と同様、操作位置推定を行うが、本実施形態では、取得部１０１が取得した画像をさらに用いて、操作位置推定を行う。例えば、取得部１０１から取得した操作対象、操作領域、正解領域などの幾何情報と、当該画像内の対応する部分の幾何情報を用いて、当該画像に映されたユーザの指などの位置、縮尺を認識し、操作位置を推定する。

図２１は、第７の実施形態における操作位置推定方法について説明する図である。接触対象機器の上方にカメラ３０１が設置されており、カメラ３０１はユーザの操作の画像を映すことができるものとする。図２１では、ユーザが操作対象機器２０１のボタン２０３に対し操作を行おうとしているが、操作を行おうとする指の動き出す位置およびボタン２０３が、カメラ３０１の画像に含まれるものとする。カメラ３０１の画像は、取得部１０１に送られる。

操作認識部１０２は、操作対象が判明した後で、領域情報に含まれる実際の操作対象の寸法と、カメラ３０１の画像に映された操作対象のサイズとに基づき、カメラ３０１の角度と位置を推定する。操作対象ではなく、操作対象の各操作部品またはその他の物から推定してもよい。操作対象にサイズを認識するためのシールなどを取り付けてもよい。操作対象または操作部品の各辺のサイズと、カメラ３０１の画像に映された対応する部分のサイズとの縮尺、あるいは、当該画像内での前記対象機器の歪み方などから、カメラ３０１の角度と位置を算出できる。

操作認識部１０２は、動き情報の変化の累積に基づき、指の移動速度および移動方向を算出する。同時に、カメラ３０１の画像内の指を認識し、当該画像内における指の移動方向成分に対する移動速度が算出できる。

算出した移動速度とカメラ３０１の画像内の移動速度との関係により、指とカメラとのおおよその距離、相対的な位置を把握することができる。また、操作対象または操作領域とのおおよその距離または相対的な位置も判明する。これにより、指の動き出す位置を推定することができる。その動き出す位置と前記算出した移動方向に基づき、操作位置および接触位置を推定することができる。

なお、画像により認識されるこれらのパラメータは、一定の幅を持たせた値として設定してもよく、それに伴い、操作位置等は尤度分布で表わされてもよい。

また、画像により、接触位置を把握してもよい。操作認識部１０２が、ユーザが操作対象に接触した時刻を把握し、その時刻における画像情報から、ユーザの接触位置を把握することができる。

以上のように、第７の実施形態によれば、ユーザと操作対象との距離、標準状態の姿勢の影響を受けずに、操作位置を推定することができる。

上記に説明した実施形態における各処理は、ソフトウェア（プログラム）によって実現することが可能である。よって、上記に説明した実施形態における操作認識装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用い、コンピュータ装置に搭載されたＣＰＵ（プロセッサ）にプログラムを実行させることにより実現することが可能である。

図２２は、本発明の一実施形態におけるハードウェア構成の一例を示すブロック図である。操作認識装置１００は、ＣＰＵ４０１、記憶装置４０２、ネットワークインタフェース４０３、デバイスインタフェース４０４、入力装置４０５を備え、これらがバス４０６を介して接続された、コンピュータ装置４００として実現できる。

ＣＰＵ４０１は、コンピュータ装置４００の制御装置および演算装置である。ＣＰＵ４０１は、バス４０６を介して接続された各装置（例えば、主記憶装置４０２、ネットワークインタフェース４０３、入力装置４０６）から入力されたデータやプログラムに基づいて演算処理を行い、演算結果や制御信号を、バス４０６を介して接続された各装置（例えば、記憶装置４０２、ネットワークインタフェース４０３、デバイスインタフェース４０４）に出力する。

具体的には、ＣＰＵ４０１は、コンピュータ装置４００のＯＳ（オペレーティングシステム）や、各実施形態の処理を実現するプログラム（認識プログラム）などを実行し、コンピュータ装置４００を構成する各装置を制御する。認識プログラムとは、コンピュータ装置４００に、認識装置の上述の各機能構成を実現させるプログラムである。ＣＰＵ４０１が認識プログラムを実行することにより、コンピュータ装置４００が操作認識装置１００として機能する。

記憶装置４０２は、コンピュータ装置４００のＯＳや、認識プログラム、認識プログラムの実行に必要なデータ、および認識プログラムの実行により生成されたデータなどを記憶する記憶媒体である。記憶装置４０２には、主記憶装置と外部記憶装置とが含まれる。主記憶装置は、例えば、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭであるが、これに限られない。記憶装置４０２は、加速度情報センサ等から取得する動きデータ、データベース等から取得する領域情報、操作認識部１０２の推定結果などを記憶することができる。

ネットワークインタフェース４０３は、コンピュータ装置４００が外部装置と無線又は有線で通信するための装置である。ネットワークインタフェース４０３は、例えば、モデム、ハブ、およびルータであるが、これに限られない。加速度情報センサ等から取得する動きデータ、データベース等から取得する領域情報は、ネットワークインタフェース４０３を介して取得することができる。また、出力制御部１０３の出力制御の情報は、ネットワークインタフェース４０３を介して、外部の通信装置に送信されてもよい。

デバイスインタフェース４０４は、外部装置５０１と接続する。外部装置５０１は、外部記憶装置でもよい。外部記憶装置は、ハードディスク、光ディスク、フラッシュメモリ、および磁気テープであるが、これに限られない。また、外部装置５０１は、出力制御部１０３により制御される出力装置であってもよい。例えば、ＬＣＤ（液晶ディスプレイ）、ＣＲＴ（ブラウン管）、タッチパネル、およびＰＤＰ（プラズマディスプレイ）であるが、これに限られない。また、出力装置は、コンピュータ装置４００の管理するための出力装置であってもよい。例えば、取得部１０１が取得した加速度センサなどのセンサデータなどの情報を表示してもよい。

入力装置４０５は、コンピュータ装置４００に情報を入力するための装置である。入力装置１０２は、例えば、キーボード、マウス、およびタッチパネルであるが、これに限られない。

なお、コンピュータ装置４００は、ＣＰＵ４０１、記憶装置４０２、ネットワークインタフェース４０３、デバイスインタフェース４０４、入力装置４０５を、１つ又は複数備えてもよい。また、デバイスインタフェース４０４を介して、プリンタやスキャナなどの周辺機器と接続されていてもよい。

また、認識装置は、単一のコンピュータにより構成されてもよいし、相互に接続された複数のコンピュータからなるシステムとして構成されてもよい。

さらに、認識プログラムは、記憶装置４０２に予め記憶されていてもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶されていてもよいし、インターネット上にアップロードされていてもよい。いずれの場合も、認識プログラムをコンピュータ装置４００にインストールして実行することにより、認識装置を構成することができる。

図２３から２７は、本発明の一実施形態におけるシステム構成の一例を示す図である。

図２３は、本発明の一実施形態におけるハードウェアをウェアラブル端末に含めた場合のシステム構成の一例を示す図である。当該ウェアラブル端末の一例として示された指輪型ウェアラブル端末３０２Ａおよび腕輪型ウェアラブル端末３０２Ｂは、加速度センサなど動き情報を取得する取得部と、当該ハードウェアと、光、音声、振動などを出力する出力部を備える。そして、ユーザの操作誤りを検出したときは、出力制御部１０３の指示に従い、光、音声、振動などにより、当該出力部がユーザに警告を行う。

図２４は、本発明の一実施形態におけるハードウェアを、ウェアラブル端末の外部の機器により実現した場合のシステム構成の一例を示す図である。当該外部機器の一例として示されたサーバ５０２および携帯端末５０３は、当該ハードウェアと、光、音声、振動などを出力する出力部を備える。なお、サーバ５０２には、外部装置５０１が接続されていてもよい。サーバ５０２および携帯端末５０３は、ウェアラブル端末から送られた動き情報を、ネットワークインタフェース４０３を介して取得する。そして、ユーザの操作誤りを検出したときは、出力制御部１０３の指示に従い、光、音声、振動などにより、当該出力部がユーザに警告を行う。

図２５は、カメラを備えたシステム構成の一例を示す図である。カメラ３０１は、操作対象機器２０１の近傍に設置された監視カメラでも、ユーザのヘルメット、メガネなどに取り付けられたウェブカメラなどでもよい。カメラ３０１は、ユーザの指の位置などを認識することのできる画像を、サーバ５０２に送る。また、ウェアラブル端末は、動き情報をサーバ５０２に送る。サーバ５０２は、当該画像により、ユーザが操作を行おうとする位置を、画像なしのときよりも正確に認識する。そして、ユーザの操作誤りを検出したときは、サーバ５０２の出力部がユーザに警告を行う。

図２６は、本発明の一実施形態におけるハードウェアの外部の機器が警告を出力する場合のシステム構成の一例を示す図である。警告を出力する機器として示された眼鏡型ディスプレイ５０４は、画像などの視覚的な情報を出力する出力部を備える。眼鏡型ディスプレイ５０４の出力部は、ネットワークインタフェース４０３を介して送られた出力制御部１０３の指示に従い、ユーザに警告を行う。視覚的な情報は、ユーザが眼鏡を介して見る実景に重畳させてもよい。なお、出力させる機器は、動き情報を取得する機器と同じでもよい。

図２７は、カメラを備え、本発明の一実施形態におけるハードウェアの外部の機器が警告を出力する場合のシステム構成の一例を示す図である。各構成機器の構成および動作は、他のシステムと同様である。

上記に、本発明の一実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 操作認識装置
１０１ 取得部
１０２ 操作認識部
１０３ 出力制御部
１０４ 動作パターン認識部
１０５ トリガ検出部
１０６ モード切替認識部
２０１ 操作対象機器
２０２ 機器ＩＤ
２０３ ボタン
２０４ 制御スイッチ
３０１ カメラ
３０２Ａ 指輪型ウェアラブル端末
３０２Ｂ 腕輪型ウェアラブル端末
４００ コンピュータ装置
４０１ ＣＰＵ
４０２ 記憶装置
４０３ ネットワークインタフェース
４０４ デバイスインタフェース
４０５ 入力装置
４０６ バス
５０１ 外部装置
５０２ サーバ
５０３ 携帯端末
５０４ 眼鏡型ディスプレイ

Claims (17)

1. ユーザの動きに関する動き情報と、前記ユーザの操作対象である第１操作箇所を含む領域情報とを取得する取得部と、
   前記動き情報に基づき、前記ユーザが着目している位置を推定し、推定した位置と、前記第１操作箇所の領域との位置関係に基づき、前記ユーザが前記第１操作箇所を操作する尤度を算出する算出部と、
   前記尤度が予め定められた閾値以上の場合に前記動き情報を前記第１操作箇所に対する前記ユーザの操作とする決定部
   を備える操作認識装置。
2. 出力制御部をさらに備え、
   前記決定部は、前記尤度が予め定められた閾値未満の場合に前記動き情報は前記第１操作箇所に対する操作ではないと決定し、
   前記出力制御部は、前記決定部の決定に応じた信号を出力するよう制御する
   を備えた請求項１に記載の操作認識装置。
3. 前記領域情報は、前記第１操作箇所とは異なる第２から第Ｎ（Ｎは２以上の整数）操作箇所の領域情報を含み、
   前記算出部は、前記ユーザが着目している位置を含む領域を推定し、
   前記決定部は、前記推定した領域と、前記第１〜第Ｎ操作領域のそれぞれとの重複具合に応じて、前記ユーザが前記第１〜Ｎ操作箇所を操作する第１〜Ｎ尤度を算出し、前記第１〜Ｎ尤度に基づき、前記動き情報が前記第１操作箇所に対する前記ユーザの操作かを判断する
   請求項１ないし２のいずれか一項に記載の操作認識装置。
4. 前記算出部は、前記推定した領域内の各位置について前記ユーザが各位置で操作する確率を表す確率密度情報を算出し、前記確率密度情報を用いて前記第１〜第Ｎ尤度を算出する
   請求項３に記載の操作認識装置。
5. 前記決定部は、前記推定した領域の一部または全部が、前記第１から前記第Ｎ操作領域のいずれとも重複しない場合には、前記動き情報が前記第１操作箇所に対する前記ユーザの操作かの判断を行わない
   請求項３に記載の操作認識装置。
6. 前記動き情報は、前記ユーザの加速度に関する加速度情報を含み、
   前記決定部は、前記加速度情報に基づき、操作対象機器に接触したと認識した場合に、前記動き情報に基づき、前記ユーザが接触した領域を算出し、算出した領域と前記第１操作箇所の領域との関係に基づき、前記ユーザが前記第１操作箇所を操作したかを判断する
   請求項４または５に記載の操作認識装置。
7. 前記領域情報は、前記ユーザが前記第１操作箇所に接触した後の前記ユーザの操作対象である第２操作箇所の領域情報を含み、
   前記決定部は、前記ユーザが前記第１操作箇所を操作したかを判断した後に、前記ユーザの動き情報が、前記第２操作箇所に対する前記ユーザの操作かの判断を行う
   請求項６に記載の操作認識装置。
8. 前記算出部は、前記接触した領域に基づき、前記確率密度情報を更新する
   請求項６または７に記載の操作認識装置。
9. 前記決定部は、前記ユーザの動き情報が前記第１操作箇所に対する前記ユーザの操作かを判断することなく、前記ユーザが前記第１操作箇所を操作したかを判断する
   請求項６に記載の操作認識装置。
10. 前記決定部は、前記ユーザが前記操作対象機器に接触したと認識した場合に、前記動き情報と第１基準値に基づき、前記ユーザが前記第１操作箇所に対して第１動作を行ったかを判断する
    請求項６ないし９のいずれか一項に記載の操作認識装置。
11. 前記動き情報と第２基準値に基づき、前記ユーザが前記第１操作箇所を操作する前に行われるトリガとなる第２動作を検出するトリガ検出部を備え、
    前記算出部は、前記第２動作が検出された後に、前記ユーザが着目している位置を推定する処理を開始する
    請求項１ないし１０のいずれか一項に記載の操作認識装置。
12. 前記算出部は、前記第２動作が検出される前は、前記ユーザが着目している位置を推定する処理を行わない
    請求項１ないし１０のいずれか一項に記載の操作認識装置。
13. 前記算出部は、前記ユーザの動き情報が前記第１操作箇所に対する前記ユーザの操作かどうかの判断結果に応じて、前記第２基準値を更新する
    請求項１１または１２に記載の操作認識装置。
14. 少なくとも、前記ユーザの動き情報が前記第１操作箇所に対する前記ユーザの操作かを判断するモードと、前記ユーザの動作に応じて前記モードとは異なる処理を行うモードの２つの動作モードを有し、
    前記動き情報に基づき前記動作モードの切り替えを指示する動作を検出した場合に、前記動作モードの切り替えを行う
    請求項１ないし１３のいずれか一項に記載の操作認識装置。
15. 前記取得部は、前記ユーザと、前記第１操作箇所を含む画像情報を取得し、
    前記算出部は、前記動き情報と前記領域情報と前記画像情報とに基づき、前記ユーザと、前記第１操作箇所との距離または相対的な位置を認識する
    請求項１ないし１４のいずれか一項に記載の操作認識装置。
16. ユーザの動きに関する動き情報と、前記ユーザによる操作対象である第１操作箇所の領域情報とを取得する取得ステップと、
    前記動き情報に基づき、前記ユーザが着目している位置を推定し、推定した位置と、前記第１操作箇所の領域との位置関係に基づき、前記ユーザが前記第１操作箇所を操作する尤度を算出するステップと、
    前記尤度が予め定められた閾値以上の場合に前記動き情報を前記第１操作箇所に対する前記ユーザの操作と決定するステップと
    を備える操作認識方法。
17. ユーザの動きに関する動き情報と、前記ユーザによる操作対象である第１操作箇所の領域情報とを取得する取得ステップと、
    前記動き情報に基づき、前記ユーザが着目している位置を推定し、推定した位置と、前記第１操作箇所の領域との位置関係に基づき、前記ユーザが前記第１操作箇所を操作する尤度を算出するステップと、
    前記尤度が予め定められた閾値以上の場合に前記動き情報を前記第１操作箇所に対する前記ユーザの操作と決定するステップと
    をコンピュータに実行させるためのプログラム。