JP2011154647A - 電子機器、電子機器の制御方法及びコンピュータプログラム - Google Patents

Abstract

【課題】ユーザの状態に応じて操作手法を切り替える電子機器、電子機器の制御方法及びコンピュータプログラムの提供。
【解決手段】操作認識モジュール３は、入力モジュール１又は情報収集モジュール２から入力される情報に基づき、ユーザによって実行された操作を認識すると共に、その操作の連続性について判定する。一方、状態認識モジュール４は、情報収集モジュール２で収集された情報に基づき、ユーザの行動状態を認識する。ルール制御モジュール５は、操作認識モジュール３で認識された操作、状態認識モジュール４で認識されたユーザの行動状態に対応した操作ルールの適用タイミングを、操作認識モジュール３で判定された操作の連続性に従って制御する。
【選択図】図１

Description

本発明は、ユーザの状態に応じて操作手法を切り替える電子機器、電子機器の制御方法及びコンピュータプログラムに関する。

近年、携帯型の端末装置に加速度センサなどのモーションセンサが搭載され、ジェスチャによる入力操作が可能な端末装置が存在する。このような端末装置では、ユーザの行動状態（例えば、オフィスで座っている、駅に向かって歩いている、電車に乗っている等の状態）に応じて認識精度に差が生じるため、操作性が低下することがある。

例えば、ユーザが座った状態で端末装置を操作する場合、端末装置をしっかりと保持しながら操作することができ、しかも端末装置がユーザから受ける揺れの影響は少ないため、ジェスチャの認識精度は高い。
一方、ユーザが立っている状態で端末装置を操作する場合、ユーザによる揺れの影響が大きくなるため、ジェスチャの認識精度が低下する。また、ユーザが端末装置を保持しながら、移動、離着席などの行動を行った場合、その行動時に発生する揺れをジェスチャとして誤認識するおそれがある。これらの場合、誤認識によって受付けた操作をキャンセルする必要があり、操作が却って面倒となる。

ユーザの行動変化に伴う操作性の劣化を改善するための技術として、複数のセンサを利用してユーザの状態を検知し、ユーザの状態が変化した場合、変化後のユーザの状態に応じて端末装置を制御する技術が開示されている（例えば、特許文献１を参照）。

特開２００１−１００８７０号公報

特許文献１に開示されている技術では、ユーザの状態に変化が生じたと判定した際、変化後の状態に応じた制御を即時的に適用する構成としているため、変化前の装置の状態を引き継ぐことができない。このため、座りながら端末装置を操作しているユーザが立ち上がったときのように、操作継続中にも関わらず行動の変化が検知される場合、特許文献１では、状態変化後（立ち上がった状態）に応じた制御が即時的に実行されるため、状態変化前（座っている状態）に行っていた操作が破棄されたり、停止したりするおそれがあるという問題点を有している。

本願は、上記の課題を解決するため、ユーザの行動状態に変化が生じた場合であっても、直前の装置状態を引き継ぐことができる電子機器、電子機器の制御方法及びコンピュータプログラムを提供することを目的とする。

本願に開示する電子機器は、ユーザによる操作を受付ける受付部と、ユーザの状態に応じた情報を収集する情報収集部と、ユーザの状態に応じて規定してあり、前記受付部により受付ける操作内容と実行すべき処理内容との関係を示す操作ルールを記憶する記憶部と、前記情報収集部が収集した情報に基づき、ユーザの状態が変化したか否かを判定する第１判定部と、前記受付部により受付ける操作の連続性を判定する第２判定部と、前記受付部にてユーザによる操作を受付けた際に適用する操作ルールの適用タイミングを、前記第１及び第２判定部による判定結果に従って制御する制御部と、前記受付部にてユーザによる操作を受付けた場合、前記制御部により制御される適用タイミングに従って適用する操作ルールに基づき、実行すべき処理内容を決定する処理内容決定部と、該処理内容決定部が決定した処理内容に従って処理を実行する実行部とを備えることを特徴とする。

本願によれば、ユーザの操作から操作の継続状態を推定し、ユーザの行動状態が変わった際に操作が連続している場合には直前の操作ルールを引き継ぐことが可能となる。このため、ユーザの行動状態が変わった場合であっても、ユーザによる操作が連続している場合には、同様の操作体系での操作が可能となる。また、ユーザが利用していたアプリケーションや遷移前後のユーザの行動状態を考慮することで、正確なユーザの操作の継続状態の推定が可能となり、よりよい操作環境を実現することができる。

本実施の形態に係る端末装置の内部構成を示す模式図である。 操作ルールＤＢの一例を示す概念図である。 操作認識モジュールが実行する処理の手順を説明するフローチャートである。 状態認識モジュールが実行する処理の手順を説明するフローチャートである。 ルール制御モジュールが実行する処理の手順を示すフローチャートである。 ルール制御モジュールが実行する処理の手順を示すフローチャートである。 アプリ制御モジュールが実行する処理の手順を示すフローチャートである。 操作履歴の一例を示す模式図である。 実施の形態２において操作認識モジュールが実行する処理の内容を示すフローチャートである。 操作間隔テーブルの一例を示す概念図である。 実施の形態３において操作認識モジュールが実行する処理の内容を示すフローチャートである。 操作種類マッピングテーブルの一例を示す概念図である。 操作間隔テーブルの一例を示す概念図である。 実施の形態４において操作認識モジュールが実行する処理の内容を示すフローチャートである。 行動状態記憶テーブルの一例を示す概念図である。 操作間隔テーブルの一例を示す概念図である。 実施の形態５において操作認識モジュールが実行する処理の内容を示すフローチャートである。 実施の形態５において操作認識モジュールが実行する処理の内容を示すフローチャートである。

以下、本願の電子機器を、通話機能、ウェブ閲覧機能、音楽再生機能、カレンダ表示機能、ドキュメント表示機能などの機能を有する携帯型の端末装置に適用した形態について、図面を用いて具体的に説明する。

実施の形態１．
図１は本実施の形態に係る端末装置の内部構成を示す模式図である。本実施の形態に係る端末装置は、入力モジュール１、情報収集モジュール２、操作認識モジュール３、状態認識モジュール４、ルール制御モジュール５、操作ルールデータベース６、アプリ制御モジュール７、アプリケーション群８を備える。
また、端末装置は、図に示していない時計手段を備えており、各モジュールが時計手段から出力される時刻を参照できるものとする。

入力モジュール１は、スイッチ、ボタン、キーボードなどの少なくとも１つの入力手段を備え、ユーザによる操作を受付ける受付部として機能する。入力モジュール１にて入力された情報は、操作認識モジュール３へ送出される。
情報収集モジュール２は、加速度センサのような検出手段を備え、ユーザの行動状態に応じた情報を収集するための情報収集部として機能する。情報収集モジュール２にて収集された情報は、操作認識モジュール３及び状態認識モジュール４へ送出される。

操作認識モジュール３は、入力モジュール１又は情報収集モジュール２から通知される情報に基づき、ユーザが端末装置に対して行った操作を認識する。具体的には、入力モジュール１から送出される情報に基づいて、何れのボタン（スイッチ、キーボード）が押下操作されたのかを認識する。以下の説明では、入力モジュール１から通知される情報に基づいて認識する操作をボタン操作と称する。

また、操作認識モジュール３は、情報収集モジュール２から送出される情報に基づいて、端末装置を傾ける操作、端末装置を振る操作、端末装置を叩く操作など、端末装置自体の動きを伴った操作を認識する。例えば、加速度の時間変化、加速度の方向等の加速度のパターンを解析することにより、端末装置を傾ける操作、端末装置を振る操作、端末装置を叩く操作等の操作を認識することができる。加速度のパターンを解析し、操作を認識する手法は、既知の手法を採用することができる。以下の説明では、情報収集モジュール２から通知される情報に基づいて認識する操作をジェスチャ操作と称する。

操作認識モジュール３は、認識したボタン操作又はジェスチャ操作の操作名及び操作された時刻の情報を、ルール制御モジュール５へ通知する。

状態認識モジュール４は、情報収集モジュール２から送出される情報に基づき、ユーザの行動状態を認識する。具体的には、ユーザが座った状態であるのか、立った状態であるのかを、加速度のパターンを解析することによって認識する。ジェスチャ操作の認識と同様に、既知の手法を用いてユーザの行動状態を認識することができる。

操作ルールデータベース６（以下、操作ルールＤＢ６という）は、操作認識モジュール３において認識する操作（ボタン操作及びジェスチャ操作）と、操作を受付けた際に端末装置が実行すべき処理との対応付けを規定する操作ルールを蓄積したデータベースである。操作ルールは、ユーザの行動状態毎に定められている。

図２は操作ルールＤＢ６の一例を示す概念図である。図２（ａ）は、ユーザが座った状態における操作ルールを示しており、各ジェスチャ操作と各アプリケーションで実行される処理内容との対応付けが規定されている。例えば、ユーザが座っている状態で、端末装置を「傾ける」というジェスチャ操作を行った場合、ブラウザではスクロール処理を実行し、音楽アプリでは曲送りを実行し、カレンダアプリでは月送りを実行することを示している。他のジェスチャ操作についても同様であり、各アプリケーションに対して、実行すべき処理内容が規定されている。

一方、図２（ｂ）は、ユーザが立っている状態における操作ルールを示しており、各ジェスチャ操作と各アプリケーションで実行される処理内容との対応付けが規定されている。図２（ｂ）の例では、ユーザが立っている状態においては、ジェスチャ操作そのものが無効になることが規定されている。
なお、図２では、ジェスチャ操作における操作ルールを示したが、操作ルールＤＢ６では、ボタン操作についてもアプリケーション毎に実行すべき処理内容が規定されているものとする。ただし、ボタン操作に関しては、ユーザの行動状態毎に操作ルールを用意する必要はなく、ユーザの行動状態に依らず同一の操作ルールを適用する構成としてもよい。

このような操作ルールＤＢ６に従い、ルール制御モジュール５は、実行すべき処理内容を決定する。このため、ルール制御モジュール５は、操作状況やユーザの行動状態に応じた操作ルールを操作ルールＤＢ６から取得し、取得した操作ルールを適用することで実行すべき処理内容を決定する。操作ルールを適用する際、ルール制御モジュール５は、操作認識モジュール３から通知される操作名、及び現在起動中のアプリケーションの情報を基に検索処理を行い、検索結果として処理内容の情報を取得する。ルール制御モジュール５は、決定した処理内容の情報を、アプリ制御モジュール７へ通知する。

また、ルール制御モジュール５は、操作ルールの適用タイミングを制御する処理も行う。上述したように、ルール制御モジュール５は、ユーザの行動状態に応じた操作ルールを取得するようにしているが、ユーザの行動状態が変化した際に、ユーザによる何らかの操作が継続中であれば、新たに取得した操作ルールを即時的に適用することなく、ユーザの操作が途切れるまで遅延させる。一方、ユーザの行動状態が変化した際、ユーザの操作が継続中でなければ、新たに取得した操作ルールを即時的に適用する。

アプリ制御モジュール７は、ルール制御モジュール５から通知される処理内容の情報に基づき、該当するアプリケーションでの処理を実行する。端末装置に記憶されているアプリケーション群８には、端末装置が備える機能を実現するための、ブラウザアプリ、音楽アプリ、カレンダアプリの他、端末装置の全体的な機能を実現するためのシステムアプリが含まれる。

以下、端末装置が実行する処理について説明する。

図３は操作認識モジュール３が実行する処理の手順を説明するフローチャートである。操作認識モジュール３は、まず、入力モジュール１又は情報収集モジュール２から送出される情報を取得したか否かを判断する（ステップＳ１１）。

操作認識モジュール３は、入力モジュール１から送出される情報を取得した場合（Ｓ１１：ＹＥＳ）、取得した情報からボタン操作を抽出する処理を行う（ステップＳ１２）。また、操作認識モジュール３は、情報収集モジュール２から送出される情報を取得した場合（Ｓ１１：ＹＥＳ）、取得した情報として含まれる加速度パターンを解析することにより、ジェスチャ操作を抽出する処理を行う（ステップＳ１３）。

操作認識モジュール３は、ステップＳ１２又はステップＳ１３における抽出処理で、特定の操作として認識したか否かを判断する（ステップＳ１４）。操作として認識した場合（Ｓ１４：ＹＥＳ）、操作認識モジュール３は、認識した操作の操作名及び操作時刻を対にした情報（操作情報）を記憶すると共に（ステップＳ１５）、操作情報をルール制御モジュール５へ通知する（ステップＳ１６）。

次いで、操作認識モジュール３は、操作の連続性について判定する。例えば、操作認識モジュール３は、最新の操作として記憶された操作の操作時刻と現在時刻とを比較し（ステップＳ１７）、操作時刻と現在時刻との差が所定時間（例えば３０秒）以上であるか否かを判断する（ステップＳ１８）。

２つの時刻の差が所定時間未満である場合には（Ｓ１８：ＮＯ）、操作認識モジュール３は、操作が連続していると判定し、操作が連続している旨の通知をルール制御モジュール５へ送出する（ステップＳ１９）。一方、２つの操作時刻の差分が所定時間以上である場合には（Ｓ１８：ＹＥＳ）、操作認識モジュール３は、操作が連続していないと判定し、操作が不連続である旨の通知をルール制御モジュール５へ送出する（ステップＳ２０）。

なお、ステップＳ１７以降の処理は、ステップＳ１１で情報を取得していないと判断した場合（Ｓ１１：ＮＯ）、及びステップＳ１４で特定の操作として認識しなかった場合（Ｓ１４：ＮＯ）においても実行される。
また、操作認識モジュール３は、操作の連続性を随時判定する必要があるので、ステップＳ１１〜Ｓ２０の処理を随時繰り返して実行する。

図４は状態認識モジュール４が実行する処理の手順を説明するフローチャートである。状態認識モジュール４は、まず、情報収集モジュール２から送出される情報を取得したか否かを判断する（ステップＳ２１）。

情報収集モジュール２から送出される情報を取得したと判断した場合（Ｓ２１：ＹＥＳ）、状態認識モジュール４は、取得した情報に含まれる加速度パターンを解析することにより、ユーザの行動状態を抽出する処理を行う（ステップＳ２２）。

状態認識モジュール４は、ステップＳ２２の行動状態を抽出する処理によって、ユーザが座っている状態、ユーザが立っている状態などの特定の行動状態を認識したか否かを判断する（ステップＳ２３）。特定の行動状態を認識したと判断した場合（Ｓ２３：ＹＥＳ）、認識した行動状態の情報をルール制御モジュール５に通知する（ステップＳ２４）。

なお、上述したような状態認識モジュール４による処理は、適宜繰り返して実行される。

図５及び図６はルール制御モジュール５が実行する処理の手順を示すフローチャートである。ルール制御モジュール５は、操作認識モジュール３から通知される操作情報を受信したか否かを判断する（ステップＳ３１）。操作情報を受信したと判断した場合（Ｓ３１：ＹＥＳ）、操作内容をアプリ制御モジュール７へ通知する（ステップＳ３２）。

操作情報を受信していないと判断した場合（Ｓ３１：ＮＯ）、ルール制御モジュール５は、操作の連続性に係る情報を、操作認識モジュール３から受信したか否かを判断する（ステップＳ３３）。操作の連続性に係る情報を受信したと判断した場合（Ｓ３３：ＹＥＳ）、ルール制御モジュール５は、受信した情報を現在の操作継続状態として記憶する（ステップＳ３４）。

操作の連続性に係る情報を受信していないと判断した場合（Ｓ３３：ＮＯ）、ルール制御モジュール５は、状態認識モジュール４から通知される行動状態の情報を受信したか否かを判断する（ステップＳ３５）。行動状態の情報を受信したと判断した場合（Ｓ３５：ＹＥＳ）、ルール制御モジュール５は、受信した情報を最新のユーザ行動状態として記憶する（ステップＳ３６）。

次いで、ルール制御モジュール５は、既に記憶されている前回のユーザ行動状態が存在するか否かを判断する（ステップＳ３７）。既に記憶されている前回のユーザ行動状態が存在しないと判断した場合（Ｓ３７：ＮＯ）、最新のユーザ行動状態の情報を、便宜的に前回の行動状態として記憶する（ステップＳ３８）。

ステップＳ３７で既に記憶されている前回の行動状態が存在すると判断した場合（Ｓ３７：ＹＥＳ）、又はステップＳ３８で過去の行動状態を記憶した場合（Ｓ３８）、ルール制御モジュール５は、最新の行動状態と過去の行動状態とを比較し（ステップＳ３９）、ユーザの行動状態が一致するか否かを判断する（ステップＳ４０）。

ユーザの行動状態が一致する場合（Ｓ４０：ＹＥＳ）、ルール制御モジュール５は、本フローチャートによる処理を終了する。この場合、ユーザの行動状態には変化がなく、現在使用中の操作ルールを引き継いで適用することができるため、新たに操作ルールを取得する必要はない。

ユーザの行動状態が一致しないと判断した場合（Ｓ４０：ＮＯ）、ルール制御モジュール５は、記憶してある操作継続状態の情報を参照することにより、現在の操作継続状態は連続であるか否かを判断する（ステップＳ４１）。現在の操作継続状態が連続である場合には（Ｓ４１：ＹＥＳ）、ルール制御モジュール５は、前回の行動状態を検索キーとして操作ルールＤＢ６から操作ルールを取得し（ステップＳ４２）、取得した操作ルールをアプリ制御モジュール７へ通知する（ステップＳ４４）。

一方、現在の操作継続状態が連続でない場合には（Ｓ４１：ＮＯ）、ルール制御モジュール５は、最新の行動状態を検索キーとして操作ルールＤＢ６から操作ルールを取得し（ステップＳ４３）、取得した操作ルールをアプリ制御モジュール７へ通知する（ステップＳ４４）。

なお、上述したようなルール制御モジュール５による処理は、適宜繰り返して実行される。

図７はアプリ制御モジュール７が実行する処理の手順を示すフローチャートである。アプリ制御モジュール７は、まず、ルール制御モジュール５から通知される操作内容を受信したか否かを判断する（ステップＳ５１）。操作内容を受信していない場合（Ｓ５１：ＮＯ）、ルール制御モジュール５から通知される操作ルールを受信したか否かを判断する（ステップＳ５５）。操作ルールを受信した場合（Ｓ５５：ＹＥＳ）、アプリ制御モジュール７は、受信した操作ルールを適用すべき操作ルールとして記憶する（ステップＳ５６）。

一方、ステップＳ５１で操作内容を受信した場合（Ｓ５１：ＹＥＳ）、適用すべき操作ルールが存在するか否かを判断する（ステップＳ５２）。すなわち、アプリ制御モジュール７は、既にルール制御モジュール５から通知される操作ルールを受信して、適用すべき操作ルールとして記憶しているか否かを判断する。

適用すべき操作ルールが存在する場合には（Ｓ５２：ＹＥＳ）、受信した操作ルールを適用し、操作情報内の操作名を、実行中のアプリケーションに対する制御命令に変換する（ステップＳ５３）。そして、アプリ制御モジュール７は、操作名を変換して得られる制御命令を実行中のアプリケーションへ通知する（ステップＳ５４）。
アプリケーションは、アプリ制御モジュールから通知される制御命令に基づき、当該制御命令が指定する処理を実行することにより、ユーザの操作に応じた処理を実現する。

なお、上述したようなアプリ制御モジュール７による処理は、適宜繰り返して実行される。

以上のように、本実施の形態では、ユーザの行動状態が変わった際に操作が連続している場合には、直前の操作ルールを引き継ぐ構成としている。このため、ユーザの行動状態が変わった場合であっても、ユーザによる操作が連続している場合には、これまでと同様の操作体系で操作が可能となる。

なお、本実施の形態では、情報収集モジュール２においてユーザの行動状態に応じた情報を収集するための手段の一例として加速度センサを挙げたが、加速度センサに限定されるものではない。例えば、光センサ、地磁気センサ、温度センサなどユーザの周辺状況を検知し得る適宜のセンサ、映像データを取得するカメラ、音声データを取得するマイクロフォン等を用いることが可能である。また、ユーザの行動状態に応じた情報を収集するために、センサ、カメラ、及びマイクロフォンを端末装置が内蔵している必要はなく、外部で得られた情報を通信手段を利用して取得するものであってもよい。

また、本実施の形態では、ユーザの行動状態に応じた操作例として、ブラウザアプリ、音楽アプリ、カレンダアプリについての操作を説明したが（図２を参照）、操作対象はこれらのアプリケーションに限定されるものではない。他のアプリケーションが含まれていてもよく、端末装置上で直接動作するシステムアプリケーション上に付属するタスクの切り替えや設定の変更機能であってもよい。

また、本実施の形態では、操作の連続性を判定するための基準（操作間隔に対する閾値）が予め記憶されているものとしたが、入力モジュール１を用いてユーザが任意の閾値を入力するものとし、ユーザによって設定された閾値に基づいて操作の連続性を判定する構成としてもよい。

実施の形態２．
実施の形態１では、最新の操作と前回の操作との時間間隔が所定時間内であるか否かにより、操作の連続性を判定する構成としたが、操作頻度に基づいて操作の連続性を判定する構成としてもよい。

本実施の形態では、操作認識モジュール３が入力モジュール１及び情報収集モジュール２から入力される情報を基に操作履歴３１を作成し、記憶する。図８は操作履歴３１の一例を示す模式図である。図８に示すように、操作認識モジュール３に記憶される操作履歴３１は、操作時刻と操作内容とを対応付けて記憶したものである。

操作認識モジュール３は、図８に示すような操作履歴３１を参照し、操作の連続性を判定する。図９は実施の形態２において操作認識モジュール３が実行する処理の内容を示すフローチャートである。操作認識モジュール３は、実施の形態１と同様にして、入力モジュール１又は情報収集モジュール２から送出される情報に基づいて、操作を認識する（ステップＳ６１〜Ｓ６４）。

操作認識モジュール３は、ステップＳ６２又はステップＳ６３における抽出処理で、操作として認識した場合、操作認識モジュール３は、認識した操作の操作名及び操作時刻を対にした情報（操作情報）を最新の操作として記憶すると共に（ステップＳ６５）、操作情報を操作履歴３１に記憶する（ステップＳ６６）。
また、操作認識モジュール３は、操作情報をルール制御モジュール５へ送信する（ステップＳ６７）。

次いで、操作認識モジュール３は、操作履歴３１より操作頻度を算出する（ステップＳ６８）。操作頻度は、例えば、現在時刻を起点とした所定時間範囲内において、操作認識モジュール３が認識した操作の回数を計数することにより算出する。

次いで、操作認識モジュール３は、算出した操作頻度を予め記憶された閾値（例えば、５回）と比較し（ステップＳ６９）、現在の操作頻度が閾値以上であるか否かを判断する（ステップＳ７０）。

操作頻度が閾値以上である場合には（Ｓ７０：ＹＥＳ）、操作が連続していると判定し、操作認識モジュール３は、操作が連続している旨の通知をルール制御モジュール５へ送出する（ステップＳ７１）。操作頻度が閾値未満である場合には（Ｓ７０：ＮＯ）、操作が連続していないと判定し、操作認識モジュール３は、操作が不連続である旨の通知をルール制御モジュール５へ送出する（ステップＳ７２）。

なお、ステップＳ６９以降の処理は、ステップＳ６１で情報を取得していないと判断した場合（Ｓ６１：ＮＯ）、及びステップＳ６４で特定の操作として認識しなかった場合（Ｓ６４：ＮＯ）においても実行される。
また、操作認識モジュール３は、操作の連続性を随時判定する必要があるので、ステップＳ６１〜Ｓ７２の処理を随時繰り返して実行する。

実施の形態３．
実施の形態１では、最新の操作と前回の操作との時間間隔が所定時間内であるか否かの判定を、アプリケーションに依らずに実行する構成としたが、使用中のアプリケーションに応じて判定基準を変更する構成としてもよい。
実施の形態３では、使用中のアプリケーションに応じて操作の連続性を判定する構成について説明する。

実施の形態３に係る端末装置は、アプリケーション毎に操作間隔の閾値が規定された操作間隔テーブル３２を備える。図１０は操作間隔テーブル３２の一例を示す概念図である。図１０に示す操作間隔テーブル３２は、ウェブブラウザに対する操作間隔は１０秒に設定され、文書閲覧アプリについては操作間隔が３０秒に設定されている。例えば、ウェブブラウザのように頻繁に操作するようなアプリケーションについては操作間隔を比較的短く設定し、文書閲覧アプリのように頻繁に操作することなく利用することが多いアプリケーションについては操作間隔を比較的長く設定する。

操作認識モジュール３は、図１０に示すような操作間隔テーブル３２を参照し、操作の連続性を判定する。図１１は実施の形態３において操作認識モジュール３が実行する処理の内容を示すフローチャートである。操作認識モジュール３は、実施の形態１と同様にして、入力モジュール１又は情報収集モジュール２から送出される情報に基づいて、ボタン操作及びジェスチャ操作を抽出する（ステップＳ９１〜Ｓ９３）。
また、操作認識モジュール３は、使用中アプリケーションのアプリケーション名を抽出する（ステップＳ９４）。

次いで、操作認識モジュール３は、ステップＳ９２及びＳ９３の抽出処理により、操作を認識したか否かを判断する（ステップＳ９５）。操作を認識したと判断した場合（Ｓ９５：ＹＥＳ）、ステップＳ９４で抽出したアプリケーション名を記憶する（ステップＳ９６）。

また、操作認識モジュール３は、ステップＳ９２又はステップＳ９３における抽出処理により、操作として認識した場合（Ｓ９５：ＹＥＳ）、操作認識モジュール３は、認識した操作の操作名及び操作時刻を対にした情報（操作情報）を最新の操作として記憶すると共に（ステップＳ９７）、操作情報をルール制御モジュール５へ送信する（ステップＳ９８）。

次いで、操作認識モジュール３は、操作間隔テーブル３２を参照し、使用中アプリケーションに対して規定されている操作間隔（閾値）を取得する（ステップＳ９９）。

操作認識モジュール３は、実施の形態１と同様にして、最新の操作として記憶された操作の操作時刻と現在時刻とを比較し（ステップＳ１００）、操作時刻と現在時刻との差がステップＳ９９で取得した閾値以上であるか否かを判断する（ステップＳ１０１）。

操作時刻と現在時刻との差が閾値未満である場合には（Ｓ１０１：ＮＯ）、操作認識モジュール３は、操作が連続していると判定し、操作が連続している旨の通知をルール制御モジュール５へ送出する（ステップＳ１０２）。一方、操作時刻と現在時刻との差が閾値以上である場合には（Ｓ１０１：ＹＥＳ）、操作認識モジュール３は、操作が連続していないと判定し、操作が不連続である旨の通知をルール制御モジュール５へ送出する（ステップＳ１０３）。

なお、ステップＳ１００以降の処理は、ステップＳ９１で情報を取得していないと判断した場合（Ｓ９１：ＮＯ）、及びステップＳ９５で特定の操作として認識しなかった場合（Ｓ９５：ＮＯ）においても実行される。
また、操作認識モジュール３では、操作の連続性を随時判定する必要があるので、ステップＳ９１〜Ｓ１０３の処理を随時繰り返して実行する。

本実施の形態では、ユーザが使用中のアプリケーションを考慮して、操作の継続状態を判定するため、操作中であるにも関わらず操作が途切れていると判定される可能性が少なくなる。このため、ユーザの操作の正確な継続状態を推定することが可能となり、よりよい操作環境を実現することができる。

なお、本実施の形態では、操作間隔テーブル３２を端末装置の内部に備える構成としたが、端末装置の外部に操作間隔テーブルを用意しておき、判定時に端末装置がこの操作間隔テーブルにアクセスし、操作の連続性を判定する構成としてもよい。
また、本実施の形態では、操作間隔テーブル３２に操作時間についての閾値を設定する構成について説明したが、実施の形態２と同様にして、アプリケーション毎に操作頻度を設定する構成としてもよい。

実施の形態４．
実施の形態１では、最新の操作と前回の操作との時間間隔が所定時間内であるか否かの判定を、操作の種類に依らずに実行する構成としたが、実行される操作の種類に応じて判定基準を変更する構成としてもよい。

実施の形態４に係る端末装置は、操作内容と操作種類との関係を規定した操作種類マッピングテーブル３３、及び操作種類毎に操作間隔の閾値が規定された操作間隔テーブル３４を備える。

図１２は操作種類マッピングテーブル３３の一例を示す概念図である。操作種類マッピングテーブル３３では、操作内容と操作種類との関係が規定されている。例えば、メニュー選択という操作、ツールバーにおける戻る又は進むという操作は、メニューに関する操作種類に属していることを示している。他の操作内容についても同様であり、操作種類マッピングテーブル３３は、各操作種類に対して１又は複数の操作内容が規定されている。

図１３は操作間隔テーブル３４の一例を示す概念図である。操作間隔テーブル３４では、操作種類毎に操作間隔に対する閾値が規定されている。例えば、プレイリスト・タグ編集という操作種類に対して操作間隔が１５秒に設定されている。楽曲検索、曲操作の操作種類についても同様であり、それぞれ３０秒、９０秒に設定されている。
プレイリスト・タグ編集では、曲名の選択やタグの入力のためにボタン操作が頻繁に行われることが予想される。このように頻繁に操作されるような操作種類については、操作間隔を比較的短く設定する。一方、曲操作のように頻繁に操作が行われないような操作種類については、操作間隔を比較的長く設定する。

操作認識モジュール３は、図１２に示すような操作種類マッピングテーブル３３、及び図１３に示すような操作間隔テーブル３４を参照し、操作の連続性を判定する。図１４は実施の形態４において操作認識モジュール３が実行する処理の内容を示すフローチャートである。操作認識モジュール３は、実施の形態１と同様にして、入力モジュール１又は情報収集モジュール２から送出される情報に基づいて、ボタン操作及びジェスチャ操作を抽出し、認識される操作を最新の操作として記憶する（ステップＳ１１１〜Ｓ１１５）。

次いで、操作認識モジュール３は、操作種類マッピングテーブル３３を参照し、現在の操作が示す操作種類を特定する（ステップＳ１１６）。また、操作認識モジュール３は、ステップＳ１１４で認識した操作の操作情報（すなわち、認識した操作の操作名及び操作時刻を対にした情報）をルール制御モジュール５へ送信する（ステップＳ１１７）。

次いで、操作認識モジュール３は、操作間隔テーブル３４を参照し、認識した操作の操作種類に対して規定されている操作間隔（閾値）を取得する（ステップＳ１１８）。

次いで、操作認識モジュール３は、操作の連続性について判定する。操作認識モジュール３は、最新の操作として記憶された操作の操作時刻と現在時刻とを比較し（ステップＳ１１９）、操作時刻と現在時刻との差が、ステップＳ１１８で取得した閾値以上であるか否かを判断する（ステップＳ１２０）。

２つの時刻の差が閾値未満である場合には（Ｓ１２０：ＮＯ）、操作認識モジュール３は、操作が連続していると判定し、操作が連続している旨の通知をルール制御モジュール５へ送出する（ステップＳ１２１）。一方、２つの操作時刻の差分が閾値以上である場合には（Ｓ１２０：ＹＥＳ）、操作認識モジュール３は、操作が連続していないと判定し、操作が不連続である旨の通知をルール制御モジュール５へ送出する（ステップＳ１２２）。

なお、ステップＳ１１９以降の処理は、ステップＳ１１１で情報を取得していないと判断した場合（Ｓ１１１：ＮＯ）、及びステップＳ１１４で特定の操作として認識しなかった場合（Ｓ１１４：ＮＯ）においても実行される。
また、操作認識モジュール３では、操作の連続性を随時判定する必要があるので、ステップＳ１１１〜Ｓ１２２の処理が随時繰り返して実行される。

以上のように、本実施の形態では、操作種類に応じた操作間隔が設定されているため、操作中であるにも関わらず操作が途切れていると判定される可能性が少なくなる。このため、ユーザの操作の正確な継続状態を推定することが可能となり、よりよい操作環境を実現することができる。

なお、本実施の形態では、操作間隔テーブル３４を端末装置の内部に備える構成としたが、端末装置に用意されたテーブルを参照し、操作の連続性を判定する構成としてもよい。

また、本実施の形態では、最新操作の操作種類に応じた閾値を操作間隔テーブル３４から取得する構成としたが、実施の形態２と同様にして、操作履歴を記憶しておき、現在時刻を起点とした所定時間範囲内における最頻出の操作を特定し、最頻出の操作の操作種類に応じて操作間隔テーブル３４から閾値を取得し、操作の連続性を判定する構成としてもよい。

実施の形態５．
実施の形態１では、最新の操作と前回の操作との時間間隔が所定時間内であるか否かを判定し、操作の連続性を判定する構成としたが、行動状態の遷移（すなわち、ユーザの状態の組合わせ）に応じて異なる判定基準を用いる構成としてもよい。
実施の形態５では、行動状態の遷移に応じて設定された判定基準を用いて操作の連続性を判定する構成について説明する。

本実施の形態に係る端末装置は、ユーザの行動状態の遷移を特定するために、最新の行動状態と前回の行動状態とが記憶される行動状態記憶テーブル３５を備える。図１５は行動状態記憶テーブル３５の一例を示す概念図である。図１５に示した例では、前回のユーザの行動状態が「立っている」状態であったこと、最新のユーザの行動状態が「座っている」状態であったことを示している。
この行動状態記憶テーブル３５は、状態認識モジュール４でユーザの行動状態が認識される都度、更新されるものである。

また、本実施の形態に係る端末装置は、ユーザの行動状態の遷移（行動状態の組）に応じて操作間隔の閾値を規定した操作間隔テーブル３６を備える。図１６は操作間隔テーブル３６の一例を示す概念図である。図１６に示す操作間隔テーブル３６では、行動状態の組に応じて操作間隔の閾値が規定されている。例えば、立っている状態から座っている状態への遷移に対し、操作間隔の閾値として２０秒を用いることが規定されており、座っている状態から立っている状態への遷移に対し、操作間隔の閾値として４０秒を用いることが規定されている。

操作認識モジュール３は、図１６に示すような操作間隔テーブル３６を参照し、操作の連続性を判定する。図１７及び図１８は実施の形態５において操作認識モジュール３が実行する処理の内容を示すフローチャートである。操作認識モジュール３は、実施の形態１と同様にして、入力モジュール１又は情報収集モジュール２から送出される情報に基づいて、ボタン操作及びジェスチャ操作を抽出し、認識される操作を最新の操作として記憶する（ステップＳ１３１〜Ｓ１３５）。

次いで、操作認識モジュール３は、状態認識モジュール４からユーザの行動状態についての通知を受信したか否かを判断する（ステップＳ１３６）。ユーザの行動状態の通知を受信したと判断した場合（Ｓ１３６：ＹＥＳ）、受信した行動状態と最新の行動状態とが一致するか否かを判断する（ステップＳ１３７）。

受信した行動状態と最新の行動状態とが一致しないと判断した場合（Ｓ１３７：ＮＯ）、操作認識モジュール３は、行動状態記憶テーブル３５に記憶されている最新の行動状態を、前回の行動状態に上書きすると共に（ステップＳ１３８）、状態認識モジュール４から通知された行動状態を最新の行動状態に上書きし（ステップＳ１３９）、行動状態記憶テーブル３５を更新する。

次いで、操作認識モジュール３は、ステップＳ１３４で認識した操作の操作情報（すなわち、認識した操作の操作名及び操作時刻を対にした情報）をルール制御モジュール５へ送信する（ステップＳ１４０）。

次いで、操作認識モジュール３は、行動状態記憶テーブル３５を参照し、前回の行動状態及び最新の行動状態の組に対して設定されている操作間隔（閾値）を操作間隔テーブル３６から取得する（ステップＳ１４１）。

次いで、操作認識モジュール３は、操作の連続性について判定する。操作認識モジュール３は、最新の操作として記憶された操作の操作時刻と現在時刻とを比較し（ステップＳ１４２）、操作時刻と現在時刻との差が、ステップＳ１４１で取得した閾値以上であるか否かを判断する（ステップＳ１４３）。

２つの時刻の差が閾値未満である場合には（Ｓ１４３：ＮＯ）、操作認識モジュール３は、操作が連続していると判定し、操作が連続している旨の通知をルール制御モジュール５へ送出する（ステップＳ１４４）。一方、２つの操作時刻の差分が閾値以上である場合、すなわち閾値以上である場合には（Ｓ１４３：ＹＥＳ）、操作認識モジュール３は、操作が連続していないと判定し、操作が不連続である旨の通知をルール制御モジュール５へ送出する（ステップＳ１４５）。

なお、ステップＳ１４２以降の処理は、ステップＳ１３１で情報を取得していないと判断した場合（Ｓ１３１：ＮＯ）、ステップＳ１３４で特定の操作として認識しなかった場合（Ｓ１３４：ＮＯ）、ステップＳ１３６でユーザの行動状態についての通知がないと判断した場合（Ｓ１３６：ＮＯ）、及びステップＳ１３７において受信した行動状態と最新の行動状態とが一致すると判断した場合（Ｓ１３７：ＹＥＳ）においても実行される。
また、操作認識モジュール３では、操作の連続性を随時判定する必要があるので、ステップＳ１３１〜Ｓ１４５の処理が随時繰り返して実行される。

以上のように、本実施の形態では、行動状態の遷移に応じた操作間隔が設定されているため、操作中であるにも関わらず操作が途切れていると判定される可能性が少なくなる。このため、ユーザの操作の正確な継続状態を推定することが可能となり、よりよい操作環境を実現することができる。

なお、本実施の形態では、操作間隔テーブル３６を端末装置の内部に備える構成としたが、端末装置に用意されたテーブルを参照し、操作の連続性を判定する構成としてもよい。

以上の実施の形態に関し、更に以下の付記を開示する。

（付記１）
ユーザによる操作を受付ける受付部と、
ユーザの状態に応じた情報を収集する情報収集部と、
ユーザの状態に応じて規定してあり、前記受付部により受付ける操作内容と実行すべき処理内容との関係を示す操作ルールを記憶する記憶部と、
前記情報収集部が収集した情報に基づき、ユーザの状態が変化したか否かを判定する第１判定部と、
前記受付部により受付ける操作の連続性を判定する第２判定部と、
前記受付部にてユーザによる操作を受付けた際に適用する操作ルールの適用タイミングを、前記第１及び第２判定部による判定結果に従って制御する制御部と、
前記受付部にてユーザによる操作を受付けた場合、前記制御部により制御される適用タイミングに従って適用する操作ルールに基づき、実行すべき処理内容を決定する処理内容決定部と、
該処理内容決定部が決定した処理内容に従って処理を実行する実行部と
を備えることを特徴とする電子機器。

（付記２）
前記第１判定部がユーザの状態が変化したと判定し、かつ前記第２判定部が操作が連続していると判定した場合、前記制御部は、変化前のユーザの状態に応じた操作ルールを維持するようにしてあり、
前記第１判定部がユーザの状態が変化したと判定し、かつ前記第２判定部が操作が連続していないと判定した場合、前記制御部は、変化前のユーザの状態に応じた操作ルールを、変化後のユーザの状態に応じた操作ルールに切り替えるようにしてある
ことを特徴とする付記１に記載の電子機器。

（付記３）
前記受付部により受付ける操作の操作間隔を計測する計測部と、
閾値を記憶する閾値記憶部と
を備え、
前記第２判定部は、前記計測部が計測する操作間隔と前記閾値記憶部に記憶されている閾値との長短により、操作の連続性を判定するようにしてあることを特徴とする付記１又は付記２に記載の電子機器。

（付記４）
前記受付部により受付ける操作により実行される複数のアプリケーションを記憶するアプリケーション記憶部を備え、
前記閾値記憶部は、アプリケーション毎に閾値を記憶してあることを特徴とする付記３に記載の電子機器。

（付記５）
前記閾値記憶部は、１又は複数の操作内容を含む操作種類に応じて閾値を記憶してあることを特徴とする付記３に記載の電子機器。

（付記６）
前記受付部により受付ける操作の履歴を記憶する操作履歴記憶部を備え、
前記第２判定部は、所定時間内における最頻出の操作を含んだ操作種類に対して定められている閾値を用いて、操作の連続性を判定するようにしてあることを特徴とする付記５に記載の電子機器。

（付記７）
前記閾値記憶部は、ユーザの複数の状態の組み合わせに応じて閾値を記憶してあることを特徴とする付記３に記載の電子機器。

（付記８）
操作間隔に対する閾値を設定する設定部を備え、
前記設定部により設定した閾値を前記閾値記憶部に記憶するようにしてあることを特徴とする付記３に記載の電子機器。

（付記９）
前記計測部は、所定時間内に操作された回数を計測するようにしてあることを特徴とする付記３から付記８の何れか１つに記載の電子機器。

（付記１０）
ユーザによる操作を受付け、
受付けた操作の連続性を判定し、
ユーザの状態に応じた情報を収集し、
収集した情報に基づいてユーザの状態が変化したか否かを判定し、
ユーザの状態に応じて規定してあり、操作内容と実行すべき処理内容との関係を示す操作ルールの適用タイミングを、ユーザによる操作の連続性及びユーザの状態変化の判定結果に従って制御し、
ユーザによる操作を受付けた場合、前記判定結果に従って制御される適用タイミングにて適用される操作ルールに基づいて実行すべき処理内容を決定し、
決定した処理内容に従って処理を実行することを特徴とする電子機器の制御方法。

（付記１１）
コンピュータに、受付けた操作の連続性を判定させるステップと、
コンピュータに、外部から取得した情報に基づいてユーザの状態が変化したか否かを判定させるステップと、
コンピュータに、ユーザの状態に応じて規定してあり、操作内容と実行すべき処理内容との関係を示す操作ルールの適用タイミングを、ユーザによる操作の連続性及びユーザの状態変化の判定結果に従って制御させるステップと、
コンピュータに、ユーザによる操作を受付けた場合、前記判定結果に従って制御される適用タイミングにて適用される操作ルールに基づいて実行すべき処理内容を決定させるステップと、
コンピュータに、決定させた処理内容に従って処理を実行させるステップと
を実行させることを特徴とするコンピュータプログラム。

１ 入力モジュール（受付部）
２ 情報収集モジュール（情報収集部）
３ 操作認識モジュール（第２判定部）
４ 状態認識モジュール（第１判定部）
５ ルール制御モジュール（処理内容決定部）
６ 操作ルールデータベース（記憶部）
７ アプリ制御モジュール（実行部）
８ アプリケーション群

Claims (5)

1. ユーザによる操作を受付ける受付部と、
   ユーザの状態に応じた情報を収集する情報収集部と、
   ユーザの状態に応じて規定してあり、前記受付部により受付ける操作内容と実行すべき処理内容との関係を示す操作ルールを記憶する記憶部と、
   前記情報収集部が収集した情報に基づき、ユーザの状態が変化したか否かを判定する第１判定部と、
   前記受付部により受付ける操作の連続性を判定する第２判定部と、
   前記受付部にてユーザによる操作を受付けた際に適用する操作ルールの適用タイミングを、前記第１及び第２判定部による判定結果に従って制御する制御部と、
   前記受付部にてユーザによる操作を受付けた場合、前記制御部により制御される適用タイミングに従って適用する操作ルールに基づき、実行すべき処理内容を決定する処理内容決定部と、
   該処理内容決定部が決定した処理内容に従って処理を実行する実行部と
   を備えることを特徴とする電子機器。
2. 前記第１判定部がユーザの状態が変化したと判定し、かつ前記第２判定部が操作が連続していると判定した場合、前記制御部は、変化前のユーザの状態に応じた操作ルールを維持するようにしてあり、
   前記第１判定部がユーザの状態が変化したと判定し、かつ前記第２判定部が操作が連続していないと判定した場合、前記制御部は、変化前のユーザの状態に応じた操作ルールを、変化後のユーザの状態に応じた操作ルールに切り替えるようにしてある
   ことを特徴とする請求項１に記載の電子機器。
3. 前記受付部により受付ける操作の操作間隔を計測する計測部と、
   閾値を記憶する閾値記憶部と
   を備え、
   前記第２判定部は、前記計測部が計測する操作間隔と前記閾値記憶部に記憶されている閾値との長短により、操作の連続性を判定するようにしてあることを特徴とする請求項１又は請求項２に記載の電子機器。
4. ユーザによる操作を受付け、
   受付けた操作の連続性を判定し、
   ユーザの状態に応じた情報を収集し、
   収集した情報に基づいてユーザの状態が変化したか否かを判定し、
   ユーザの状態に応じて規定してあり、操作内容と実行すべき処理内容との関係を示す操作ルールの適用タイミングを、ユーザによる操作の連続性及びユーザの状態変化の判定結果に従って制御し、
   ユーザによる操作を受付けた場合、前記判定結果に従って制御される適用タイミングにて適用される操作ルールに基づいて実行すべき処理内容を決定し、
   決定した処理内容に従って処理を実行することを特徴とする電子機器の制御方法。
5. コンピュータに、受付けた操作の連続性を判定させるステップと、
   コンピュータに、外部から取得した情報に基づいてユーザの状態が変化したか否かを判定させるステップと、
   コンピュータに、ユーザの状態に応じて規定してあり、操作内容と実行すべき処理内容との関係を示す操作ルールの適用タイミングを、ユーザによる操作の連続性及びユーザの状態変化の判定結果に従って制御させるステップと、
   コンピュータに、ユーザによる操作を受付けた場合、前記判定結果に従って制御される適用タイミングにて適用される操作ルールに基づいて実行すべき処理内容を決定させるステップと、
   コンピュータに、決定させた処理内容に従って処理を実行させるステップと
   を実行させることを特徴とするコンピュータプログラム。

Images