JP2012527810A - モバイル機器におけるコンテキスト認識 - Google Patents

Abstract

モバイル機器および／またはそのユーザーのコンテキストを示すデータを取得するためのいくつかの検知エンティティ（２３０）、そのデータを利用する、複数の代表的な特徴値を決定するための特徴決定論理（２３０）、および分類動作中に、複数の特徴値をコンテキストクラスにマッピングするように構成された、適合線形分類器（２３４）を含むコンテキスト認識論理（２２８）を備えたモバイル機器（１０２）であって、その分類器がさらに、特徴値およびそのモバイル機器のユーザーによるフィードバック情報に基づき、その分類論理を適合させる（２３６）ように構成されている。そのモバイル機器で実行される方法が提示されている。
【選択図】図１

Description

本発明は、概してモバイル機器に関する。詳細には、本発明は、かかる機器におけるコンテキストアウェアネスおよびコンテキスト認識に関する。

伝統的に、コンピュータなどの様々な電子機器は、全くコンテキストに依存していない、すなわち、各機器は、その機器および／またはそのユーザーに関連するコンテキストに関係なく、同じような方法で動作するようにプログラムされてきた。最近になって、コンテキストアウェアネスの概念が、機器およびアプリケーションの開発者の間で普及してきた。今日、多くの電子装置が、周辺環境に関するリアルタイムデータを提供するように構成され得る内蔵式センサーを含む。収集されたデータに基づき、現在のコンテキスト、すなわち、物理的環境状態、機器の状態、および／またはユーザーの生理的状態などを推定することが可能である。それ故、コンテキスト情報は、コンテキストアウェアなアプリケーション、サービス、および機器でのコンテキスト依存ＵＩ（ユーザーインタフェース）などの機能性の実装に利用され得る。

コンテキストアウェアネスは、一般に、能動的または受動的であり、すなわち、それぞれ、機器が検出されたコンテキストに基づき、アプリケーションなど、その現在の機能性に自動的に適合し得るか、または、その後のユーザー制御の調整動作への跳躍台として使用するため、観測された現在のコンテキストの詳細をユーザーに提示し得るだけである。さらに、コンテキストアウェアネスは、直接的および間接的なアウェアネスに分けられ得、そこで、直接的アウェアネスは、例えば、内蔵式センサー経由など、実質的に他の要素と無関係に現在のコンテキストを確立し得る機器によってサポートされる一方、間接的コンテキストアウェアな機器は、ネットワークインフラストラクチャなど、外部エンティティによって決定および提供されるコンテキスト情報により依存する。

コンテキスト認識システムシステムのコアは、通常、いくつかのセンサーで提供された現在の観測をコンテキストにマッピングする分類アルゴリズムである。分類自体は、かなり成熟した研究分野であり、特にパターン認識の研究分野において、分類手法に関するいくつかの文献が存在する。また、モバイルコンテキストおよび活動認識に関する研究がこれまで実施されてきた。いくつかの分類研究で、研究所外の実際のデータに関する総認識精度は、約６０〜９０％の間で変動することが示されている。ほとんどの研究において、利用された分類器は標準的なものであり、それらに対する訓練および認識のための計算要求は極めて高い。確かに、機器の移動性は、パターン認識アルゴリズムの適用性に対するいくつかの課題を課す。例えば、計算、メモリ、および電源資源は、携帯端末またはＰＤＡ（パーソナルデジタルアシスタント）などのモバイル機器では、多くの場合かなり制限されている。あるいは、コンテキストアウェアネスは、いくつかのモバイルソリューションでは、実際のコンテキスト認識アルゴリズムの代わりに、例えば、閾値に基づく比較論理を用いて、利用可能なセンサー値のかなり簡易な分析によって達成されているが、コンテキスト認識／検出の達成可能な多用途性、分解能および精度はそれに応じて同様に低い。

例えば、公開ＵＳ２００２１６７４８８は、加速度計によって実施された傾斜センサーなど、少なくとも１つのセンサーを含むモバイル機器を開示しており、それは、そのモバイル機器が手に持たれているか否かなどのコンテキスト情報を提供する。モバイル機器が入力メッセージ、または通知を受信すると、その機器は、少なくとも一部はコンテキスト情報に基づいて、それに応答する。

本目的は、従来技術の解決策において明らかな欠点の少なくともいくつかを緩和して、モバイルコンテキスト認識に対して実現可能な代替手段を提供することである。

本目的は、本発明によるモバイル機器および方法によって達成される。考案された解決策は、モバイル使用のために適合されたコンテキスト認識アルゴリズムの利用を包含する。検出および認識されるコンテキストは、例えば、様々なスポーツ活動など、ユーザーの活動および／または生理的状態の様々なコンテキストを含み得る。追加または代替として、環境および／または機器の状態のような他のコンテキストも提案された解決策で認識され得る。

従って、本発明の一態様では、モバイル機器および／またはそのユーザーのコンテキストを示すデータを取得するために、いくつかの検知エンティティが使用され、そのモバイル機器は、
データに基づいて複数の代表的特徴値を決定するための特徴決定論理であって、その特徴が好ましくは実質的に線形分離可能である、特徴決定論理と、
分類動作中に、複数の特徴値をコンテキストクラスにマッピングするように構成された、適合線形分類器を含むコンテキスト認識論理であって、その分類器が、特徴値およびそのモバイル機器のユーザーによるフィードバック情報に基づき、その分類論理を適合させるようにさらに構成された、コンテキスト認識論理とを備える。

モバイル機器の前述の要素は、実質的に動作し、それらの実施は、必要なら、各特定の実施形態に応じて、相互に統合され得る。例えば、一実施形態では、コンテキスト認識論理は、特徴決定論理を含む。前述の論理は、少なくとも一部は、処理エンティティで実行されるコンピュータソフトウェアによって実装され得る。

分類器は、例えば、利用可能なデータ／特徴値対指示されたコンテキスト情報に基づき、指導学習などによって最初は訓練され得る。例えば、かかる情報は、複数の異なるユーザーから収集され得るため、広く適用可能で、パーソナライズされていない分類器の初期状態を提供し得、それは、平均して合理的にうまく機能し得る。従って、パーソナライズ化など、オンライン／実行時適合は、モバイル機器のユーザーによる直接的または間接的なフィードバックを受信すると、行われ得る。分類器の適合に使用されるフィードバックがただ一人のユーザーのものである場合は、適合もパーソナライズ化である。モバイル機器は、例えば、その機器の各ユーザー（プロファイル）に対して１つなど、複数の分類論理設定を持つ分類器を含み得る。

一実施形態では、適用されるフィードバック情報は、データおよび、特定の分類動作を考慮してそれから導出された特徴値のための正しいコンテキストを明示的に示す、直接的フィードバック（〜ガイダンス）データ、すなわち、ユーザー入力を含む。従って、ユーザーは、直接的フィードバックを通して、分類器の実際の起動後に自動分類動作間の実行中に、柔軟（例えば、ユーザーが分類器を支援および育成する意思がある時に断続的に）かつ巧みに、分類器を指導し得る。ユーザーが正しいコンテキストを直接指示するので、対応する特徴に対して自動分類ラウンドを実行する必要がない。代わりに、分類器は、分類器を適合させるため、データおよび／または対応する特徴値を利用し得る。

追加または代替のいずれかの、一実施形態では、フィードバックは、正／負のフィードバック、＋／−フィードバックなど、分類器による分類動作の後に取得されたより間接的なフィードバック、または自動的に実行された分類および／またはその分類に基づきモバイル機器によって行われた後続動作の質ならびに正確さのその他専用指示を含む。２つのキーやタッチスクリーン上の領域など、モバイル機器のＵＩは、この種のコンテキスト関連のフィードバックをユーザーから獲得するように構成され得る。例えば、アスタリスクやその他の記号の付いたキー、数字、またはその上に印刷された文字は、正のフィードバック（正しい自動分類）に関連付けられ得、また、例えば、番号記号など、他のキーは負のフィードバック（間違った自動分類）に関連付けられ得る。分類器は、フィードバックの本質が考慮に入れられるように、適合され得る。

代替または追加として、間接的なフィードバックは、さらにより間接的なユーザーフィードバックを含み得、それは、モバイル機器に関連する能動的および／または受動的な動作など、ユーザーの反応から推論され得る。例えば、アプリケーションの起動やモードの切り替え、またはビューの表示など、自動化動作の実行をトリガーするため、モバイル機器によってコンテキスト認識が使用され、かつ、ユーザーが、例えば、動作から所定の期間内に、起動されたアプリケーション、モードまたはビューを閉じる／変更する、など、動作を放棄する場合、かかるユーザーの反応は、コンテキスト分類イベントの観点からすれば、負の間接的なフィードバックであり得、分類器は、それに応じて適合される。他方、ユーザーが自動化動作に対して受動的であるか、または、例えば、自動コンテキストトリガーアプリケーションを使用して開始する場合、かかる反応は、分類器の適合に関して正のフィードバックとみなされ得る。

追加または代替のいずれかの、さらなる実施形態では、適合中に、直接的で明示的なフィードバックの場合、取得された特徴（値）のベクトルのクラスの、「プロトタイプ」または「セントロイド（ｃｅｎｔｒｏｉｄ）」とよく呼ばれる、理想ベクトルは、例えば、指数移動平均（ＥＭＡ）または他の更新アルゴリズムを用いて更新され得る。間接的な正または負のフィードバックの場合、理想ベクトルは、新しい特徴ベクトルと古い理想ベクトルとの間の重み付き差異に基づいて決定される量により、それぞれ、新しい特徴（値）ベクトルに対して近づいたり遠ざかったりし得る。以下でより詳細に説明される目的のために、例えば、学習ベクトル量子化（ＬＶＱ）が適用され得る。

追加または代替のいずれかの、一実施形態では、コンテキスト認識に対する特徴が、ＳＦＳ（ｓｅｑｕｅｎｔｉａｌ ｆｏｒｗａｒｄ ｓｅｌｅｃｔｉｏｎ）またはＳＦＦＳ（ｓｅｑｕｅｎｔｉａｌ ｆｌｏａｔｉｎｇ ｆｏｒｗａｒｄ ｓｅｌｅｃｔｉｏｎ）アルゴリズムを用いて選択される。

前述を考慮して、代替または追加のさらなる一実施形態では、モバイル機器は、検出されたコンテキストを利用するように構成され得、すなわち、機器は、能動的なコンテキストアウェアネスをサポートし、コンテキストに基づき、その１つまたは複数の機能性を調整し得る。例えば、モバイル機器は、コンテキストに応じて、グループから選択された少なくとも１つの動作を実行するように構成され得、そのグループは、機器のＵＩの適応、アプリケーションの適合、メニューの適合、サービスの適合、プロファイルの適合、モードの適合、アプリケーションのトリガー、アプリケーションのクローズ、アプリケーションの表示、ビューの表示、ビューの最小化、キーパッドまたは少なくとも１つまたは複数のキーもしくは他の入力手段のロック、接続の確立、接続の終了、データ転送、メッセージ送信、音を鳴らすなど音声出力のトリガー、振動装置などの触覚フィードバックの起動、ディスプレイの起動、アプリケーションへのデータ入力、および機器のシャットダウンから成る。もう１つの具体的な例示的使用事例として、ゴルフや他のスポーツ活動など、ある活動コンテキストを認識すると、モバイル機器は、例えば、小数点計算機などのコンテキスト関連アプリケーションのトリガーおよび／または関連のない機能性の終了を行い得る。追加または代替として、その機器は、受動的なコンテキストアウェアネスをサポートし得、すなわち、コンテキストを認識するが、自動的にはそれに適応しない。ユーザーが、その後、コンテキストを観測して、関連する動作を実行する。

一実施形態では、少なくとも１つの検知エンティティは、温度、加速度、または光（強度）などの物理量を捕捉するセンサーを含み、それを電気的、好ましくはデジタルの、信号に変換する。追加または代替のいずれかの、別の実施形態では、少なくとも１つの検知エンティティは、メモリ内容および／またはアプリケーション／データ転送状態など、モバイル機器の内部状態に関するデータを提供するように構成された、例えば、「ソフトウェアプローブ」や「ソフトウェアセンサー」などの検知論理を含む。また、専用ソフトウェアおよびハードウェア要素を持つ複合検知エンティティも使用され得る。

モバイル機器は、直接的なコンテキストアウェアネスをサポートし得る、すなわち、検知エンティティとなるものを内蔵し得る。代替または追加として、モバイル機器は、間接的なコンテキストアウェアネスをサポートし得る、すなわち、そのモバイル機器に有線または無線で接続された外部センサー装置など、外部の機能的に接続されたエンティティから検知データを受信する。モバイル機器の基本ユニットおよび接続された検知エンティティは、それ故、本発明のコンテキストにおいて、機能的なモバイル機器の集合体を形成し得る。

追加または代替のいずれかの、一実施形態では、分類器は、最小距離分類器を含む。

追加または代替のいずれかの、一実施形態では、コンテキストを示す検出されたデータは、温度、圧力、加速度、光測定、時間、心拍数、位置、アクティブなユーザープロファイル、行事データ、バッテリー状態、およびマイクロホン（音声）データから成るグループから選択された、少なくとも１つのデータ要素に関連する。例えば、コンテキスト決定時における行事が、「サッカー」などの活動を示す場合、それは、例えば、その行事の指示が収まるコンテキストの可能性を上げるため、または１つの特徴値として、認識プロセスにおいて活用され得る。

一実施形態では、異なる特徴の特徴値がサンプルベクトルを形成し、そこで、各特徴値は、バイナリ／ブールおよび／または他のタイプ、例えば、所定のより広範囲の数値であり得る。

本発明の別の態様では、モバイル機器によってコンテキストを認識するための方法は、
モバイル機器および／またはそのユーザーのコンテキストを示すデータを取得することと、
データに基づき、少なくともそのデータの一部を表す複数の特徴値を決定することと、
適合線形分類器によって、複数の特徴値をコンテキストクラスに分類することと、
特徴値およびユーザーによるフィードバック情報に基づき、分類器の分類論理を適合させることと、を含む。

モバイル機器の様々な実施形態に関して、以前に提示された検討事項は、変更すべきところは変更してその方法に適応され得る。

本発明の有用性は、各特定の実施形態に応じた複数の課題から得られる。好ましい適合分類器は、計算的に軽くて、ほとんどの他のアルゴリズムよりも少ないメモリしか消費せず、このため、モバイル機器のバッテリーを節約して、他の同時タスクを実行するための処理電力を残す。適合性は、スタティックなオフラインアルゴリズムで取得されるよりも相当高い分類精度をもたらす。解決策では、継続的学習を指導として本質的にサポートし、特別な訓練フェーズなどに入ることなく、分類器が実行できる。訓練は、実質的に追加のメモリ空間を必要としない。実質的に線形分離可能な特徴の好ましい選択によって、線形分類器の性能がさらに向上する。

「いくつかの（ａ ｎｕｍｂｅｒ ｏｆ）」という表現は、本明細書では、１から始まって、例えば、１、２、または３までの任意の正の整数を指す。

「複数の（ａ ｐｌｕｒａｌｉｔｙ ｏｆ）」という表現は、本明細書では、２から始まって、例えば、２、３、または４までの任意の正の整数を指す。

本発明の異なる実施形態は、従属の請求項で開示される。

次に、本発明は、添付の図を参照して、より詳細に説明される。

本発明の一実施形態の概念を示す。 本発明による、モバイル機器の一実施形態の内部詳細を示す。 本発明の一実施形態に関連して、コンテキスト認識精度における特徴数の効果を表す。 本発明の一実施形態に関連して、コンテキスト認識精度における適合の効果を表す。 携帯電話のプラットフォームおよび異なる分類アルゴリズムを考慮したバッテリー寿命を表す。 それに応じて、異なる分類器での平均ＣＰＵ負荷を表す。 本発明による一方法の実施形態を開示する流れ図である。

図１は、本発明の一実施形態による、本発明の包括的概念を示す。例えば、携帯電話、ＰＤＡ（携帯情報端末）、スマートフォン、リストップ（ｗｒｉｓｔｏｐ）、腕時計もしくはリストコンピュータ、音楽プレーヤー、またはマルチメディアビューアなどのモバイル機器１０２は、機器１０２および／またはそのユーザーのコンテキストを感知し、それに応じてその機能性を任意で制御できるように構成され得る。例えば、機器１０２は、ランニング活動１１０、座るかまたは横になる活動（または、従って「不活動」）１１２、サイクリング活動１１４、サッカー活動１１８ならびに／または他の身体的および／もしくはスポーツ活動の他に、例えば、光強度１２２、温度１２４、時間／時間的コンテキスト１２０、および／または行事１１６を認識および区別するように構成され得る。

モバイル機器１０２は、特徴決定およびコンテキスト分類を特徴付けるための必要な測定、または「生」データを提供する様々なセンサーなど、統合されているか、かつ／または少なくとも機能的に、すなわち無線もしくは有線で接続された検知エンティティを含み得る。検知エンティティは、何らかの物理量を検知するセンサーなど、特定のハードウェア、および／または所定の検知データを取得する特定のソフトウェアを含み得る。ある検知エンティティは、カレンダーデータまたは機器（ＳＷ）状態データなど、機器に保存されているデータに関連したデータを取得するエンティティなど、実質的にソフトウェアベースであり得る。

検知エンティティは、加速度計、温度センサー、ＧＰＳ（全地球測位システム）受信機などの位置センサー、脈拍／心拍センサー、および／または光度計などの１つまたは複数のセンサーを含み得る。

モバイル機器１０２は、好ましくは、分類を実行するために必要な全ての論理を含むか、または少なくとも、１つもしくは複数の機能的に接続された外部検知エンティティと協力して実行し得る。あるいは、分類の少なくとも一部が、１つまたは複数の（無線および／または有線の）ネットワーク１０６を経由してアクセス可能なサーバー１０４など、外部エンティティで実行され得、その場合、モバイル機器１０２は、分類手順に関しては、自己完結していないが、計算、メモリ、およびバッテリー資源は、その代わりに節約され得る。

いくつかの使用状況では、例えば、心拍モニター経由でのユーザー状態の検知を通して取得される生理的データなど、実質的なユーザー関連データは、特徴（値）決定のために収集され得る。他の状況では、機器状態情報および／またはメモリ内容情報などの機器関連情報が収集され得る。さらに別の状況では、温度または明度情報などの環境データが収集され得る。異なる種類のソースデータも同じコンテキスト認識手順で利用され得る。一般に、コンテキスト分類目的のために収集されるデータは、それ故、本明細書で提供される技術に従い、利用可能な検知機能およびコンテキストの本質に応じて、当業者により、各使用事例について柔軟に決定され得る。

生データは、例えば、所定のサンプリング窓を用いて、所定のサンプリングレートでサンプリングされ得る。生データは、コンテキスト認識で使用される、対応するより高いレベルの特徴値に変換され得、それは、時間領域、周波数領域、および／または他の領域特徴を参照し得る。特徴値は、所望の分解能、例えば、時間分解能に一致させるために補間され得る。モバイル機器１０２で利用可能ないくつかのデータは、コンテキスト認識手順において、１つまたは複数の特徴として直接適用可能である、すなわち、そのデータからの別のより高いレベルの特徴決定（例えば、時間的生データ値を平均化することにより）は必要ない。

図２は、少なくとも機能的観点から、本発明によるモバイル機器１０２の一実施形態の内部詳細２０２を示す。モバイル機器１０２は、通常、例えば、１つまたは複数のマイクロプロセッサ、マイクロコントローラ、ＤＳＰ（デジタル信号プロセッサ）、プログラマブル論理チップなど、命令および他のデータが処理可能な１つまたは複数の処理装置を備える。処理エンティティ２２０は、それ故、機能エンティティとして、例えば、複数の相互に協働するプロセッサおよび／または中央処理装置に接続されたいくつかのサブプロセッサを包含し得る。処理エンティティ２２０は、メモリ２２６に格納されたコードを実行するように構成され得、そのコードは、機器１０２のユーザーおよび／または機器１０２内の他の内部エンティティに現在のコンテキスト分類を提供するためのコンテキスト分類ソフトウェア２２８など、コンテキスト分類論理に関連した命令およびデータを参照し得る。ソフトウェア２２８は、そのタスクを実行するための専用または共有プロセッサを利用し得る。同様に、メモリエンティティ２２６は、１つまたは複数の物理的メモリチップまたは他の記憶素子に分割され得る。メモリ２２６は、さらに、例えば、好ましくは取り外し可能なメモリカード、フロッピィディスク、ＣＤ−ＲＯＭ、またはハードドライブなどの固定記憶媒体など、他の記憶媒体を参照および包含する。メモリ２２６は、本来、不揮発性（例えば、ＲＯＭ（読出し専用メモリ））、および／または揮発性（例えば、ＲＡＭ（ランダムアクセスメモリ））であり得る。検知エンティティ２３０は、コンテキスト決定用のソースデータを取得するためのセンサーおよび／または専用ソフトウェア要素を含み得る。ソースデータは、「生」形式から、コンテキスト認識論理、特に分類器で使用される、より高レベルの特徴（値）に変換され得、かつ／またはそのデータは、本明細書で前に熟考されたものとして直接実行可能であり得る。

ＵＩ（ユーザーインタフェース）２２２は、ディスプレイ、および／または外部ディスプレイもしくはデータプロジェクタへのコネクタ、およびキーボード／キーパッドまたは、機器１０２のユーザーに実用的なデータ視覚化および機器制御手段を提供するように構成された他の適用可能な制御入力手段（例えば、タッチスクリーンもしくは音声制御入力、または別個のキー／ボタン／ノブ／スイッチ）を包含し得る。ＵＩ ２２２は、１つまたは複数のスピーカーおよび音声出力用のＤ／Ａ（デジタル‐アナログ）変換器などの関連回路、および音声入力用のＡ／Ｄ変換器を備えたマイクロホンを含み得る。さらに、機器１０２は、他の機器との一般通信および／もしくはネットワークインフラストラクチャ用の、ＷＬＡＮもしくはＧＳＭ（登録商標）／ＵＭＴＳ送受信機などの無線送受信機、ならびに／または、端末装置、外部センサーなどの周辺機器、もしくはネットワークインフラストラクチャなど、他の機器との通信用の１つまたは複数の有線インタフェース（例えば、ＦｉｒｅｗｉｒｅまたはＵＳＢ（ユニバーサルシリアルバス））などの他の無線または有線のデータ接続手段を含む、例えば、無線部分２２４を包含する送受信機を含み得る。機器１０２は、有益な通信、処理または他の機能を提供するための多数の追加の機能的および／または構造的要素を含み得るため、本開示は追加の要素の存在をいかなる方法でも制限するものでないと解釈されることが、当業者には明らかである。

要素２２８は、通常、メモリ２２６に格納されて、処理エンティティ２２０によって実行されるソフトウェアとして実装された、コンテキスト認識論理２２８の唯一の機能的な実施例を表す。その論理は、データ入力（測定生データ、フィードバックなど）および出力（分類など）を含むホスト装置１０２の他の部分とのやりとりのための、入出力モジュール２３８を持つ。全体制御論理２３２は、論理２２８によって実行される様々なタスクの協調を担当する。特徴決定ブロック２３０は、その後、特徴値（例えば、複数の特徴値から成るｎ次元の特徴ベクトル）をコンテキストにマッピングする分類器２３４で使用するために提供されたデータから特徴値を決定、または「抽出」し得る。任意で、特徴決定ブロック２３０、または他の好ましいエンティティも、例えば、所望の特徴選択アルゴリズムを利用して、実際の特徴選択のために使用され得る。適合エンティティブロック２３６は、フィードバックから取得した特徴値に基づき、分類器２３４の分類論理の適合を担当する。

次に、分類のために可能な一開始点として、特に最小距離分類器を考えてみると、各サンプルがいくつかの特徴値を含む、サンプルの分類を達成するためのやや簡単な一方法は、サンプルから、可能な最高の方法でクラスを表す理想的な要素までの距離を計算し、その後、距離が最小となるクラスを選択することである。サンプルがＮ次元のベクトル空間で表現される場合、各クラスを分離するＮ−１次元の超平面があるであろう。かかる場合には、各クラスの理想的な要素として、例えば、平均値を使用するのが当然であろう。

より厳密には、分類手順全体は、次のように表現できる：Ｎ次元のサンプルをＣクラスの１つに関連付ける必要がある分類タスクを考える。各クラスｊ＝１，．．．，Ｃに対して、Ｉ^ｊ訓練サンプル

がある。さらに、ｃ^ｊが理想ベクトル（「セントロイド」または「プロトタイプ」と呼ばれ得る）を表すとすると、クラスｊに対しては、すなわち：

ここで、クラスｊ^＊への分類は、次のように実行され得る：

式中、

は、最も近い理想ベクトルおよび、従ってそれによって表されるクラスを決定するための、ユークリッドノルムなど、選択されたノルムである。

前述した線形分類器には、ある利点がある。それは、計算および空間要求が少ない。様々なモバイルプラットフォーム上での実施が簡単であり、分類器の教育は非常に効率的である。さらに、分類器は以降で説明する通り、強化可能である。

実際の環境では、データはほとんど完全には線形分離可能ではないが、特徴の適切なセット、すなわち、クラスの線形分離可能性を最大限にする特徴を選択すると、形分類器でも望ましい分類精度を線実現することが可能である。

適合線形分類器は、好ましくは、分類器の性能を向上するように構築される。前述に基づき明らかなように、分類器は、特徴空間をクラス空間にマッピングする。計算的に要求の多い一フェーズは、分類器の内部パラメータの決定に関連し、このフェーズは、多くのデータも必要とする。従って、通常、モバイル機器において、オンラインまたは「リアルタイム」の方法で、パラメータを決定することは不可能である。しかし、計算的に軽量の分類アルゴリズムは、オンライン学習をサポートするように、確立および構成し得る。

従って、分類器がコンテキストの決定に適用されるたびに、新しい特徴値ベクトルが取得されて、分類器の適合に利用される。これがどのように達成されるかは、例えば、機器のユーザーからどのような種類のフィードバックを得るかによって決まる。直接的なコンテキスト情報が、取得されたデータ（生の測定データおよび生成された特徴値）に関連して、ユーザーから、例えば、機器のＵＩを介して、例えば、オプションリストからのコンテキストの選択またはコンテキストの打ち込みで取得される場合、分類器の更新はもっと容易である。

ｉ_ｎｅｗを新しい特徴（値）ベクトルｘ_ｎｅｗのクラス（機器のユーザーによって指示されたコンテキスト）とする。すると、対応する平均は、例えば、次のように更新され得る：

式中、αは、好ましくは、十分に小さい学習率パラメータである。これは、算術平均、いわゆる指数移動平均（ＥＭＡ）を計算するための再帰アルゴリズムのラフバージョンである。ユーザーからのクラス情報は、いつも、すなわち、あらゆるコンテキスト分類動作（ラウンド）中に必要なわけではなく、新しいフィードバック情報が利用可能な場合に更新が行われ得ることにも留意する。

上述した更新方式は、ユーザーが直接的なフィードバックを提供する、すなわち、特徴ベクトルに関連するコンテキストおよび特徴ベクトルの後ろのデータを直接指示する場合に適用可能である。しかし、多くの場合、これは、ユーザーにとって悪名高いタスクであろう。

追加または代替のいずれかの別の可能性は、ユーザーから間接的なフィードバック信号だけを収集すること、すなわち、ユーザーは、いかにうまく実行されているかに関して分類器にフィードバックを行うだけである。そのため、更新は、暗黙のまたは間接的なフィードバックおよび分類命令に従って、実行され得る。ｉ^＊をコンテキストの推定値とする。ユーザーがフィードバック信号を提供し、それが正の場合、そのクラスに対する理想ベクトルは、例えば次のように、修正され得る：

式中、ｘ_ｎｅｗは新しい特徴（値）ベクトルである。言い換えれば、理想ベクトルは、新しい特徴ベクトルと古い理想ベクトルとの間の重み付き差異に基づき決定される量によって、新しい特徴（値）ベクトルに近づけられる。それに応じて、ユーザーが負のフィードバックを返すと、例えば次のように、更新が行われ得る：

言い換えれば、そのクラスの理想ベクトルは、新しい特徴ベクトルと古い理想ベクトルとの間の重み付き差異に基づいて決定される量により、特徴ベクトルから離される。上述した方程式では、βおよびγは、好ましくは十分に小さい学習率であり、それぞれ、正および負のフィードバックに対して、等しいかまたは等しくない（そして、同様にαに等しいかまたは等しくない）。これら２つの方程式は、学習ベクトル量子化（ＬＶＱ）アルゴリズムの特例である。

特徴選択方法の話題に戻ると、生データから数多くの異なる特徴を構築することが最初は可能である。しかし、実際の分類では、できるだけ少ない特徴を使用することが、計算的およびメモリ的の両方で賢いやり方である。特徴および生信号からの関連する特徴値の決定は、通常、多数の計算を必要とし、多すぎる特徴が使用される場合には、次善の結果を獲得することさえ可能である。好ましくは、実質的に線形分離可能な（例えば、ほぼまたは最大限に）特徴が、線形分類器のために選択される。

ＳＦＳ（Ｓｅｑｕｅｎｔｉａｌ Ｆｏｒｗａｒｄ Ｓｅｌｅｃｔｉｏｎ）は、多くのアプリケーションドメインで特徴選択のために使用される一方法である。ＳＦＳは、本発明のコンテキストでも適用され得る。ＳＦＳアルゴリズムにおける重要な考え方は、各時間ステップで、分類の精度を最も向上する特徴を、特徴の現在のプールに追加することである。言い換えれば、ＳＦＳアルゴリズムは、特徴空間で欲張り最適化を実行する。別の例示的な方法は、特徴の完全なセットから始めて、徐々にプールから特徴を除去する、ＳＢＳ（Ｓｅｑｕｅｎｔｉａｌ Ｂａｃｋｗａｒｄ Ｓｅｌｅｃｔｉｏｎ）と呼ばれる。さらなる一例として、ＳＦＦＳ（Ｓｅｑｕｅｎｔｉａｌ Ｆｌｏａｔｉｎｇ Ｆｏｒｗａｒｄ Ｓｅｌｅｃｔｉｏｎ）では、手順は２つの部分を含み、サブセットのための新しい特徴が、ＳＦＳ法によって追加される。最悪の特徴は、その後、以前のセットに対して改善が行われなくなるまで、条件付きで除外される。この方法は、ＳＦＳのネスティング効果を回避し、そこでは、廃棄された特徴はもう選択できない。特徴の包含および除外は、基準値を用いて推定される。それは、例えば、距離測定または分類結果であり得る。このアルゴリズムをより完全に説明するため、以前に選択された特徴で最善の基準を示す、新しい特徴が、特徴のサブセットに追加される（ＳＦＳ法）。条件付き除外が新しい特徴のセットに対して適用され、そこから最も重要でない特徴が決定される。最も重要でない特徴が、追加された最後の特徴である場合、アルゴリズムは、ＳＦＳによる新しい特徴の選択に戻る。そうでない場合、最も重要でない特徴は除外されて、利用可能な特徴のセットに戻り、条件付き除外が継続される。再度、最も重要でない特徴が決定されて、この特徴を持たない基準が、メモリ内の同じ数の特徴を持つ基準と比較される。基準が改善される場合、その特徴が除外されて、利用可能な特徴のセットに戻り、さらなる改善が行われなくなるまで、このステップが繰り返される。このサイクルは、以前に定義されたサブセットのサイズに達するまで、新しい特徴を追加することにより、最初から再び開始される。

本発明の適用性の一実施例を、テスト設定に関して以下で説明する。

加速度計および生理的センサーなど、種々のセンサーを用いて収集された実際のコンテキスト情報から成るデータセットが利用された。そのデータは、ランニングおよびウォーキングなど、様々なスポーツ活動で収集された。これらの単純な活動に加えて、例えば、買い物、レストランでの食事、簡易サッカー（二人の間でのボールのパス）など、いくつかの複合活動も記録された。調査では、焦点は、単純な活動およびサッカーに置かれた。腰および手首の加速度信号ならびに心拍信号が入力データとして使用された。特徴値は、対応する生信号に、時間領域（例えば最大値および最小値）と周波数領域（例えば、パワースペクトルエントロピー）の両方を含む、異なる窓長（例えば、１０秒）の窓をかけることによって計算された。特徴値は、時間分解能が１秒になるように、補間された。

データ取得用に２つの３Ｄ加速度計があったので、以下の表１に示す初期の特徴プールになった。

図３ａでは、分類精度が、コンテキスト認識のために使用された特徴の数に対してプロットされている。特徴は、ＳＦＳ法で選択された。この図から、最小距離分類器の視覚化された場合において、比較的高精度が、５つの特徴あたりで既に達成されていることが分かる。しかし、最大の精度を得るには、およそ１０または１１ほどの特徴を必要とする。図３ａの曲線は、使用した特徴選択法（この場合はＳＦＳ）によって決まり、それ故、この結果を他の特徴選択技術に単純に一般化することはできない。我々のテストでは、最終的に１０の特徴を使用した。

最小距離分類器用のＳＦＳ法およびＳＦＦＳ法で見つけた１０の特徴を持つ特徴セットを表２に示す。

最小距離分類器の場合、次元の１つ（Ｙ次元）が優勢であることが分かり、この成分から計算された全ての時間領域特徴が、両方のセットに存在する。静止状態では、すなわち、被験者がじっと立っている場合、このＹ次元が重力の方向と一致する。さらに、両方の自動特徴選択法が、結局、１つの加速度センサーのみから、ほとんど完全に取得された特徴セットで終わる。これは、ただ１つの内蔵する可能性のある加速度センサー（加速度計）を用いて、モバイル機器に分類器を実施して、かかるハードウェア的に簡略なコンテキスト認識システムで高いコンテキスト認識精度を合理的に獲得する可能性の証拠となる。そのシステムは、座ることと走ることなど、明らかにかけ離れた活動間で、特に信頼性のある認識を可能にする。

ほとんどの我々のテストでは、次の９つの活動、つまり、戸外での自転車こぎ、サッカー、横になること、ノルディックウォーキング、ボート漕ぎ器を使ったボート漕ぎ、ランニング、座ること、立つこと、およびウォーキングを使用した。

最小距離分類器を用いたＳＦＳ特徴選択法は、７３％の総分類精度を達成し、ＳＦＦＳは、同様に７２％の結果となった。両方の特徴選択法は、実質的に同様の結果をもたらし、それにより、活動は容易に検出可能な活動とより困難な活動に分類され得る。ＳＦＳ法とＳＦＦＳ法との間の総分類精度の違いはとても小さいが、実際は、個々の活動の認識精度に変動がある。複合活動のサッカーは、最小距離分類器の場合、ＳＦＳ特徴よりもＳＦＦＳ特徴でより上手く検出された。ボート漕ぎは、いくつかのテスト状況で、座っていることと混同された。その理由は、被験者が実際にボート漕ぎ器のベンチに座っていることと、動作が超低強度で行われると、普通に座っているものとして容易に誤って分類され得ることである。また、自転車こぎは、ウォーキングと混同され得る。これらの動作の両方とも、明らかに極めて短期間の周期運動である。それらの間の主な違いは、運動の強度である。ウォーキングでは、加速度信号の総エネルギーは、通常、自転車こぎよりもはるかに大きい。しかし、中には、少ないエネルギーの信号を生成する極めて滑らかなスタイルで歩く傾向の人がいて、分類エラーの原因となる。

一般に、分類器の教育（〜指導学習）フェーズでは、多数の計算および、通常、メモリ資源も必要とする。従って、各ユーザーの動作に自動的に適合可能なパーソナライズ化されたコンテキスト認識システムの実施は困難である。以下で、方式を更新する、前述した説明に基づくテスト結果を示す。適合処理の結果として、分類器は、フィードバックを返す人を考慮してパーソナライズされる。最初、分類器は、例えば、より大きなユーザーグループ（例えば、機器／分類器の製造会社によって利用されたユーザーのテストグループ）に基づいて調整され、その後、その使用中に各ユーザーに対して適合される。

テストの実行中、コンテキスト認識処理は、利用可能なデータセットおよび無作為化されたテスト設定を用いることによりエミュレートされた。各ラウンドで、無作為の活動が選択された。その後、無作為、固定長（約５〜約１００秒）の時間窓が選択された活動から分離された。その窓から計算された平均値が線形分類器で使用された。同一活動からの短時間窓はかなり異なるので、その活動の異なる特性を十分に網羅していることを確実にするため、手順は複数回、例えば約１０００００回繰り返された。本明細書で前に説明したとおり、各コンテキスト認識活動の後、機器のユーザーからフィードバックを得る必要はない。ユーザーの動作は、確率を伴うフィードバック信号を送信することにより、シミュレーションされた。また、ユーザーは機器の正しいコンテキストを知っているものと想定された。

獲得したコンテキスト認識精度における適合の効果を図３ｂに示す。学習率パラメータおよびフィードバック確率は０．１に設定された。使用した窓長は５秒である。平均すると、０．１の学習率では、ユーザー用に分類器を適合するには、約１０〜２０のフィードバックが必要であった。機器のユーザーによる個人のフィードバック情報に基づく適合は、このように、不適合の、パーソナライズ化されていない分類器（例えば、複数のユーザーからのより一般的な訓練データで訓練された分類器）とは対照的に、平均して、通常数パーセントだけ、例えば、約５〜１０パーセントだけ、全体の分類精度を向上させる。

窓が長ければ、それだけ良いコンテキスト認識精度（および増大した計算）をもたらし得る。単一データ値によって生じた不確実性は、サンプル窓を延ばすと減少するので、これは当然である。学習率パラメータを高めると、学習率が高すぎない限り、分類精度も向上する。学習率パラメータが高すぎる場合、分類器が個々のサンプルに対して感度が良過ぎて、総分類精度が低下する。約０．１未満の学習率パラメータが、パーソナライズ化タスクに適している。

本発明に関連して、分類の１つの目標は、モバイル機器で使用されるコンテキストを表し、特徴付ける利用可能なデータを用いて、高いコンテキスト認識精度を達成することである。特にモバイル機器では、認識に関する制約は、資源、すなわち、計算、メモリ（およびセンサーでさえ）空間、および電力の各資源の不足である。提案された適合線形分類器の資源要件は低い。分類方法自体がコンテキスト認識精度に影響するだけでなく、分類器に対する入力として使用される特徴も影響する。各分類器に対して適切な特徴のセットを見つけるべきである。前述した最小距離分類器の場合、特徴セットはほとんど、生データから効果的に計算され得る時間領域特徴から構成されていた。そのセットは、特徴が、ほとんど完全に腰の加速度センサーによる信号に基づいて決定され得るという、望ましい特性も持つ。これ自体も、少なくともある使用状況においては、コンテキスト認識のための、唯一の、内蔵可能な加速度センサーを適用することが可能であることを示している。コンテキスト認識システムをパーソナライズするための適合方法を実施することにより、コンテキスト認識精度を著しく向上させることが可能である。有利には、システムをパーソナライズ化するために、約１０のフィードバック信号がユーザーから取得されるであろう。パーソナライズ化により、簡単な最小距離分類器を用いて達成された精度は、より複雑なアルゴリズムを用いて達成された精度に匹敵する。

図３ｃは、異なる分類器を考慮した、携帯電話（テストプラットフォーム：Ｎｏｋｉａ Ｎ９５）の（１．２ Ａｈ）バッテリー寿命のグラフを開示する。グラフから分かるように、提案された線形（最小距離）分類器は、例えば、その計算の軽さのために、テストした中で、はるかに最もバッテリーを節約する分類アルゴリズムである。それに応じて、図３ｄでは、異なる分類器によって引き起こされる平均ＣＰＵ負荷（テストプラットフォーム：Ｎｏｋｉａ Ｎ９５）のグラフを開示する。

図４は、例示のみの目的で、本発明の一実施形態による方法の流れ図を開示する。４０２で、本発明によるモバイル機器が取得され、例えば、関連ソフトウェアおよび検知エンティティのインストレーションおよび実行によって、コンテキスト認識のために構成される。分類器で使用される特徴が決定され得る。４０４で、モバイル機器および／またはそのユーザーのコンテキストを示すデータが取得される。４０６で、データの少なくとも一部を表す１つまたは複数の特徴値が決定される。４０８で、好ましくは、適合線形分類器を含むコンテキスト認識論理が、分類動作中に、特徴値をコンテキストクラスにマッピングする。フィードバックが４１０で取得される場合、分類器は、４１２で、特徴値およびモバイル機器のユーザーによるフィードバック情報に基づきその分類論理を適合させるよう、さらに構成される。取得されたフィードバックが直接的で、明示的なフィードバック（すなわち、データを捕捉すると、ユーザーが正しいコンテキストクラスを提供する）の場合（図示せず）、ユーザーによって直接指示された通り、コンテキストが好ましく選択されて、分類器はその実際の分類アルゴリズムの実行を省略し得る。しかし、分類論理は、本明細書で前述した通り、直接的に指示されたコンテキストに従って、好ましくはさらに更新される。方法の実行は、４１４で終了する。破線の矢印は、方法実行の潜在的に継続する本質を表す。方法ステップの相互の順序付けは、各特定の使用状況により、要件設定に基づき当業者によって変更され得る。

その結果として、当業者は、本開示および一般知識に基づき、添付の請求項によって定義される通りの本発明の範囲を、必要な変更および追加を行って、各特定の使用状況において実施するために、提供された技術を適用し得る。例えば、コンテキスト認識イベントの信頼性が評価され得る。例えば、最も近いセントロイドまでの距離が、最小距離分類器の場合に決定される。信頼性がそれほど高くない（例えば、距離が所定の閾値を超える）場合、コンテキスト認識手順では、他の機器からの分類情報が有効であろう。最小距離分類器は、その後、協調コンテキスト認識領域を利用し得、そこでは、例えば、対応するイベントの分類に関する平均データが利用でき、不確かな場合は、独立した分類器が続き得る。さらに、適合線形分類器の代わりに、本明細書で前述した基本原理に従って、別の種類の適合分類器を利用し得る。あるいは、好ましくはさらに、特徴決定論理が、線形分離機の性能向上のため、それらが実質的に、例えば、最大限にまたはほぼ、線形分離可能になるように、選択された特徴（少なくともいくつか、好ましくはそれらの全て）を適用するのであれば、非適合線形分類器さえ本発明のコンテキストにおいて利用され得る。

Claims (20)

1. モバイル機器（１０２）であって、
   前記モバイル機器および／またはそのユーザーのコンテキストを示す検知データに基づき、複数の代表的特徴値を決定するための特徴決定論理（２３０）と、
   分類動作中に、前記複数の特徴値をコンテキストクラスにマッピングするように構成された、適合線形分類器（２３４）を含むコンテキスト認識論理（２２８）であって、前記分類器が、前記特徴値および前記モバイル機器の前記ユーザーによるフィードバック情報に基づき、その前記分類論理を適合させる（２３６）ようにさらに構成されている、コンテキスト認識論理と、を備える、モバイル機器。
2. 前記モバイル機器および／またはそのユーザーの前記コンテキストを示す前記検知データを取得するためのいくつかの検知エンティティ（２３０）を備える、請求項１に記載のモバイル機器。
3. 前記コンテキスト分類で適用された複数の特徴が相互に実質的に線形分離可能である、請求項１、２のいずれかに記載のモバイル機器。
4. 前記実行された分類に関する正または負のフィードバックについて、前記認識されたクラスのプロトタイプ特徴値ベクトルが、それぞれ前記複数の特徴値によって決定された前記特徴ベクトルに対して近づいたり、遠ざかったりするように、前記分類器がその前記分類論理を適合させるように構成されている、請求項１〜３のいずれかに記載のモバイル機器。
5. 前記適合量が、前記新しい特徴ベクトルと古い理想ベクトルとの間の重み付き差異に、少なくとも部分的に基づいて決定される、請求項４に記載のモバイル機器。
6. 前記適合が、指数移動平均（ＥＭＡ）に基づく、請求項４または請求項５に記載のモバイル機器。
7. コンテキスト分類フィードバックを、前記モバイル機器に関して、前記ユーザーの前記１つまたは複数の動作から、または動作がないことから推測するように構成された、請求項１〜６のいずれかに記載のモバイル機器。
8. 前記モバイル機器の前記ユーザーのための前記コンテキスト認識論理を、前記ユーザーによるフィードバックに基づく適合を通してパーソナライズするように構成された、請求項１〜７のいずれかに記載のモバイル機器。
9. 前記データのための正しいクラスの指示を含め、前記ユーザーからの直接的なフィードバックを取得するように構成され、前記クラスのプロトタイプ特徴値ベクトルが前記データおよび／またはそれから導出された特徴に基づいて適合される、請求項１〜８のいずれかに記載のモバイル機器。
10. 前記適合が学習ベクトル量子化（ＬＶＱ）に基づく、請求項９に記載のモバイル機器。
11. 前記分類器が、最小距離分類器を含む、請求項１〜１０のいずれかに記載のモバイル機器。
12. 前記検知エンティティが、加速度、腰の加速度、手首の加速度、圧力、光、時間、心拍、温度、位置、アクティブなユーザープロファイル、行事データ、バッテリー状態、および音声データから成るグループから選択された少なくとも１つの要素に関連して、データを取得するように構成されている、請求項１〜１１のいずれかに記載のモバイル機器。
13. 前記データから、最大加速度、最小加速度、平均加速度、最大加速度と最小加速度との間の差異、前記加速度の分散、パワースペクトルエントロピー、ピーク周波数、ピーク電力、および平均心拍から成るグループから選択された少なくとも１つの特徴を決定するように構成されている、請求項１〜１２のいずれかに記載のモバイル機器。
14. 前記認識されたコンテキストクラスに応じて、少なくとも１つの動作を実行するように構成された、請求項１〜１３のいずれかに記載のモバイル機器。
15. 前記動作が、前記機器の前記ユーザーインタフェースの適合、アプリケーションの適合、メニューの適合、プロファイルの適合、モードの適合、アプリケーションのトリガー、アプリケーションのクローズ、アプリケーションの表示、ビューの表示、ビューの最小化、キーパッドロックの起動または終了、接続の確立、接続の終了、データ送信、メッセージ送信、音を鳴らすなどの音声出力のトリガー、振動などの触覚フィードバックの起動、ディスプレイの起動、アプリケーションへのデータ入力、および前記機器のシャットダウンから成るグループから選択される、請求項１４に記載のモバイル機器。
16. 前記少なくとも１つの動作が、サービスの調整、サービスの開始、サービスの終了、サービスの適合から成るグループから選択された少なくとも１つの要素を含み、前記サービスが、前記モバイル機器で実行するローカルサービスおよび／または前記モバイル機器によりリモートでアクセスされるサービスであり得る、請求項１４または請求項１５に記載のモバイル機器。
17. １つまたは複数の前記特徴が、ＳＦＳ（ｓｅｑｕｅｎｔｉａｌ ｆｏｒｗａｒｄ ｓｅｌｅｃｔｉｏｎ）またはＳＦＦＳ（ｓｅｑｕｅｎｔｉａｌ ｆｌｏａｔｉｎｇ ｆｏｒｗａｒｄ ｓｅｌｅｃｔｉｏｎ）アルゴリズムを用いて選択されている、請求項１〜１６のいずれかに記載のモバイル機器。
18. モバイル機器によってコンテキストを認識するための方法であって、
    前記モバイル機器および／またはそのユーザーの前記コンテキストを示すデータを取得すること（４０４）と、
    前記データの少なくとも一部に基づき、かつ少なくとも一部を代表する、複数の特徴値を決定すること（４０６）と、
    適合線形分類器によって、前記複数の特徴値をコンテキストクラスに分類すること（４０８）と、
    前記特徴値および前記ユーザーによるフィードバック情報に基づき、前記分類器の前記分類論理を適合させること（４１０、４１２）と、を含む方法。
19. コンピュータ上で実行される場合、適合されたコード手段を含む、請求項１８に記載の方法を実行するための、コンピュータプログラム。
20. 請求項１９に記載の前記コンピュータプログラムを含む、キャリア媒体。

Images