JP2015041317A - 電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築する方法、当該ユーザの習熟度を推定する方法、及び、当該ユーザの習熟度に応じたユーザ支援をする方法、並びに、それらのコンピュータ及びコンピュータ・プログラム - Google Patents

Abstract

【課題】本発明は、スマートフォンや携帯電話などのマルチタッチ操作可能な表面を備えている電子機器の機能を単に制限するのではなく、ユーザの習熟度に応じて最適なフィードバックを提供するために、当該ユーザの習熟度を推定するためのモデルを提供することを目的とする。【解決手段】本発明は上記ユーザの習熟度を推定するためのモデルを構築する技法であり、当該技法は、所定の操作課題に対する複数のユーザそれぞれの操作ログ・データを読み出すこと、上記複数のユーザそれぞれの操作ログ・データから特徴ベクトルをユーザ毎に算出すること、上記算出された特徴ベクトルを用いて、上記タッチ操作スキルの低いデータと上記操作スキルの高いデータとを分類する為のモデルを構築することを含み、当該構築されたモデルが任意のユーザの習熟度を上記モデルの識別面からの距離として算出するために使用される。【選択図】図６Ｂ

Description

本発明は、マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築する技法に関する。また、本発明は、当該構築されたモデルを使用して、上記電子機器の操作についてのユーザの習熟度を推定する技法に関する。さらに、本発明は、当該構築されたモデルを使用して、ユーザの習熟度に応じたユーザ支援をする技法に関する。

近年、マルチタッチ操作可能な電子機器（例えば、スマートフォン、携帯電話、タブレット端末、及びパーソナル・コンピュータ）が急速に普及してきている。しかしながら、それら電子機器のユーザ・インタフェース（以下、「ＵＩ」ともいう）は、全ての世代に渡って必ずしもユーザ・フレンドリであるとはいえない部分もある。また、それら電子機器のＵＩは、それら電子機器の操作に慣れていないユーザにとって年齢に関わりなく操作の困難性を伴う。

そこで、例えば携帯電話メーカーは、高齢者や初心者でも使用可能なスマートフォンや携帯電話を提供している。

しかしながら、スマートフォンや携帯電話の機能を、高齢者や初心者向けに単に制限することは、有用な機能の利用の制限にも繋がる。

下記特許文献１は、複数の第１のユーザの端末装置に対する操作履歴情報に基づいて、該操作履歴情報から算出される使い方の特徴を表す特徴量が似ているユーザ同士からなる複数のユーザ群を生成する使い方クラスタ生成手段と、複数の第２のユーザの端末装置に対する操作履歴情報のそれぞれを時間で分割した各分割区間の操作履歴情報毎に、該操作履歴情報から算出される使い方の特徴を表す特徴量が前記複数のユーザ群の使い方の特徴のうちの何れに類似するかを分析し、該分析結果に基づいて前記ユーザ群間の遷移関係を表す遷移モデルを生成する使い方遷移モデル生成手段とを備えることを特徴とするユーザモデル処理装置を記載する。

下記特許文献２は、ユーザの生体信号を用いて機器の使いやすさを評価するためのユーザビリティ評価装置、ユーザビリティ評価方法、およびプログラムを記載する。

下記特許文献３は、電子化された作業におけるユーザの操作を支援するシステムおよびその方法を記載する。

下記特許文献４は、金融機器や駅務機器、自動化情報システムなど、ユーザとの対話を行うことでタスクを達成する対話装置に係り、特にユーザにシステ
ムの操作方法を提示する操作ガイダンス出力方法を記載する。

下記非特許文献１は、運動障害を持つユーザの個々の運動能力に適応されたパーソナライズされたインタフェースを自動的に生成するためのシステムを記載する。

国際公開第２０１０／０１０６５３号 特開２００７−０５２６０１号公報 特開平８−７６９５５号公報 特開平８−４４５２０号公報

Krzysztof Z. Gajos et., al. "Improving the Performance of Motor-Impaired Users with Automatically-Generated, Ability-Based Interfaces", Proceedings of the twenty-sixth annual SIGCHI conference on Human factors in computing systems, page 1257-1266. New York, NY, USA, ACM, (2008) 、インターネット〈URL：http://www.cs.washington.edu/ai/puirg/papers/kgajos-chi08-supple.pdf〉より入手可能

スマートフォンや携帯電話などのマルチタッチ操作可能な表面（例えば、画面）を備えている電子機器の機能を、高齢者や初心者向けに単に制限することは、有用な機能の利用の制限にも繋がる。従って、上記電子機器の機能を単に制限するのではなく、ユーザの習熟度に応じて最適なフィードバックを提供することが望まれている。例えば、ユーザの習熟度に応じてユーザ・インタフェースが変化し、最終的には、スマートフォンや携帯電話の全ての機能が利用可能になることが望ましい。また、例えば、ユーザの習熟度に応じて異なるアドバイス・ガイド（ヘルプ・アシスタンス又は操作ガイドともいう）が提供されることが望ましい。

また、タッチパネルやトラックパッドなどのマルチタッチ操作可能な表面を備えている電子機器の機能が十分に利用されていない。

そこで、本発明は、マルチタッチ操作可能な表面を備えている電子機器におけるユーザの習熟度を推定する技法を提供することを目的とする。また、さらには、本発明は、上記電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築する技法を提供することを目的とする。また、さらには、本発明は、上記電子機器の操作についてのユーザの習熟度に応じたユーザ支援をする技法を提供することを目的とする。

上記最適なフィードバックをする為には、ユーザの習熟度を推定する必要がある。例えばスマートフォンや携帯電話の習熟には、例えば下記（１）〜（３）に示す幾つかの異なるスキルや知識が要求される：
（１）ジェスチャや文字入力のスキル；
（２）ＵＩの機能に関する知識；及び
（３）スマートフォンや携帯電話特有のネットワーク（例えば、インターネットやクラウド）に関する知識。

本発明は、上記（１）に示すジェスチャや文字入力のスキルを推定することによって、ユーザの習熟度を推定する技法を提供する。

本発明は、マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築する技法を提供する。

上記技法はいずれも、方法、並びに、当該方法を実行するコンピュータ、コンピュータ・プログラム、及びコンピュータ・プログラム製品を包含しうる。

また、本発明は、上記電子機器の操作についてのユーザの習熟度を推定する技法を提供する。また、本発明は、上記電子機器の操作についてのユーザの習熟度に応じたユーザ支援をする技法を提供する。

上記技法はいずれも、方法、並びに、当該方法を実行する電子機器、電子機器プログラム、及び電子機器プログラム製品を包含しうる。

本発明に従う第１の態様は、マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築する方法であり、当該方法は、
所定の操作課題に対する複数のユーザそれぞれの操作ログ・データを読み出すステップであって、上記操作ログ・データが、上記表面へのタッチ操作スキルの低いデータと当該タッチ操作スキルの高いデータとを含む、上記読み出すステップと、
上記複数のユーザそれぞれの操作ログ・データから特徴ベクトルをユーザ毎に算出するステップであって、上記特徴ベクトルが、上記表面へのタッチ開始からタッチ終了までの１ジェスチャを構成するタッチ操作に関する特徴量に基づいて求められる、上記算出するステップと、
上記算出された特徴ベクトルを用いて、上記タッチ操作スキルの低いデータと上記操作スキルの高いデータとを分類する為のモデルを構築するステップであって、当該構築されたモデルが任意のユーザの習熟度を上記モデルの識別面からの距離として算出するために使用される、上記構築するステップと
を含む。当該方法の各ステップは、上記モデルを構築するためのコンピュータによって実行されうる。

本発明に従う第２の態様は、マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築する方法であり、当該方法は、
所定の操作課題に対するトレーニング前後それぞれの複数のユーザの操作ログ・データを読み出すステップと、
上記複数のユーザそれぞれの上記トレーニング前後それぞれの操作ログ・データから、上記トレーニング前後それぞれの特徴ベクトルをユーザ毎に算出するステップであって、上記特徴ベクトルが、上記表面へのタッチ開始からタッチ終了までの１ジェスチャを構成するタッチ操作に関する特徴量に基づいて求められる、上記算出するステップと、
上記算出された特徴ベクトルを用いて、トレーニング前とトレーニング後とを分類する為のモデルを構築するステップであって、当該構築されたモデルが任意のユーザの習熟度を上記モデルの識別面からの距離として算出するために使用される、上記構築するステップと
を含む。当該方法の各ステップは、上記モデルを構築するためのコンピュータによって実行されうる。

本発明に従う第３の態様は、マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定する方法であり、当該方法は、
ユーザの操作を操作ログ・データとして格納するステップと、
上記操作ログ・データを読み出して、上記ユーザの習熟度を、上記第１の態様又は上記第２の態様の各ステップに従って構築された上記モデルの識別面からの距離として算出するステップと
を含む。当該方法の各ステップは、上記電子機器によって実行されうる。

本発明に従う第４の態様は、マルチタッチ操作可能な表面を備えている電子機器の表示表面に関連付けられたユーザ・インタフェースを変更する方法であり、当該方法は、
ユーザの操作を操作ログ・データとして格納するステップと、
上記操作ログ・データを読み出して、上記ユーザの習熟度を、上記第１の態様又は上記第２の態様の各ステップに従って構築された上記モデルの識別面からの距離として算出するステップと、
上記ユーザの習熟度に応じて、上記ユーザ・インタフェースを変更するステップ、又は、上記ユーザの習熟度に応じて、当該習熟度に関連付けられたアドバイス・ガイドを提供するステップと
を含む。当該方法の各ステップは、上記電子機器によって実行されうる。

本発明に従う第５の態様は、マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築するためのコンピュータであり、当該コンピュータは、所定の操作課題に対する複数のユーザの操作ログ・データを格納した記憶装置にアクセス可能であり、当該コンピュータは、
上記複数のユーザそれぞれの操作ログ・データから特徴ベクトルをユーザ毎に算出する特徴ベクトル算出部であって、上記特徴ベクトルが、上記表面へのタッチ開始からタッチ終了までの１ジェスチャを構成するタッチ操作に関する特徴量に基づいて求められる、上記特徴ベクトル算出部と、
上記算出された特徴ベクトルを用いて、上記タッチ操作スキルの低いデータと上記操作スキルの高いデータとを分類する為のモデルを構築するモデル構築部であって、当該構築されたモデルが任意のユーザの習熟度を上記モデルの識別面からの距離として算出するために使用される、上記モデル構築部と
を備えている。

本発明の一つの実施態様において、上記特徴ベクトル算出部が、上記複数のユーザそれぞれの上記操作ログ・データそれぞれから、１ジェスチャ毎に、複数の基本特徴量を抽出しうる。当該基本特徴量は少なくとも、上記１ジェスチャにおいて用いられた指の数、及び当該１ジェスチャにおける指の移動距離を含みうる。また、当該基本特徴量は、上記１ジェスチャにおける指の移動方向若しくは移動角度、各指の位置若しくは位置関係、二つの指間の距離の移動前後の差分、当該１ジェスチャに要した時間、上記タッチ開始時と上記タッチ終了時それぞれにおける指の位置の直線距離若しくは軌跡の距離、又はマルチタッチの種類をさらに含みうる。

本発明の一つの実施態様において、上記特徴ベクトル算出部が、１ジェスチャ毎に、上記基本特徴量の少なくとも２つを組み合わせて演算処理して、拡張特徴量を算出しうる。また、上記特徴ベクトル算出部は、上記基本特徴量と上記演算処理後の拡張特徴量とを組み合わせて演算処理して、又は、上記演算処理後の拡張特徴量の少なくとも２つを組み合わせて演算処理して、拡張特徴量を算出しうる。

本発明の一つの実施態様において、上記特徴ベクトル算出部が、上記特徴ベクトルを構成する統計値を、各ユーザについての上記基本特徴量若しくは上記拡張特徴量又は上記基本特徴量と上記拡張特徴量との組み合わせを統計処理して算出しうる。当該統計値は、上記操作課題における全てのジェスチャについての統計値である。

本発明の一つの実施態様において、上記特徴ベクトル算出部が、上記抽出した上記基本特徴量を特徴量リストに格納しうる。また、上記特徴ベクトル算出部が、上記算出した上記拡張特徴量を上記特徴量リストに格納しうる。

本発明の一つの実施態様において、上記特徴ベクトル算出部が、上記特徴ベクトルを構成する統計値を、上記特徴量リスト内に格納された各ユーザについての上記特徴量を統計処理して算出しうる。当該統計値は、上記操作課題における全てのジェスチャについての統計値である。

本発明の一つの実施態様において、上記モデル構築部が、上記タッチ操作スキルの低いデータと上記操作スキルの高いデータの各クラスの判別を最適化するようにクラス判別モデルを学習しうる。当該クラス判別モデルは、任意の数理モデルでありうる。

本発明の一つの実施態様において、上記数理モデルがハイパーパラメータを含んでいる場合に、上記モデル構築部が、上記タッチ操作のスキルの高いデータが上記タッチ操作のスキルの低いデータよりも評価値が高くなるように、上記ハイパーパラメータをチューニングしうる。

本発明の一つの実施態様において、上記モデル構築部が、上記ハイパーパラメータをチューニングすることを、交差検定法又はブートストラップ法に従い行いうる。

本発明の一つの実施態様において、上記モデル構築部が、上記チューニングされたハイパーパラメータを使用して、上記数理モデルを構築しうる。

本発明に従う第６の態様は、マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築するためのコンピュータであり、当該コンピュータは、所定の操作課題に対する複数のユーザの操作ログ・データを格納した記憶装置にアクセス可能であり、当該コンピュータは、
上記複数のユーザそれぞれの上記トレーニング前後それぞれの操作ログ・データから、上記トレーニング前後それぞれの特徴ベクトルをユーザ毎に算出する特徴ベクトル算出部であって、上記特徴ベクトルが、上記表面へのタッチ開始からタッチ終了までの１ジェスチャを構成するタッチ操作に関する特徴量に基づいて求められる、上記特徴ベクトル算出部と、
上記算出された特徴ベクトルを用いて、トレーニング前とトレーニング後とを分類する為のモデルを構築するモデル構築部であって、当該構築されたモデルが任意のユーザの習熟度を上記モデルの識別面からの距離として算出するために使用される、上記モデル構築部と
を備えている。

本発明の一つの実施態様において、上記特徴ベクトル算出部が、上記複数のユーザそれぞれの上記トレーニング前後それぞれの上記操作ログ・データそれぞれから、１ジェスチャ毎に、複数の基本特徴量を抽出しうる。

本発明の一つの実施態様において、上記特徴ベクトル算出部が、上記と同様にして、拡張特徴量及び、特徴ベクトルを構成する統計値を算出しうる。

本発明の一つの実施態様において、上記モデル構築部が、上記トレーニング前及び上記トレーニング後の各クラスの判別を最適化するようにクラス判別モデルを学習しうる。当該クラス判別モデルは、任意の数理モデルでありうる。

本発明の一つの実施態様において、上記数理モデルがハイパーパラメータを含んでいる場合に、上記モデル構築部が、上記トレーニング後が上記トレーニング前よりも評価値が高くなるように、上記ハイパーパラメータをチューニングしうる。

本発明に従う第７の態様は、マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを格納する記憶装置を備えている電子機器であり、当該電子機器は、
上記第１の態様又は上記第２の態様に従う方法の各ステップに従って構築された上記モデルを格納する為の記憶装置と、
ユーザの操作を操作ログ・データとして収集する操作ログ・データ収集部と、
上記操作ログ・データを読み出して、上記ユーザの習熟度を、上記モデルの識別面からの距離として算出する習熟度算出部と
を備えている。

本発明の一つの実施態様において、上記電子機器は、上記ユーザの習熟度に応じて、上記電子機器の表示画面に関連付けられたユーザ・インタフェースを変更するＵＩ変更部をさらに備えうる。

本発明の一つの実施態様において、上記電子機器は、上記ユーザ・インタフェースを変更するステップ、又は、上記ユーザの習熟度に応じて、当該習熟度に関連付けられたアドバイス・ガイドを提供するアドバイス・ガイド提供部をさらに備えうる。

本発明に従う第８の態様は、マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築するためのコンピュータ・プログラムであって、当該コンピュータに、上記第１の態様又は上記第２の態様に従う方法の各ステップを実行させる。

本発明に従う第９の態様は、マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するための電子機器プログラムであって、当該電子機器に、上記第３の態様に従う方法の各ステップを実行させる。

本発明に従う第１０の態様は、マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度に応じたユーザ支援をするための電子機器プログラムであって、当該電子機器に、上記第４の態様に従う方法の各ステップを実行させる。

本発明の実施態様に従う電子機器プログラムはそれぞれ、一つ又は複数のフレキシブル・ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ、ＢＤ、ハードディスク装置、ＵＳＢに接続可能なメモリ媒体、ＲＯＭ、ＭＲＡＭ、ＲＡＭ等の任意の電子機器読み取り可能な記録媒体に格納することができる。当該電子機器プログラムは、記録媒体への格納のために、通信回線で接続する他のデータ処理システム、例えばサーバ・コンピュータからダウンロードしたり、又は他の記録媒体から複製したりすることができる。また、本発明の実施態様に従う電子機器プログラムは、圧縮し、又は複数に分割して、単一又は複数の記録媒体に格納することもできる。また、様々な形態で、本発明の実施態様に従う電子機器プログラム製品を提供することも勿論可能であることにも留意されたい。本発明の実施態様に従う電子機器プログラム製品は、例えば、上記電子機器プログラムを記録した記憶媒体、又は、上記電子機器プログラムを伝送する伝送媒体を包含しうる。

本発明の上記概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの構成要素のコンビネーション又はサブコンビネーションもまた、本発明となりうることに留意すべきである。

本発明の実施態様において使用される電子機器の各ハードウェア構成要素を、複数のマシンと組み合わせ、それらに機能を配分し実施する等の種々の変更は当業者によって容易に想定され得ることは勿論である。それらの変更は、当然に本発明の思想に包含される概念である。ただし、これらの構成要素は例示であり、そのすべての構成要素が本発明の必須構成要素となるわけではない。

また、本発明は、ハードウェア、ソフトウェア、又は、ハードウェア及びソフトウェアの組み合わせとして実現可能である。ハードウェアとソフトウェアとの組み合わせによる実行において、上記電子機器プログラムのインストールされた電子機器における実行が典型的な例として挙げられる。かかる場合、当該電子機器プログラムが当該電子機器のメモリにロードされて実行されることにより、当該電子機器プログラムは、当該電子機器を制御し、本発明にかかる処理を実行させる。当該電子機器プログラムは、任意の言語、コード、又は、表記によって表現可能な命令群から構成されうる。そのような命令群は、当該電子機器が特定の機能を直接的に、又は、１．他の言語、コード若しくは表記への変換及び、２．他の媒体への複製、のいずれか一方若しくは双方が行われた後に、本発明の実施態様に従う処理を実行することを可能にするものである。

本発明の実施態様に従い作成されたモデル、すなわちマルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルは、タッチ操作スキルの低いユーザとタッチ操作スキルの高いユーザとを適切に推定することを可能にする。すなわち、本発明の実施態様に従い作成されたモデルは、ユーザの習熟度を適切に推定することを可能にする。

また、本発明の実施態様に従い作成されたモデルは、同じタスクに対して、高精度（例えば、９０％程度）でユーザの習熟度の推定を可能にする。また、本発明の実施態様に従い作成されたモデルは、異なるタスクに対してもユーザの習熟度の推定を良い精度（例えば、７０％程度）で可能にする。

本発明の実施態様において使用されうるコンピュータの一例を示した図である。 本発明の実施態様において使用されうる電子機器の一例を示した図である。 本発明の実施態様に従い、マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築する処理を図示化して示したものである。 本発明の実施態様に従い、マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築する処理を図示化して示したものである。 図２Ａ及び図２Ｂに従い作成されたモデルを使用して、同一のユーザについてのトレーニング前のデータとトレーニング後のデータとを比較して、トレーニング後において習熟度が高くなっていることを示す図である。 本発明の実施態様において使用されうる基本特徴量の一例を示す。 図４Ａに示す基本特徴量のうち、タッチ操作スキルの低いデータとタッチ操作スキルの高いデータとを分類する為のモデルを構築するために有用な基本特徴量を示す。 本発明の実施態様に従い、図２Ａ及び図２Ｂに従い作成されたモデルを使用して判定されたユーザの習熟度に応じて、ユーザ・インタフェースが変更されることを示す。 本発明の実施態様に従い、図２Ａ及び図２Ｂに従い作成されたモデルを使用して判定されたユーザの習熟度に応じて、ユーザ・インタフェースが変更されることを示す。 本発明の実施態様に従い、図２Ａ及び図２Ｂに従い作成されたモデルを使用して判定されたユーザの習熟度に応じて、ユーザ・インタフェース及びアドバイス・ガイドが変更されることを示す。 本発明の実施態様に従い、コンピュータが操作ログ・データを記憶する処理を含むフローチャートを示す。 本発明の実施態様に従い、コンピュータが、上記記憶した操作ログ・データに基づいてモデルを学習し、当該学習したモデルから識別面を算出する処理を含むフローチャートを示す。 本発明の実施態様に従い、コンピュータが上記記憶した操作ログ・データから基本特徴量を抽出し、そして拡張特徴量及び特徴量データを算出する処理を含むフローチャートを示す。 本発明の実施態様に従い、コンピュータが上記算出した特徴量データに基づいて、タッチ操作スキルの低いデータとタッチ操作スキルの高いデータとを分類する為のモデルを学習する処理を含むフローチャートを示す。 本発明の実施態様に従い、電子機器がユーザの習熟度に応じたユーザ支援をする処理を含むフローチャートを示す。 図１Ａに従うハードウェア構成を好ましくは備えており、本発明の実施態様に従うコンピュータの機能ブロック図の一例を示した図である。 図１Ｂに従うハードウェア構成を好ましくは備えており、本発明の実施態様に従う電子機器の機能ブロック図の一例を示した図である。

本発明の実施形態を、以下に図面に従って説明する。以下の図を通して、特に断らない限り、同一の符号は同一の対象を指す。本発明の実施形態は、本発明の好適な態様を説明するためのものであり、本発明の範囲をここで示すものに限定する意図はないことを理解されたい。

本発明の実施態様に従う「コンピュータ」は、ユーザの習熟度を推定するためのモデルを構築する処理能力があるものであれば特に限定されない。当該コンピュータは、例えば、デスクトップ・コンピュータ、ノート・コンピュータ若しくは一体型パソコン、又は、サーバでありうる。

本発明の実施態様に従う「電子機器」は、マルチタッチ操作（マルチタッチジェスチャともいわれる）可能な表面を備えているもの、又は、マルチタッチ操作可能な表面に接続されているものであれば特に限定されない。

「マルチタッチ操作可能な表面」とは例えば、マルチタッチ操作可能な画面（例えば、タッチパネル、タッチスクリーン、フローティングタッチ、若しくは仮想タッチパネル）、又は、マルチタッチ操作可能なトラックパッドを包含する。

「マルチタッチ操作可能な表面を備えている電子機器」とは、当該電子機器がマルチタッチ操作可能な画面を備えている表示装置若しくはマルチタッチ操作可能なトラックパッドに接続されているか、又は、当該電子機器にマルチタッチ操作可能な画面それ自体若しくはマルチタッチ操作可能なトラックパッドそれ自体を備えているものを意味する。

「マルチタッチ操作可能な表面を備えている電子機器」は、例えば、デスクトップ・コンピュータ；ノート・コンピュータ、タブレットＰＣ、スマートフォン、携帯電話、タブレット端末（例えば、アンドロイド（登録商標）端末、Ｗｉｎｄｏｗｓ（登録商標）タブレット、若しくはｉＯＳ端末）、携帯音楽プレイヤー、パーソナル・ディジタル・アシスタント（ＰＤＡ）、医療機器端末、理化学機器、ゲーム端末（ゲーム機器）、カー・ナビゲーション・システム、ポータブル・ナビゲーション・システム、車載装置、コックピット・ディスプレイ・システム、券売機、若しくはキヨスク端末でありうる。

以下において、特に断らない限りは、コンピュータとはマルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築するためのコンピュータを意味し、電子機器とは、マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを格納する記憶装置を備えている電子機器を意味する。

図１Ａ及び図１Ｂはそれぞれ、本発明の実施態様において使用されうるコンピュータ及び電子機器を実現するためのハードウェア構成の一例を示した図である。

図１Ａは、本発明の実施態様において使用されうるコンピュータ又は電子機器を実現するためのハードウェア構成の一例を示した図である。以下の説明では、コンピュータ（１０１）と示すが、電子機器（１０１）とも読み替えられる。

コンピュータ（１０１）は、ＣＰＵ（１０２）とメイン・メモリ（１０３）とを備えており、これらはバス（１０４）に接続されている。ＣＰＵ（１０２）は好ましくは、３２ビット又は６４ビットのアーキテクチャに基づくものである。当該ＣＰＵ（１０２）は例えば、インテル社のＣｏｒｅ（商標） ｉシリーズ、Ｃｏｒｅ（商標） ２シリーズ、Ａｔｏｍ（商標）シリーズ、Ｘｅｏｎ（登録商標）シリーズ、Ｐｅｎｔｉｕｍ（登録商標）シリーズ若しくはＣｅｌｅｒｏｎ（登録商標）シリーズ、ＡＭＤ（Advanced Micro Devices）社のＡシリーズ、Ｐｈｅｎｏｍ（商標）シリーズ、Ａｔｈｌｏｎ（商標）シリーズ、Ｔｕｒｉｏｎ（商標）シリーズ若しくはＳｅｍｐｒｏｎ（商標）、又は、インターナショナル・ビジネス・マシーンズ・コーポレーションのＰｏｗｅｒ（商標）シリーズでありうる。

バス（１０４）には、ディスプレイ・コントローラ（１０５）を介して、ディスプレイ（１０６）、例えば液晶ディスプレイ（ＬＣＤ）が接続されうる。また、液晶ディスプレイ（ＬＣＤ）は例えば、タッチパネル・ディスプレイ又はフローティング・タッチ・ディスプレイであてもよい。ディスプレイ（１０６）は、コンピュータ（１０１）上で動作中のソフトウェア、例えば本発明の実施態様に従うコンピュータ・プログラムが稼働することによって表示されるオブジェクトを、適当なグラフィック・インタフェースで表示するために使用されうる。

バス（１０４）には任意的に、例えばＳＡＴＡ又はＩＤＥコントローラ（１０７）を介して、ディスク（１０８）、例えばハードディスク又はソリッド・ステート・ドライブ（ＳＳＤ）が接続されうる。

バス（１０４）には任意的に、例えばＳＡＴＡ又はＩＤＥコントローラ（１０７）を介して、ドライブ（１０９）、例えばＣＤ、ＤＶＤ又はＢＤドライブが接続されうる。

バス（１０４）には、周辺装置コントローラ（１１０）を介して、例えばキーボード・マウス・コントローラ又はＵＳＢバスを介して、任意的に、キーボード（１１１）、マウス（１１２）及び／又はトラックパッドが接続されうる。

ディスク（１０８）には、オペレーティング・システム、Ｗｉｎｄｏｗｓ（登録商標）ＯＳ、ＵＮＩＸ（登録商標）、ＭａｃＯＳ（登録商標）、及びＪ２ＥＥなどのＪａｖａ（登録商標）処理環境、Ｊａｖａ（登録商標）アプリケーション、Ｊａｖａ（登録商標）仮想マシン（ＶＭ）、Ｊａｖａ（登録商標）実行時（ＪＩＴ）コンパイラを提供するプログラム、本発明の実施態様に従うアプリケーション・プログラム、及びその他のプログラム、並びにデータが、メイン・メモリ（１０３）にロード可能なように記憶されうる。

ディスク（１０８）は、コンピュータ（１０１）内に内蔵されていてもよく、当該コンピュータ（１０１）がアクセス可能なようにケーブルを介して接続されていてもよく、又は、当該コンピュータ（１０１）がアクセス可能なように有線又は無線ネットワークを介して接続されていてもよい。

ドライブ（１０９）は、必要に応じて、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ又はＢＤからプログラム、例えばオペレーティング・システム、アプリケーション又は本発明の実施態様に従うコンピュータ・プログラムをディスク（１０８）にインストールするために使用されうる。

通信インタフェース（１１４）は、例えばイーサネット（登録商標）・プロトコルに従う。通信インタフェース（１１４）は、通信コントローラ（１１３）を介してバス（１０４）に接続され、コンピュータ（１０１）を通信回線（１１５）に有線又は無線接続する役割を担い、コンピュータ（１０１）のオペレーティング・システムの通信機能のＴＣＰ／ＩＰ通信プロトコルに対して、ネットワーク・インタフェース層を提供する。なお、通信回線は例えば、無線ＬＡＮ接続規格に基づく無線ＬＡＮ環境、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎなどのＷｉＦｉ無線ＬＡＮ環境、又は携帯電話網環境（例えば、３Ｇ又は４Ｇ環境）でありうる。

図１Ｂは、本発明に実施態様において使用されうる電子機器のうちマルチタッチ操作可能な画面を備えているものの一例を示した図である。
電子機器（１２１）のＣＰＵ（１２２）、メイン・メモリ（１２３）、バス（１２４）、ディスプレイ・コントローラ（１２５）、ディスプレイ（１２６）、ＳＳＤ（１２８）、通信コントローラ（１３３）、通信インタフェース（１３４）及び通信回線（１３５）はそれぞれ、図１Ａに示すコンピュータ（１０１）のＣＰＵ（１０２）、メイン・メモリ（１０３）、バス（１０４）、ディスプレイ・コントローラ（１０５）、ディスプレイ（１０６）、ＳＳＤ（１０８）、通信コントローラ（１１３）、通信インタフェース（１１４）及び通信回線（１１５）に対応する。

スマートフォン、携帯電話又はタブレット端末等の場合、ＣＰＵ（１２２）は例えば、スマートフォン、携帯電話若しくはタブレット端末用等のＣＰＵ、例えばＡＲＭアーキテクチャに従うＣＰＵ（例えばＡＲＭ系ＣＰＵ又はＣｏｒｔｅｘ系ＣＰＵ）、又は、アップル社（登録商標）のＡシリーズ、でありうる。

ＳＳＤ（１２８）ディスクには例えば、スマートフォン用ＯＳ（例えば、アンドロイド（登録商標）ＯＳ、Ｗｉｎｄｏｗｓ（登録商標）ＰｈｏｎｅＯＳ若しくはＷｉｎｄｏｗｓ（登録商標）ＯＳ、又はｉＯＳ）、本発明の実施態様に従う電子機器プログラム、及びその他のプログラム、並びにデータが、メイン・メモリ（１２３）にロード可能なように記憶されうる。

キーボード実現手段（１３０）は、アプリの一つとして、ディスプレイ（１２６）上にソフトウェアキーボードを表示する。

図２Ａ及び図２Ｂは、本発明の実施態様に従い、マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築する処理を図示化して示したものである。

ステップ１において、コンピュータは、操作ログ・データを例えば所定の操作課題を実行したユーザ（被実験者でもある）に関連付けられた電子機器から収集して、当該コンピュータがアクセス可能な記憶媒体（例えば、内蔵ハードディスク、外付けハードディスク、又は、ネットワーク接続ストレージ（ＮＡＳ））に格納する（２０１）。代替的には、コンピュータは、操作ログ・データが格納された記憶媒体にアクセス可能である。

本発明の実施態様において、「所定の操作課題」とは、ある結果を得る為までに行われる複数のジェスチャから構成される一連の動作セット、或いは、ある結果を得る為までに行われる複数のジェスチャによって達成される一連の動作セットである。「所定の操作課題」は例えば、モデルを構築する実験者によって指定されたものでありうる。

所定の操作課題は例えば、マルチタッチ操作可能な表面を備えている電子機器上での地図アプリ操作課題（例えば、地図を東京から沖縄に移動する操作課題）、アドレス帳を検索して、又は、ある人物に電話をかける操作課題、ある文字列を入力する操作課題などでありうる。当業者は、所定の操作課題を適宜用意しうる。

ジェスチャとは、マルチタッチ操作可能な表面上で行われる任意の動作を含む。当該操作は例えば、タップ、ダブルタップ、ロングプレス（長押し）、スワイプ、バン、フリック、２本指タップ、２本指スクロール、ピンチ、スプレッド、又は、回転でありうるがこれらに限定されない。

本発明の実施態様において、「操作ログ・データ」は、ユーザが電子機器を使用して、上記所定の操作課題に対して行われたユーザの任意の動作の操作イベント系列データ（生データ）を含む。操作ログ・データは例えば、操作課題を操作したユーザのユーザＩＤ、低スキル又は高スキルを示すタグ（又は、トレーニング前又は後を示すタグ）、及び操作イベント系列データ、並びに任意的に、当該該操作課題を実行した電子機器の電子機器ＩＤ、当該操作課題の操作課題ＩＤ、及び／又は当該所定の操作課題の開始のセッションを識別する為のセッションＩＤを含みうる。

操作ログ・データは、例えば操作ログ・データベース（以下、「操作ログＤＢ」ともいう）（下記図６Ａの操作ログＤＢ（６９１）を参照）中に格納されている。操作ログ・データは、ステップ１が実行される前に、又はステップ１の実行と同時に、操作ログＤＢに格納される。

本発明の実施態様において、タッチ操作スキルの低いデータと前記タッチ操作スキルの高いデータとを分類する為のモデルを構築するために、「所定の操作課題に対する複数のユーザそれぞれの操作ログ・データ」は、表面へのタッチ操作スキルの低いデータと当該表面へのタッチ操作スキルの高いデータとを含む。表面へのタッチ操作スキルの低いデータ及び当該表面へのタッチ操作スキルの高いデータとは例えば、それぞれ、タッチ操作スキルの低いと判定されているユーザの所定の操作課題に対する操作ログ・データ及びタッチ操作スキルの高いと判定されているユーザの操作ログ・データ；又は、所定の操作課題に対する同一人物のトレーニング前の操作ログ・データ及びトレーニング後の操作ログ・データ、でありうる。タッチ操作スキルの低い又は高いは例えば、マルチタッチ操作に習熟した実験主体者が主観的に判断しうる。代替的には、タッチ操作スキルの低い又は高いは、同一人物においてトレーニング前を低い、トレーニング後を高いとみなしてもよい。

ステップ２において、コンピュータは、上記ステップ１で記憶した操作ログ・データを読み出す。そして、当該コンピュータは、当該操作ログ・データから特徴ベクトルをユーザ毎に算出するために、上記操作ログ・データを１ジェスチャ単位に（１ジェスチャ毎に）集約し、当該集約された集約データ（セッション・データともいう）に基づいて複数の基本特徴量を抽出する（２０２）。すなわち、コンピュータは、１ジェスチャを構成する１又は複数の基本特徴量を上記操作ログ・データから抽出する。

本発明の実施態様において、「１ジェスチャ」とは、マルチタッチ操作可能な表面への、タッチ開始からタッチ終了までに行われたユーザによる行為をいう。

基本特徴量とは、マルチタッチ操作においてイベント系列のデータとして収集されるデータである。基本特徴量の例を、図４Ａに示してあるので参照されたい。図４Ａに示すように、基本特徴量は、比較的にタスクへの依存が少ないローレベルの特徴量でありうる。

本発明の一つの実施態様において、基本特徴量は少なくとも、１ジェスチャにおいて用いられた指の数、及び当該１ジェスチャにおける指の移動距離（タッチ開始時からタッチ終了時の直線距離であって、指の軌跡距離ではない）を含みうる。すなわち、基本特徴量は少なくとも、１ジェスチャの開始時と終了時において用いられた指の数と当該１ジェスチャの開始時と終了時における指の移動距離（タッチ開始時からタッチ終了時の直線距離であって、指の軌跡距離ではない）とを含みうる。また、当該基本特徴量は、１ジェスチャにおける指の移動方向若しくは移動角度、各指の位置若しくは位置関係、二つの指間の距離の移動前後の差分、当該１ジェスチャに要した時間、前記タッチ開始時と前記タッチ終了時それぞれにおける指の位置の直線距離若しくは軌跡の距離、又はマルチタッチの種類をさらに含みうる。

コンピュータは、算出した基本特徴量を、上記特徴量リストに格納しうる。

ステップ３において、コンピュータは、１ジェスチャ毎に、ステップ２で抽出した基本特徴量の少なくとも２つ（典型的には、２つ）を組み合わせて演算処理して、拡張特徴量を算出する。さらには、コンピュータは、任意的に、ステップ２で算出した基本特徴量と上記算出した拡張特徴量の少なくとも２つ（典型的には、２つ）を組み合わせて演算処理し、又は、上記算出した拡張特徴量の少なくとも２つ（典型的には、２つ）を組み合わせて演算処理して、拡張特徴量を算出しうる。コンピュータは例えば、１ジェスチャ毎に、「基本特徴量」と「基本特徴量の直積」の直積（＝基本特徴量の３次の組み合わせ積、もしくは３次の直積） 、「基本特徴量の直積」と「基本特徴量の直積」の直積（=基本特徴量の４次の組み合わせ積、もしくは４次の直積）を算出し、拡張特徴量を算出しうる。

基本特徴量がＫ個あるとした場合に、当該Ｋ個の基本特徴量の２つを組み合わせて算出される拡張特徴量の数（Ｋ’）は、Ｋ’＝（Ｋ（Ｋ−１））／２ 個である。従って、特徴量の数（すなわち、基本特徴量と拡張特徴量を合計したもの）は、Ｋ＋Ｋ’である。従って、Ｋ個の基本特徴量がＫ＋Ｋ’個に増加することになるので、拡張特徴量を算出することにより基本特徴量の次数を膨らませることが可能である。

上記演算処理は、例えば直積、商、和又は差であり、特には例えば直積又は商である。

コンピュータは、算出した拡張特徴量を、上記特徴量リストに格納しうる。

ステップ４において、コンピュータは、特徴ベクトル（２０４）を構成する統計値を、各ユーザについての操作課題における全てのジェスチャについての、（１）ステップ２で算出した基本特徴量の少なくとも２つの組み合わせ、（２）ステップ２で算出した基本特徴量の少なくとも１つとステップ３で算出した拡張特徴量の少なくとも１つとの組み合わせ、又は、（３）ステップ３で算出した拡張特徴量の少なくとも２つの組み合わせ、を統計処理して算出する（２１１，２１２，２１３）。当該統計値は、操作課題における特定のユーザについての全てのジェスチャについての統計値である、コンピュータは、上記基本特徴量及び上記拡張特徴量を特徴量リストから取り出しうる。

当該統計処理は、上記操作課題における全てのジェスチャについての統計値でありうる。

当該統計処理は例えば、平均値、標準偏差、分位点、最大値若しくは最小値、又はそれらの組み合わせでありうる。当該組み合わせは例えば、平均値＋標準偏差、平均値＋分位点、又は、平均値＋標準偏差＋分位点でありうる。統計処理として分位点を使用する場合例えば、０．０５，０．２５，０．５，０．７５及び０．９５の５点のパーセンタイルを算出する。

上記統計処理として、平均値＋標準偏差＋分位点（上記５点）を使用した場合、Ｋ＋Ｋ’個の特徴量（基本特徴量又は拡張特徴量である）が、（Ｋ＋Ｋ’）×７個に増加することになる。従って、Ｋ個の基本特徴量が、上記拡張特徴量の算出、そして統計処理を経ることにより、（Ｋ＋Ｋ’）×７個に増加することになるので、統計処理をすることにより基本特徴量の次数を膨らませることが可能である。当該次数を膨らませておくことは、下記数理モデルのハイパーパラメータ（ステップ６を参照）を用いて学習されたモデルの識別能力を高めることになる。

ステップ５において、コンピュータは、ユーザそれぞれについて、ステップ４の説明で述べたようにして特徴ベクトル（２０４）を構成する統計値を算出する。算出された統計値を有する特徴ベクトルは、１×Ｄ次元の行列である（２０５）。

ステップ６において、コンピュータは、ステップ４でユーザそれぞれについて算出された複数の特徴ベクトルを用いて、タッチ操作スキルの低いデータとタッチ操作スキルの高いデータとを分類する為のモデルを構築する。または、上記タッチ操作スキルの低いデータは例えば、あるユーザのトレーニング前のデータであり、上記タッチ操作スキルの高いデータは例えば、上記あるユーザのトレーニング後のデータでありうる。コンピュータは例えば少なくとも２つのクラス（例えばタッチ操作スキルの低いデータとタッチ操作スキルの高いデータの各クラスの判別、例えば同一のユーザのトレーニング前のデータトレーニング後のデータ）とを最適化するようにクラス判別モデルを学習しうる。

当該学習されたモデルは、上記したとおり、比較的にタスクへの依存が少ないローレベルの特徴量である基本特徴量及びそれから算出された拡張特徴量に基づいている。従って、当該学習されたモデルも、タスクへの依存性が低い。

上記クラス判別モデルは例えば、任意の数理モデルでありうる。当業者は、例えば少なくとも２つのクラスの判別を可能にする任意の数理モデルを使用しうる。当該任意の数理モデルとして例えば、当業者に知られている任意の手法を使用しうる。当該任意の数理モデルは例えば、ロジスティック回帰モデル、線形回帰モデル、サポート・ベクター・マシン（ＳＶＭ）、又は、ニューラル・ネットワークでありうる。線形回帰モデルは例えば、リッジ回帰（ridge regression）モデル、又は、ラッソ回帰モデルでありうる。ロジスティック回帰モデルにおいて、スパース正則化が使用されうる。当該数理モデルのいずれも公知のものであり、本発明の本質ではないので、ここではその説明を省略する。スパース正則化を使用してモデルを構築した場合に、習熟度推定に役に立たない統計値に対応する重みはゼロになる。すなわち、非ゼロ重みに対応する統計値は、習熟度推定に有用な統計値となる。従って、習熟度推定に有用な統計値が選択される。このようにして、習熟度推定に有用な統計値、そして当該統計値の元となる基本特徴量及び拡張特徴量を知ることが可能になる。

コンピュータは、数理モデルがハイパーパラメータを含んでいる場合に、任意的に、タッチ操作のスキルの高いデータがタッチ操作のスキルの低いデータよりも評価値が高くなるように、又は、同一のユーザについてのトレーニング後にデータがトレーニング前のデータよりも評価値が高くなるように、上記ハイパーパラメータをチューニングしうる。当該ハイパーパラメータをチューニング方法として、当業者に知られている種々の技法を選択して使用しうる。当該ハイパーパラメータをチューニングする手法は例えば、交差検定法、又は、ブートストラップ法でありうる。当該チューニングする手法のいずれも公知のものであり、本発明の本質ではないので、ここではその説明を省略する。

コンピュータは、任意的に、上記チューニングされたハイパーパラメータを使用して、上記数理モデルを構築しうる。

コンピュータは例えば、タッチ操作のスキルの高いデータがタッチ操作のスキルの低いデータを区別するのに有効な疎な識別を学習しうる。そして、コンピュータは例えば、クラス分類法（例えば、サポート・ベクター・マシン）により識別面（２１６）を算出しうる。識別面は例えば、ｗ^Ｔｘ＋ｂ＝０で表される。ここで、w=[w1,w2,…,wd]^Tx は重みベクター、ｗ^Ｔはベクトルｘの転置を表し、スカラーｂはバイアス項であり入力に関わりなく出力を全体的に調整する項である。例えばサポート・ベクター・マシンによる２つのクラスへの分類方法として、当業者に知られている種々の技法を使用しうる。

ステップ７において、コンピュータは、任意のユーザの習熟度を、ステップ５で構築されたモデルの識別面（２１６）からの距離として算出する（２０７）。図２Ｂにおいて、識別面（２１６）への垂線に対して、上側に習熟度の高いユーザ群（高スキル群）が、そして下側に習熟度の低いユーザ群（低スキル群）が分類されている。同一のユーザについてのトレーニング後においてトレーニング前よりも習熟度が高くなっていること（すなわち、スキルが向上していること）を示す。

図３は、図２Ａ及び図２Ｂに従い作成されたモデルを使用して、同一のユーザについてのトレーニング前のデータとトレーニング後のデータとを比較して、トレーニング後において習熟度が高くなっていることを示す図である。

６１〜８０歳の被験者４０人（ユーザＩＤ ０１〜４０）が、スマートフォンの同じ操作課題をトレーニング（練習）の前後で２回実施した。そして、交差検定法（３９人のデータで図２Ａ及び図２Ｂに記載の各ステップに従いモデルを構築し、残り１人の習熟度を推定）で、トレーニング前後それぞれでの操作課題の習熟度を推定した。

図３のグラフ（３１１及び３１２）は、図２Ｂのステップ７に示すグラフの識別面（２１６）を回転させて、左側に低い習熟度及び右側に高い習熟度が示されるようにした図である。

その結果、４０人中３９人（すなわち、ユーザＩＤ３１以外の全てのユーザ）で習熟度の向上が見られた。また、ユーザＩＤ ２０〜４０の被験者２０人について、上記実験の実験者が各ユーザを実際に観察して評価した主観評価と上記推定された習熟度との間に相関が見られた。従って、本結果は、図２Ａ及び図２Ｂに記載の各ステップに従い構築されたモデルがユーザの習熟度を適切に推定していること（すなわち、トレーニング後にスキルが向上していること、或いは、トレーニング前とトレーニング後とを適切に当たられていること）、さらには主観評価と相関していること（すなわち、人間による主観評価と一致していること）を示す。

従って、図２Ａ及び図２Ｂに従い作成されたモデルを使用し、ユーザの習熟度をモデルの識別面からの距離として算出することによって、ユーザの習熟度を推定することが可能になる。

図４Ａは、本発明の実施態様において使用されうる基本特徴量の一例を示す。

図４Ａの基本特徴量のリスト（４０１）は、タッチ操作において収集される特徴データのうち、本発明の実施態様に従うモデルを構築する上で有用な基本特徴量を示したものである。タッチ操作において収集される特徴データのうち、タスク依存性の高い特徴や変化のほとんどのない特徴は上記モデルを構築する上で適切でない。そこで、上記特徴データのうち、上記モデルを構築する上で適切な特徴量が基本特徴量として選択されうる。当業者は、当該選択を適宜実施しうる。

図４Ｂの基本特徴量のリスト（４０２）は、図４Ａに示す基本特徴量のうち、タッチ操作スキルの低いデータとタッチ操作スキルの高いデータとを分類する為のモデルを構築するために有用な基本特徴量を示す。

上記モデルを構築するために有用な基本特徴であるかどうかは、例えば図４Ａに示す基本特徴量のうち、機械学習での習熟度の推定に有効であるかどうかに基づいて判断されうる。当業者は、上記モデルを構築する為に、上記有効な基本特徴量のうちの任意の複数の基本特徴量を組み合わせて使用することが可能である。基本特徴量の組み合わせによって習熟度の推定精度に差が生じる為に、当該推定精度が高くなるような基本特徴量を選択することがよい。当該選択された基本特徴量は例えば、操作ログ点データから取り出されるべき基本特徴量であることを示す為に下記図６Ｃに示す基本特徴量抽出テーブルに記録される。

図５Ａ〜図５Ｃは、本発明の実施態様に従い、図２Ａ及び図２Ｂに従い作成されたモデルを使用して判定されたユーザの習熟度に応じて、ユーザ・インタフェースやアドバイス・ガイドが変更される態様を示す。

図５Ａは、ユーザの習熟度に応じて、ズーム・イン及びズーム・アウト、並びに、回転機能についてのユーザ・インタフェースが変更される態様を示す。

コンピュータは、図２Ｂに示すステップ７において算出されたユーザの習熟度が低い（低スキル）と判断した場合（５０１）と、高い（高スキル）と判断した場合（５１１）とで、ユーザ・インタフェースを切り替える。

コンピュータは、ユーザの習熟度が低いと判断した場合に、ジェスチャとボタン（＋，−）との併用によるズーム・イン及びズーム・アウトが可能であり（５０１，５０２）、且つ回転機能が無効である（５０１，５０３）ようにユーザ・インタフェースを変更する。

コンピュータは、ユーザの習熟度が高いと判断した場合に、ジェスチャのみによるズーム・イン及びズーム・アウトが可能であり（５１１，５１２）、且つ回転機能が有効である（５１１，５１３）ようにユーザ・インタフェースを変更する。

図５Ｂは、本発明の実施態様に従い、ユーザの習熟度に応じて、一画面当たりに表示される情報量についてのユーザ・インタフェースが変更される態様を示す。

コンピュータは、図２Ｂに示すステップ７において算出されたユーザの習熟度が低い（低スキル）と判断した場合（５２１）と、高い（高スキル）と判断した場合（５３１）とで、ユーザ・インタフェースを切り替える。

コンピュータは、ユーザの習熟度が低いと判断した場合に、１画面当たりに表示されるリスト項目の数を少なくし、それに伴い文字を大きく表示するように、且つ、先頭文字での検索が可能であるように（５２１）、そしてインデックス機能を無効にする（５２３）ようにユーザ・インタフェースを変更する（５２１）。

コンピュータは、ユーザの習熟度が高いと判断した場合に、１画面当たりに表示されるリスト項目の数を多くし、それに伴い文字を小さく表示するようにし、且つ、インデックス機能を有効にする（５３３）ようにユーザ・インタフェースを変更する（５３１）。

図５Ｃは、本発明の実施態様に従い、ユーザの習熟度に応じて、ユーザ・インタフェース及び、画像又は音声によるアドバイス・ガイドが変更される態様を示す。

コンピュータは、図２Ｂに示すステップ７において算出されたユーザの習熟度が中スキルであると判断した場合（５４１）、高スキルであると判断した場合（５６１）、又はその中間であると判断した場合（５５１）とで、ユーザ・インタフェース及びアドバイス・ガイド（操作ガイド、ヘルプガイドともいう）を切り替える。アドバイス・ガイドは、音声によるもの又は画面表示によるものでありうる。

コンピュータは、ユーザの習熟度が中スキルである判断した場合に、画面操作のアドバイス・ガイドとして、画面上に指の動きの例示をアニメーション（５４２から５４３への動き）で表示する（５４１）。また、コンピュータは、画面操作のアドバイス・ガイドとして、画面上に当該指の動きの例示とともに、当該指の動きによって画面上の表示コンテンツがどのように変化するか（例えば、地図が縮小表示される）を例えば点線表示で例示しうる。

コンピュータは、ユーザの習熟度が上記中間スキルである判断した場合に、画面操作のアドバイス・ガイドとして、画面上に指の影（上記アニメーションではない）（５５２）を表示する。但し、コンピュータは、ユーザの習熟度が中スキルの場合と異なり、指の動きによって画面上の表示コンテンツがどのように変化するか（例えば、地図が縮小表示される）は例示しない。また、コンピュータは、ユーザの習熟度が上記中間スキルである判断した場合に、ジェスチャとボタン（＋，−）（５４４）との併用によるズーム・イン及びズーム・アウトが可能であるようにユーザ・インタフェースを変更する。

コンピュータは、ユーザの習熟度が高スキルである判断した場合に、画面操作のアドバイス・ガイドとして、画面上に指の上記アニメーションや上記影を表示しないが、音声によるアドバイス・ガイドを提供する（５６５）。また、コンピュータは、ユーザの習熟度が上記高スキルである判断した場合に、ジェスチャとボタン（＋，−）（５６４）との併用によるズーム・イン及びズーム・アウトが可能であるようにユーザ・インタフェースを変更する。

図６Ａ〜図６Ｄは本発明の実施態様に従い構築されるモデルの学習フェーズを示すフローチャートであり、及び、図７は本発明の実施態様に従い構築されたモデルの運用フェーズを示すフローチャートである。

図６Ａ〜図６Ｄは、本発明の実施態様に従い、操作ログ・データを用いて、ユーザの習熟度を推定するためのモデルを構築する処理（モデルの学習フェーズ）のためのフローチャートを示す。

図６Ａは、本発明の実施態様に従い、マルチタッチ操作可能な表面を備えている電子機器上で行われたユーザのタッチ操作を操作ログ・データとして記憶する処理を含むフローチャートを示す。

ステップ６０１において、電子機器は、操作ログ・データを記憶する処理を開始する。

ステップ６０２において、電子機器は、所定の操作課題を実行するユーザ（被実験者でもある）に低スキル又は高スキルのどちらであるかを選択させる。低スキル又は高スキルのどちらであるかの選択は例えば、同一人物におけるトレーニング前のスキル又はトレーニング後のスキルであるかの選択でありうる。当該選択は例えば、画面上に表示されるポップアップウィンドウ上のアイテム「低スキル」又は「高スキル」をユーザがタッチすることによって行われうる。ユーザが低スキルであるか高スキルであるかは例えば、モデルを構築する実験者により主観的に判断されうる。

ステップ６０３において、電子機器は、実験者によって指定された所定の操作課題が開始されることに応じて、ログ取得対象のアプリケーションを起動する。電子機器は、任意的に、当該所定の操作課題の開始のセッションを識別する為のセッションＩＤを作成しうる。

ステップ６０４において、電子機器は、ユーザの上記アプリケーション上のユーザの操作が行われるのを待つ（すなわち、画面上の操作により発生したイベントの発生を待つ）。

ステップ６０５において、電子機器は、ユーザの操作が行われたことに応じて、操作ログ・データを、当該電子機器の記憶装置、操作ログ・データを一時的に収集しているサーバ、又は、ユーザの習熟度を推定するためのモデルを構築するためのコンピュータがアクセス可能な記憶装置（以下、纏めて、「操作ログＤＢ」（６９１）という）上に記憶する。代替的には、電子機器は、ユーザの操作が行われたことに応じて、操作ログ・データをサーバに送信しうる。操作ログ・データは例えば、少なくとも操作課題を操作したユーザのユーザＩＤ、低スキル又は高スキルを示すタグ、及び操作イベント系列データを含む。操作ログ・データは、任意的に、例えば、当該該操作課題を実行した電子機器の電子機器ＩＤ、当該操作課題の操作課題ＩＤ、及び／又はセッションＩＤをさらに含みうる。

ステップ６０６において、電子機器は、ユーザによる操作課題が終了したかどうかを判断する。電子機器は、当該操作課題が終了していることに応じて、処理を終了ステップ６０７に進める。一方、電子機器は、当該操作課題が終了していないことに応じて、処理をステップ６０５に戻す。

ステップ６０７において、電子機器は、操作ログ・データを記録する処理を終了する。

ユーザそれぞれは、各ユーザが所持している電子機器、又は上記電子機器を用いて、上記所定の操作課題を行う。

図６Ｂは、本発明の実施態様に従い、コンピュータが、上記操作ログＤＢ（６９１）に記憶した操作ログ・データに基づいてモデルを学習し、当該学習したモデルから識別面を算出する処理を含むフローチャートを示す。

ステップ６１１において、コンピュータは、操作ログ・データに基づいてモデルを学習し、当該学習したモデルから識別面を算出する処理を開始する。

ステップ６１２において、コンピュータは、操作ログＤＢ（６９１）から操作ログ・データを読み出し、当該操作ログ・データ中の低スキル又は高スキルを示すタグに基づいて、低スキル・データのＮ個の操作ログ・データを読み込む。

ステップ６１３において、コンピュータは、ステップ６１２で読み出したＮ個の操作ログ・データそれぞれの操作ログ・データから特徴ベクトルをユーザ毎に算出するために、上記図２Ａ〜２Ｂのステップ２〜５に示したように、上記操作ログ・データを１ジェスチャ単位に（１ジェスチャ毎に）集約し、当該集約された集約データに基づいて、基本特徴量、そして拡張特徴量を算出し、当該算出した基本特徴量及び拡張特徴量を特徴量ＤＢ（６９２）に格納する。コンピュータは、さらに当該基本特徴量、当該拡張特徴量又はそれらの少なくとも２つの組み合わせを統計処理して、特徴ベクトルを構成する統計値を算出する。そして、コンピュータは、上記算出した統計値からなる特徴量データを特徴ベクトルとして、特徴ベクトルＤＢ（６９５）に格納する。コンピュータは、低スキル・データのＮ個の操作ログ・データそれぞれに対応する特徴ベクトルを得る。当該特徴ベクトルを得る為の詳細なフローチャートを図６Ｃに示す。

ステップ６１４において、コンピュータは、上記ステップ６１２と同じようにして、高スキル・データのＭ個の操作ログ・データを読み込む。

ステップ６１５において、コンピュータは、上記ステップ６１３と同じようにして、特徴ベクトルを構成する統計値を算出する。そして、コンピュータは、上記算出した統計値からなる特徴量データを特徴ベクトルとして、特徴ベクトルＤＢ（６９５）に格納する。コンピュータは、高スキル・データのＭ個の操作ログ・データそれぞれに対応する特徴ベクトルを得る。当該特徴ベクトルを得る為の詳細なフローチャートを図６Ｃに示す。

ステップ６１６において、コンピュータは、ステップ６１３で得たＮ個の特徴ベクトル及びステップ６１５で得たＭ個の特徴ベクトルから、タッチ操作スキルの低スキル・データとタッチ操作スキルの高スキル・データとを分類する為のモデルを学習する。当該モデルを学習する為の詳細なフローチャートを図６Ｄに示す。

ステップ６１７において、コンピュータは、上記図２Ｂのステップ６に示したように、ステップ６１６で学習したモデルからクラス分類法により識別面を算出する。

ステップ６１８において、コンピュータは、操作ログ・データに基づいてモデルを学習し、当該学習したモデルから識別面を算出する処理を終了する。

図６Ｃは、本発明の実施態様に従い、コンピュータが上記記憶した操作ログ・データから基本特徴量を抽出し、そして拡張特徴量及び特徴量データを算出する処理を含むフローチャートを示す。

ステップ６２１において、コンピュータは、上記基本特徴量を抽出し、そして拡張特徴量及び特徴量データを算出する処理を開始する。

ステップ６２２において、コンピュータは、図６Ｂのステップ６１２で読み込んだＮ個の操作ログ・データ又は同ステップ６１４で読み込んだＭ個の操作ログ・データのうちの１個の操作ログ・データをメモリ上に取り出す。

ステップ６２３において、コンピュータは、基本特徴量抽出テーブル（６９４）を参照して、上記図２Ｂのステップ２に示したように、ステップ６２２で取り出した１個の操作ログ・データから、１ジェスチャ毎に、Ｋ個の基本特徴量を抽出する。当該基本特徴量は少なくとも、１ジェスチャにおいて用いられた指の数、及び当該１ジェスチャにおける指の移動距離（タッチ開始時からタッチ終了時の直線距離であって、指の軌跡距離ではない）を含む。コンピュータは、抽出したＫ個の基本特徴量を特徴量ＤＢ（６９２）に格納する。基本特徴量抽出テーブル（６９４）は、上記操作ログ・データから抽出すべき基本特徴量を指定する記述を含む。当該抽出すべき基本特徴量は例えば、図４Ａ及び図４Ｂに示した基本特徴量の複数でありうる。

ステップ６２４において、コンピュータは、上記図２Ｂのステップ３に示したように、１ジェスチャ毎に、ステップ６２３で抽出した基本特徴量の少なくとも２つを組み合わせて演算処理して、拡張特徴量を算出する。コンピュータは、算出した拡張特徴量を特徴量ＤＢ（６９２）に格納する。

ステップ６２５において、コンピュータは、上記図２Ｂのステップ４に示したように、特徴ベクトル（２０４）を構成する統計値を、各ユーザについての、（１）ステップ２で算出した基本特徴量の少なくとも２つの組み合わせ、（２）ステップ２で算出した基本特徴量の少なくとも１つとステップ３で算出した拡張特徴量の少なくとも１つとの組み合わせ、又は、（３）ステップ３で算出した拡張特徴量の少なくとも２つの組み合わせ、を統計処理して算出するコンピュータは、上記算出した統計値からなる特徴量データを特徴ベクトルとして特徴ベクトルＤＢ（６９５）に格納する。

ステップ６２６において、コンピュータは、図６Ｂのステップ６１２で読み込んだ操作ログ・データのうち、ステップ６２３〜６２５の処理が未処理である操作ログ・データがあるかを判断する。コンピュータは、未処理の操作ログ・データがあることに応じて、処理をステップ６２２に戻す。一方、コンピュータは、未処理の操作ログ・データがないことに応じて、処理を終了ステップ６２７に進める。

ステップ６２７において、コンピュータは、上記基本特徴量を抽出し、そして拡張特徴量及び特徴量データを算出する処理を終了する。

図６Ｄは、本発明の実施態様に従い、コンピュータが上記算出した特徴量データに基づいて、タッチ操作スキルの低いデータとタッチ操作スキルの高いデータとを分類する為のモデルを学習する処理を含むフローチャートを示す。

ステップ６３１において、コンピュータは、上記モデルを学習する処理を開始する。

ステップ６３２において、コンピュータは、クラス判別モデルが数理モデルであり、当該数理モデルがハイパーパラメータを含んでいる場合に、タッチ操作スキルの低いデータとタッチ操作スキルの高いデータの各クラスの判別を最適化するように学習する数理モデルのためのハイパーパラメータをＰパターン用意する。当該ハイパーパラメータのＰパターンは、当業者が適宜設定することが可能である。当業者は例えば、当該Ｐパターンを、当該ハイパーパラメータが現実的にとりうる区間に対して、線形スケール又は対数スケールに等間隔に値の候補を準備しうる。例えば、当該ハイパーパラメータが複数のｎ個あり、各ハイパーパラメータについてｋ種類の値を用意する場合、Ｐ＝ｋ^ｎパターンになる。なお、上記数理モデルがハイパーパラメータを含んでいない場合には、コンピュータは、ステップ６３２〜６４０を飛ばして、ステップ６４０の「Ｎ個及びＭ個の特徴ベクトルでモデルを学習」することを実行し、処理を終了ステップ６４１に進める。

ステップ６３３において、コンピュータは、特徴ベクトルＤＢ（６９５）を参照して、１個の低スキル・データの特徴ベクトルと１個の高スキル・データの特徴ベクトルとを選択する。

ステップ６３４において、コンピュータは、Ｎ個の低スキル・データのうちの残りのＮ−１個の低スキル・データの特徴ベクトル及びＭ個の高スキル・データのうちの残りのＭ−１個の高スキル・データの特徴ベクトルから、上記数理モデルを学習する。

ステップ６３５において、コンピュータは、ステップ６３３で選択した低スキル・データ及び高スキル・データそれぞれを、ステップ６３４で学習したモデル上で分類できるかどうかを検証する。コンピュータは、ステップ６３３で選択した１個の低スキル・データの特徴ベクトル及び１個の高スキル・データの特徴ベクトルが、ステップ６３４で学習したモデルで分類できた場合には、分類可（Ｙｅｓ）を記録し、一方、ステップ６３４で学習したモデルで分類できなかった場合には、分類不可（Ｎｏ）を記録する。

ステップ６３６において、コンピュータは、全ての特徴ベクトルがステップ６３３で選択されたがを判断する。コンピュータは、全ての特徴ベクトルが選択されていることに応じて処理をステップ６３７に進める。一方、コンピュータは、全ての特徴ベクトルが選択されていないことに応じて、処理をステップ６３３に戻す。

ステップ６３７において、コンピュータは、ステップ６３５での記録に基づいて、Ｎ個の低スキル・データ及びＭ個の高スキル・データの全てについて、それぞれ正答率を算出する。

ステップ６３８において、コンピュータは、ハイパーパラメータのステップ６３２で用意したＰパターン全てについて、ステップ６３３〜６３７を実行して正答率を算出したかを判断する。コンピュータは、Ｐパターン全てについて正答率を算出していることに応じて、処理をステップ６３９に進める。一方、コンピュータは、Ｐパターン全てについて正答率を算出していないことに応じて、未処理のパターンについてステップ６３３〜６３７を繰り返す為に、処理をステップ６３２に戻す。

ステップ６３９において、コンピュータは、タッチ操作のスキルの高いデータがタッチ操作のスキルの低いデータよりも評価値が高くなるように、上記ハイパーパラメータをチューニングする。コンピュータは例えば、ステップ６３２で用意したＰパターンのうち、正答率が最大となるハイパーパラメータｐを決定する。

ステップ６４０において、コンピュータは、ステップ６３９で決定したハイパーパラメータｐを使って、Ｎ個及びＭ個の特徴ベクトルでモデルを学習する。コンピュータは、当該学習したモデルを、モデルＤＢ（６９３）に格納する。

ステップ６４１において、コンピュータは、上記モデルを学習する処理を終了する。

図７は、本発明の実施態様に従い、電子機器が、学習されたモデルを使用して、ユーザの習熟度に応じたユーザ支援をする処理（モデルの運用フェーズ）を含むフローチャートを示す。

なお、以下の各ステップ７０１〜７１５で述べる電子機器は、モデルを構築する為に操作ログ・データを収集した図６Ａの各ステップで示す電子機器モデルと異なるものでありうる。また、以下の各ステップ７０１〜７１５で述べる電子機器は、図６Ａ〜図６Ｃで学習されたモデルを記憶媒体中に備えているとする。

ステップ７０１において、電子機器は、ユーザ支援をする処理を開始する。当該処理の開始は例えば、電子機器の起動時に当該処理の為の電子機器プログラムが自動的に起動することによって行われうる。

ステップ７０２において、電子機器は、ユーザの習熟度を推測する為に、ログ取得対象のアプリケーションを起動する。当該ログ取得対象のアプリケーションは、ユーザが任意に使用しうるアプリケーションでよい。すなわち、モデルを構築する場合と異なり、特定のアプリケーションである必要はない。代替的には、当該アプリケーションは、ユーザの習熟度を推測する為に使用される特定のアプリケーションであってもよい。

ステップ７０３において、電子機器は、ユーザの上記アプリケーション上のユーザの操作が行われるのを待つ（すなわち、画面上の操作により発生したイベントの発生を待つ）。

ステップ７０４において、電子機器は、ユーザの操作が行われたことに応じて、当該ユーザ操作に関連付けられたイベント・レコードを取得し、当該イベント・レコードを履歴データとして当該電子機器の記憶装置に記憶する。当該イベント・レコードは例えば、少なくとも操作課題を操作したユーザのユーザＩＤ、低スキル又は高スキルを示すタグ、及び操作イベント系列データを含む。電子機器は、履歴データ中にＴ件以上のイベント・レコードがある場合には、一番古い日付を有する１件のイベント・レコードを削除して、上記取得したイベント・レコードを上記履歴データ中に記憶する。当該Ｔ件は、下記ステップ７０７で特徴ベクトルを得る為に十分な件数でありうる。

ステップ７０５において、電子機器は、上記履歴データ中にＴ件以上のイベント・レコードが追加されたかを判断する。電子機器は、Ｔ件以上のイベント・レコードが追加されていないことに応じて、処理をステップ７０６に進める。一方、電子機器は、Ｔ件以上のイベント・レコードが追加されたことに応じて、最新のＴ件のイベント・レコードのみを利用して統計値からなる特徴量データを算出する為に、処理をステップ７０７に進める。電子機器は例えば、Ｔ＋１件のバッファを備えており、当該バッファから最新のＴ件のみのデータを取り出しうる。代替的には、電子機器は例えば、全てのイベント・レコードを保持可能なバッファを備えており、当該バッファから最新のＴ件のみのデータを取り出しうる。

ステップ７０６において、電子機器は、ステップ７０２で起動したアプリケーションが終了するかを判断する。電子機器は、当該アプリケーションが終了することに応じて、処理を終了ステップ７１５に進める。一方、電子機器は、当該アプリケーションが終了しないことに応じて、処理をステップ７０３に戻す。

ステップ７０７において、電子機器は、Ｔ件のイベント・レコードを操作ログ・データとして、図６Ｃに示したフローチャートの各ステップと同様にして、当該操作ログ・データから基本特徴量を抽出し、そして拡張特徴量、及び統計値からなる特徴量データをさらにそれぞれ算出する。そして、電子機器は、上記算出した統計値からなる特徴量データを特徴ベクトルとして特徴ベクトルＤＢに格納する。

ステップ７０８において、電子機器は、上記特徴ベクトルに基づいて、当該ユーザの習熟度をモデルの識別面からの距離として算出する。

ステップ７０９において、電子機器は、ステップ７０８で算出した習熟度を当該電子機器の表示装置上に表示するかを判断する。電子機器は、習熟度を表示することに応じて、処理をステップ７１０に進める。電子機器は、習熟度を表示しないことに応じて、処理をステップ７１１に進める。

ステップ７１０において、電子機器は、ステップ７０８で算出した習熟度を当該電子機器の表示装置上に表示する。当該表示は例えば、低レベル又は高レベル；数字による習熟度の表示；例えばグラフによる視覚的な表示でありうる。電子機器は、当該変更をすることに応じて、処理をステップ７１１に進める。

ステップ７１１において、電子機器は、ステップ７０８で算出した習熟度に基づいて、ユーザ・インタフェース（ＵＩ）を変更するかを判断する。電子機器は、ＵＩを変更することに応じて、処理をステップ７１２に進める。電子機器は、ＵＩを変更しないことに応じて、処理をステップ７１３に進める。

ステップ７１２において、電子機器はＵＩを変更する。ＵＩの変更は例えば、図５Ａ〜図５Ｃの各実施態様を参照されたい。電子機器は、当該変更をすることに応じて、処理をステップ７１３に進める。

ステップ７１３において、電子機器は、ステップ７０８で算出した習熟度に基づいて、アドバイス・ガイドを表示又は変更するかを判断する。電子機器は、アドバイス・ガイドを表示又は変更することに応じて、処理をステップ７１４に進める。電子機器は、アドバイス・ガイドを表示及び変更しないことに応じて、処理をステップ７１５に進める。

ステップ７１４において、電子機器は、アドバイス・ガイドを表示及び変更する。アドバイス・ガイドを表示及び変更は例えば、図５Ｃの実施態様を参照されたい。電子機器は、当該表示又は変更をすることに応じて、処理をステップ７１５にさらに進める。

ステップ７１５において、電子機器は、ユーザ支援をする処理を終了する。

上記の実施態様では、電子機器それ自体が、習熟度を算出する態様を説明した。代替的には、電子機器はステップ７０４で収集したイベント・レコードを、例えば習熟度を算出することが可能なコンピュータ（例えば、図６Ｂ〜図６Ｄに示す各ステップを実行可能なコンピュータ）に送信して、当該コンピュータから習熟度の結果を得るようにしてもよい。

また、本発明の実施態様に従う上記運用フェーズでは、電子機器がユーザにより行われたマルチタッチ操作から操作ログ・データをタイムリーに取得し、習熟度を推定することを示した。代替的には、電子機器がユーザにより行われた操作を動的に取得するのではなく、記憶装置に保存された特定の時期における操作ログ・データを取り出して、当該特定の時期における習熟度を推定するようにしうる。

また、本発明の実施態様に従う上記運用フェーズでは、マルチタッチ操作可能な表面上のタッチ操作の履歴の基本特徴量を利用する為に、当該電子機器の短時間（例えば、数分）の利用であっても、操作スピードにむらがあっても（例えば、テレビをみながら、スマートフォンを操作している場合に、一時的にマルチタッチ操作をしていない時間帯がある）、ユーザの習熟度を推定することが可能である。

さらに、本発明の実施態様に従う上記運用フェーズでは、上記した通り、タスクへの依存性が低いモデルを使用する為に、例えば所定の操作課題が地図タスクである場合において、当該地図タスクと異なる電話帳タスクでの習熟度の推定にも使用できる。

図８は、図１Ａに従うハードウェア構成を好ましくは備えており、本発明の実施態様に従うコンピュータの機能ブロック図の一例を示した図である。以下において、「部」は「手段」とも読み替えてもよい。

コンピュータ（８０１）は、イベント・レコード収集部（８１１）、特徴ベクトル算出部（８１２）及びモデル構築部（８１３）を備えている。

イベント・レコード収集部（８１１）は、電子機器からの操作ログ・データを、例えば操作ログＤＢ（８９１）から収集する。イベント・レコード収集部（８１１）は、当該収集した操作ログ・データを特徴量ＤＢ（８９２）に格納しうる。

イベント・レコード収集部（８１１）は、図６Ｂのステップ６１２及び図６Ｃのステップ６２２を実行しうる。

特徴ベクトル算出部（８１２）は、基本特徴量算出部（８２１）、拡張特徴量算出部（８２２）及び統計処理部（８２３）を備えている。特徴ベクトル算出部（８１２）は、複数のユーザそれぞれの操作ログ・データから特徴ベクトルをユーザ毎に算出する。

基本特徴量算出部（８２１）は、イベント・レコード収集部（８１１）が収集した操作ログ・データそれぞれから特徴ベクトルをユーザ毎に算出するために、基本特徴量抽出テーブル（８９４）を参照して、上記操作ログ・データを１ジェスチャ単位に（１ジェスチャ毎に）集約し、当該集約された集約データに基づいて、基本特徴量を抽出する。コンピュータは、算出した拡基本特徴量を例えば特徴量ＤＢ（８９２）に格納しうる。

基本特徴量算出部（８２１）は、図６Ｃのステップ６２２及び６２３を実行しうる。

拡張特徴量算出部（８２２）は、１ジェスチャ毎に、基本特徴量算出部（８２１）が抽出した基本特徴量の少なくとも２つを組み合わせて演算処理して、拡張特徴量を算出する。コンピュータは、算出した拡張特徴量を例えば特徴量ＤＢ（８９２）に格納しうる。

拡張特徴量算出部（８２２）は、図６Ｃのステップ６２４を実行しうる。

統計処理部（８２３）は、特徴ベクトルを構成する統計値を、各ユーザについての操作課題における全てのジェスチャについての、（１）基本特徴量算出部（８２１）が算出した基本特徴量の少なくとも２つの組み合わせ、（２）基本特徴量算出部（８２１）が基本特徴量の少なくとも１つと拡張特徴量算出部（８２２）が算出した拡張特徴量の少なくとも１つの組み合わせ、又は、（３）拡張特徴量算出部（８２２）が算出した拡張特徴量の少なくとも２つの組み合わせ、を統計処理して算出する。統計処理部（８２３）は、上記算出した統計値からなる特徴量データを特徴ベクトルとして例えば特徴ベクトルＤＢ（８９５）に格納しうる。

統計処理部（８２３）は、図６Ｃのステップ６２５を実行しうる。

モデル構築部（８１３）は、統計処理部（８２３）が得た特徴ベクトルから、タッチ操作スキルの低スキル・データとタッチ操作スキルの高スキル・データとを分類する為のモデルを学習する。統計処理部（８２３）は、当該モデルを例えばモデルＤＢ（８９３）に格納しうる。また、モデル構築部は、当該学習したモデルからクラス分類法により識別面を算出する。

モデル構築部（８１３）は、図６Ｃのステップ６２５、及び、図６Ｂのステップ６１７、並びに、図６Ｄの各ステップを実行しうる。

コンピュータ（８０１）は任意的に、下記図９に示す習熟度算出部（９１３）と同様の機能を有する習熟度算出部（図示せず）を備えていてもよい。コンピュータ（８０１）が備えている習熟度算出部は例えば、電子機器からの習熟度の算出依頼に応じて、習熟度を算出しうる。

図９は、図１Ｂに従うハードウェア構成を好ましくは備えており、本発明の実施態様に従う電子機器の機能ブロック図の一例を示した図である。以下において、「部」は「手段」とも読み替えてもよい。

コンピュータ（９０１）は、イベント・レコード記憶部（９１１）、特徴ベクトル算出部（９１２）、習熟度算出部（９１３）、並びに任意的に、ＵＩ変更部（９１４）及び／又はアドバイス・ガイド提供部（９１５）を備えている。

イベント・レコード記憶部（９１１）は、ユーザの操作が行われたことに応じて、当該ユーザ操作に関連付けられたイベント・レコードを取得し、当該イベント・レコードを操作ログ・データとして当該電子機器の記憶装置に例えば、操作ログＤＢ（９９１）として記憶する。

イベント・レコード記憶部（９１１）は、図７のステップ７０３〜７０６を実行しうる。

特徴ベクトル算出部（９１２）は、基本特徴量算出部（９２１）、拡張特徴量算出部（９２２）及び統計処理部（９２３）を備えている。特徴ベクトル算出部（９１２）は、複数のユーザそれぞれの操作ログ・データから特徴ベクトルをユーザ毎に算出する。

基本特徴量算出部（９２１）は、イベント・レコード記憶部（９１１）が収集した操作ログ・データそれぞれから特徴ベクトルをユーザ毎に算出するために、基本特徴量抽出テーブル（９９４）を参照して、上記操作ログ・データを１ジェスチャ単位に（１ジェスチャ毎に）集約し、当該集約された集約データに基づいて、基本特徴量を抽出する。コンピュータは、算出した拡基本特徴量を例えば特徴量ＤＢ（９９２）に格納しうる。

基本特徴量算出部（９２１）は、図６Ｃのステップ６２２及び６２３と同様の処理を実行しうる。

拡張特徴量算出部（９２２）は、１ジェスチャ毎に、基本特徴量算出部（９２１）が抽出した基本特徴量の少なくとも２つを組み合わせて演算処理して、拡張特徴量を算出する。また、拡張特徴量算出部（９２２）は、基本特徴量と上記演算処理後の拡張特徴量とを組み合わせて演算処理して、又は、上記演算処理後の拡張特徴量の少なくとも２つを組み合わせて演算処理して、拡張特徴量を算出する。コンピュータは、算出した拡張特徴量を例えば特徴量ＤＢ（９９２）に格納しうる。

拡張特徴量算出部（９２２）は、図６Ｃのステップ６２４と同様の処理を実行しうる。

統計処理部（９２３）は、特徴ベクトルを構成する統計値を、各ユーザについての操作課題における全てのジェスチャについての、（１）基本特徴量算出部（９２１）が算出した基本特徴量の少なくとも２つの組み合わせ、（２）基本特徴量算出部（９２１）が基本特徴量の少なくとも１つと拡張特徴量算出部（９２２）が算出した拡張特徴量の少なくとも１つの組み合わせ、又は、（３）拡張特徴量算出部（９２２）が算出した拡張特徴量の少なくとも２つの組み合わせ、を統計処理して算出する。統計処理部（９２３）は、上記算出した統計値からなる特徴量データを特徴ベクトルとして例えば特徴ベクトルＤＢ（９９５）に格納しうる。

統計処理部（９２３）は、図６Ｃのステップ６２５と同様の処理を実行しうる。

習熟度算出部（９１３）は、タッチ操作スキルの低いデータと前記タッチ操作スキルの高いデータとを分類する為のモデルを例えばモデルＤＢ（９９３）から取得して、又は当該モデルを電子機器が備えている記憶媒体から読み出す。そして、習熟度算出部（９１３）は、統計処理部（９２３）が得た特徴ベクトルを上記モデルに入れて、習熟度を当該モデルの識別面からの距離として算出する。

習熟度算出部（９１３）は、図７のステップ７０８〜７１０を実行しうる。

ＵＩ変更部（９１４）は、習熟度算出部（９１３）が算出したユーザの習熟度に応じて、ＵＩを変更する。

ＵＩ変更部（９１４）は、図７のステップ７１１〜７１２を実行しうる。

アドバイス・ガイド提供部（９１５）は、習熟度算出部（９１３）が算出したユーザの習熟度に応じて、アドバイス・ガイドを表示又は変更する。

アドバイス・ガイド提供部（９１５）は、図７のステップ７１３〜７１４を実行しうる。

Claims (20)

1. マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築する方法であって、コンピュータが、
   所定の操作課題に対する複数のユーザそれぞれの操作ログ・データを読み出すステップであって、前記操作ログ・データが、前記表面へのタッチ操作スキルの低いデータと当該タッチ操作スキルの高いデータとを含む、前記読み出すステップと、
   前記複数のユーザそれぞれの操作ログ・データから特徴ベクトルをユーザ毎に算出するステップであって、前記特徴ベクトルが、前記表面へのタッチ開始からタッチ終了までの１ジェスチャを構成するタッチ操作に関する特徴量に基づいて求められる、前記算出するステップと、
   前記算出された特徴ベクトルを用いて、前記タッチ操作スキルの低いデータと前記タッチ操作スキルの高いデータとを分類する為のモデルを構築するステップであって、当該構築されたモデルが任意のユーザの習熟度を前記モデルの識別面からの距離として算出するために使用される、前記構築するステップと
   を実行することを含む、前記方法。
2. 前記特徴ベクトルを算出するステップが、
   前記複数のユーザそれぞれの前記操作ログ・データそれぞれから、１ジェスチャ毎に、複数の基本特徴量を抽出するステップであって、前記基本特徴量が少なくとも、前記１ジェスチャにおいて用いられた指の数、及び前記１ジェスチャにおける指の移動距離を含む、前記抽出するステップ
   をさらに含む、請求項１に記載の方法。
3. 前記基本特徴量が、
   前記１ジェスチャにおける指の移動方向若しくは移動角度、各指の位置若しくは位置関係、二つの指間の距離の移動前後の差分、当該１ジェスチャに要した時間、前記タッチ開始時と前記タッチ終了時それぞれにおける指の位置の直線距離若しくは軌跡の距離、又はマルチタッチの種類をさらに含む、
   請求項２に記載の方法。
4. 前記特徴ベクトルを算出するステップが、
   １ジェスチャ毎に、前記基本特徴量の少なくとも２つを組み合わせて演算処理して、拡張特徴量を算出するステップ、及び任意的に、
   前記基本特徴量の少なくとも１つと前記演算処理後の拡張特徴量の少なくとも１つとを組み合わせて演算処理して、又は、前記演算処理後の拡張特徴量の少なくとも２つを組み合わせて演算処理して、拡張特徴量を算出するステップ
   をさらに含む、請求項２に記載の方法。
5. 前記特徴ベクトルを算出するステップが、
   前記特徴ベクトルを構成する統計値を、各ユーザについての前記基本特徴量若しくは前記拡張特徴量、又は、前記基本特徴量と前記拡張特徴量との組み合わせを統計処理して算出するステップであって、前記統計値は前記操作課題における全てのジェスチャについての統計値である、前記算出するステップと
   をさらに含む、請求項４に記載の方法。
6. 前記特徴ベクトルを算出するステップが、
   前記抽出した前記基本特徴量を特徴量リストに格納するステップと、
   前記算出した前記拡張特徴量を前記特徴量リストに格納するステップと
   をさらに含む、請求項５に記載の方法。
7. 前記特徴ベクトルを算出するステップが
   前記特徴ベクトルを構成する統計値を、前記特徴量リスト内に格納された各ユーザについての前記特徴量を統計処理して算出するステップであって、前記統計値は前記操作課題における全てのジェスチャについての統計値である、前記算出するステップと
   をさらに含む、請求項４に記載の方法。
8. 前記モデルを構築するステップが、
   前記タッチ操作スキルの低いデータと前記タッチ操作スキルの高いデータの各クラスの判別を最適化するようにクラス判別モデルを学習するステップ
   をさらに含む、請求項１に記載の方法。
9. 前記クラス判別モデルが、任意の数理モデルである、請求項１に記載の方法。
10. 前記数理モデルがハイパーパラメータを含み、
    前記モデルを構築するステップが、
    前記タッチ操作のスキルの高いデータが前記タッチ操作のスキルの低いデータよりも評価値が高くなるように、前記ハイパーパラメータをチューニングするステップ
    をさらに含む、請求項９に記載の方法。
11. 前記モデルを構築するステップが、
    前記チューニングされたハイパーパラメータを使用して、前記数理モデルを構築するステップ
    を含む、請求項１０に記載の方法。
12. 前記タッチ操作スキルの低いデータ及び前記タッチ操作スキルの高いデータがそれぞれ、同一のユーザのトレーニング前のデータ及びトレーニング後のデータである、請求項１に記載の方法。
13. マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定する方法であって、前記電子機器が、
    ユーザの操作を操作ログ・データとして格納するステップと、
    前記操作ログ・データを読み出して、前記ユーザの習熟度を、請求項１〜１２のいずれか一項に記載の方法の各ステップに従って構築された前記モデルの識別面からの距離として算出するステップと
    を実行することを含む、前記方法。
14. マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度に応じたユーザ支援をする方法であって、前記電子機器が、
    ユーザの操作を操作ログ・データとして格納するステップと、
    前記操作ログ・データを読み出して、前記ユーザの習熟度を、請求項１〜１２のいずれか一項に記載の方法の各ステップに従って構築された前記モデルの識別面からの距離として算出するステップと、
    前記ユーザの習熟度に応じて、前記電子機器の表示画面に関連付けられたユーザ・インタフェースを変更するステップ、又は、前記ユーザの習熟度に応じて、当該習熟度に関連付けられたアドバイス・ガイドを提供するステップと
    を実行することを含む、前記方法。
15. マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築するためのコンピュータであって、
    前記コンピュータは、所定の操作課題に対する複数のユーザの操作ログ・データを格納した記憶装置にアクセス可能であり、
    前記コンピュータは、
    前記複数のユーザそれぞれの操作ログ・データから特徴ベクトルをユーザ毎に算出する特徴ベクトル算出部であって、前記特徴ベクトルが、前記表面へのタッチ開始からタッチ終了までの１ジェスチャを構成するタッチ操作に関する特徴量に基づいて求められる、前記特徴ベクトル算出部と、
    前記算出された特徴ベクトルを用いて、前記タッチ操作スキルの低いデータと前記タッチ操作スキルの高いデータとを分類する為のモデルを構築するモデル構築部であって、当該構築されたモデルが任意のユーザの習熟度を前記モデルの識別面からの距離として算出するために使用される、前記モデル構築部と
    を備えている、前記コンピュータ。
16. マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを格納する記憶装置を備えている電子機器であって、
    請求項１〜１２のいずれか一項に記載の方法の各ステップに従って構築された前記モデルを格納する為の記憶装置と、
    ユーザの操作を操作ログ・データとして収集する操作ログ・データ収集部と、
    前記操作ログ・データを読み出して、前記ユーザの習熟度を、前記モデルの識別面からの距離として算出する習熟度算出部と
    を備えている、前記電子機器。
17. 前記ユーザの習熟度に応じて、前記電子機器の表示画面に関連付けられたユーザ・インタフェース（以下、「ＵＩ」という）を変更するＵＩ変更部、又は、
    前記ユーザの習熟度に応じて、当該習熟度に関連付けられたアドバイス・ガイドを提供するアドバイス・ガイド提供部
    をさらに備えている、請求項１６に記載の電子機器。
18. マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築するためのコンピュータ・プログラムであって、請求項１〜１２のいずれか一項に記載の方法の各ステップを実行させる、前記コンピュータ・プログラム。
19. マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度を推定するための電子機器プログラムであって、前記電子機器に、請求項１３に記載の方法の各ステップを実行させる、前記電子機器プログラム。
20. マルチタッチ操作可能な表面を備えている電子機器の操作についてのユーザの習熟度に応じたユーザ支援をするための電子機器プログラムであって、前記電子機器に、請求項１４に記載の方法の各ステップを実行させる、前記電子機器プログラム。