JP2015503795A

JP2015503795A - タッチスクリーンのインタラクション方法および装置

Info

Publication number: JP2015503795A
Application number: JP2014550277A
Authority: JP
Inventors: ロン、アヴィヴ; シュカトフ、ミッキー; セヴリューギン、ヴァシリー
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2012-01-03
Filing date: 2012-01-03
Publication date: 2015-02-02
Also published as: CN104024986A; TW201344531A; DE112012005561T5; US20130335360A1; WO2013103333A1; TWI482063B

Abstract

【解決手段】本明細書において、タッチスクリーンのインタラクションに関連する方法、装置、および記憶媒体が開示される。様々な実施形態において、方法は、モバイルデバイスなどのデバイスにより、デバイスのタッチセンサー式ディスプレイのエリアとの起こりつつあるインタラクションを検出する段階と、デバイスにより、検出に応答して、検出された起こりつつあるインタラクションのアシストを提供する段階とを含み得る。様々な実施形態において、アシストを提供する段階は、検出された起こりつつあるインタラクションのエリアにズームインする段階、または検出された起こりつつあるインタラクションのエリアにビジュアルエイドを表示する段階を含み得る。他の実施形態が開示または特許請求され得る。【選択図】図１

Description

［関連出願の相互参照］
本願は、同時に提出される、発明の名称が「ＦａｃｉｌｉｔａｔｉｎｇＴｈｅＵｓｅｒｏｆＳｅｌｅｃｔａｂｌｅＥｌｅｍｅｎｔｓｏｎＴｏｕｃｈＳｃｒｅｅｎｓ」である、米国特許出願＜未割り当て＞（代理人クライアント参照番号ＩＴＬ２５１７ｗｏ）に関連する。

本願は、データ処理の技術分野に関し、より詳細には、タッチスクリーンのインタラクションに関連する方法、装置、および記憶媒体に関する。

本明細書において提供される背景の説明は、本開示の文脈を一般的に提示することを目的としている。本明細書において異なるように示されていない限り、このセクションに説明される題材は、本願の請求項の先行技術ではなく、このセクションに含まれるからといって先行技術として認められない。

コンピューティング、ネットワーキング、および関連する技術における最近の進歩は、パーソナルデジタルアシスタント、スマートフォン、タブレットコンピュータ、およびその他などのモバイルコンピューティングデバイス（以下単に、モバイルデバイス）の急速な採用に繋がった。益々、モバイルデバイスは、情報を表示するため、および、ユーザによるスクリーンのタッチを通じたユーザ入力を取得するために構成されたタッチセンサー式ディスプレイ（タッチセンサー式画面とも呼ばれる）を含み得る。デスクトップコンピュータまたはラップトップコンピュータなどの従来のコンピューティングデバイスの表示と比較し、タッチセンサー式画面は典型的には、より小さい表示エリアを有する。したがって、ユーザ、特に視覚障害があるユーザにとって、表示される情報とインタラクションを行うことがより困難であることが多い。

本願発明の実施形態が、添付の図面に図示された、限定ではなく例示的な実施形態を用いて説明される。同様の参照符号は同様の要素を示す。図面は本開示の実施形態に従って全てが構成されている。
タッチスクリーンのインタラクションを促進させる方法を図示するブロック図である。図１の方法をさらに図示する、例示的なデバイスの外観図である。図１の方法をさらに図示する、例示的なデバイスの外観図である。図１の方法をさらに図示する、他の例示的なデバイスの外観図である。図１の方法をさらに図示する、他の例示的なデバイスの外観図である。図２〜５の例示的なデバイスの例示的なアーキテクチャ図を図示する。図１の方法の全てまたは選択された態様を実施するよう構成された命令を有する例示的な非一時的なコンピュータ可読記憶媒体を図示する。図１の方法を実施するデバイスとして用いられるのに適した例示的なコンピューティングシステムを図示する。

本明細書において、タッチスクリーンのインタラクションに関連する方法、装置、および記憶媒体が開示される。様々な実施形態において、方法は、
モバイルデバイスなどのデバイスにより、デバイスのタッチセンサー式ディスプレイのエリアとの起こりつつあるインタラクションを検出する段階と、
デバイスにより、検出に応答して、検出された起こりつつあるインタラクションのアシストを提供する段階と
を含み得る。

様々な実施形態において、アシストを提供する段階は、検出された起こりつつあるインタラクションのエリアにズームインする段階、または、検出された起こりつつあるインタラクションのエリアにビジュアルエイドを表示する段階を含み得る。様々な実施形態において、ビジュアルエイドを表示する段階は、検出された起こりつつあるインタラクションのエリアに、１または複数の起伏を表す１または複数の画像を表示する段階を含み得る。

他の当業者に研究の本質を伝達すべく当業者に一般的に採用されている用語を用いて、例示的な実施形態の様々な態様が説明される。しかし当業者には、説明される態様のいくつかのみを用いて代替的な実施形態が実施され得ることが明らかとなろう。説明を目的とし、例示的な実施形態の深い理解を提供するために特定の数、材料、および構成が明記される。しかし当業者には、それら特定的な詳細を用いずとも代替的な実施形態が実施され得ることが明らかとなろう。他の例において、例示的な実施形態を曖昧にしないようにするため、周知の特徴は省略または単純化されている。

様々な動作が、順番に、例示的な実施形態を理解するにあたり最も役立つやり方で複数の別個の動作として説明される。しかし、説明の順序は、これらの動作が必ず順序に依存することを示唆するものとして解釈されてはならない。特に、これらの動作は、提示される順序で実行される必要はない。さらに、別個の動作としての動作の説明は、それら動作が、独立して、および／または、別個のエンティティによって必ず実行されることを要するものとして解釈されてはならない。別個のモジュールとしてのエンティティおよび／またはモジュールの説明は同様に、モジュールが別個であること、および／または別個の動作を実行することを要するものとして解釈されるべきではない。様々な実施形態において、図示および／または説明される動作、エンティティ、データ、および／またはモジュールは、融合されてもよく、さらに副部品に分割されてもよく、および／または、省略されてもよい。

「一実施形態において」または「実施形態において」という文言が繰り返し用いられる。これらの文言は一般的に同じ実施形態を指さないが、指すかもしれない。文脈上他のことが示されない限り、「備える」、「有する」、および「含む」といった用語は同義語である。「Ａ／Ｂ」という文言は、「ＡまたはＢ」であることを意味する。「Ａおよび／またはＢ」という文言は、「（Ａ）、（Ｂ）、または（ＡおよびＢ）」であることを意味する。「Ａ、Ｂ、およびＣのうち少なくとも１つ」という文言は、「（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）、または（Ａ、Ｂ、およびＣ）」であることを意味する。

図１を参照すると、本開示の様々な実施形態に係る、タッチスクリーンのインタラクションを促進させる方法が図示されている。示されるように、方法１００はブロック１０２から開始し得る。ここでモバイルデバイスなどのデバイスは、自身の外的環境をモニタリングして、デバイスのタッチセンサー式ディスプレイのエリアとの起こりつつあるインタラクションを検出し得る。ブロック１０２から、起こりつつあるインタラクションの検出に応じて、方法１００はブロック１０４へ移行し得る。ここで、デバイスは、検出された起こりつつあるインタラクションのアシストを提供し得る。ブロック１０４から、アシストの提供に応じて、方法１００はブロック１０２に戻り得、先述したように、動作を継続する。

様々な実施形態において、モバイルデバイスは、パーソナルデジタルアシスタント、スマートフォン、またはタブレットコンピュータであり得る。他の実施形態において、デバイスは、デスクトップコンピュータまたはラップトップコンピュータであり得る。

様々な実施形態において、デバイスは、自身の外的環境の画像、例えば、デバイスの前方の空間の画像を継続的に分析して、デバイスのユーザの手および／または指の動きを検出することにより、自身の外的環境をモニタリングして、起こりつつあるインタラクションを検出し得る。様々な実施形態において、エリアとの起こりつつあるインタラクションは、ユーザの指がエリアから予め定められた距離内にある場合に検出されたものと見なされ得る。予め定められた距離は、実施例毎に異なり得、好ましくは、異なるデバイスおよび／またはユーザ毎にカスタマイズされ得る。様々な実施形態において、デバイスは、自身の外的環境の画像、例えば、デバイスの前方の空間の画像を取り込むよう構成された１または複数のカメラを含み得る。

様々な実施形態において、起こりつつあるインタラクションの検出に応じて、デバイスは、検出された起こりつつあるインタラクションのエリアにズームインすることによりアシストを提供し得る。他の実施形態において、デバイスは、検出された起こりつつあるインタラクションのエリアにビジュアルエイドを表示し得る。様々な実施形態において、表示されるビジュアルエイドは、検出された起こりつつあるインタラクションのエリアに１または複数の起伏を表す１または複数の画像を含み得る。

ここで図２および３を参照すると、本開示の実施形態に係る、図１の方法をさらに図示する、デバイスの外観図のペアが示されている。示されるように、デバイス２００は、タッチセンサー式画面２０２、および１または複数の前方を向いたカメラ２０６ａ〜２０６ｂを含み得る。動作の間、様々な情報、例えばアイコン２０４ａ〜２０４ｌが、例えば、デバイス２００で動作するアプリケーションにより、または、（例えば、タッチセンサー式画面２０２に関連付けられたデバイスドライバを介して）デバイス２００のオペレーティングシステムによりタッチセンサー式画面２０２に表示され得る。さらに、カメラ２０６ａ〜２０６ｂは定期的または継続的に、デバイス２００の前方の空間の画像を取り込み得る。取り込まれた画像は、デバイス２００の入力ドライバ、例えば、タッチセンサー式画面２０２に関連付けられたデバイスドライバへ提供され得る。入力ドライバは、デバイス２００のユーザの手および／または指の動きに関し画像を分析して、タッチセンサー式画面２０２のエリア、例えば、エリア２０８との起こりつつあるインタラクションを検出し得る。図３に図示されるように、検出に応答して、入力ドライバはデバイス２００に、エリアに表示される情報にズームインさせる。様々な実施形態において、ズームインは、ユーザがエリアに継続して接近するらしいか否かを反映して、速度が異なり得る、および／または適合され得る。したがって、タッチスクリーンのインタラクションは、視覚障害があるユーザにとって特に、よりユーザフレンドリーであり得る。

ここで図４および５を参照すると、本開示の実施形態に係る、図１の方法をさらに図示する、デバイスの外観図の他のペアが示されている。示されるように、デバイス４００は同様に、タッチセンサー式画面４０２、および１または複数の前方を向いたカメラ４０６ａ〜４０６ｂを含み得る。動作の間、様々な情報、例えば、アイコン４０４ａ〜４０４ｌが、（例えば、タッチセンサー式画面４０２に関連付けられたデバイスドライバを介して）例えば、デバイス４００で動作するアプリケーションにより、または、デバイス４００のオペレーティングシステムによりタッチセンサー式画面４０２に表示され得る。さらに、カメラ４０６ａ〜４０６ｂは定期的または継続的に、デバイス４００の前方の空間の画像を取り込み得る。取り込まれた画像は、デバイス４００の入力ドライバ、例えば、タッチセンサー式画面４０２に関連付けられたデバイスドライバへ提供され得る。入力ドライバは、デバイス４００のユーザの手および／または指の動きに関し画像を分析して、タッチセンサー式画面４０２のエリアとの起こりつつあるインタラクションを検出し得る。検出に応答して、入力ドライバはデバイス４００に、１または複数のビジュアルエイド４０８を表示させて、ユーザの指または指が移動して向かっているタッチセンサー式画面４０２のエリアまたは複数のエリアをユーザのために確認しユーザをアシストさせ得る。様々な実施形態において、ビジュアルエイドは、例えば水のさざ波を伝える一連の起伏を表す一連の画像を含み得る。様々な実施形態において、起伏の割合は、ユーザがエリアに継続して接近するらしいか否かを反映して、異なり得る、および／または適合され得る。さらに、様々な実施形態において、例えば、ユーザの２本の指のジェスチャを介した画像の拡大または縮小をサポートするアプリケーションの表示を現在有しているターゲットであるらしいエリアを網羅するより広いエリアに関して、ユーザの２本の指のターゲットであるらしいエリアに対応するよう２組の一連の起伏が表示され得る。したがって、タッチスクリーンのインタラクションは、視覚障害があるユーザにとって特に、よりユーザフレンドリーでもあり得る。

ここで図６を参照すると、本開示の様々な実施形態に係る、図２〜５のデバイスのアーキテクチャ図が示されている。図示されるように、デバイス２００／４００のアーキテクチャ６００は、様々なハードウェア要素６０８、例えば、先述したタッチセンサー式画面２０２／４０２、およびカメラ２０６ａ〜２０６ｂ／４０６ａ〜４０６ｂを含み得る。ハードウェア要素６０８には、１または複数のデバイスドライバ６０６、例えば、タッチセンサー式画面２０２／４０２、およびカメラ２０６ａ〜２０６ｂ／４０６ａ〜４０６ｂに関連付けられた１または複数のデバイスドライバが関連付けられ得る。デバイス２００／４００のアーキテクチャ６００は、更なるデバイスドライバ６０６を介して、アプリケーション６０２のためにタッチセンサー式画面２０２／４０２に情報を表示するよう構成されたディスプレイマネージャ６０４も含み得る。

実施形態に関して、カメラ２０６ａ〜２０６ｂ／４０６ａ〜４０６ｂと関連付けられてデバイスドライバ６０６は、デバイス２００／４００の外的環境の画像を定期的／継続的に取り込むようカメラ２０６ａ〜２０６ｂ／４０６ａ〜４０６ｂを制御するよう構成され得る。様々な実施形態において、デバイスドライバ６０６はさらに、ユーザの手および／または指の動きに関し画像を分析するよう、またはユーザの手および／または指の動きに関し画像を分析するために、他のデバイスドライバ６０６、例えばタッチセンサー式画面２０２／４０２に関連付けられたデバイスドライバ６０６に画像を提供するよう構成され得る。

追加的に、図２〜３の実施形態に関して、モニタリング／分析デバイスドライバ６０６は、起こりつつあるインタラクションの検出に応じて、例えば、タッチセンサー式画面２０２／４０２のエリアから予め定められた距離内のユーザの指の検出に応じて、エリアに表示される情報にズームインするようディスプレイマネージャ６０４に通知するよう構成され得る。さらに、図４〜５の実施形態に関して、モニタリング／分析デバイスドライバ６０６は、１または複数のビジュアルエイドを表示する（または他のデバイスドライバ６０６に表示させる）よう構成され得る。

図７は、本開示の様々な実施形態に係るコンピュータ可読記憶媒体を図示する。図示されるように、コンピュータ可読記憶媒体７０２は、複数のプログラミング命令７０４を含み得る。プログラミング命令７０４は、プログラミング命令の実行に応答してデバイス２００／４００に、図１を参照して先述した方法１００の動作を実行させるよう構成され得る。代替的な実施形態において、プログラミング命令７０４は代わりに、複数のコンピュータ可読記憶媒体７０２に配置され得る。様々な実施形態において、コンピュータ可読記憶媒体７０２は、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、フラッシュ、およびその他などの非一時的なコンピュータ可読記憶媒体であり得る。

図８は、本開示の様々な実施形態に係る、デバイス２００／４００で用いられるのに適した例示的なコンピュータシステムを図示する。示されるように、コンピューティングシステム８００は、複数のプロセッサまたはプロセッサコア８０２、およびシステムメモリ８０４を含む。請求項を含む本願の目的のために、「プロセッサ」および「プロセッサコア」という用語は、文脈上明らかに他のことを要さない限り、同義語として見なされ得る。追加的に、コンピューティングシステム８００は、大容量記憶デバイス８０６（ディスケット、ハードドライブ、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）、およびその他など）、入出力（Ｉ／Ｏ）デバイス８０８（タッチセンサー式画面２０２／４０２）、カメラ２０６ａ〜２０６ｂ／４０６ａ／４０６ｂ、およびその他など）、および通信インタフェース８１０（ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、３Ｇ／４Ｇネットワークインタフェースカード、モデム、およびその他など）を含む。要素は、１または複数のバスを表すシステムバス８１２を介して互いに結合され得る。複数のバスの場合、複数のバスは、１または複数のバスブリッジ（図示せず）によりブリッジ接続され得る。

これらの要素のそれぞれは、当技術分野で公知の従来の機能を実行するよう構成され得る。特に、システムメモリ８０４および大容量記憶装置８０６は、本明細書においてまとめて演算ロジック８２２として示される、図１を参照して先述された方法１００の動作を実行するよう構成されたプログラミング命令のワーキングコピーおよび永続的なコピーを格納するために採用され得る。演算ロジック８２２はさらに、他の機能、例えば、様々なデバイスドライバ機能を提供するプログラミング命令を含み得る。様々なコンポーネントは、プロセッサ８０２によりサポートされるアセンブラ命令、または、例えばそのような命令にコンパイルされ得るＣなどの高水準言語により実装され得る。

プログラミング命令の永続的なコピーは、例えば、コンパクトディスク（ＣＤ）などの配布媒体（図示せず）を通じて、または（配信サーバ（図示せず）からの）通信インタフェース８１０を通じて工場または現場において大容量記憶装置８０６内に配置され得る。つまり、演算ロジック８２２の実装を有する１または複数の配布媒体が、様々なコンピューティングデバイスをプログラミングするべく演算ロジック８２２を配布するために採用され得る。

一実施形態に関して、プロセッサ８０２のうち少なくとも１つは、演算ロジック８２２と一緒にパッケージングされ得る。一実施形態に関して、プロセッサ８０２のうち少なくとも１つは、演算ロジック８２２と一緒にパッケージングされてシステムインパッケージ（ＳｉＰ）を形成し得る。一実施形態に関して、プロセッサ８０２のうち少なくとも１つは、演算ロジック８２２と同じダイに統合され得る。一実施形態に関して、プロセッサ８０２のうち少なくとも１つは、演算ロジック８２２と同じダイに統合されて、システムオンチップ（ＳｏＣ）を形成し得る。少なくとも１つの実施形態に関して、ＳｏＣは、スマートフォン、携帯電話、タブレット、または他のモバイルデバイスで利用され得る。

他の点に関しては、示される要素８０２〜８１２の構成は公知であり、したがって、さらに説明されない。様々な実施形態において、システム８００は、より多くの、またはより少ないコンポーネント、および／または異なるアーキテクチャを有し得る。

本明細書において特定の実施形態が図示および説明されてきたが、当業者には、本開示の実施形態の範囲から逸脱することなく、多様な代替および／または同等の実施例が、示され説明される特定の実施形態に取って代わり得ることを理解されよう。本願は、本明細書に説明される実施形態の何らかの適合例または変形例を網羅することが意図されている。よって、本開示の実施形態は、請求項およびその同等物によってのみ限定されることが明白に意図されている。

Claims

デバイスにより、前記デバイスのタッチセンサー式ディスプレイのエリアとの起こりつつあるインタラクションを検出する段階と、
前記デバイスにより、検出に応答して、検出された前記起こりつつあるインタラクションのアシストを提供する段階と
を備える、方法。
前記検出する段階は、前記デバイスの１または複数のカメラにより取り込まれた画像データを処理する段階を有する、請求項１に記載の方法。
前記処理する段階は、前記画像データを処理して、前記デバイスのユーザの指の複数の動きを検出する段階を含む、請求項２に記載の方法。
前記提供する段階は、検出された起こりつつあるインタラクションの前記エリアにズームインする段階を有する、請求項１から３のいずれか１項に記載の方法。
前記提供する段階は、前記検出された起こりつつあるインタラクションの前記エリアにズームインするよう前記デバイスのディスプレイマネージャに通知する段階を有する、請求項４に記載の方法。
前記提供する段階は、検出された起こりつつあるインタラクションの前記エリアにビジュアルエイドを表示する段階を有する、請求項１から５のいずれか１項に記載の方法。
前記表示する段階は、前記検出された起こりつつあるインタラクションの前記エリアに、１または複数の起伏を表す１または複数の画像を含むビジュアルエイドを表示する段階を含む、請求項６に記載の方法。
前記デバイスはモバイルデバイスである、請求項１から７のいずれか１項に記載の方法。
１または複数のプロセッサと、
前記１または複数のプロセッサと結合され、タッチセンサー式画面を含むディスプレイユニットと、
ディスプレイドライバと
を備え、
前記ディスプレイドライバは、前記１または複数のプロセッサにより動作させられて、
前記タッチセンサー式画面のエリアとの起こりつつあるインタラクションを検出し、
検出に応答して、検出された前記起こりつつあるインタラクションのアシストを提供する、または前記アシストが提供されるようにする、
装置。
前記装置は１または複数のカメラをさらに備え、
前記ディスプレイドライバは、前記１または複数のカメラにより取り込まれた画像データを処理して、前記タッチセンサー式画面との起こりつつあるインタラクションを検出する、請求項９に記載の装置。
前記ディスプレイドライバは、前記画像データを処理して、前記装置のユーザの指の複数の動きを検出する、請求項１０に記載の装置。
前記装置はディスプレイマネージャをさらに備え、
前記ディスプレイマネージャは、前記１または複数のプロセッサにより動作させられて、前記ディスプレイユニットに画像を表示し、
前記ディスプレイドライバは、前記ディスプレイマネージャに、検出に応答して、検出された起こりつつあるインタラクションの前記エリアにズームインさせる、請求項９から１１のいずれか１項に記載の装置。
前記ディスプレイドライバは、検出に応答して、前記検出された起こりつつあるインタラクションの前記エリアにズームインするよう前記ディスプレイマネージャに通知する、請求項１２に記載の装置。
前記ディスプレイドライバは、検出に応答して、検出された起こりつつあるインタラクションの前記エリアにビジュアルエイドを表示する、請求項９から１３のいずれか１項に記載の装置。
前記ディスプレイドライバは、検出に応答して、前記検出された起こりつつあるインタラクションの前記エリアに、１または複数の起伏を表す１または複数の画像を含むビジュアルエイドを表示する、請求項１４に記載の装置。
前記装置は、スマートフォンまたはコンピューティングタブレットのうち選択される１つである、請求項９から１５のいずれか１項に記載の装置。
１または複数のプロセッサと、
前記１または複数のプロセッサと結合された複数の前方を向いたカメラと、
前記１または複数のプロセッサと結合され、タッチセンサー式画面を含むディスプレイユニットと、
前記１または複数のプロセッサにより動作させられて前記ディスプレイユニットに画像を表示するディスプレイマネージャと、
ディスプレイドライバと
を備える装置であり、
前記ディスプレイドライバは、前記１または複数のプロセッサにより動作させられて、
前記１または複数の前方を向いたカメラにより取り込まれた画像データを処理し、
前記装置のユーザの指の複数の動きを検出し、
前記タッチセンサー式画面のエリアとの起こりつつあるインタラクションを識別し、
検出に応答して、検出された前記起こりつつあるインタラクションのアシストを提供する、または前記アシストが提供されるようにする、
装置。
タッチセンサー式ディスプレイを有するデバイスに、
前記デバイスをモニタリングして、前記タッチセンサー式ディスプレイのエリアとの起こりつつあるインタラクションを検出する手順と、
検出に応答して、検出された前記起こりつつあるインタラクションのアシストを提供する手順と
を実行させる、プログラム。
前記デバイスの１または複数のカメラにより取り込まれた画像データを処理して、前記タッチセンサー式ディスプレイのエリアとの起こりつつあるインタラクションを検出する手順を前記デバイスに実行させる、請求項１８に記載のプログラム。
前記デバイスの１または複数のカメラにより取り込まれた画像データを処理して、前記デバイスのユーザの指の複数の動きを検出する手順を前記デバイスに実行させる、請求項１９に記載のプログラム。
前記検出に応答して、検出された起こりつつあるインタラクションの前記エリアにズームインする手順を前記デバイスに実行させる、請求項１８から２０のいずれか１項に記載のプログラム。
検出された前記起こりつつあるインタラクションの前記エリアにズームインさせる通知が前記デバイスのディスプレイマネージャに送信されるようにする手順を前記デバイスに実行させる、請求項２１に記載のプログラム。
前記検出に応答して、検出された起こりつつあるインタラクションの前記エリアにビジュアルエイドを表示する手順を前記デバイスに実行させる、請求項１８から２２のいずれか１項に記載のプログラム。
前記デバイスのディスプレイドライバに、前記検出された起こりつつあるインタラクションの前記エリアに、１または複数の起伏を表す１または複数の画像を含むビジュアルエイドを表示させる手順を前記デバイスに実行させる、請求項２３に記載のプログラム。
前記デバイスはモバイルデバイスである、請求項１８から２４のいずれか１項に記載のプログラム。