JP2016500872A

JP2016500872A - アプリケーションとの対話処理としてのマルチモード・ユーザー表現およびユーザー感覚量

Info

Publication number: JP2016500872A
Application number: JP2015536974A
Authority: JP
Inventors: コスラヴィ，モエ; ローラー，ダンカン; デマイオ，パスカル
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2012-10-12
Filing date: 2013-10-12
Publication date: 2016-01-14
Also published as: EP2907020A1; KR102151286B1; WO2014059397A1; CN104823147A; US10139937B2; US20140104197A1; EP2907020B1; CN104823147B; KR20150068957A

Abstract

計算デバイスとの１回のマルチモード対話処理、および１つまたは複数のジェスチャーにおいてユーザー感覚量（または活気）の解釈を可能にするアーキテクチャー。地理空間系の実施態様では、マルチタッチ対話処理は、２つの地理的地点間における総合的なナビゲーションを容易にするために、触知圧力（検知可能なタッチ）の検出および処理を伴うことができる。これは、更に、ナビゲーションおよびターンバイターン方式の方向指示に役立つ詳細情報を提供することと結び付けられる。これは、マップ・タイルのズーム・レベルを緩めるまたは高めるための時間および／または圧力の使用、２つの地理的地点間の方向を得るための２つの地理的地点におけるタッチと発言の使用、更に人を引きつけるユーザー体験を創作するためのマップ・タイルの混合の使用を含む。マップは、同じビュー上において異なるレベルのズームで示される。【選択図】図１

Description

[0001] コンピューターの世界では、ユーザーはデバイスの対話処理の方法において増々高度化されつつある。コンピューター対話処理の基本的な技法は、キーボード、マウス、その後に現れたライト・ペン、タッチ・スクリーン等である。今日では、コンピューター・ゲーム・システムのような一層精巧なシステムでは、音声および自然なユーザー行為を認識する対話処理システムが提供されつつある。しかしながら、これら既存の更に進んだ処理能力は、多くのハードウェアおよびソフトウェア・システムにおいて未だに未熟であり、最大限利用されていない。

[0002] 以下に、本明細書において説明するいくつかの新規な実施形態の基本的な理解を得るために簡略化した摘要を紹介する。この摘要は、広範な全体像ではなく、主要な/肝要なエレメントを識別することも、その範囲を明確に定めることも意図していない。その唯一の目的は、後に紹介する更に詳細な説明の序説として、簡略化した形態で一部の概念を紹介することである。

[0003] 開示するアーキテクチャーは、計算デバイスとの対話処理として、単一およびマルチモード・ユーザー表現（例えば、ジェスチャー、発言等）を可能にする。更に、これらの表現を分析して、その表現（１つまたは複数）におけるユーザー感覚量(user intensity)（または活気）を判定することができる。表現は、１つまたは複数のユーザー・アクション（例えば、顔の表情と手の動き、手の動きと発言等）を含むことができる。例えば、地理空間系の実施態様(geospatial implementation)では、マルチタッチ対話処理は、マップ（ナビゲーション）・アプリケーションの２つの地理的地点間における全体的なナビゲーションを容易にするために、これら２地点に対する触知圧力（検知可能なタッチ）の検出および処理を伴うことができる。これは、更に、ナビゲーションおよびターンバイターン方式の方向指示(turn-by-turn directions)に役立つ詳細情報を提供することと結び付けられる。地理空間系用途の実施態様を続けると、触知圧力の表現と組み合わせて時間を追跡して、地理的マップ・タイルのズーム・レベルを緩める(release)または高めることができ（同じビューにおいて地図が異なるズーム・レベルになる）、２つの地理的地点のタッチと発言(speak)から、これら２地点間の方向を得ることができ、更にマップ・タイルの混合ができる。これらの全ては、人を引きつけるユーザー体験を創作するために実現することができる。

[0004] モード入力表現は、ユーザー・ジェスチャー（１つまたは複数）（例えば、顔の表情、四肢および身体の動き、発言等）を含むが、これらに限定されるのではない。ユーザー・ジェスチャーは、検知され、例えば、手による動きの加速、タッチ・スクリーン上における触知圧力量または速度の増大、触知圧力検知システム上における触知圧力の維持（保圧）、発言音量および／または発言速度の増大／減少（一般に、ジェスチャー速度）、ならびに驚き、衝撃、幸せ等を示すと認識される顔の表情というようなユーザーの感覚量を含むと解釈される。

[0005] このアーキテクチャーは、システムの対話処理、表現、レンダリング、そして任意にユーザー感覚量の任意の組み合わせを使用して動作する。マップ・タイルが採用される地理空間系の実施態様では、例えば、ズーム・レベルが増大または減少するに連れて（例えば、音声によって、タッチによって、圧力感応タブレット上の圧力によって等）、増大または減少ズーム・レベルを示すタイルの充填(tiling)を一層細かい詳細レベルで行うために、周囲のエリアが可変のデーター解像度で提示される。ジェスチャーのような表現は、ズーム混合率に作用させるため、更に四分木に基づくモザイク処理（異なる解像度の２つ以上の地理的領域の隙間空間の一部または全部の視覚的に継ぎ目のない漸進的移行）ならびにハード・エッジおよびギャップを覆うための（例えば、作用を受けるマップ・エリアにわたって）透明でぼやけたオーバーレイによるレンダリングに作用させるために採用することができる。異なるサイズのマップ・タイルを混合して、一層魅力的なユーザー体験を提供する。

[0006] また、このアーキテクチャーは、開始点および終点間の経路曲線(path curve)をぼかすことによって、加速ビューも提供する。これは、対象の地点に近いズーム・レベルだけを取り込むように性能および／またはネットワーク接続(network connectivity)を低下させる（または制限する）とよい状況に適している。

[0007] 以上の目的および関係する目的の遂行のために、本明細書では、以下の説明および添付図面と関連付けて、ある種の例示的態様について説明する。これらの態様は、本明細書において開示する原理を実施することができる種々の方法を示し、全ての態様およびその均等物は、特許請求する主題の範囲内に入ることを意図している。他の利点および新規の特徴は、以下の詳細な説明を、添付図面と関連付けて検討することから、明白になるであろう。

図１は、開示するアーキテクチャーによるシステムを示す。図２は、ユーザー表現、ならびにタッチ・ディスプレイによるマップおよびナビゲーション・アプリケーションにおける差分タイル・レンダリングの実施態様の図を示す。図３は、ズーム・レベルを取り込むために反復分割によってズーム・レベルを表す、詳細レベル論理ビューの図である。図４は、エッジ・レンダリングのためのマップ・タイル充填の論理ビューの図を示す。図５は、ピンチインおよびピンチアウトによって全体的なズーミングに作用させるためにジェスチャーを採用した場合の図を示す。図６は、地理空間検索結果が、各々、ズーム・レベルを上げてマップ上にレンダリングされる代替実施態様を示す。図７は、開始地点、およびその後の目的地点までの途中におけるあらゆる曲がり角の近くにおける更に詳細なビューを得るための魚眼領域の使用を表す図を示す。図８は、開示するアーキテクチャーによる方法を示す。図９は、開示するアーキテクチャーによる代替方法を示す。図１０は、開示するアーキテクチャーにしたがって、ユーザー感覚量を用いたアプリケーション対話処理のためのマルチモード・ユーザー表現を実行する計算システムのブロック図を示す。

[0018] 開示するアーキテクチャーは、計算デバイスとの対話処理として、単一モードおよびマルチモード（例えば、多入力）ユーザー表現を可能にする。代わりに、またはそれに加えて、１つ以上の表現のユーザー感覚量（または活気）を、他のデバイス／アプリケーションの動作を行わせる対話処理の一部として計算することができる。単一およびマルチモード表現（デバイス、アプリケーション、システムへの入力）は、発言、ジェスチャー、およびタッチの内任意の１つまたは組み合わせを含み、計算デバイス（例えば、セル・フォン、タブレット、コンピューター等）との対話処理のために、一層高速で最適化されたユーザー体験を可能にする。例えば、マップおよびナビゲーション・アプリケーションにおいて、２つの地理的地点上においてタッチすることによってこれらの地点間の方向を確認することができると、数回のマウス・クリックが不要になる(obviate)。発言は、マルチモード・ジェスチャー環境において混入される可能性があるハードウェア／ソフトウェアのあらゆる混乱を解消するための追加ジェスチャーとして利用することができる。

[0019] 既存の地理空間的枠組みでは、全てのマップ・タイルが同じズーム・レベルにあるユーザー体験を表示する試みが課題であった。開示するアーキテクチャーは、システムの対話処理、表現、およびレンダリングの組み合わせを使用して動作する。タイルが採用される地理空間系の実施態様では、例えば、ズーム・レベルが増大または減少するに連れて（例えば、音声によって、タッチによって、圧力感応タブレット上の圧力によって等）、増大または減少したズーム・レベルを示すタイルの充填(tiling)を一層細かい詳細レベルで行うために、周囲のマップ・エリアをモザイク処理することができる。

[0020] ズーム混合率、ならびに四分木に基づくモザイク処理、および作用を受けるエリアに跨がるハード・エッジおよびギャップを覆うための透明でぼやけたオーバーレイによるレンダリングに作用させるために、ジェスチャーのような表現（例えば、音声、手、身体、姿勢、目、顔等）を採用することができる。（四分木とは、各ノードが４つまでの子ノードを有する、樹木状データー構造であり、繰り返し再分割することによって、二次元空間を区分するために最も多く使用される。）
[0021] また、このアーキテクチャーは、開始位置および終点位置間の経路曲線をぼかすことによって、加速ビューも提供する。これは、対象の地点に近いズーム・レベルのみを取り込むように性能および／またはネットワーク接続を低くする状況に適している。

[0022] タッチ感応ディスプレイ（または画面）または他のタイプの表面上における触知圧力のような圧力の変動に関して、異なるレベルの加えられた力および停留(dwell)（例えば、１つの接触(tactile contact)毎の時間、加えられた圧力の各レベル毎の時間）を検知するだけでなく、圧力が加えられた速度(rate)も検知するように、多数の圧力閾値を設定する(configure)ことができる。例えば、ユーザー感覚量は、加えられた力の速度に関係するように計算することができる。ユーザーが触知圧力を、速度を高めながら（静止または一定圧力ではなく、圧力の増大を加速させる）加える場合、ユーザー感覚量は高く、したがって、対応するレベルの緊急性が判断されると推測することができ、更にハードウェア／ソフトウェア・アクションを促進させることができる（例えば、対応する量の処理リソースおよびその他のリソースを割り当てることによって）と推測することができる。

[0023] 圧力検知および検出は、停留の関数として計算することができる。停留とは、所与のユーザー・アクションに費やされる時間量のことである。即ち、ユーザーが連続圧力（一定圧力値）を所定時間（例えば、１秒、３秒等）加えた場合、この加圧行為は、３秒間加えられる加圧対話処理とは異なる解釈をすることができる。同様に、ユーザーが触知圧力を、速度を高めながら（静止圧力ではなく、加速圧力増大）加える場合、ユーザー感覚量が高く、したがって対応するレベルの緊急性が判断されると推定することができ、更に、関連するハードウェア・ソフトウェアが所望のアクションを効率的に実行することを可能にするために、対応する量の処理リソースおよび他のリソースが供与されると推定することができる。

[0024] 音声(voice)および発言(speech)の表現は、１つ以上の対話処理のために検知および検出することができ、分析して、音量（うるささ）、音量変化、発言速度、ストレスのレベルとしての声の音程（例えば、高い、低い）、声の調子(vocal tone)の短さ、声の調子の維持等に基づくユーザー感覚量を求めることができる。ぶつぶつ言う声(grunt)、うめき、うなり声等というような口腔出力(mouthed output)も、所望の対話処理作用を求めるために設定することができる。

[0025] 手振りおよび指の計算(digit (finger) count)をアプリケーション制御のための１つ以上の対話処理として検知および検出し、分析してユーザー感覚量を求めることができる。例えば、手のフリック(flick)は、文書間、またはアプリケーションのビュー間のページめくりを表すことができる。フリックを加速させると（慣性運動または表現）、ページめくり動作を加速させるユーザー感覚量を意味することができる。

[0026] 顔の表情のような表現は、検知および検出して１つ以上の対話処理を得て、更に驚き、悲しみ等に解釈される(translate)表現に基づいて分析し、ユーザー感覚量を求めることができる。

[0027] 表現は、検知および検出された体温、心拍数、ならびに、例えば、気分や真実性を表す他の生物計量パラメーターに基づいて推論し、分析してユーザー感覚量を求めることができる。例えば、体温および／または心拍数が高い場合、ユーザー感覚量も高くなっており、重要であると解釈されると推論することができる。このように、アプリケーションは、対話処理を完了するためにより効率的なレベルで動作することができる。

[0028] 表現は、検知および検出された皮膚の色に基づいて推論し、分析してユーザー感覚量を求めることができる。例えば、顔の皮膚の色が赤いことが検知された場合、表現およびユーザー感覚量はストレス、高い精神的または身体的活動に関係すると推論することができ、次いでこれを気分に関係付けることができる。このように、対話処理は、アプリケーションに対応する方法で動作させることができる。

[0029] 跳躍(jumping up and down)のような身体の動きの表現は、承認または興奮に関係するものとして検知および検出することができる。つまり、ユーザー感覚量を分析して、興奮した感情レベルに換算することができ、対話処理は対応する方法でアプリケーションを動作させることができる。

[0030] 左、右、上、および下のような視線追尾（動き）、瞬き、ウィンク、停留（関心のある品目に対する凝視または熟視の時間長）等は、例えば、同意または非同意というような、特定の対話処理として認識することができる。視線追尾を分析してユーザー感覚量および関心を求め、アプリケーションに対応する方法で動作させる対話処理（１つまたは複数）に変換することができる。例えば、視野を変えずに地図の特定のエリアを見ている場合、見ることができるものが暗黙の対話処理（ジェスチャー）になることができる。視線追尾によって、持続する目視が判定された場合、アプリケーションによって解釈され、次いで拡大ズーム、縮小ズーム、グラフィック的強調（例えば、強調表示、下線、フォント変更等）というように、何らかの方法で応答することができる。

[0031] ジャイロスコープおよび加速度計というような、電話機およびその他の計算デバイスに一般に埋め込まれる検知コンポーネントを監視して、振れ／振れなし(non-shaking)、ユーザーの向き、振れの速度および加速度、向きの移動速度／加速度等に関係する表現を測定することができる。これらの各々を分析してユーザー感覚量を求め、アプリケーションに対応する方法で動作させる対話処理（１つまたは複数）に変換することができる。

[0032] これより図面を参照すると、同様の参照番号が、全体を通じて同様のエレメントを示すために使用されている。以下の記載では、説明のために限って、完全な理解を得るために多数の具体的な詳細が明示される。しかしながら、新規な実施形態は、これらの具体的な詳細がなくても、実施できることは明白であろう。他方では、周知の構造およびデバイスは、その説明を容易にするために、ブロック図形態で示される。特許請求する主題の主旨および範囲に該当する全ての変更物、均等物、および代替物を包含することを意図している。

[0033] 図１は、開示するアーキテクチャーによるシステム１００を示す。システム１００は、検知コンポーネント１０２を含むことができる。検知コンポーネント１０２は、マルチモード・ユーザー表現１０４を検出し、アプリケーション１０８を制御するための対話処理１０６として解釈する。検知コンポーネント１０２は、カメラ、マイクロフォン、加速度計、ジャイロスコープ、温度センサー、湿度センサー、地理的測位サブシステム（例えば、ＧＰＳ−全地球測位システム）、圧力感応面（例えば、タッチ・スクリーン）、他のユーザー入力（例えば、マウス、ペン、キーボード等）、およびその他というような、デバイスの検知サブシステムを含む。

[0034] 検知コンポーネント１０２は、顔の表情、ジェスチャー（例えば、自然ユーザー・インターフェース（ＮＵＩ））等の認識処理のためというような、データー処理のために、サブシステムからの生データーを他の内蔵コンポーネント（および／または「クラウド」内におけるような離れたコンポーネント）に出力することができる。あるいは、検知コンポーネント１０２は、例えば、顔認識、顔表情認識、ジェスチャー認識、音声認識、発言認識等を実行するための全ての能力およびアルゴリズムを含み、次いで任意のユーザー感覚量１１２を導出するための分析コンポーネント１１０による処理に適したデーターを出力する。

[0035] 図示のように、検知コンポーネント１０２の一部の出力は、アプリケーション１０８によって理解される対話処理１０６として、直接アプリケーション１０８に渡される。顔の表情の画像のような、検知コンポーネント１０２による他の出力は、ユーザー感覚量１０２が存在するか否か判断するための分析のために、分析コンポーネント１１０に渡される。次いで、アプリケーション１０８は、ユーザー表現１０６および／またはユーザー感覚量１１２にしたがって動作する。

[0036] 既に示したように、アプリケーション１０８は、開始地点から目的地に到達する際に補助を受けるためにユーザーによってアクセスされるマップおよびナビゲーション・プログラムとすることができる。この実施態様について、これより以下で更に詳しく説明する。

[0037] 言い換えると、ユーザー表現の１つは、出発地点と目的地との間で方向を求めるマップ・アプリケーション（例えば、図でまたはリストにして）上において、１回以上のタッチ（例えば、一連のタッチ、同時タッチ等）、２つの地理的地点（出発地および目的地）を使用して、タッチ（圧力）感応ディスプレイをタッチすることである。このマップ・アプリケーションは、出発地および目的地の詳細な焦点を保持しつつ、出発地と目的地との間の経路（タイル）におけるマップ・タイルをぼかす。検知コンポーネントは、ユーザー表現の１つ以上によって定められたユーザー感覚量を検知し、分析コンポーネントはこの感覚量を分析して、アプリケーションの拡大ズーム動作または縮小ズーム動作を行わせる。ユーザー感覚量は、タッチ感応ディスプレイ上におけるタッチの停留時間と、このタッチのタッチ圧力とにしたがって定められる。アプリケーションは、異なるレベルのビューを１つの全体的なビューの中にレンダリングする。ユーザー表現は、異なる圧力から対応して異なるアプリケーション動作が生ずるように、タッチ・ディスプレイ面に加えられる圧力、およびこの圧力の期間に換算される。マルチモード・ユーザー表現は、発言入力を使用して、明確化される。

[0038] 図２は、タッチ・ディスプレイ２０２による、マップおよびナビゲーション・アプリケーションにおけるユーザー表現および差分タイル・レンダリングの実施態様の図２００を示す。ここでは、ユーザーは、左手の指の開始地点２０４への接触、および目的地点２０６上における右手の指の接触によって、タッチ・ディスプレイ２０２とマルチモードで対話処理する。第１接触および第２接触の順序は、例えば、開始地点から目的地までの方向指示として設定することができる。

[0039] レンダリング・コンポーネント２０８は、第１ズーム・レベルでの開始地点２０４周囲の領域２１０のレンダリング、および第２ズーム・レベルでの目的地点２０６周囲の領域２１２のレンダリングをやり易くする。これらのズーム・レベルは同一にすることも、異ならせることも可能である。つまり、このビューは、ユーザーが領域（２１０および２１２）において地図の詳細を更に詳しく知覚することができ、これによって、全てのタイルが含まれる１つのマップ・ビューにおいて多数のレベルの詳細を提示する。

[0040] ユーザーは、触知圧力に基づいて、領域（２１０および２１２）の各々においてズームのレベルを変化させることができる。この変化は、更に、触知圧力に関連する停留によって容易に行うことができる。更にまた、この変化は、いずれかのユーザー感覚量の検出によっても、容易に行うことができる。

[0041] 図３は、複数のズーム・レベルを取り込む(fetch)ための反復分割によってズーム・レベルを表す詳細レベル論理ビューの図３００を示す。ここでは、四分木に基づくタイルの混合を使用して、右手の指を使用して開始地点３０２にタッチし、左手の指を使用して目的地点３０４にタッチする。目的地点３０４周囲の領域３０６は、開始地点３０２（および領域３０８）におけるタッチ圧力よりも長い時間タッチ圧力を一定に保持することによって、高いズーム・レベル（例えば、３倍）でレンダリングすることができる。開始地点３０２は、短い停留（および／または少ない触知圧力）に基づいて、低いズーム（例えば、１倍）でレンダリングされ、したがって、地図は粗くなる。これは、ユーザーは、通例、開始地点３０２から先にどのようにナビゲートするか知っているが、目的地点３０４に達したときに、より多くの詳細を必要とすると考えられるからである。このため、一実施態様では、保持を長くするまたは圧力を高めることによって、高いズームが得られ、この形成されたズーム・マップ・レベルにしたがって、そしてナビゲーション経路に基づいて、タイルが取り込まれる。次いで、地点（３０２および３０４）間の経路は、混合ズーム(blended zoom)として、モザイク処理（ぼかす）することができる。

[0042] 代替実施形態では、内蔵位置情報取得システムがユーザーの推移を開始地点３０２から目的地点３０４まで追跡しており、ユーザーの位置情報(geolocation)に基づいて、地点（３０２および３０４）間における経路に沿って移動するズーム・バブル(zoom bubble)のレンダリングを容易にすることができる。

[0043] ユーザー感覚量を採用するとき、ユーザー感覚量が検出された場合、一例では、このユーザー感覚量が、検出されたストレスに基づいて、前述の地点の領域の一方または双方に、自動ズーム・レベルを出現させることができる。

[0044] 図４は、エッジ・レンダリングのためのマップ・タイル充填(map tiling)の論理ビューの図４００を示す。タッチ点４０２において、このタッチ点３０２の領域４０６に近接するエリア４０４は、タッチ点４０２における詳細レベルに徐々に達する異なるズーム・レベルを取り込むために、四分木がどのように暗示されているか(being hinted)を示す。４０８において表されるように、マップにおいてズーム・レベルが変化するときの継ぎ目を処理するために、ぼかしおよび透明を使用してハード・エッジを滑らかにすることができる。

[0045] 図５は、ピンチインおよびピンチアウトによって、全体的なズームに作用させるためにジェスチャーを採用した場合の図５００を示す。ここでは、ユーザー表現は、ズームを変化させるため、したがって関連する混合率を変化させるために双方の手（接触ありまたはなしで）を使用して表される。レンダリング・コンポーネント２０８は、生成された曲線に対して同じ技法を利用して、視覚化(visualization)を得ることができる。

[0046] 図６は、地理空間検索結果が各々マップ上で、ズーム・レベルを高めて、レンダリングされる代替実施態様を示す。ここでは、第1地点６０２および第１領域６０４、第２地点６０６および第２領域６０８、第３地点６１０および第３領域６１２、ならびに第４地点６１４および第４領域６１６という、４つの地理的対象地点が提示され、各々それ自体のズーム・レベルを有する。ユーザー表現は、任意の１つの地点に対する凝視として、または任意の２つの地点間における視線追尾として検出され、これらの地点に対するズーム・レベルの自動調整を行わせることができる。

[0047] 図７は、開始地点７０２に近接する更に詳細なビュー、および目的地点７０４までの途中におけるその後のあらゆる曲がり角(turn)のための魚眼領域の使用を表す図７００を示す。魚眼領域７０６がレンダリングされ、ユーザーが開始地点７０２から目的地点７０４までの経路を進むに連れてユーザーの位置を追跡しつつ、更新される。

[0048] 開示するアーキテクチャーの一部として、自然ユーザー・インターフェース（ＮＵＩ）が使用されてもよい。ＮＵＩは、ユーザーが「自然な」方法でデバイスと対話処理することを可能とし、マウス、キーボード、リモコン等のような入力デバイスによって強制される人工的な制約から解放することができる、あらゆるインターフェース技術として定義することができる。ＮＵＩ方法の例には、発言認識、タッチおよびスタイラス認識、画面上および画面近傍双方におけるジェスチャー認識、エア・ジェスチャー(air gesture)、頭部および視線追尾、音声および発言、視覚、タッチ、ジェスチャー、ならびに機械インテリジェンスを拠り所とするものが含まれる。該当するＮＵＩ技術の具体的なカテゴリーには、タッチ感応ディスプレイ、音声および発言認識、意思および目標理解、深度カメラ（立体視カメラ・システム、赤外線カメラ・システム、ＲＧＢ（赤−緑−青）カメラ・システム、およびこれらの組み合わせというようなカメラ）を使用する運動ジェスチャー(motion gesture)検出、加速度計／ジャイロスコープを使用する運動ジェスチャー検出、顔認識、３Ｄディスプレイ、頭部、視線および凝視追尾、没入型拡張現実および仮想現実システムが含まれ、これらの全ては、電界検知電極（脳波図（ＥＥＧ）および関係する方法）を使用して脳活動を検知する技術だけでなく、一層自然なインターフェースを提供する。

[0049] 本明細書には、開示したアーキテクチャーの新規な態様を実行するための方法例を表す１組のフロー・チャートが含まれる。説明の簡略化の目的に限って、例えば、フロー・チャートまたは流れ図の形態で本明細書において示される１つ以上の方法は、一連のアクトとして示され説明されるが、これらの方法は、アクトの順序によって限定されないことは、言うまでもないことであり認められてしかるべきである。何故なら、本方法によれば、アクトの中には、異なる順序で、および／または本明細書において示し説明するもの以外のアクトと同時に現れてもよいものもあるからである。例えば、方法は、代わりに、状態図におけるように、相互に関係付けられた一連の状態またはイベントとして表すこともできることは、当業者には理解され認められよう。更に、方法において示される全てのアクトが、新規な実施態様に必要とされなくてもよい。

[0050] 図８は、開示したアーキテクチャーによる方法を示す。８００において、マルチモード・ユーザー表現を検知し、地理空間系アプリケーションを制御するための対話処理として解釈する。８０２において、ユーザー表現に基づいて地理空間系アプリケーションと対話処理して、この地理空間系のアプリケーションに、１つの全体ビューにおいて異なるレベルのズームをレンダリングさせる。この方法は、更に、ユーザー表現を分析してユーザー感覚量を検出し、ユーザー表現およびユーザー感覚量に基づいて地理空間系アプリケーションと対話処理して、この地理空間系アプリケーションに、１つのビューにおいて異なるレベルのズームをレンダリングさせるアクトも含むことができる。

[0051] 更に、この方法は、ユーザー表現を分析してユーザー感覚量を検出し、ユーザー表現およびユーザー感覚量に基づいて地理空間系アプリケーションと対話処理して、この地理空間系アプリケーションに、１つの全体ビューにおいて異なるレベルのズームをレンダリングさせるアクトも含むことができる。更に、この方法は、出発地および目的地の詳細な焦点を保持しつつ、地理的出発地と地理的目的地との間の経路（道路）におけるマップ・タイルをぼかすアクトも含むことができる。

[0052] 更に、この方法は、マップの地理的対象地点（例えば、出発地および目的地）に関連するズーム・レベルのみを取り込むアクトも含むことができる。しかしながら、マップにおける３つ以上の対象地点をタッチによって選択するという場合も可能であり、ズーム・レベルは、これらの対象地点において、マップ上の他のいずれの場所よりも大きくなる。対象地点におけるズームのレベルは、少なくとも道のレベル(street level)まで落とすことができ、またはアプリケーションの処理能力以内で設けられるレベルにすることができる。

[0053] 更に、この方法は、圧力感応ディスプレイ上における多数のタッチを使用して地理空間系アプリケーションと対話処理して、地理的出発地と目的地との間における方向を識別し提示することもできる。これらのタッチは、異なる対象地点上において順次行うことができ、タッチされた最初の２つの地点に対して動作する。あるいは、これらのタッチは、同じ手の２本の指、または異なる手の指等を使用して同時に行うこともできる。

[0054] 更に、この方法は、タッチ圧力およびタッチ停留時間の対応する変動に応答して、地理的対象地点上において異なるズーム・レベルを可能にするアクトを含むこともできる。タッチ圧力は、最初の圧力が第１アプリケーション動作を実行させ、それよりも大きな第２の圧力が第２アプリケーション動作を実行させ、更にそれよりも（第２圧力よりも）大きな第３の圧力が第３アプリケーション動作を実行させる等というように、圧力閾値に設定／校正することができる。タッチ停留は、別個にまたはタッチ圧力と組み合わせて、使用することもできる。言い換えると、対象地点におけるタッチ圧力が所定時間（例えば、１秒）維持された場合、アプリケーションは、対応する一定の方法で応答する（例えば、ズーム・レベルを上げる）。

[0055] 更に、この方法は、地理空間系アプリケーションのマップ上において地理的出発地および地理的目的地にタッチし、出発地と目的地との間の方向を得るために音声入力（例えば、コマンド）を供給するアクトを含むこともできる。更に、この方法は、地理的出発地および地理的目的地にはレベルを高めて詳細をレンダリングし、同時に地理空間系アプリケーションのマップにおける他のあらゆる場所には、レベルを下げて詳細をレンダリングするアクトも含むことができる。

[0056] 図９は、開示したアーキテクチャーによる代替方法を示す。９００において、ユーザーのジェスチャーを検知し分析する。９０２において、ユーザーのジェスチャーに基づいて、ナビゲーション情報を得るために、ナビゲーション・アプリケーションの全体的な地図ビューとの対話処理をイネーブルする。９０４において、タッチ・ディスプレイによって、全体的な地図ビューにおける出発地および目的地の選択として、同時ジェスチャーを検出する。９０６において、出発地および目的地のマップ・ビュー部分を、全体的な地図ビューの他の地理的部分とは異なるレベルの詳細でレンダリングする。

[0057] 更に、この方法は、タッチ圧力の変動に応答して、異なるレベルでマップ・タイルの詳細を可能にし、および／またはタッチ停留に応答して、異なるレベルでマップ・タイルの詳細を可能にするアクトも含むことができる。更に、この方法は、出発地および目的地に同時にタッチするアクトと、ナビゲーション・アプリケーションに出発地から目的地までの方向を戻させるために、発言するアクトも含むことができる。

[0058] 本明細書において使用する場合、「コンポーネント」および「システム」という用語は、ハードウェア、ソフトウェアおよび有形ハードウェアの組み合わせ、ソフトウェア、または実行中のソフトウェアのいずれかの、コンピューター関係エンティティを指すことを意図している。例えば、コンポーネントが、プロセッサー、チップ・メモリー、大容量記憶デバイス（例えば、光ドライブ、ソリッド・ステート・ドライブ、および／または磁気記憶媒体ドライブ）、およびコンピューターのような有形コンポーネントであること、ならびにプロセッサー上で実行するプロセス、オブジェクト、実行可能ファイル、データー構造（揮発性または不揮発性記憶媒体に格納された）、モジュール、実行のスレッド、および／またはプログラムのようなソフトウェア・コンポーネントであることができる。

[0059] 例示として、サーバー上で実行するアプリケーションおよびこのサーバーの双方がコンポーネントであることができる。１つ以上のコンポーネントが１つのプロセスおよび／または実行のスレッド内に存在することができ、コンポーネントは１つのコンピューター上に局在すること、および／または２つ以上のコンピューター間で分散することができる。「一例の」(exemplary)という単語は、本明細書では、例、実例、または例示の代わりになることを意味するために使用することができる。本明細書において「一例の」として記載される態様または設計はいずれも、他の態様や設計よりも好ましいまたは有利であるとは、必ずしも解釈されないものとする。

[0060] これより図１０を参照すると、開示したアーキテクチャーによるアプリケーション対話処理のためにマルチモード・ユーザー表現（ジェスチャー）を実行する計算システム１０００のブロック図が示されている。しかしながら、開示した方法および／またはシステムの一部または全部の態様を、チップ上システムとして実現できることは認められよう。チップ上システムでは、アナログ、ディジタル、混合信号、および他の機能が１つのチップ基板上に製作される。

[0061] 種々の態様について追加のコンテキストを与えるために、図１０および以下の説明は、種々の態様を実現することができる、適した計算システム１０００の端的な全体的な説明を行うことを意図している。以上の説明は、１つ以上のコンピューター上で実行することができるコンピューター実行可能命令という一般的なコンテキストにおいて行われたが、新規な実施形態は、他のプログラム・モジュールとの組み合わせで、および／またはハードウェアおよびソフトウェアの組み合わせとしても実現できることは、当業者には認められよう。

[0062] 種々の態様を実現するための計算システム１０００は、処理ユニット（１つまたは複数）１００４（マイクロプロセッサー（１つまたは複数）およびプロセッサー（１つまたは複数））と、システム・メモリー１００６のようなコンピューター読み取り可能記憶媒体（コンピューター読み取り可能記憶媒体（１つまたは複数）は、磁気ディスク、光ディスク、ソリッド・ステート・ドライブ、外部メモリー・システム、およびフラッシュ・メモリー・ドライブも含む）と、システム・バス１００８とを有するコンピューター１００２を含む。処理ユニット（１つまたは複数）１００４は、単一プロセッサー、マルチプロセッサー、単一コア・ユニット、およびマルチコア・ユニットのような、種々の市販されているプロセッサーの内任意のものにすることができる。更に、前述した新規な方法は、他のコンピューター・システム構成とでも実施できることを、当業者は認めよう。他のコンピューター・システム構成は、パーソナル・コンピューター（例えば、デスクトップ、ラップトップ、タブレット、ＰＣ等）、ハンドヘルド計算デバイス、マイクロプロセッサー・ベースの電子機器またはプログラマブル消費者用電子機器等だけでなく、ミニコンピューター、メインフレーム・コンピューターも含む。これらの各々は、１つ以上の関連するデバイスに動作可能に結合することができる。

[0063] コンピューター１００２は、セルラ電話機および他の移動体対応デバイス(mobile-capable devices)のような、携帯用および／または移動体計算システムのためのクラウド計算サービスをサポートするデーターセンターおよび／または計算リソース（ハードウェアおよび／またはソフトウェア）において採用される様々なコンピューターの内の１つとすることができる。クラウド計算サービスは、例えば、サービスとしてのインフラストラクチャ、サービスとしてのプラットフォーム、サービスとしてのソフトウェア、サービスとしてのストレージ、サービスとしてのデスクトップ、サービスとしてのデーター、サービスとしてのセキュリティ、サービスとしてのＡＰＩ（アプリケーション・プログラム・インターフェース）を含むが、これらに限定されるのではない。

[0064] システム・メモリー１００６は、揮発性（ＶＯＬ）メモリー１０１０（例えば、ランダム・アクセス・メモリー（ＲＡＭ））、および不揮発性メモリー（ＮＯＮ−ＶＯＬ）１０１２（例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等）のようなコンピューター読み取り可能記憶（物理的記憶）媒体を含むことができる。基本入力／出力システム（ＢＩＯＳ）は、不揮発性メモリー１０１２に格納することができ、起動中のように、コンピューター１００２内部にあるコンポーネント間のデーターおよび信号の伝達を容易にする基本的なルーチンを含む。揮発性メモリー１０１０は、データーをキャッシュするためのスタティックＲＡＭのような、高速ＲＡＭも含むことができる。

[0065] システム・バス１００８は、システム・メモリー１００６から処理ユニット（１つまたは複数）１００４までを含むがこれらには限定されないシステム・コンポーネントのためにインターフェースを設ける。システム・バス１００８は、種々の市販のバス・アーキテクチャーの内任意のものを使用して、メモリー・バス（メモリー・コントローラを用いてまたは用いずに）、および周辺バス（例えば、ＰＣＩ、ＰＣＩｅ、ＡＧＰ、ＬＰＣ等）に更に相互接続することができる、様々なタイプのバス構造の内任意のものにすることができる。

[0066] 更に、コンピューター１００２は、機械読み取り可能記憶サブシステム（１つまたは複数）１０１４と、記憶サブシステム（１つまたは複数）１０１４をシステム・バス１００８および他の所望のコンピューター・コンポーネントにインターフェースするための記憶インターフェース（１つまたは複数）１０１６とを含む。記憶サブシステム（１つまたは複数）１０１４（物理記憶媒体）は、例えば、ハード・ディスク・ドライブ（ＨＤＤ）、磁気フロッピー（登録商標）・ディスク・ドライブ（ＦＤＤ）、ソリッド・ステート・ドライブ（ＳＳＤ）、および／または光ディスク記憶ドライブ（例えば、ＣＤ−ＲＯＭドライブ、ＤＶＤドライブ）の内１つ以上を含むことができる。記憶インターフェース（１つまたは複数）１０１６は、例えば、ＥＩＤＥ、ＡＴＡ、ＳＡＴＡ、およびＩＥＥＥ１３９４のような、インターフェース技術を含むことができる。

[0067] オペレーティング・システム１０２０、１つ以上のアプリケーション・プログラム１０２２、他のプログラム・モジュール１０２４、およびプログラム・データー１０２６を含む、１つ以上のプログラムおよびデーターをメモリー・サブシステム１００６、機械読み取り可能およびリムーバブル・メモリー・サブシステム１０１８（例えば、フラッシュ・ドライブ・フォーム・ファクター技術）、および／または記憶サブシステム（１つまたは複数）１０１４（例えば、光、磁気、ソリッド・ステート）に格納することができる。

[0068] オペレーティング・システム１０２０、１つ以上のアプリケーション・プログラム１０２２、他のプログラム・モジュール１０２４、および／またはプログラム・データー１０２６は、例えば、図１のシステム１００のエンティティおよびコンポーネント、図２のシステム２００のエンティティおよびコンポーネント、図３の図３００のエンティティおよびコンポーネント、図４の図４００のエンティティおよびコンポーネント、図５の図５００のエンティティおよびコンポーネント、図６の代替実施態様、図７の図７００のエンティティおよびコンポーネント、ならびに図８および図９のフロー・チャートによって表される方法を含むことができる。

[0069] 一般に、プログラムは、ルーチン、方法、データー構造、他のソフトウェア・コンポーネント等を含み、これらは特定のタスクを実行するか、または特定の抽象データー型を実装する。オペレーティング・システム１０２０、アプリケーション１０２２、モジュール１０２４、および／またはデーター１０２６の全部または一部を、例えば、揮発性メモリー１０１０のような、メモリーにキャッシュすることもできる。尚、開示したアーキテクチャーは、種々の市販のオペレーティング・システム、またはオペレーティング・システムの組み合わせ（例えば、仮想マシンのような）とでも実現できることは、認められてしかるべきである。

[0070] 記憶サブシステム（１つまたは複数）１０１４およびメモリー・サブシステム（１００６および１０１８）は、データー、データー構造、コンピューター実行可能命令等の揮発性および不揮発性記憶のためのコンピューター読み取り可能媒体としての役割を果たす。このような命令は、コンピューターまたは他の機械によって実行されると、そのコンピューターまたは他の機械に、方法の１つ以上のアクトを実行させることができる。アクトを実行するための命令は、１つの媒体上に格納することができ、または命令の全てが同じ媒体上にあるか否かには関係なく、命令が集合的に１つ以上のコンピューター読み取り可能記憶媒体上に現れるように、多数の媒体にまたがって格納することもできる。

[0071] コンピューター読み取り可能記憶媒体（１つの媒体）は、伝搬信号を採用しない任意の利用可能な媒体（１つの媒体）とすることができ、コンピューター１００２によってアクセスすることができ、リムーバブルおよび／または非リムーバブルである、揮発性および不揮発性内部媒体および／または外部媒体を含む。コンピューター１００２では、種々のタイプの記憶媒体が、いずれの適したディジタル・フォーマットのデーターの格納にも対処する。尚、開示したアーキテクチャーの新規な方法（アクト）を実行するためのコンピューター実行可能命令を格納するために、ｚｉｐドライブ、ソリッド・ステート・ドライブ、磁気テープ、フラッシュ・メモリー・カード、フラッシュ・ドライブ、カートリッジ等のような、他のタイプのコンピューター読み取り可能媒体を採用できることは、当業者には認められてしかるべきである。

[0072] ユーザーは、キーボードおよびマウスのような外部ユーザー入力デバイス１０２８、ならびに発言認識によって容易に処理される音声コマンドによって、コンピューター１００２、プログラム、およびデーターと対話処理することができる。他の外部ユーザー入力デバイス１０２８は、マイクロフォン、ＩＲ（赤外線）リモコン、ジョイスティック、ゲーム・パッド、カメラ認識システム、スタイラス・ペン、タッチ・スクリーン、ジェスチャー・システム（例えば、目の動き、頭の動き等）および／またはその他を含むことができる。ユーザーは、タッチパッド、マイクロフォン、キーボード等のような内蔵ユーザー入力デバイス１０３０を使用して、コンピューター１００２、プログラム、およびデーターと対話処理することができ、例えば、コンピューター１００２は携帯用コンピューターである。

[0073] これらおよびその他の入力デバイスは、入力／出力（Ｉ／Ｏ）デバイス・インターフェース（１つまたは複数）１０３２を介して、システム・バス１００８を通じて処理ユニット（１つまたは複数）１００４に接続されるが、パラレル・ポート、ＩＥＥＥ１３９４シリアル・ポート、ゲーム・ポート、ＵＳＢポート、ＩＲインターフェース、短距離ワイヤレス（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））および他のパーソナル・エリア・ネットワーク（ＰＡＮ）技術等のような、他のインターフェースによって接続することもできる。また、Ｉ／Ｏデバイス・インターフェース（１つまたは複数）１０３２は、プリンター、オーディオ・デバイス、カメラ・デバイス、ならびにサウンド・カードおよび／または内蔵オーディオ処理能力等のその他のものというような、出力周辺機器１０３４の使用を容易にする。

[0074] １つ以上のグラフィクス・インターフェース（１つまたは複数）１０３６（一般にグラフィクス処理ユニット（ＧＰＵ）とも呼ばれる）は、コンピューター１００２と外部ディスプレイ（１つまたは複数）１０３８（例えば、ＬＣＤ、プラズマ）および／または内蔵ディスプレイ１０４０（例えば、携帯用コンピューターのディスプレイ）との間でグラフィクスおよびビデオ信号を供給する。また、グラフィクス・インターフェース（１つまたは複数）１０３６は、コンピューター・システム・ボードの一部として製造することもできる。

[0075] コンピューター１００２は、論理接続を使用して、１つ以上のネットワークおよび／または他のコンピューターへの有線／ワイヤレス通信サブシステム１０４２を介して、ネットワーク接続環境（例えば、ＩＰ−ベースの）において動作することができる。他のコンピューターは、ワークステーション、サーバー、ルーター、パーソナル・コンピューター、マイクロプロセッサー・ベースの娯楽アプライアンス、ピア・デバイスまたは他の一般的なネットワーク・ノードを含むことができ、通例、コンピューター１００２に関して説明したエレメントの多くまたは全てを含むことができる。論理接続は、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、ホットスポット等への有線／ワイヤレス接続(connectivity)を含むことができる。ＬＡＮおよびＷＡＮネットワーキング環境は、事務所および会社では極普通であり、イントラネットのような企業規模のコンピューター・ネットワークを円滑にする。そのネットワークの全ては、インターネットのような大域通信ネットワークに接続することもできる。

[0076] ネットワーキング環境において使用される場合、コンピューター１００２は、有線／ワイヤレス通信サブシステム１０４２（例えば、ネットワーク・インターフェース・アダプター、内蔵送受信サブシステム等）を介してネットワークに接続し、有線／ワイヤレス・ネットワーク、有線／ワイヤレス・プリンター、有線／ワイヤレス入力デバイス１０４４等と通信する。コンピューター１００２は、ネットワーク上で通信を確立するためにモデムまたは他の手段を含むことができる。ネットワーク接続環境では、コンピューター１００２に関するプログラムおよびデーターは、分散型システムと関連付けられた、リモート・メモリー／記憶デバイスに格納することができる。尚、図示したネットワーク接続は一例であり、コンピューター間において通信リンクを確立する他の手段を使用できることは認められよう。

[0077] コンピューター１００２は、ＩＥＥＥ８０２．ｘｘ系統の規格というような無線技術を使用して、ワイヤレス通信（例えば、ＩＥＥＥ８０２．１１無線通信経由変調技法）内に動作可能に配置されたワイヤレス・デバイスのような、有線／ワイヤレス・デバイスまたはエンティティ、例えば、プリンター、スキャナー、デスクトップおよび／または携帯用コンピューター、パーソナル・ディジタル・アシスタント（ＰＤＡ）、通信衛星、ワイヤレスで検出可能なタグに関連する機器または場所（例えば、キオスク、売店、手洗い）のいずれか、ならびに電話機と通信するように動作可能である。これは、少なくとも、ホットスポットのためのＷｉ−Ｆｉ（商標）（ワイヤレス・コンピューター・ネットワーキング・デバイスの相互動作可能性を認定するために使用される）、ＷｉＭａｘ、およびＢｌｕｅｔｏｏｔｈ（登録商標）ワイヤレス技術を含む。このように、通信は、従来のネットワークのような予め定められた構造、または単に少なくとも２つのデバイス間におけるアドホック通信とすることができる。Ｗｉ−Ｆｉネットワークは、ＩＥＥＥ８０２．１１ｘ（ａ、ｂ、ｇ等）と呼ばれる無線技術を使用して、安全で信頼性がある高速ワイヤレス接続を提供する。Ｗｉ−Ｆｉネットワークは、コンピューターを互いに、インターネットに、そして有線ネットワーク（ＩＥＥＥ８０２．３関係技術および機能を使用する）に接続するために使用することができる。

[0078] 以上で説明したことは、開示したアーキテクチャーの例を含む。勿論、コンポーネントおよび／または方法(methodologies)の着想可能なあらゆる組み合わせを記載することは不可能であるが、多くの更に他の組み合わせおよび置換が可能であることを、当業者は認めることができよう。したがって、新規なアーキテクチャーは、添付する請求項の主旨および範囲に該当する、このような変形(alteration)、変更(modification)、および変種(variation)を全て包含することを意図している。更に、「含む」(includes)という用語が詳細な説明または特許請求の範囲において使用される限りにおいて、このような用語は、「備える」(comprising)という用語が請求項において移行性単語として採用されるときに「備える」が解釈されるときと同様に、包含的であることを意図している。

Claims

システムであって、
マルチモード・ユーザー表現を検知し、アプリケーションを制御するための対話処理として解釈する検知コンポーネントと、
前記ユーザー表現を分析してユーザー感覚量を求める分析コンポーネントであって、前記アプリケーションが、前記ユーザー表現および前記ユーザー感覚量にしたがって動作する、分析コンポーネントと、
前記検知コンポーネントまたは前記分析コンポーネントの内少なくとも１つに関連するコンピューター実行可能命令を実行するように構成されたマイクロプロセッサーと、
を含む、システム。
請求項１に記載のシステムにおいて、前記ユーザー表現の１つが、１回以上のタッチを使用して、タッチ感応ディスプレイにタッチすることであり、マップ・アプリケーション上の２つの地理的地点が、出発地と目的地との間の方向を示し、前記マップ・アプリケーションが、前記出発地と前記目的地間の経路におけるマップ・タイルをぼかしつつ、前記出発地と前記目的地の詳細な焦点を保持する、システム。
請求項１に記載のシステムにおいて、前記検知コンポーネントが、前記ユーザー表現の１つ以上によって定められる前記ユーザー感覚量を検知し、前記分析コンポーネントが、前記アプリケーションの拡大ズーム動作または縮小ズーム動作を行わせるために、前記感覚量を分析する、システム。
請求項１に記載のシステムにおいて、前記アプリケーションが、１つの全体ビューにおいて異なるレベルのビューをレンダリングし、前記マルチモード・ユーザー表現が、発言入力を使用して、明確化される、システム。
請求項１に記載のシステムにおいて、前記ユーザー表現が、異なる圧力から対応して異なるアプリケーション動作が得られるように、圧力と、タッチ・ディスプレイ表面に加えられる前記圧力の停留に換算される、システム。
方法であって、
マルチモード・ユーザー表現を検知し、地理空間系アプリケーションを制御するための対話処理として解釈するアクトと、
前記ユーザー表現に基づいて前記地理空間系アプリケーションと対話処理し、前記地理空間系アプリケーションに１つの全体ビューにおいて異なるレベルのズームをレンダリングさせるアクトと、
前記検知または対話処理するアクトの内少なくとも１つに関係する命令を実行するようにプロセッサーを構成するアクトと、
を含む、方法。
請求項６に記載の方法であって、更に、前記ユーザー表現を分析してユーザー感覚量を検出し、前記ユーザー表現および前記ユーザー感覚量に基づいて前記地理空間系アプリケーションと対話処理して、前記地理空間系アプリケーションに、前記１つの全体ビューにおいて前記異なるレベルのズームをレンダリングさせるアクトを含む、方法。
請求項６に記載の方法であって、更に、地理的出発地と地理的目的地との間の経路におけるマップ・タイルをぼかしつつ、前記出発地および前記目的地の詳細な焦点を保持し、マップの地理的対象地点に関連するズーム・レベルのみを取り込むアクトを含む、方法。
請求項６に記載の方法であって、更に、圧力感応ディスプレイ上において多数のタッチを使用して、前記地理空間系アプリケーションと対話処理して、地理的出発地と地理的目的地との間の方向を識別し提示するアクトを含む、方法。
請求項６に記載の方法であって、更に、タッチ圧力およびタッチ停留時間の対応する変動に応答して、地理的対象地点において異なるズーム・レベルを可能にし、地理的出発地および地理的目的地には高めたレベルの詳細をレンダリングし、前記地理空間系アプリケーションのマップにおける他のあらゆる場所には下げたレベルの詳細をレンダリングするアクトを含む、方法。