JP2001154852A

JP2001154852A - マルチモーダル・ブラウジングおよび会話型マークアップ言語の実施の方法およびシステム

Info

Publication number: JP2001154852A
Application number: JP2000311661A
Authority: JP
Inventors: Stephane Herman Maes; ステファン・ハーマン・マエス; Thiruvilvama Lai V Raman; ティルヴィルヴァマ・ライヴィー・ラマン
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1999-10-12
Filing date: 2000-10-12
Publication date: 2001-06-08
Anticipated expiration: 2020-10-12
Also published as: JP4140878B2

Abstract

(57)【要約】（修正有）【課題】ユーザが任意のタイプの情報にアクセスする
ために利用している任意の装置とのユーザ対話に基づ
く、新しいアプリケーション・プログラミング言語を提
供すること。【解決手段】この新しい言語は、本明細書で「会話型
マークアップ言語（ＣＭＬ）」と呼ぶ。好ましい一実施
形態では、ＣＭＬは、ユーザが所与のコンピューティン
グ装置と行うことになる「ダイアログ」または「会話」
を表すためのハイレベルＸＭＬベースの言語である。ア
プリケーション作成者は、「会話型ジェスチャ」と呼ぶ
対話ベースの要素を使用してアプリケーションをプログ
ラムすることができる。本発明はまた、様々なモーダル
性特定の表現、例えばＨＴＭＬベースのグラフィカル・
ユーザ・インタフェース（ＧＵＩ）ブラウザ、VoiceＸ
ＭＬベースのスピーチ・ブラウザなどに従ってＣＭＬの
特徴をサポートすることのできるマルチモーダル・ブラ
ウザの様々な実施形態を可能にする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は一般に情報アクセス
・アプリケーションに関し、より詳細には、そのような
情報アクセス・アプリケーションで使用するための、対
話ベースのマークアップ言語および対話ベースのマーク
アップ言語をサポートするマルチモーダル・ブラウジン
グ機構に関する。

【０００２】

【従来の技術】関連出願の相互参照本発明は、１９９９年１０月１２日出願の米国仮特許出
願第６０／１５８７７７号への優先権を主張し、この開
示を参照により本明細書に組み込む。本明細書は、
（ｉ）ＵＳ９９／２３００８（整理番号ＹＯ９９８−３
９２）として識別される１９９９年１０月１日出願のＰ
ＣＴ国際特許出願、（ii）ＵＳ９９／２２９２７（整理
番号ＹＯ９９９−１１１）として識別される１９９９年
１０月１日出願のＰＣＴ国際特許出願、（iii）ＵＳ９
９／２２９２５（整理番号ＹＯ９９９−１１３）として
識別される１９９９年１０月１日出願のＰＣＴ国際特許
出願に関係し、上記の各ＰＣＴ国際特許出願は、１９９
８年１０月２日出願の米国仮特許出願第６０／１０２９
５７号および１９９９年１月２７日出願の米国仮特許出
願第６０／１１７５９５号への優先権を主張する。さら
に本明細書は、（iv）２０００年２月１８日出願の米国
特許出願第０９／５０７５２６号（整理番号ＹＯ９９９
−１７８）に関係し、この出願は、１９９９年４月７日
出願の米国仮特許出願第６０／１２８０８１号および１
９９９年１０月１２日出願の米国仮特許出願第６０／１
５８７７７号への優先権を主張する。上に参照した関連
出願のすべてを参照により本明細書に組み込む。

【０００３】様々なタイプおよび量の情報の使用可能度
が劇的に上昇し、そのような情報にアクセスする従来の
機構の時間または使用可能度あるいはその両方が急激に
減少したために、個人は現在、いつどんな装置からで
も、どんな情報に対してもアクセスまたは作用または変
換できるようになりたい、あるいはそのすべてを行える
ようになりたいと思っている。例えばインターネットの
場合、様々な大量の情報が利用可能だが、インターネッ
トは従来、ＨＴＴＰ（HyperText Transport Protocol）
ネットワークの最上部にあるＨＴＭＬ（HyperText Mark
up Language）ブラウザを使用して情報にアクセスする
装置しか主にサポートしていなかった。これは、ＴＣＰ
／ＩＰ（Transmission Control Protocol/Internet Pro
tocol）の最上部に提供されていた。

【０００４】この問題に対する解決法は、そのような情
報にアクセスするのに使用されるアプリケーション・プ
ログラムを書き直し、それによって他の方法でその情報
にアクセスできるようにすることが中心であった。ある
解決法は、ＷＡＰ（WirelessApplication Protocol）の
開発へとつながった。http://www.mobilewap.comを参照
されたい。ＷＡＰは、無線ネットワーク用のＨＴＴＰに
相当する。無線ネットワーク用のＨＴＭＬに相当するＷ
ＭＬ（Wireless Markup Language）が開発された。した
がって、ＨＴＴＰの最上部でＨＴＭＬが使用される方式
と同様に、ＷＡＰの最上部でＷＭＬが使用される。ＷＡ
ＰおよびＷＭＬにより、ユーザは、制約された画面レン
ダリングおよび限られた帯域幅の接続能力を有するセル
ラー・ホンを介してインターネットにアクセスすること
ができる。ＣＨＴＭＬが、この空間を対象とするＭＬ
（マークアップ言語）のもう１つの例である。

【０００５】次に、より最近になり、ウェブ・プログラ
ミング・モデル（ファット・クライアント・プログラミ
ング・モデルとも呼ばれる）をボイス・アクセス、特に
電話アクセスおよび自動音声応答（ＩＶＲ）システムに
導入するための機構が開発された。このような機構は、
通常、スピーチ・ブラウザ（またはボイス・ブラウザ）
と呼ばれる。このようなスピーチ・ブラウザは、上に参
照した、米国出願第６０／１０２９５７号（整理番号Ｙ
Ｏ９９８−３８２）として識別される米国仮特許出願に
記載されている。スピーチ・ブラウザは、VoiceＸＭＬ
と呼ばれる、ＸＭＬ（Extensible Markup Language）の
スピーチ・ベースの変形を使用することができる。htt
p://www.voicexml.orgを参照されたい。スピーチ・ブラ
ウザはまた、ＷＡＰプロトコルの最上部でＷＭＬデータ
の交換と共に動作することもできる。

【０００６】しかし、このような手法は、アプリケーシ
ョン・プログラマがマルチチャネル・サポートを提供し
たい場合、すなわち、ウェブ・ブラウザ（ＨＴＭＬブラ
ウザ）、電話（ボイス・ブラウザ）、および無線ブラウ
ザ（ＷＭＬ）、または前述の開示に定義されるマルチモ
ーダル／会話型ブラウザへのアクセスを提供したい場合
に、アプリケーション・プログラマにいくつかの問題を
提起する。第１に、この手法によれば、アプリケーショ
ン・プログラマは、アプリケーションを開発するときに
少なくとも３つの異なる言語、例えばＨＴＭＬ、ＷＭ
Ｌ、およびVoiceＸＭＬを扱わなければならない。すな
わち、ユーザが従来の電話を介したスピーチ・ブラウザ
を介して、あるいはＷＡＰブラウザを使用するまたは従
来のウェブ・ブラウザを使用する無線接続を介してイン
ターネット・ベースの情報にアクセスしようとするた
め、アプリケーションを書くときにＨＴＭＬ、ＷＡＰ、
およびVoiceＸＭＬを使用しなければならないという事
実を、アプリケーションは考慮しなければならない。こ
れは、アプリケーション開発者にとって非常に厄介なも
のとして知られている。第２に、この手法によれば、マ
ルチモーダル・アプリケーション、例えばアプリケーシ
ョンにアクセスするために利用されるブラウザとの視覚
とスピーチの両方に基づくユーザ対話を可能にするアプ
リケーションを同期させるのに適した方法がない。

【０００７】アプリケーションは、従来、コンテンツ
（すなわち情報またはその他のデータ）とプレゼンテー
ション（すなわちコンテンツがユーザに呈示される方
式）の両方が混合されるように開発されてきた。しか
し、アプリケーション・プログラミングを簡単にする試
みにおいて、コンテンツをプレゼンテーションから分離
する努力がなされてきた。こうしてＸＳＬ（Extensible
Stylesheet Language）が開発されたが、これは、アプ
リケーションに関連するコンテンツがＸＭＬで記憶さ
れ、特定の装置上でコンテンツを呈示するのに必要な変
換がＸＳＬによって扱われるように、ＸＭＬと共に動作
する。http://www.w3.org/Style/XSLを参照されたい。
このような手法は、Ｗ３Ｃ（ワールド・ワイド・ウェブ
・コンソーシアム）によって採用されている。この手法
は、メイン・ブラウザ（例えば異なるバージョンのMicr
osoft Internet Explorer、Netscape Communicator/Nav
igator、その他のより一般的でないブラウザなど）の特
徴にプレゼンテーションを適合させるのに通常使用され
る。この使用を他のモーダル性／チャネル（例えば、組
込み装置（無線電話またはＰＤＡ）の最上部にあるＷＭ
Ｌのようなフォーマットをサポートする無線ブラウザ）
に拡張しようとする者もいた。この最後の手法はあまり
成功しておらず、または便利になっておらず、いずれの
場合でも、これは、ＸＳＬページを複数回オーサリング
すること必要とする。しかし、この手法は、アプリケー
ションと装置／チャネルの両方に依存するという欠点を
有する。すなわち、ＸＳＬ規則は、コンテンツを転記す
べきアプリケーションおよび装置に依存する。したがっ
て、アプリケーションが新しい装置からアクセスされる
場合、その装置用に新しいＸＳＬ変換を書かなければな
らない。

【０００８】これらの問題のいくつかを克服するための
他の試みもなされてきた。ユーザの意図（複雑かつタス
ク指向の意図）に基づいたＸＭＬモデルを提供する試み
があった。ユーザの意図は複雑なコンポーネントでモデ
リングすることができるが、これは、小さなスクリーン
またはスピーチで装置上にレンダリングすることができ
ないかまたは非常に難しい。それより小さい原子コンポ
ーネントに分解されないこれらの複雑なコンポーネント
はまた、モーダル性にまたがって密に同期させることが
できない。異なるブラウザによってレンダリングされ
る、装置独立のタグが提供される。また、スピーチ自動
音声応答（ＩＶＲ）システムへのいくつかの拡張が提案
されてきた。しかし、欠陥の中でもとりわけ、これらの
試みはダイアログをモデリングせず、モーダル性からモ
ーダル性へのトランスコーディングは一般に不可能な作
業である。

【０００９】これらの手法では、ユーザの意図は、複雑
な対話を記述する複雑なコンポーネントでモデリングさ
れる。しかし、これらは通常、アプリケーション特定で
ある。すなわち、これらは、ビジネス論理の概念および
要素に依存し、またはそれを特徴づけ、または必要とす
る。したがってその場合、ＸＳＬ規則（およびＸＳＬス
タイル・シート）が今日、根本的にアプリケーションま
たはアプリケーション領域（すなわち関係するＸＭＬ属
性の性質）の関数であるのと同じ形で、これらの言語で
書かれたページを変換するのに使用されるＸＳＬ規則も
また、根本的にアプリケーションまたはアプリケーショ
ン領域の関数である。これらは、新しいアプリケーショ
ンごとに書き直さなければならない。これは、これらの
手法の限界を特徴づけている。これらの手法は、アクセ
スのモーダル性に対して独立したコンテンツへのアクセ
スを提供するのを助ける際に貢献しない。実に、これら
の手法は、そのアプリケーションまたはアプリケーショ
ン領域に関係するコンテンツへのアクセスを可能にする
だけである。他のどんな場合も、変換規則の書直しを必
要とする。したがって、バックエンド・アプリケーショ
ンから変換規則を解放し、それをアクセス装置またはチ
ャネルによってサポートされる特徴／モーダル性だけに
依存させることが必要とされている。

【００１０】いくつかの場合に、複数のチャネルのサポ
ートは、スタイル・シートのカスケードを使用して、得
られたＸＭＬストリームをシリアル化された内部ＡＰＩ
（Application Programming Interface）として扱うこ
とによって達成されてきたことに留意されたい。この場
合もやはり、これは複数のオーサリングを必要とする。

【００１１】さらに、上記の手法は、ＷＭＬのようなモ
ーダル性で適切な対応するレンダリングを有しないコン
ポーネントによる、非常に複雑な意図モデルを有するこ
とになる。これらのモデルが、異なるタイプの（本質的
に同じチャネルおよびモーダル性の変形内の）表示装置
またはブラウザの要件にグラフィカル・ユーザ・インタ
フェース（ＧＵＩ）プレゼンテーションをカストマイズ
する能力を提供するために設計されたことは明らかであ
る。この結果、これらの手法はどれも、スピーチまたは
マルチモーダルのユーザ・インタフェースを適切にモデ
リングせず処理しない。

【００１２】すでに述べたように、従来のトランスコー
ディング（ＸＭＬコンテンツを呈示するのに使用される
ＸＳＬ規則、およびあるモーダル性から別のモーダル性
に移るためのＸＳＬスタイル・シートの変更）は、異な
るアクセス・モーダル性をサポートすると考えられてき
た。これは、所与のＸＭＬコンテンツに対し、システム
が、ＸＭＬ規則を変更することによってＨＴＭＬペー
ジ、ＷＭＬ規則、またはVoiceＸＭＬページやその他さ
えも作成することができることを意味する。実際、これ
は今日、市販の異なるウェブ・ブラウザ、例えばNetsca
pe Communicator、Microsoft Internet Explorer、Sun
Microsystems Hot Java、Spyglassブラウザ、Open Sour
ce Amayaブラウザ／エディタなどをサポートするのに使
用されているものである。残念ながらこれは、以下の場
合のみに可能である。（ｉ）ＸＳＬ規則がアプリケーションまたはアプリケー
ション領域（すなわちＸＭＬ属性の性質）に特定であ
り、（ii）トランスコーディングが２つの言語間、例えばＨ
ＴＭＬとＷＭＬとの間であり、元のコンテンツが非常に
厳格なオーサリングの規則を守りながらＨＴＭＬで構築
された場合。もっとも、これは、所与の会社内の所与の
ウェブ・サイトに対する場合にのみ施行可能である。そ
のような場合でも、これは、一般にはほとんど実施不可
能である。というのは、他のモーダル性で対応するコン
ポーネントを提供するための、マークアップ言語または
モーダル性にまたがる情報の欠落（例えば、ＨＴＭＬフ
ォームまたはメニューが音声によって自動的にそれをレ
ンダリングするために必要な情報を提供しない）、なら
びに異なるモーダル性におけるダイアログ・ナビゲーシ
ョン・フローの違いのせいである。

【００１３】したがって、既存の言語およびブラウザに
あるとされるこれらおよび他の欠点を克服する、アプリ
ケーション・プログラミング言語およびそれに関連する
情報ブラウジング機構が必要とされている。

【００１４】

【発明が解決しようとする課題】本発明は、ユーザが任
意のタイプの情報にアクセスするために利用している任
意の装置とのユーザ対話に基づく新しいアプリケーショ
ン・プログラミング言語を提供する。この新しい言語
を、本明細書では「会話型マークアップ言語（Conversa
tional Markup Language（ＣＭＬ））」と呼ぶ。

【００１５】

【課題を解決するための手段】好ましい一実施形態で
は、ＣＭＬは、ユーザが所与のコンピューティング装置
と行うことになる「ダイアログ」または「会話」を表す
ためのハイレベルＸＭＬベースの言語である。ダイアロ
グおよび会話という用語を本明細書で使用するが、これ
らはより一般的に、モーダル性および装置に対して独立
した、装置（ローカル装置、リモート装置（例えば電話
を介した対話）、または他の方法で分散されたいずれか
の装置）とのユーザ対話を指すことを理解されたい。し
たがって対話は、これらに限定されないが、視覚ベース
（テキストまたはグラフィカル）のユーザ対話およびス
ピーチ・ベースのユーザ対話、ならびにこれらの組合せ
を含むことができる。

【００１６】このような言語により、アプリケーション
作成者は、本明細書で以後「会話型ジェスチャ（conver
sational gesture）」と呼ぶ対話ベースの要素を使用し
てアプリケーションをプログラムすることができる。会
話型ジェスチャは、それに従ってプログラムされたアプ
リケーションに関連する情報にアクセスするために利用
されるモーダル性、装置、またはブラウザに対して独立
してどんなダイアログも記述する、ＣＭＬの基本的なプ
ログラミング・コンポーネントまたは要素である。

【００１７】本発明は、新しいアプリケーション・プロ
グラミング・パラダイムを提起することにより、これら
および他の特徴および利点を達成する。前述のように、
既存のアプリケーション・オーサリング手法は、アプリ
ケーションのコンテンツ・ベースのアスペクトをプレゼ
ンテーション・ベースのアスペクトから分離する概念を
採用してきた。本発明によれば、ＣＭＬは、アプリケー
ション・プログラミングをコンテンツ・アスペクト、プ
レゼンテーション・アスペクト、および対話アスペクト
に分離することを可能にする新しいパラダイムを導入す
る。ユーザに関してアプリケーションの対話アスペクト
に焦点を当てることにより、アプリケーションは、コン
テンツ／アプリケーションの論理およびプレゼンテーシ
ョンに対して独立した形で書くことができる。アプリケ
ーションのコンテンツ論理またはビジネス論理、あるい
はその両方は、アプリケーションに関連する「バックエ
ンド論理」とも呼ぶことを理解されたい。

【００１８】クライアント／サーバ構成では、「バック
エンド論理」は、論理すなわち、アプリケーションの進
化を促す状態および状況のコード化されたセット、なら
びに可変の妥当性検査情報を含むアプリケーションの部
分である。追って説明するが、バックエンド・データか
ら分離された論理情報を伝えるために、属性制約および
妥当性検査情報をＣＭＬページに加えることができる。
したがって、以下に説明し例示するが、アプリケーショ
ンがＣＭＬで作成された後、そのアプリケーションに関
連するＣＭＬコードの一部がサーバからクライアント装
置にダウンロードされ、次いで、ＣＭＬコードのＣＭＬ
ジェスチャが、その装置で利用されるブラウザ特定のマ
ークアップ言語、例えばＨＴＭＬまたはVoiceＸＭＬ、
あるいはその両方にトランスコーディングされる。

【００１９】本発明によれば、ダウンロードされたＣＭ
Ｌコードで動作する装置（クライアント、さらにはＣＭ
ＬページをＨＴＭＬ、VoiceＸＭＬ、ＷＭＬなど、おそ
らく他のレガシー・マークアップ言語にサービスするサ
ーバ）は、例えばＨＴＭＬおよびVoiceＸＭＬにほぼ同
時にトランスコーディングし、したがってユーザに情報
へのアクセスを提供する複数のブラウザを同期させるこ
とができる。本発明によるこのような有利な同期化は、
トランスコーディングがジェスチャ識別によってジェス
チャごとに行われるために可能である。したがって、あ
るモーダル性で入力／出力イベントが発生するとき、ブ
ラウザは、どんなイベントがどんなジェスチャに対して
発生したかを知り、サポートされるすべてのモーダル性
を即座に更新することができる。これにより、モーダル
性にまたがる非常に密な同期化がもたらされる。このよ
うな同期化はまた、例えばグラフィカル・ユーザ・イン
タフェース（ＧＵＩ）ブラウザまたはスピーチ・ブラウ
ザに関連する、モーダル性特定の様々なユーザ・インタ
フェース・ダイアログが、ジェスチャごとに単一のＣＭ
Ｌ表現から生成されるという事実によっても達成され
る。したがって、ユーザが一方または他方のモーダル性
を対話的に続行するのに伴い、複数のユーザ・インタフ
ェース、例えばＧＵＩ、スピーチなどが同期化され、連
続的に更新される。本発明のＣＭＬおよびブラウジング
機構は、自然言語（ＮＬ）プログラミング用のプラット
フォームも提供する。ＣＭＬによってアプリケーション
作成者がジェスチャごとにプログラムすることができる
ため、そのようなアプリケーションは、広範囲の自然会
話方式で要求／応答を提供するフレキシビリティをユー
ザに提供する。したがってユーザは、単一のコマンドに
制約されるのではなく、より制約されない形で、例えば
より自然の会話に近い形で、アプリケーションと対話す
ることができる。ＮＬおよび本発明によって、ユーザ
は、もう１人の人間と行っているかのような自然な会話
を行う以外にどんな制約もなく、複数のモーダル性で自
由に自身を表現することができる。ＮＬの場合にはさら
に、システムは、コンテキストおよび過去の対話／ダイ
アログ履歴（ならびにユーザ・プリファレンス、アプリ
ケーション設定、記憶された共通知識などの他のメタ情
報）を使用して、照会を一義化することができる。

【００２０】ＮＬは、スピーチに限定されず、自然マル
チモーダル会話型アプリケーションのすべてのアスペク
トを含むステートメントである。これは、ＮＬ入力を自
然マルチモーダル入力と結合する。上に参照した整理番
号ＹＯ９９９−１１１によって識別される特許出願に記
載のように、どんな入力も、モーダル性に対して独立し
て入力／出力イベントとしてモデリングされ、次いでそ
れは、ダイアログ・マネージャおよびアービトレータに
よって処理され、ダイアログ・マネージャおよびアービ
トレータは、履歴、ダイアログ・コンテキスト、および
他のメタ情報（例えばユーザ・プリファレンス、装置お
よびアプリケーションの情報）を使用して、入力イベン
トのターゲットを決定する、あるいは要求されたアクシ
ョンを実行する前にダイアログをユーザに関係させてユ
ーザの意図を完結、確認、訂正、または一義化する、あ
るいはその両方を行うことになる。

【００２１】本発明がマルチデバイスまたは分散ブラウ
ジング環境を可能にすることも理解されたい。複数のブ
ラウザを効果的に同期させるＣＭＬの性質およびその能
力により、アプリケーションの様々な部分を別々のコン
ピューティング・デバイス上に常駐させて実行すること
ができる。次いでユーザは、あるアプリケーションにア
クセスするときに複数の装置、例えばラップトップ・コ
ンピュータおよびセルラー・ホンと同時に対話すること
ができる。これを「マルチデバイス・ブラウジング」と
呼ぶ。実際、本発明のこの態様は、「マルチモーダル
性」を必要としない。すなわち、ＧＵＩ／ＨＴＭＬブラ
ウザだけでも、ジェスチャ・ベースのＸＳＬ規則を使用
して、どのブラウザに何がレンダリングされるかを定義
することができる。したがって、いくつかのコンテンツ
を携帯情報端末（personal digitalassistant）すなわ
ちＰＤＡ上に表示し（すなわちカラー画像、ストリーミ
ングされたビデオ、長いリスト）、残りのコンテンツを
セルラー・ホン画面上などに表示することができる。

【００２２】ＣＭＬがモーダル性独立なので、アプリケ
ーションが書かれた後でも、どんなタイプのブラウザに
関連するどんなトランスコーディング規則も実施するこ
とができる。すなわち、ＣＭＬにより、作成者は、元々
実装されていた可能性のあるデフォルトのトランスコー
ディング以外の別のタイプのトランスコーディング（す
なわちジェスチャ・ベースのトランスコーディング規
則）に変更することができる。したがって、この特徴は
有利にも、ジェスチャ・ベースのＸＳＬ規則の単純な更
新によって、いわゆる「レガシー言語」、例えばＨＴＭ
Ｌ、ＷＭＬ、VoiceＸＭＬなどの新しいリリース／バー
ジョンと、新しい言語、例えばＣＨＴＭＬ、ＨＤＭＬな
どに対するサポートを保証する。さらに、この特徴は、
単純なジェスチャ・ベースのＸＳＬ規則を使用して、あ
るバージョンのＣＭＬから新しいＣＭＬへの単純かつ容
易な通路を可能にする。バージョンからバージョンへの
ジェスチャごとのトランスコーディングは、ＣＭＬから
他のレガシー言語へのトランスコーディングと異なる問
題ではないことを理解されたい。これは、ＣＭＬが定義
によってこのトランスコーディングの原理を取り巻くよ
うに設計されるので、特に有利である。これが他のマー
クアップ言語のほとんどに当てはまらないことは確かで
あり、他のマークアップ言語では、後方互換性は提供す
るかもしれないが、仕様の更新は通常、新世代ブラウザ
に対して、ならびにより古いバージョンで書かれたより
古いすべてのコンテンツに関して問題を含む。

【００２３】ＣＭＬはまた、ＣＭＬページが書かれた後
でも、プレゼンテーションを表面的に変更することを可
能にする。例えば、所望のモーダル性およびターゲット
・マークアップ言語に応じてＣＭＬコマンドを発行し
て、いくつかのモーダル性におけるコンテンツのプレゼ
ンテーションの、いくつかのフィーチャを表面的に変更
することができる。これにより、ＣＭＬ開発者は、ＨＴ
ＭＬレンダリングに対してするのと同じ量の表面的努力
で済む。しかし、利点は当然、（アクセス装置またはチ
ャネルに対して独立）ユニバーサル・アクセスを提供す
るのに使用できる、またはマルチモーダルおよび会話型
ユーザ・インタフェースを密に同期させることができ
る、あるいはその両方ができる、対話のマルチチャネル
（すなわち複数のタイプのターゲットＭＬまたはデバイ
ス・モーダル性または特定のユーザ・インタフェース特
徴で表現することができる）記述を、同じ代償で得たこ
とである。

【００２４】本発明はまた、様々なモーダル性特定の表
現、例えばＨＴＭＬベースのグラフィカル・ユーザ・イ
ンタフェース（ＧＵＩ）ブラウザ、VoiceＸＭＬベース
のスピーチ・ブラウザなどに従ってＣＭＬの機能をサポ
ートすることのできるマルチモーダル・ブラウザの様々
な実施形態を可能にする。

【００２５】用語「ＣＭＬ」は、上で参照した整理番号
ＹＯ９９８−３９２およびＹＯ９９９−１７８によって
識別される特許出願で使用されていることに留意された
い。これらの出願では、この用語は、会話型インタフェ
ースを記述するための宣言的な方式を指すものとされ
る。本発明によれば、用語ＣＭＬは、以下に詳細に述べ
るように、対話によるプログラミングの概念を組み入れ
たジェスチャ・ベースの言語について言う。

【００２６】本発明のこのような態様ならびに以下に述
べる他の態様があった場合に、ここで、このような創意
に富んだ特徴と既存の手法との重要な違いをいくつか考
察する。この５年間のワールド・ワイド・ウェブ（ＷＷ
Ｗ）の急激な成長は、まずコンテンツからユーザ対話を
分離し、続いてプラットフォームに依存するＷＷＷブラ
ウザによってレンダリングされるＨＴＭＬのようなマー
クアップ言語を介してアプリケーション・フロント・エ
ンドを送達することによって軽量ユーザ・インタフェー
ス・アプリケーションを構築することにおける潜在的な
強さを指摘した。この体系は、基礎をなすハードウェア
およびオペレーティング・システムの細部からエンドユ
ーザ・アプリケーションを解放することによって、新し
い可能性の世界を開く。現在のＷＷＷ体系は、基礎をな
すハードウェアおよびオペレーティング・システムの細
部から、ｅコマース・アプリケーションへの視覚インタ
フェースを開放した。この進化における次のステップ
は、インタフェース・モーダル性と、電子情報と対話す
るのに使用される装置とに対して独立したエンドユーザ
・アプリケーションを作ることである。この進化は、新
世代のｅコマース・アプリケーションとのスピーチ・ベ
ースの対話を可能にすることにおいて自然な次のステッ
プである。

【００２７】装置およびモーダル性から独立したエンド
ユーザＷＷＷサービスを達成するために、様々な装置へ
の送達を可能にするような、モーダル性独立の技術を使
用するアプリケーションおよびサービスをオーサリング
することが強く必要とされている。ＸＭＬが急速にＷＷ
Ｗの次世代共通語となっていることから、そのような言
語をＸＭＬアプリケーションとして設計することが自然
である。

【００２８】したがって、モーダル性独立の情報コンテ
ンツおよび対話論理をオーサリングするためのＸＭＬベ
ースの言語を設計し、次いで、得られたアプリケーショ
ンをターゲット装置に最適な仕方で送達することによ
り、モーダル性独立のＷＷＷサービスを達成することが
できる。これは必然的に、情報コンテンツ、情報プレゼ
ンテーション、および対話論理を別個のコンポーネント
に分離する言語を設計することになる。ＷＷＷはすで
に、スタイル・シートを利用することによってコンテン
ツをプレゼンテーションから分離することに向けて進化
している。次の進化ステップは、対話論理を情報コンテ
ンツから抽出することである。現在、この領域での外部
規格活動が、Ｗ３Ｃなどの産業コンソーシアムのＸＦＯ
ＲＭＳおよびボイス・ブラウザの委員会内から現れるこ
とが予想されている。

【００２９】上に概説した分離は、会話型コンピューテ
ィングと我々が呼ぶ手法となる。エンドユーザ・アプリ
ケーションおよびサービスは、モーダル性独立の会話型
ジェスチャの集合として表され、各会話型ジェスチャ
は、ユーザ対話を構成するマン・マシン・ダイアログの
原子的な一片をコード化する。

【００３０】上に概説した洞察は、意図ベースのマーク
アップ言語を設計する試みが近い過去にわずかにあった
という事実によって妥当性検査される。これらは最初
に、異なる装置間、例えば小さい画面のハンドヘルド対
デスクトップＰＣの視覚プレゼンテーションにおける違
いを抽出するように設計された。スピーチ・インタフェ
ースが関係してくるとき、これらの言語は両方とも、こ
れらの元のターゲットであった異なる視覚表示に加えて
スピーチ装置に送達するためのエンドユーザ・アプリケ
ーションをオーサリングするための可能な手段として呈
示される。

【００３１】本発明によれば、ＣＭＬは、スピーチおよ
び自然言語技術を含む会話型インタフェースに対処する
必要性によって導入される新たな要件に特に焦点を当て
られて、モーダル性独立のユーザ対話に向けたＸＭＬベ
ースの言語として最初から設計される。ユーザ・インタ
フェースにおける一流市民としてのスピーチへのこの焦
点は、ＣＭＬを従来の試みとは異なる形で進化させた。
これらの、鍵となる違いのいくつかを対比することにす
る。

【００３２】（ｉ）データ・モデル上への対話のオーバ
ーレー従来技術の言語はすべて、ユーザの意図と、ユーザ対話
によって同じ一片のマークアップ内に配置される、基礎
をなすデータ・モデルとを定義する。ある仕様からこれ
を例示する短い例を挙げる。以下に示すマークアップの
断片は、人の称号（Ｍｒ．、Ｍｒｓ．、Ｍｓ）を得るの
に使用されることになる。プロンプト指示されるデータ
・モデルの定義が、ユーザ対話を生成するマークアップ
と混ざっていることに留意されたい。 <prior art ML> <CHOICE NAME="Person Titles" SELECTION-POLICY="SINGLE"> <CAPTION>Title</CAPTION> <HINT>This is a set of valid titles for a person.</ HINT> <STRING NAME="Mr"> <VALUE>Mr.<VALUE> </STRING> <STRING NAME="MRS"> <VALUE>Mrs.<VALUE> </STRING> <STRING NAME="MISS"> <VALUE>Miss</VALUE> </STRING> <STRING NAME="MS"> <VALUE>Ms<VALUE> </STRING> <CHOICE> </prior art ML>

【００３３】上記を、以下に示す、人の称号を得るため
のＣＭＬ表現と比較されたい。データ・モデルの定義、
すなわち有効な人の称号をリストする列挙型を、ユーザ
対話コンポーネントすなわち選択ジェスチャから分離し
ていることに留意されたい。

【００３４】まず、列挙型PersonTitleを定義する。 <enum name="PersonTitle"type="string"> <value>MR</
value> <value>MRS</value> <value>MISS</value> </en
um>

【００３５】フィールドPersonTitleが定義されると、
それは、ユーザ対話中の複数のポイントで適切なＣＭＬ
ジェスチャを介してインスタンス化することができる。
これを、ジェスチャselectによって以下に示す。 <select name="PersonTitle"selection-policy="singl
e"> <message>PersonTitle</mesage> <choices> <choic
evalue="MR">Mr.</choice> <choicevalue="MRS>MRS.</
choice> <choicevalue="MISS">Miss.</choice> </choi
ces> </select>

【００３６】基礎をなすデータ・モデルの定義（上の列
挙PersonTitle）から会話型ジェスチャ（上の例ではジ
ェスチャselect）を分離することは、次のようないくつ
かの利点をもたらす。

【００３７】（１）データ定義から会話型ジェスチャを
分離することにより、例えば上のダイアログを国際化す
るときに、人の称号をプロンプト指示するための複数の
ユーザ・インタフェースをオーサリングすることができ
る。したがって、ＣＭＬで構成されたこのダイアログの
ドイツ語バージョンは、会話型ジェスチャを修正される
ことだけしか必要としないことになる。上記の表現が国
際化されるとき、すなわち変更が必要なのは要素captio
n、hint、およびcode valueのコンテンツであるとき、
基礎をなす列挙型の定義は同じままであることに留意さ
れたい。しかし、ユーザ・インタフェース・マークアッ
プをデータ定義上にオーバーレーすることによれば、こ
の設計は、ダイアログを国際化するのに必要な変更を切
り離すことができない。従来の言語のいくつかは、上記
のダイアログの異なる言語バージョンを作成するために
作成者によって次いで再利用されるテンプレートの概念
を導入することによって、国際化に関するこの明示的な
問題を回避していることに留意されたい。しかしこれ
は、根源にある基本的な問題を除去していない。すなわ
ち、データ定義およびユーザ・インタフェースは、依然
としてテンプレート定義中でリンクされたままである。

【００３８】（２）フィールドPersonTitleが定義され
ると、ＣＭＬジェスチャは、ユーザ対話中の複数のポイ
ントでこのフィールドを参照することができる。したが
って、ユーザがフィールドPersonTitleに対する値を指
定すると、ダイアログの後続の部分は、プロンプト、例
えばWelcome to the electronic store Mr. Smithを作
成するときに、供給された値を参照することができる。

【００３９】（３）ＣＭＬでオーサリングされたアプリ
ケーションはまた、ユーザ対話の異なるポイントでPers
onTitleなどの特定のフィールドに対してユーザに自由
にプロンプト指示することができ、ユーザは、どのポイ
ントで自分がそのフィールドに値を供給するかを自由に
決定することができる。このような形のフレキシビリテ
ィは、自然言語インタフェースの設計では特に不可欠で
あり、この場合もまた、ユーザ対話を宣言するマークア
ップからモデルを定義するマークアップを分離する結果
となる。この分離がなければ（現時点の従来技術のよう
に）、上記のものは、作成者にフィールドPersonTitle
を複数回定義させることになる。

【００４０】上記のことを理解するために、ユーザがミ
ューチュアル・ファンドを売買することができると同様
に特定の資産の正味価値を知ることもできるミューチュ
アル・ファンド・アプリケーションを考察されたい。こ
の対話を単純化したバージョンで、システムは、ユーザ
から２つの情報アイテムを得る必要がある。（ａ）ユーザ・アクション、すなわち売買または正味資
産評価（ｂ）作用する資産、例えば購入資金

【００４１】上の例に自然言語インタフェースを使用す
るとき、ユーザは、システムから最初にプロンプト指示
されるときに、実行するアクションと作用する資産のい
ずれか、またはおそらくその両方を指定することが等し
く見込まれる。何が指定されたかに応じて、次にダイア
ログは、欠落した部分の情報に対してシステムがプロン
プト指示する状態に移行する必要がある。あるいは、ア
クションと資産が両方とも指定された場合、システム
は、フォーム「Would you like to action specified f
und?」の確認プロンプトを作成する必要がある。従来技
術は現在、対話マークアップすなわちこの場合に要素CH
OICEをデータ定義上にオーバーレーするので、アプリケ
ーション作成者が同じフィールドの値、例えばユーザ対
話中の異なるポイントにおける資産を得るためにユーザ
対話を指定することは不可能となる。

【００４２】データ・モデルの上への対話のオーバーレ
ーは、本明細書に開示する、我々の手法の新規性とプロ
グラミング・モデルの新しいパラダイムとを特に強調す
る。

【００４３】（ii）アプリケーション状態をカプセル化
するための明示的環境の欠如ＣＭＬでユーザ対話からデータ・モデルを分離すること
の別の結果は、ＣＭＬ文書としてオーサリングされたア
プリケーションが、アプリケーション状態、例えば上に
挙げた例の中のPersonTitleまたはアクションを結合す
る環境を明瞭に呈示することである。従来技術の場合で
は、このアプリケーション状態は暗黙的であり、その言
語でコード化されたユーザ・インタフェースの他の部分
にとって容易に利用可能ではない。

【００４４】データ・モデルを、したがってアプリケー
ション状態を明示的に定義することにより、ＣＭＬは、
ユーザ対話が完了するとサーバに送り返されることにな
るＸＭＬコード化を明瞭に定義する。したがって、フィ
ールドPersonTitleの場合、サーバは、サブミット時に
以下のものを受信することになる。 <PersonTitle>MR</PersonTitle>

【００４５】データ・モデルの定義にアクセスできるサ
ーバは、サブミットされた値を妥当性検査することがで
きる。より複雑な例では、データ・モデル定義は、アプ
リケーション特定の妥当性検査制約をカプセル化するこ
とができ、これらの制約は両方で、クライアント側でチ
ェックして、後でサブミット時にサーバ・エンド上で妥
当性検査することができる。このようにデータ・モデル
および制約をユーザ・インタフェースから分離すること
により、ユーザが特定の対話装置、例えばデスクトップ
ＰＣを使用して対話を開始することを可能にするＣＭＬ
アプリケーションが、部分的に完了したトランザクショ
ンをサブミットし、後で異なる装置、例えばセルラー・
ホンを使用してそのトランザクションを完了させること
ができる。

【００４６】（iii）従来技術はＧＵＩレガシーを反映
する従来技術の仕様に定義されているコア属性の多くは、Ｇ
ＵＩ特定のレガシーを反映している。例えば、すべての
データ・モデルは表示されるコア属性によって制限さ
れ、これは、表示ベースのインタフェースにしか意味を
なさない。スピーチ・ベースのハンドヘルドやセルラー
電話などの視覚的でない装置に対し、enable=false、sh
own=trueなどの一義的な設定変換はないように思われ
る。

【００４７】さらに、これらの属性は、ユーザ対話の表
現を小さいサイズの表示装置にマッピングすることを難
しくする。これは、デスクトップＧＵＩ用のこれらのＭ
Ｌでオーサリングされるアプリケーションが、対話要素
の多くを表示されるように宣言する見込みが高いからで
あり、これは表示装置のスペースが乏しい環境では難し
くなる。

【００４８】従来技術は通常、大きな画面の外では意味
を持たない他のＧＵＩコンポーネントを有する。残念な
がら、言語内に行き渡り、モーダル性／チャネルにまた
がって容易に使用可能ではない機能には問題があり、ト
ランスコーディング／レンダリングが任意のターゲット
に対して可能となることを保証することができない。

【００４９】さらに、スピーチのようなモーダル性は、
ダイアログ・コンポーネントをレンダリングするために
追加の情報（例えば文法、語彙、言語モデル、音響モデ
ル、ＮＬ解析およびタグ付けデータ・ファイルなど）を
必要とする可能性がある。この情報は、従来の仕掛けで
は利用不可能である。この場合もまた、データ・モデル
と対話の間のオーバーレーは、同じダイアログ・コンポ
ーネントが、異なるデータ・ファイルを有するページで
複数回使用されるときに問題となる。

【００５０】（iv）原子的会話型ジェスチャの欠如従来技術によるユーザ対話の表現は、実装されている、
基礎をなすデータ・モデル上に直接オーバーレーされる
ため、これらのＭＬには、ＣＭＬにあるような原子的会
話型ジェスチャのセットの概念はない。むしろ、select
などの明示的なＣＭＬジェスチャは、従来技術では暗黙
的である。例えば、ＣＭＬジェスチャselectは、従来技
術では、リスト構造に対するマークアップ上に選択要素
に対するマークアップをオーバーレーした結果として表
れることになる。上に挙げたフィールドPersonTitleの
例を参照されたい。

【００５１】より複雑なダイアログを構成するとき、原
子的会話型ジェスチャの欠如がまず問題になる。例え
ば、従来技術は、明示的なテーブルおよびツリー構成を
導入して、２次元表レイアウトおよびツリーの仕組みの
ＧＵＩ概念に対応する。しかし、これらのよりハイレベ
ルな構造はＣＭＬにおけるように原子構成単位で構築さ
れていないため、テーブルやツリー（ここでツリーはop
enまたはclosedと宣言される）のようなコンポーネント
構成を、静的２次元表示が欠如したスピーチのようなモ
ーダル性にマッピングすることは不可能である。また、
ツリーやテーブルのようなジェスチャには、画面の小さ
い装置上で直接に相当するものがない。

【００５２】（ｖ）同期化複数の対話モーダル性にまたがる密な同期化が、高品質
なマルチモーダル・インタフェースの鍵となる要件であ
る。さらに言えば、このようなマルチモーダル・クライ
アントは、基礎をなすプラットフォームとして従来のブ
ラウザから提供されるＤＯＭ（Document Object Mode
l、http://www.w3c.orgに記載）を使用して構成される
見込みがより高い。この後者の実施シナリオでは、上で
詳述した、ユーザ・インタフェース構成をデータ定義上
にオーバーレーすることが、やはりネックになりやすい
（例えば、ダイアログ／アプリケーション状態をカプセ
ル化するための明示的な環境の欠如に対して上に述べ
た、この場合にビューごとの同じ問題）

【００５３】モーダル性にまたがる密な同期化は、ＣＭ
Ｌにおける基本的な目標である。これは、ＣＭＬ設計全
体に反映され、会話型ジェスチャとデータ・モデルの定
義との間に生じる分離は、旧来のモデル・ビュー・コン
トローラ（ＭＶＣ）設計を使用してＤＯＭの最上部に構
築されるマルチモーダル・ブラウザの実装をより容易に
する。

【００５４】（vi）会話型アプリケーション会話型アプリケーションは、複数のフォーム（それぞれ
がトランザクションまたはトランザクションの一部を記
述する）を同時に活動化させることによって宣言的に開
発することができる。これは、ファイル中の異なる場所
で同じダイアログ・コンポーネントを再利用する機能を
必要とする。上に説明したように、前述のオーバーレー
はこの要件をサポートしない。

【００５５】（vii）イベント結合の欠如イベント結合能力の欠如は、アプリケーションのマルチ
チャネル／マルチモーダル機能を制限する。すなわち、
何らかの具体的な論理動作を何らかの具体的な物理動作
に関連付ける方式がない。これは、異なる結合が望まし
いマルチモーダル／マルチチャネル・アクセス（例えば
電話ヘルプ用キー・ショート・カット、ヘルプ用音声コ
マンド、キーボード上におけるヘルプ用のキーの組合
せ）を提供したい場合にクリティカルである。

【００５６】（viii）ピアさらに、従来技術の試みはまた、基礎をなす同じ表現か
ら異なるユーザ対話を生成するためにピアの技術に依拠
している。そうすることにより、これは、同期化される
マルチモーダル対話の問題に対処しない。

【００５７】

【発明の実施の形態】後続の説明で、好ましい仕様のＣ
ＭＬ、好ましいマルチモーダル・ブラウジング環境、お
よび本発明をよりよく理解するためのいくつかの例示的
な適用例を使用して本発明を示す。しかし、本発明がこ
れらの特定の好ましい実施態様および例示的な適用例に
限定されないことを理解されたい。本発明はむしろ、よ
り一般に、アクセス・プロトコル、モーダル性、ブラウ
ザ、または装置に関係なく、どんな情報アクセス・アプ
リケーションにも適用可能である。したがって、本発明
はより一般に、同期化されマルチモーダルの、簡単かつ
便利な情報のアクセスをユーザに提供することが望まし
いどんな情報アクセス状況にも適用可能である。

【００５８】詳細な説明は、参照しやすいように次のセ
クションに分かれている。すなわち、（Ｉ）ＣＭＬ仕
様、および（ＩＩ）ＣＭＬをサポートし、解析し、レン
ダリングするためのマルチモーダル・ブラウザ体系であ
る。セクションＩは、本発明によるＣＭＬの好ましい仕
様の詳細な説明を提供する。セクションＩＩは、本発明
によるＣＭＬを実施するための好ましいマルチモーダル
・ブラウジング環境を提供する。

【００５９】Ｉ．ＣＭＬ仕様以下の説明は、ＣＭＬの好ましい実施形態の仕様であ
る。このセクションは、参照しやすいように次のサブセ
クションに分かれている。すなわち、（Ａ）序説、
（Ｂ）比較例、（Ｃ）ＣＭＬ構文、（Ｄ）名前空間、
（Ｅ）ＣＭＬ属性、（Ｆ）ＣＭＬコンポーネント、
（Ｇ）結合イベント、（Ｈ）ジェスチャのグループ化お
よび定義フォーカス、（Ｉ）データ・モデルおよびデー
タ・モデル、（Ｊ）アクセス環境、（Ｋ）ＣＭＬ横断モ
デル、（Ｌ）特定ユーザ・インタフェース言語へのＣＭ
Ｌの変換、（Ｍ）表面変更、および（Ｎ）ＣＭＬ文書型
定義である。

【００６０】Ａ．序説前述のように、コンテンツ再利用を達成するためにコン
テンツをプレゼンテーションから分離することは、ワー
ルド・ワイド・ウェブ（ＷＷＷ）上で情報を展開するた
めに従来受け入れられてきた方式である。これを図１に
示す。図示のように、アプリケーション・オーサリング
に関する既存の手法は、２つのコンポーネントしか考慮
しない。すなわち、コンテンツ・コンポーネント
（Ａ）、およびプレゼンテーションコンポーネント
（Ｂ）である。現在のＷ３Ｃ体系では、このような分離
は、コンテンツをＸＭＬで表現し、次いでそれをアプリ
ケーションおよび装置に依存するＸＳＬ変換を介して適
切な最終形式のプレゼンテーション（例えばＨＴＭＬ、
VoiceＸＭＬ、ＷＭＬ）に変換することによって達成さ
れる。しかし、この手法にはクリティカルな欠点があ
る。実際、ＸＳＬ規則は通常、バックエンド・アプリケ
ーションまたは領域に依存する。結果として、アプリケ
ーションのオーサリングは、ＸＭＬコンテンツを設計
し、次いでＸＳＬスタイル・シートをアプリケーション
／ページごとに、かつターゲット装置／チャネルごとに
設計することを伴う複数のオーサリング実行である。さ
らに、スタイル・シートを使用してあるＭＬから別のＭ
Ｌにトランスコーディングされると予想されるとき、前
述のように、トランスコーディングは通常、２つのレガ
シー言語間（例えばＨＴＭＬからＷＭＬへ）であること
が多く、次いで、非常に厳密なオーサリングの規則に従
って元のコンテンツがＨＴＭＬで構築される。もっと
も、これは、所与の会社内の所与のウェブ・サイトに対
する場合にのみ施行可能である。そのような場合でも、
これは、一般にはほとんど実施不可能である。というの
は、他のモーダル性で対応するコンポーネントを提供す
るための、マークアップ言語またはモーダル性の間の情
報の欠落（例えば、ＨＴＭＬフォームまたはメニューが
音声によって自動的にそれをレンダリングするために必
要な情報を提供しない）のせいである。

【００６１】ＣＭＬは、フォーム（プレゼンテーショ
ン）およびコンテンツに加えて第３のコンポーネント、
すなわち対話を実現することによって動かされ、この対
話は、静的情報表現を対話型情報に変えることの中心に
ある。静的情報は、ユーザが受動的であり、かつ、すべ
ての情報を呈示される、非常に特殊な場合であることを
理解されたい。この新しいパラダイムを図２に示す。図
示のように、本発明は、対話によるプログラミングの概
念を導入し、ここで、アプリケーション・オーサリング
は３つのコンポーネント、すなわちコンテンツ（Ａ）、
プレゼンテーション（Ｂ）、および対話（Ｃ）に分割さ
れる。この新しいプログラミング・パラダイムは、新し
いプログラミング環境、例えば開発ツールなどの開発と
組になって行われる。

【００６２】この明細書を通して、少量の埋め込み型ア
プリケーション・インテリジェンスを有する「軽量」情
報アプリケーションまたは電子情報を「インフォウェア
（infoware）」と呼ぶ。現在まで、このような対話は、
一部は表示的なＨＴＭＬすなわちフォーム要素内で、一
部はサーブレット（servlets）およびＣＧＩ（CommonGa
te Interface）スクリプトにカプセル化されたサーバ側
の論理内で表示されてきた。この組合せが、情報コンテ
ンツが支配するインフォウェアすなわち軽量アプリケー
ションを生み出すことになった。今日のＷＷＷにおける
インフォウェアのよい例は、Amazon.comのようなｅビジ
ネスである。

【００６３】複数のモーダル性を介してこのようなイン
フォウェアと対話する世界に我々が移動するのに伴い、
この３つのアスペクト、電子コンテンツすなわちコンテ
ンツとプレゼンテーションと対話との間を明瞭に分離す
る時が来た。

【００６４】ＣＭＬは、すべてのマン・マシン・ダイア
ログが、適切なシーケンスの「会話型ジェスチャ」、ま
たは適切に結合させて任意の対話に置き換えることので
きるモーダル性独立の構成単位（コンポーネントまたは
要素）に分割できるという洞察に基づく。ＣＭＬは、こ
れらの基本的な構成単位をＸＭＬでコード化することに
より、モーダル性独立方式でマン・マシン対話をカプセ
ル化する。このようなＣＭＬカプセル化は、後に適切な
モーダル性依存のユーザ・インタフェースに変換され
る。この変換は、複数の「コントローラ」、すなわち今
日のＷＷＷ中心の世界におけるブラウザの間で同期化を
達成する形で行われ、これらが、単一のモーダル性独立
「モデル」に対するモーダル性特定の「ビュー」を操作
する。「モデル」、「ビュー」、「コントローラ」とい
う用語は、コンピューティングの従来のＭＶＣ（モデル
・ビュー・コントローラ）分解に従って使用される周知
の用語であり、例えば、その開示を参照により本明細書
に組み込むG.E.KrasnerおよびS.T.Popeの「A Cookbook
for Using the Model-View-Controller User Interface
Paradigm in SmallTalk-80」,Journal of Object-Orie
nted Programming,1(3):26-49, August/September 1988
を参照されたい。結果として、複数の情報機器にわたっ
て対話挙動が一貫し、複数のインタフェース・モーダル
性にわたってユーザ対話が整合され正しく同期化され
る。

【００６５】Ｂ．比較例ＣＭＬの好ましい実施形態の仕様を説明する前に、ＣＭ
Ｌおよび対話によるプログラミングの基本原理を示すい
くつかの例を呈示する。これらの例は、「グローバル・
カフェ」サイトに言及する。カフェに着く前またはカフ
ェにいるときに顧客が自分の飲物を前もって注文するこ
とができるようにすると決定したカフェを想像された
い。したがって、彼らは基本的に、アクセス・チャネル
に対して独立して自分の情報へのアクセスを提供したい
と思う。

【００６６】したがって、ページがＣＭＬでオーサリン
グされる。このページを生成するためのＣＭＬコードを
ＣＭＬコード１０として図３に示す。このページは基本
的に、一連の会話型ジェスチャを含む（ここでジェスチ
ャは、ＣＭＬおよび対話によるプログラミングの基本原
理がよりよく理解されるように、後で提供される実際の
ＣＭＬ仕様の細部からはいくぶん自由であることに留意
されたい。

【００６７】このページは次のものを含むことができ
る。（１）タイトル（図３で「ジェスチャ」２０として示
す）：「Global Cafe」（すなわちタイトルとしてレン
ダリングされる特定のメッセージ）（２）ジェスチャ・メッセージ（図３で「ジェスチャ」
２２として示す）：Would you like coffee, tea, milk
or nothing? （３）ジェスチャ・リストからの排他的選択（図３で
「ジェスチャ」２４として示す：リストは次のアイテム
で構成される。coffee，tea，milk，nothing。（４）サブミット・ジェスチャ（図３には明示的に示さ
ず）

【００６８】明らかに、このページは、ターゲット・モ
ーダル性（すなわちアクセス・チャネルまたはアクセス
装置のタイプ）へのどんな依存も導入せずに、ユーザと
の完全な対話を十分に定義している。このページはま
た、次のような、対話によるプログラミングのプログラ
ミング・モデルもはっきりと示している。

【００６９】（ｉ）ターゲット・モーダル性に対して独
立して対話の基本的なコンポーネントを使用して、アプ
リケーションが対話によってプログラムされる。（ａ）ジェスチャ・メッセージ：「Global Cafe」（ｂ）ジェスチャ・メッセージ：Would you like coffe
e, tea, milk or nothing? （ｃ）ジェスチャ・リストからの排他的選択（ｄ）サブミット・ジェスチャ

【００７０】（ii）これは、従来通りにプログラム／開
発されるバックエンドに接続される。この例では、バッ
クエンドへの接続はリスト（coffee，tea，milk，nothi
ng）によって例示され、これは、ページが作成されたと
きには静的に、また、ページがバックエンド論理を使用
してサーバ上で動的に生成されたときは動的に、バック
エンド・データベース中に読み込まれ、かつリストへの
引数として追加されたものである。

【００７１】（iii）この段階で必要なら、例えばＸＦ
ＯＲＭ構文を使用して、属性／変数の制約、妥当性検査
を追加することができる。例えば、ページがアルコール
飲料を提供するためにユーザの年齢を要求する場合に
は、ユーザが自分は未成年であることを示すとダイアロ
グを制約または修正するといった制約を容易に表すこと
ができる。これは、このページには明示的に示していな
い。

【００７２】（iv）プレゼンテーションは以後、表面変
更することができる。この例では、これは、ジェスチャ
・メッセージの代わりにジェスチャ・タイトルを使用す
ることによって行われる。すなわちモーダル性独立の表
面変更である。モーダル性特定の表面変更もまた、例え
ば、得られたＨＴＭＬページに使用するための背景（色
または画像）を指定するＨＴＭＬタグを追加することに
よって追加することができる。これは、他のターゲット
・モーダル性からは無視される、あるいは他のモーダル
性用に提供された「挙動」で置換されることになる。例
えば、ＨＴＭＬモーダル性で画像が表示されるとき、代
わりのレンダリングとなるキャプションをＷＭＬ、Voic
eＸＭＬ、または他のモーダル性に提供することができ
る。

【００７３】（ｖ）得られたページは、次に、適切なブ
ラウザによってレンダリングすることができる。２つの
モデルが存在する。ＣＭＬページは、ＣＭＬコンテンツ
を解析およびレンダリングすることのできるブラウザに
提供される（以下のケースＢ参照）か、またはレガシー
言語、例えばＨＴＭＬ、ＷＭＬ、VoiceＸＭＬなどしか
扱うことのできないレガシー・ブラウザに提供される
（以下のケースＡ参照）。

【００７４】（ａ）ケースＡ：このケースは、「マルチ
チャネル」ケースとも呼ばれる。ターゲット・ブラウザ
は、要求者のアドレス（無線ゲートウェイまたはスピー
チ・ブラウザ）から、または要求（すなわちＨＴＭＬフ
ァイル要求対ＷＭＬページ要求）から明確である（ＨＴ
ＭＬブラウザ用のＨＴＴＰ接続で識別される）。ページ
が要求されるとき、これは、ＣＭＬで取り出され、ジェ
スチャ・ベースのＸＳＬ変換規則を使用して実行中にタ
ーゲットＭＬにトランスコーディングされる。

【００７５】（ｂ）ケースＢ：ターゲット・ブラウザは
ＣＭＬを扱う。したがって、ターゲット・ブラウザは、
それがサポートするモーダル性が何であるか（単一か複
数か）、ならびにサポートされるモーダル性で所与のジ
ェスチャを最適にレンダリングするのに必要な規則を正
確に知っている。これらのジェスチャＸＳＬ変換規則
は、装置が構築されたときまたはブラウザがそれに移植
されたときにブラウザ中にプログラムされたものである
ことが有利である。明らかに、これは、適切な情報を有
する（すなわちその装置を十分によく理解している）最
も適切なプログラマがその責務を負うことを意味する。

【００７６】（vi）いずれの場合にも、ＣＭＬアプリケ
ーション開発者は、何もする必要がない。開発者は常
に、プラットフォーム／ブラウザがレンダリングを適切
に扱うと仮定することができる。

【００７７】（vii）ジェスチャは、ターゲット・モー
ダル性から完全に独立している。ジェスチャはまた、バ
ックエンド・ビジネス論理／ドメインまたは他の何にも
独立、ジェスチャだけに依存する。これが、ＸＳＬ規則
をブラウザに記憶できる理由である。

【００７８】（viii）ＸＳＬ規則は、ターゲット・モー
ダル性に基づいてジェスチャをレンダリングする。この
場合では、これは次のことを意味する。（ａ）タイトル：ＨＴＭＬ：太字の見出し文字が表示されるＷＭＬ：単一カード表示 VoiceＸＭＬ：歓迎プロンプト（ｂ）メッセージ：ＨＴＭＬ：通常の文字で表示ＷＭＬ：通常の文字で表示（おそらく複数のカード上
で） VoiceＸＭＬ：プロンプト・メッセージを生成（テキス
トからメッセージへ、または再生）（ｃ）リストからの排他的選択：ＨＴＭＬ：プルダウン・メニューＷＭＬ：ラジオ・ボタン VoiceＸＭＬ：メニュー中で選択するためのダイアログ
（おそらく自然言語）（例えば、「あなたはこのように
多くのアイテムから選べます。最初の３つを読みます。
アイテムを選ぶか、次の３つが聞きたければもっと、と
言って下さい・・・」）

【００７９】図３に戻ると、ＣＭＬで書かれたグローバ
ル・カフェ・アプリケーションで得ることのできる３つ
の例示的なレンダリングを視覚化したものがある。した
がって、ジェスチャ・ベースのＸＳＬ変換を含むＣＭＬ
コード１０から、グローバル・カフェ・アプリケーショ
ンのＨＴＭＬレンダリング１２、ＷＭＬレンダリング１
４、およびVoiceＸＭＬレンダリング１６が得られる。

【００８０】（ix）マルチモーダル／会話型ブラウザに
よってトランスコーディングが行われるとき（以下に述
べる）、ジェスチャはnode_idタグを使用して一意に識
別される。これにより、登録された各モーダル性（ロー
カルまたは分散）でレンダリングが生成されるだけでな
く、非常に密な同期化が実現する（すなわち、これが意
味をなすジェスチャであるときに、ジェスチャ・レベル
で、またはサブ・ジェスチャ・レベルでも）。例えば、
イベント（Ｉ／Ｏイベント）は即座にダイアログの状態
（すなわち、上に参照した整理番号ＹＯ９９９１７８に
よって識別される特許出願にあるように、例えばマルチ
モーダル・シェル中に維持される状態）および他のモー
ダル性に影響する。したがって、このような密な同期化
が、携帯情報端末がサポートできるＨＴＭＬレンダリン
グ１２と、従来の電話機がサポートできるVoiceＸＭＬ
レンダリング１６との間に存在することができる。

【００８１】ジェスチャＸＳＬ変換規則は、アプリケー
ション開発者が上書きし、それらをどこでダウンロード
すべきかを示すことができることに留意されたい。それ
らはまた、普通ならデフォルトの挙動となるものから、
ユーザ、アプリケーション、または装置のプリファレン
スによって上書きすることもできる。

【００８２】新しいジェスチャを追加することもでき、
その場合、関連するＸＳＬ規則を提供しなければならな
い（例えばそれを得る場所のＵＲＬ）。

【００８３】Ｃ．ＣＭＬ構文ＣＭＬの好ましい実施形態では、ＣＭＬ構文はＸＭＬに
準拠する。ＣＭＬインスタンスは、うまく形成されたＸ
ＭＬである。装置の制約に基づいてＸＭＬプロセッサを
妥当性検査するＣＭＬプロセッサを実施することができ
る。

【００８４】（ｉ）特別なＣＭＬ注記（１）ケース依存性ＣＭＬクライアントおよびサーバは、ＣＭＬ要素名およ
び属性名をケース依存として扱う。慣習として、この仕
様中に定義されたすべての要素名および属性名は、より
低いケースを使用する。この慣習は、事前定義されたす
べての要素名および属性名に厳密に課される。

【００８５】（２）コンテンツ・モデルＣＭＬインスタンスは、一連のＸＭＬ要素からなる。Ｃ
ＭＬは、最上レベルにあるどんなｐｃデータも許容しな
い。すなわち、ＣＭＬのすべての最上レベルの子は、必
ず要素である。

【００８６】（３）乏しいＣＭＬＣＭＬインスタンスは乏しい場合がある。属性node_id
を除き、この仕様中に述べる最上レベルのＣＭＬ属性お
よび要素が必要とされる。

【００８７】（４）エンティティ参照ＣＭＬ中のすべてのエンティティ参照は、ＵＲＩ（Univ
ersal Resource Identifier）仕様に準拠する。http://
www.w3.orgのＷ３ＣからＵＲＩ仕様を参照されたい。

【００８８】（ii）用語ＣＭＬ文書を記述するのに使用される用語を、この仕様
の本文中に定義する。以下のリスト中に定義する用語
は、これらの定義を構築し、ＣＭＬ「プロセッサ」の動
作を記述する際に使用される。ＣＭＬプロセッサは一般
に、ＣＭＬコードおよび関連するアプリケーションを実
行するように構成された処理装置を指す。用語は以下の
通りである。することができる、してもよい（may）
適合したＣＭＬ文書およびプロセッサは、記述されたよ
うに挙動することができるが、その必要はない。しなけ
ればならない（must）適合したＣＭＬ文書およびプロ
セッサは、記述されたように挙動する必要がある。そう
でない場合は、以下に定義するエラーにある。エラー
（error）本仕様の規則の違反。結果は不定である。
適合したソフトウェアがエラーを検出して報告すること
ができ、それから復旧することができる。致命的誤り
（fatal error）適合したＣＭＬプロセッサが検出し
てアプリケーションに報告しなければならないエラー。

【００８９】Ｄ．名前空間このセクションでは、ＣＭＬインスタンスのすべてのセ
クション内の名前空間の使用を詳述する。本仕様中に定
義するすべての要素および属性は暗黙的に名前空間cml
中にあることに留意されたい。すなわち、一般ＸＭＬ文
書内で発生するＣＭＬインスタンス中の要素名message
は、ＸＭＬプロセッサにはcml:messageとして見え、Ｃ
ＭＬ属性node_idは、ＸＭＬプロセッサにはcml:node_id
として見えることになる。このセクションの後続の段落
で、ＣＭＬクライアント間の名前衝突を避けるために名
前空間cmlがさらにどのように細分されるかを定義す
る。

【００９０】「限定されない」名前空間によって導入さ
れたすべての名前空間、例えばvxmlは、暗黙的に名前空
間com.ibm.cml.vxml中にある。より一般には、ベンダ特
定の名前空間は、ベンダのドメイン名から構成されるベ
ンダ接頭部を使用する。これは、Javaのようなシステム
によって使用される方式に類似する。

【００９１】ＣＭＬはまた、名前空間を使用して、異な
る個々のインフォウェアからのフィールド名および値が
共存できるようにする。したがって、アプリケーション
cafe中のフィールドdrinkの完全に限定された名前は、c
afe.drinkである。この飲物の例に対する例示的な適用
は以下に述べる。ＣＭＬ中のすべてのフィールド名は常
に完全に限定されることに留意されたい。すなわち、フ
ィールド名内には、関連するジェスチャが発生するネス
ティング・レベルに基づく暗黙的な階層はない。

【００９２】Ｅ．ＣＭＬ属性ＣＭＬインスタンスは、次のＸＭＬ属性を有することが
できる。別の方法で述べていない限り、すべての属性は
オプションである。（ｉ）node_id このＣＭＬノードに対する固有の識別
子。属性node_idが要求される。（ii）title ＣＭＬインスタンスにタイトルを指定す
る、人間が読めるメタデータ・ストリング。（iii）name ＣＭＬインスタンス内でインスタンス化
されたすべてのフィールド値に対して名前空間を確立す
るのに使用される名前。（iv）action ＣＭＬのターゲット・アクションである
ＵＲＬ（Uniform Resource Locator）を指定する。（ｖ）style 関連するＸＳＬスタイル・シートのＵＲ
Ｉ。指定がない限り、ＣＭＬインタープリタは、モーダ
ル性独立のＣＭＬインスタンスをモーダル性特定のコー
ド化に変換するために、デフォルトで一般スタイル・シ
ートに設定する。属性styleは、ＣＭＬ作成者がシステ
ム全体のスタイル規則をオーバーライドまたは特殊化す
ることを可能にする。

【００９３】Ｆ．ＣＭＬコンポーネントＣＭＬインスタンスは、「会話型ジェスチャ」を表す。
前述のように、会話型ジェスチャは、ダイアログの基本
的な構成単位であり、対話論理をモーダル性独立の形で
カプセル化する。複雑な会話型コンポーネント（ダイア
ログ・コンポーネントまたはダイアログ・モジュールと
も呼ばれる）は、後続のサブセクションで述べるより基
本的な会話型ジェスチャを統合することによって構築さ
れる。これらの複雑な会話型コンポーネントは通常、例
えば電話番号を得る、住所を得るなどのタスク指向であ
る。基本的な会話型ジェスチャのＣＭＬ記述は、所望の
レベルの複雑性までネストすることができる。ネスティ
ングの他にも、複雑な会話型コンポーネントは、基本的
な会話型ジェスチャを並列で、または逐次的に、あるい
はその両方で結合することによっても得られる。また、
複雑な会話型コンポーネントは、命令型ジェスチャ、例
えばＣＦＣ（Conversational Foundation Class）を結
合することによっても得られ、これは以下に述べる。あ
らゆるＣＭＬジェスチャがＸＭＬ要素であるものの、そ
の逆は真ではないことにも留意されたい。すなわち、本
仕様中に定義するあらゆるＸＭＬ要素がＣＭＬジェスチ
ャであるというわけではない。多くのＣＭＬジェスチャ
は、サブ要素を使用して所与のジェスチャの基礎構造を
カプセル化する。後続のセクションでは、「ジェスチ
ャ」であるＣＭＬ要素は、ジェスチャ・メッセージとい
うタイトルのサブセクション中のようにマークされる。

【００９４】ＣＭＬは、新たに出現する他のＷ３Ｃ規
格、例えばＸＨＴＭＬ（Extensible HyperText Markup
Language）などと相互動作するように設計される。した
がってＣＭＬ要素は、ＨＴＭＬ、ＭＡＴＨＭＬなどのよ
うな他のマークアップ言語から要素を再創作するのでは
なく、適切なところで再利用する。このような要素は、
ＣＭＬインスタンス中に埋め込まれると、例えばhtml:e
mなどに完全に限定される。以下の第１のサブセクショ
ンは、様々なＣＭＬ構成単位の共通面を紹介し、後続の
サブセクションは、各構成単位を詳細に記述する。各Ｃ
ＭＬ基本要素が基本的な会話型ジェスチャを取り込み、
ＸＭＬ属性がより特殊化された挙動をコード化するのに
使用されることに留意されたい。したがって、例えば、
イエス／ノーの質問はＣＭＬ基本要素であり、ユーザの
確認を必要とするイエス／ノーの質問は、この基本要素
を改良したものである。

【００９５】ＣＭＬはジェスチャの上書きおよびジェス
チャの拡張を可能にするので、ＣＭＬの特定の実施形態
中に提供されるＣＭＬジェスチャの基本セットがどんな
ものであるかは問題ではない。本明細書で提供されるセ
ットおよび規則は、どんなレガシー・ページおよび対話
の実施も可能にする。

【００９６】ＣＭＬジェスチャは、以下の共通ＸＭＬ属
性を共用する。 action ジェスチャの完了時に行われるアクション。属
性actionは、link、return、またはsubmitのうちの１つ
とすることができる。

【００９７】（ｉ）ジェスチャMessage 会話型ジェスチャmessageは、ユーザに情報メッセージ
を伝達するのに使用される。ジェスチャmessageは通
常、表示される文字列または話されるプロンプトとして
レンダリングされる。話されるメッセージの一部は、Ｃ
ＭＬインタープリタによってホスティングされている様
々な個々のインフォウェアの現状態の関数とすることが
できる（アクセス環境の状態に関するセクション参
照）。例：<message node_id="1">Your <html:em> chec
king</html:em> account balance is<value name="bank
ing.checking.balance"/>after transfering<value nam
e="banking.checking.transfer"/>to your<value name
="banking.creditCard.account ' '/></message>空の要
素valueは、現在の環境からの可変の情報を挿入するの
に使用され、アクセス環境の状態に関するセクションで
正式に定義する。

【００９８】（ii）ジェスチャHelp 会話型ジェスチャhelpは、ダイアログにトラブルが起こ
った場合に表示すべきコンテキスト・ヘルプをカプセル
化するのに使用される。ジェスチャhelpは通常、表示さ
れるストリングまたは話されるプロンプトとしてレンダ
リングされる。メッセージの一部は、ＣＭＬインタープ
リタによってホスティングされている様々な個々のイン
フォウェアの現状態の関数とすることができる。例： help node_id"1"You can check your account balances
by specifying aparticular account. </help>

【００９９】（iii）Final ＣＭＬ要素finalは、カプセル化されたジェスチャが首
尾よく完了したときに行われるアクション、例えばユー
ザ対話に基づいてカプセル化環境を更新することをカプ
セル化するためにジェスチャ内で使用される。

【０１００】（iv）ジェスチャBoolean：イエス／ノー
の質問会話型ジェスチャbooleanは、典型的なイエス／ノーの
質問をカプセル化する。ジェスチャbooleanは、message
として使用すべきプロンプトならびにもしあればデフォ
ルトの応答をカプセル化する。属性require_confirmati
on、require_confirmation_if_no、およびrequire_conf
irmation_if_yes（デフォルトではすべてfalse）によっ
て、インフォウェア・アプリケーションがダイアログを
改良することができる。例： <boolean default="y" node_id="1" require_confirm_if_no="true"> <grammar type="text/jsgf"> (yes | yeah) {yes} | (no nay) {no} </grammar> <message> Please confirm that you would like to stay at the <value href="travelCenter.hotel.selected"/> </message> </boolean>

【０１０１】（ｖ）ジェスチャSelect 会話型ジェスチャselectは、ユーザが一組の選択肢から
選び取ることを期待される場合のダイアログをカプセル
化するのに使用される。これは、プロンプト、デフォル
ト選択、ならびに合法な選択肢のセットをカプセル化す
る。要素selectの属性は、相互排他的選択を達成する
（ラジオ・ボタンのグループとして視覚的にレンダリン
グされる）、範囲から選択する、スクロールバーとして
視覚的にレンダリングするなどのためにジェスチャを改
良する。selectのサブ要素は、以下のものを含む。 choices 値と参照のいずれかによって埋め込まれた可能な選択肢
のリストを含む。要素choicesは、１つまたは複数のcho
ice要素のリスト、ならびにもしあればデフォルト選択
を指定するせいぜい１つのdefault要素を含む。 predicate 選択が満たすべきテストをカプセル化する述語。 help ダイアログが行き詰まった場合に提供すべきヘルプ。 error predicateが失敗の場合に使用すべきメッセージを含
む。例： <select name="portfolio.fund" node_id="1" require predicate= "yes"> <message node_id="2"> Which of your positions would you like to check? </message> <help> You can specify the names of stocks or funds you o
wnand we will report your current position. </help> <choices> <var name="possibleChoices"/> <default value="possibleChoices"> Check the position of all holdings</default> </choices> <predicate> <conduction> fund in possibleChoices </condition> <error> Sorry, you do not appear to own any shares in <var name="portfolio.fund"/> </error> </predicate> </select>

【０１０２】（vi）Predicate 要素predicateは、特定の会話型ジェスチャの結果を妥
当性検査するための規則をカプセル化するためにＣＭＬ
中で使用される。テスト述語は、その開示を参照により
本明細書に組み込むＷ３Ｃからのxpath仕様すなわちXML
Path Language, W3C Proposed Recommendation中に定
義される表現構文および意味論を使用して単純な条件文
として表される。http://www.w3.org/tr/xpathを参照さ
れたい。xpathは、文書ツリーの異なる部分にアクセス
するための表現構文を指定し、アプリケーション・バッ
クエンドへの呼出しを必要とする妥当性検査は、個別に
扱われる。

【０１０３】predicate要素を含む会話型ジェスチャ
は、テストが失敗した場合に適切な属性を介して行うべ
きアクションを限定する。

【０１０４】（vii）Grammer ＣＭＬサブ要素grammarは、VoiceＸＭＬ中で要素gramma
rの後にモデリングされる。サブ要素grammarは、文法フ
ラグメントをコード化し、サブ要素helpが、どの発話が
許容されるかをユーザに示すために再生される適切なヘ
ルプ・メッセージをカプセル化する。適切な場合に、Ｃ
ＭＬジェスチャは、ＣＭＬインタープリタによってより
複雑な文法に組み立てられる文法フラグメントを提供す
ることができる。

【０１０５】サブ要素grammarは、入力、特にスピーチ
を処理する規則として一般化することができる。これら
の規則は、厳密にすることができる、または、処理に使
用すべき遠隔リソース（ＵＲＬ）を記述して、どのデー
タ・ファイルでどの処理を行い、どのアドレスにどんな
結果を返さなければならないかを記述する引数を、これ
らのリソースに渡すために提供することができる。一般
に文法は、適正範囲内に定義するかまたはＵＲＬを介し
て定義することができる。

【０１０６】さらに、この処理を、オブジェクト・タ
グ、例えば<object>...<object>によって宣言すること
も可能である。オブジェクト・タグによって、ＣＦＣ
（Conversational Foundation Classes）またはＣＡＰ
（Conversational Application Platform）サービスを
ロードすることができる（例えば、上に参照したＵＳ９
９／２２９２７（整理番号ＹＯ９９９−１１１）として
識別されるＰＣＴ国際特許出願を参照されたい。ここで
ＣＡＰはＣＶＭすなわち会話型仮想マシン（Conversati
onal Virtual Machine）に相当する。）引数は、ＸＭＬ
属性および変数を使用してオブジェクトに渡すことがで
きる。結果は、同様の変数プレースホルダを介して返す
ことができる。これにより、これらのオブジェクト呼出
しは、環境にアクセスしてそれを修正することができ
る。

【０１０７】オブジェクトは、以下の値をとることので
きる属性executeによって限定することができる。すな
わち、parallel（並列でブロックされずに実行され、環
境への進行中の影響を、その完了前の実行中に知らせる
ことができる）、asynchronous（非同期でブロックされ
ずに実行され、環境の更新が完了したときにイベントを
介して知らせる）、blocking（環境の更新および継続の
前にブラウザがオブジェクト呼出しの完了を待機する）
である。

【０１０８】処理を分散させるのに必要なすべての情報
は、上で参照したＵＳ９９／２２９２５（整理番号ＹＯ
９９９−１１３）として識別されるＰＣＴ国際特許出願
に記載されており、これは、会話型アプリケーションの
分散を可能にする体系およびプロトコルを定義する。し
たがって、この国際特許出願は、そのような分散をどの
ように行うことができ、それがどのようにこの場合のク
ライアント・ブラウザとサーバ・ブラウザとの間、なら
びにローカル・エンジンとサーバ・エンジンとの間に処
理を分散させることを可能にするかを記述する。これに
より、ネットワークにわたる入力／出力イベントの処理
の分散が可能である。

【０１０９】（viii）ジェスチャMenu ジェスチャmenuは、ジェスチャselectの特殊なケースで
ある。ジェスチャmenuは、ユーザがあるアプリケーショ
ンの異なるサブパートをナビゲートするのを助けるダイ
アログをカプセル化するのに使用される。ジェスチャse
lectを使用して、同じ結果を達成することができる。し
かし、明示的なmenuジェスチャを有することにより、作
成者は、selectジェスチャが使用されている理由に関し
てより意味的な情報を提供することができる。以下の例
で、要素menuは、属性actionがlinkに設定されている要
素selectに相当することに留意されたい。例： <menu name="main"> <choice value="#query">Ask a question</choice> <choice value="#browse">Browse available categorie
s</choice> </menu> 各選択における属性valueの値は、その選択に対するＵ
ＲＩターゲットを指定する。

【０１１０】（ix）ジェスチャUser Identification 会話型ジェスチャuser_identificationは、ユーザ・ロ
グインおよび認証をカプセル化するのに使用される。こ
れは総称的なものとされ、スタイル規則を介して特定の
ユーザ対話環境用に特殊化される。

【０１１１】サブ要素userおよびidentifyは、ユーザ名
および認証の情報を得るための会話型ジェスチャをカプ
セル化する。要素predicateは、ユーザが首尾よく認証
されたかどうかを確認するためのテストを提供する。例： <user_identify name="login" require_predicate="yes" on_fail="retry" node_id="2"> <message node_id="3"> To use this service, you first need to login using
your nameand personal identification. </message> <user name="userid" node_id="4"> what is your user id? </user> <identify name="pin" node_id="4"> Please provide your user authentication. </dentify> <predicate> <conditon> backend.authenticate(user id,pin) </condition> <predicate> <error> Sorry, login for <var name="userid"/> with identification <var name="pin"/> failed. </error> </user_identify> このジェスチャに対する変形は、例えば、識別ジェスチ
ャ（例えばその人が誰かを識別する）、検証ジェスチャ
（例えば要求者の認証）、スピーチ生物測定法（例えば
米国特許第５８９７６１６号）の間の明示的な区別に有
用となることができる。

【０１１２】（ｘ）ジェスチャ制約付きのInput ＣＭＬは、日付や通貨などのユーザ入力を得るための、
いくつかの定義済みダイアログ・コンポーネントを提供
する。通常、このような入力は、これまでに列挙した様
々な選択ジェスチャよりも拡張可能であり、単純な編集
フィールドを介して従来の視覚インタフェース中で実現
される。しかし、このような入力ジェスチャに対するド
メイン特定の制約をカプセル化することは、口頭の対話
を構築する際に有利である。また、このようなドメイン
特定の制約は、通常、サーバにサブミットする前にユー
ザ入力の妥当性検査を行うＨＴＭＬページ内のクライア
ント側スクリプトとして、今日のＷＷＷインタフェース
中で実施されていることにも留意されたい。ＣＭＬで
は、今日のＷＷＷ上で広く使用されているこれらの入力
ジェスチャを、標準的なユーザ・レベルのタスクを行う
ために形式化する。ＣＭＬはまた、この基本的な入力ジ
ェスチャのセットを時の経過に伴って拡張することので
きる拡張機構も提供する。このリスト中に定義するすべ
てのＣＭＬ要素はジェスチャであることに留意された
い。（１）Date 日付を指定する。（２）Time 時間を指定する。（３）Currency 通貨額を指定する。（４）Credit Card クレジット・カード（カード・タ
イプ、カード番号、有効期限を含む）を指定する。（５）Phone 電話番号を指定する。（６）Email 電子メール・アドレスを指定する。（７）URL ＵＲＬを指定する。（８）Snail Address 郵便番号、国／州／市、通りを
含めた「スネイル・メール」アドレスを指定する。

【０１１３】制約付きの入力ジェスチャは、文法を他の
入力フィールドに渡すことによって容易に拡張すること
ができる。このジェスチャはさらに、ローカライズでき
る（すなわち、国際化でき、地域的な趣を持たせること
のできる）トランスコーディング規則に関連付けること
もできることに留意されたい。これは、すべてのジェス
チャおよびジェスチャ・ベースのトランスコーディング
規則に実際に拡張可能なステートメントである。ロケー
ション（すなわち電話番号、ＩＰアドレスの起点、ユー
ザに関して分かっている（ユーザのローカル装置／ブラ
ウザ上にあるかまたはクッキーを介してサーバに送信さ
れた）プリファレンス））に基づいて、ジェスチャを別
の言語で表すことができ（すなわち、「Select yes or
no」が「Selectionnez oui ou non」になるなど）、あ
るいは地理に適合させることができる（例えば、zipコ
ードが郵便番号になる）。

【０１１４】（xi）ジェスチャ制約のないInput 会話型ジェスチャinputは、入力制約がより複雑な（ま
たはおそらく存在しない）場合の、得られたユーザ入力
に使用される。このジェスチャは、ユーザ・プロンプ
ト、要求されている情報のアイテムに関するアプリケー
ション・レベルの意味構造、およびもしかすると入力の
妥当性をテストするためのpredicateをカプセル化す
る。アプリケーション特定の意味制約を伴うジェスチャ
inputは、前のセクションで考察した、組み込まれた制
約付き入力のジェスチャのセットを拡張する手段を提供
することに留意されたい。例： <Input node_id="1"> <Message>...</Message> </Input>

【０１１５】（xii）ジェスチャSubmit 会話型ジェスチャsubmitは、パッケージされて、含んで
いるＣＭＬインスタンスから返されるべき、環境からの
コンポーネントを指定する。これはまた、使用すべきプ
ロンプト、ならびにカプセル化された環境の状態をサブ
ミットすべきターゲットＵＲＩもカプセル化する。例： <submit target="uri"> <env name="location.state"/> <env name="location.city"/> </submit>サブ要素envは、囲んでいるジェスチャがサブ
ミットすべき環境のコンポーネントを指定する。

【０１１６】様々なＣＭＬ属性およびコンポーネントを
以上に説明したが、ＣＭＬのこの実施形態の他の態様を
説明しながら、その他の属性およびコンポーネントを以
下に呈示および定義することを理解されたい。その他の
属性およびコンポーネントは、本発明の教示に従って定
義される場合があることを理解されたい。すなわち、本
発明は、この詳細な説明で述べる特定の属性およびコン
ポーネントに限定されるものではない。

【０１１７】Ｇ．結合イベントＣＭＬは、アプリケーション作成者が「論理入力イベン
ト」、ならびに、そのような論理イベントと、定義され
た論理イベントをトリガする実際の「物理入力イベン
ト」との間の関連を定義するための、フレキシブルかつ
拡張可能な機構を提供する。ＣＭＬジェスチャは、定義
された論理イベントが受け取られるとき、ＣＭＬジェス
チャが扱う準備のできている論理イベントを、ＣＭＬ属
性triggerを介して宣言し、そのトリガ・リスト中にマ
ッチング・イベントを有する最も近くの囲んでいるジェ
スチャが、そのイベントを扱う。ＣＭＬ属性trigger
は、ジェスチャがそれに論理的に結合されたイベントに
よってトリガされるようにする。この機構は、例によっ
て最もよく示される。以下に示すＣＭＬコードの断片で
は、アプリケーションは、helpを論理入力イベントとし
て定義し、これを異なる２つのモーダル性にある物理イ
ベントに結合し、最終的に、helpイベントを扱うＣＭＬ
ジェスチャを宣言する。ＣＭＬ要素bind-eventは、３つの属性をとる。（１）logical 定義されている論理イベントの名前を
指定する。（２）modality イベントが結合されている対話モーダ
ル性を指定する。（３）physical 論理イベントに結合させる物理イベン
トを指定する。

【０１１８】アプリケーションを構成するＣＭＬジェス
チャによって扱われない入力イベントは、helpなどの標
準的なプラットフォーム・イベントがデフォルト・ハン
ドラによって扱われるＣＭＬインタープリタにバブルア
ップする。バブルアップとは、トリガ値と一致するジェ
スチャを探索することが、一致するジェスチャがなくな
るまで階層的に、最も近くの囲んでいるジェスチャから
より高いジェスチャにバブルアップするという意味であ
る。このような場合、トリガは、ブラウザから、さもな
ければ基礎をなすプラットフォーム（例えばＹＯ９９９
−１１１の会話型仮想マシン）から提供されるサービス
に関連付けるべきである。どれも満たされない場合、そ
のイベントは無視されるか、または入力が理解されず
（またはサポートされず）無視されたことを説明するデ
フォルト・メッセージがユーザに返される。しかしこれ
らは、ブラウザおよび基礎をなすプラットフォームを実
施する選択肢であって、言語の選択肢ではない。機構bi
nd-eventは、プラットフォームの挙動をオーバーライド
するように設計され、これは、ユーザ入力をＣＭＬジェ
スチャにマッピングするための排他的機構として使用さ
れるものではないことに留意されたい。したがって、ア
プリケーション中の有効なすべての口頭発話を適切なジ
ェスチャに結合するのに要素bind-eventを使用すること
は反対される。

【０１１９】さらに、要素bind-event中の属性modality
を省略することにより、指定の物理結合がすべてのモー
ダル性で関連付けられることにも留意されたい。要素bi
nd-event中の属性physicalの値を省略することは、非結
合の、すなわち物理イベントに結合されない論理イベン
トを宣言する。

【０１２０】Ｈ．グループ化ジェスチャおよび定義フォ
ーカス会話型ジェスチャは、特定のユーザ・インタフェースを
実現するために特定のモーダル性にされるとき、適切に
グループ化されて、ユーザがインタフェースの関係する
部分と対話することを可能にする。この断定を理解する
ために、ユーザ対話をいくつかのＨＴＭＬページにわた
って分割し、インタフェースの関係する部分が同じペー
ジ上に表示されるＷＷＷアプリケーションを考察された
い。同様に、スピーチ・インタフェースは、ユーザがい
くつかの関係するコマンドのいずれかを所与の時間に指
定することを可能にする。

【０１２１】こうした形のジェスチャのグループ化は、
アプリケーションがオーサリングされているときにもっ
ともよく取り込まれる。このようなグループ化は、モー
ダル性独立の場合もあり、そうでない場合もある。ＣＭ
Ｌによれば、アプリケーション作成者は、両方の形のグ
ループ化をカプセル化することができる。

【０１２２】会話型ジェスチャは、ＣＭＬ要素groupを
使用してグループ化される。要素groupはさらに、属性i
d、modality、classによって限定される。属性idは、ジ
ェスチャをグループ化するのに最低限必要である。属性
modalityは、もしあれば、指定のグループ化をモーダル
性特定にすることを宣言する。属性classは、関係する
要素をさらに選択してＣＭＬをＨＴＭＬのような言語に
トランスコーディングするために、ＨＴＭＬのclass属
性と同様の方式で使用することができる。

【０１２３】デフォルトで、単一のgroup要素に囲まれ
たＣＭＬジェスチャは、含まれるいずれかのジェスチャ
とユーザが対話できるようにするユーザ・インタフェー
スにマッピングする。ＨＴＭＬの場合、これは、単一ペ
ージにトランスコーディングされているジェスチャとな
り、VoiceＸＭＬの場合、これは、並列で活動化されて
いる対応するフォームとなる。

【０１２４】ジェスチャのグループを並列で活動化する
ことは、混合イニシアチブＮＬインタフェースを実施す
る方式であり、所与の時間にサポートされる各コマンド
／照会は、ジェスチャの中から構築されたフォーム（す
なわちジェスチャのグループはフォームと呼ばれる）を
特徴とすることに留意されたい。入力／出力イベントが
発生するとき、ブラウザまたは基礎をなすプラットフォ
ームから提供されるダイアログ・マネージャは、活動状
態にされた異なるフォーム中のジェスチャが何であるか
を推測することになり、それらの関連する属性（ジェス
チャに関連付けられた環境変数）を限定できるようにす
る。フォームのすべての必須属性が値を受け取ると、ア
クションは一義化されて実行されると見なされる。以下
に述べるが、ＸＦＯＲＭＳを使用して属性間の追加の制
約を表すこともできることに留意されたい。並列活動化
に関する考察に対する、上で参照した整理番号ＹＯ９９
８−３９２によって識別される特許出願と、K.A.Papine
ni他の「Free-flow dialogmanagement using forms」,
Proc. Eurospeech,1999、およびその開示を参照により
本明細書に組み込むK.Davies他の「The conversational
telephony systemfor financial applications」,Pro
c. Eurospeech,1999も参照されたい。

【０１２５】要素groupのインスタンスは、内部グルー
プ要素が、囲んでいる要素中に指定されたものとは異な
る値を属性modalityまたはclassに対して指定しない限
り、ネストすることができない。

【０１２６】ＸＦＯＲＭＳ（http://www.w3.org/MarkUp
/Forms/）のような努力は、同じバックエンドを保持し
ながら異なる種類のブラウザに向けた表示の置換を容易
にする試みにおいて（ただしＸＦＯＲＭＳは異なるモー
ダル性に対処するのに失敗している）、図４に示すよう
にフォームを３層（プレゼンテーション、論理、デー
タ）に分割することにより、既存のマークアップ言語に
関連する問題を解決しようとしてきた。ＸＦＯＲＭＳデ
ータ層は、アプリケーション開発者がフォームに対して
データ・モデルを定義することを可能にする。開発者
は、組込みデータ・モデルを使用することもでき、自分
自身のものをロールすることもできる。ＸＦＯＲＭＳ
は、ＸＭＬスキーマ上で行われている作業の最上部にデ
ータ・モデルを構築している。論理層は、アプリケーシ
ョン開発者が、例えば現総計に対する、またはあるフィ
ールドがファイルされるのに別のフィールドを必要とす
る場合の、フィールド間の依存性を定義することを可能
にする。ＸＦＯＲＭＳは、スプレッド・シートおよび既
存のフォーム・パッケージへの広く行き渡った親しみの
上に構築する軽量表現構文をサポートする。アプリケー
ション開発者は、追加のフレキシビリティが必要なとき
に、依然としてスクリプトを呼び出すことができる。プ
レゼンテーション層は、フォーム制御用のマークアップ
および他のＨＴＭＬマークアップからなり、各制御は、
データ・モデル中のフィールドに結合される。「gette
r」および「setter」関数は、正規の表現を内的に保持
しながら、プレゼンテーションが例えば日付および通貨
に対するユーザのプリファレンスに一致するようにし、
したがって、フォーム処理を簡略化する。同じデータ・
フィールドが、２つ以上のプレゼンテーション制御を結
合されることができる。いずれかの制御で値が変更され
ると、次いで、他のすべてが自動的に更新される。

【０１２７】本明細書で説明したように、ＸＦＯＲＭＳ
は、プレゼンテーションからデータを分離するためのバ
ックエンド機構を提供する。ＣＭＬは、論理およびプレ
ゼンテーションの部分をさらにプレゼンテーション・レ
ンダリング（すなわち、対話情報のないモーダル性独立
のレンダリング）／対話（可能性あるモーダル性依存の
表面的入力を足したもの）／コンテンツ（すなわち、バ
ックエンド・データと論理情報を足したものから対話に
関係するすべての論理対話を引いたもの）に分離するた
めの機構を提供する。この創意に富んだ概念を図５に示
す。前に説明したように、本発明のプログラミング・パ
ラダイムは、プレゼンテーション／モーダル性特定のレ
ンダリングＡと、対話Ｂと、コンテンツおよびバックエ
ンド／アプリケーション論理Ｃとを分離する。図５はま
た、前述のＸＦＯＲＭＳのバックエンド機構も示し、デ
ータＤはバックエンドＥから分離している。図６は、ど
のようにフォーム・ベースの混合イニシアチブＮＬＵ
（自然言語理解、natural language understanding）ア
プリケーションがＣＭＬで書かれるかを表している。文
字ＡおよびＣは、図５にあるのと同じアイテムを示す。
Ｂ'で示したブロックでは、対話／ダイアログ情報がＣ
ＭＬで記述される。この部分は、活動化可能な各トラン
ザクションを実現するために発生する必要のある対話
（必須およびオプション）を記述する。このためには、
基礎をなす属性データ構造に関連する制約およびデータ
・モデルを取り込むＸＦＯＲＭＳコンポーネントを追加
する。エンジン制御および表面変更の部分は、会話型エ
ンジン、特にダイアログ・マネージャおよびＮＬＵエン
ジンの挙動を最適化するのに使用される追加の制御パラ
メータを取り込む。ＣＭＬの部分は、前に述べたように
他のモーダル性でレンダリングするのに使用できること
に留意されたい。ブロックＦは、ブロックＢ'に従って
利用できる例示的なフォーム（例えばミューチュアル・
ファンド・デモ・フォーム）を示す。

【０１２８】Ｉ．データ・モデルおよびデータ・モデルＣＭＬは、ＸＭＬスキーマおよびＸＭＬフォームに関す
るＷ３Ｃワークの結果によって指定されるデータ・モデ
ルまたはデータ・モデル基本要素を定義する。http://w
ww.w3.orgを参照されたい。

【０１２９】Ｊ．アクセス環境ＣＭＬジェスチャは、集合的に「環境」と呼ばれる変数
の集合を定義する。ＣＭＬ文書が横断されるとき、環境
中の変数は、成功したユーザ対話から得られる値に束縛
される。環境は、以下に述べるが、要素var、value、as
signを介してＣＭＬジェスチャ内でアクセスし操作する
ことができる。このような名前はすべて、常に完全に限
定されることに留意されたい。

【０１３０】（ｉ）var 要素varは、現行の環境で、
変数を宣言し、（かつ任意選択で）初期設定する（それ
を初期値に割り当てる）。属性nameは、変数の名前を指
定する。初期値は、要素assignに対して指定するのと同
じ構文を使用して指定することができる。以下を参照さ
れたい。

【０１３１】（ii）assign 要素assingは、環境中にす
でに存在する変数に値を割り当てる。すなわち、要素as
signは、環境中の値を束縛するのに使用される。属性na
meは、束縛すべき変数を指定する。束縛すべき値は、属
性exprの値として、xpathによって使用されるのと同じ
表現構文を使用して指定することもでき、あるいは、割
り当てるべき値は、要素assignのコンテンツとして指定
することもできる。要素assignは通常、直接的なユーザ
対話によって設定されない中間変数を束縛または更新す
るのに使用される。

【０１３２】（iii）value 要素valueは、定義された
変数の値を取り出す。すなわち、空の要素valueの属性n
ameは、その値を環境中で検索すべき変数を指定する。
属性nameの値は、部分的にまたは完全に限定された名前
であり（名前空間に関する前述のセクション参照）、含
んでいるＣＭＬジェスチャのコンテキストで解釈され
る。

【０１３３】上に定義したように、変数は、それらを割
り当てることができる前に宣言されなければならないこ
とに留意されたい。

【０１３４】Ｋ．ＣＭＬ横断モデルＣＭＬでオーサリングされたインフォウェアは、複数の
ユーザ・エージェント間を調停する会話型シェルによっ
てホスティングされ、この会話型シェルを、以後、ＣＭ
Ｌインタープリタと呼ぶ。横断モデルは、図１３および
１４のコンテキストでさらに考察し、例示することを理
解されたい。ユーザ対話は、ＣＭＬインタープリタがＣ
ＭＬインスタンスをＨＴＭＬやVoiceＸＭＬなどの適切
なモーダル性特定の言語にマッピングすることによって
進行する。これらのモーダル性特定の表現は、モーダル
性特定バージョンのダイアログをレンダリングする適切
なユーザ・エージェントに渡される。

【０１３５】ＣＭＬからモーダル性特定の表現への変換
は、ＸＳＬ変換規則（ＸＳＬＴ）に支配されることが好
ましい。他の変換機構も使用できることに留意された
い。ＸＳＬＴは、好ましい実施形態に提案される一手段
にすぎない。例えば、ＪＳＰ、Java Server Pagesまた
はJava Beans、ならびに規則に基づいてジェスチャをそ
れらのターゲット・レンダリングに変換する他の技術を
使用することもできる。このような実施の一例は、各ジ
ェスチャにジャバ・ビーンを関連付けるものである。ジ
ャバ・ビーンは、各モーダル性でそれ自体のレンダリン
グを（ＪＳＰを介して）伝える。したがって、本発明は
ＸＳＬＴに限定されない。いずれの場合にも、これらの
ＸＳＬ規則は、モーダル性特定である。ＣＭＬインスタ
ンスを適切なモーダル性特定の表現にマッピングするプ
ロセスで、ＸＳＬ規則は、モーダル性特定のユーザ対話
の実現に必要な情報を追加する。例として、要素select
をVoiceＸＭＬに変換するとき、関係するＸＳＬ変換規
則は、その会話型ジェスチャに有効な選択肢をカバーす
る文法の生成を扱う。

【０１３６】ＣＭＬインスタンスをＨＴＭＬなどのモー
ダル性特定の表現に変換するプロセスは、単一のＣＭＬ
ノードを出力表現中のノードの集合にマッピングするこ
とになる可能性がある。これらの様々な表現にわたる同
期化を助けるために、ＣＭＬ属性node_idが、所与のＣ
ＭＬノードから得られたすべての出力ノードに適用され
る。所与のＣＭＬインスタンスが、適切なモーダル性特
定のＸＳＬ規則によって異なる表現、例えばＨＴＭＬお
よびVoiceＸＭＬにマッピングされるとき、出力におけ
るツリーの形は、様々なモーダル性にわたっておそらく
非常に異なる。しかし、属性node_idは、モーダル性特
定の各表現から発生源であるＣＭＬノードへの概念上の
バックリンクを提供することによって、これらの表現の
間で同期をとることを可能にする。上で参照した米国第
６０／１２８０８１号（整理番号ＹＯ９９９−１７８）
として識別される米国仮特許出願に、マルチモーダル・
アプリケーションをしっかりとサポートできるプラット
フォーム（マルチモーダル・シェル）をどのように開発
するかに関する記述が提供されている。この機構は、次
のように動作する。各モーダル性は、それがサポートす
るコマンドと、それらの実行が他の登録済みモーダル性
に与えることになる影響とをマルチモーダル・シェルに
登録する。明らかに、ここでの場合、ＣＭＬページを解
析しジェスチャをトランスコーディングするとき、各ジ
ェスチャは、マルチモーダル・シェル中のデータ構造
（すなわちテーブル）中に保持される。所与のモーダル
性のＩ／Ｏイベント時に、活動化されたジェスチャを見
つけるためにnode_id情報が使用され、テーブル（すな
わちＣＭＬ文書ダイアログ・ツリー）から、活動化され
たモーダル性ならびに他のモーダル性への影響が即座に
見つかる（すなわち、各ビューを更新するかまたはＣＭ
Ｌサーバ上の新しいページを取り出す）。

【０１３７】ユーザ対話が進行するにつれ、現行のＣＭ
Ｌインスタンスによって環境中で定義された変数は、妥
当性検査された値に束縛される。まず、登録されたモー
ダル性特定のユーザ・エージェントの１つでこの束縛が
発生する。登録されたユーザ・エージェントは、更新さ
れた環境および完了したばかりのジェスチャのnode_id
からなる適切なメッセージを会話型シェルに送る。更新
された束縛がＣＭＬインタープリタに伝えられると、Ｃ
ＭＬインタープリタは、完了したばかりのジェスチャの
node_idで、登録されたすべてのユーザ・エージェント
にメッセージを送る。登録されたユーザ・エージェント
は、このメッセージを受け取ると、まずそれらのプレゼ
ンテーションに影響する環境の部分に対してＣＭＬイン
タープリタに照会することによって、それらのプレゼン
テーションを更新する。

【０１３８】Ｌ．特定ユーザ・インタフェース言語への
ＣＭＬの変換ＣＭＬは、ＸＳＬで表現される変換規則によって、ユー
ザ・インタフェース（ｕｉ）特定のコード化、例えばＨ
ＴＭＬに変換される。このセクションは、ＸＳＬ変換に
ついてのいくつかの背景材料で始まり、次いで、本発明
によってＸＳＬがどのようにＣＭＬおよびマルチモーダ
ル・ブラウザのコンテキストで使用されるかについての
例を呈示する。

【０１３９】（ｉ）ＸＳＬ変換の背景情報Ｗ３ＣＸＳＬ変換（xslt）仕様は、James Clark編Pro
posed Recommendation: XSL Transformations (xslt) V
ersion 1.0, reference: W3C Proposed Recommendation
8-October-1999としてリリースされており、この開示
を参照により本明細書に組み込む。上に参照したW3C Pr
oposed Recommendationは、Ｗ３Ｃ Style活動の一部で
ある。具体的には、xslt仕様は、ＸＭＬ文書を他のＸＭ
Ｌ文書にトランスコーディングするための言語であるxs
ltの構文および意味論を定義する。xsltは、ＸＭＬに対
するスタイル・シート言語であるＸＳＬの一部として使
用するために設計されている。xslt言語中の変換は、xs
ltによって定義される要素とxsltによって定義されない
要素とを含むことのできるＸＭＬ Recommendation中の
名前空間に準拠した、うまく形成されたＸＭＬ文書とし
て表現される。xsltで表される変換は、ソース・ツリー
を結果ツリーに変換するための規則を記述する。変換
は、パターンをテンプレートと関連付けることによって
達成される。パターンは、ソース・ツリー中の要素と突
き合わせられる。テンプレートは、結果ツリーの一部を
生み出すためにインスタンス化される。結果ツリーは、
ソース・ツリーとは別個である。結果ツリーの構造は、
ソース・ツリーの構造とは全く異なるものとすることが
できる。結果ツリーを構成する際、ソース・ツリーから
の要素は、フィルタリングしてリオーダーすることがで
き、任意の構成を追加することができる。xsltで表され
た変換は、スタイル・シートと呼ばれる。xslt仕様は、
ＸＭＬとＨＴＭＬの両方のフォーマットで入手可能であ
る。

【０１４０】（ii）ＸＳＬ変換の例以下は、ＣＭＬコード、ＸＳＬ変換規則と、それぞれの
変換から得られたＨＴＭＬ、ＷＭＬ、およびVoiceＸＭ
Ｌコードを示すコード化の例である。

【０１４１】以下のコードは、ＣＭＬと、レガシーＭＬ
ページ（それぞれＨＴＭＬ、VoiceＸＭＬ、およびＷＭ
Ｌ）を作成するのに使用されていた異なるジェスチャ・
ベースのＸＳＬ規則とによって書かれたページの完全な
例を示す。各ページは、後続の図で示すような特定のレ
ンダリングに関連する。この例は、異なる情報サービス
へのアクセス、すなわちニュース、ビジネス、スポー
ツ、旅行、天気、芸能を提供するサイトのものである。

【０１４２】（ａ）ＣＭＬコードこれは、例に関連するソースＣＭＬページを記述する。   <cml name="cnn" node_id="1" title="CNN Mobile News"> <menu name="cnn.command" node_id="2" > <choices node_id="3" > <default value="#cnn.query">Select News Stories</default> <choice value="#cnn.exit" require_confirmation="true"> Exit </choice> <choice value="#cnn.applicationHelp">Help</choice> </choices> </menu> <cml name="cnn.applicationHelp" title="About CNN Mobile" node_id="4" action="return"> <message node_id="5" > This application allows you to select and view CNN news stories </message> </cml> <cml name="cnn.exit" node_id="6" title="Exit CNN Mobile News" action="submit"> <message node_id="60"> Thankyou for using the CNN news service </message> </cml> <group node_id="7" groupId="query"> <cml name="cnn.query" title="Search CNN Mobile News" node_id="8" > <menu name="cnn.query.topic" node_id="11" title="Topic Selection"> <choices node_id="12" > <choice value="#cnn.query.news"> News </choice> <choice value="#cnn.query.business"> Business </choice> <choice value="#cnn.query.sports"> <grammar> (sport | sports" </grammar> Sports </choice> <choice value="#cnn.query.travel"> Travel </choice> <choice value="#cnn.query.weather"> Weather </choice> <choice value="#cnn.query.show"> <grammar > show [business] </grammar> Show Business </choice> </choices> </menu> </cml> <cml name="cnn.query.news" title="News Channel" node_id="13" action="submit"> <select name="cnn.query.part"> <message node_id="9" > Which part of today's news would you like to read?</message> <choices node_id="10" > <choice value="h"> Headlines</choice> <choice value="1"> first story </choice> <choice value="2"> second story </choice> <choice value="3"> third story </choice> </choices> </select> <select name="cnn.query.interest"> <message node_id="14" > Which news category would you like to read? </message> <choices node_id="15" > <choice value="business"> <grammar type="text/jsgf"> business {BIZ}</grammar> Business </choice> <choice value="africa"> Africa</choice> <choice value="world"> World </choice> <choice value="United states"> United states </choice> <choice value="europe"> Europe </choice> <choice value="Asia"> Asia</choice> <choice value="me"> Middle East</choice> <choice value="america"> America </choice> </choices> </select> </cml> <cml name="cnn.query.business" title="Business Channel" action="submit" node_id="16" > <select name="cnn.query.part"> <message node_id="9" > Which part of today's news would you like to read?</message> <choices node_id="10" > <choice value="h"> Headlines</choice> <choice value="1"> first story </choice> <choice value="2"> second story </choice> <choice value="3"> third story </choice> </choices> </select> <select name="cnn.query.interest"> <message node_id="17"> Which business category would you like to read?</message> <choices node_id="lS"> <choice value="NEWS"> news </choice> <choice value="IN"> indexes </choice> <choice value="CU"> exchange rates </choice> <choice value="MET"> metals </choice> </choices> </select> </cml> <cml name="cnn.query.weather" title="Weather Channel" action="submit" node_id="19" > <select name="cnn.query.part"> <message node_id="9" > Which part of today's news would you like to read?</message> <choices node_id="10" > <choice value="h"> Headlines</choice> <choice value="1"> first story </choice> <choice value="2"> second story </choice> <choice value="3"> third story </choice> </choices> </select> <select name="cnn.query.interest"> <message node_id="20"> Which region are you interested in?</message> <choices node_id="21"> <choice value="us"> United states </choice> <choice value="europe"> <grammar type="text/jsgf"> (euro | Europe) </grammar> Europe </choice> <choice value="JP"> Japan </choice> <choice value="AU"> Australia </choice> <choice value="AS"> Asia </choice> </choices> </select> </cml> <cml name="cnn.query.travel" title="Travel Section" action="submit" node_id="522" > <select name="cnn.query.part"> <message node_id="9" > Which part of today's news would you like to read?</message> <choices node_id="10" > <choice value="h"> Headlines</choice> <choice value="1"> first story </choice> <choice value="2"> second story </choice> <choice value="3"> third story </choice> </choices> </select> <select name="cnn.query.interest"> <message node_id="23"> Which city do you want to visit?</message> <choices node_id="24"> <choice value="AMSTERDAM">AMSTERDAM</choice> <choice value="COPENHAGEN">COPENHAGEN</choice> <choice value="HELSINKI">HELSINKI</choice> <choice value="HONGKONG">HONGKONG</choice> <choice value="LONDON">LONDON</choice> <choice value="OSLO">OSLO</choice> <choice value="PRAGUE">PRAGUE</choice> <choice value="SINGAPORE">SINGAPORE</choice> <choice value="STOCKHOLM">STOCKHOLM</choice> <choice value="SYDNEY">SYDNEY</choice> </choices> </select> </cml> <cml name="cnn.query.sports" action="submit" title="Sports Channel" node_id="25" > <select name="cnn.query.part"> <message node_id="9" > Which part of today's news would you like to read?</message> <choices node_id="10" > <choice value="h"> Headlines</choice> <choice value="1"> first story </choice> <choice value="2"> second story </choice> <choice value="3"> third story </choice> </choices> </select> <select name="cnn.query.interest"> <message node_id="26"> What sports are you interested in?</message> <choices node_id="27"> <choice value="AS"> Asia </choice> <choice value="w"> world </choice> <choice value="eu"> europe </choice> <choice value="us"> united states </choice> <choice value="nba"> NBA </choice> <choice value="nkl"> nbl </choice> <choice value="EF"> Europoean football </choice> </choices> </select> </cml> <submit target="htUp://raman.almaden.ibm.com/cgi-bin/cnn.cgi"> <message node_id="28"> executing <value name="cnn.command"/> for <value name="cnn.query.part"/> stories about <value name= "cnn.query.interest"/> from topic <value name="cnn.query.topic"/> </message> <env name="cnn.command"/> <env name="cnn.query.topic"/> <env name="cnn.query.interest"/> <env name="cnn.query.part"/> </submit> </group> <submit target="http://raman.almaden.ibm.com/cgi-bin/cnn.cgi"> </submit> </cml>

【０１４３】（ｂ）ジェスチャＸＳＬ以下の例は、ＣＭＬページをジェスチャごとにＨＴＭＬ
ページにトランスコーディングするのに使用される、Ｃ
ＭＬからＨＴＭＬへのジェスチャ・ベースのＸＳＬ規則
を示す。任意の可能なＣＭＬページをトランスコーディ
ングするのに必要なジェスチャ・ベースのトランスコー
ディング規則がすべてあるわけではない。これは、この
方法の例示と見なすべきである。ＸＳＬ構文は、従来の
ＸＳＬＴ規則に従う。例えば、http://www.w3.org/1999
/XSL/Transformを参照されたい。 !--$Id: cml2html.xel,v 1.8 1999/11/12 20:01:11 $-->  <xsl:stylesheet xmlns:xcl="http://www.w3.org/1999/XSL/Transform" xmlns:xt="htCp://www.jclark.com/xt" version="1.0" extension-element-prefixes="xt"> <xsl:include href="html/cml.xsl"/> <xsl:include href="html/environment.xsl"/> <xsl:include href="html/output.xsl"/> <xel:include href="html/selections.xsl"/> <xsl:include href="common/identity.xsl"/> </xsl:stylesheet>    <xsl:stylesheet xmlUs:xsl="http://www.w3.org/1999/XSL/Transform"> <xsl:output method="html"/> <xsl:template match="/cml"> <html> <head> <META http-equiv="Content-Type" content="text/html; charset=iso-8859-1"/> <title><xsl:value-of select="@title"/></title> </head> <body> <hl> <a name="{@name}"> <xel:value-of select="@title"/> </a> </hl> <xsl:choose> <xsl:when test="@action='submit'"> <form> <xsl:attribute name="node_id"> <xsl:value-of select="@node_id"/> </xsl:attribute> <xsl:attribute name="action"> <xsl:value-of select="submit/@target"/> </xsl:attribute> <xsl:apply-templates/> <p> <INPUT TYPE="SUBMIT" VALUE="@name"/> < /p> </form> </xsl:when> <xsl:otherwise> <div node_id="{@node_id}" name="{@name}"> <xsl:apply-templates/> </div> </xsl:otherwise> </xsl:choose> </body> </html> </xsl:template> <xsl:template match="cml[@action='submit']"> <h2> <a name="{@name}"> <xsl:value-of select="@title"/> </a> </h2> <form> <xsl:attribute name="node_id"> <xsl:value-of select="@node_id"/> </xsl:attribute> <xsl:attribute name="action">  <xsl:value-of select="../submit/@target"/> </xsl:attribute> <xcl:apply-templates/> <p> <INPUT TYPE="SUBMIT" VALUE="{@name}"/> </P> </form> </xsl:template> <xsl:template match="cml"> <h2 node_id="{@node_id}"> <a name="{@name}"> <xsl:value-of select="@title"/> </a> </h2> <xsl:apply-templates/> <xSl:if test="@action='return'"> <p> <a name="{concat('#', /cml/@name)}"> Back </a> < /p> </xsl:if> </xsl:template> <xsl:template match="group"> <div groupId="{@groupId}" modality="{@modality}" class="{@class}"> <xsl:apply-templates/> </div> </xsl:template> <xsl:template match="submit"/> </xsl:stylesheet>   <xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform"> <xsl:template match="final"> <xsl:apply-templates/> </xsl:template> <xsl:template match="var"> <input type="hidden" name="{@name}" value="{@expr}"/> </xsl:template> <xsl:template match="assign"> <input name="{@name}" type="hidden"> <xsl:attribute name="value"> <xsl:choose> <xsl:when test="@expr=''"> <xsl:value-of select="./node()"/> </xsl:when> <xsl:otherwise> <xsl:value-of select="@expr"/> </xsl:otherwise> </xsl:choose> </xsl:attribute> </input> </xcl:template> <xsl:template match="value"> <b><xsl:value-of select="@name"/></b> </xsl:template> </xsl:stylesheet>    <xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform"> <xsl:template match="message"> <P> <xsl:attribute name="node_id"> <xsl:value-of select="@node_id"/> </xsl:attribute> <xsl:apply-templates/> </P> </xsl:template>  <xsl:template match="help"> <P> <xsl:attribute name="node_id"> <xsl:value-of select="@node_id"/> </xsl:attribute> <xsl:apply-templates/> </P> </xsl:template> </xsl:stylesheet>   <xsl:stylesheet xmlus:xsl="http://www.w3.org/1999/XSL/Transform"> <xsl:template match="menu"> <xsl:if test="@title!=''"> <h2> <a name="#{@name}"> <xsl:value-of select="@title"/> </a> </h2> </xsl:if> <xsl:apply-templates select="message"/> <ol node_id="{@node_id}"> <xsl:for-each select="choices/choice|choices/default"> <li> <a href="{@value}"> <xsl:apply-templates/> </a> </li> </xsl:for-each> </ol> </xsl:template> <xsl:template match="select"> <xsl:apply-templates select="message"/> <select name="{@name}"> <xsl:apply-templates select="choices"/> </select> <P/> </xsl:template> <xsl:template match="choices"> <xsl:apply-templates/> </xsl:template> <xsl:template match="choice|default"> <option> <xsl:attribute name="value"> <xsl:value-of select="@value"/> </xsl:attribute> <xsl:if test="name(.)='default'"> <xsl:attribute name="checked"/> </xsl:if> <xsl:apply-templates/> </option> </xsl:template> <xsl:template match="grammar" /> </xsl:stylesheet>   <xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform"> <xsl:template match="*|@*"> <xsl:value-of select="."/> <xsl:copy> <xsl:apply-templates select="@*"/> <xsl:apply-templates select="node()"/> </xsl:copy> </xsl:template> </xsl:stylesheet>

【０１４４】（ｃ）ＨＴＭＬソース以下は、（ＣＭＬからＨＴＭＬへの）ＸＳＬソースをＣ
ＭＬソース・ページ上に適用することによって得られる
ＨＴＭＬソース・ページを記述する。得られた歓迎ＧＵ
ＩページをＨＴＭＬブラウザで見たものを、図７から９
に示す。 <!DOCTYPE html PUBLIC "-/M13C//DTD HTML 4.0 Transitional//EN"> <html> <head> <META http-equiv=" Content-Type" content= "text/html; charset=iso-8859- 1 " > <title>CNN Mobile News</title> </head> <body> <hl> <a name="cnn">CNN Mobile News</a> </hl> <divnode_id="l" name="cnn"> <ol node_id="2"> <li> <a href="#cnn.query">Select News Stories</a> </li> <li> <a href="#cnn.exit"> Exit </a> </li> <li> <a href="#cnn.applicationHelp">Help</a> </li> </ol> <h2 node_id="4"> <a name="cnn.applicationHelp">About CNN Mobile</a> </h2> <P node_id=" 5 " > This application allows you to select and view CNN news stories </P> <p> <a name="#cnn"> Back </a> </p> <h2> <a name="cnn.exit">Exit CNN Mobile News</a> </h2> <form node_id= " 6 " action="http://raman.almaden.ibm.com/cgi-bin/cnn.cg i?command=exit" > <P node id="60"> Thankyou for using the CNN news service </P> <p> <INPUT TYPE="SUBMIT" VALUE="cnn.exit"> </p> </form> <div groupId="query" modality="" class=""> <h2 node_id="8"> <a name="cnn.query">Search CNN Mobile News</a> </h2> <h2> <a name="#cnn.query.topic">Topic Selection</a> </h2> <ol node_id="ll"> <li> <a href="#cnn.query.news"> News </a> </li> <li> <a href="#cnn.query.business"> Business </a> </li> <li> <a href="#cnn.query.sports"> Sports </a> </li> <li> <a href="#cnn.query.travel"> Travel </a> </li> <li> <a href="#cnn.query.weather"> Weather </a> </li> <li> <a href="#cnn.query.show"> Show Business </a> </li> </ol> <h2> <a name="cnn.query.news">News Channel</a> </h2> <form node_id=" 13 " action="http://raman.almaden.ibm.com/cgi-bin/cnn.cg i?command=search" > <P node_id="9"> Which part of today's news would you like to read?</P> <select name="cnn.query.part"> <option value="h"> Headlines</option> <option value="1"> first story </option> <option value="2"> second story </option> <option value="3"> third story </option> </select> <p> </p> <P node id="14"> Which news category would you like to read? </P> <select name= " cnn.query.interest" > <option value="business"> Business </option> <option value="africa"> Africa</option> <option value="world"> World </option> <option value="United states"> United states </option> <option value="europe"> Europe </option> <option value="Asia"> Asia</option> <option value="me"> Middle East</option> <option value="america"> America </option> </select> <p> </p> <p> <INPUT TYPE="SUBMIT" VALUE="cnn.query.news"> </p> </form> <h2> <a name= " cnn.query.business" >Business Channel</a> </h2> <form node_id=" 16 " action="http://raman.almaden.ibm.com/cgi-bin/cnn.cg i?command=search" > <P node_id="9"> Which part of today's news would you like to read?</P> <select name="cnn.query.part"> <option value="h"> Headlines</option> <option value=" 1 " > first story </option> <option value="2"> second story </option> <option value="3"> third story </option> </select> <p> </p> <P node_id="17"> Which business category would you like to read?</P> <select name="cnn.query.interest" > <option value="NEWS"> news </option> <option value="IN"> indexes </option> <option value="CU"> exchange rates </option> <option value="MET"> metals </option> </select> <p> </p> <p> <INPUT TYPE="SUBMIT" VALUE=" cnn.query.business" > </p> </form> <h2> <a name="cnn.query.weather">Weather Channel</a> </h2> <form node_id= " 19 " action="http://raman.almaden.ibm.com/cgi-bin/cnn.c gi?command=search" > <P node id="9"> Which part of today's news would you like to read?</P> <select name="cnn.query.part"> <option value="h"> Headlines</option> <option value= " 1 " > f~rst story </option> <option value="2"> second story </option> <option value="3"> third story </option> </select> <p> </p> <P node_id="20"> Which region are you interested in?</P> <select name= "cnn.query.interest" > <option value="us"> United states </option> <option value="europe"> Europe </option> <option value="JP"> Japan </option> <option value="AU"> Australia </option> <option value="AS"> Asia </option> </select> <p> </p> <p> <INPUT TYPE="SUBMIT" VALUE="cnn.query.weather"> </p> </form> <h2> <a name="cnn.query.travel">Travel Section</a> </h2> <form node_id=" 22 " action="http://raman.almaden.ibm.com/cgi-bin/cnn.cg i?command=search" > <P node_id="9"> Which part of today's news would you like to read?</P> <select name="cnn.query.part"> <option value="h"> Headlines</option> <option value=" 1 " > first story </option> <option value="2"> second story </option> <option value="3"> third story </option> </select> <p> </p> <P node_id= " 23 " > Which city do you want to visit?</P> <select name="cnn.query.interest"> <option value="AMSTERDAM">AMSTERDAM</option> <option value= " COPENHAGEN " >COPENHAGEN</option> < option value = " HELSINKI " >HELSINKI</option> <option value="HONGKONG">HONGKONG</option> <option value="LONDON" >LONDON</option> <option value= " OSLO " >OSLO</option> <option value="PRAGUE">PRAGUE</option> <option value= " SINGAPORE " >SINGAPORE</option> <option value="STOCKHOLM" >STOCKHOLM</option> <option value="SYDNEY">SYDNEY</option> </select> <p> </p> <p> <INPUT TYPE="SUBMIT" VALUE="cnn.query.travel"> </p> </form> <h2> <a name="cnn.query.sports">Sports Channel</a> </h2> <form node_id= " 25 " action= "http://raman.almaden.ibm.com/cgi-bin/cnn. cgi?command=search" > <P node_id="9"> Which part of today's news would you like to read?</P> <select name="cnn.query.part"> <option value="h"> Headlines</option> <option value= " 1 " > first story </option> <option value="2"> second story </option> <option value="3"> third story </option> </select> <p> </p> <P node_id="26"> What sports are you interested in?</P> <select name="cnn.query.interest"> <option value="AS"> Asia </option> <option value="w" > world </option> <option value="eu"> europe </option> <option value="us"> united states </option> <option value="nba"> NBA </option> <option value="nhl"> nhl </option> <option value="EF"> Europoean football </option> </select> <p> </p> <p> <INPUT TYPE="SUBMIT" VALUE="cnn.query.sports"> </p> </form> </div> </div> </body> </html>

【０１４５】（ｄ）ジェスチャＸＳＬ以下の例は、ＣＭＬページをジェスチャごとにＷＭＬペ
ージにトランスコーディングするのに使用される、ＣＭ
ＬからＷＭＬへのジェスチャ・ベースのＸＳＬ規則を示
す。任意の可能なＣＭＬページをトランスコーディング
するのに必要なジェスチャ・ベースのトランスコーディ
ング規則がすべてあるわけではない。これは、この方法
の例示と見なすべきである。ＸＳＬ構文は、従来のＸＳ
ＬＴ規則に従う。例えば、http://www.w3.org/1999/XSL
/Transformを参照されたい。   - <xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:xt="http://www.jclark.com/xt" version="1.0" extension-element-pref ixes="xt"> <xsl:include href="html/cml.xsl" /> <xsl:include href="html/environment.xsl" /> <xsl:include href="html/modality.xsl" /> <xsl:include href="html/output.xsl" /> <xsl:include href="html/selections.xsl" /> <xsl:include href="common/identity.xsl" /> </xsl:stylesheet>    <xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform"> <xsl:output method="html"/> <xsl:template match="/cml"> <html> <head> <META http-equiv="Content-Type" content="text/html; charset=iso-8859-1"/ > <title><xsl:value-of select="@title"/></title> </head> <body> <h1> <a name="{@name}"> <xsl:value-of select="@title"/> </a> </h1> <xsl:choose> <xsl:when test="@action='submit'"> <form> <xsl:attribute name="node_id"> <xsl:value-of select="@node_id"/> </xsl:attribute> <xsl:attribute name="action"> <xsl:value-of select="submit/@target"/> </xsl:attribute> <xsl:apply-templates/> <p> <INPUT TYPE="SUBMIT" VALUE="@name"/> </p> </form> </xsl:when> <xsl:otherwise> <div node_id="{@node_id}" name="{@name}"> <xsl:apply-templates/> </div> </xsl:otherwise> </xsl:choose> </body> </html> </xsl:template> <xsl:template match="cml[@action='submit']"> <h2> <a name="{@name}"> <xsl:value-of select="@title"/> </a> </h2> <form> <xsl:attribute name="node_id"> <xsl:value-of select="@node_id"/> </xsl:attribute> <xsl:attribute name="action">  <xsl:value-of select="../submit/@target"/> </xsl:attribute> <xsl:apply-templates/> <p> <INPUT TYPE="SUBMIT" VALUE="{@name}"/> </p> </form> </xsl:template> <xsl:template match="cml"> <h2 node_id="{@node_id}"> <a name="{@name}"> <xsl:value-of select="@title"/> </a> </h2> <xsl:apply-templates/> <xsl:if test="@action='return'"> <p> <a name="{concat('#', /cml/@name)}"> Back </a> </p> </xsl:if> </xsl:template> <xsl:template match="group"> <div groupId="{@groupId}" modality="{@modality}" class="{@class}"> <xsl:apply-templates/> </div> </xsl:template> <xsl:template match="submit"/> </xsl:stylesheet>   <xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform"> <xsl:template match="final"> <xsl:apply-templates/> </xsl:template> <xsl:template match="var"> <input type="hidden" name="{@name}" value="{@expr}"/> </xsl:template> <xsl:template match="assign"> <input name="{@name}" type="hidden"> <xsl:attribute name="value"> <xsl:choose> <xsl:when test="@expr=''"> <xsl:value-of select="./node()"/> </xsl:when> <xsl:otherwise> <xsl:value-of select="@expr"/> </xsl:otherwise> </xsl:choose> </xsl:attribute> </input> </xsl:template> <xsl:template match="value"> <b><xsl:value-of select="@name"/></b> </xsl:template> </xsl:stylesheet>   - <xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform"> - <xsl:template match="modality[@class='visual']"> <xsl:apply-templates /> </xsl:template> - <xsl:template match="var"> <input type="hidden" name="{@name}" value="{@expr}" /> </xsl:template> - <xsl:template match="assign"> - <input name="{@name}" type="hidden"> - <xsl:attribute name="value"> - <xsl:choose> - <xsl:when test="@expr=''"> <xsl:value-of select="./node()" /> </xsl:when> - <xsl:otherwise> <xsl:value-of select="@expr" /> </xsl:otherwise> </xsl:choose> </xsl:attribute> </input> </xsl:template> - <xsl:template match="value"> - <b> <xsl:value-of select="@name" /> </b> </xsl:template> </xsl:stylesheet>    <xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform"> <xsl:template match="message"> <P> <xsl:attribute name="node_id"> <xsl:value-of select="@node_id"/> </xsl:attribute> <xsl:apply-templates/> </P> </xsl:template>  <xsl:template match="help"> <P> <xsl:attribute name="node_id"> <xsl:value-of select="@node_id"/> </xsl:attribute> <xsl:apply-templates/> </P> </xsl:template> </xsl:stylesheet>   <xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform"> <xsl:template match="menu"> <xsl:if test="@title!=''"> <h2> <a name="#{@name}"> <xsl:value-of select="@title"/> </a> </h2> </xsl:if> <xsl:apply-templates select="message"/> <ol node_id="{@node_id}"> <xsl:for-each select="choices/choice|choices/default"> <li> <a href="{@value}"> <xsl:apply-templates/> </a> </li> </xsl:for-each> </ol> </xsl:template> <xsl:template match="select"> <xsl:apply-templates select="message"/> <select name="{@name}"> <xsl:apply-templates select="choices"/> </select> <p/> </xsl:template> <xsl:template match="choices"> <xsl:apply-templates/> </xsl:template> <xsl:template match="choice|default"> <option> <xsl:attribute name="value"> <xsl:value-of select="@value"/> </xsl:attribute> <xsl:if test="name(.)='default'"> <xsl:attribute name="checked"/> </xsl:if> <xsl:apply-templates/> </option> </xsl:template> <xsl:template match="grammar" /> </xsl:stylesheet>   <xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform"> <xsl:template match="*|@*"> <xsl:value-of select="."/> <xsl:copy> <xsl:apply-templates select="@*"/> <xsl:apply-templates select="node()"/> </xsl:copy> </xsl:template> </xsl:stylesheet>

【０１４６】（ｅ）ＷＭＬソース以下は、（ＣＭＬからＷＭＬへの）ＸＳＬソースをＣＭ
Ｌソース・ページ上に適用することによって得られるＷ
ＭＬソース・ページを記述する。得られた歓迎ＧＵＩペ
ージをＷＭＬブラウザで見たものを、図１０に示す。 <?xml version="1.0" encoding="utf-8"?> <!DOCTYPE wml PUBLIC "-//WAPFORUM//DTD WML 1.1//EN" "http://www.wapforum .org/DTD/wml_1.1. <wml> <template> <do type="prev" label="Back"> <prev/> </do> </template> <card id="cnn.command" title="cnn.command"> <p> <select name="cnn.command"> <option onpick="#cnn.query">Select News Stories</option> <option onpick="#cnn.exit"> Exit </option> <option onpick="#cnn.applicationHelp">Help</option> </select> </p> </card> <card id="cnn.applicationHelp" title="cnn.applicationHelp"> <p> This application allows you to select and view CNN news stories </p> </card> <card id="cnn.exit" title="cnn.exit"> <p> Thankyou for using the CNN news service </p> <p align="center"> <a href="cnn.wmls#submit()"/> </p> </card> <card id="cnn.query" title="cnn.query"> <p> <select name="cnn.query"> <option onpick="#cnn.query.news"> News </option> <option onpick="#cnn.query.business"> Business </option> <option onpick="#cnn.query.sports"> Sports </option> <option onpick="#cnn.query.travel"> Travel </option> <option onpick="#cnn.query.weather"> Weather </option> <option onpick="#cnn.query.show"> Show Business </option> </select> </p> </card> <card id="cnn.query.news" title="cnn.query.news"> <p> Which part of today's news would you like to read?<select name="cnn.quer y.part"> <option value="h" onpick="cnn.wmls#submit()"> Headlines</option> <option value="1" onpick="cnn.wmls#submit()"> first story </option> <option value="2" onpick="cnn.wmls#submit()"> second story </option> <option value="3" onpick="cnn.wmls#submit()"> third story </option> </select> </p> <p> Which news category would you like to read? <select name="cnn.query.interest"> <option value="business" onpick="cnn.wmls#submit()"> Business </option> <option value="africa" onpick="cnn.wmls#submit()"> Africa</option> <option value="world" onpick="cnn.wmls#submit()"> World </option> <option value="United states" onpick="cnn.wmls#submit()"> United states </option> <option value="europe" onpick="cnn.wmls#submit()"> Europe </option> <option value="Asia" onpick="cnn.wmls#submit()"> Asia</option> <option value="me" onpick="cnn.wmls#submit()"> Middle East</option> <option value="america" onpick="cnn.wmls#submit()"> America </option> </select> </p> <p align="center"> <a href="cnn.wmls#submit()"/> </p> </card> <card id="cnn.query.business" title="cnn.query.business"> <p> Which part of today's news would you like to read?<select name="cnn.quer y.part"> <option value="h" onpick="cnn.wmls#submit()"> Headlines</option> <option value="1" onpick="cnn.wmls#submit()"> first story </option> <option value="2" onpick="cnn.wmls#submit()"> second story </option> <option value="3" onpick="cnn.wmls#submit()"> third story </option> </select> </p> <p> Which business category would you like to read?<select name="cnn.query.i nterest" <option value="NEWS" onpick="cnn.wmls#submit()"> news </option> <option value="IN" onpick="cnn.wmls#submit()"> indexes </option> <option value="CU" onpick="cnn.wmls#submit()"> exchange rates </option> <option value="MET" onpick="cnn.wmls#submit()"> metals </option> </select> </p> <p align="center"> <a href="cnn.wmls#submit()"/> </p> </card> <card id="cnn.query.weather" title="cnn.query.weather"> <p> Which part of today's news would you like to read?<select name="cnn.quer y.part"> <option value="h" onpick="cnn.wmls#submit()"> Headlines</option> <option value="1" onpick="cnn.wmls#submit()"> first story </option> <option value="2" onpick="cnn.wmls#submit()"> second story </option> <option value="3" onpick="cnn.wmls#submit()"> third story </option> </select> </p> <p> Which region are you interested in?<select name="cnn.query.interest"> <option value="us" onpick="cnn.wmls#submit()"> United states </option> <option value="europe" onpick="cnn.wmls#submit()"> Europe </option> <option value="JP" onpick="cnn.wmls#submit()"> Japan </option> <option value="AU" onpick="cnn.wmls#submit()"> Australia </option> <option value="AS" onpick="cnn.wmls#submit()"> Asia </option> </select> </p> <p align="center"> <a href="cnn.wmls#submit()"/> </p> </card> <card id="cnn.query.travel" title="cnn.query.travel"> <p> Which part of today's news would you like to read?<select name="cnn.quer y.part"> <option value="h" onpick="cnn.wmls#submit()"> Headlines</option> <option value="1" onpick="cnn.wmls#submit()"> first story </option> <option value="2" onpick="cnn.wmls#submit()"> second story </option> <option value="3" onpick="cnn.wmls#submit()"> third story </option> </select> </p> <p> Which city do you want to visit?<select name="cnn.query.interest"> <option value="AMSTERDAM" onpick="cnn.wmls#submit()">AMSTERDAM</option> <option value="COPENHAGEN" onpick="cnn.wmls#submit()">COPENHAGEN</option > <option value="HELSINKI" onpick="cnn.wmls#submit()">HELSINKI</option> <option value="HONGKONG" onpick="cnn.wmls#submit()">HONGKONG</option> <option value="LONDON" onpick="cnn.wmls#submit()">LONDON</option> <option value="OSLO" onpick="cnn.wmls#submit()">OSLO</option> <option value="PRAGUE" onpick="cnn.wmls#submit()">PRAGUE</option> <option value="SINGAPORE" onpick="cnn.wmls#submit()">SINGAPORE</option> <option value="STOCKHOLM" onpick="cnn.wmls#submit()">STOCKHOLM</option> <option value="SYDNEY" onpick="cnn.wmls#submit()">SYDNEY</option> </select> </p> <p align="center"> <a href="cnn.wmls#submit()"/> </p> </card> <card id="cnn.query.sports" title="cnn.query.sports"> <p> Which part of today's news would you like to read?<select name="cnn.quer y.part"> <option value="h" onpick="cnn.wmls#submit()"> Headlines</option> <option value="1" onpick="cnn.wmls#submit()"> first story </option> <option value="2" onpick="cnn.wmls#submit()"> second story </option> <option value="3" onpick="cnn.wmls#submit()"> third story </option> </select> </p> <p> What sports are you interested in?<select name="cnn.query.interest"> <option value="AS" onpick="cnn.wmls#submit()"> Asia </option> <option value="w" onpick="cnn.wmls#submit()"> world </option> <option value="eu" onpick="cnn.wmls#submit()"> europe </option> <option value="us" onpick="cnn.wmls#submit()"> united states </option> <option value="nba" onpick="cnn.wmls#submit()"> NBA </option> <option value="nhl" onpick="cnn.wmls#submit()"> nhl </option> <option value="EF" onpick="cnn.wmls#submit()"> Europoean football </opti on> </select> </p> <p align="center"> <a href="cnn.wmls#submit()"/> </p> </card> </wml>

【０１４７】（ｆ）ジェスチャＸＳＬ以下の例は、ＣＭＬページをジェスチャごとにVoiceＸ
ＭＬページにトランスコーディングするのに使用され
る、ＣＭＬからVoiceＸＭＬへのジェスチャ・ベースの
ＸＳＬ規則を例示する。任意の可能なＣＭＬページをト
ランスコーディングするのに必要なジェスチャ・ベース
のトランスコーディング規則がすべてあるわけではな
い。これは、この方法の例示と見なすべきである。ＸＳ
Ｌ構文は、従来のＸＳＬＴ規則に従う。例えば、http:/
/www.w3.org/1999/XSL/Transformを参照されたい。  <xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Tran sform">  <xsl:output method="xml" indent="yes" media-type="text/xml"/> <xsl:template match="/cml"> <xsl:text disable-output-escaping="yes"> <!DOCTYPE wml PUBLIC "-//WAPFORUM//DTD WML 1.1//EN" "http://www.wapfo rum.org/DTD/wml_1 </xsl:text> <wml> <template> <do type="prev" label="Back"> <prev/> </do> </template> <xsl:apply-templates/> </wml> </xsl:template> <xsl:template match="cml"> <xsl:choose> <xsl:when test="menu">  <card> <xsl:attribute name="id"> <xsl:value-of select="@name"/> </xsl:attribute> <xsl:attribute name="title"> <xsl:value-of select="@name"/> </xsl:attribute> <p><select> <xsl:attribute name="name"> <xsl:value-of select="menu/@name"/> </xsl:attribute> <xsl:apply-templates select="menu/message"/> <xsl:for-each select="menu/choices/choice | menu/choices/default"> <option> <xsl:attribute name="value"> <xsl:value-of select="@value"/> </xsl:attribute> <xsl:attribute name="onpick">#<xsl:value-of select="@value"/></xsl:attri bute> <xsl:call-template name="lex"/></option> </xsl:for-each> </select> </p> </card> </xsl:when> <xsl:otherwise> <card> <xsl:attribute name="id"> <xsl:value-of select="@name"/> </xsl:attribute> <xsl:attribute name="title"> <xsl:value-of select="@name"/> </xsl:attribute> <xsl:apply-templates/> </card> </xsl:otherwise> </xsl:choose> </xsl:template> <xsl:template match='cml[@action="submit"]'> <card> <xsl:attribute name="id"> <xsl:value-of select="@name"/> </xsl:attribute> <xsl:attribute name="title"> <xsl:value-of select="@name"/> </xsl:attribute> <xsl:apply-templates/> <p align="center"> <a> <xsl:attribute name="href"> <xsl:value-of select="/cml/@name"/>.wmls#submit()</xsl:attribute> </a> </p> </card> </xsl:template> <xsl:template match='select'> <p> <xsl:apply-templates select="message"/> <select> <xsl:attribute name="name"> <xsl:value-of select="@name"/> </xsl:attribute> <xsl:for-each select="choices/choice | choices/default"> <option> <xsl:attribute name="value"> <xsl:value-of select="@value"/> </xsl:attribute> <xsl:attribute name="onpick"> <xsl:value-of select="/cml/@name"/>.wmls#submit()</xsl:attribute> <xsl:call-template name="lex"/></option> </xsl:for-each> </select> </p> </xsl:template> <xsl:template match="menu"> <card> <xsl:attribute name="id"> <xsl:value-of select="@name"/> </xsl:attribute> <xsl:attribute name="title"> <xsl:value-of select="@name"/> </xsl:attribute> <p> <select> <xsl:attribute name="name"> <xsl:value-of select="@name"/> </xsl:attribute> <xsl:apply-templates select="message"/> <xsl:for-each select="choices/choice | choices/default"> <option> <xsl:attribute name="value"> <xsl:value-of select="@value"/> </xsl:attribute> <xsl:attribute name="onpick">#<xsl:value-of select="@value"/></xsl:attri bute> <xsl:call-template name="lex"/></option> </xsl:for-each> </select> </p> </card> </xsl:template> <xsl:template name="lex"> <xsl:for-each select="node()"> <xsl:if test="position()=last()"> <xsl:value-of select="current()"/> </xsl:if> </xsl:for-each> </xsl:template>  <xsl:template match="submit"/> <xsl:template match="message"/> </xsl:stylesheet>

【０１４８】（ｇ）VoiceＸＭＬを作成するためのＸＳ
Ｌソース以下に、VoiceＸＭＬソース・ページを作成するのに使
用されるＸＳＬソース・コードを記述する。 <xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Tran sform"> <xsl:output method="html"/> <xsl:template match="/cml"> <vxml> <xsl:apply-templates/> </vxml> </xsl:template> <xsl:template match="menu"> <menu> <xsl:apply-templates select="message"/> <xsl:attribute name="id"> <xsl:value-of select="@name"/> </xsl:attribute> <xsl:attribute name="node_id"> <xsl:value-of select="@node_id"/> </xsl:attribute> <xsl:apply-templates select="message"/> <prompt> Say one of <enumerate/> </prompt> <xsl:for-each select="choices/choice|choices/default"> <choice> <xsl:attribute name="next">#<xsl:value-of select="@value"/></xsl:attribu te> <xsl:apply-templates/> </choice> </xsl:for-each> </menu> </xsl:template> <xsl:template match="cml[@action='return']"> <form> <xsl:attribute name="id"> <xsl:value-of select="@name"/> </xsl:attribute> <xsl:attribute name="node_id"> <xsl:value-of select="@node_id"/> </xsl:attribute> <xsl:apply-templates/> <block><goto> <xsl:attribute name="next">#<xsl:value-of select="/cml/menu/@name"/></xs l:attribut </goto></block> </form> </xsl:template> <xsl:template match="cml[@action='submit']"> <form> <xsl:attribute name="id"> <xsl:value-of select="@name"/> </xsl:attribute> <xsl:attribute name="node_id"> <xsl:value-of select="@node_id"/> </xsl:attribute> <xsl:apply-templates/> <block> <goto next="http://raman.almaden.ibm.com/cgi-bin/cnn.cgi"> <xsl:if test="select[@name]"> <xsl:for-each select="select"> <xsl:attribute name="submit"> <xsl:value-of select="@name"/> </xsl:attribute> </xsl:for-each> </xsl:if> </goto> </block> </form> </xsl:template> <xsl:template match="select"> <field> <xsl:attribute name="name"> <xsl:value-of select="@name"/> </xsl:attribute> <xsl:attribute name="node_id"> <xsl:value-of select="../@node_id"/> </xsl:attribute> <xsl:if test="message"> <prompt> <xsl:value-of select="message"/> Say one of <enumerate/> </prompt> </xsl:if> <grammar> <xsl:for-each select="choices/choice|choices/default"> <xsl:call-template name="lex"/> <xsl:if test="following-sibling::choice">|</xsl:if> </xsl:for-each> </grammar> </field> </xsl:template> <xsl:template match="message"> <field><prompt> <xsl:attribute name="node_id"> <xsl:value-of select="@node_id"/> </xsl:attribute> <xsl:apply-templates/> </prompt> </field> </xsl:template> <xsl:template match="help"> <help> <xsl:attribute name="node_id"> <xsl:value-of select="@node_id"/> </xsl:attribute> <xsl:apply-templates/> </help> </xsl:template> <xsl:template match="grammar"/> <xsl:template match="submit"/> <xsl:template name="lex"> <xsl:for-each select="node()"> <xsl:if test="position()=last()"> <xsl:value-of select="current()"/> </xsl:if> </xsl:for-each> </xsl:template> </xsl:stylesheet>

【０１４９】（ｈ）VoiceＸＭＬソース以下に、（ＣＭＬからVoiceＸＭＬへの）ＸＳＬソース
をＣＭＬソース・ページ上に適用することによって得ら
れるVoiceＸＭＬソース・ページを記述する。得られる
歓迎スピーチ・ダイアログは、VoiceＸＭＬブラウザで
呈示されるとき、異なるオプション間で音声によって選
択するためのダイアログを最初にユーザに呈示する。 <vxml> <menu id="cnn_command" node_id="2"> <prompt> Say one of <enumerate></enumerate></prompt><choice next="#cnn_q uery">Select News Exit </choice><choice next="#cnn_applicationHelp">Help</choice> </menu> <form id="cnn_applicationHelp" node_id="4"> <field><prompt node_id="5"> This application allows you to select and view CNN news stories </prompt></field> <block><goto next="#cnn"></goto></block> </form> <form id="cnn_exit" node_id="6"> <field><prompt node_id="60"> Thankyou for using the CNN news service </prompt></field> <block><goto next="http://raman.almaden.ibm.com/cgi-bin/cnn.cgi"></goto> </block> </form> <menu id="cnn_query" node_id="11"> <prompt> Say one of <enumerate></enumerate></prompt><choice next="#cnn_q uery_news"> News < Sports </choice><choice next="#cnn_query_travel"> Travel </choice><choice next= "#cnn_qu Show Business </choice> </menu> <form id="cnn_query_news" node_id="13"> <field name="cnn_query_part" node_id="13"><prompt> Which part of today's news would you like to read?</prompt><grammar> Hea dlines| <field name="cnn_query_interest" node_id="13"><prompt> Which news category would you like to read? </prompt><grammar> Business | Africa| World | United states | Europe | Asia| Middle East| America </gr amma <block><goto next="http://raman.almaden.ibm.com/cgi-bin/cnn.cgi" submit= "cnn_query_int </form> <form id="cnn_query_business" node_id="16"> <field name="cnn_query_part" node_id="16"><prompt> Which part of today's news would you like to read?</prompt><grammar> Hea dlines| <field name="cnn_query_interest" node_id="16"><prompt> Which business category would you like to read?</prompt><grammar> news | indexes <block><goto next="http://raman.almaden.ibm.com/cgi-bin/cnn.cgi" submit= "cnn_query_int </form> <form id="cnn_query_weather" node_id="19"> <field name="cnn_query_part" node_id="19"><prompt> Which part of today's news would you like to read?</prompt><grammar> Hea dlines| <field name="cnn_query_interest" node_id="19"><prompt> Which region are you interested in?</prompt><grammar> United states | Europe | Japan | Australia | Asia </grammar></field> <block><goto next="http://raman.almaden.ibm.com/cgi-bin/cnn.cgi" submit= "cnn_query_int </form> <form id="cnn_query_travel" node_id="22"> <field name="cnn_query_part" node_id="22"><prompt> Which part of today's news would you like to read?</prompt><grammar> Hea dlines| <field name="cnn_query_interest" node_id="22"><prompt> Which city do you want to visit?</prompt><grammar>AMSTERDAM|COPENHAGEN|H ELSINKI| <block><goto next="http://raman.almaden.ibm.com/cgi-bin/cnn.cgi" submit= "cnn_query_int </form> <form id="cnn_query_sports" node_id="25"> <field name="cnn_query_part" node_id="25"><prompt> Which part of today's news would you like to read?</prompt><grammar> Hea dlines| <field name="cnn_query_interest" node_id="25"><prompt> What sports are you interested in?</prompt><grammar> Asia | world | euro pe | uni <block><goto next="http://raman.almaden.ibm.com/cgi-bin/cnn.cgi" submit= "cnn_query_int </form> </vxml>

【０１５０】（iii）密なマルチモーダル・ブラウジン
グおよびマルチデバイス・ブラウジング上に述べ、かつ、以下により詳細に述べるように、異な
るモーダル性を密に同期させることができる。例えば、
同じ装置上の音声およびＧＵＩとすることもでき、ＨＴ
ＭＬまたはＷＭＬブラウザ上のＧＵＩと同期をとられた
電話上の音声とすることもできるなどである。

【０１５１】Ｍ．表面変更モーダル性特定の表面的コンテンツまたはパラメータ
を、モーダル性特定のＸＭＬ構文を使用して追加するこ
とができる。モーダル性特定のジェスチャは、モーダル
性修飾詞を有するモーダル性特定のＸＭＬ構文を使用し
て追加することができる。その他のモーダル性は、これ
らのコンポーネントを無視するか、または他のもの（例
えばキャプション）で置換することができる。

【０１５２】（ｉ）モーダル性特定の情報ＣＭＬは、対話論理および会話型アプリケーション・フ
ローを指定するための宣言的かつモーダル性独立のマー
クアップ言語に設計される。しかし、アプリケーション
作成者がそのうちに、カスタム・プレゼンテーションを
達成するためにＣＭＬアプリケーションにモーダル性特
定のコンテンツを追加したいと思うであろうことは理解
される。ＣＭＬは、特定のモーダル性用とされるマーク
アップの断片をカプセル化するのに使用される要素moda
lityによって、これを可能にする。このようなモーダル
性特定の断片は、指定されたモーダル性にしか表れない
ことになることに留意されたい。したがって、作成者
は、このようなモーダル性特定の断片を、絶対に必要と
思われる場合、さらには作成者が他のモーダル性用の代
替断片を提供するかまたは他のどんなモーダル性も気に
かけない場合だけに使用することが推奨される。ＸＭＬ
属性のclassおよびmoduleによって限定される要素modal
ityは、以下のように定義される。 Class この断片が適用されるモーダル性のクラスを指
定する。 module この断片を受け入れることのできるマークアッ
プ言語モジュールを指定する。

【０１５３】以下は、視覚表現までに通過されることに
なるＨＴＭＬ特定の断片である。 <modality class="visual" module="html-basic"> <LINK REL="stylesheet" HREF="cnn.css" TYPE="text/css"/> </modality> The following is an example of a cosmetized CML page:   <cml name="cnn" node_id="1" title="CNN Mobile News"> <modality class="visual" module="html-basic"> <LINK REL="stylesheet" HREF="cnn.css" TYPE="text/css"/> </modality> <modality class="visual" module="html"> <TABLE BORDER="0" WIDTH="600" CELLSPACING="0" CELLPADDING="0"><TR> <TD WIDTH="122"VALIGN="TOP"><a H <IMG SRC="http://cnn.com/images/1999/10/cnnstore.gif" WIDTH="120" HEIGHT="60" BORDER="1" AL <TD WIDTH="8" VALIGN="TOP"><a HREF="http://cnn.com/ads/ e.market/"> <IMG SRC="http://cnn.com/images/1998/05/homepage/ad. info.gif" WIDTH="7" HEIGHT="62" BORDER= <TD WIDTH="470" VALIGN="TOP"> <a HREF= " http: / /cnn. com/event.ng/Type=click%26RunID= 11875%26Prof ileID=34%2 6AdID=13042%2 6Group: target="_top"> <img src="http://cnn.com/ads/advertiser/promo/ intercompany_onair/9907/onair_egg_cnn.giff" border="0'' height="60" width="468" alt="Get to the point news!"/> </a> <table width="100%" cellpadding="0" cellspacing="0" border="0"><tr><td align="right"'><font face="verdana,ARIAL,sans-serif" size="l"><a </TD></TR></TABLE> </modality> <modality class="speech" module="vxml''> <block> Shop CNN for all your information needs! </block> </modality> <menu name="cnn.command" node_id="2"> <choices node_id="3" > <default value=~#cnn.query''>Select News Stories</default> <choice value="#cnn.exit" require_confirmation="true"> Exit </choice> <choice value="#cnn.applicationHelp">Help</choice> </choices> </menu> <cml name="cnn.applicationHelp" title="About CNN Mobile" node_id=''4" action="return"> <message node id="5" > This application allows you to select and view CNN news stories </message> </cml> <cml name="cnn.exit" node_id="6" title="Exit CNN Mobile News" action="submit"> <message node_id="60"> Thankyou for using the CNN news service </message> </cml> <group node_id="7" groupId="query"> <cml name="cnn.query" title="Search CNN Mobile News" node_id="58"> <menu name="cnn.query.topic" node_id="11" title="Topic Selection"> <choices node_id="12'' > <choice value="#cnn.query.news"> News </choice> <choice value="#cnn.query.business"> Business </choice> <choice value="#cnn.query.sports"> <grammar> (sport | sports" </grammar> Sports </choice> <choice value="#cnn.query.travel"> Travel </choice> <choice value="#cnn.query.weather"> Weather </choice> <choice value=*#cnn.query.show"> <grammar > show [business] </grammar> Show business </choice> </choices> </menu> </cml> <cml name=*cnn.query.news* title="News Channel" node_id=*13" action="submit"> <select name=*cnn.query.part"> <message node_id=*9* > Which part of today's news would you like to read?</message> <choices node_id="10" > <choice value="h"> Headlines</choice> <choice value="1"> first story </choice> <choice value="2"> second story </choice> <choice value="3"> third story </choice> </choices> </select> <select name="cnn.query.interest"> <message node_id="14"> Which news category would you like to read? </message> <choices node_id="15" > <choice value="business"> <grammar type="text/jsgf"> business {BIZ}</grammar> Business </choice> <choice value="africa"> Africa</choice> <choice value="world"> World </choice> <choice value="United states"> United states </choice> <choice value="europe"> Europe </choice> <choice value="Asia"> Asia</choice> <choice value="me"> Middle East</choice> <choice value="america"> America </choice> </choices> </select> </cml> <cml name="cnn.query business" title="Business Channel" action="submit" node_id="16" > <select name="cnn.query.part"> <message node_id="9" > Which part of today*s news would you like to read?</message> <choices node_id="10" > <choice value="h"> Headlines</choice> <choice value="1"> first story </choice> <choice value="2"> second story </choice> <choice value="3"> third story </choice> </choices> </select> <select name="cnn.query.interest"> <message node_id="17"> Which business category would you like to read?</message> <choices node_id="18"> <choice value="NEWS"> news </choice> <choice value="IN"> indexes </choice> <choice value="CU"> exchange rates </choice> <choice value="MET"> metals </choice> </choices> </select> </cml> <cml name="cnn.query.weather" title="Weather Channel" action="submit" node_id="19" > <select name="cnn.query.part"> <message node_id="9" > Which part of today*s news would you like to read?</message> <choices node_id="10" > <choice value="h"> Headlines</choice> <choice value="1"> first story </choice> <choice value="2"> second story </choice> <choice value="3"> third story </choice> </choices> </select> <select name="cnn.query.interest"> <message node_id="20"> Which region are you interested in?</message> <choices node_id="21"> <choice value="us"> United states </choice> <choice value="europe"> <grammar type="text/jsgf"> (euro | Europe) </grammar> Europe </choice> <choice value="JP"> Japan </choice> <choice value="AU"> Australia </choice> <choice value="AS"> Asia </choice> </choices> </select> </cml> <cml name="cnn.query.travel" title="Travel Section" action="submit" node_id="22" > <select name="cnn.query.part"> <message node_id="9" > Which part of today*s news would you like to read?</message> <choices node_id="10"> <choice value="h"> Headlines</choice> <choice value="1"> first story </choice> <choice value="2"> second story </choice> <choice value="3"> third story </choice> </choices> </select> <select name="cnn.query.interest"> <message node_id="23"> Which city do you want to visit?</message> <choices node_id="24"> <choice value="AMSTERDAM">AMSTERDAM</choice> <choice value="COPENHAGEN">COPENHAGEN</choice> <choice value="HELSINKI">HELSINKI</choice> <choice value="HONGKONG">HONGKONG</choice> <choice value="LONDON">LONDON</choice> <choice value="OSLO">OSLO</choice> <choice value="PRAGUE">PRAGUE</choice> <choice value="SINGAPORE">SINGAPORE</choice> <choice value="STOCKHOLM">STOCKHOLM</choice> <choice value="SYDNEY">SYDNEY</choice> </choices> </select> </cml> <cml name="cnn.query.sports" action="submit" title="Sports Channel" node_id="25"> <select name="cnn.query.part"> <message node_id="9"> Which part of today's news would you like to read?</message> <choices node_id="10" > <choice value="h"> Headlines</choice> <choice value="1"> first story </choice> <choice value="2"> second story </choice> <choice value="3"> third story </choice> </choices> </select> <select name="cnn.query.interest"> <message node_id="26"> What sports are you interested in?</message> <choices node_id="27"> <choice value="AS"> Asia </choice> <choice value="w"> world </choice> <choice value="eu"> europe </choice> <choice value="us"> united states </choice> <choice value="nba"> NBA </choice> <choice value="nhl"> nhl </choice> <choice value="EF"> Europoean football </choice> </choices> </select> </cml> <submit target="http://raman.almaden.ibm.com/cgi-bin/cnn.cgi"> <message node_id="28"> executing <value name="cnn.command"/> for <value name="cnn.query.part"/> stories about <value name="cnn.query.interest"/> from topic <value name="cnn.query.topic"/> </message> <env name="cnn.command"/> <env name="cnn.query.topic"/> <env name="cnn.query.interest"/> <env name="cnn.query.part"/> </submit> </group> <submit target=~'http://raman.almaden.ibm.com/cgi-bin/cnn.cgi"> </submit> </cml>

【０１５４】以下に、（ＣＭＬからＨＴＭＬへの）ＸＳ
ＬソースをＨＴＭＬによって表面変更されたＣＭＬソー
ス・ページ上に適用することによって得られるＨＴＭＬ
ソース・ページを記述する。得られた歓迎ＧＵＩページ
をＨＴＭＬブラウザで見たものを、図１１に示す。表面
変更は、表面変更されないページと比較するときにはっ
きりと見ることができる。これは、意のままにページを
表面変更する可能性を示す。この場合もやはり、すべて
のケースを考慮しているわけではないが、これは、この
手法を明瞭に示している。

【０１５５】以下は、得られた表面変更済みのＨＴＭＬ
ソース・ページに関連するコードである。 <!DOCTYPE html PUBLIC"-//W3C//DTD HTML 4.0 Transitional//EN"> <html> <head> <META http-equiv="Content-Type" content="text/html; charset=iso -8859-1"> <title>CNN Mobile News</title> </head> <body> <a name="cnn">CNN Mobile News</a> </hl> <div node_id="1" name="cnn"> <LINK REL="stylesheet" HREF="cnn.css" TYPE="text/css"> <TABLE BORDER="0" WIDTH="600" CELLSPACING="0" CELLPADDING="0"> <TR> <TD WIDTH="122"VALIGN="TOP"><a HREF="http://cgi.cnn.com/cgi-bin/redir ec t?cnn_store"> <IMG SRC="http://cnn.com/images/1999/10/cnnstore.gif" WIDT H="120" HEIGH T="60" BORDER="1" ALT="CNN Store"></a></TD> <TD WIDTH="8" VALIGN="TOP"><a HREF="http://cnn.com/ads/ e.market/"> <IMG SRC="http://cnn.com/images/1998/05/homepage/ad.info.g if" WIDTH ="7" HEIGHT="62" BORDER="0" ALT="ad info"></a></TD> <TD WIDTH="470" VALIGN="TOP"> <a HREF="http://cnn.com/event.ng/Type=click%26RunID=11875%26 Profi leID=34%26AdID=13042%26GroupID=15%26FamilyID=1099%26TagValues=4.8.249.43 5.594.606%26Redirect=http:%2F%2Fwww.cnn.com%2FHLN%2Findex_pgm.htm" targe t="_top"> <img src="http://cnn.com/ads/advertiser/promo/inter company_ onair/9907/onair_egg_cnn.gif" border="0" height="60" width="468" alt= "Get to the point news!"> </a> <table width="100%" cellpadding="0" cellspacing="0" border="0"> <tr> <td align="right"><font face="verdana,ARIAL,sans-serif" size="l"><a href ="http://cnn.com/event.ng/Type=click%26RunID=11875%26ProfileID= 34%26AdID=13042%26GroupID=15%26FamilyID=1099%26TagValues=4.8.249.435. 594.60 6%26Redirect=http:%2F%2Fwww.cnn.com%2FHLN%2Findex_pgm.htm target= _top" >Get to the point news!</a></font></td> </tr> </table> </TD> </TR> </TABLE> <ol node_id="2"> <li> <a href="#cnn.query">Select News Stories</a> </li> <li> <a href="#cnn.exit"> Exit </a> </li> <li> <a href="#cnn.applicationHelp">Help</a> </li> </ol> <h2 node_id="4"> <a name="cnn.applicationHelp">About CNN Mobile</a> </h2> <P node_id="5"> This application allows you to select and view CNN news stories </P> <p> <a href="#cnn"> Back </a> </p> <h2> <a name="cnn.exit">Exit CNN Mobile News</a> </h2> <form node_id="6" action="http://raman.almaden.ibm.com/cgi-bin/ cnn.cgi"> <P node_id="60"> Thankyou for using the CNN news service </P> <p> <INPUT TYPE="SUBMIT" VALUE="cnn.exit"> < /p> </form> <div groupId="query" modality="" class=""> <h2 node_id="8"> <a name="cnn.query">Search CNN Mobile News</a> </h2> <h2> <a name="#cnn.query.topic">Topic Selection</a> </h2> <ol node_id="ll"> <li> <a href="#cnn.query.news"> News </a> </li> <li> <a href="#cnn.query.business"> Business </a> </li> <li> <a href="#cnn.query.sports"> Sports </a> </li> <li> <a href="#cnn.query.travel"> Travel </a> </li> <li> <a href="#cnn.query.weather"> Weather </a> </li> <li> <a href="#cnn.query.show"> Show Business </a> </li> </ol> <h2> <a name="cnn.query.news">News Channel</a> </h2> <form node_id="13" action="http://raman.almaden.ibm.com/cgi-bin/ cnn.cgi"> <P node_id="9"> Which part of today's news would you like to read?</P> <select name="cnn.query.part"> <option value="h"> Headlines</option> <option value="l"> first story </option> <option value="2"> second story </option> <option value="3"> third story </option> </select> <p> < /p> <P node_id="14"> Which news category would you like to read? </P> <select name="cnn.query.interest"> <option value="business"> Business </option> <option value="africa"> Africa</option> <option value="world"> World </option> <option value="United states"> United states </option> <option value="europe"> Europe </option> <option value="Asia"> Asia</option> <option value="me"> Middle East</option> <option value="america"> America </option> </select> <p> </p> <p> <INPUT TYPE="SUBMIT" VALUE="cnn.query.news"> < /p> </form> <h2> <a name="cnn.query.business">Business Channel</a> </h2> <form node_id="16" action="http://raman.almaden.ibm.com/cgi-bin/ cnn.cgi"> <P node_id="9"> Which part of today's news would you like to read?</P> <select name="cnn.query.part"> <option value="h"> Headlines</option> <option value="l"> first story </option> <option value="2"> second story </option> <option value="3"> third story </option> </select> <p> </p> <P node_id="17"> Which business category would you like to read?</P> <select name="cnn.query.interest"> <option value="NEWS"> news </option> <option value="IN"> indexes </option> <option value="CU"> exchange rates </option> <option value="MET"> metals </option> </select> <p> </p> <p> <INPUT TYPE="SUBMIT" VALUE="cnn.query.business"> < /p> </form> <h2> <a name="cnn.query.weather">Weather Channel</a> </h2> <form node_id="l9" action="http://raman.almaden.ibm.com/cgi-bin/ cnn.cgi"> <P node_id="9"> Which part of today's news would you like to read?</P> <select name="cnn.query.part"> <option value="h"> Headlines</option> <option value="l"> first story </option> <option value="2"> second story </option> <option value="3"> third story </option> </select> <p> </p> <P node_id="20"> Which region are you interested in?</P> <select name="cnn.query.interest"> <option value="us"> United states </option> <option value="europe"> Europe </option> <option value="JP"> Japan </option> <option value="AU"> Australia </option> <option value="AS"> Asia </option> </select> <p> </p> <p> <INPUT TYPE="SUBMIT" VALUE="cnn.query.weather"> </p> </form> <h2> <a name="cnn.query.travel">Travel Section</a> </h2> <form node_id="22" action="http://raman.almaden.ibm.com/cgi-bin/ cnn.cgi"> <P node_id="9"> Which part of today's news would you like to read?</P> <select name="cnn.query.part"> <option value="h"> Headlines</option> <option value="1"> first story </option> <option value="2"> second story </option> <option value="3"> third story </option> </select> <p> </p> <P node_id="23"> Which city do you want to visit?</P> <select name="cnn.query.interest"> <option value="AMSTERDAM">AMSTERDAM</option> <option value="COPENHAGEN">COPENHAGEN</option> <option value="HELSINKI">HELSINKI</option> <option value="HONGKONG">HONGKONG</option> <option value="LONDON">LONDON</option> <option value="OSLO">OSLO</option> <option value="PRAGUE">PRAGUE</option> <option value="SINGAPORE">SINGAPORE</option> <option value="STOCKHOLM">STOCKHOLM</option> <option value="SYDNEY">SYDNEY</option> </select> <p> </p> <p> <INPUT TYPE="SUBMIT" VALUE="cnn.query.travel"> </p> </form> <h2> <a name="cnn.query.sports">Sports Channel</a> </h2> <form node_id="25" action="http://raman.almaden.ibm.com/cgi-bin/ cnn.cgi"> <P node_id="9"> Which part of today's news would you like to read?</P> <select name="cnn.query.part"> <option value="h"> Headlines</option> <option value="l"> first story </option> <option value="2"> second story </option> <option value="3"> third story </option> </select> <p> </p> <P node_id="26"> What sports are you interested in?</P> <select name="cnn.query.interest"> <option value="AS"> Asia </option> <option value="w"> world </option> <option value="eu"> europe </option> <option value="us"> united states </option> <option value="nba"> NBA </ option> <option value="nhl"> nhl </option> <option value="EF"> Europoean football </option> </select> <p> </p> <p> <INPUT TYPE="SUBMIT" VALUE=" cnn.query.sports"> </p> </form> </div> </div> </body> </html>

【０１５６】Ｎ．ＣＭＬＤＴＤ文書型定義以下は、ＣＭＬＤＴＤを表現する。以下のＤＴＤ記述
が、ＸＭＬの技術に精通する者なら誰にでも完全に理解
されるべきであることを理解されたい。これは、この実
施形態に対して呈示されるＣＭＬの構文を完全に定義す
る。      <!ENTITY % coreattrs "node_id ID #IMPLIED name CDATA #IMPLIED style CDATA ; #IMPLIED trigger CDATA #implied title CDATA #IMPLIED" >   <!ENTITY % GESTURE "(cml | select | menu | message | help)">   <!ELEMENT group ( %GESTURE+) > <!ATTLIST group id ID #required modality CDATA #implied class CDATA #implied > <!ELEMENT CML ( (group | %GESTURE)+, submit? ) > <!ATTLIST cml %coreattr>         <!ELEMENT predicate ANY> <!ELEMENT choice ( grammar?, PCDATA) > <!ATTLIST choice %coreattr; value CDATA #required >  <!ELEMENT default ( grammar?, PCDATA) > <!ATTLIST default %coreattr; value CDATA #required > <!ELEMENT choices ( choice+, default?) > <!ELEMENT select ( message, help?, choices, predicate?, error?) > <!ATTLIST select %coreattr; require_predicate (true | false ) #implied selection_type CDATA #implied >       <!ELEMENT input ( message, help?, predicate?) > <!ATTLIST input %coreattr; require_predicate (true | false ) #implied >    <!ELEMENT env EMPTY> <!ATTLIST env name CDATA #required> <!ELEMENT submit ( message?, help?, env*) > <!ATTLIST submit target CDATA #required>   <!ELEMENT bind-event EMPTY> <!ATTLIST bind-event logical CDATA #required physical CDATA #implied modality CDATA #implied >

【０１５７】したがって、本発明による会話型マークア
ップ言語は、本明細書に詳細に述べるように、多くの有
用な特徴および利点を提供する。対話によるプログラミ
ングは、実装されている、基礎をなすデータ・モデルの
定義（モデル）が、ユーザ対話を定義するマークアップ
言語（ビュー／コントローラ）から分離されることを可
能にする。これにより、密に同期化されたマルチモーダ
ル対話の構築が可能となり、会話型アプリケーションが
サポートされる。本発明によるＣＭＬは、密な同期化を
サポートする機構、すなわち各ジェスチャにNode_id属
性を結合し、この属性を様々な出力にマッピングするこ
とを提供する。この言語は、原子構成（ジェスチャ）で
定義されることが好ましく、より複雑な構成がもしあれ
ば、それらは、（ダイアログで表した）複雑な構成の明
瞭な意味定義と共にこれらの原子ジェスチャで構成され
る。これにより、複雑なモジュールを異なるモーダル性
にマッピングすることができる。音声は、ＧＵＩと同じ
レベルにある第１のクラスのユーザ・インタフェース
（ＵＩ）モーダル性と考えられる。ジェスチャは、基本
のダイアログ・コンポーネントに対応する（これは、適
切なデータ・ファイルを追加することを含む）。必要と
される場合に、モーダル性特定のコンポーネントをカプ
セル化したいと思う作成者は、モーダル性特定のマーク
アップをコード化するための「通過」機構を提供するこ
とができる。モーダル性特定の構造（スピーチ用または
ＧＵＩ用）は、この通過機構に限定される。会話型ＵＩ
がサポートされる。マークアップ言語は、並列で活動化
できるダイアログ・コンポーネントを取り込む。ＣＭＬ
は拡張可能言語であり、例えば、新しいジェスチャを定
義することができ、ジェスチャ変換規則を修正すること
ができ、他の言語からのタグ／構成を埋め込むことがで
きる（通過モードで）。モーダル性特定のタグ／通過
は、ページを追加で表面変更するための機構でしかな
い。ＣＭＬはまた、アプリケーション状態をカプセル化
するための明示的な環境も提供する。ＣＭＬはまた、動
的に生成されたデータに言及する対話記述ならびにバッ
クエンドへのサポート用コールバック機構の能力も提供
する。どんな従来方法も、これらの目的に使用すること
ができる。さらに、本明細書に提供するＣＭＬの詳細な
説明が与えられれば、当業者は、この創意に富んだマー
クアップ言語の使用に関連する様々なツールおよび開発
環境を実現することができる。

【０１５８】ＩＩ．マルチモーダル・ブラウザ以下は、本発明によるマルチモーダル・ブラウザの説明
である。このセクションは、参照しやすいように次のサ
ブセクションに分かれている。すなわち、（Ａ）序説、
（Ｂ）マルチモーダル・シェル、（Ｃ）マルチモーダル
・シェルとＣＭＬ、（Ｄ）ＣＭＬとマルチモーダル同期
化、（Ｅ）ＣＭＬとアプリケーション・オーサリング、
（Ｆ）例示的な実施形態、（Ｇ）代替実施形態である。

【０１５９】Ａ．序説本発明によるマルチモーダル・ブラウジングを説明する
前に、本発明のＣＭＬおよびマルチモーダル・ブラウザ
に関係する概念を有する、上に参照した特許出願のいく
つかの記述を要約したものを以下に述べる。参照しやす
いように、関連出願は、それらの各整理番号を介して言
及する。

【０１６０】ＹＯ９９９−１１１は、会話型コンピュー
ティング、会話型ユーザ・インタフェース、および会話
型アプリケーション・プラットフォーム（ＣＶＭ、会話
型仮想マシン）の概念を開示する。ＹＯ９９９−１１１
に述べられている、ＣＶＭから提供される機能および挙
動／サービスは、実際には、本発明のマルチモーダル・
ブラウザによって、または会話型ユーザ・インタフェー
スを提供するアプリケーションによって実施される。し
かし、概念レベルでは、ＣＶＭが、本発明のブラウザを
サポートするのに必要なすべてのサービスを実施すると
仮定される。

【０１６１】ＹＯ９９８−３９２は、会話型アプリケー
ション（すなわちマルチモーダル）をプログラムするた
めの宣言的なプログラミング言語（「ＣＭＬ」と言及さ
れるが、これはこの場合、本発明の言語とは異なる）の
使用を開示する。ＹＯ９９８−３９２言語は、マルチモ
ーダル／会話型ユーザ・インタフェースをサポートする
宣言的な言語である。実際には、その明細書に提供され
ている例／実施形態は、本発明によって可能な単一のオ
ーサリングではなく「複数オーサリング」モデルに従っ
て書かれたＭＬページからなる。以下の通り、宣言的な
プログラミング言語の異なる例が教示された。（ｉ）スピーチのみのＭＬ。スピーチＭＬとも呼ばれ、
VoiceＸＭＬに通じる。（ii）ファイル間の同期化タグを有する複数のファイル
（ＨＴＭＬとVoiceＭＸＬ、またはＷＭＬとVoiceＸＭ
Ｌ）。（iii）複数のモーダル性記述を有する単一のファイル
（例えば<MM><Speech>Speech rendering info</speech>
<GUI>GUI rendering info</GUI></MM>など）。この場合
も同期化情報を有する。（iv）異なるモーダル性に関連する情報を分割するため
のフレーム様モデルを有する単一のファイル（例えば、
スピーチ・コンテンツがＨＴＭＬページに加えて「スピ
ーチ・フレーム」中に呈示される）。

【０１６２】これらのアイテムはどれも、単一オーサリ
ングに対処しない。また、ＣＭＬ、任意のターゲット・
レガシーＭＬ（チャネル）、あるいはジェスチャまたは
ジェスチャ・ベースのＸＳＬの概念からのサポートにも
対処しない。

【０１６３】ＹＯ９９９−１７８は、一般マルチモーダ
ル・シェルを記述する。これは、同期化されるマルチモ
ーダル・アプリケーション（宣言型でも命令型でもハイ
ブリッドでも）をどのようにサポートおよびプログラム
するかを記述する。これは、各アプリケーション・モー
ダル性がその状態、それがサポートするコマンド、およ
びそれらのコマンドが他のモーダル性に与える影響を登
録する登録テーブルを使用する。この場合もまた、ジェ
スチャおよび単一オーサリングの教示はない。一実施形
態は、アプリケーションがブラウザ（すなわち各モーダ
ル性のレンダリングに関連するブラウザ）であり、シェ
ルがＣＭＬページを受け取り（ＹＯ９９８−３９２に定
義されるように）、登録テーブルを構築し、したがって
モーダル性にわたって同期をとる体系を記述する。

【０１６４】ここで本発明は、以下の記述に説明するよ
うに、マルチモーダル・ブラウザ体系を可能にする。こ
のようなマルチモーダル・ブラウザは、以下に述べる
が、上のセクションＩで詳細に述べたＣＭＬおよびその
言語の会話型ジェスチャの特徴および利点を利用して、
ユーザがアプリケーションによってサポートされる任意
の装置上にある任意のモーダル性の情報にアクセスでき
るようにする。例えば、マルチモーダル・ブラウザ内の
視覚的および話される対話は、会話型ジェスチャのコア
・セットを使用して抽象され、ＣＭＬを使用して表現さ
れる。対話型ジェスチャは、各対話モーダル性によって
適切に実現される。これらの基本的な会話型ジェスチャ
を使用して軽量情報アプリケーション（インフォウェ
ア）をオーサリングすることができ、得られたコンテン
ツは、表現されるときに、モーダル性／装置特定のマー
クアップ言語またはワイヤ・プロトコル（wire protoco
l）、例えばいくつかを挙げればVoiceＸＭＬ、ＷＭＬに
投影される。

【０１６５】Ｂ．マルチモーダル・シェルマルチモーダル・ブラウザの動作の中心には、マルチモ
ーダル・シェル機構がある。マルチモーダル・シェル
は、複数のユーザ・インタフェース・クライアントまた
はブラウザに対するサーバの役割を果たす。異なる対話
モーダル性を備えるブラウザ、例えば視覚ＨＴＭＬブラ
ウザまたは聴覚VoiceＸＭＬブラウザは、マルチモーダ
ル・シェルにクライアントとして登録する。ユーザ対話
は、マルチモーダル・シェルがＣＭＬ文書を横断するこ
とによって進行する。この横断中に、シェルは、以下に
よって、ユーザの対話を特定の個々のＣＭＬインフォウ
ェアに対して調整する。（ｉ）現行のＣＭＬノードの対話特定の表現を、すべて
の登録済みクライアントに渡すことによってユーザ対話
を開始する。（ii）現行のＣＭＬノードを受け取ったすべての登録済
みクライアントからの情報更新を待機する。（iii）受け取った情報間の矛盾、例えばユーザが右と
言っているのに左を指しているなどをおそらく解消す
る。（iv）受け取ったばかりの情報更新に基づいて現行のＣ
ＭＬノードを更新する。（ｖ）更新の実行が成功すると、シェルは新たに更新さ
れたアプリケーション状態をすべての登録済みブラウザ
に渡す。

【０１６６】Ｃ．マルチモーダル・シェルとＣＭＬ上に説明したように、ＣＭＬアプリケーションは、標準
的な会話型ジェスチャのセットの集合である。このよう
な会話型ジェスチャは、アプリケーションを構成する完
全なダイアログの基本的な構成単位を形成する。例え
ば、特定のアプリケーションでは、アプリケーション設
計者の主要な作業は、以下のものを指定することであ
る。（ｉ）ユーザから収集する情報のアイテムを指定する。（ii）必要なアイテムごとに制約、例えばセットからの
選択などを指定する。（iii）情報の各アイテムに必要なものが備わったとき
に、アプリケーション状態を更新する。（iv）収集した情報のアイテムをパッケージして、バッ
クエンド・アプリケーション・サーバにサブミットす
る。

【０１６７】上の作業は、指定されるとき、使用中の対
話モーダル性に対して独立であることに留意されたい。

【０１６８】異なるユーザ・インタフェース・フロント
エンド、例えば視覚ＷＷＷブラウザ、聴覚VoiceＸＭＬ
などは、これらの作業を適切なユーザ・インタフェース
の仕掛けにマッピングする。

【０１６９】ＣＭＬ文書は、一般マルチモーダル・シェ
ルによってホスティングされる。シェルは、異なるユー
ザ・インタフェースの実現、例えば、視覚ＨＴＭＬブラ
ウザまたは聴覚VoiceＸＭＬブラウザを助ける。シェル
のクライアントになりたいと思うブラウザは、現行のア
プリケーション状態への弱い参照を保持する。登録済み
クライアントは、アプリケーション状態が変化したとき
にシェルから通知され、次いで各クライアントは、それ
自体の弱い参照をアプリケーション状態に照会して、ユ
ーザに呈示したいと思う関係情報を抽出する。

【０１７０】ユーザは、登録済みブラウザの１つを介し
てアプリケーションと対話することによって、ＣＭＬ文
書を横断する。対話が進行するにつれて、すべての登録
されたブラウザは、対話のフォーカスである現行のＣＭ
Ｌノードについて通知され、したがって、それらの表現
を必要に応じて更新する。シェルは、現在開かれている
ＣＭＬ文書、ならびにそれらに対応するアプリケーショ
ン状態を常に監視する。必要な場合に、会話型シェル
は、現在開かれているアプリケーションのいずれかの状
態の簡潔な要約を提供することができる。登録済みクラ
イアントのいずれかを介してサブミットされた情報はシ
ェルによって媒介され、シェルは、他の登録済みクライ
アントへの、かつ必要な場合にバックエンド・アプリケ
ーション・サーバへの通知を扱う。

【０１７１】Ｄ．ＣＭＬおよびマルチモーダル同期化単一のＣＭＬ表現からのアプリケーションを対話特定に
具現化したもの総合することによって、マルチモーダル
・インタフェースの異なる態様を同期させることができ
る。ＣＭＬ表現中の各ノードは、特定のnode-idでタグ
付けされる。ＣＭＬ表現が対話特定の表現、すなわちＨ
ＴＭＬまたはVoiceＸＭＬにマッピングされるとき、得
られたマッピングにおけるノードは、それらに対応する
ＣＭＬ表現中のノードのnode-idでタグ付けされる。ユ
ーザが特定のモーダル性を介してブラウザと対話すると
き、マルチモーダル・シェルは、関係するnode-idを検
索することによって、アプリケーション中の現在活動化
されているノードを元のＣＭＬ表現にマッピングし返
す。ユーザ対話のせいでアプリケーション状態が変化す
るとき、シェルは、修正されたアプリケーション状態
を、修正されたノードのnode-idと共に、通知されるよ
うに登録されたすべてのクライアントに渡す。通知され
たアプリケーションは、node-idに対してチェックする
ことによって、それらの対話特定の表現中の対応するノ
ードを更新する。登録済みのアプリケーションは本質的
に、基礎をなすアプリケーション状態への弱い参照を保
持することに留意されたい。対話特定のレンダリング・
エンジンが必要なノードを更新するとき、弱い参照は、
その更新に関係する情報（かつ、必要とされる情報だ
け）が自動的にシェルから検索されるようにすることに
なる。

【０１７２】ここで図１２を参照すると、ＭＶＣモデル
の新しい解釈が示されている。この新しい解釈によれ
ば、このモデルは対話のＣＭＬ記述である。ビューは、
ジェスチャ・ベースのＸＳＬ変換規則を適用して、異な
るレンダリング・ブラウザ中にレンダリングされる（ビ
ュー）異なるターゲットＭＬを生成することによって得
られるものである。ブラウザは、ユーザとの対話を通し
てモデルの制御を提供する（かつ、Ｉ／Ｏイベントがレ
ンダリング・ブラウザの１つで発生したときにその状態
を修正する）。図９に従って、Ｖ０がＧＵＩビュー（例
えばＨＴＭＬ）でありＶ１がスピーチ・ビュー（自然言
語による、またはそうでない）であると想像されたい。
Ｃ０は、モノモーダルＨＴＭＬブラウザのみの制御／対
話である。Ｃ１は、同期化されるマルチモーダル・ビュ
ーである。Ｃ２は、モノモーダル・スピーチ制御であ
る。この手法は、根本的に新しいパラダイムである。

【０１７３】Ｅ．ＣＭＬとアプリケーション・オーサリ
ングアプリケーション・クリエータは、ＷＹＳＩＷＹＧ（wh
at you see is what you get）オーサリング・ツールと
対話して、自分のアプリケーションのＣＭＬ表現を作成
することができる。ＣＭＬで表現されたアプリケーショ
ンは、スタイル変換の標準セットを使用して、対話特定
の表現、例えばVoiceＸＭＬまたはＨＴＭＬにマッピン
グされる。必要とされる場合に、ユーザ・インタフェー
ス設計者は、カスタム・スタイル変換を生み出して、特
定のルック・アンド・フィールまたはサウンド・アンド
・フィールを設計することができる。ＣＭＬオーサリン
グ・ツールを生み出すこともでき、これは、クライアン
トがマルチモーダル・ブラウザ・プラットフォーム上で
展開するためにレガシーＨＴＭＬのみのＷＷＷアプリケ
ーションをＣＭＬにマッピングすることができるように
作成することができる。このようなツールは、顧客が既
存のＷＷＷアプリケーションをVoiceＸＭＬプラットフ
ォーム上で展開することを助けるのに必要な橋を提供す
る。この解決法は、VoiceＸＭＬに直接オーサリングし
直すよりも魅力がある。というのは、既存のアプリケー
ションをＣＭＬに一度マッピングすることは、様々なマ
ルチモーダル・ブラウザ設定にわたる展開を可能にする
からである。これは、ＨＴＭＬ、ＷＭＬ（およびその他
のレガシーＭＬ）にも当てはまる。

【０１７４】Ｆ．例示的な実施形態次に図１３〜１５を参照すると、既存のシステムから本
発明によってマルチモーダル・ブラウジング環境でＣＭ
Ｌを完全に使用するまでの移行ロード・マップが示され
ている。

【０１７５】図１３に、現行のファット・クライアント
・ウェブ・プログラミング・モデルを示す。コンテンツ
は、主にＨＴＭＬで書かれる（そのフォーマットで静的
に記憶される、または動的に生成される）。コンテンツ
が特定のブラウザ（例えば所与のバージョンのInternet
explorerまたはCommunicator）に適合される必要があ
るとき、ターゲット・ブラウザの機能である特定のスタ
イル・シート、ならびにコンテンツのタイプが構築され
る。これは通常、ＸＭＬ／ＸＳＬオーサリング手法であ
る。別のチャネル／モーダル性（ＷＭＬ、ＣＨＴＭＬ、
VoiceＸＭＬなど）が必要な場合、コンテンツは、書直
す必要があるか、あるいはＨＴＭＬまたはＸＭＬで書か
れた場合には非常に特定の規則に従って、よく知られた
タイプ／領域のものとする必要があり、したがって、い
くつかの一般アプリケーション／ビジネス論理に依存す
るＸＳＬ規則を使用してこれらのモーダル性特定のレガ
シー言語を作成することができるか、またはＸＳＬ規則
を非常に頻繁にオーサリングし直さなければならない
か、あるいはその両方である。これは、異なるレガシー
言語で直接にオーサリングしようが、単一のＸＭＬコン
テンツをこれらの異なるレガシーＭＬに変換する異なる
スタイル・シートでオーサリングしようが、過多な複数
オーサリングとなる。最終的に、今日、ウェブ（すなわ
ち主にＨＴＭＬの交換による）、無線ネットワーク（主
にＷＭＬ、ただし他の規格も存在する）、および電話
（主にVoiceＸＭＬ）にアクセスする必要が一層多くな
っている。複数オーサリングが唯一の解決法のため、こ
のようなタイプのサービスを提供するサイトは、通常、
限られた量のサービス／コンテンツ・プロバイダまたは
企業サイトによる、閉じたサイト（開いた完全なウェブ
・コンテンツとは反対に、限られた量のサービス／コン
テンツ）である。いつどこでも、どんな情報へのアクセ
スをどんなアクセス装置を介しても提供し、ユーザがそ
れを操作できるようにする解決法は存在しない。異なる
レガシー言語（ＸＭＬを含む）は、ページの異なる部分
を適切に他のモーダル性で扱うのに必要な情報を含まな
い（例えば会話エンジン用の文法およびその他の引数が
欠落しているなど）。

【０１７６】図１４に、ＣＭＬを展開して、対話プログ
ラミング・モデルおよび会話型コンピューティング・パ
ラダイムによるプログラミングを使用する第１のステッ
プを記述する。この解決法は、トランスポート・プロト
コルおよびネットワーク（例えばテレフォニーＰＳＴ
Ｎ、無線ネットワーク（音声またはデータあるいはその
両方）、voice over ＩＰ、ＴＣＰ／ＩＰ−ＨＴＴＰ、
ＷＡＰなど）、ならびにレガシー・ブラウザ（例えばＨ
ＴＭＬブラウザ、ＷＭＬブラウザ、VoiceＸＭＬブラウ
ザなど）で表される、今日存在するインフラストラクチ
ャを使用することができる。コンテンツがＣＭＬで利用
可能な場合、それは、静的に生成されようが動的に生成
されようがページが提供されるとき、要求するブラウザ
によってサポートされるターゲット・レガシーＭＬに実
行中にトランスコーディングすることができる。ターゲ
ットＭＬの決定は、ブラウザのタイプ、またはゲートウ
ェイ、ブラウザ、サーバのＩＰに基づく。ＷＡＰゲート
ウェイはＷＭＬページを受け取り、ブラウザは、（http
ヘッダ中の）記述子またはアクセス機構に基づいてその
要件を記述する（例えば、httpは、いくつかのＣＭＬブ
ラウザが利用可能になるまでの少なくとも展開の最初で
は、ＨＴＭＬを暗黙指定することになる）。決定はま
た、要求されたページに基づいても行われる。ブラウザ
がxxxx.htmlを要求する場合、それは、ＣＭＬがＨＴＭ
Ｌにトランスコーディングされることを意味し、yyyy.v
xmlを要求する場合、それは、VoiceＸＭＬにトランスコ
ーディングされることを意味する、などである。明らか
にこれは、現在のインフラストラクチャおよびその何ら
かの未来の進化形をサポートすることを保証する。

【０１７７】ＣＭＬブラウザ（すなわち会話型／マルチ
モーダル）が開放されるとき、それは、ＣＭＬページ
（すなわちzzzz.cml）を要求することになり、また、そ
れ自体をＣＭＬブラウザとして記述することもできる。
このような場合、ページはどんなトランスコーディング
も必要とせずに提供される。これは、レガシー／今日の
インフラストラクチャからＣＭＬ／会話型支配のウェブ
・プログラミング・パラダイムへのスムーズな移行を保
証する。ここで、レガシー・コンテンツ（すなわちＨＴ
ＭＬ、ＷＭＬ、VoiceＸＭＬ、またはその他のレガシー
言語、あるいはそれらすべてで書かれた静的または動的
コンテンツ）は、ＣＭＬに変換される必要がある。ツー
ルは、せいぜいＣＭＬターゲットを「当てる」ことにし
か使用できず、次いでそのＣＭＬターゲットは、手作業
で妥当性検査して再編集する必要がある。しかし、上に
説明したのと同じ理由で、元のページが特定の規則に従
って構築された場合、またはＸＭＬタグが明確であり
（領域特定であり）、したがってページ中のそれらの役
割が明確である場合、実行可能な自動トランスコーディ
ング・システムを使用することができる。

【０１７８】図１５に、ＣＭＬ会話型（マルチモーダル
・ブラウザ）が標準となったときの展開ロード・マップ
における次のステップを示す。したがって、今やトラン
スコーディングはブラウザの一部であり、ページはＣＭ
Ｌでオーサリングされ提供される。レガシー（すなわち
非ＣＭＬ）ページが提供されるとき、それは、マルチモ
ーダル・シェルによって取り出されるが、次いで、対応
するモーダル性を扱う対応するレンダリング・ブラウザ
に直接に送信されることになる。

【０１７９】ＣＭＬコンテンツおよびレガシー・コンテ
ンツは、当然、依然として前述のようにＣＭＬにオーサ
リングまたは変換される必要がある。

【０１８０】図１６を参照すると、本発明によるマルチ
モーダル・ブラウザ体系のブロック図が示されている。
図示のように、マルチモーダル・ブラウザ６０は、マル
チモーダル・シェルまたは会話型シェル６２、ＧＵＩレ
ンダリング・ブラウザ・コンポーネント６４、およびス
ピーチ・レンダリング・ブラウザ・コンポーネント６６
を備える。マルチモーダル・シェルはまた、「仮想ブラ
ウザ」とも呼ばれる。マルチモーダル・ブラウザ６０は
２つのモーダル性、視覚（ブラウザ・コンポーネント６
４）およびスピーチ（ブラウザ・コンポーネント６６）
の使用を示しているが、本発明がこれらのモーダル性に
限定されないことを理解されたい。マルチモーダル・ブ
ラウザ６０は、一般に次のように動作する。アプリケー
ションにアクセスしようとするユーザは、マルチモーダ
ル・ブラウザのすべてか一部が常駐するクライアント装
置（例えばパーソナル・コンピュータ、ラップトップ・
コンピュータ、携帯情報端末など）とインタフェースす
る。図１６に示す一般的な場合では、ユーザはテキスト
・インタフェースもしくはグラフィカル・インタフェー
ス（ＧＵＩ入力／出力）またはその両方を介してこれを
行うことができ、あるいはインタフェースはスピーチ
（オーディオ入力／出力）を介したものとすることがで
き、あるいはその両方ができる。図１６にはマルチモー
ダル・ブラウザ６０を１つのブロック中に示してある
が、マルチモーダル・ブラウザはクライアントとサーバ
のコンピュータ・システムを両方含めた複数の装置を介
して実施できることを以下に説明する。

【０１８１】ユーザの要求に基づいて、マルチモーダル
・ブラウザ６０は適切なＵＲＬをコンテンツ・サーバ６
９に送り、コンテンツ・サーバ６９もまた、所望の特定
アプリケーションへのアクセスを要求するために、同じ
くクライアント装置に常駐することのできる会話型エン
ジン６８にサービスする。次いで、アプリケーションに
関連するＣＭＬコードが、コンテンツ・サーバ６９から
マルチモーダル・ブラウザ６０にダウンロードされる。
次いでマルチモーダル・ブラウザは、そのＣＭＬコード
に関連する会話型ジェスチャに基づいて、モーダル性特
定のレンダリング（ＧＵＩ表現またはスピーチ表現ある
いはその両方）を生成する。したがってユーザは、これ
らの表現を介してブラウザ６０と対話する。

【０１８２】次に（引き続き図１６も参照しながら）図
１７を参照すると、本発明の一実施形態によるマルチモ
ーダル・ブラウザの動作をより詳細に示す流れ図が示さ
れている。アプリケーション開発者は、アプリケーショ
ン、例えばインフォウェアと呼ばれる軽量アプリケーシ
ョンをＣＭＬで書く。ＣＭＬでオーサリングされたイン
フォウェアは、複数のモーダル性特定のブラウザ・コン
ポーネント（例えば図１６の視覚ブラウザ６４とスピー
チ・ブラウザ６６）の間を媒介する会話型シェル（例え
ば図１６のマルチモーダル・シェル６２）によってホス
ティングされる。マルチモーダル・シェルは、ＣＭＬイ
ンタープリタまたはプロセッサと考えることができる。
これを、ブロック７０として図１７に示す。ユーザ対話
はＣＭＬインタープリタによって進行し、ＣＭＬインタ
ープリタは、ダウンロードされたＣＭＬコードに関連す
るＣＭＬインスタンスをＨＴＭＬ（ブロック７７）やVo
iceＸＭＬ（ブロック７８）などの適切なモーダル性特
定の言語にマッピングする。これらのモーダル性特定の
表現は、そのアプリケーションに関連するモーダル性特
定のバージョンのダイアログをレンダリングする。ブロ
ック７０中に示すように、ノード（Ａ）および矢印
（Ｂ）は、ＣＭＬの宣言型プログラムを表す。ＣＭＬプ
ログラム中のジェスチャは各ノードで表され、矢印は、
あり得る分岐点またはループによる対話／ダイアログの
流れを表す。各ジェスチャはノードＩＤ（node_id）で
識別され、これは、異なる登録済みのモーダル性の間で
同期をとるために、活動化されたジェスチャを適切に識
別することを可能にする。node_idはジェスチャを識別
し、したがって、ＣＭＬブラウザ（すなわちマルチモー
ダル・シェルまたは仮想ブラウザ）は、それがダイアロ
グ・フロー中のどこであるか、およびそこからどこに行
くべきか（例えば、異なるモーダル性を更新する、また
はサーバに変数を送って新しいＣＭＬページを取り出
す）を知る。

【０１８３】ＣＭＬからモーダル性特定の表現への変換
７７および７８は、ＸＳＬ変換規則（または前述の他の
変換機構）によって支配される。これらのＸＳＬ規則
は、モーダル性特定である。これらの変換は、ＸＳＬ規
則７４および登録テーブル７６に従って、プレゼンテー
ション生成ブロック７２によって扱われる。登録テーブ
ル７６は、デフォルトのジェスチャＸＳＬ変換規則、な
らびに拡張形、アプリケーション特定、装置特定、また
はユーザ特定の特定規則のリポジトリである。ＣＭＬイ
ンスタンスを適切なモーダル性特定の表現にマッピング
する過程で、ＸＳＬ規則は、モーダル性特定のユーザ対
話を実現するのに必要な情報を追加する。一例として
は、要素selectをVoiceＸＭＬに変換するとき、関係す
るＸＳＬ変換規則は、その会話型ジェスチャに有効な選
択肢をカバーする文法の生成を扱う。

【０１８４】ＣＭＬインスタンスをＨＴＭＬなどのモー
ダル性特定の表現に変換する過程は、単一のＣＭＬノー
ドを出力表現中のノードの集合にマッピングすることに
なる。これらの様々な表現にわたって同期をとるのを助
けるために、ＣＭＬ属性node_idが、所与のＣＭＬノー
ドから得られた出力ノードのすべてに適用される。所与
のＣＭＬインスタンスが適切なモーダル性特定のＸＳＬ
規則によって異なる表現、例えばＨＴＭＬおよびVoice
ＸＭＬにマッピングされるとき、出力におけるツリーの
形は、様々なモーダル性の間で異なる見込みが高い。し
かし、属性node_idは、モーダル性特定の各表現から元
のＣＭＬノードへの概念上のバックリンクを提供するこ
とにより、これらの表現の間で同期をとることを可能に
する。これを、図１７のブロック７０に図示する。

【０１８５】ユーザ対話が進行するにつれて、現行のＣ
ＭＬインスタンスによって環境中で定義される変数は、
妥当性検査された値に束縛される。この束縛は、まず、
モーダル性特定の表現（登録済みクライアント）７７お
よび７８のうちの１つで発生する。モーダル性特定の表
現は、更新された環境および完了したばかりのジェスチ
ャのnode_idを含む適切なメッセージをＣＭＬインター
プリタ（マルチモーダル・シェル）に送る。更新された
束縛がＣＭＬインタープリタに伝達されると、ＣＭＬイ
ンタープリタは、完了したばかりのジェスチャのnode_i
dでモーダル性特定の表現すべてにメッセージを送る。
モーダル性特定の表現は、このメッセージを受け取る
と、まずＣＭＬインタープリタにそれらの表現に影響す
る環境の部分を照会することによって、それらの表現を
更新する。

【０１８６】図１８に、本発明の一実施形態によりＣＭ
Ｌマルチモーダル・ブラウザによって行われる異なるス
テップを示す。ＣＭＬページがブラウザによって取り出
されると、ブラウザは、ＸＭＬパーサと同様にＣＭＬコ
ンテンツを解析する（ステップ９０）。ブラウザは、対
話の内部表現（すなわち、ページ中に記述された異なる
ジェスチャのグラフ／ツリー）およびノードＩＤを構築
する。ブラウザは、ブラウザに記憶されたジェスチャＸ
ＳＬ変換（またはJava BeansやJava Server Pagesのよ
うな他の変換機構）を使用して（ブロック９８）、異な
るＭＬページを構築し（ステップ９６）、これは各レン
ダリング・ブラウザに送られる（ステップ１００）。あ
るモーダル性のＩ／Ｏイベント時に、その影響が対話グ
ラフ（すなわちＹＯ９９９−１７８に記載のようにＭＭ
シェル登録テーブル（ブロック９４）に記憶された）の
レベルで検査される（ステップ９２）。ジェスチャＸＳ
Ｌ変換規則は、アプリケーション開発者が上書きし、そ
れらをどこでダウンロードすべきかを示すことができる
ことに留意されたい。これらはまた、普通ならデフォル
ト挙動となるものから、ユーザ、アプリケーション、ま
たは装置のプリファレンスによって上書きすることもで
きる。新しいジェスチャも追加することができ、その場
合、関連するＸＳＬ規則が提供されなければならない
（例えばそれを得るためのＵＲＬ）。

【０１８７】前述のように、本発明は、複数装置ブラウ
ジング環境または分散ブラウジング環境を可能にする。
ＣＭＬの性質およびそれが効果的に複数のブラウザを同
期させる能力のせいで、アプリケーションの様々な部分
を別個のコンピューティング装置上に常駐させて実行す
ることができる。次いでユーザは、１つのアプリケーシ
ョンにアクセスするときに複数の装置、例えばラップト
ップ・コンピュータおよびセルラー・ホンと同時に対話
することができる。これは実際、異なるモーダル性での
ブラウジングに限定されない。同じモーダル性（例えば
ＧＵＩのみ）中でも、同じコンテンツを表現してこの表
現をモーダル性にわたって同期化する必要があるとき、
例えば１つの装置上で画像を、別の装置上でビデオを、
３つ目の装置上でテキストと背景を足したものを表示す
るときに、同じ原理を使用して、前もってそれがどんな
装置かを記述することができる。別の例は、１つの装置
上でテキストおよび画像を、別の装置上でアプレットを
表示するなどである。もっと多くの例も容易に考えられ
る。これは、カストマイズされたジェスチャまたはジェ
スチャＸＳＬ規則の使用を必要とすることになる。ある
いは、これは、それを行うための（他のジェスチャおよ
びデフォルト・レンダリングを有する）別のマークアッ
プを必要とすることになる。

【０１８８】次に図１９を参照すると、このような分散
ブラウジング環境が示されている。マルチモーダル・ブ
ラウザ６２、視覚ブラウザ６４、スピーチ・ブラウザ６
６、会話型エンジン６８、およびコンテンツ・サーバ６
９の機能および動作は、図１６および１７に関して上に
述べたものと同じである。しかし、見れば分かるよう
に、コンポーネントは複数のコンピューティング装置上
に分散されている。例えば、マルチモーダル・ブラウザ
６２はサーバ８０上に常駐し、ビジュアル・ブラウザ６
４はクライアント装置８２上に常駐し、スピーチ・ブラ
ウザはサーバ８４上に常駐する。これらのクライアント
装置およびサーバ装置は、ＷＷＷ、ローカル・ネットワ
ーク、または他の何らかの適したネットワークを介して
通信することができる。ユーザはクライアント装置８２
に対してローカルでよく、サーバ８０と８２とはリモー
トに位置する。あるいは、すべてのまたはいくつかのコ
ンピューティング装置を一所に配置することもできる。
ユーザがクライアント装置８２と直接に対話するので、
オーディオ入力／出力機能８６（例えばマイクロホンお
よびスピーカ）が装置８２に備わり、これらはサーバ８
４にあるスピーチ・ブラウザに接続される。見れば分か
るように、ＣＭＬアプリケーションの、同期した同じ動
作は、マルチモーダル・ブラウザの様々なコンポーネン
トが別個のコンピューティング装置上に位置していても
達成することができる。

【０１８９】本発明の方法を実施するための前述の各ク
ライアント装置およびサーバは、メモリおよびＩ／Ｏ装
置に動作可能に結合されたプロセッサを備えることがで
きることを理解されたい。本明細書で使用する用語「プ
ロセッサ」は、例えばＣＰＵ（中央処理装置）を備える
ものなど、どんな処理装置も含むものとすることを理解
されたい。本明細書で使用する用語「メモリ」は、例え
ばＲＡＭ、ＲＯＭ、固定記憶装置（例えばハード・ドラ
イブ）、取外し可能記憶装置（例えばディスケット）、
フラッシュ・メモリなど、プロセッサまたはＣＰＵに関
連するメモリを含むものとする。さらに、本明細書で使
用する用語「入力／出力装置」または「Ｉ／Ｏ装置」
は、例えばデータを処理装置に入力するための１つまた
は複数の入力装置、例えばキーボード、マイクロホンな
ど、および処理装置に関連する結果を呈示するための１
つまたは複数の出力装置、例えばＣＲＴディスプレイ、
スピーカなど、あるいはその両方を含むものとする。入
力／出力装置は、モーダル性特定であり、したがって、
他の装置を採用することもできる。また、「プロセッ
サ」は複数の処理装置を指すことができ、処理装置に関
連する様々な要素は他の処理装置によって共用できるこ
とも理解されたい。したがって、本明細書に述べる本発
明の方法を実行するための命令またはコードを含むソフ
トウェア・コンポーネントは、１つまたは複数の関連す
る記憶装置（例えばＲＯＭ、固定または取外し可能メモ
リ）に記憶することができ、利用される準備ができたと
きに部分的にまたは全体で（例えばＲＡＭに）ロードし
てＣＰＵによって実行することができる。

【０１９０】Ｇ．代替実施形態本発明の教示から自明に得られる可能な拡張の中には次
のものがある。

【０１９１】（ｉ）上に考察した複数装置ブラウジング
（ある所与のモーダル性でも）。

【０１９２】（ii）複数地理サポート。いくつかのジェ
スチャ（例えば電話番号、アドレスなど）を、ローカル
のフォーマットならびに言語に適合させることができ
る。これは、テキスト間変換システムに結合して、異な
るＸＳＬ規則を簡単に介して完全に自動的なローカライ
ズ機構（select yes/Noがselect Oui/Nonになる）を実
現することができる。あるいは、このような自動的なト
ランスコーダがない場合に、システムを開発／ローカラ
イズ用ツールの一部として使用して、ローカライズ／国
際化、地理／地域の適合を高速化することもできる。

【０１９３】（iii）会話型ファウンデーション・クラ
ス（Conversational Foundation Class）。会話型ファ
ウンデーション・クラスは、モーダル性独立の、かつ並
列でおよび逐次的に実行してより複雑なダイアログを構
築できる命令型ダイアログ・コンポーネントとして、Ｙ
Ｏ９９９−１１１に導入された。これらは、会話型アプ
リケーション・プラットフォーム（ＣＶＭ、会話型仮想
マシン）から提供されるサービスと組み合わせられて、
プラットフォームが提供するこれらのファウンデーショ
ン・クラスのライブラリにロード／リンクすることによ
って、命令型会話型（マルチモーダル・アプリケーショ
ン）のプログラミングを可能にする。各ＣＶＭプラット
フォームがこれを提供するので、アプリケーション開発
者はそれらを利用することができ、装置によってサポー
トされるモーダル性内のレンダリングおよびそれらの同
期化を心配しなくてよい。したがって、本明細書に提供
したＣＭＬ仕様中に宣言的に定義した各ジェスチャは、
逐次的に（１つずつ）または並列で（複数のフォームが
一度に活動化されるように複数が活動化される）実行で
きる命令型の実施形態を（例えばJavaで）有することが
できる。ＣＦＣでのプログラミングは、対話による命令
型のプログラミングに相当する。すなわち、何らかの命
令型のジェスチャを使用してそれにリンクし、それをバ
ックエンドにフックし、従来のコードによってそのジェ
スチャを共に結合する。このコードまたはＣＦＣ引数中
に、いくらかのモーダル性特定のカストマイズを加える
こともできる。次いで、プラットフォーム（同じレベル
の機能を実行するＣＶＭまたはブラウザ）が適切なモー
ダル性内のレンダリングと、ファウンデーション・クラ
ス中にハード・コーディングされたモーダル性の間の適
切な同期化とを扱えるようにする。一例は、すべてのフ
ァウンデーション・クラスがJava Classとして提供され
る場合であろう。これにより、対話モデルによるプログ
ラミングをJavaアプレットまたはサーブレットに拡張す
ることが可能である。

【０１９４】（iv）対話によるハイブリッド・プログラ
ミングは、宣言型と命令型の結合である。すなわち、Ｃ
ＦＣおよびＣＦＣを使用して（かつ、よりタスク特定
に）構築された他のオブジェクト、例えばjavaアプレッ
トへの呼出しを伴うＣＭＬページである。したがって、
対話プログラミング・モデルによるプログラミングは、
一般にすべてのプログラミング・モデルをカバーすると
考えられる。

【０１９５】（ｖ）スクリプティング。ＣＭＬは、再利
用したいと思うどんなスクリプティング（http://www.e
cma.ch/stand/ecma-262.htmに定義されているＥＣＭＡ
スクリプトなど）もマルチモーダル・シェルのスクリプ
ティング言語として直接サポートすることができる。モ
ーダル性特定のスクリプト（JavascriptやＷＭＬスクリ
プトのような）は、モーダル性特定のスクリプティング
言語として考えなければならない。ＣＭＬのＥＣＭＡス
クリプトがどのようにレガシー・ブラウザ用に変換され
ることになるかのより詳細な挙動を今日（すなわち我々
が今日のインフラストラクチャを使用する場合のステッ
プのために）定義することは可能だが、これらは、モー
ダル性特定として（すなわち画像のように）単純に扱う
ことができる。

【０１９６】まとめとして、本発明の構成に関して以下
の事項を開示する。

【０１９７】（１）ユーザから１つまたは複数のコンピ
ュータ・ベースの装置を介してアクセス可能なアプリケ
ーションをプログラムする方法であって、前記アプリケ
ーションにアクセスするために使用される前記１つまた
は複数のコンピュータ・ベースの装置とユーザが対話ベ
ースのプログラミング・コンポーネントによって行うこ
とが可能な対話を表現するステップを含み、前記対話ベ
ースのプログラミング・コンポーネントが、前記アプリ
ケーションに関連するコンテンツ／アプリケーション論
理およびプレゼンテーション要件に対して独立、さら
に、コンポーネントごとにトランスコーディングされ
て、前記１つまたは複数のコンピュータ・ベースの装置
上で前記アプリケーションの１つまたは複数のモーダル
性特定のレンダリングを生成する方法。（２）前記アプリケーションの少なくとも一部がサーバ
から、クライアントの役割を果たす前記１つまたは複数
のコンピュータ・ベースの装置のうちの少なくとも１つ
にダウンロードされるクライアント／サーバ構成におい
て、前記サーバに常駐する前記コンテンツ／アプリケー
ション論理への接続を提供するように動作可能なコード
を前記アプリケーション中に含めるステップをさらに含
む、上記（１）に記載の方法。（３）前記コンテンツ／アプリケーション論理接続コー
ドが、前記アプリケーションに関連する１つまたは複数
のデータ・モデル、属性制約、および妥当性検査規則の
うちの少なくとも１つを表す、上記（２）に記載の方
法。（４）前記１つまたは複数のモーダル性特定のレンダリ
ングが、前記アプリケーションの一部のスピーチ・ベー
スの表現を含む、上記（１）に記載の方法。（５）前記スピーチ・ベースの表現がVoiceＸＭＬに基
づく、上記（４）に記載の方法。（６）前記１つまたは複数のモーダル性特定のレンダリ
ングが、前記アプリケーションの一部の視覚ベースの表
現を含む、上記（１）に記載の方法。（７）前記視覚ベースの表現がＨＴＭＬ、ＣＨＴＭＬ、
ＷＭＬのうちの少なくとも１つに基づく、上記（６）に
記載の方法。（８）前記ユーザ対話が前記対話ベースのプログラミン
グ・コンポーネントによって宣言的に表現される、上記
（１）に記載の方法。（９）前記ユーザ対話が前記対話ベースのプログラミン
グ・コンポーネントによって命令的に表現される、上記
（１）に記載の方法。（１０）前記ユーザ対話が前記対話ベースのプログラミ
ング・コンポーネントによって宣言的かつ命令的に表現
される、上記（１）に記載の方法。（１１）前記対話ベースのプログラミング・コンポーネ
ントが、前記ユーザと前記１つまたは複数のコンピュー
タ・ベースの装置との間で発生する可能性のあるダイア
ログに関連する基本要素を含む、上記（１）に記載の方
法。（１２）前記対話ベースのプログラミング・コンポーネ
ントが複合要素を含み、前記複合要素は、前記ユーザと
前記１つまたは複数のコンピュータ・ベースの装置との
間で発生する可能性のあるダイアログに関連する２つ以
上の前記基本要素の集合体である、上記（１１）に記載
の方法。（１３）前記対話ベースのプログラミング・コンポーネ
ントの１つが会話型ジェスチャを表す、上記（１）に記
載の方法。（１４）前記会話型ジェスチャが、ユーザへの情報メッ
セージをカプセル化するジェスチャを含む、上記（１
３）に記載の方法。（１５）前記会話型ジェスチャが、コンテキスト・ヘル
プ情報をカプセル化するジェスチャを含む、上記（１
３）に記載の方法。（１６）前記会話型ジェスチャが、別のジェスチャの完
了が成功したときに行われるアクションをカプセル化す
るジェスチャを含む、上記（１３）に記載の方法。（１７）前記会話型ジェスチャが、イエス／ノー・ベー
スの質問をカプセル化するジェスチャを含む、上記（１
３）に記載の方法。（１８）前記会話型ジェスチャが、ユーザが選択肢のセ
ットから選択することを期待される場合のダイアログを
カプセル化するジェスチャを含む、上記（１３）に記載
の方法。（１９）前記選択ジェスチャが前記選択肢のセットを表
すサブ要素を含む、上記（１８）に記載の方法。（２０）前記選択ジェスチャが、選択がパスすべきテス
トを表すサブ要素を含む、上記（１８）に記載の方法。（２１）前記選択ジェスチャが、前記テストが不合格の
場合に呈示すべきエラー・メッセージを表すサブ要素を
含む、上記（２０）に記載の方法。（２２）前記会話型ジェスチャが、所与の会話型ジェス
チャの結果を妥当性検査するための規則をカプセル化す
るジェスチャを含む、上記（１３）に記載の方法。（２３）前記会話型ジェスチャが、文法処理規則をカプ
セル化するジェスチャを含む、上記（１３）に記載の方
法。（２４）前記会話型ジェスチャが、ユーザが前記アプリ
ケーションの各部分をナビゲートするのを助けるダイア
ログをカプセル化するジェスチャを含む、上記（１３）
に記載の方法。（２５）前記会話型ジェスチャが、少なくとも１つのユ
ーザ・ログインおよび認証の情報を求める要求をカプセ
ル化するジェスチャを含む、上記（１３）に記載の方
法。（２６）前記会話型ジェスチャが、制約付きのユーザ入
力を求める要求をカプセル化するジェスチャを含む、上
記（１３）に記載の方法。（２７）前記会話型ジェスチャが、制約のないユーザ入
力を求める要求をカプセル化するジェスチャを含む、上
記（１３）に記載の方法。（２８）前記会話型ジェスチャが、情報のサブミットを
制御するジェスチャを含む、上記（１３）に記載の方
法。（２９）論理入力イベント、ならびに、前記論理入力イ
ベントと定義された前記論理入力イベントをトリガする
物理入力イベントとの間の関連を定義する機構を提供す
るステップをさらに含む、上記（１）に記載の方法。（３０）前記コンポーネントごとのトランスコーディン
グがＸＳＬ変換規則に従って行われる、上記（１）に記
載の方法。（３１）前記コンポーネントごとのトランスコーディン
グがJava Beanに従って行われる、上記（１）に記載の
方法。（３２）前記コンポーネントごとのトランスコーディン
グがJava Server Pageに従って行われる、上記（１）に
記載の方法。（３３）前記対話ベースのプログラミング・コンポーネ
ントによるプレゼンテーションが、前記１つまたは複数
のコンピュータ・ベースの装置上で前記アプリケーショ
ンの前記１つまたは複数のモーダル性特定のレンダリン
グを同期させることを可能にする、上記（１）に記載の
方法。（３４）前記対話ベースのプログラミング・コンポーネ
ントによるプレゼンテーションが自然言語理解環境をサ
ポートする、上記（１）に記載の方法。（３５）前記１つまたは複数のコンピュータ・ベースの
装置上で前記アプリケーションの前記１つまたは複数の
モーダル性特定のレンダリングに関連するプレゼンテー
ション・フィーチャを表面的に変更することを可能にす
るコードを含めるステップをさらに含む、上記（１）に
記載の方法。（３６）コンポーネントごとにトランスコーディングし
て前記１つまたは複数のコンピュータ・ベースの装置上
で前記アプリケーションの前記１つまたは複数のモーダ
ル性特定のレンダリングを生成するための規則を変更す
ることを可能にするコードを含めるステップをさらに含
む、上記（１）に記載の方法。（３７）実装されている、基礎をなすデータ・モデルの
定義が、前記ユーザ対話を定義するマークアップ言語か
ら分離される、上記（１）に記載の方法。（３８）node_id属性が各コンポーネントに付加され、
前記属性は様々な出力の上にマッピングされる、上記
（１）に記載の方法。（３９）モーダル性特定のマークアップ・コンポーネン
トをカプセル化する通過機構が作成者に提供される、上
記（１）に記載の方法。（４０）前記コンポーネントが並列に活動化させること
ができる、上記（１）に記載の方法。（４１）前記プレゼンテーションおよびトランスコーデ
ィングが拡張可能である、上記（１）に記載の方法。（４２）前記アプリケーションの状態がカプセル化され
る、上記（１）に記載の方法。（４３）前記表現が動的に生成されるデータの参照を可
能にし、前記コンテンツ／アプリケーション論理へのコ
ールバック機構をサポートする、上記（１）に記載の方
法。（４４）１つまたは複数のコンピュータ・ベースの装置
に関連するアプリケーションにアクセスする際に使用す
る装置であって、１つまたは複数のプロセッサを備え、
前記プロセッサが、（ｉ）アプリケーション・サーバか
ら前記アプリケーションを得るように動作可能であり、
前記アプリケーションが、前記１つまたは複数のコンピ
ュータ・ベースの装置とユーザが対話ベースのプログラ
ミング・コンポーネントによって行うことが可能な対話
によってプログラム的に表現され、前記対話ベースのプ
ログラミング・コンポーネントが、前記アプリケーショ
ンに関連するコンテンツ／アプリケーション論理および
プレゼンテーション要件に対して独立し、前記プロセッ
サはまた、（ii）前記対話ベースのプログラミング・コ
ンポーネントをコンポーネントごとにトランスコーディ
ングして、前記１つまたは複数のコンピュータ・ベース
の装置上で前記アプリケーションの１つまたは複数のモ
ーダル性特定のレンダリングを生成するように動作可能
である装置。（４５）前記１つまたは複数のプロセッサが前記１つま
たは複数のコンピュータ・ベースの装置にわたって分散
される、上記（４４）に記載の装置。（４６）前記アプリケーションの少なくとも一部がサー
バから、クライアントの役割を果たす前記１つまたは複
数のコンピュータ・ベースの装置のうちの少なくとも１
つにダウンロードされるクライアント／サーバ構成にお
いて、前記サーバに常駐する前記コンテンツ／アプリケ
ーション論理への接続を提供するように動作可能なコー
ドを前記アプリケーション中に含めるステップをさらに
含む、上記（４４）に記載の装置。（４７）前記コンテンツ／アプリケーション論理接続コ
ードが、前記アプリケーションに関連する１つまたは複
数のデータ・モデル、属性制約、および妥当性検査規則
のうちの少なくとも１つを表す、上記（４６）に記載の
装置。（４８）前記１つまたは複数のモーダル性特定のレンダ
リングが、前記アプリケーションの一部のスピーチ・ベ
ースの表現を含む、上記（４４）に記載の装置。（４９）前記スピーチ・ベースの表現がVoiceＸＭＬに
基づく、上記（４８）に記載の装置。（５０）前記１つまたは複数のモーダル性特定のレンダ
リングが、前記アプリケーションの一部の視覚ベースの
表現を含む、上記（４４）に記載の装置。（５１）前記視覚ベースの表現がＨＴＭＬ、ＣＨＴＭ
Ｌ、ＷＭＬのうちの少なくとも１つに基づく、上記（５
０）に記載の装置。（５２）前記ユーザ対話が前記対話ベースのプログラミ
ング・コンポーネントによって宣言的に表現される、上
記（４４）に記載の装置。（５３）前記ユーザ対話が前記対話ベースのプログラミ
ング・コンポーネントによって命令的に表現される、上
記（４４）に記載の装置。（５４）前記ユーザ対話が前記対話ベースのプログラミ
ング・コンポーネントによって宣言的かつ命令的に表現
される、上記（４４）に記載の装置。（５５）前記対話ベースのプログラミング・コンポーネ
ントが、前記ユーザと前記１つまたは複数のコンピュー
タ・ベースの装置との間で発生する可能性のあるダイア
ログに関連する基本要素を含む、上記（４４）に記載の
装置。（５６）前記対話ベースのプログラミング・コンポーネ
ントが複合要素を含み、前記複合要素は、前記ユーザと
前記１つまたは複数のコンピュータ・ベースの装置との
間で発生する可能性のあるダイアログに関連する２つ以
上の前記基本要素の集合体である、上記（５５）に記載
の装置。（５７）前記対話ベースのプログラミング・コンポーネ
ントの１つが会話型ジェスチャを表す、上記（４４）に
記載の装置。（５８）前記会話型ジェスチャが、ユーザへの情報メッ
セージをカプセル化するジェスチャを含む、上記（５
７）に記載の装置。（５９）前記会話型ジェスチャが、コンテキスト・ヘル
プ情報をカプセル化するジェスチャを含む、上記（５
７）に記載の装置。（６０）前記会話型ジェスチャが、別のジェスチャの完
了が成功したときに行われるアクションをカプセル化す
るジェスチャを含む、上記（５７）に記載の装置。（６１）前記会話型ジェスチャが、イエス／ノー・ベー
スの質問をカプセル化するジェスチャを含む、上記（５
７）に記載の装置。（６２）前記会話型ジェスチャが、ユーザが選択肢のセ
ットから選択することを期待される場合のダイアログを
カプセル化するジェスチャを含む、上記（５７）に記載
の装置。（６３）前記選択ジェスチャが前記選択肢のセットを表
すサブ要素を含む、上記（６２）に記載の装置。（６４）前記選択ジェスチャが、選択がパスすべきテス
トを表すサブ要素を含む、上記（６２）に記載の装置。（６５）前記選択ジェスチャが、前記テストが不合格の
場合に呈示すべきエラー・メッセージを表すサブ要素を
含む、上記（６４）に記載の装置。（６６）前記会話型ジェスチャが、所与の会話型ジェス
チャの結果を妥当性検査するための規則をカプセル化す
るジェスチャを含む、上記（５７）に記載の装置。（６７）前記会話型ジェスチャが、文法処理規則をカプ
セル化するジェスチャを含む、上記（５７）に記載の装
置。（６８）前記会話型ジェスチャが、ユーザが前記アプリ
ケーションの各部分をナビゲートするのを助けるダイア
ログをカプセル化するジェスチャを含む、上記（５７）
に記載の装置。（６９）前記会話型ジェスチャが、少なくとも１つのユ
ーザ・ログインおよび認証の情報を求める要求をカプセ
ル化するジェスチャを含む、上記（５７）に記載の装
置。（７０）前記会話型ジェスチャが、制約付きのユーザ入
力を求める要求をカプセル化するジェスチャを含む、上
記（５７）に記載の装置。（７１）前記会話型ジェスチャが、制約のないユーザ入
力を求める要求をカプセル化するジェスチャを含む、上
記（５７）に記載の装置。（７２）前記会話型ジェスチャが、情報のサブミットを
制御するジェスチャを含む、上記（５７）に記載の装
置。（７３）論理入力イベント、ならびに、前記論理入力イ
ベントと定義された前記論理入力イベントをトリガする
物理入力イベントとの間の関連を定義するための機構を
提供するステップをさらに含む、上記（４４）に記載の
装置。（７４）前記コンポーネントごとのトランスコーディン
グがＸＳＬ変換規則に従って行われる、上記（４４）に
記載の装置。（７５）前記コンポーネントごとのトランスコーディン
グがJava Beanに従って行われる、上記（４４）に記載
の装置。（７６）前記コンポーネントごとのトランスコーディン
グがJava Server Pageに従って行われる、上記（４４）
に記載の装置。（７７）前記対話ベースのプログラミング・コンポーネ
ントによるプレゼンテーションが、前記１つまたは複数
のコンピュータ・ベースの装置上で前記アプリケーショ
ンの前記１つまたは複数のモーダル性特定のレンダリン
グを同期させることを可能にする、上記（４４）に記載
の装置。（７８）前記対話ベースのプログラミング・コンポーネ
ントによるプレゼンテーションが自然言語理解環境をサ
ポートする、上記（４４）に記載の装置。（７９）前記１つまたは複数のコンピュータ・ベースの
装置上で前記アプリケーションの前記１つまたは複数の
モーダル性特定のレンダリングに関連するプレゼンテー
ション・フィーチャを表面的に変更することを可能にす
るコードを含めるステップをさらに含む、上記（４４）
に記載の装置。（８０）コンポーネントごとにトランスコーディングし
て前記１つまたは複数のコンピュータ・ベースの装置上
で前記アプリケーションの前記１つまたは複数のモーダ
ル性特定のレンダリングを生成するための規則を変更す
ることを可能にするコードを含めるステップをさらに含
む、上記（４４）に記載の装置。（８１）実装されている、基礎をなすデータ・モデルの
定義が、前記ユーザ対話を定義するマークアップ言語か
ら分離される、上記（４４）に記載の装置。（８２）node_id属性が各コンポーネントに付加され、
前記属性は様々な出力の上にマッピングされる、上記
（４４）に記載の装置。（８３）モーダル性特定のマークアップ・コンポーネン
トをカプセル化する通過機構が作成者に提供される、上
記（４４）に記載の装置。（８４）前記コンポーネントが並列に活動化させること
ができる、上記（４４）に記載の装置。（８５）前記プレゼンテーションおよびトランスコーデ
ィングが拡張可能である、上記（４４）に記載の装置。（８６）前記アプリケーションの状態がカプセル化され
る、上記（４４）に記載の装置。（８７）前記表現が動的に生成されるデータの参照を可
能にし、前記コンテンツ／アプリケーション論理へのコ
ールバック機構をサポートする、上記（４４）に記載の
装置。（８８）前記１つまたは複数のプロセッサが前記１つま
たは複数のコンピュータ・ベースの装置にわたって分散
され、前記アプリケーションが前記１つまたは複数のコ
ンピュータ・ベースの装置にまたがって同期化される、
上記（４４）に記載の装置。（８９）前記アプリケーションの表現がさらに、１つま
たは複数のモーダル性特定のマークアップ言語を介して
前記１つまたは複数のモーダル性特定のレンダリングを
表面的に変更することを可能にする、上記（４４）に記
載の装置。（９０）ユーザからの１つまたは複数のコンピュータ・
ベースの装置を介したアプリケーションへのアクセスを
提供する際に使用するブラウザ装置であって、コンピュ
ータ実行可能なコードを含む機械読取可能媒体を備え、
前記コンピュータ実行可能なコードが、実行時に、アプ
リケーション・サーバからアプリケーションを得るステ
ップであって、前記アプリケーションが、前記１つまた
は複数のコンピュータ・ベースの装置とユーザが対話ベ
ースのプログラミング・コンポーネントによって行うこ
とが可能な対話によってプログラム的に表現され、前記
対話ベースのプログラミング・コンポーネントが、前記
アプリケーションに関連するコンテンツ／アプリケーシ
ョン論理およびプレゼンテーション要件に対して独立し
ているステップと、前記対話ベースのプログラミング・
コンポーネントをコンポーネントごとにトランスコーデ
ィングして、前記１つまたは複数のコンピュータ・ベー
スの装置上で前記アプリケーションの１つまたは複数の
モーダル性特定のレンダリングを生成するステップとを
実施することを可能にするブラウザ装置。（９１）ユー
ザから１つまたは複数のコンピュータ・ベースの装置を
介してアクセス可能なアプリケーションをプログラミン
グする際に使用する製造品であって、コンピュータ実行
可能なコードを含む機械読取可能媒体を備え、前記コン
ピュータ実行可能なコードが、実行時に、前記アプリケ
ーションにアクセスするために使用される前記１つまた
は複数のコンピュータ・ベースの装置とユーザが対話ベ
ースのプログラミング・コンポーネントによって行うこ
とが可能な対話を表現するステップを実施することを可
能にし、前記対話ベースのプログラミング・コンポーネ
ントが、前記アプリケーションに関連するコンテンツ／
アプリケーション論理およびプレゼンテーション要件に
対して独立、さらに、コンポーネントごとにトランスコ
ーディングされて、前記１つまたは複数のコンピュータ
・ベースの装置上で前記アプリケーションの１つまたは
複数のモーダル性特定のレンダリングを生成する製造
品。

【図面の簡単な説明】

【図１】従来のアプリケーション・プログラミング手法
を示す図である。

【図２】本発明の対話ベースのアプリケーション・プロ
グラミング手法を示す図である。

【図３】本発明の一実施形態によるＣＭＬオーサリング
されたアプリケーションの一例を示す図である。

【図４】ＸＦＯＲＭＳ概念を示す図である。

【図５】本発明の対話ベースのプログラミング手法にお
けるＸＦＯＲＭＳの使用を示す図である。

【図６】本発明の対話ベースのプログラミング手法にお
けるＸＦＯＲＭＳの使用を示す図である。

【図７】ＣＭＬソース・コード・ページから変換された
ＧＵＩ歓迎ページをＨＴＭＬブラウザで見たものを示す
図である。

【図８】ＣＭＬソース・コード・ページから変換された
ＧＵＩ歓迎ページをＨＴＭＬブラウザで見たものを示す
図である。

【図９】ＣＭＬソース・コード・ページから変換された
ＧＵＩ歓迎ページをＨＴＭＬブラウザで見たものを示す
図である。

【図１０】ＣＭＬソース・コード・ページから変換され
たＧＵＩ歓迎ページをＷＭＬブラウザでみたものを示す
図である。

【図１１】ＨＴＭＬによって表面変更されたＣＭＬソー
ス・コード・ページから変換されたＧＵＩ歓迎ページを
ＨＴＭＬブラウザで見たものを示す図である。

【図１２】ＭＶＣモデルの新しい解釈を示す図である。

【図１３】既存のシステムから本発明によってＣＭＬを
完全に使用するまでの移行ロード・マップを示す図であ
る。

【図１４】既存のシステムから本発明によってＣＭＬを
完全に使用するまでの移行ロード・マップを示す図であ
る。

【図１５】既存のシステムから本発明によってＣＭＬを
完全に使用するまでの移行ロード・マップを示す図であ
る。

【図１６】本発明の一実施形態によるマルチモーダル・
ブラウザ体系を示す図である。

【図１７】本発明のマルチモーダル・ブラウザ機構の一
実施形態によるアプリケーション・プログラミング過程
におけるＣＭＬの例示的な使用を示す流れ図である。

【図１８】本発明のマルチモーダル・ブラウザ機構の一
実施形態によるアプリケーション・プログラミング過程
におけるＣＭＬの例示的な使用を示す別の流れ図であ
る。

【図１９】本発明の一実施形態による複数装置ブラウザ
体系を示す図である。

【符号の説明】

１０ＣＭＬコード２０ジェスチャ：タイトル２２ジェスチャ：メッセージ２４ジェスチャ：排他的選択６０マルチモーダル・ブラウザ６２マルチモーダル・シェル６４視覚ブラウザ６４ＧＵＩレンダリング・ブラウザ６６スピーチ・ブラウザ６６スピーチ・レンダリング・ブラウザ６８会話型エンジン６９コンテンツ・サーバ７６登録テーブル７７モーダル性特定のレンダリング７８モーダル性特定のレンダリング８０サーバ８２クライアント装置８４サーバ８６オーディオ入力／出力機能９４ＭＭシェル登録テーブル９８ジェスチャＸＳＬ規則

フロントページの続き (72)発明者ステファン・ハーマン・マエスアメリカ合衆国06811 コネチカット州ダンベリーウィンターグリーン・ヒル・ロード１ (72)発明者ティルヴィルヴァマ・ライヴィー・ラマンアメリカ合衆国95123−5310 カリフォルニア州サンノゼラ・テラス・サークル 2715

Claims

【特許請求の範囲】

【請求項１】ユーザから１つまたは複数のコンピュータ
・ベースの装置を介してアクセス可能なアプリケーショ
ンをプログラムする方法であって、前記アプリケーションにアクセスするために使用される
前記１つまたは複数のコンピュータ・ベースの装置とユ
ーザが対話ベースのプログラミング・コンポーネントに
よって行うことが可能な対話を表現するステップを含
み、前記対話ベースのプログラミング・コンポーネントが、
前記アプリケーションに関連するコンテンツ／アプリケ
ーション論理およびプレゼンテーション要件に対して独
立、さらに、コンポーネントごとにトランスコーディン
グされて、前記１つまたは複数のコンピュータ・ベース
の装置上で前記アプリケーションの１つまたは複数のモ
ーダル性特定のレンダリングを生成する方法。
【請求項２】前記アプリケーションの少なくとも一部が
サーバから、クライアントの役割を果たす前記１つまた
は複数のコンピュータ・ベースの装置のうちの少なくと
も１つにダウンロードされるクライアント／サーバ構成
において、前記サーバに常駐する前記コンテンツ／アプ
リケーション論理への接続を提供するように動作可能な
コードを前記アプリケーション中に含めるステップをさ
らに含む、請求項１に記載の方法。
【請求項３】前記コンテンツ／アプリケーション論理接
続コードが、前記アプリケーションに関連する１つまた
は複数のデータ・モデル、属性制約、および妥当性検査
規則のうちの少なくとも１つを表す、請求項２に記載の
方法。
【請求項４】前記１つまたは複数のモーダル性特定のレ
ンダリングが、前記アプリケーションの一部のスピーチ
・ベースの表現を含む、請求項１に記載の方法。
【請求項５】前記スピーチ・ベースの表現がVoiceＸＭ
Ｌに基づく、請求項４に記載の方法。
【請求項６】前記１つまたは複数のモーダル性特定のレ
ンダリングが、前記アプリケーションの一部の視覚ベー
スの表現を含む、請求項１に記載の方法。
【請求項７】前記視覚ベースの表現がＨＴＭＬ、ＣＨＴ
ＭＬ、ＷＭＬのうちの少なくとも１つに基づく、請求項
６に記載の方法。
【請求項８】前記ユーザ対話が前記対話ベースのプログ
ラミング・コンポーネントによって宣言的に表現され
る、請求項１に記載の方法。
【請求項９】前記ユーザ対話が前記対話ベースのプログ
ラミング・コンポーネントによって命令的に表現され
る、請求項１に記載の方法。
【請求項１０】前記ユーザ対話が前記対話ベースのプロ
グラミング・コンポーネントによって宣言的かつ命令的
に表現される、請求項１に記載の方法。
【請求項１１】前記対話ベースのプログラミング・コン
ポーネントが、前記ユーザと前記１つまたは複数のコン
ピュータ・ベースの装置との間で発生する可能性のある
ダイアログに関連する基本要素を含む、請求項１に記載
の方法。
【請求項１２】前記対話ベースのプログラミング・コン
ポーネントが複合要素を含み、前記複合要素は、前記ユ
ーザと前記１つまたは複数のコンピュータ・ベースの装
置との間で発生する可能性のあるダイアログに関連する
２つ以上の前記基本要素の集合体である、請求項１１に
記載の方法。
【請求項１３】前記対話ベースのプログラミング・コン
ポーネントの１つが会話型ジェスチャを表す、請求項１
に記載の方法。
【請求項１４】前記会話型ジェスチャが、ユーザへの情
報メッセージをカプセル化するジェスチャを含む、請求
項１３に記載の方法。
【請求項１５】前記会話型ジェスチャが、コンテキスト
・ヘルプ情報をカプセル化するジェスチャを含む、請求
項１３に記載の方法。
【請求項１６】前記会話型ジェスチャが、別のジェスチ
ャの完了が成功したときに行われるアクションをカプセ
ル化するジェスチャを含む、請求項１３に記載の方法。
【請求項１７】前記会話型ジェスチャが、イエス／ノー
・ベースの質問をカプセル化するジェスチャを含む、請
求項１３に記載の方法。
【請求項１８】前記会話型ジェスチャが、ユーザが選択
肢のセットから選択することを期待される場合のダイア
ログをカプセル化するジェスチャを含む、請求項１３に
記載の方法。
【請求項１９】前記選択ジェスチャが前記選択肢のセッ
トを表すサブ要素を含む、請求項１８に記載の方法。
【請求項２０】前記選択ジェスチャが、選択がパスすべ
きテストを表すサブ要素を含む、請求項１８に記載の方
法。
【請求項２１】前記選択ジェスチャが、前記テストが不
合格の場合に呈示すべきエラー・メッセージを表すサブ
要素を含む、請求項２０に記載の方法。
【請求項２２】前記会話型ジェスチャが、所与の会話型
ジェスチャの結果を妥当性検査するための規則をカプセ
ル化するジェスチャを含む、請求項１３に記載の方法。
【請求項２３】前記会話型ジェスチャが、文法処理規則
をカプセル化するジェスチャを含む、請求項１３に記載
の方法。
【請求項２４】前記会話型ジェスチャが、ユーザが前記
アプリケーションの各部分をナビゲートするのを助ける
ダイアログをカプセル化するジェスチャを含む、請求項
１３に記載の方法。
【請求項２５】前記会話型ジェスチャが、少なくとも１
つのユーザ・ログインおよび認証の情報を求める要求を
カプセル化するジェスチャを含む、請求項１３に記載の
方法。
【請求項２６】前記会話型ジェスチャが、制約付きのユ
ーザ入力を求める要求をカプセル化するジェスチャを含
む、請求項１３に記載の方法。
【請求項２７】前記会話型ジェスチャが、制約のないユ
ーザ入力を求める要求をカプセル化するジェスチャを含
む、請求項１３に記載の方法。
【請求項２８】前記会話型ジェスチャが、情報のサブミ
ットを制御するジェスチャを含む、請求項１３に記載の
方法。
【請求項２９】論理入力イベント、ならびに、前記論理
入力イベントと定義された前記論理入力イベントをトリ
ガする物理入力イベントとの間の関連を定義する機構を
提供するステップをさらに含む、請求項１に記載の方
法。
【請求項３０】前記コンポーネントごとのトランスコー
ディングがＸＳＬ変換規則に従って行われる、請求項１
に記載の方法。
【請求項３１】前記コンポーネントごとのトランスコー
ディングがJava Beanに従って行われる、請求項１に記
載の方法。
【請求項３２】前記コンポーネントごとのトランスコー
ディングがJava Server Pageに従って行われる、請求項
１に記載の方法。
【請求項３３】前記対話ベースのプログラミング・コン
ポーネントによるプレゼンテーションが、前記１つまた
は複数のコンピュータ・ベースの装置上で前記アプリケ
ーションの前記１つまたは複数のモーダル性特定のレン
ダリングを同期させることを可能にする、請求項１に記
載の方法。
【請求項３４】前記対話ベースのプログラミング・コン
ポーネントによるプレゼンテーションが自然言語理解環
境をサポートする、請求項１に記載の方法。
【請求項３５】前記１つまたは複数のコンピュータ・ベ
ースの装置上で前記アプリケーションの前記１つまたは
複数のモーダル性特定のレンダリングに関連するプレゼ
ンテーション・フィーチャを表面的に変更することを可
能にするコードを含めるステップをさらに含む、請求項
１に記載の方法。
【請求項３６】コンポーネントごとにトランスコーディ
ングして前記１つまたは複数のコンピュータ・ベースの
装置上で前記アプリケーションの前記１つまたは複数の
モーダル性特定のレンダリングを生成するための規則を
変更することを可能にするコードを含めるステップをさ
らに含む、請求項１に記載の方法。
【請求項３７】実装されている、基礎をなすデータ・モ
デルの定義が、前記ユーザ対話を定義するマークアップ
言語から分離される、請求項１に記載の方法。
【請求項３８】node_id属性が各コンポーネントに付加
され、前記属性は様々な出力の上にマッピングされる、
請求項１に記載の方法。
【請求項３９】モーダル性特定のマークアップ・コンポ
ーネントをカプセル化する通過機構が作成者に提供され
る、請求項１に記載の方法。
【請求項４０】前記コンポーネントが並列に活動化させ
ることができる、請求項１に記載の方法。
【請求項４１】前記プレゼンテーションおよびトランス
コーディングが拡張可能である、請求項１に記載の方
法。
【請求項４２】前記アプリケーションの状態がカプセル
化される、請求項１に記載の方法。
【請求項４３】前記表現が動的に生成されるデータの参
照を可能にし、前記コンテンツ／アプリケーション論理
へのコールバック機構をサポートする、請求項１に記載
の方法。
【請求項４４】１つまたは複数のコンピュータ・ベース
の装置に関連するアプリケーションにアクセスする際に
使用する装置であって、１つまたは複数のプロセッサを備え、前記プロセッサ
が、（ｉ）アプリケーション・サーバから前記アプリケ
ーションを得るように動作可能であり、前記アプリケー
ションが、前記１つまたは複数のコンピュータ・ベース
の装置とユーザが対話ベースのプログラミング・コンポ
ーネントによって行うことが可能な対話によってプログ
ラム的に表現され、前記対話ベースのプログラミング・
コンポーネントが、前記アプリケーションに関連するコ
ンテンツ／アプリケーション論理およびプレゼンテーシ
ョン要件に対して独立し、前記プロセッサはまた、（i
i）前記対話ベースのプログラミング・コンポーネント
をコンポーネントごとにトランスコーディングして、前
記１つまたは複数のコンピュータ・ベースの装置上で前
記アプリケーションの１つまたは複数のモーダル性特定
のレンダリングを生成するように動作可能である装置。
【請求項４５】前記１つまたは複数のプロセッサが前記
１つまたは複数のコンピュータ・ベースの装置にわたっ
て分散される、請求項４４に記載の装置。
【請求項４６】前記アプリケーションの少なくとも一部
がサーバから、クライアントの役割を果たす前記１つま
たは複数のコンピュータ・ベースの装置のうちの少なく
とも１つにダウンロードされるクライアント／サーバ構
成において、前記サーバに常駐する前記コンテンツ／ア
プリケーション論理への接続を提供するように動作可能
なコードを前記アプリケーション中に含めるステップを
さらに含む、請求項４４に記載の装置。
【請求項４７】前記コンテンツ／アプリケーション論理
接続コードが、前記アプリケーションに関連する１つま
たは複数のデータ・モデル、属性制約、および妥当性検
査規則のうちの少なくとも１つを表す、請求項４６に記
載の装置。
【請求項４８】前記１つまたは複数のモーダル性特定の
レンダリングが、前記アプリケーションの一部のスピー
チ・ベースの表現を含む、請求項４４に記載の装置。
【請求項４９】前記スピーチ・ベースの表現がVoiceＸ
ＭＬに基づく、請求項４８に記載の装置。
【請求項５０】前記１つまたは複数のモーダル性特定の
レンダリングが、前記アプリケーションの一部の視覚ベ
ースの表現を含む、請求項４４に記載の装置。
【請求項５１】前記視覚ベースの表現がＨＴＭＬ、ＣＨ
ＴＭＬ、ＷＭＬのうちの少なくとも１つに基づく、請求
項５０に記載の装置。
【請求項５２】前記ユーザ対話が前記対話ベースのプロ
グラミング・コンポーネントによって宣言的に表現され
る、請求項４４に記載の装置。
【請求項５３】前記ユーザ対話が前記対話ベースのプロ
グラミング・コンポーネントによって命令的に表現され
る、請求項４４に記載の装置。
【請求項５４】前記ユーザ対話が前記対話ベースのプロ
グラミング・コンポーネントによって宣言的かつ命令的
に表現される、請求項４４に記載の装置。
【請求項５５】前記対話ベースのプログラミング・コン
ポーネントが、前記ユーザと前記１つまたは複数のコン
ピュータ・ベースの装置との間で発生する可能性のある
ダイアログに関連する基本要素を含む、請求項４４に記
載の装置。
【請求項５６】前記対話ベースのプログラミング・コン
ポーネントが複合要素を含み、前記複合要素は、前記ユ
ーザと前記１つまたは複数のコンピュータ・ベースの装
置との間で発生する可能性のあるダイアログに関連する
２つ以上の前記基本要素の集合体である、請求項５５に
記載の装置。
【請求項５７】前記対話ベースのプログラミング・コン
ポーネントの１つが会話型ジェスチャを表す、請求項４
４に記載の装置。
【請求項５８】前記会話型ジェスチャが、ユーザへの情
報メッセージをカプセル化するジェスチャを含む、請求
項５７に記載の装置。
【請求項５９】前記会話型ジェスチャが、コンテキスト
・ヘルプ情報をカプセル化するジェスチャを含む、請求
項５７に記載の装置。
【請求項６０】前記会話型ジェスチャが、別のジェスチ
ャの完了が成功したときに行われるアクションをカプセ
ル化するジェスチャを含む、請求項５７に記載の装置。
【請求項６１】前記会話型ジェスチャが、イエス／ノー
・ベースの質問をカプセル化するジェスチャを含む、請
求項５７に記載の装置。
【請求項６２】前記会話型ジェスチャが、ユーザが選択
肢のセットから選択することを期待される場合のダイア
ログをカプセル化するジェスチャを含む、請求項５７に
記載の装置。
【請求項６３】前記選択ジェスチャが前記選択肢のセッ
トを表すサブ要素を含む、請求項６２に記載の装置。
【請求項６４】前記選択ジェスチャが、選択がパスすべ
きテストを表すサブ要素を含む、請求項６２に記載の装
置。
【請求項６５】前記選択ジェスチャが、前記テストが不
合格の場合に呈示すべきエラー・メッセージを表すサブ
要素を含む、請求項６４に記載の装置。
【請求項６６】前記会話型ジェスチャが、所与の会話型
ジェスチャの結果を妥当性検査するための規則をカプセ
ル化するジェスチャを含む、請求項５７に記載の装置。
【請求項６７】前記会話型ジェスチャが、文法処理規則
をカプセル化するジェスチャを含む、請求項５７に記載
の装置。
【請求項６８】前記会話型ジェスチャが、ユーザが前記
アプリケーションの各部分をナビゲートするのを助ける
ダイアログをカプセル化するジェスチャを含む、請求項
５７に記載の装置。
【請求項６９】前記会話型ジェスチャが、少なくとも１
つのユーザ・ログインおよび認証の情報を求める要求を
カプセル化するジェスチャを含む、請求項５７に記載の
装置。
【請求項７０】前記会話型ジェスチャが、制約付きのユ
ーザ入力を求める要求をカプセル化するジェスチャを含
む、請求項５７に記載の装置。
【請求項７１】前記会話型ジェスチャが、制約のないユ
ーザ入力を求める要求をカプセル化するジェスチャを含
む、請求項５７に記載の装置。
【請求項７２】前記会話型ジェスチャが、情報のサブミ
ットを制御するジェスチャを含む、請求項５７に記載の
装置。
【請求項７３】論理入力イベント、ならびに、前記論理
入力イベントと定義された前記論理入力イベントをトリ
ガする物理入力イベントとの間の関連を定義するための
機構を提供するステップをさらに含む、請求項４４に記
載の装置。
【請求項７４】前記コンポーネントごとのトランスコー
ディングがＸＳＬ変換規則に従って行われる、請求項４
４に記載の装置。
【請求項７５】前記コンポーネントごとのトランスコー
ディングがJava Beanに従って行われる、請求項４４に
記載の装置。
【請求項７６】前記コンポーネントごとのトランスコー
ディングがJava Server Pageに従って行われる、請求項
４４に記載の装置。
【請求項７７】前記対話ベースのプログラミング・コン
ポーネントによるプレゼンテーションが、前記１つまた
は複数のコンピュータ・ベースの装置上で前記アプリケ
ーションの前記１つまたは複数のモーダル性特定のレン
ダリングを同期させることを可能にする、請求項４４に
記載の装置。
【請求項７８】前記対話ベースのプログラミング・コン
ポーネントによるプレゼンテーションが自然言語理解環
境をサポートする、請求項４４に記載の装置。
【請求項７９】前記１つまたは複数のコンピュータ・ベ
ースの装置上で前記アプリケーションの前記１つまたは
複数のモーダル性特定のレンダリングに関連するプレゼ
ンテーション・フィーチャを表面的に変更することを可
能にするコードを含めるステップをさらに含む、請求項
４４に記載の装置。
【請求項８０】コンポーネントごとにトランスコーディ
ングして前記１つまたは複数のコンピュータ・ベースの
装置上で前記アプリケーションの前記１つまたは複数の
モーダル性特定のレンダリングを生成するための規則を
変更することを可能にするコードを含めるステップをさ
らに含む、請求項４４に記載の装置。
【請求項８１】実装されている、基礎をなすデータ・モ
デルの定義が、前記ユーザ対話を定義するマークアップ
言語から分離される、請求項４４に記載の装置。
【請求項８２】node_id属性が各コンポーネントに付加
され、前記属性は様々な出力の上にマッピングされる、
請求項４４に記載の装置。
【請求項８３】モーダル性特定のマークアップ・コンポ
ーネントをカプセル化する通過機構が作成者に提供され
る、請求項４４に記載の装置。
【請求項８４】前記コンポーネントが並列に活動化させ
ることができる、請求項４４に記載の装置。
【請求項８５】前記プレゼンテーションおよびトランス
コーディングが拡張可能である、請求項４４に記載の装
置。
【請求項８６】前記アプリケーションの状態がカプセル
化される、請求項４４に記載の装置。
【請求項８７】前記表現が動的に生成されるデータの参
照を可能にし、前記コンテンツ／アプリケーション論理
へのコールバック機構をサポートする、請求項４４に記
載の装置。
【請求項８８】前記１つまたは複数のプロセッサが前記
１つまたは複数のコンピュータ・ベースの装置にわたっ
て分散され、前記アプリケーションが前記１つまたは複
数のコンピュータ・ベースの装置にまたがって同期化さ
れる、請求項４４に記載の装置。
【請求項８９】前記アプリケーションの表現がさらに、
１つまたは複数のモーダル性特定のマークアップ言語を
介して前記１つまたは複数のモーダル性特定のレンダリ
ングを表面的に変更することを可能にする、請求項４４
に記載の装置。
【請求項９０】ユーザからの１つまたは複数のコンピュ
ータ・ベースの装置を介したアプリケーションへのアク
セスを提供する際に使用するブラウザ装置であって、コ
ンピュータ実行可能なコードを含む機械読取可能媒体を
備え、前記コンピュータ実行可能なコードが、実行時
に、アプリケーション・サーバからアプリケーションを得る
ステップであって、前記アプリケーションが、前記１つ
または複数のコンピュータ・ベースの装置とユーザが対
話ベースのプログラミング・コンポーネントによって行
うことが可能な対話によってプログラム的に表現され、
前記対話ベースのプログラミング・コンポーネントが、
前記アプリケーションに関連するコンテンツ／アプリケ
ーション論理およびプレゼンテーション要件に対して独
立しているステップと、前記対話ベースのプログラミング・コンポーネントをコ
ンポーネントごとにトランスコーディングして、前記１
つまたは複数のコンピュータ・ベースの装置上で前記ア
プリケーションの１つまたは複数のモーダル性特定のレ
ンダリングを生成するステップとを実施することを可能
にするブラウザ装置。
【請求項９１】ユーザから１つまたは複数のコンピュー
タ・ベースの装置を介してアクセス可能なアプリケーシ
ョンをプログラミングする際に使用する製造品であっ
て、コンピュータ実行可能なコードを含む機械読取可能
媒体を備え、前記コンピュータ実行可能なコードが、実
行時に、前記アプリケーションにアクセスするために使用される
前記１つまたは複数のコンピュータ・ベースの装置とユ
ーザが対話ベースのプログラミング・コンポーネントに
よって行うことが可能な対話を表現するステップを実施
することを可能にし、前記対話ベースのプログラミング・コンポーネントが、
前記アプリケーションに関連するコンテンツ／アプリケ
ーション論理およびプレゼンテーション要件に対して独
立、さらに、コンポーネントごとにトランスコーディン
グされて、前記１つまたは複数のコンピュータ・ベース
の装置上で前記アプリケーションの１つまたは複数のモ
ーダル性特定のレンダリングを生成する製造品。