JP2003216293A - 情報処理装置及びその制御方法、プログラム - Google Patents

Abstract

(57)【要約】 【課題】 より汎用性が高く、かつ拡張が容易なモダリ
ティの制御を実現できる情報処理装置及びその制御方
法、プログラムを提供する。 【解決手段】 複数種類のモダリティを有し、マークア
ップ言語に基づいて該複数種類のモダリティを制御する
情報処理装置において、このマークアップ言語は、当該
情報処理装置の対話の内容を示す対話記述と、前記対話
記述と独立に分離して構成される、当該情報処理装置の
モダリティを示すモダリティ記述と、前記モダリティ記
述と前記対話記述とを結び付けるバインド記述とを含ん
でいる。また、モダリティ管理部１０５は、モダリティ
記述に従って、モダリティを管理する。モダリティ制御
部１０６は、バインド記述に従って、モダリティと対話
間に関する処理を制御する。対話実行部１０７は、対話
記述に従って、対話を管理する。そして、対話実行部１
０７からの指示に基づいて、機器制御部１０８は、情報
処理装置の制御を実行する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数種類のモダリ
ティを有し、マークアップ言語に基づいて該複数種類の
モダリティを制御する情報処理装置、あるいはマークア
ップ言語に基づいて、制御対象機器の操作機器として動
作する情報処理装置及びその制御方法、プログラムに関
するものである。

【０００２】

【従来の技術】ＨＴＭＬというマークアップ言語で記述
されたコンテンツをブラウザを用いて閲覧するＷｅｂブ
ラウジングは、いまや世界的に普及した技術である。Ｈ
ＴＭＬは、コンテンツを表示するためのマークアップ言
語である。ＨＴＭＬは、フォームという仕組みを備えて
おり、ボタンやテキストボックスといったＧＵＩ部品を
備えることができる。これと、ＷｅｂサーバのＣＧＩ
（Common Gateway Interface）という機構により、単に
閲覧するだけでなく、Ｗｅｂサーバにクライアント（ネ
ットワークにおいてサーバの提供する機能やデータを利
用するコンピュータ、およびソフトウェアを意味する。
このクライアントとしては、例えば、ネットワークに接
続されたコンピュータ、家庭用のパーソナルコンピュー
タ、およびコンピュータ上で動作するＷｅｂブラウザ、
ビューワ等が該当する）から情報を送信し、この情報に
基づいて、Ｗｅｂサーバが何らかのプログラムを実行
し、結果をやはりＨＴＭＬの形でクライアントに返信す
るといったことが可能である。例えば、Ｗｅｂのサーチ
エンジンは一般にこの方法で実現で実現されている。

【０００３】この仕組みは、Ｗｅｂブラウジングだけで
なく、機器制御にも応用可能である。即ち、制御対象機
器にＷｅｂサーバを搭載し、クライアントである操作機
器からのリクエストに対し、自身を制御するためのＧＵ
Ｉ部品からなるフォームを含んだＨＴＭＬファイルを操
作機器に送信する。操作機器は、ブラウザでこのＨＴＭ
Ｌファイルを表示し、ユーザが操作機器上でＧＵＩを操
作する。操作機器は、その入力を制御対象機器（例え
ば、Ｗｅｂサーバ）に送信する。制御対象機器の中で
は、ＣＧＩの機構でこの入力が、制御プログラムに渡さ
れ、入力に応じた制御がなされる。

【０００４】一方、近年、ＰＤＡや携帯電話、カーナビ
などの携帯端末のように、情報機器形態の多様化が進
み、パーソナルコンピュータ（以下、ＰＣと呼ぶ）以外
のこうした機器からもインターネットに接続できるよう
になっている。これにともない、ＷＭＬ等のＨＴＭＬに
かわるマークアップ言語が開発・標準化されている。ま
た、音声認識・合成技術の発達、ＣＴＩ技術の発達によ
り、電話を介した音声対話によってＷｅｂにアクセスす
ることが可能になり、これにともなって、ＶｏｉｃｅＸ
ＭＬなどのマークアップ言語が開発・標準化されてい
る。このように、機器形態に適したマークアップ言語が
開発・標準化されている。

【０００５】機器形態の多様化に加え、ＰＣやＰＤＡで
はＧＵＩ、電話機では音声とＤＴＭＦといった具合に、
ＵＩのモダリティも多様化している。こうした多様化す
るモダリティをうまく組み合わせて操作性を向上するマ
ルチモーダルユーザインタフェースへの注目が高まって
いる。

【０００６】

【発明が解決しようとする課題】マルチモーダルユーザ
インタフェースの記述には、対話記述（ユーザからどん
な入力を受け、どんな出力をするか、その入出力がどの
ような手順で進むかを示す記述）とモダリティ記述（ど
のようなＵＩ部品を用いてその入出力を行うかを示す記
述）が少なくとも必要である。

【０００７】対話記述は、一般に、ユーザ主導、システ
ム主導、混合主導の３タイプに大きく分かれる。ユーザ
主導は、ユーザが入出力の手順を選べるもので、例え
ば、フォームを埋めたり、ボタンを押したりするＨＴＭ
ＬベースのＷｅｂブラウジングは、これに該当する。

【０００８】一方、システム主導は、システムが入出力
手順を決め、ユーザはシステムの指示に従って入力を進
めるタイプのものである。例えば、ウイザード形式のイ
ンストーラがこれに該当し、また、ＣＴＩシステムのよ
うにシステムの音声案内に沿って音声入力したりＤＴＭ
Ｆによる入力する構成も、このシステム主導の例であ
る。

【０００９】混合主導は、これらのユーザ主導及びシス
テム主導の双方を合わせたものである。例えば、Ｖｏｉ
ｃｅＸＭＬは、システム主導と混合主導の記述が可能な
ように設計されている。より汎用性の高いＵＩ記述を実
現するには、ユーザ主導、システム主導、混合主導のい
ずれかに縛られず、ＵＩ開発者が自由に対話戦略を記述
できることが望ましいが、既存のＨＴＭＬ、ＷＭＬ、Ｖ
ｏｉｃｅＸＭＬなどのマークアップ言語では、いずれか
のタイプの対話に偏っているという問題がある。

【００１０】モダリティ記述は、クライアントの形態に
大きく依存する。ＰＣのような汎用的な機器であれば、
豊富なＧＵＩを備え、最近では音声認識・合成技術の発
展により、音声ＵＩを備えるものもある。一方、携帯電
話は、音声を使うのが最も適している。なぜなら、携帯
電話は、小さな液晶画面で簡単なＧＵＩ部品をサポート
しているものの、ポインティングデバイスもなく、必ず
しもそのＧＵＩ部品を使いやすいとは言えないからであ
る。また、機器制御を視野に入れると、操作機器として
リモコン（リモートコントローラ）がある。リモコン
は、物理ボタンによる操作が一般的である。

【００１１】既存のマークアップ言語を見ると、ＨＴＭ
Ｌは、基本的にＧＵＩをモダリティとして想定してい
る。また、ＶｏｉｃｅＸＭＬは音声とＤＴＭＦをモダリ
ティとして想定している。いずれも、モダリティ依存な
マークアップ言語であり、しかも、複数のモダリティを
組み合わせるマルチモーダルユーザインタフェースには
向いていない。

【００１２】このような対話記述とモダリティ記述の方
法には２種類の方法がある。

【００１３】一つは、ある入力はＧＵＩボタンで、ある
出力は音声でといった具合に、対話記述の中にモダリテ
ィの入出力形態の記述を明示する方法である。もう一つ
は、対話記述とモダリティ記述を分離し、対話記述をモ
ダリティ非依存な形で記述する方法である。

【００１４】後者の方法では、ある制御対象機器の操作
手順である対話記述をモダリティ非依存な形で行い、こ
れとは分離された形で、いろんなクライアントごとに、
そのクライアントに合わせたモダリティ記述を行うこと
で、一つの制御対象機器をいろんなクライアントから操
作できるようになる。対話記述とモダリティ記述を分離
した記述が可能なマルチモーダルユーザインタフェース
のマークアップ言語としては、ＣＭＬ（特開２００１−
１５４８５２）がある。

【００１５】ＣＭＬでは、対話記述自体はモダリティ独
立な形で記述しており、モダリティ記述自体やその制御
記述を行う枠組みはない。対話記述部分をＨＴＭＬ、Ｗ
ＭＬ、ＶｏｉｃｅＸＭＬなどの既存マークアップ言語に
変換することでモダリティを生成する。あるいは、ブラ
ウザがＣＭＬを直接実行する場合は、ブラウザがその搭
載機器のモダリティを既知のものとし、どのモダリティ
を対話記述内のどの入出力要素に対応づけるかはブラウ
ザに任せる仕様になっている。

【００１６】この場合、ＵＩ開発者が、複数のモダリテ
ィをどのように組み合わせるかを記述できないため、マ
ルチモーダルユーザインタフェースとしてのメリットを
発揮できない。例えば、ボタンＡを押しながら発声した
場合とボタンＢを押しながら発声した場合とで異なる動
作をする、といった記述ができない。また、ＵＩ開発者
がマークアップ言語の記述によってモダリティをカスタ
マイズしたり、制御したりすることができないという問
題がある。例えば、周囲雑音が大きい時には音声入力モ
ダリティはｏｆｆにするといった記述ができない。

【００１７】本発明は上記の課題を解決するためになさ
れものであり、より汎用性が高く、かつ拡張が容易なモ
ダリティの制御を実現できる情報処理装置及びその制御
方法、プログラムを提供することを目的とする。

【００１８】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による情報処理装置は以下の構成を備える。
即ち、複数種類のモダリティを有し、マークアップ言語
に基づいて該複数種類のモダリティを制御する情報処理
装置であって、前記マークアップ言語は、当該情報処理
装置の対話の内容を示す対話記述と、前記対話記述と独
立に分離して構成される、当該情報処理装置のモダリテ
ィを示すモダリティ記述と、前記モダリティ記述と前記
対話記述とを結び付けるバインド記述とを含み、前記モ
ダリティ記述に従って、前記モダリティを管理する管理
手段と、前記バインド記述に従って、前記モダリティと
前記対話間に関する処理を制御するモダリティ制御手段
と、前記対話記述に従って、前記対話を管理する対話実
行手段と、前記対話実行手段からの指示に基づいて、当
該情報処理装置の制御を実行する制御手段とを備える。

【００１９】また、好ましくは、記対話記述は、入出力
の処理単位である、１つもしくは複数の最小対話要素か
ら構成され、前記最小対話要素は、０個もしくは１個の
入力要素と０個もしくは１個以上の出力要素を含む。

【００２０】また、好ましくは、前記最小対話要素は、
イベントに関するイベント情報の記述を含む。

【００２１】また、好ましくは、前記最小対話要素は、
当該最小対話要素への入力に対するアクションに関する
アクション情報の記述を含む。

【００２２】また、好ましくは、前記最小対話要素は、
active／inactiveの２つのどちらかの状態を有し、かつ
当該最小対話要素は、前記アクション情報として、自身
または別の最小対話要素をactivate／deactivateする記
述を含む。

【００２３】また、好ましくは、前記出力要素は、その
出力内容を示す記述を含む。

【００２４】また、好ましくは、前記モダリティ記述
は、前記モダリティのクラスの定義、継承、クラス間の
階層関係、前記クラスのインスタンスの定義を示す各記
述の内の少なくともいずれかを含む。

【００２５】また、好ましくは、前記モダリティ記述中
の各モダリティは、active／inactiveの２つのどちらか
の状態を有する。

【００２６】また、好ましくは、前記バインド記述は、
１つまたは複数のモダリティを、１つまたは複数の入力
要素に結び付けるための記述であり、かつ１つの入力要
素に対して複数のモダリティを結び付ける場合、それら
のモダリティの組み合わせ方の記述を含む。

【００２７】また、好ましくは、前記バインド記述は、
１つまたは複数のモダリティを、１つまたは複数の出力
要素に結び付けるための記述であり、かつ１つの出力要
素に対して複数のモダリティを結び付ける場合、それら
のモダリティの組み合わせ方の記述を含む。

【００２８】また、好ましくは、前記バインド記述は、
モダリティと出力要素への結び付けを示す記述であるバ
インド要素中にその出力内容を示す記述と、出力要素に
結び付けられたモダリティごとにその出力内容を示す記
述の少なくとも一方を含み、前記バインド要素中に記述
された出力内容は、その結び付けの対象である出力要素
中に記述された出力内容より優先し、また、前記バイン
ド要素中でモダリティごとに記述された出力内容は、該
バインド要素中に記述された出力内容より優先する。

【００２９】また、好ましくは、前記バインド記述の各
バインド要素は、結び付けの対象であるモダリティをac
tivate／deactivateする記述を含む。

【００３０】上記の目的を達成するための本発明による
情報処理装置は以下の構成を備える。即ち、マークアッ
プ言語に基づいて、制御対象機器の操作機器として動作
する情報処理装置であって、前記制御対象機器の対話の
内容を示す対話記述と独立に分離して構成される、当該
情報処理装置のモダリティを示すモダリティ記述を含む
マークアップ言語を記憶する第１記憶手段と、前記モダ
リティ記述と前記対話記述とを結び付けるバインド記述
を含むマークアップ言語を記憶する第２記憶手段と、前
記モダリティ記述に従って、前記モダリティを管理する
管理手段と、前記バインド記述に従って、前記モダリテ
ィと前記対話間に関する処理を制御するモダリティ制御
手段とを備える。

【００３１】上記の目的を達成するための本発明による
情報処理装置の制御方法は以下の構成を備える。即ち、
マークアップ言語に基づいて、複数種類のモダリティを
有する情報処理装置の制御方法であって、前記マークア
ップ言語は、前記情報処理装置の対話の内容を示す対話
記述と、前記対話記述と独立に分離して構成される、前
記情報処理装置のモダリティを示すモダリティ記述と、
前記モダリティ記述と前記対話記述とを結び付けるバイ
ンド記述とを含み、前記モダリティ記述に従って、前記
モダリティを管理する管理工程と、前記バインド記述に
従って、前記モダリティと前記対話間に関する処理を制
御するモダリティ制御工程と、前記対話記述に従って、
前記対話を管理する対話実行工程と、前記対話実行工程
からの指示に基づいて、前記情報処理装置の制御を実行
する制御工程とを備える。

【００３２】上記の目的を達成するための本発明による
情報処理装置の制御方法は以下の構成を備える。即ち、
マークアップ言語に基づいて、制御対象機器の操作機器
として動作する情報処理装置の制御方法であって、前記
制御対象機器の対話の内容を示す対話記述と独立に分離
して構成される、当該情報処理装置のモダリティを示す
モダリティ記述を含むマークアップ言語を記憶媒体に記
憶する第１記憶工程と、前記モダリティ記述と前記対話
記述とを結び付けるバインド記述を含むマークアップ言
語を前記記憶媒体に記憶する第２記憶工程と、前記モダ
リティ記述に従って、前記モダリティを管理する管理工
程と、前記バインド記述に従って、前記モダリティと前
記対話間に関する処理を制御するモダリティ制御工程と
を備える。

【００３３】上記の目的を達成するための本発明による
プログラムは以下の構成を備える。即ち、マークアップ
言語に基づいて、複数種類のモダリティを有する情報処
理装置の制御をコンピュータに機能させるためのプログ
ラムであって、前記マークアップ言語は、前記情報処理
装置の対話の内容を示す対話記述と、前記対話記述と独
立に分離して構成される、前記情報処理装置のモダリテ
ィを示すモダリティ記述と、前記モダリティ記述と前記
対話記述とを結び付けるバインド記述とを含み、前記モ
ダリティ記述に従って、前記モダリティを管理する管理
工程のプログラムコードと、前記バインド記述に従っ
て、前記モダリティと前記対話間に関する処理を制御す
るモダリティ制御工程のプログラムコードと、前記対話
記述に従って、前記対話を管理する対話実行工程のプロ
グラムコードと、前記対話実行工程からの指示に基づい
て、前記情報処理装置の制御を実行する制御工程のプロ
グラムコードとを備える。

【００３４】上記の目的を達成するための本発明による
プログラムは以下の構成を備える。即ち、マークアップ
言語に基づいて、制御対象機器の操作機器として動作す
る情報処理装置の制御をコンピュータに機能させるため
のプログラムであって、前記制御対象機器の対話の内容
を示す対話記述と独立に分離して構成される、当該情報
処理装置のモダリティを示すモダリティ記述を含むマー
クアップ言語を記憶媒体に記憶する第１記憶工程のプロ
グラムコードと、前記モダリティ記述と前記対話記述と
を結び付けるバインド記述を含むマークアップ言語を前
記記憶媒体に記憶する第２記憶工程のプログラムコード
と、前記モダリティ記述に従って、前記モダリティを管
理する管理工程のプログラムコードと、前記バインド記
述に従って、前記モダリティと前記対話間に関する処理
を制御するモダリティ制御工程のプログラムコードとを
備える。

【００３５】上記の目的を達成するための本発明による
プログラムは以下の構成を備える。即ち、情報処理装置
が有する複数種類のモダリティの制御をコンピュータに
機能させるためのプログラムであって、前記情報処理装
置の対話の内容を示す対話記述からなるプログラムコー
ドと、前記対話記述と独立に分離して構成される、前記
情報処理装置のモダリティを示すモダリティ記述からな
るプログラムコードと、前記モダリティ記述と前記対話
記述とを結び付けるバインド記述からなるプログラムコ
ードとを備え、前記各プログラムコードは、互いに独立
に分離して構成される。

【００３６】

【発明の実施の形態】以下、図面を参照して本発明の好
適な一実施形態を詳細に説明する。 ［実施形態１］まず、本発明の特徴であるマルチモーダ
ルユーザインタフェースマークアップ言語（以下、ＭＭ
ＭＬと記述する）の仕様例を説明する。特に、ここで
は、コピー機のＵＩを実現する場合を例に挙げて説明す
る。

【００３７】３層構造 本発明では、図１に示すように、デバイスに依存するモ
ダリティ記述とＵＩロジックである対話記述を分離して
記述する。特に、モダリティ記述（タグ＜modality＞〜
＜/modality＞で括られる部分）を示すモダリティ層４
０１、対話記述（タグ＜dialog＞〜＜/dialog＞で括ら
れる部分）を示す対話層４０３に加え、モダリティと対
話を結び付ける記述（タグ＜Binds＞〜＜/Binds＞で括
られる部分）を示すバインド層４０２の３層構造をと
る。

【００３８】このように、モダリティ記述を分離するこ
とによって、一つの対話記述（ＵＩロジック）をモダリ
ティの異なる複数の機器で共有することが可能になる。
この３層構造の具体例が図１である。

【００３９】図１では、コピー機の操作を示すコピー機
モダリティ記述（Copier modalities）、具体的には、
コピー機の物理ボタンやＬＣＤ上のＧＵＩ等による操作
に関する記述に加え、携帯電話からでも操作可能にする
記述（Mobile phone modalities）の構造を示してい
る。この例のように、コピー機対話記述（Copier Dialo
g）を１つ構成すれば、機器依存なモダリティ層とバイ
ンド層を機器ごとに記述するだけで、さまざまな機器か
らの操作が可能となる。

【００４０】モダリティのクラスとインスタンス ＭＭＭＬにおけるモダリティ層の記述において、各モダ
リティ、即ち、ＵＩ部品を表す語彙を、ＭＭＭＬの定義
語としてすべて事前定義するのは困難であり、また拡張
性に欠ける。そこで、一般的に用いられると予想される
何種類かのＵＩ部品のクラスをＭＭＭＬ共通語彙として
定義し、このクラスを継承することで新規クラスを定義
できるようにする。さらに、こうしたクラスのインスタ
ンスの形で、実際のＵＩ記述で用いるＵＩ部品を定義で
きるようにする。クラスの定義、継承、クラス間の階層
関係、インスタンスの定義をＸＭＬで記述する方法とし
て、実施形態１では、ＲＤＦスキーマを用いる。ＲＤＦ
スキーマは、Ｗｅｂの標準化団体であるＷ３Ｃ（http:/
/www.w3c.org参照）で標準化されているマークアップ言
語（http://www.w3.org/TR/rdf-schema/参照）である。

【００４１】汎用モダリティクラスのスキーマ 一般的に用いられると予想される何種類かＧＵＩ部品ク
ラスをＭＭＭＬの語彙として、ＲＤＦスキーマの形で定
義する。このＲＤＦスキーマ（汎用モダリティスキー
マ）を図式的に表現した例を、図２に示す。図２のよう
に、ＲＤＦスキーマを用いて、ＵＩ部品のクラスを階層
的に定義できる。例えば、「Button」はサブクラスとし
て「Physical Button」と「GUI Button」が定義でき
る。前者は、例えば、コピー機のボタンのようなもの、
後者は、例えば、液晶パネルに表示されるボタンであ
る。また、このＲＤＦスキーマのＸＭＬ表現は、図２０
Ａ〜図２０Ｅのようになる。

【００４２】操作機器（クライアント）のモダリティス
キーマ ＭＭＭＬ共通語彙として定義された一般的なＵＩ部品ク
ラスをベースに、操作機器依存のＵＩ部品クラスやイン
スタンスを定義するスキーマを記述する。即ち、このモ
ダリティスキーマは、その操作機器において、どのよう
なモダリティが利用可能かを記述するものであり、その
操作機器のメーカが提供することを想定している。例え
ば、図３のコピー機のＵＩ部品（ＬＣＤ、物理ボタン、
音声入力、音声出力等）に対応するモダリティスキーマ
の図式例は図４のようになる。また、このモダリティス
キーマのＸＭＬ表現は、図２１Ａ及び図２１Ｂのように
なる。

【００４３】ＵＩ開発者によるモダリティの拡張 図４の汎用モダリティスキーマ（Generic Modalities S
chema）に対するコピー機モダリティスキーマ（Copier
Modalities Schema）において、細枠のボックスはクラ
ス、太枠のボックスはインスタンスを表す。この図にお
いて、「StartButton」や「ResetButton」、「10Key-
1」…「10Key-0」は、それぞれコピー機のスタートボタ
ン、リセットボタン、テンキーなどの物理ボタンを意味
し、汎用モダリティスキーマ（図２）で定義された物理
ボタンクラス「PhysicalButton」のインスタンスとして
定義されている。コピー機のＵＩの開発者は、これらの
語彙を直接用いてＵＩを記述する。

【００４４】一方、「CopierGUIButton」などは、ＧＵ
Ｉのボタンを表すクラスであり、インスタンスではな
い。即ち、「ＧＵＩのボタンが利用可能」であることを
述べているだけであり、具体的にどのようなＧＵＩボタ
ンを配備するかはＵＩ開発者に委ねられている。ＵＩ開
発者は、機器メーカから提供されたこのような機器のモ
ダリティスキーマを利用して、ＧＵＩボタンのインスタ
ンスを定義することで、自由にＧＵＩを構成することが
できる。例えば、コピー機モダリティスキーマ（Copier
Modalities Schema）に対し、ＵＩ開発者が新規に定義
するモダリティスキーマ（Author-defined Copier Moda
lities）の図式例は図５のようになる。また、このモダ
リティスキーマのＸＭＬ表現は、図２２Ａ〜図２２Ｄの
ようになる。

【００４５】「Target」の概念 汎用モダリティスキーマにおいて、「Target」というク
ラスを定義する。また、「Target」のサブクラスとし
て、ディスプレイを表す「Display」やＧＵＩウインド
ウを表す「Window」といったクラスを定義する。「Targ
et」は、ＧＵＩ部品等の主にビジュアルなＵＩ部品の
「存在場所」となるものである。各モダリティのＸＭＬ
記述において、「target」タグによって、そのモダリテ
ィの「存在場所」を記述することができる。

【００４６】例えば、コピー機のＬＣＤ上のＧＵＩにお
いて、「用紙選択モードボタン」を初期画面上に、「A4
ボタン」「B5ボタン」などを「用紙選択サブウインド
ウ」に配置する場合、「用紙選択モードボタン」の「ta
rget」を「LCD」に、「A4ボタン」、「B5ボタン」の「t
arget」を「CopierWindow」にする。「CopierWindow」
自体の「target」は「LCD」となる。実際の表示に関し
ては、ＸＳＬやＣＳＳ２に任せる。各部品の表示位置
は、「target」で指示された「Target」に対する相対位
置とする。

【００４７】対話層 これは、具体的な対話記述を行う層であり、モダリティ
から独立した記述が可能である。ＭＭＭＬ記述におい
て、対話層は、タグ＜dialog＞〜＜/dialog＞の内側に
記述する。対話の最小単位はfield（最小対話単位）で
ある。fieldはinput、outputという入出力要素と、fill
edという要素を持つ。

【００４８】input、outputはそれぞれ、どのような情
報を入出力するかを記述するタグであり、属性として、
IDを持つ。このIDは、分離して記述されたモダリティと
の結び付け（binding）を記述する際に用いられる。こ
れについては、後述する。

【００４９】inputに対応する入力（ユーザの操作）が
あった場合、直後に記述されたfilledの中身が実行され
る。各fieldはactive／inactiveの２つのいずれかの状
態をとる。更に、自分自身あるいは他のfieldをactivat
e／deactivateとすることができる。fieldのactivate／
deactivateを記述することで、対話の状態遷移を制御す
ることができる。ＶｏｉｃｅＸＭＬの場合はシステム主
導が基本のため、一つの入力動作が行われるごとに自動
的に次に進む。即ち、activeなfieldが順次移動する。

【００５０】これに対し、この対話記述では、各field
のactive／inactiveの状態は明示的にactivate／deacti
vateしないかぎり変化することはない。明示的なactiva
te／deactivateを行うには、filledタグ中のactivateタ
グやdeactivateタグにより指定する。以下、各節でfiel
d及びfieldが持つ各要素（fieldタグの内部に記述する
タグ）の役割を詳説する。

【００５１】fieldの役割 fieldは、ＵＩの対話における入出力の最小単位（最小
対話単位）を表し、そこで受け付けたい入力の種類、そ
の入力に対する動作、あるいは出力したい内容が記述さ
れる。入力の種類はinputタグ、入力に対する動作はfil
ledタグで表される。出力は、outputタグで表される。a
ctiveなfieldのみが入出力可能となる。ＶｏｉｃｅＸＭ
Ｌのfieldのように入力が終了しても、次のfieldに進ん
だりはしない。「次のfieldに進む」という記述は、次
のfieldをactivateし、自分自身をdeactivateすること
を明示的に記述することで実現される。

【００５２】Input要素 属するfieldで受け付けたい入力の種類を記述する。入
力の種類はtype属性に記述する。また、属性値として
は、以下のようなものをＭＭＭＬの共通語彙として事前
定義する。

【００５３】「selectMe」これは、入力があったという
事実を受け付けるタイプの入力である。「ボタン」や音
声などのモダリティをバインドできる。

【００５４】「selectOne」これは、選択肢の中から一
つを選択するタイプの入力である。例えば、ラジオボタ
ンやプルダウンメニューなどが典型的なモダリティであ
る。selectOneタイプのinputは、選択肢をitemタグによ
って記述する。各itemに「ボタン」などのモダリティを
バインドすることも可能である。

【００５５】「selectMany」これは、選択肢の中から複
数を選択するタイプの入力である。例えば、コンボボッ
クス（ComboBox）などが典型的なモダリティである。se
lectOneタイプと同様、選択肢をitemタグで記述する。

【００５６】「TextString」文字列の入力を受け付ける
タイプの入力である。例えば、ＧＵＩのテキストボック
スや音声入力が典型的なモダリティである。

【００５７】Output要素 属するfieldでの出力を記述する。出力内容は、content
タグで記述することができる。

【００５８】filled要素 各fieldにおける入力に対するアクション（アクション
情報）を記述する。アクションの種類はさまざまであ
る。activate／deactivateタグによって、自分自身ある
いは他のfieldを明示的にactive／inactiveにするこ
と、スクリプト記述あるいは何らかの記述方法で、ＵＩ
以外の内部プログラムとインタラクションする（例え
ば、「コピースタート」の入力を受けて、実際にコピー
を行う処理プログラムを起動するなど）ことなどが、典
型的なアクションである。また、入力に対して応答を行
うような場合に、outputタグをfilledの中に記述するこ
ともできる。

【００５９】fieldsの役割 fieldをグループ化する。一般にＵＩロジックは、状態
がいくつかのグループにわかれ、グループ単位でactive
／inactiveになるといったケースが多いため、fieldsで
適当なグループ化をしておくと便利である（例えば、コ
ピー機の初期画面とそれぞれの設定モード）、fieldsが
activate／deactivateされると、これに属する各field
はすべてactive／inactiveになる。

【００６０】コピー機の対話層例 コピー機ＵＩの対話層の記述例を図６に、そのＸＭＬ表
現を図２３Ａ〜図２３Ｃに示す。

【００６１】この例では、コピーの実行（CopyStar
t）、用紙選択（PaperSize）、片面・両面（PrintSide
s）指定を行うＵＩを記述している。この例において、
モダリティ記述、即ち、ボタンで入力するのか、音声で
入力するのか、あるいは、テキストで表示するのか、音
声で通知するのか等の具体的にどんなＵＩ部品を使用す
るのかについては、一切記述していない（モダリティ独
立である）ことに注意されたい。

【００６２】バインド層 モダリティ独立な対話記述ではモダリティが排除される
ため、モダリティと対話記述の関連付けを行う必要があ
る。バインド層はその関連付けを記述する層であり、モ
ダリティ層で定義された各モダリティと、対話層中の各
入出力要素とを結び付ける。対応付けの記述は、対応付
けるモダリティのID、入出力要素のIDを、ＵＲＩ（Unif
orm Resource Identifier）で参照する形で行う。バイ
ンド層は、タグ＜Binds＞〜＜/Binds＞の内側に記述す
る。各バインド要素は、タグ＜Binds＞〜＜/Binds＞の
内側に記述する。対話層の１つの入出力要素に複数のモ
ダリティをバインドすることで、複数モダリティの選択
利用や協調利用を用いたマルチモーダルＵＩを記述する
ことができる。バインド層では、次のようなモダリティ
管理に関する記述が可能である。

【００６３】 ・複数モダリティの組み合わせ方の記述 ・出力内容の記述 ・モダリティのactivate／deactivateの記述複数モダリティの組み合わせ方の記述 複数のモダリティを１つの入出力要素にバインドする場
合、選択利用や協調利用など、モダリティの組み合わせ
方を指示できる。組み合わせ方の指示は、BindType属性
で記述する。BindType属性の属性値としては、以下のよ
うなものをＭＭＭＬの共通語彙として事前定義する。

【００６４】「Alt」入出力要素にバインドされた複数
のモダリティのいずれか一つが利用可能である。複数モ
ダリティの優先順位は記述された順とする。例えば、コ
ピー機で「Ａ４かＢ５か」の用紙選択を行う入力要素
に、ラジオボタンのモダリティと音声入力のモダリティ
を「Alt」属性でバインドした場合、これは、ラジオボ
タンによる選択もしくは音声入力のどちらでも用紙選択
ができることを意味する。

【００６５】「Seq」入出力要素にバインドされた複数
のモダリティを順に適用する。例えば、「ボタンＡを押
した後、発声する」といった入力に対応する。

【００６６】「Coordinated」入出力要素にバインドさ
れた複数のモダリティを協調させる。例えば、「東京か
らここまで」と発声しながら、表示された地図上の「大
阪」をポインティングデバイスで指示する、といった入
力に対応する。どのような協調動作になるかはＭＭＭＬ
を実行するブラウザの仕様に依存するものとし、本発明
では規定しない。

【００６７】出力内容の記述 対話層の出力要素をバインドするバインド要素中に、そ
の出力内容を記述することができる。出力内容は、タグ
＜Binds＞〜＜/Binds＞ののすぐ内側に書いてもよい
し、バインドする各モダリティ記述の内側に書いてもよ
い。このようにすることで、モダリティに応じたより適
切な出力内容を記述することができる。

【００６８】例えば、音声合成モダリティに対しては、
「コピーが完了しました」というメッセージを出力内容
にし、報知音再生モダリティに対しては、「ピッ」とい
う音を鳴らすオーディオファイルのファイル名を与える
といった記述ができる。前述の通り、出力内容は、対話
層の出力要素内（タグ＜output＞〜＜/output＞の内
側）にも記述可能である。これらの優先順位は、 バインド要素中のモダリティ記述の内側 ＞ バインド要
素のすぐ内側 ＞ 対話層の出力要素の内側 となっている。

【００６９】モダリティのactivate／deactivateの記述 バインドされた各モダリティをactivate／deactivate
（有効化／無効化）することが可能である。例えば、周
囲雑音が大きい場合に、音声入力モダリティをdeactiva
teするといった記述が可能である。activate/deactivat
eは、それぞれ、＜activate modality="..."/＞タグや
＜deactivate modality="..."/＞タグで記述する。

【００７０】コピー機ＵＩのバインド層記述例 コピー機ＵＩのバインド層記述例を以下の図７〜図９に
示す。また、そのＸＭＬ表現を図２４Ａ〜図２４Ｄに示
す。

【００７１】次に、以上のような仕様のマークアップ言
語に従って動作する機器として、コピー機を例に挙げて
説明する。

【００７２】図１０は本発明の実施形態１のコピー機の
機能構成図である。

【００７３】同図において、１０１は入出力管理部であ
り、データ入出力、音声入出力を管理する。１０２はＧ
ＵＩ制御部であり、ユーザからの操作に応じてＧＵＩを
制御する。１０３は音声認識部であり、入力された音声
を認識する。１０４は音声合成部であり、音声出力対象
のデータを音声合成する。

【００７４】１０５はモダリティ管理部であり、マーク
アップ言語のモダリティ層の記述に従って動作し、モダ
リティ（ＵＩ部品）の管理を行う。

【００７５】１０６はモダリティ制御部であり、マーク
アップ言語のバインド層の記述に従って動作し、バイン
ドされたモダリティのactivate／deactivateなどの制
御、モダリティを介した入力を対話層の対応する入力要
素へ渡す処理、対話層の出力要素に応じて、出力内容を
バインドされたモダリティに渡し、これを介した出力を
行う。

【００７６】１０７は対話実行部であり、マークアップ
言語の対話層の記述に従って動作し、対話の状態遷移
（fieldのactivate／deactivate）や、機器制御に関す
る指示等のアクションの実行を行う。１０８は機器制御
部であり、対話実行部１０７から機器制御に関する指示
があれば、これを実行する（例えば、「コピーをとる」
という指示に従ってコピーを実行する）。

【００７７】このように、モダリティ制御部１０６は、
モダリティ管理部１０５と対話実行部１０７間に関する
処理の各種制御を行う。

【００７８】１０９はマルチモーダルユーザインタフェ
ース（ＭＭＵＩ）マークアップ言語である。

【００７９】図１１は本発明の実施形態１のコピー機の
ハードウエア構成を示す構成図である。

【００８０】同図において、２０１はＣＰＵであり、後
述するフローチャートを実現するプログラムに従って動
作する。２０３はＲＡＭであり、上記プログラムの動作
に必要な記憶領域や作業領域、データ一時退避領域を提
供する。２０２はＲＯＭであり、後述するフローチャー
トを実現するプログラムや各種データを保持する。２０
４はディスク装置であり、ＭＭＵＩマークアップ言語１
０９を保持する。

【００８１】２０５は液晶表示装置（ＬＣＤ）であり、
ＧＵＩ制御部１０２によって生成されるアイコンなどの
ＧＵＩ部品を表示する。２０６はマイクであり、音声認
識部１０３に対する音声入力を行なう。２０７は物理ボ
タンであり、上述した図３のスタートボタン、リセット
ボタン、テンキーなどである。２０８はスピーカであ
り、音声合成部１０４による合成音を出力する。２０９
はバスであり、上記各構成要素を相互に接続する。

【００８２】次に、本発明の実施形態１のコピー機で実
行される処理について、図１２を用いて説明する。

【００８３】図１２は本発明の実施形態１のコピー機で
実行される処理を示すフローチャートである。

【００８４】まず、ステップＳ１０１で、対話管理部１
０７は、ＭＭＵＩマークアップ言語１０９を参照して、
機器に対する初期化処理を行う。

【００８５】次に、ステップＳ１０２で、モダリティ管
理部１０５は、ＭＭＵＩマークアップ言語１０９中のモ
ダリティ層を参照して、入出力管理部１０１／モダリテ
ィ制御部１０６からの入力に基づいて、モダリティ層で
記述されている各種モダリティの状態管理等の処理を実
行する。

【００８６】次に、ステップＳ１０３で、モダリティ制
御部１０６は、ＭＭＵＩマークアップ言語１０９中のバ
インド層を参照し、モダリティ管理部１０５／対話実行
部１０７からの入力に基づいて、モダリティとそれに対
応する入出力要素間の情報の授受やモダリティのactiva
te／deactivate等の処理を実行する。

【００８７】次に、ステップＳ１０４で、対話実行部１
０７は、ＭＭＵＩマークアップ言語１０９中の対話層を
参照し、モダリティ制御部１０６／機器制御部１０８か
らの入力に基づいて、モダリティからの入力の受け付
け、モダリティへの出力の指示、イベントの受け付け、
対話の状態遷移、入力やイベントに対するアクション等
の処理を実行する。

【００８８】次に、ステップＳ１０５で、機器制御部１
０８は、対話実行部１０７からの入力に基づいて、機器
制御を実行する。

【００８９】尚、図１２では、ステップＳ１０１〜ステ
ップＳ１０５の処理は、特に、入出力管理部１０１から
の入力によって、最終的に機器制御部１０８で何らかの
処理が実行される例を説明することになるが、各ステッ
プの処理内容によって、この逆の処理、つまり、ステッ
プＳ１０５〜ステップＳ１０１の処理が実行されたり、
上記の各ステップが相互に連携して、ステップの順序が
前後したり、省略されたりされることに注意されたい。

【００９０】次に、図１０のコピー機の具体的な動作例
について説明する。ここでは、図５をモダリティ層（図
２２Ａ〜図２２Ｄ）、図６を対話層（図２３Ａ〜図２３
Ｃ）、図７〜図９をバインド層（図２４Ａ〜図２４Ｄ）
とするマークアップ言語に従う動作例について説明す
る。

【００９１】まず、対話実行部１０７は、ＭＭＵＩマー
クアップ言語１０９を参照し、図２３Ａ〜図２３Ｃのタ
グ＜initial＞〜＜/initial＞に記述された初期化処理
を実行する。ここでは、「CopierTop」というfieldsの
みをactiveにする。この場合、「CopierTop」fieldsに
含まれるfieldだけがactive、即ち、入出力可能な状態
になり、それ以外のfieldはインタラクションの対象に
はならない。

【００９２】これに応じて、モダリティ制御部１０６
は、「CopierTop」fieldsに含まれる各field内の入出力
要素にバインドされたモダリティだけをactiveにして、
それ以外をinactiveにする。

【００９３】即ち、図７に示されたモダリティだけがac
tiveになり、それぞれに対応する音声入出力やＧＵＩボ
タンの押下可能状態になる。一方、図８や図９に示され
たモダリティはinactiveになり、対応するＧＵＩボタン
は押下不可状態になる。尚、ＧＵＩボタンの押下可能状
態と押下不可状態は、それぞれの状態が区別されるよう
に異なる表示形態（例えば、押下不可状態はグレー表
示、点滅表示等）でＧＵＩ上に表示される。図７では、
スタートボタンおよび音声入力モダリティが、選択利用
モードで、対話層の「CopyStart」fieldの入力要素にバ
インドされている。

【００９４】従って、スタートボタンが押されるか、あ
るいはそれに対応する音声入力があれば、この入力要素
が入力を受け付け、対話実行部１０７は、対応するfill
ed要素に記述された処理を実行する。

【００９５】図７の例では、output要素で何らかの出力
を実行した後、機器制御部１０８に対してコピーを実行
する指示を出す。ここでは、output要素自体には、何を
出力するかは記述されておらず、バインド要素内に「コ
ピーします」と記述されている。これは、音声合成モダ
リティにバインドされているので、「コピーします」と
合成音で発声することになる。また、このfilled要素に
は、fieldのactivate／deactivateの記述はないので、
各fieldのactive／inactiveの状態変化は起こらず、同
じく図７に示されたfieldやモダリティのみがactiveに
なっている。

【００９６】図７では、用紙サイズ選択モードに入るＧ
ＵＩボタンおよび音声入力モダリティが、選択利用モー
ドで、対話層の「IsPaperSizeMode」fieldの入力要素に
バインドされている。従って、このＧＵＩボタンが押さ
れるか、あるいはそれに対応する音声入力があれば、こ
の入力要素が入力を受け付け、対話実行部１０７は、対
応するfilled要素に記述された処理を実行する。filled
には、「SelectPaperSizeMode」fieldsをactivateする
ように記述されているので、このfields内の各fieldがa
ctiveになる。

【００９７】これに応じて、モダリティ制御部１０６
が、これらのfieldの入出力要素にバインドされたモダ
リティ、即ち、図８に示されたモダリティをactivateす
るため、例えば、ＧＵＩボタンの「ButtonA4」が押下可
能になるなどする。

【００９８】以上のような手順で、マークアップ言語に
従ったマルチモーダルなユーザインタフェースが実現さ
れる。

【００９９】以上説明したように、実施形態１によれ
ば、機器に係る処理をマークアップ言語に基づいて実現
する環境において、特に、このマークアップ言語に、 機器の対話記述 機器のモダリティ記述 その対話記述とモダリティ記述を結び付けるバインド記
述を構成する。

【０１００】そして、機器には、マークアップ言語中の
モダリティ記述の内容に従って、各モダリティを用いた
入出力管理を行うモダリティ管理部と、マークアップ記
述言語中のバインド層の記述に従って、各モダリティと
結び付けられた入出力要素との間の情報の受け渡しを行
うモダリティ制御部、マークアップ言語中の対話記述の
内容に従って、モダリティ管理部が管理している各モダ
リティからの入力の受け付け、各モダリティへの出力の
指示を実行する対話実行部を構成する。

【０１０１】これにより、機器の各種モダリティの効果
的な組み合わせを自由にマークアップ言語で記述できる
ため、よりユーザビリティの高いマルチモーダルユーザ
インタフェースを実現することができる。 ［実施形態２］実施形態１では、コピー機の操作をコピ
ー機自身のモダリティを介して行う例について説明し
た。しかしながら、コピー機とは別のＰＣや携帯電話な
どを制御対象機器の操作機器として利用可能にすること
もできる。実施形態２では、携帯電話からコピー機を操
作するためのマークアップ言語の編集方法とその動作に
ついて説明する。

【０１０２】まず、図１３を参照して、マークアップ言
語がどのように編集されるかを説明する。

【０１０３】図１３は本発明の実施形態２の情報処理シ
ステムの構成を示す図である。

【０１０４】まず、コピー機自身には、図５〜図９で説
明される構成からなるマークアップ言語がすでにインス
トールされており、コピー機自身のモダリティを介して
操作できるのは前述のとおりである。コピー機がどのよ
うな入力に対してどのような動作を実行し、どのような
出力をするか、どのように対話状態が遷移するかは、コ
ピー機自身の機能であり、コピー機はあくまで図６の対
話層の記述に従って動作する。

【０１０５】このコピー機を別の機器から操作できるよ
うなマークアップ言語の開発は、その操作機器自体のモ
ダリティ層、およびこのモダリティ層とコピー機自身の
対話層をバインドするバインド層を記述することとな
る。こうした開発が可能となるように、コピー機メーカ
は、自社のコピー機メーカ端末１２０１上で提供するＷ
ｅｂサイトなどで、コピー機の対話層を公開する。

【０１０６】一方、操作機器とする携帯電話のモダリテ
ィ層は、携帯電話固有のものであるので、携帯電話機器
メーカがモダリティ層を記述するのが自然である。携帯
電話機器メーカは、自社の携帯電話メーカ端末１２０２
上で提供するＷｅｂサイトなどで、携帯電話のモダリテ
ィ層を公開する。携帯電話のモダリティ層のマークアッ
プ言語記述例を図２５に示す。この例では、「０」ボタ
ン（Button0）を定義した例を示している。

【０１０７】この携帯電話からコピー機を操作するＭＭ
ＵＩを記述するマークアップ言語を開発するＵＩ開発者
は、公開されている携帯電話のモダリティ層、コピー機
の対話層を参照し、両者をバインドするバインド層を記
述する。このバインド層のマークアップ言語記述例を図
２６に示す。この例は、携帯電話の「０」ボタンを「コ
ピースタート」入力要素にバインドすることを表してい
る。

【０１０８】ＵＩ開発者は、開発したこのマークアップ
言語（バインド層）を、自身のＵＩ開発者端末１２０４
上で提供するＷｅｂサイトで公開する。

【０１０９】ユーザは、公開されたこのマークアップ言
語（バインド層）を自分の携帯電話１２０５にダウンロ
ードする。

【０１１０】このように、本発明のマークアップ言語
は、一人のＵＩ開発者がすべてを記述するのではなく、
モダリティ層はその操作機器のメーカが、対話層は制御
対象機器のメーカが開発し、両者を結び付けようとする
ＵＩ開発者がバインド層を記述する、といった分業を可
能にする。

【０１１１】これは、本発明のマークアップ言語が、前
述の３層構造からなることによるメリットである。この
構成によれば、携帯電話とコピー機の組み合わせに限ら
ず、任意の機器同士を操作機器、制御対象機器とするよ
うなマークアップ言語の開発を容易にできる。例えば、
携帯電話のモダリティ層と、エアコンメーカが公開して
いるエアコンの対話層をバインドするバインド層を開発
すれば、携帯電話からエアコンを操作できるようにな
る。

【０１１２】次に、図１４を参照して、実施形態２にお
けるコピー機と携帯電話の動作を説明する。図１４中の
各構成要素の動作は、基本的に実施形態１で説明した図
１０の各構成要素の動作と同じであるので、ここでは、
コピー機と携帯電話の間のやりとりについて説明する。

【０１１３】尚、図１４において、コピー機１３０１の
機器制御部１３０１及び対話実行部１３０３は、図１０
の機器制御部１０８及び対話実行部１０７に対応する。
また、携帯電話１３０７の入出力管理部１３０８、音声
認識部１３１０、音声合成部１３１１、モダリティ管理
部１３１２及びモダリティ制御部１３１３は、図１０の
入出力管理部１０１、音声認識部１０３、音声合成部１
０４、モダリティ管理部１０５及びモダリティ制御部１
０６に対応する。更に、図１４のＭＭＵＩマークアップ
言語１３０６及び１３１５は、図１０のＭＭＵＩマーク
アップ言語１０９に対応する。加えて、ＤＴＭＦ管理部
１３０９は、携帯電話１３０７のＤＴＭＦ管理を行う。
通信部１３０５及び１３１４は、ネットワーク１３１５
を介して相互に通信を行う。

【０１１４】まず、携帯電話１３０７からコピー機１３
０１に対して操作リクエストを通信部１３１４を介して
送信することで、携帯電話１３０７とコピー機１３０１
の対話が開始される。コピー機１３０１の対話実行部１
３０３は、対話層の記述に従って動作する。対話実行部
１３０３は、対話層で記述される各ステップにおいて、
今どのfieldがactiveかという情報および、もし出力動
作があれば、その出力要素のIDを、通信部１３０５を介
して携帯電話１３０７に送信する。

【０１１５】この送信情報の例を図１５に示す。この例
は、＜ActiveList＞〜＜/ActiveList＞に列挙された入
力要素が現在activeであり、さらに、「CopyStart_Mess
age」という出力要素に対応した出力を行う旨を表して
いる。

【０１１６】携帯電話１３０７は、この送信情報を通信
部１３１４を介して受信する。モダリティ制御部１３１
３は、その送信情報とＭＭＵＩマークアップ言語１３１
５に基づいて、「CopyStart_Message」にバインドされ
たモダリティを介して出力を行う（例えば、「コピーし
ます」と合成音声で通知する）とともに、＜ActiveList
＞〜＜/ActiveList＞に列挙された入力要素にバインド
されたモダリティをactiveにして、それ以外のモダリテ
ィをinactiveにする。また、ユーザから携帯電話１３０
７への入力があった場合は、そのモダリティにバインド
された入力要素のIDとその入力内容を携帯電話１３０７
からコピー機１３０１に送信する。

【０１１７】この送信情報の例を図１６に示す。この例
は、＜InputList＞〜＜/InputList＞に列挙された入力
要素への入力があったことをコピー機１３０１に通知す
ることを意味している。以上のようにして、携帯電話１
３０７を操作機器としてコピー機を操作することが可能
になる。

【０１１８】以上説明したように、実施形態２によれ
ば、操作機器及び制御対象機器に係る処理をマークアッ
プ言語に基づいて実現する環境において、特に、このマ
ークアップ言語に、 制御対象機器の対話記述 操作機器のモダリティ記述 その対話記述とモダリティ記述を結び付けるバインド記
述 を構成する。

【０１１９】そして、操作機器には、マークアップ言語
中のモダリティ記述の内容に従って、各モダリティを用
いた入出力管理を行うモダリティ管理部と、マークアッ
プ記述言語中のバインド層の記述に従って、各モダリテ
ィと結び付けられた入出力要素との間の情報の受け渡し
を行うモダリティ制御部を構成する。また、制御対象機
器には、マークアップ言語中の対話記述の内容に従っ
て、モダリティ管理部が管理している各モダリティから
の入力の受け付け、各モダリティへの出力の指示を実行
する対話実行部を構成する。

【０１２０】これにより、任意の機器（例えば、ＰＤ
Ａ、リモコン等）を自動的に、任意の機器（ファクシミ
リ、プリンタ、スキャナ等のＯＡ機器、電気ポット、冷
蔵庫、テレビ等の家電品）を制御対象機器とする操作機
器として構成することができる。また、その操作機器を
マルチモーダルユーザインタフェースを備えた操作機器
として構成することができる。 ［実施形態３］実施形態２では、操作機器（携帯電話）
と制御対象機器（コピー機）が別の場合、対話層が制御
対象機器側だけにある例を説明した。実施形態３では、
操作機器側に制御対象機器の対話層とは別に、操作機器
固有の対話層を記述できる例について説明する。

【０１２１】例えば、図１７のようなリモコンからエア
コンを操作するＵＩをマークアップ言語で記述する場合
を考える。エアコンの対話層の中に、風量を「微風」、
「普通」、「強風」から選択するfieldが定義されてい
て、このfieldの入力要素（「selectOne」タイプ）に適
当なモダリティをバインドするとする。

【０１２２】操作機器が、十分な種類のＧＵＩ部品を備
えている場合は、例えば、ラジオボタンやプルダウンメ
ニューをこの入力要素にバインドすればいい。しかし、
リモコンのボタンＡ１６０２をバインドする場合、ボタ
ンＡ１６０２を繰り返し押すことで風量を切り替えるよ
うに記述するしかない。しかし、ボタン押下の意味、即
ち、対応する風量が押すたびに変わるので、単純にバイ
ンドすることはできない。

【０１２３】このような場合に、本発明のマークアップ
言語は、制御対象（実施形態３では、エアコン）の対話
層とは別に、操作機器（実施形態３では、リモコン）固
有の対話層を記述することができる。本例の場合のリモ
コン固有のリモコン対話層と、エアコン対話層へのバイ
ンドの図式例を図１８に示す。この例は、ボタンＡ１６
０２というモダリティが、エアコンの対話層の風量設定
入力要素と同時に、リモコン固有の対話層の入力要素に
バインドされている。後者の入力要素を持つfieldのfil
led要素の中に入力値を切り替える記述をすることで、
ボタンＡを押すたびに、エアコンの対話層の風量設定入
力要素へ入力する値を切り替えることができる。また、
図１８の構成のＸＭＬ表現は、図２７Ａ及び図２７Ｂの
ようになる。 ［実施形態４］上記実施形態では、ユーザの操作（入出
力）だけを扱っていた。しかし、機器制御を考える場
合、イベントの処理も重要な要素となる。本発明のマー
クアップ言語は、イベントの受け付け、イベント処理や
イベントの種類等のイベントに関する情報（イベント情
報）の記述も可能であり、ここではその実施形態につい
て説明する。イベントの受け付けは、対話層のfieldタ
グの内側のcatchタグによって記述する。

【０１２４】 ＜field name="CopyCompleteEvent"＞ ＜catch id="CopyComplete"/＞ ＜filled＞ ＜output＞＜content＞Copy is finished.＜/content＞＜/output＞ ＜/filled＞ ＜field＞ 上記例の「CopyComplete」のようなイベント名は、機器
に応じて事前に定義され、ＭＭＭＬのブラウザは、これ
らの語彙を知っているものとする。

【０１２５】イベントは、操作機器（クライアント）に
関するイベントと制御対象（サーバー）に関するイベン
トに分けて考える必要がある。例えば、コピー機をＰＣ
からネットワーク経由で操作するケースを考える。この
場合、「コピーが完了した」というイベントは、制御対
象であるコピー機に関するイベントであり、コピー機の
対話層に記述すべきものである。

【０１２６】一方、ＰＣの「サウンドデバイスがｏｆｆ
された」というイベントは、操作機器であるＰＣの中で
閉じたイベントであり、コピー機の対話層には無関係な
イベントである。このような場合、ＰＣの中で閉じたイ
ベントの記述は、コピー機の対話層とは別のＰＣ固有の
対話層を構成し、その中にイベントをキャッチするfiel
dを設ければよい。図１９に、イベント情報を含む記述
例を示す。 ［実施形態５］上記実施形態１では、上述の各機器で実
行される動作を実現するプログラムをＲＯＭに保持する
場合について説明したが、これに限定されるものではな
く、任意の記憶媒体を用いて実現してもよい。また、同
様の動作を実現する回路で実現してもよい。

【０１２７】以上、実施形態例を詳述したが、本発明
は、複数の機器から構成されるシステムに適用しても良
いし、また、一つの機器からなる装置に適用しても良
い。

【０１２８】尚、本発明は、前述した実施形態の機能を
実現するソフトウェアのプログラム（実施形態では図に
示すフローチャートに対応したプログラム）を、システ
ム或いは装置に直接或いは遠隔から供給し、そのシステ
ム或いは装置のコンピュータが該供給されたプログラム
コードを読み出して実行することによっても達成される
場合を含む。その場合、プログラムの機能を有していれ
ば、形態は、プログラムである必要はない。

【０１２９】従って、本発明の機能処理をコンピュータ
で実現するために、該コンピュータにインストールされ
るプログラムコード自体も本発明を実現するものであ
る。つまり、本発明は、本発明の機能処理を実現するた
めのコンピュータプログラム自体も含まれる。

【０１３０】その場合、プログラムの機能を有していれ
ば、オブジェクトコード、インタプリタにより実行され
るプログラム、ＯＳに供給するスクリプトデータ等、プ
ログラムの形態を問わない。

【０１３１】プログラムを供給するための記録媒体とし
ては、例えば、フロッピー（登録商標）ディスク、ハー
ドディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ
−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発
性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、
ＤＶＤ−Ｒ）などがある。

【０１３２】その他、プログラムの供給方法としては、
クライアントコンピュータのブラウザを用いてインター
ネットのホームページに接続し、該ホームページから本
発明のコンピュータプログラムそのもの、もしくは圧縮
され自動インストール機能を含むファイルをハードディ
スク等の記録媒体にダウンロードすることによっても供
給できる。また、本発明のプログラムを構成するプログ
ラムコードを複数のファイルに分割し、それぞれのファ
イルを異なるホームページからダウンロードすることに
よっても実現可能である。つまり、本発明の機能処理を
コンピュータで実現するためのプログラムファイルを複
数のユーザに対してダウンロードさせるＷＷＷサーバ
も、本発明に含まれるものである。

【０１３３】また、本発明のプログラムを暗号化してＣ
Ｄ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所
定の条件をクリアしたユーザに対し、インターネットを
介してホームページから暗号化を解く鍵情報をダウンロ
ードさせ、その鍵情報を使用することにより暗号化され
たプログラムを実行してコンピュータにインストールさ
せて実現することも可能である。

【０１３４】また、コンピュータが、読み出したプログ
ラムを実行することによって、前述した実施形態の機能
が実現される他、そのプログラムの指示に基づき、コン
ピュータ上で稼動しているＯＳなどが、実際の処理の一
部または全部を行ない、その処理によっても前述した実
施形態の機能が実現され得る。

【０１３５】さらに、記録媒体から読み出されたプログ
ラムが、コンピュータに挿入された機能拡張ボードやコ
ンピュータに接続された機能拡張ユニットに備わるメモ
リに書き込まれた後、そのプログラムの指示に基づき、
その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ
などが実際の処理の一部または全部を行ない、その処理
によっても前述した実施形態の機能が実現される。

【０１３６】

【発明の効果】以上説明したように、本発明によれば、
より汎用性が高く、かつ拡張が容易なモダリティの制御
を実現できる情報処理装置及びその制御方法、プログラ
ムを提供できる。

【図面の簡単な説明】

【図１】本発明の実施形態１のマークアップ言語の構造
を示す図である。

【図２】本発明の実施形態１の汎用モダリティのスキー
マ記述を図式化した図である。

【図３】本発明の実施形態１のコピー機のＵＩの構成例
を示す図である。

【図４】本発明の実施形態１のコピー機のモダリティの
スキーマ記述を図式化した図である。

【図５】本発明の実施形態１のＵＩ開発者によるコピー
機のモダリティのスキーマ記述を図式化した図である。

【図６】本発明の実施形態１のコピー機の対話層を図式
化した図である。

【図７】本発明の実施形態１のバインド層の記述の一部
を図式化した図である。

【図８】本発明の実施形態１のバインド層の記述の一部
を図式化した図である。

【図９】本発明の実施形態１のバインド層の記述の一部
を図式化した図である。

【図１０】本発明の実施形態１のコピー機の機能構成図
である。

【図１１】本発明の実施形態１のコピー機のハードウエ
ア構成を示す構成図である。

【図１２】本発明の実施形態１のコピー機で実行される
処理を示すフローチャートエである。

【図１３】本発明の実施形態２の情報処理システムの構
成図である。

【図１４】本発明の実施形態２の情報処理システムの機
能構成図である。

【図１５】本発明の実施形態２のコピー機から携帯電話
に送信する情報例を示す図である。

【図１６】本発明の実施形態２の携帯電話からコピー機
に送信する情報例を示す図である。

【図１７】本発明の実施形態３のエアコンを操作するリ
モコンの例を示す図である。

【図１８】本発明の実施形態３の操作機器固有の対話層
を図式化した図である。

【図１９】本発明の実施形態４のイベント情報の記述を
図式化した図である。

【図２０Ａ】本発明の実施形態１の汎用モダリティスキ
ーマのＸＭＬ表現例を示す図である。

【図２０Ｂ】本発明の実施形態１の汎用モダリティスキ
ーマのＸＭＬ表現例を示す図である。

【図２０Ｃ】本発明の実施形態１の汎用モダリティスキ
ーマのＸＭＬ表現例を示す図である。

【図２０Ｄ】本発明の実施形態１の汎用モダリティスキ
ーマのＸＭＬ表現例を示す図である。

【図２０Ｅ】本発明の実施形態１の汎用モダリティスキ
ーマのＸＭＬ表現例を示す図である。

【図２１Ａ】本発明の実施形態１のコピー機のモダリテ
ィスキーマのＸＭＬ表現例を示す図である。

【図２１Ｂ】本発明の実施形態１のコピー機のモダリテ
ィスキーマのＸＭＬ表現例を示す図である。

【図２２Ａ】本発明の実施形態１のＵＩ開発者が新規定
義するコピー機の対話層のＸＭＬ表現例を示す図であ
る。

【図２２Ｂ】本発明の実施形態１のＵＩ開発者が新規定
義するコピー機の対話層のＸＭＬ表現例を示す図であ
る。

【図２２Ｃ】本発明の実施形態１のＵＩ開発者が新規定
義するコピー機の対話層のＸＭＬ表現例を示す図であ
る。

【図２２Ｄ】本発明の実施形態１のＵＩ開発者が新規定
義するコピー機の対話層のＸＭＬ表現例を示す図であ
る。

【図２３Ａ】本発明の実施形態１のコピー機の対話層の
ＸＭＬ表現例を示す図である。

【図２３Ｂ】本発明の実施形態１のコピー機の対話層の
ＸＭＬ表現例を示す図である。

【図２３Ｃ】本発明の実施形態１のコピー機の対話層の
ＸＭＬ表現例を示す図である。

【図２４Ａ】本発明の実施形態１のコピー機のバインド
層のＸＭＬ表現例を示す図である。

【図２４Ｂ】本発明の実施形態１のコピー機のバインド
層のＸＭＬ表現例を示す図である。

【図２４Ｃ】本発明の実施形態１のコピー機のバインド
層のＸＭＬ表現例を示す図である。

【図２４Ｄ】本発明の実施形態１のコピー機のバインド
層のＸＭＬ表現例を示す図である。

【図２５】本発明の実施形態２の携帯電話のモダリティ
スキーマのＸＭＬ表現例を示す図である。

【図２６】本発明の実施形態２の携帯電話のモダリティ
とコピー機の対話記述の入出力要素をバインドするバイ
ンド層のＸＭＬ表現例を示す図である。

【図２７Ａ】本発明の実施形態３の操作機器固有の対話
層のＸＭＬ表現例を示す図である。

【図２７Ｂ】本発明の実施形態３の操作機器固有の対話
層のＸＭＬ表現例を示す図である。

【符号の説明】

１０１ 入出力管理部 １０２ ＧＵＩ制御部 １０３ 音声認識部 １０４ 音声合成部 １０５ モダリティ管理部 １０６ モダリティ制御部 １０７ 対話実行部 １０８ 機器制御部 １０９ ＭＭＵＩマークアップ言語

Claims (29)

【特許請求の範囲】
1. 【請求項１】 複数種類のモダリティを有し、マークア
   ップ言語に基づいて該複数種類のモダリティを制御する
   情報処理装置であって、 前記マークアップ言語は、 当該情報処理装置の対話の内容を示す対話記述と、 前記対話記述と独立に分離して構成される、当該情報処
   理装置のモダリティを示すモダリティ記述と、 前記モダリティ記述と前記対話記述とを結び付けるバイ
   ンド記述とを含み、 前記モダリティ記述に従って、前記モダリティを管理す
   る管理手段と、 前記バインド記述に従って、前記モダリティと前記対話
   間に関する処理を制御するモダリティ制御手段と、 前記対話記述に従って、前記対話を管理する対話実行手
   段と、 前記対話実行手段からの指示に基づいて、当該情報処理
   装置の制御を実行する制御手段とを備えることを特徴と
   する情報処理装置。
2. 【請求項２】 前記対話記述は、入出力の処理単位であ
   る、１つもしくは複数の最小対話要素から構成され、前
   記最小対話要素は、０個もしくは１個の入力要素と０個
   もしくは１個以上の出力要素を含むことを特徴とする請
   求項１に記載の情報処理装置。
3. 【請求項３】 前記最小対話要素は、イベントに関する
   イベント情報の記述を含むことを特徴とする請求項２に
   記載の情報処理装置。
4. 【請求項４】 前記最小対話要素は、当該最小対話要素
   への入力に対するアクションに関するアクション情報の
   記述を含むことを特徴とする請求項２または請求項３に
   記載の情報処理装置。
5. 【請求項５】 前記最小対話要素は、active／inactive
   の２つのどちらかの状態を有し、かつ当該最小対話要素
   は、前記アクション情報として、自身または別の最小対
   話要素をactivate／deactivateする記述を含むことを特
   徴とする請求項４に記載の情報処理装置。
6. 【請求項６】 前記出力要素は、その出力内容を示す記
   述を含むことを特徴とする請求項２に記載の情報処理装
   置。
7. 【請求項７】 前記モダリティ記述は、前記モダリティ
   のクラスの定義、継承、クラス間の階層関係、前記クラ
   スのインスタンスの定義を示す各記述の内の少なくとも
   いずれかを含むことを特徴とする請求項１に記載の情報
   処理装置。
8. 【請求項８】 前記モダリティ記述中の各モダリティ
   は、active／inactiveの２つのどちらかの状態を有する
   ことを特徴とする請求項１に記載の情報処理装置。
9. 【請求項９】 前記バインド記述は、１つまたは複数の
   モダリティを、１つまたは複数の入力要素に結び付ける
   ための記述であり、かつ１つの入力要素に対して複数の
   モダリティを結び付ける場合、それらのモダリティの組
   み合わせ方の記述を含むことを特徴とする請求項２に記
   載の情報処理装置。
10. 【請求項１０】 前記バインド記述は、１つまたは複数
    のモダリティを、１つまたは複数の出力要素に結び付け
    るための記述であり、かつ１つの出力要素に対して複数
    のモダリティを結び付ける場合、それらのモダリティの
    組み合わせ方の記述を含むことを特徴とする請求項２に
    記載の情報処理装置。
11. 【請求項１１】 前記バインド記述は、モダリティと出
    力要素への結び付けを示す記述であるバインド要素中に
    その出力内容を示す記述と、出力要素に結び付けられた
    モダリティごとにその出力内容を示す記述の少なくとも
    一方を含み、 前記バインド要素中に記述された出力内容は、その結び
    付けの対象である出力要素中に記述された出力内容より
    優先し、また、前記バインド要素中でモダリティごとに
    記述された出力内容は、該バインド要素中に記述された
    出力内容より優先することを特徴とする請求項２に記載
    の情報処理装置。
12. 【請求項１２】 前記バインド記述の各バインド要素
    は、結び付けの対象であるモダリティをactivate／deac
    tivateする記述を含むことを特徴とする請求項１１に記
    載の情報処理装置。
13. 【請求項１３】 マークアップ言語に基づいて、制御対
    象機器の操作機器として動作する情報処理装置であっ
    て、 前記制御対象機器の対話の内容を示す対話記述と独立に
    分離して構成される、当該情報処理装置のモダリティを
    示すモダリティ記述を含むマークアップ言語を記憶する
    第１記憶手段と、 前記モダリティ記述と前記対話記述とを結び付けるバイ
    ンド記述を含むマークアップ言語を記憶する第２記憶手
    段と、 前記モダリティ記述に従って、前記モダリティを管理す
    る管理手段と、 前記バインド記述に従って、前記モダリティと前記対話
    間に関する処理を制御するモダリティ制御手段とを備え
    ることを特徴とする情報処理装置。
14. 【請求項１４】 マークアップ言語に基づいて、複数種
    類のモダリティを有する情報処理装置の制御方法であっ
    て、 前記マークアップ言語は、 前記情報処理装置の対話の内容を示す対話記述と、 前記対話記述と独立に分離して構成される、前記情報処
    理装置のモダリティを示すモダリティ記述と、 前記モダリティ記述と前記対話記述とを結び付けるバイ
    ンド記述とを含み、 前記モダリティ記述に従って、前記モダリティを管理す
    る管理工程と、 前記バインド記述に従って、前記モダリティと前記対話
    間に関する処理を制御するモダリティ制御工程と、 前記対話記述に従って、前記対話を管理する対話実行工
    程と、 前記対話実行工程からの指示に基づいて、前記情報処理
    装置の制御を実行する制御工程とを備えることを特徴と
    する情報処理装置の制御方法。
15. 【請求項１５】 前記対話記述は、入出力の処理単位で
    ある、１つもしくは複数の最小対話要素から構成され、
    前記最小対話要素は、０個もしくは１個の入力要素と０
    個もしくは１個以上の出力要素を含むことを特徴とする
    請求項１４に記載の情報処理装置の制御方法。
16. 【請求項１６】 前記最小対話要素は、イベントに関す
    るイベント情報の記述を含むことを特徴とする請求項１
    ５に記載の情報処理装置の制御方法。
17. 【請求項１７】 前記最小対話要素は、当該最小対話要
    素への入力に対するアクションに関するアクション情報
    の記述を含むことを特徴とする請求項１５または請求項
    １６に記載の情報処理装置の制御方法。
18. 【請求項１８】 前記最小対話要素は、active／inacti
    veの２つのどちらかの状態を有し、かつ当該最小対話要
    素は、前記アクション情報として、自身または別の最小
    対話要素をactivate／deactivateする記述を含むことを
    特徴とする請求項１７に記載の情報処理装置の制御方
    法。
19. 【請求項１９】 前記出力要素は、その出力内容を示す
    記述を含むことを特徴とする請求項１５に記載の情報処
    理装置の制御方法。
20. 【請求項２０】 前記モダリティ記述は、前記モダリテ
    ィのクラスの定義、継承、クラス間の階層関係、前記ク
    ラスのインスタンスの定義を示す各記述の内の少なくと
    もいずれかを含むことを特徴とする請求項１４に記載の
    情報処理装置の制御方法。
21. 【請求項２１】 前記モダリティ記述中の各モダリティ
    は、active／inactiveの２つのどちらかの状態を有する
    ことを特徴とする請求項１４に記載の情報処理装置の制
    御方法。
22. 【請求項２２】 前記バインド記述は、１つまたは複数
    のモダリティを、１つまたは複数の入力要素に結び付け
    るための記述であり、かつ１つの入力要素に対して複数
    のモダリティを結び付ける場合、それらのモダリティの
    組み合わせ方の記述を含むことを特徴とする請求項１６
    に記載の情報処理装置の制御方法。
23. 【請求項２３】 前記バインド記述は、１つまたは複数
    のモダリティを、１つまたは複数の出力要素に結び付け
    るための記述であり、かつ１つの出力要素に対して複数
    のモダリティを結び付ける場合、それらのモダリティの
    組み合わせ方の記述を含むことを特徴とする請求項１４
    に記載の情報処理装置の制御方法。
24. 【請求項２４】 前記バインド記述は、モダリティと出
    力要素への結び付けを示す記述であるバインド要素中に
    その出力内容を示す記述と、出力要素に結び付けられた
    モダリティごとにその出力内容を示す記述の少なくとも
    一方を含み、 前記バインド要素中に記述された出力内容は、その結び
    付けの対象である出力要素中に記述された出力内容より
    優先し、また、前記バインド要素中でモダリティごとに
    記述された出力内容は、該バインド要素中に記述された
    出力内容より優先することを特徴とする請求項１４に記
    載の情報処理装置の制御方法。
25. 【請求項２５】 前記バインド記述の各バインド要素
    は、結び付けの対象であるモダリティをactivate／deac
    tivateする記述を含むことを特徴とする請求項２４に記
    載の情報処理装置の制御方法。
26. 【請求項２６】 マークアップ言語に基づいて、制御対
    象機器の操作機器として動作する情報処理装置の制御方
    法であって、 前記制御対象機器の対話の内容を示す対話記述と独立に
    分離して構成される、当該情報処理装置のモダリティを
    示すモダリティ記述を含むマークアップ言語を記憶媒体
    に記憶する第１記憶工程と、 前記モダリティ記述と前記対話記述とを結び付けるバイ
    ンド記述を含むマークアップ言語を前記記憶媒体に記憶
    する第２記憶工程と、 前記モダリティ記述に従って、前記モダリティを管理す
    る管理工程と、 前記バインド記述に従って、前記モダリティと前記対話
    間に関する処理を制御するモダリティ制御工程とを備え
    ることを特徴とする情報処理装置の制御方法。
27. 【請求項２７】 マークアップ言語に基づいて、複数種
    類のモダリティを有する情報処理装置の制御をコンピュ
    ータに機能させるためのプログラムであって、 前記マークアップ言語は、 前記情報処理装置の対話の内容を示す対話記述と、 前記対話記述と独立に分離して構成される、前記情報処
    理装置のモダリティを示すモダリティ記述と、 前記モダリティ記述と前記対話記述とを結び付けるバイ
    ンド記述とを含み、 前記モダリティ記述に従って、前記モダリティを管理す
    る管理工程のプログラムコードと、 前記バインド記述に従って、前記モダリティと前記対話
    間に関する処理を制御するモダリティ制御工程のプログ
    ラムコードと、 前記対話記述に従って、前記対話を管理する対話実行工
    程のプログラムコードと、 前記対話実行工程からの指示に基づいて、前記情報処理
    装置の制御を実行する制御工程のプログラムコードとを
    備えることを特徴とするプログラム。
28. 【請求項２８】 マークアップ言語に基づいて、制御対
    象機器の操作機器として動作する情報処理装置の制御を
    コンピュータに機能させるためのプログラムであって、 前記制御対象機器の対話の内容を示す対話記述と独立に
    分離して構成される、当該情報処理装置のモダリティを
    示すモダリティ記述を含むマークアップ言語を記憶媒体
    に記憶する第１記憶工程のプログラムコードと、 前記モダリティ記述と前記対話記述とを結び付けるバイ
    ンド記述を含むマークアップ言語を前記記憶媒体に記憶
    する第２記憶工程のプログラムコードと、 前記モダリティ記述に従って、前記モダリティを管理す
    る管理工程のプログラムコードと、 前記バインド記述に従って、前記モダリティと前記対話
    間に関する処理を制御するモダリティ制御工程のプログ
    ラムコードとを備えることを特徴とするプログラム。
29. 【請求項２９】 情報処理装置が有する複数種類のモダ
    リティの制御をコンピュータに機能させるためのプログ
    ラムであって、 前記情報処理装置の対話の内容を示す対話記述からなる
    プログラムコードと、 前記対話記述と独立に分離して構成される、前記情報処
    理装置のモダリティを示すモダリティ記述からなるプロ
    グラムコードと、 前記モダリティ記述と前記対話記述とを結び付けるバイ
    ンド記述からなるプログラムコードとを備え、 前記各プログラムコードは、互いに独立に分離して構成
    されることを特徴とするプログラム。