JP2012516490A - 構成要素オブジェクトから成るユーザインターフェースの処理方法及びその装置 - Google Patents

Abstract

特定機能を有するが、情報の外部出力をサポートしない構成要素オブジェクトのグループから、あらかじめ設定された経路を通じてのみ情報を外部から入力する構成要素オブジェクトに対し、事前予測が不可能な経路を通じて情報を伝送することができる複数の構成要素オブジェクトよりなるリッチメディアユーザインターフェースを処理する方法及び装置が提供される。ユーザインターフェース構成要素オブジェクトよりなるコンテンツの処理方法は、複数のユーザインターフェース構成要素オブジェクトで構成されたコンテンツを受信するステップと；前記コンテンツから外部に送信可能となるように定義された情報を抽出するステップと；抽出した情報を対象オブジェクトに伝送するステップと；を含むことができる。

Description

本発明は、ユーザインターフェースに関する。より詳細には、本発明は、外部にデータを出力する機能なしに特定の機能を行うリッチメディアユーザインターフェース構成要素オブジェクトのグループから、所定の経路を通じてのみ情報を受信して他の特定機能を行うユーザインターフェース構成要素オブジェクトのグループに、事前予測が不可能な経路を通じて情報を伝達し処理するための方法及びこのため装置に関する。

従来、ユーザインターフェースは、人間（ユーザ）とオブジェクトまたはシステム、特に機械、コンピュータープログラムなどの間でインタラクションを行うことができる物理的、仮想的媒介体を意味し、ユーザがシステムを操作する入力と、システムがそれによる反応、結果を示す出力とに分類できる。また、設計者が作って提供するインターフェースは、設計者が指定した１つの装置だけで動作し、再加工したりまたは修正したりすることができない静的なツールであった。しかし、ユーザインターフェースは、イメージとテキストよりなるボタンから、１つのコンテンツとしてテキスト、オーディオ、ビデオ、フォント、イメージ、グラフィックなど様々なメディアを混合した形態で提供するリッチメディア（Ｒｉｃｈ−ｍｅｄｉａ）サービス形態に発展している。前記リッチメディアサービスを提供するための国際標準規格としては、ＢＩＦＳ（Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｆｏｒ Ｓｃｅｎｅ）、ＬＡＳｅＲ（Ｌｉｇｈｔｗｅｉｇｈｔ Ａｐｐｌｉｃａｔｉｏｎ Ｓｃｅｎｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）などがある。前記ＬＡＳｅＲは、シーン記述技術（ｓｃｅｎｅ ｄｅｓｃｒｉｐｔｉｏｎ）、ビデオ（ｖｉｄｅｏ）、オーディオ（ａｕｄｉｏ）、イメージ（ｉｍａｇｅ）、フォント（ｆｏｎｔ）、テキスト（ｔｅｘｔ）、メタデータ（ｍｅｔａ−ｄａｔａ）、スクリプト（ｓｃｒｉｐｔ）などのような多様なマルチメディア要素を利用したリッチメディアサービスを提供、もしくは表現するために開発された近年の国際標準規格である。

一方、ユーザ端末及びサービス主体の多様化をはじめとして、映像、音声、データなど種類が異なるメディアや端末機がネットワークに関係なく融合されて新しいサービスが出現することにより、１つの装置だけでその１つの装置のための機能のみを行うという従来の観念を越えて、異種装置あるいは遠隔の装置でも柔軟で且つ動的なインターフェースが求められている。

本発明の目的は、前述したような問題点及び／または短所のうち少なくとも１つを解決するか、または後述する長所のうちいずれか１つ以上を提供することにある。

また、本発明の目的は、ユーザインターフェース構成要素オブジェクトよりなるコンテンツを処理するにあたって、事前予測が不可能な経路を通じて受信される情報を所定の経路を通じて受信される情報とともに処理して自分の特定機能を行うか、または他の目的に使用することができる方法及び装置を提供することにある。

また、本発明の他の目的は、ユーザインターフェースを提供するにあたって、外部にデータを出力する機能なしに特定の機能を行うユーザインターフェース構成要素オブジェクトのグループから事前予測が不可能な経路を通じて所定の経路だけを通じて情報を受信して機能を行うユーザインターフェース構成要素オブジェクトのグループに情報を伝達して処理するための方法及びその装置を提供することにある。

前述したような問題点を克服するための本発明の一実施形態によるユーザインターフェース構成要素オブジェクトよりなるコンテンツの処理方法は、ユーザインターフェース構成要素オブジェクトで構成されたコンテンツを受信するステップと、前記コンテンツから外部に送信可能となるように定義された情報を抽出するステップと、抽出された前記外部に送信可能となるように定義された情報を対象オブジェクトに伝送するステップとを含むことができる。

前述したような問題点を克服するための本発明の他の実施形態によるユーザインターフェース構成要素オブジェクトよりなるコンテンツの処理方法は、複数のユーザインターフェース構成要素オブジェクトで構成されたコンテンツを受信するステップと、前記受信されたコンテンツに含まれた情報のうち前記対象オブジェクトの入力値として使用されることができる情報を感知するステップと、前記感知された情報を使用して前記対象オブジェクトの機能を行うステップとを含むことができる。

前述したような問題点を克服するための本発明の一実施形態によるユーザインターフェース構成要素オブジェクトよりなるコンテンツの処理装置は、複数のユーザインターフェース構成要素オブジェクトで構成されたコンテンツを復号する復号器と、前記コンテンツから外部に送信可能となるように定義された情報を抽出し、対象オブジェクトに伝送するイベント処理部とを含むことができる。

前述したような問題点を克服するための本発明の他の実施形態によるユーザインターフェース構成要素オブジェクトよりなるコンテンツの処理装置は、対象オブジェクトが受信したコンテンツに含まれた情報のうち対象オブジェクトの入力値として使用されることができる情報を感知し、前記感知された情報を前記対象オブジェクトの入力値として使用して前記対象オブジェクトの機能を行うイベント処理部を含むことができる。

本発明の他の観点、長所及び顕著な構成は、後述する詳細な説明から当業者に明確になる。添付の図面を参照して本発明の実施形態を詳細に説明する。

本発明によるリッチメディアユーザインターフェース処理装置及び方法は、ユーザインターフェース構成要素オブジェクトよりなるコンテンツから特定のデータを外部に送信可能にし、事前予測が不可能な経路を通じて受信される情報を所定の経路を通じて受信される情報とともに処理して自分の特定機能を行うか、または他の目的に使用することができる方法及び装置を提供することによって、外部の他のコンテンツあるいは他のユーザインターフェースとの自由な情報交換や活用が可能なユーザインターフェースを提供することができるという効果がある。

一般的なリッチメディアサービスを受信する端末の動作を示すフローチャートである。 本発明の実施形態による、ユーザインターフェース構成要素オブジェクトよりなるコンテンツを受信した端末の動作を示すフローチャートである。 本発明の実施形態による、ユーザインターフェース構成要素オブジェクトよりなるコンテンツのうち事前予測が不可能な経路を通じて情報を受信する端末の動作を示すフローチャートである。 本発明の実施形態によるユーザインターフェース制御方法によってユーザインターフェース構成要素オブジェクトの交換可能な情報の外部出力を行う手続きを説明するフローチャートである。 本発明の実施形態によるユーザインターフェース制御方法によって受信オブジェクトの機能の実行を行う手続きを説明するフローチャートである。 本発明の実施形態による送信機のブロック構成図である。 本発明の実施形態による受信機のブロック構成図である。 本発明の実施形態によるユーザインターフェース制御方法によってオブジェクト間の情報交換を行う過程を説明するフローチャートである。

以下、添付の図面を参照して本発明の好ましい実施形態を詳しく説明する。この際、添付の図面において同一の構成要素は、できるだけ同一の符号で示してすることに留意しなければならない。また、本発明の要旨を不明瞭にすることができる公知機能及び構成に対する詳細な説明を省略する。

また、以下で説明される本明細書及び請求範囲に使用された用語や単語は、通常的または辞書的な意味に限定して解釈すべきものではなく、発明者が自分の発明を最善の方法で説明するために用語の概念として適切に定義したものであるという原則に即して本発明の技術的思想に符合する意味や概念として解釈すべきである。

本発明において‘端末’というのは、サービスコンテンツを受信した受信端末、ファイル、アプリケーションプログラム、受信オブジェクトのグループまたはオブジェクトそれ自身をすべて呼称する。

本発明では、リッチメディアエンジン（Ｒｉｃｈ Ｍｅｄｉａ Ｅｎｇｉｎｅ）のうちＬＡＳｅＲ（Ｌｉｇｈｔｗｅｉｇｈｔ Ａｐｐｌｉｃａｔｉｏｎ ｆｏｒ Ｓｃｅｎｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）エンジンを基盤とする端末を実施形態として説明し、その他のリッチメディアエンジン基盤端末では、前記ＬＡＳｅＲエンジンを基盤とする端末の実施形態に基づいて同様に適用可能である。また、本発明においてＬＡＳｅＲエンジンが行う動作及び本発明の内容は、端末のユーザインターフェース管理エンジンで行うこともできる。但し、前記端末に適用されるリッチメディアエンジンあるいはシステムが変わる場合には、前記ＬＡＳｅＲエンジン以外に各リッチメディアエンジンあるいはシステムで固有に使用する名称への転換が必要であり、これは、当業者に自明なので、本発明では取り扱わないことにする。

図１は、一般的なユーザインターフェースシーンを構成するリッチメディアサービスを受信する端末の動作を示すフローチャートである。

図１を参照して説明すれば、端末は、ステップ１００で、サービスコンテンツを受信し、ステップ１１０で、前記受信したサービスコンテンツを復号（Ｄｅｃｏｄｉｎｇ）する。端末は、ステップ１２０で、前記復号したサービスコンテンツをユーザに提供可能な形態で構成するサービスコンテンツ構成動作を行うが、コマンドを確認して実行するかまたはイベントなどを処理する動作などが含まれることができる。続いて、端末は、ステップ１３０で、サービスコンテンツをユーザに提供するために、映像または音響を支援するユーザインターフェース出力手段を通じて前記構成されたサービスコンテンツを出力する。

前述したリッチメディアサービスコンテンツの１つであるＬＡＳｅＲコンテンツは、下記の表１のＸＭＬの構文（ｓｙｎｔａｘ）で表現されることができる。

前述した表１のＸＭＬによれば、端末は、コマンドが実行される度に、ＬＡＳｅＲコマンドのうちの１つであって、新しいシーンを描きなさいという意味を有するコマンドである“ＮｅｗＳｃｅｎｅ”内に含まれたシーン（ｓｖｇ…／ｓｖｇ）を構成して表示する。一方、ユーザ端末及びサービス主体の多様化をはじめとして、映像、音声、データなど種類が異なるメディアや端末機がネットワークに関係なく融合されて新しいサービスを作り出し始めることによって、１つの装置だけでその１つの装置のための機能のみを行うという従来の観念を越えて、異種装置あるいは遠隔の装置においても柔軟で且つ動的なインターフェースを提供することが要求されている。しかし、このようなユーザインターフェースの発展にもかかわらず、従来のユーザインターフェースは、所定の経路から受信することができる情報だけを受信して所定の機能だけを行っている。それにより、外部の他のコンテンツあるいは他のユーザインターフェースとの自由な情報交換や活用が不可能である。

図２は、本発明の実施形態によるユーザインターフェース構成要素オブジェクトよりなるコンテンツを受信した端末の動作を示すフローチャートである。

図２を参照すれば、端末は、ステップ２００で、サービスコンテンツを受信し、ステップ２１０で、受信したサービスコンテンツを復号する。ステップ２１０の復号処理は、受信したサービスコンテンツが符号化されていない場合、行わなくてもよい。また、端末は、ステップ２２０で、前記復号されたサービスコンテンツに含まれたコマンドを確認して実行する。前述したコマンドは、シーンの変化を宣言的方法で表現するものであり、例えば、新しいシーンを描きなさいというコマンドである‘ＮｅｗＳｃｅｎｅ’要素、属性を挿入しなさいというコマンドである‘Ｉｎｓｅｒｔ’要素及び属性を削除しなさいというコマンドである‘Ｄｅｌｅｔｅ’などがある。前記ＬＡＳｅＲシーン構成要素は、シーンを構成するメディア及びグラフィックオブジェクトを宣言的方法で表現するエレメント（ｅｌｅｍｅｎｔ）と各エレメントの属性（ａｔｔｒｉｂｕｔｅ）、イベント及びスクリプトなどが含まれる。

本発明において説明するユーザインターフェース構成要素オブジェクトよりなるコンテンツは、外部に送信可能となるように定められた情報を含むので、ステップ２３０で、端末は、受信したサービスコンテンツの構成要素オブジェクトが含む外部に送信可能な情報を解釈及び確認する。この場合、端末は、ユーザインターフェースシーンを構成するメディア及びグラフィックオブジェクト、例えば、宣言的方法で表現するエレメント（ｅｌｅｍｅｎｔ）と各エレメントの属性を表現する属性（ａｔｔｒｉｂｕｔｅ）、イベント及びスクリプトなども解釈及び確認する。

続いて、端末は、ステップ２４０で、映像または音響などをサポートするユーザインターフェース手段を通じて構成されたサービスコンテンツを出力する。本発明の図面では詳しく説明していないが、前記ユーザインターフェースを構成するＬＡＳｅＲサービス及びコンテンツに関連したすべてのイベントなどは、ステップ２４０の前に実行されてもよい。

サービスコンテンツを出力する途中に、ステップ２５０で、端末は、外部に送信可能な情報を抽出するための動作または信号、例えば、ユーザインターフェースに関連したイベント発生を感知すれば、ステップ２６０で、端末は、外部に送信可能な情報を抽出する。抽出した情報は、ＬＡＳｅＲエンジンでハンドリングされてもよく、外部とのコミュニケーションを担当する別途のモジュールでハンドリングされてもよく、ユーザインターフェースを管理する管理エンジンでハンドリングされてもよい。また、抽出した情報は、外部とのコミュニケーションに関連したアプリケーションまたはアプリケーションプログラミングインターフェース（ＡＰＩ）や端末の自体システムライブラリの臨時メモリでハンドリングされてもよい。

他の例として、ステップ２６０で抽出された情報は、ステップ２５０での動作や信号の定義によって宛先（ｄｅｓｔｉｎａｔｉｏｎ）端末または宛先アプリケーションプログラムあるいはコンテンツにすぐ伝送されてもよい。前記ユーザインターフェース管理エンジンは、ユーザインターフェースマネージャーあるいはウィジェットマネージャーなどと称することができる。以下、本発明では、ユーザインターフェースマネージャーという用語を使用して説明する。本発明において説明する前記ユーザインターフェースマネージャーは、ＬＡＳｅＲエンジンの機能が拡張された形態であってもよく、ＬＡＳｅＲエンジンに含まれるあるいはＬＡＳｅＲエンジンを含む別途の機能モジュールであってもよく、ＬＡＳｅＲエンジンとは別個に構成された別のモジュールであってもよい。

以下、図２のステップ２３０で説明した受信したサービスコンテンツの構成要素オブジェクトに含まれる外部に送信可能となるように定められた情報を解釈及び確認する方法と、ステップ２５０で説明した外部に送信可能な情報を抽出するための動作または信号を、具体例を挙げて説明する。

（第１実施形態）
本発明の第１実施形態によってユーザインターフェース構成要素オブジェクトのグループで構成されたコンテンツに含まれる外部に送信可能となるように定められた情報を新たに生成し、このような情報を含むシーンを構成する方法について詳しく説明する。

前記情報は、要素、属性及び属性値から構成されうる。前記要素は、シーンを構成するオブジェクトの基本単位、前記属性は、シーンを構成する前記要素の特性、前記属性値は、前記属性の具体的な値（ｖａｌｕｅ）を意味する。例えば、四角形を意味する‘ｒｅｃｔ’が前記要素であり、四角形を表現するのに使用される特性の１つである四角形の横の長さを意味する‘ｗｉｄｔｈ’は、前記属性であり、‘ｗｉｄｔｈ’の具体的な値である‘１０’は、前記属性値である。外部との入／出力及び交換可能となるように定められた情報を表現する方法によって、前記情報が多様なフィールド及びフィールドを構成するパラメータで表現されるなど、前記情報が他の方法またはフォーマットを利用して表現されたとしても、目的や機能が同一であれば、前記情報は、同一のものであると言えることは勿論である。

下記の表２のＸＭＬは、本発明の実施形態において、外部に抽出するための情報を表現するための新規属性及び属性値情報を使用して生成されたユーザインターフェースを構成するコンテンツを例示したものである。表２のＸＭＬを参照すれば、シーン構成要素中の１つである‘ｇ’は、イメージを構成するためのシーン構成要素である‘ｉｍａｇｅ’を含む。前記‘ｇ’要素は、シーンを構成する多様な要素を含んで表現することができるコンテナ（ｃｏｎｔａｉｎｅｒ）要素である。したがって、ユーザインターフェースを構成するコンテンツを構成する多様なシーン構成要素、すなわち四角形を描くための‘ｒｅｃｔ’、円を描くための‘ｃｉｒｃｌｅ’などを含むグラフィック要素及びテキスト、オーディオ、ビデオ、イメージなどの多様なシーン構成要素が‘ｇ’要素の内部に含まれることができる。

新たに定義して使用されている‘ｅｘｔｒａｃｔ＿ｅｎａｂｌｅ’属性は、その値が‘ｔｒｕｅ’の場合、当該要素の子要素が送信可能な情報を含むという意味を示す。また、‘ｅｘｔｒａｃｔ＿ｅｎａｂｌｅ’属性は、その値が‘ｔｒｕｅ’の場合、それ自身が送信可能な情報を含むという意味を示していてもよい。表２のＸＭＬによれば、‘ｉｍａｇｅ’を抽出することができ、この場合、外部に伝達されるデータは、イメージファイル自体であってもよく、イメージの‘ｈｒｅｆ：ｔｙｐｅ’の属性値であるイメージのアドレスが伝達されてもよい。このような場合、子要素が外部に抽出することができる情報は、あらかじめ定められていてもよい。例えば、イメージは、イメージアドレス、テキストは、テキスト要素の値であるテキストストリングなどで定められていてもよい。

下記の表３のＸＭＬの例は、送信可能な情報を表現するさらに別の例であって、‘ｏｕｔｐｕｔ’属性の属性値が呼称する当該要素の属性値を外部に抽出することができるという意味を示す。下記の例では、‘ｉｍａｇｅ’要素は、イメージ要素のアドレス（ｔａｒｇｅｔ＝“ｈｒｅｆ：ｔｙｐｅ”）を、‘ｒｅｃｔ’要素は、‘ｃｏｌｏｒ’属性の属性値が‘ｒｅｄ’を、‘ｔｅｘｔ’要素は、その要素値であるテキストストリング（‘ｔｅｘｔＳｔｒｉｎｇ’（ｔａｒｇｅｔ＝“ｔｅｘｔＣｏｎｔｅｎｔ”））を抽出することができる。また、‘ｏｕｔｐｕｔ’属性を利用して‘ｏｕｔｐｕｔ＝“ｃｏｌｏｒ、ｘ、ｙ”’のように１つの要素から複数の属性値などの情報を出力することもできる。また、‘ｅｘｔｒａｃｔ＿ｅｎａｂｌｅ’と‘ｏｕｔｐｕｔ’を共に使用して、‘ｅｘｔｒａｃｔ＿ｅｎａｂｌｅ’属性が‘ｔｒｕｅ’である‘ｏｕｔｐｕｔ’属性だけを外部に抽出するための動作を行うように設定することもできる。

下記の表４のＸＭＬの例は、送信可能な情報を表現するさらに別の例であって、外部に送信可能な情報を表現する‘ｃｏｍｍｕｎｉｃａｔｉｏｎ’要素は、ＩＤ属性値が‘ｉｍｇ’であるユーザインターフェース構成要素オブジェクトの‘ｈｒｅｆ：ｔｙｐｅ’属性値を抽出することができることを示す。表４のＸＭＬの例のように表現する場合、この情報は、ＬＡＳｅＲなどのリッチメディアシーン構成情報内に含まれてもよく、シーン構成要素とは別途のデータまたはファイルで構成されてもよい。

前記表２から表４までのＸＭＬの例を挙げて説明した外部に送信可能な情報を、実際外部に伝達する過程で抽出されるデータは、オブジェクトから抽出される情報自体だけでなく、オブジェクトの識別（Identification）情報、オブジェクトのデータタイプ、位置情報、大きさ情報、オブジェクトの属する物理的あるいは論理的範疇、例えば、要素や属性の名前、あるいはオブジェクトに対する説明などをさらに含んでいてもよい。また、抽出される当該値は、外部との情報交換過程発生条件及び当該特徴を認知するイベントなどの入力値であってもよい。

また、外部で入力可能な情報を受信するデータが設定されてもよい。例えば、‘ｉｎｐｕｔ’という属性または情報の対象となる対象ノード及び対象属性は、外部から情報を受信することができることを意味する。

ひいては、前記表４のＸＭＬの“ｔａｒｇｅｔＩＤ”と“ｔａｒｇｅｔＶａｌｕｅ”は、１つのフィールドを利用して同一の情報を意味するように表現することもできるが、目的とする情報が同一であれば、どんな方法で表現しても、同じものと言える。本発明において具体例を挙げて説明してはいないとしても、特定のオブジェクトから外部に抽出することができる特定のパラメータを抽出することができる方法は、全て、本発明の範疇に属すると言える。

図３は、本発明の実施形態によるユーザインターフェース構成要素オブジェクトよりなるコンテンツのうち事前予測が不可能な経路を通じて情報を受信する端末の動作を示すフローチャートである。

図３を参照して説明すれば、端末は、ステップ３００で、ユーザインターフェースコンテンツを受信し、ステップ３１０で、受信したユーザインターフェースコンテンツを復号する。ステップ３１０の復号処理は、受信されたユーザインターフェースコンテンツが符号化されていない場合には、行わなくてもよい。そして、端末は、ステップ３２０で、前記復号されたユーザインターフェースコンテンツに含まれたコマンドを確認して実行する。続いて、ステップ３３０で、端末は、映像または音響などをサポートするユーザインターフェース手段を通じて構成されたコンテンツを出力する。

本図面では詳しく説明していないが、端末は、ＬＡＳｅＲシーンを構成するメディア及びグラフィックオブジェクトを表現するエレメント（ｅｌｅｍｅｎｔ）と各エレメントの属性及びイベントとスクリプトなどをも解釈して処理する処理は、ステップ３３０の前に行われる。また、本発明の図面では詳しく説明していないが、前記ユーザインターフェースを構成するコンテンツに関連したすべてのイベントなどは、ステップ３３０の前に行われてもよい。

ユーザインターフェースコンテンツを出力する途中に、ステップ３４０で、所定の経路でなく、他の経路を通じて情報が受信される動作またはこれに関する信号を感知すれば、ステップ３５０で、所定の経路でなく外部の他の経路を通じて受信された情報を確認し、受信された情報のタイプ、イベントの種類、受信されたデータの物理的及び論理的範疇などの情報を確認し、自分の特定機能を行うための入力値であることを確認する。

受信側端末は、このような入力値を利用して自らの機能を行うか、または構成要素オブジェクトの特徴によってカスタマイズされたユーザインターフェースの入力値として使用するなど多様な動作を行うことができる。この時、受信端末あるいは受信オブジェクトのグループまたはオブジェクトそれ自身は、自らが受信した情報が自らの特定機能を行うための情報であることを認知しなければならない。例えば、受信した情報がテキスト情報の場合、オブジェクト自身が処理可能なデータのタイプがテキストであるとしても、受信したテキスト情報が当該オブジェクト自身の機能を行うための入力であることを認知しなければならない。入力されたテキスト情報のタイプがプレーヤー（ｐｌａｙｅｒ）のような特定のアプリケーションプログラムを駆動させるためのものであるものの、受信オブジェクトの受信可能情報のタイプは、単純なテキストコンテンツである場合、受信情報を受信オブジェクトの入力値として使用することができない。このような機能は、ＬＡＳｅＲエンジンを通じて実行されてもよく、ユーザインターフェースマネージャーを通じて実行されてもよく、受信端末あるいは受信オブジェクトのグループまたはオブジェクト自身が実行してもよい。

ステップ３４０で、所定の経路でなく、他の経路を通じて情報が受信される動作またはこれに関する信号を感知する受信端末あるいは受信オブジェクトのグループまたはオブジェクト自身は、コンテンツを出力している活動状態（ａｃｔｉｖｅ）でなくてもよく、休止期（Ｉｄｌｅ）状態あるいは待機状態であってもよい。あるいは外部入力に対するモニタリング状態であってもよい。このような場合、ステップ３４０のような動作や信号が発生すれば、受信端末あるいは受信オブジェクトのグループまたはオブジェクトは、活動状態に切り替えられるか、または活動状態となるまで待ってから、外部から受信された情報を処理する。この時、外部から受信された情報は、属性の値などの具体的な値であってもよく、対象となる対象オブジェクト（ノード、フィールド、属性、命令、オブジェクトグループ）の動作を生成する命令またはイベントであってもよい。

（第２実施形態）
以下では、本発明の第２実施形態において、ユーザインターフェース構成要素オブジェクトのグループ、すなわちユーザインターフェースコンテンツに含まれる外部に入出力または交換可能となるように定められた情報を抽出するための動作または信号を定義し、入出力される情報及びその入出力手続きについて詳しく説明する。

ネットワークセッションの管理、復号処理、端末の状態、動作の変化、データ、あるいは、インターフェースでの入出力に関する信号及び内容をイベントとして定義して、ユーザインターフェースを構成するコンテンツを処理することができる。定義されたイベントを感知すると、ＬＡＳｅＲエンジンまたは端末またはユーザインターフェースマネージャーは、当該イベントによるシーンの転換や端末動作の変化を実行することができる。以下では、イベントを基盤として外部に送信可能な情報を抽出するための動作または信号を認知し、これに基づいて外部の他のコンテンツあるいはユーザインターフェースとの情報を伝達する方法及び交換する方法を説明する。

イベントを基盤としたユーザインターフェース情報伝達及び交換の一例として、ＬＡＳｅＲエンジンまたは端末またはユーザインターフェースマネージャーが本発明において説明する新規イベントの発生を感知すれば、当該イベントに関係する命令、すなわちイベント発生及び感知によるユーザインターフェース外部オブジェクトまたは外部の他のコンテンツ、プログラムまたは端末との情報交換及び情報入出力に対する関数の実行または要素及びコマンド処理などを実行する。

ユーザインターフェース間の、あるいは他のアプリケーションプログラムとの情報伝達及び交換のために、ＬＡＳｅＲエンジンまたはユーザインターフェースマネージャーは、情報伝達及び交換が可能な他のコンテンツあるいはプログラムにおいてイベント発生を感知することができる機能を各コンテンツやプログラムまたは各端末に先に伝送することができる。例えば、情報交換が可能なコンテンツやオブジェクトまたは他の端末にイベント発生を感知することができるリスナー（Ｌｉｓｔｅｎｅｒ）を追加するかまたは登録することができる。このようなリスナーの追加や登録は、情報伝達の対象となるコンテンツやオブジェクトまたは端末にイベント発生を感知することができるリスナーをユニキャスト（ｕｎｉｃａｓｔ）またはマルチキャスト（ｍｕｌｔｉｃａｓｔ）するか、または放送（ｂｒｏａｄｃａｓｔｉｎｇ）などの方法で伝達する動作を通じて行うこともできる。このようなリスナーの伝達及び設定は、イベントのトリガーとなるオブジェクトとイベント発生による動作を通知する方法であってもよく、このようなリスナーの伝達及び設定のためのイベントリスナーは、両方が互いに理解することができる動作にマッピングしてもよい。

下記表５は、ユーザインターフェース構成要素オブジェクトの情報入出力及びこれを通じた外部の他のコンテンツと、あるいはさらに他のユーザインターフェースとの情報伝達及び交換に対する新規イベントの定義の例である。

前記表５で定義した‘ｍｏｖｅ＿ｏｕｔ’イベントは、ポインティング装置（ｐｏｉｎｔｉｎｇ ｄｅｖｉｃｅ）の位置がシーン構成要素オブジェクトの領域外に移動する瞬間に発生する。また、‘ｍｏｖｅ＿ｏｕｔ’イベントは、図２のステップ２５０で説明した外部に送信可能な情報を抽出するための動作または信号を感知する瞬間に発生してもよい。この時、外部への情報の出力を認知したＬＡＳｅＲエンジンやユーザインターフェースマネージャーまたは端末は、情報交換が可能なコンテンツやオブジェクトまたは他の端末にイベント発生を感知させることができるリスナーをユニキャストまたはマルチキャストするか、または放送（ｂｒｏａｄｃａｓｔｉｎｇ）などの方法で伝達する動作を行うこともできる。

‘ｍｏｖｅ＿ｉｎ’イベントは、ポインティング装置の位置がシーン構成要素オブジェクトの領域内に移動する瞬間に発生する。また、‘ｍｏｖｅ＿ｉｎ’イベントは、図３のステップ３４０で説明した、所定の経路でなく、他の経路を通じて受信される情報がある場合、これに対する動作または信号を感知して発生してもよい。

‘ｗｉｄｇｅｔ＿ｃｏｍｍｕｎｉｃａｔｉｏｎ＿ｔｙｐｅＡ’イベントは、所定の動作を通じて、ユーザインターフェースオブジェクト外部の他のユーザインターフェースオブジェクト、プログラムまたは端末とのリンク又は情報交換がある場合に発生する。この時、前記所定の動作は、例えば、ドラッグアンドドロップのような対を成す動作であってもよい。このような所定の動作は、ＬＡＳｅＲエンジン、ユーザインターフェースマネージャー、または端末にあらかじめ定義されて認知されてもよく、ユニキャスト、マルチキャスト、または放送（ｂｒｏａｄｃａｓｔｉｎｇ）などの方法で情報交換が可能なコンテンツやオブジェクトまたは他の端末に伝達して認知されてもよい。また、‘ｗｉｄｇｅｔ＿ｃｏｍｍｕｎｉｃａｔｉｏｎ＿ｔｙｐｅＡ’イベントは、図２のステップ２５０で説明した外部に送信可能な情報を抽出するための動作または信号と、ステップ３４０で説明した所定の経路でなく、他の事前予測が不可能な経路を通じて受信されたことによって生じた動作または信号を感知する瞬間に発生してもよい。

‘ｗｉｄｇｅｔ＿ｃｏｍｍｕｎｉｃａｔｉｏｎ＿ｔｙｐｅＢ’イベントは、ユーザインターフェースオブジェクト外部とのリンク又は情報交換がある場合に発生する。これは、ユーザインターフェースオブジェクト間のコネクション及び情報交換が認知されることを含む‘ｗｉｄｇｅｔ＿ｃｏｍｍｕｎｉｃａｔｉｏｎ＿ｔｙｐｅＢ’イベントは、‘ｗｉｄｇｅｔ＿ｃｏｍｍｕｎｉｃａｔｉｏｎ＿ｔｙｐｅＡ’イベントのように、図２のステップ２５０で説明した外部に送信可能な情報を抽出するための動作または信号と、図３のステップ３４０で説明した所定の経路でなく他の事前予測が不可能な経路を通じて受信されたことによって生じた動作または信号を感知する瞬間に発生してもよい。‘ｗｉｄｇｅｔ＿ｃｏｍｍｕｎｉｃａｔｉｏｎ＿ｔｙｐｅＡ’イベントと異なる点は、あらかじめ定められたあるいは設定に応じて自動アップデート、情報交換などがＬＡＳｅＲオブジェクト間に起きる場合に、これを感知することができる。
‘ｗｉｄｇｅｔ＿ｃｏｍｍｕｎｉｃａｔｉｏｎ（Ａ）’イベントは、入力値（Ａ）を通じてユーザインターフェースオブジェクト外部間のリンク又は情報交換がある場合に発生する。‘ｗｉｄｇｅｔ＿ｃｏｍｍｕｎｉｃａｔｉｏｎ（Ａ）’イベントも、‘ｗｉｄｇｅｔ＿ｃｏｍｍｕｎｉｃａｔｉｏｎ＿ｔｙｐｅＡ’のように、図２のステップ２５０で説明した外部に送信可能な情報を抽出するための動作または信号と、図３のステップ３４０で説明した所定の経路でなく他の経路を通じて受信されたことによって生じた動作または信号を感知する瞬間に発生してもよい。または‘ｗｉｄｇｅｔ＿ｃｏｍｍｕｎｉｃａｔｉｏｎ＿ｔｙｐｅＢ’のように、あらかじめ定められたあるいは設定に応じて自動アップデート、情報交換などがＬＡＳｅＲオブジェクト間に起きる場合に、これを感知することができる。但し、ｗｉｄｇｅｔ＿ｃｏｍｍｕｎｉｃａｔｉｏｎ（Ａ）’イベントが他のイベントと異なる点は、Ａという入力値があることである。例えば、外部の他のユーザインターフェースオブジェクトを認知することができる（ＩＤやＵＲＩなど）情報を入力値として、当該ユーザインターフェースオブジェクトとのリンク及び情報交換を実行することができる。また、ユーザインターフェース間の情報交換のためにあらかじめ登録されたイベントの名前や、ユーザインターフェースの名前またはＩＤ、特定装置（Ｄｅｖｉｃｅ）の入力値、スクリプト及びプログラムの関数、機能などを表示する情報または値などが前記入力値として使用されてもよい。この時、当該オブジェクトとしてこのようなイベントの発生を感知することができるリスナーを登録する動作が先行されていてもよい。入力値‘Ａ’で表現されたすべての変数は、絶対値、相対値、意味を有している値などによって多様に表現されうる。前記意味を有している値は、一定のグループあるいは群に分けて象徴的に表現するか、または内／外部にあらかじめ定められている値を意味し、内／外部にあらかじめ定められた値は、入力値‘Ａ’を参照して確認されうる。前記変数は、各システムによって表記方法や使用する値が異なっていてもよい。入力値は、区間値であってもよく、量を表現する値であってもよい。また、特定値を呼称する変数を使用してもよい。また、この入力値は、（Ａ、Ｂ）のように複数の値で表現されてもよく、対で表現されてもよい。この時、対で表現される複数の値は、場合によって複数個になっていてもよく、その各々のデータタイプは、異なっていてもよい。前記実施形態で定義したイベントなどは、イベントを伝達するためのインターフェースを通じて伝達されてもよい。例えば、ｗｉｄｇｅｔ＿ｃｏｍｍｕｎｉｃａｔｉｏｎ（Ａ）のように、特定の入力値を通じてイベントが認知されることを“ｉｎｐｕｔ＿ｅｖｅｎｔＴｒｉｇｇｅｒ＝Ａ”または“ｏｕｔ＿ｅｖｅｎｔＴｒｉｇｇｅｒ＝Ａ”と情報フィールドの形態で表示することができる。“ｉｎｐｕｔ＿ｅｖｅｎｔＴｒｉｇｇｅｒ＝Ａ”、“ｏｕｔ＿ｅｖｅｎｔＴｒｉｇｇｅｒ＝Ａ”は、“Ａ”というイベントが発生すれば、または“Ａ”によってイベントが発生すれば、イベントによる動作を行う。

前記実施形態において、外部に送信可能な情報を抽出する、あるいは、外部から入る情報を受信するなどの動作または信号の発生を感知することは、ＬＡＳｅＲエンジンやユーザインターフェースマネージャーまたは端末を通じて行われてもよい。この時、外部への情報の出力を認知したＬＡＳｅＲエンジンやユーザインターフェースマネージャーまたは端末は、情報交換が可能なコンテンツやオブジェクトまたは他の端末にイベント発生を感知することができる情報をユニキャストまたはマルチキャストするか、または放送（ｂｒｏａｄｃａｓｔｉｎｇ）などの方法で伝達して認知可能にすることもできる。このようなリスナーの伝達及び設定は、イベントのトリガーとなるオブジェクトとイベント発生による動作を通知する方法であってもよく、このようなリスナーの伝達及び設定のためのイベントリスナーは、両側が互いに理解することができる動作にマッピングしてもよい。また、インターフェースを通じて出力する情報または入力する情報は、本発明の第１実施形態において説明したように、シーン構成要素オブジェクトの内部に定義されることもできるが、外部で前記送受信可能情報に対する情報を確認して得ることもできる。

以下では、前記で説明した外部に送信可能な情報を抽出するための動作または信号を認知し、これに基づいて外部の他のコンテンツあるいはユーザインターフェースとの情報を伝達し、交換するためのインターフェースについて説明する。

下記の表６に示された定義は、インターフェース定義言語を利用してインターフェースを定義したものである。インターフェース定義言語（Ｉｎｔｅｒｆａｃｅ Ｄｅｆｉｎｅ Ｌａｎｇｕａｇｅ、ＩＤＬ）は、インターフェースと関数とを定義する言語である。インターフェース定義言語は、いずれのシステム及びプログラム言語により解釈される形態よりなり、互いに異なるプログラムを使用しても解釈されうる。本発明において説明されるインターフェースは、インターフェース定義言語によって定義されるが、多様な言語及び情報の表現方法によって表現されてもよい。‘Ｃｏｍｍｕｎｉｃａｔｉｏｎ’インターフェースは、前記表５で説明した外部の他のコンテンツあるいはユーザインターフェースとの情報伝達及び交換を認知するために使用もしくは参照される。さらに、‘Ｃｏｍｍｕｎｉｃａｔｉｏｎ’インターフェースは、他のコンテンツと、あるいはさらに他のユーザインターフェースとの情報伝達及び交換に関連したイベントなどのイベントタイプ及びイベントを認知して処理するために使用または参照されてもよい。また、‘Ｃｏｍｍｕｎｉｃａｔｉｏｎ’インターフェースは、本発明の第１実施形態の方法などを通じて抽出した情報を伝達するか、または交換するために使用または参照されてもよい。‘Ｃｏｍｍｕｎｉｃａｔｉｏｎ’インターフェースの属性（Ａｔｔｒｉｂｕｔｅｓ）は、ユーザインターフェースオブジェクトを参照するための情報や、ユーザインターフェースオブジェクト間の情報交換及びリンクを１つの情報で表現することができるものであれば、いかなるものでもよい。例えば、外部に送信可能なまたは入力されるユーザインターフェース構成情報の位置、外部に送信可能なまたは入力される情報に対するＩＤなどの固有情報、抽出または受信される情報のタイプ、当該情報の属性や当該情報が属する物理的範疇または論理的範疇を示す情報、情報交換が同期（ｓｙｎｃ）モードで行われるべきか否か、情報入出力に対する要求に対するコールバック（ｃａｌｌｂａｃｋ）可否などの情報により、インターフェースが構成されるとよい。また、各属性の変数のタイプは、下記で表現している、“ｆｌｏａｔ”、“ｂｏｏｌｅａｎ”、“ｌｏｎｇ”、“ＤＯＭＳｔｒｉｎｇ”などに限定するものではなく、インターフェースの属性が表現しようとする値があれば、データの属性及び機能に適した変数のタイプを利用して属性が表現されてもよい。

前述したように、インターフェースを構成するか、または表現する方法は、システムや端末、情報を表現する方法によって変化するので、本発明において説明するインターフェースの属性は、情報の表現方法によって新しい要素またはフィールドまたはパラメータなどで表現されることがある。また、本発明において説明されるインターフェースの上位インターフェースが存在すれば、当該インターフェースを継承して定義されてもよい。

表６の定義において、“ｔｙｐｅ”は、インターフェースのタイプを示すもので、情報の入出力に対する属性や当該情報が属する物理的範疇または論理的範疇を示す情報などを示す。“Ｎａｍｅ”は、インターフェースを区分するための区分子やＩＤを示す。また、インターフェースを通じて行われる動作を説明するための情報として使用されてもよい。“ｔａｒｇｅｔＩＤ”は、出力または入力対象オブジェクトのＩＤを示す。例えば、“ｔａｒｇｅｔＩＤ”は、対象ノードやエレメントのＩＤとして使用されてもよい。“ｔａｒｇｅｔＮａｍｅ”は、出力または入力対象オブジェクトまたは対象情報の要素や属性の名前を示す。“ｔａｒｇｅｔＶａｌｕｅ”は、出力または入力値を示すもので、出力される情報自体であってもよく、出力対象または入力オブジェクトを示してもよい。一方、本発明において説明する各々の情報は、１つのフィールドを利用して表現されてもよい。例えば、“ｔａｒｇｅｔＩＤ”と“ｔａｒｇｅｔＮａｍｅ”を１つのフィールドとして“ｔａｒｇｅｔＩＤ．ｔａｒｇｅｔＮａｍｅ”と表現されてもよく、具体的に“ｃｉｒｃｌｅ．ｒ”と使用する場合、“ｃｉｒｃｌｅ”という対象ノードの“ｒ”という属性’で表現することができる。

“ｄａｔａＴｙｐｅ”は、データの特性や機能上の特性などを表現するのに用いられる。データの特性は、例えば、“ｓｔｒｉｎｇ”、“ｂｏｏｌｅａｎ”、“ｄｅｃｉｍａｌ”、“ｐｒｅｃｉｓｉｏｎＤｅｃｉｍａｌ”、“ｆｌｏａｔ”、“ｄｏｕｂｌｅ”、“ｄｕｒａｔｉｏｎ”、“ｄａｔｅＴｉｍｅ”、“ｔｉｍｅ”、“ｄａｔｅ”、“ｇＹｅａｒＭｏｎｔｈ”、“ｇＹｅａｒ”、“ｇＭｏｎｔｈＤａｙ”、“ｇＤａｙ”、“ｇＭｏｎｔｈ”、“ｈｅｘＢｉｎａｒｙ”、“ｂａｓｅ６４Ｂｉｎａｒｙ”、“ａｎｙＵＲＩ”、“ＱＮａｍｅ”、“ＮＯＴＡＴＩＯＮ”、“ｎｏｒｍａｌｉｚｅｄＳｔｒｉｎｇ”、“ｔｏｋｅｎ”、“ｌａｎｇｕａｇｅ”、“ＮＭＴＯＫＥＮ”、“ＮＭＴＯＫＥＮＳ”、“Ｎａｍｅ”、“ＮＣＮａｍｅ”、“ＩＤ”、“ＩＤＲＥＦ”、“ＩＤＲＥＦＳ”、“ＥＮＴＩＴＹ”、“ＥＮＴＩＴＩＥＳ”、“ｉｎｔｅｇｅｒ”、“ｎｏｎＰｏｓｉｔｉｖｅＩｎｔｅｇｅｒ”、“ｎｅｇａｔｉｖｅＩｎｔｅｇｅｒ”、“ｌｏｎｇ”、“ｉｎｔ”、“ｓｈｏｒｔ”、“ｂｙｔｅ”、“ｎｏｎＮｅｇａｔｉｖｅＩｎｔｅｇｅｒ”、“ｕｎｓｉｇｎｅｄＬｏｎｇ”、“ｕｎｓｉｇｎｅｄＩｎｔ”、“ｕｎｓｉｇｎｅｄＳｈｏｒｔ”、“ｕｎｓｉｇｎｅｄＢｙｔｅ”、“ｐｏｓｉｔｉｖｅＩｎｔｅｇｅｒ”、“ｙｅａｒＭｏｎｔｈＤｕｒａｔｉｏｎ”などと、列挙型（ｅｎｕｍｅｒａｔｉｏｎ）などの整数型、文字列、小数型、固定小数型、浮動小数型、リスト型など当該リッチメディアコンテンツで利用可能な多様なデータタイプ、アプリケーションプログラムや情報を区分する”ｍｉｍｅＴｙｐｅ”などであってもよく、アプリケーションプログラムやアプリケーションプログラムインターフェースのパラメータのタイプや、変数のタイプまたはスクリプトのパラメータのタイプや、変数のタイプであってもよい。

“ｔａｒｇｅｔ＿ｘ”、“ｔａｒｇｅｔ＿ｙ”、“ｌｏｃａｔｉｏｎ”などの値は、出力または入力対象オブジェクトの位置関連情報を示す。“ｄｅｔａｉｌ”は、出力または入力値に対する説明を含むことができる。“Ａｓｙｎｃ”は、出力要求に対する結果の反映が同期モードなのか非同期モードなのかを示す。例えば、情報交換要求に対する結果反映が、同期モードに設定された情報が出力または入力される場合、情報交換に対する結果が直ちに反映されなければならない。したがって、ユーザインターフェースが不活性化状態の場合、ユーザインターフェースを活性化させて結果を反映させなければならない。

“ｃａｌｌｂａｃｋ”は、出力または入力要求の結果に対するコールバック（ｃａｌｌｂａｃｋ）実行可否を示す。“ｃａｌｌｂａｃｋＶａｌｕｅ”は、出力または入力要求の結果に対するコールバック（ｃａｌｌｂａｃｋ）実行によって伝達される情報を示す。例えば、外部に送信可能な情報を抽出するあるいは外部から情報を受信する動作の実行に対する結果が、情報が抽出されたまたは受信されたオブジェクトに伝達され、結果について確認することができるようにする。“ｎｅｔｗｏｒｋ”は、外部ネットワークとの連結可否を示し、“ｎｅｔｗｏｒｋＮａｍｅ”は、ネットワークの名前またはプロトコルの種類を示す。

“ｅｖｅｎｔＮａｍｅ”は、出力または入力対象となるイベントの名前を示す。前記イベントは、対象オブジェクト（またはフィールドまたは属性またはノード）に特定の動作を開始させるイベントを示す。また、対象オブジェクトの動作を指示する命令やイベントによって所定の動作を行うようにする命令として使用されてもよい。また、対象オブジェクトのイベントが外部に出力されてもよい。例えば、入力インターフェースを通じて当該情報が伝達される場合、ｅｖｅｎｔＮａｍｅ＝‘ａｕｄｉｏ．ａｃｔｉｖａｔｅ’は、対象オブジェクトの名前やＩＤが“ａｕｄｉｏ”である対象オブジェクトが“ａｃｔｉｖａｔｅ”というイベントを開始させることによって、“ａｃｔｉｖａｔｅ”というイベントに定義された動作が実行される。すなわちイベントを受信する側の動作をトリガーとすることができる。

出力インターフェースを通じてイベントを伝達する場合は、当該イベントを外部に発信することができることを意味する。これは、当該イベントの発生を外部に通知するように動作することもでき、外部の当該イベント受信オブジェクトの動作をトリガーとするイベントを出力するように動作することもできる。この時、動作する対象によって受信する側と出力する側が共に理解することができるように、イベントや命令のマッピングのための情報をさらに提供することもできる。例えば、“ｖｉｄｅｏ”を“ａｃｔｉａｖａｔｅ”しなさいというイベントは、“ｖｉｄｅｏ”を“ｐｌａｙ”しなさいという命令にマッピングすることができ、本発明は、このようなマッピング情報やマッピングテーブルを生成することを含む。

また、入出力される動作によって複数のパラメータや複数のイベントを同時に伝達することができる。例えば、“ｖｉｄｅｏ”を“ｓｔａｒｔ”、“ｐａｕｓｅ”及び“ｓｔｏｐ”するために必要な必要情報を各々伝達することができる。

また、前記イベントが入力値を必要とするものである場合、“ｅｖｅｎｔＩｎｐｕｔＶａｌｕｅ”という新しいフィールドを利用して、イベントの入力値に関する入出力インターフェースを通じて伝達することができる。これは、前述したように、２つ以上のフィールドを統合して、“ｅｖｅｎｔＮａｍｅ．ｉｎｐｕｔＶａｌｕｅ”のような１つのフィールドを利用して情報を伝達することもできる。

前記インターフェースの情報は、複数の出力情報がある場合、各情報によって必要な情報だけが選択されて表現されてもよい。前記出力情報を表現するための属性は、ｎ個の値を組として有する１つの属性を利用して表現されてもよい。下記の表７の定義は、複数の出力情報がある場合の一例を示すものである。

前述したように、本発明において説明したインターフェースを通じて伝達される情報を表現する形態は、多様に定義される。例えば、

のように、ＸＭＬ形式の宣言型で表現することもでき、この時にも、

のいずれかのように定義されてもよい。このように、各情報は、要素の形態をしているかまたは属性の形態をしているかにかかわらず、その情報の表現が実現しようとする目的に適していれば、各システムに適した形態で表現されうる。

前記情報を表現するインターフェースを通じて伝達されるデータの形態、すなわち表現方法は、異なるものの、当該インターフェースを通じて伝達しようとする情報及び目的は、同一である。したがって、本発明で具体的な構文（ｓｙｎｔａｘ）で説明していないとしても、ユーザインターフェースオブジェクトまたはファイルまたはアプリケーションプログラムとの情報交換を行うことができる数値やデータに対する属性及び情報を含んでいて、前記インターフェースを通じて伝達しようとする情報及び目的が同一であれば、本発明の範疇に属すると言える。

特に本発明のインターフェースを構成する要素において説明した情報を含む場合、これは、本発明において説明されるユーザインターフェース構成要素オブジェクトの情報入出力及びこれを通じた外部の他のコンテンツと、あるいはさらに他のユーザインターフェースとの情報伝達及び交換インターフェースの範疇に属すると見られる。前記表６の定義では、外部に抽出する情報に対するインターフェース及びその具体的な情報に関する例を挙げて説明したが、前記外部との情報を交換するために出力情報に相当する入力情報のためのインターフェースを提供することができることは勿論である。また、前記インターフェースは、出力のためのインターフェースと入力のためのインターフェースが別個に構成されてもよく、１つのインターフェースが共有されてもよい。

下記の表１３のＸＭＬは、前記で定義したイベントを使用してシーンを構成する例である。例えば、対を成す動作を通じて‘ｗｉｄｇｅｔ＿ｃｏｍｍｕｎｉｃａｔｉｏｎ＿ｔｙｐｅＡ’が発生すれば、外部にデータを出力する端末あるいはイベントリスナー（ｅｖｅｎｔ ｌｉｓｔｅｎｅｒ）を受信した端末のイベントリスナーは、これを認知し、イベント処理器に情報を出力するための動作を行うように命令し、外部からデータを受信する端末側イベント処理器に情報の入力のための動作を行うように命令する。情報を出力するための動作を命令されたオブジェクトは、“ｏｕｔｐｕｔ”インターフェースを通じて出力情報を受信オブジェクトに伝達し、情報を入力されるオブジェクトは、”ｉｎｐｕｔ”インターフェースを通じて入力情報を受信することができる。この動作は、同時に行われてもよく、外部にデータを出力する端末側のイベント認知とイベントリスナーの送信などそれによる動作が先に実行されてから、外部からデータを受信する端末の動作が行われてもよい。下記の表１３のＸＭＬのように、スクリプトを利用して入力及び出力関数を呼出し、このような関数で活用される情報は、本発明の第２実施形態を通じて説明されたインターフェースを通じて伝達される情報でありうる。

（第３実施形態）
図４は、本発明の実施形態によるユーザインターフェース制御方法によってユーザインターフェース構成要素オブジェクトの交換可能な情報出力を行う手続きを説明するフローチャートである。図５は、本発明の実施形態によるユーザインターフェース制御方法によって受信オブジェクトの機能の実行を行う手続きを説明するフローチャートである。第３の実施形態では、所定の経路を通じて受信された情報の機能を実行する受信オブジェクトは、ユーザインターフェース構成要素オブジェクトのようなオブジェクトのグループから抽出または出力された情報を受信する。当該オブジェクトのグループは、当該ユーザインターフェース構成要素オブジェクトにより入出力された情報を実行し、他のコンテンツやユーザインターフェースと情報伝達及び交換ができるように事前予測が不可能な経路を通じて自らの機能を実行する。図４及び図５は、本発明の実施形態におけるユーザインターフェースオブジェクトの情報交換方法の一例を示し、ユーザインターフェースオブジェクトの情報交換及び入出力の方法が必ず図４及び図５で説明する内容にのみ限定されるものではない。

図４は、情報を出力するユーザインターフェースオブジェクトの情報交換動作を説明する。ステップ４００で、ＬＡＳｅＲエンジン、ユーザインターフェースマネジャー、または、端末は、特定動作を行うオブジェクトグループ、すなわちユーザインターフェースオブジェクトの領域内でオブジェクト全体あるいはオブジェクトの一部を選択されることを認知する。この時、外部に送信可能な情報を含むオブジェクトは、選択可能状態に設定されることができる。例えば、当該領域を選択すれば“ｆｏｃｕｓａｂｌｅ”属性が“ｔｒｕｅ”に設定されるか、または“ｆｏｃｕｓｉｎ”イベントが発生する。

ステップ４１０で、ＬＡＳｅＲエンジン、ユーザインターフェースマネージャー、または、端末は、情報交換のために所定の動作が発生することを認知する。ステップ４２０で、ＬＡＳｅＲエンジン、ユーザインターフェースマネージャー、または、端末は、情報交換のための情報を抽出するか、または出力する。この時、ステップ４１０の所定の動作は、前述したように、対を成す先行動作と後行動作とで構成されることもでき、複数の動作またはイベントなどが順次に発生し、本発明において説明する外部への情報抽出または出力という命令またはイベントを発生させることもできる。

例えば、特定動作をするオブジェクトグループ、すなわちユーザインターフェースオブジェクトの領域内でポインティング装置のボタンが押圧される動作（ｍｏｕｓｅ＿ｄｏｗｎ）が発生し、ポインティング装置のボタンが押圧されたまま、ポインティング装置の位置移動（ｍｏｕｓｅ＿ｍｏｖｅ）が発生し、ポインティング装置の位置が当該ユーザインターフェースオブジェクトの領域外に移動する動作が起きたとする。これらの動作各々は、各々としても意味を有するが、ユーザインターフェースオブジェクトの情報を抽出／出力するためには、このような一連の動作が所定の手順によって起きる場合にのみ、外部との情報交換のための動作またはイベントが発生したものと認知されなければならない。

ステップ４２０で説明する情報の出力は、所定の動作が対を成す動作の場合、外部との情報交換のための情報出力や経路設定などの動作は、対を成す動作中に先行動作が発生する時に行われることもでき、対を成す動作がすべて発生する場合にのみ、外部との情報交換のためのコマンドやイベントが発生したことを認知し、それによる動作を行うこともできる。抽出または出力された情報は、システムライブラリにコピーされるか、または特定動作をするオブジェクトグループを管理する管理部の臨時バッファーに保存されてもよい。前記対を成す動作中に外部への情報の出力を認知したＬＡＳｅＲエンジン、ユーザインターフェースマネージャー、または、端末は、情報交換が可能な対象コンテンツや対象オブジェクトまたは他の対象端末にイベント発生を感知することができるリスナーなどの情報をユニキャスト、マルチキャスト、または、放送（ｂｒｏａｄｃａｓｔｉｎｇ）などの方法で伝達することもできる。

前記イベント発生を感知することができる情報を伝達する処理は、情報の入出力以前にあらかじめ行われてもよく、情報交換のための所定の動作が発生すれば行われてもよい。出力される情報は、本発明の第２実施形態で説明したインターフェースを通じて伝達されてもよい。

図５は、ユーザインターフェースオブジェクトの外部との情報交換過程中に、事前予測が不可能な経路を通じて受信した情報を受信オブジェクトの機能及び動作を行うための入力値にして動作する過程を説明する。ＬＡＳｅＲエンジン、ユーザインターフェースマネージャー、または、端末は、ステップ４３０で、情報交換のための所定の動作の発生を認知すれば、ステップ４４０で、ユーザインターフェースオブジェクトに入力される情報があるか否かを確認する。

ステップ４３０での情報交換のための所定の動作は、図４のステップ４１０で説明したことと同様である。ステップ４３０においても、対を成す動作を利用して、または、複数の順次に発生するイベントを通じて、情報交換イベントの発生が認知されるとよい。対を成す動作を行う場合、後行動作の実行に先立って先行動作が外部で発生したことをあらかじめ確認しなければならないように設定されていてもよい。連続する動作を通じて当該イベントが発生する場合、図４で説明した処理に引き続いて、ポインティング装置の位置が情報交換の対象となる情報受信オブジェクトの領域内に入った後、情報受信オブジェクトの領域内でポインティング装置のボタン押圧解除（ｍｏｕｓｅ−ｏｕｔ）を実行すれば、情報交換のための所定の動作が発生したことを端末が認知してもよい。

ステップ４４０で入力情報がある場合、ステップ４５０で、ＬＡＳｅＲエンジン、ユーザインターフェースマネージャー、または、端末は、当該入力情報が所定の経路を通じて伝達された情報であるか、事前予測が不可能な経路を通じて伝達された情報であるかを確認する。この時、受信する入力情報は、多数個であってもよい。ＬＡＳｅＲエンジン、ユーザインターフェースマネージャー、または、端末は、ステップ４６０では、受信オブジェクトの機能及び受信可能情報のタイプなどを確認し、ステップ４７０で、入力情報と受信オブジェクトが受信可能な情報のマッピング（ｍａｐｐｉｎｇ）を行う。

ステップ４６０とステップ４７０は、必ずしも図面の順に動作するものではなくてもよい。例えば、ＬＡＳｅＲエンジン、ユーザインターフェースマネージャー、または、端末は、入力情報の特性を先に確認してから、受信オブジェクトが受信可能な情報を確認し、マッピング（ｍａｐｐｉｎｇ）を行ってもよい。受信オブジェクトと入力情報のマッピングは、受信された入力情報の物理的または論理的範疇、あるいは、伝達される情報のタイプによって決定されてもよい。また、入力情報の属性／ノードが、情報が受信される属性／ノードと同一である場合、当該ノードに入力可能な受信情報として認知することができる。受信される情報が多数個になる場合、前述したマッピング処理によって入力情報がマッピングされてもよく、入力情報の機能情報を参照して、当該受信オブジェクトの機能情報に適した値をマッピングさせてもよい。このマッピング処理は、端末、ユーザインターフェースマネージャー、ＬＡＳｅＲエンジンによって行われる。

ステップ４７０を通じて受信した情報が受信オブジェクト自身の特定の機能を行うことができる入力値であることが認知されれば、ＬＡＳｅＲエンジン、ユーザインターフェースマネージャー、または、端末は、ステップ４８０で、受信した情報を受信オブジェクトの入力値として確認し、ステップ４９０で、受信オブジェクトの機能を行う。例えば、検索機能を有する受信オブジェクトにテキストストリングが入力された場合、端末は、当該テキストストリングが他の属性やノードの値でなく、テキストコンテンツであることを確認し、当該テキストストリングを利用して検索を行うことができる。さらに他の例として、端末は、“ｆｉｌｌ”という名前の属性から抽出した色相情報を利用して、受信オブジェクトの背景を表現するオブジェクトの“ｆｉｌｌ”属性にマッピングさせて背景色相を変えるなどの動作をも行うことができる。

前記所定の動作は、方向性がある動作を通じて当該方向に情報を伝達する動作をも行うことができる。例えば、スクリーンの特定方向に指を一方に弾くフリッピング動作をするか、または、端末を鉛直方向に対して傾けるなどの動作を通じてユーザインターフェースオブジェクトの情報を抽出して伝達する動作をも行うことができる。このような動作のためにベクター情報がさらに必要であれば、本発明において説明したインターフェースにベクター情報を表現するための属性などがさらに追加されてもよい。

図４及び図５では、イベントベースのユーザインターフェース構成要素オブジェクトの情報入出力及びこれを通じた外部の他のコンテンツ、あるいは他のユーザインターフェースとの情報伝達及び交換に対する例を説明した。しかし、自動的にＬＡＳｅＲオブジェクトまたは外部オブジェクトとの情報交換をしてもよい。この場合、端末及びユーザインターフェースマネージャーは、情報交換が可能なユーザインターフェース、プログラム及び端末に対する情報をあらかじめ確認し、別途のイベントなしに設定された値や特定の入力値によって情報交換のための入出力を行うこともできる。

例えば、端末は、所定の時間に情報を出力するように定められたオブジェクトから出力される情報を確認し、出力情報のノードタイプ、属性名前、機能などに対する情報が確認されれば、あらかじめ定められた動作を実行することが可能である。外部にデータを出力するオブジェクトは、持続的に外部にデータを出力してもよく、ユーザによってあらかじめ設定された値によって外部オブジェクトと情報交換してもよい。外部情報受信オブジェクトは、外部から受信する情報からフィルタを通じて入力情報として使用できる情報を集めて動作することもでき、設定された値によって外部オブジェクトからあらかじめ定められた情報だけを受信することもできる。また、このような動作を、オブジェクト自身が自ら行うこともでき、オブジェクト自分が自ら行うことができない場合、ユーザの設定やオブジェクトを管理するモジュール、例えば、ユーザインターフェースマネージャーが行うこともできる。

本発明において説明する外部オブジェクトとの情報交換方法は、１対１の情報交換に限定するものではなく、１対Ｎの情報交換、Ｎ対１の情報交換、Ｎ対Ｎの情報交換も可能である。

以下では、前記ユーザインターフェース構成要素オブジェクトよりなるコンテンツから外部に送信可能な情報を抽出し、事前予測が不可能な経路を通じて受信される情報を所定の経路を通じて受信される情報とともに処理するための装置構成について説明する。

図６は、本発明の実施形態による送信機のブロック構成図である。

図６を参照して説明すれば、本発明の実施形態による送信機は、データ生成部５００、符号器５１０、データ送信部５２０を含む。

データ生成部５００は、外部に出力または送信可能な情報及び外部との情報交換のためのイベントを含むユーザインターフェース関連情報を備えたコンテンツ、及び、ユーザインターフェース構成要素オブジェクトよりなるコンテンツを生成する。

また、データ生成部５００で生成されたデータは、符号器５１０に伝達され、符号化処理が実行され、符号化されたデータは、データ送信部５２０に伝達され、ユーザインターフェースコンテンツの伝送のための特定フォーマットがある場合、当該フォーマットにフォーマットされて、受信機に伝送される。

図７は、本発明の実施形態による受信機のブロック構成図である。

図７を参照して説明すれば、本発明の実施形態による受信機は、デコーディングバッファー６００、６５０、復号器６０５、６６０、構成メモリ６１０、６７０、レンダラー６１５、６８０、イベント処理部６２５を含む。また、イベント処理部６２５は、ウィジェット通信イベント（Ｗｉｄｇｅｔ ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｅｖｅｎｔ）処理部６３０を含む。

伝送のために特定フォーマットで定義されて伝達された情報は、当該データのインタプリタに伝達されて先に解釈されてもよい。また、受信されたユーザインターフェースコンテンツは情報の形態が異なる様々な情報の集合で構成されてもよいので、コンテンツのタイプによって各々解釈可能なインタプリタに伝達される。受信したユーザインターフェース構成要素オブジェクトよりなるコンテンツは、デコーディングバッファー６００、６５０を経て復号器６０５、６６０により復号される。復号器６０５、６６０で復号されたコンテンツは、構成メモリ６１０、６７０に伝送される。

構成メモリ６１０、６７０は、ユーザインターフェースマネージャーの構成メモリであってもよく、ユーザインターフェース構成要素オブジェクトの構成メモリであってもよい。ここで、ユーザインターフェース構成要素オブジェクトの構成メモリは、ＬＡＳｅＲエンジンの構成メモリであってもよい。構成メモリ６１０、６７０は、外部に送信可能となるように定義された情報／属性／パラメータの存在可否を確認し、コマンドや残りのシーン構成要素を解釈し処理する。構成メモリ６１０、６７０で解釈されて処理されたすべてのデータは、ユーザインターフェースマネージャーがユーザインターフェースを管理するために使用されるか、またはレンダラー６１５、６８０によりレンダリングされ出力される。

ウィジェット通信イベント処理部６３０を含むイベント処理部６２５は、事前予測が不可能な経路上での情報交換に対する動作または信号を感知する。この時、ユーザインターフェースの情報交換に関連した動作は、例えば、外部に送信可能となるように定義された情報またはパラメータを抽出し、宛先となる受信端末あるいはユーザインターフェースオブジェクトで構成された対象グループまたは対象オブジェクトに伝送するものである。

事前予測が不可能な経路を通じて情報を受信した対象端末または対象オブジェクトは、この情報を確認し、自らの特定機能を行うための情報を抽出する。自らが活用できる入力情報を確認する方法は、インターフェースを通じて伝達される情報に応じて変化し、この処理は、インターフェースを通じて伝達される情報を利用した入出力情報のマッピングをも含む。また、対象端末は、抽出された情報、すなわちデータを利用して自分の機能を行うか、または構成要素オブジェクトの特徴によってカスタマイズされたユーザインターフェースの入力値として使用するなど多様な動作を行うことができる。この時、受信端末、受信オブジェクトのグループ、または、オブジェクトは、自身が受信した情報が自分の特定機能を行うための情報であることを自ら確認してもよい。あるいは、受信端末、受信オブジェクトのグループ、または、オブジェクトは、ＬＡＳｅＲエンジン、もしくは、ユーザインターフェースマネージャーを通じて確認してもよい。一方、ウィジェット通信イベント処理部６３０を含むイベント処理部６２５は、別のモジュールとして実装されてもよく、ＬＡＳｅＲエンジンまたは端末またはユーザインターフェースマネージャーに統合されてもよい。

本発明において構成メモリとして称するブロックは、異なる名称として実装されていることがある。しかし、各プログラム実行エンジンや、リッチメディアエンジンで本発明において説明する構成メモリの動作と同一の動作をするモジュールは、構成メモリと同じものと考えてよい。例えば、構成メモリは、シーンツリーマネージャーあるいはＤＯＭツリー構成部であってもよく、Ｅｖｅｎｔ処理部は、ユーザインターフェースマネージャーであってもよい。また、送信機で符号化して伝送しない場合、復号処理は、省略されてもよい。また、本発明において説明するオブジェクトのグループ、オブジェクト自身は、ユーザインターフェースの構成要素であってもよく、アプリケーションプログラムあるいはファイルであってもよく、ユーザインターフェースそれ自体またはウィジェットであってもよい。

（第４実施形態）
本発明の各実施形態を通じて説明したユーザインターフェースオブジェクトの情報交換は、前述したように、ＬＡＳｅＲエンジンまたはユーザインターフェースマネージャーまたは端末によって行われる。本発明の第４実施形態では、図８のユーザインターフェース構成要素オブジェクトの情報入出力及びこれを通じた外部の他のコンテンツまたはユーザインターフェースとの情報伝達及び交換をユーザインターフェースマネージャーを通じて行う過程を、具体例を挙げて説明する。

本発明において説明するユーザインターフェースコンテンツは、１つのファイルフォーマットで構成されてもよく、ユーザインターフェースに関連した複数のコンテンツ及び情報で構成されてもよい。例えば、ユーザインターフェースのシーンに関連した構成要素オブジェクトに対する情報と、ユーザインターフェース駆動中にユーザインターフェース管理のためにユーザインターフェースマネージャーが確認すべき情報とが別途の情報で構成されてもよい。この時、シーンに関連した構成要素オブジェクトに対する情報は、ＬＡＳｅＲエンジンによって処理され、ユーザインターフェース管理のための情報は、ユーザインターフェースマネージャーによって処理されるなど各情報の目的によって異なる取り扱いがされてもよい。これと同様に、ユーザインターフェース構成要素オブジェクトの情報交換に関連した情報も別途の情報で構成され、ユーザインターフェース構成のためのＬＡＳｅＲエンジンや、ユーザインターフェースマネージャーによって参照されてもよい。

図８を参照すれば、ステップ７００において、ユーザインターフェースマネージャーは、ユーザインターフェースコンテンツを受信する。この時、受信する情報は、ユーザインターフェースを構成するのに必要な初期化情報を含むファイルまたはパッケージであってもよく、ユーザインターフェースを初期化するために必要な初期化情報だけで構成された別途の情報やファイルであってもよい。ファイルまたはパッケージを受信する場合、受信したファイルまたはパッケージを解釈し、初期化情報の存在可否を確認することが必要である。

ステップ７１０において、ユーザインターフェースマネージャーは、ユーザインターフェースを初期化するための情報を先に確認する。端末によって具体的な動作は、変わることがあるが、ステップ７１０で確認した情報に基づいてユーザインターフェースを初期化する過程には、ユーザインターフェースマネージャーが解釈可能なコンテンツであるか否か、または、ユーザインターフェース関連コンテンツとして有効なファイルまたは情報であるか否かを確認する過程と；ユーザインターフェース初期化のための設定情報を確認する過程と；ユーザインターフェースを構成するのに必要な多様な構成要素に対する情報を確認する過程；などが含まれてもよい。

初期化処理を終了したユーザインターフェースマネージャーは、ステップ７２０で、ユーザインターフェース構成情報を確認する。この時、ユーザインターフェースのシーン構成情報は、ユーザに表示されるマルチメディア／リッチメディア形態のシーン構成コンテンツを意味する。ユーザインターフェースマネージャーによってシーン構成コンテンツが確認されれば、ユーザインターフェースマネージャーは、ＨＴＭＬブラウザーやＬＡＳｅＲなどシーン構成コンテンツのエンジンでシーンを構成することができ、このコンテンツのシーン構成処理及び結果に関する情報をシーン構成エンジン（ＬＡＳｅＲエンジン、ＨＴＭＬブラウザー）などと共有するか、または、シーン構成エンジンから報告を受けるか、またはシーン構成エンジンをモニタリングしてもよい。

しかし、ステップ７２０でのシーン構成情報の確認処理において、シーン構成のための実行中のコンテンツがシーン構成のためのメモリにロードされた状態が含まれてなくてもよい。場合によって、ユーザインターフェースマネージャーは、シーン構成コンテンツを受信することができる位置を確認するか、または、シーン構成コンテンツの存在可否を確認することだけを行うこともできる。このような場合、ステップ７２０のユーザインターフェース構成情報を確認する処理は、ステップ７１０の初期化処理の一部として含まれてもよい。

ユーザインターフェースシーン構成エンジンのシーン構成情報に対する確認が終われば、ステップ７３０において、ユーザインターフェースマネージャーは、ユーザインターフェース情報交換のための入出力関連情報を確認する。この情報は、本発明の第１実施形態のように、シーン構成コンテンツの一部で構成されてもよく、シーン構成コンテンツと別途の情報で構成されてもよい。

例えば、入出力関連情報は、ユーザインターフェース初期化情報とともに構成され、ユーザインターフェース初期化情報が確認される過程で当該情報が確認されてもよく、ＬＡＳｅＲエンジンなどのシーン構成エンジンや、ユーザインターフェースマネージャーによって参照可能な別途の情報やファイルで構成されてもよい。ユーザインターフェース情報交換のための入出力関連情報を確認する処理は、ステップ７２０において、ユーザインターフェースシーン構成情報を確認した状態で行われてもよい。また、ユーザインターフェースマネージャーは、情報交換のための入出力関連情報を確認して管理し、ユーザインターフェースシーン構成コンテンツが実際にメモリにロードされる間に、関連イベントが発生するか、または関連情報の要求が入る場合、入出力インターフェースを通じて実際情報を抽出し、伝送するか、または受信するなどの動作を行うことができる。上記のように確認された情報は、ユーザインターフェースマネージャーによって管理される。また、本発明において説明する入出力情報は、必ずシーン構成要素オブジェクトの構成情報でなく、ユーザインターフェース自身の構成情報や機能及び特性情報であってもよい。

もし前記受信したユーザインターフェースに確認可能な入出力情報がない場合、ユーザインターフェースマネージャー、または、シーン構成情報管理のためのＬＡＳｅＲエンジンは、前記ユーザインターフェースが外部オブジェクトと情報交換が不可能なものであることを確認することができる。または入出力情報がない場合において、任意の情報入出力が可能であると設定する場合、ユーザインターフェースマネージャーは、ユーザインターフェースの外部オブジェクトとの情報交換に対する可能可否を、ユーザインターフェース初期化情報やユーザインターフェース構成情報または設定情報、またはシーン構成情報に対する情報を含む情報フィールドまたはノードを通じて、確認することができる。

ユーザインターフェースを駆動するためのすべての情報の確認が終われば、ステップ７４０においてユーザインターフェースが有効化される。しかし、システム及び端末によってユーザインターフェースに対する初期化情報を通じてユーザインターフェースの各構成要素に対する確認が終われば、ユーザインターフェースが有効化されるように構成されてもよい。このような場合、ステップ７１０に引き続いてユーザインターフェースが有効化され、ユーザインターフェースが駆動される間に実行中のユーザインターフェースのシーンを構成する情報が確認されてもよい。有効化されたユーザインターフェースをユーザインターフェースマネージャーが管理している状態になれば、ユーザインターフェースマネージャーは、本発明の実施形態において説明するユーザインターフェース情報交換関連イベントの発生を感知することができる。

ユーザインターフェースマネージャーは、本発明の実施形態において説明されるユーザインターフェース情報交換関連イベントの発生を感知するために、有効化されたユーザインターフェースを管理している。このユーザインターフェースの管理の間、ユーザインターフェースマネージャーは、次のような動作を行うことがある。
ｉ）ユーザインターフェースマネージャーが管理しているユーザインターフェースリストを確認する
ｉｉ）リストにあるユーザインターフェースのうち送受信可能な情報を有するユーザインターフェースを確認する
ｉｉｉ）送受信可能な情報を有するユーザインターフェースで情報の送受信に対する動作や信号などのイベントを感知することができる機能を設定する、例えば、ユーザインターフェースマネージャーを通じた情報交換を感知することができるイベントリスナーの登録のイベントを感知することができる機能を設定する
ｉｖ）送受信情報に対する動作や信号などのイベントを区分することができるイベントまたは送受信情報自身の名前やタイプを確認する
ｖ）送受信可能な実行中の構成情報を確認する
しかし、ユーザインターフェース情報交換のために前記動作がすべて必ず実行されなければならないわけでもなく、またはすべて必ずユーザインターフェースマネージャーによって行われなければならないものではない。

ステップ７５０において、ユーザインターフェースマネージャーは、ユーザインターフェース情報交換関連イベント及び関連要求の発生を感知すれば、ステップ７６０において、ユーザインターフェースマネージャーは、入力及び出力などの情報交換要求の対象となるユーザインターフェースを確認する。この時、ユーザインターフェースマネージャーが管理するリストにあるユーザインターフェース間の情報交換に対する要求が発生した場合、すなわち情報交換のためのイベントが発生した場合、ユーザインターフェースマネージャーは、ステップ７７０において入力及び出力情報を確認し、ステップ７８０において入力及び出力情報のマッピングを通じて情報交換を行うことができる。

このマッピング処理は、入力情報と出力情報を確認して情報交換が可能となるように対を成すことができる情報が探索され、探索結果が入出力の対として決定され、情報が交換可能となる処理である。前記マッピング処理は、ユーザインターフェースマネージャーが情報交換要求を確認する場合に行われてもよく、ユーザインターフェースマネージャーによってあらかじめ設定されてもよい。この時、このマッピング処理においては、ユーザインターフェースマネージャーは、同一のタイプまたは同一のカテゴリーに分類されるインターフェースを通じて伝達される情報をマッピングするか、または、同一の名前を有する情報交換イベント間の入出力を行うか、情報交換の対象になるユーザインターフェースの各々の出力及び入力可能な情報のタイプや特性を確認して情報をマッピングすることができる。

この時、マッピングのために確認されるインターフェースのタイプは、装置のタイプ、メディアのタイプ、入出力データのタイプ、サービスタイプによって区分される。下記の表１４は、インターフェースタイプを示す。

前記装置のタイプは、装置の特性や性能及び機能に対する情報を含み、このような装置のタイプに対する情報は、装置の内／外部で提供される情報を参照することによって得られるように構成されてもよい。また、装置の構成や伝送及び機能及び装置によるデータタイプがある場合、これによる情報がインターフェースのタイプとして使用されてもよい。例えば、“Ａ”というユーザインターフェースから“ＵＰｎＰＡＶｔｒａｎｐｏｒｔ”を通じて“ａｕｄｉｏ”データが受信された場合、インターフェースのタイプや名前が“ＵＰｎＰＡＶｔｒａｎｐｏｒｔ”であるインターフェース情報を有するユーザインターフェースにマッピングされる。

前記メディアのタイプには、テキスト、ビデオ、イメージ、オーディオ、フォントなどのメディアに対する情報が含まれてもよく、各メディアに関する拡張子やコーデック、“ｍｉｍｅＴｙｐｅ”またはアプリケーションプログラムなどによって区分されてもよい。

前記データタイプは、“ｓｔｒｉｎｇ”、“ｂｏｏｌｅａｎ”、“ｄｅｃｉｍａｌ”、“ｐｒｅｃｉｓｉｏｎＤｅｃｉｍａｌ”、“ｆｌｏａｔ”、“ｄｏｕｂｌｅ”、“ｄｕｒａｔｉｏｎ”、“ｄａｔｅＴｉｍｅ”、“ｔｉｍｅ”、“ｄａｔｅ”、“ｇＹｅａｒＭｏｎｔｈ”、“ｇＹｅａｒ”、“ｇＭｏｎｔｈＤａｙ”、“ｇＤａｙ”、“ｇＭｏｎｔｈ”、“ｈｅｘＢｉｎａｒｙ”、“ｂａｓｅ６４Ｂｉｎａｒｙ”、“ａｎｙＵＲＩ”、“ＱＮａｍｅ”、“ＮＯＴＡＴＩＯＮ”、“ｎｏｒｍａｌｉｚｅｄＳｔｒｉｎｇ”、“ｔｏｋｅｎ”、“ｌａｎｇｕａｇｅ”、“ＮＭＴＯＫＥＮ”、“ＮＭＴＯＫＥＮＳ”、“Ｎａｍｅ”、“ＮＣＮａｍｅ”、“ＩＤ”、“ＩＤＲＥＦ”、“ＩＤＲＥＦＳ”、“ＥＮＴＩＴＹ”、“ＥＮＴＩＴＩＥＳ”、“ｉｎｔｅｇｅｒ”、“ｎｏｎＰｏｓｉｔｉｖｅＩｎｔｅｇｅｒ”、“ｎｅｇａｔｉｖｅＩｎｔｅｇｅｒ”、“ｌｏｎｇ”、“ｉｎｔ”、“ｓｈｏｒｔ”、“ｂｙｔｅ”、“ｎｏｎＮｅｇａｔｉｖｅＩｎｔｅｇｅｒ”、“ｕｎｓｉｇｎｅｄＬｏｎｇ”、“ｕｎｓｉｇｎｅｄＩｎｔ”、“ｕｎｓｉｇｎｅｄＳｈｏｒｔ”、“ｕｎｓｉｇｎｅｄＢｙｔｅ”、“ｐｏｓｉｔｉｖｅＩｎｔｅｇｅｒ”、“ｙｅａｒＭｏｎｔｈＤｕｒａｔｉｏｎ”などと、列挙型（ｅｎｕｍｅｒａｔｉｏｎ）などの整数型、文字列、小数型、固定小数型、浮動小数型、リスト型など当該リッチメディアコンテンツにおいて活用可能な多様なデータタイプで指定されてもよい。また、前記データタイプは、情報の特性によってパターン化された情報に区分されてもよく、例えば、電話番号、色相情報の表現、長さの表現、単位の表現、ベクター情報または位置情報の表現などパターン化された情報で表現される情報もインターフェースのタイプとして使用されてもよい。

前記サービスタイプは、提供されるユーザインターフェースの特性や機能などによってゲーム、バンキング、マルチメディア、ツール、システムなどのサービスに対する情報によってインターフェースのタイプを区分されてもよい。前記サービスタイプは、オントロジー（ｏｎｔｏｌｏｇｙ）情報を参照することによって、意味論的な（ｓｅｍａｎｔｉｃ）情報で提供されてもよく、サービスの分類による階層情報で表現されてもよい。

また、前記インターフェースタイプは、端末及びサービス内／外部の情報を参照してもよい。また、前記インターフェースタイプは、前述したインターフェースタイプを階層化された構造として有することができ、相関関係によって１つ以上のタイプをインターフェースのタイプとして有することができる。例えば、イメージビューにより送信可能な情報に対するインターフェースのインターフェースタイプは、装置によって“プリント”、機能によって“プリント”または“保存”、受信可能なメディアタイプによって“ｍｉｍｅＴｙｐｅ”が“ｉｍｇ／ｊｐｇ”、“ｉｍｇ／ｐｎｇ”、データタイプによって“ａｎｙＵＲＩ”型タイプに設定されることがある。また、各々インターフェースタイプは、階層構造で構成され、付加情報を含む形態で構成されてもよい。

入出力しようとする情報の対象（ｔａｒｇｅｔ）が、ユーザインターフェースマネージャーが確認することができるインターフェースリストにない場合、または、多数の入力情報や出力情報が交換される場合には、前記インターフェースタイプが確認されて情報交換が可能となる。もしインターフェースタイプを通じてマッピングされる情報がない場合、実行中の入出力を通じて伝達される情報のタイプ、名前、特性などを利用して当該情報を処理することができるインターフェースを通じてマッピングが実行される。例えば、伝達される情報の“ａｒｇｅｔＶａｌｕｅ”が同一であるか、“ｃｏｎｔｅｎｔＴｙｐｅ”が同一のオブジェクトを通じてマッピングさせることができる。例えば、“Ａ”というユーザインターフェースから“ＵＰｎＰＡＶｔｒａｎｐｏｒｔ”を通じた“ａｕｄｉｏ”データが受信されたが、受信された情報が“Ａ”の入力のためのユーザインターフェースのうちそのタイプや名前が“ＵＰｎＰＡＶｔｒａｎｓｐｏｒｔ”であるインターフェースかどうか分からない場合、ユーザインターフェースマネージャーは、伝送される“ａｕｄｉｏｄａｔａ”のコンテンツタイプ情報やコーデック情報を確認し、当該情報を処理することができるインターフェースを通じて当該情報を受信する。

上記で具体的に説明されていないとしても、インターフェースのタイプ名前や入出力情報の名前及び当該ユーザインターフェースの入出力のための情報を利用して、ユーザインターフェースは、情報交換のためのマッピングを行うことができる。また、上記の説明は、本発明のすべての実施形態に同様に適用される。

なお、前記入出力のためのインターフェースタイプ“ｉｎｔｅｒｆａｃｅＴｙｐｅＶａｌｕｅ”がさらに含まれてもよい。例えば、装置の種類が“Ｐｒｉｎｔｅｒ”（１）、“Ｄｉｓｐｌａｙ”（２）、“ＭｕｓｉｃＰｌａｙｅｒ”（３）である場合、ｉｎｔｅｒｆｅｃｅＴｙｐｅ＿ｉｎｏｕｔ＝“０ｘ０１”、ｉｎｔｅｒｆｅｃｅＴｙｐｅＶａｌｕｅ＿ｉｎｏｕｔ＝“１”であれば、ウィジェットの入出力装置の種類が“Ｐｒｉｎｔｅｒ”であることを意味する。さらに、複数の属性（ａｔｔｒｉｂｕｔｅ）が使用されてもよく、その例としては、ｉｎｔｅｒｆｅｃｅＴｙｐｅ＿ｉｎｏｕｔ＝“０ｘ０１０ｘ０２”、ｉｎｔｅｒｆｅｃｅＴｙｐｅＶａｌｕｅ＿ｉｎｏｕｔ＝“１２”のようなものでもよい。また、ｉｎｔｅｒｆａｃｅＴｙｐｅ＿ｉｎｏｕｔ＝“０ｘ０１１”のように、１つのフィールドに２つの情報をすべて収容して表現されていてもよい。さらに、前記情報が別途のインデックスとして管理され、当該情報のインデックスを参照する形態で構成されてもよい。例えば、ｉｎｔｅｒｆｅｃｅＴｙｐｅ＿ｉｎｏｕｔ＝“０ｘ０１”、ｉｎｔｅｒｆｅｃｅＴｙｐｅＶａｌｕｅ＿ｉｎｏｕｔ＝“１”が、ＩＤが“ｗｉｄｇｅｔＣｏｍｍ０１”である情報として管理され、当該情報のＩＤである“ｗｉｄｇｅｔＣｏｍｍ０１”が参照されて使用されてもよい。

前記情報は、本発明の実施形態で説明したように、シーンの内部に含まれてもよく、シーン構成要素の特定の属性値として使用されてもよく、前記表６の定義において説明されたインターフェースのフィールドにより構成されてもよく、入出力インターフェース関連情報を提供する別途の情報により構成されてもよい。また、前記情報は、要素の形態で構成されてもよく、属性の形態で構成されてもよい。したがって、本発明の入出力インターフェース関連情報が伝達しようとする目的が同一であれば、その形態の変更については限定されない。

（第５実施形態）
本発明の第５実施形態では、ユーザインターフェースに受信される情報を処理する方法、または、ユーザインターフェースのアップデートが行われる方法に関する情報を説明する。ユーザインターフェースは、受信される情報の処理、及び、ユーザインターフェースのアップデートの処理を、アップデートデータや情報交換のための情報が受信されると同時に行うこともでき、あらかじめ設定されたアップデート時間まで待ってから行うこともできる。これを同期（ｓｙｎｃ）式または非同期（ａｓｙｎｃ）式情報交換及びアップデートと呼ぶことができる。この情報は、ユーザインターフェースの設定情報、構成情報、ユーザインターフェースシーン構成情報、または、アップデートデータの情報に含まれる。またこの情報は、ユーザインターフェース入出力情報各々のための設定情報として、インターフェースを通じて伝達される情報に含まれてもよい。

例えば、本発明の第４実施形態において説明された図８のステップ７１０において、これに対する情報を確認することができるように設定されている場合、すなわち、この情報が初期化情報に含まれている場合、ユーザインターフェースマネージャーは、この情報を確認し、ステップ７８０の入出力情報のマッピングを行った端末の情報交換実行結果を、データに応じて同期（ｓｙｎｃ）モードまたは非同期（ａｓｙｎｃ）モードで反映することができる。前記情報が同期モードに設定されており、ユーザインターフェース情報交換関連動作またはこれに関する信号を感知する受信端末が活動状態（ａｃｔｉｖｅ）である場合、入出力情報のマッピング結果がすぐユーザインターフェースに適用される。例えば、リフレッシュ（ｒｅｆｒｅｓｈ）などの動作が実行され、シーンがアップデートされる。

もし、同期モードに設定されているものの、情報の入出力対象となるユーザインターフェースが活動状態でない場合、ユーザインターフェースが強制的に活動状態に転換され入出力情報が送受信されて、そお情報がユーザインターフェースに適用されてもよい。

非同期モードに設定される場合、ユーザインターフェース情報交換関連動作またはこれに関する信号を感知する受信端末が活動状態の場合であるとしても、図８のステップ７８０による入出力情報の交換は、ユーザインターフェースの所定の動作や機能を通じてアップデートが行われるまで待ってからアップデートするか、または情報交換に対する結果を適用するか、または実際の情報交換を行う。この時、ユーザインターフェースが活動状態ではない場合、受信端末は、ユーザインターフェースが活動状態に転換されるまで当該情報を管理しつつ、ユーザインターフェースが活動状態に転換される時に情報を適用するようにするか、または実際の情報交換を行うことができる。

前述したように、この同期／非同期モードに対する情報は、インターフェースを通じて伝達される情報に含まれてもよく、シーン構成要素オブジェクトの送受信可能情報に含まれてもよく、ユーザインターフェース自体の設定情報で構成されてもよい。また、ユーザインターフェース自体の同期／非同期方式に対する情報と交換される入出力情報自体の同期／非同期方式に対する情報とは個別に設定されてもよく、各設定情報の優先順位によって情報交換による結果反映が変わってもよい。例えば、ユーザインターフェースの情報アップデートは非同期式であるのに対し、交換される入出力情報の設定は同期式である場合、交換される入出力情報の優先順位が高いユーザインターフェースの場合、同期式で情報交換に対する結果が反映される。また、ユーザが前記同期／非同期情報を直接設定することもできる。

したがって、同期／非同期モードに対する情報、同期／非同期モードに対する設定情報、前記同期／非同期モード情報の優先順位情報、前記同期／非同期モードのユーザ設定可能可否に対する情報、前記同期／非同期モードによるユーザインターフェースの強制活性化可能可否による情報などがさらに含まれてもよい。

前述した実施形態においてノード及びフィールドまたは要素、属性及び属性値が有する意味が同一である場合、ノード及びフィールドまたは要素、属性及び属性値が異なる名称で明示されるか、または定義されて使用されてもよいことは勿論である。

また、本発明において新規に定義した前記ノード及びフィールドまたは要素、属性及び属性値として使用される情報は、前記宣言的技術言語基盤のプログラム実行エンジン及びＬＡＳｅＲにおける、内／外部の他のデータ、ファイル、アプリケーションプログラム、サービスなどが参照されて使用されてもよい。この時、属性はプログラム実行エンジン及びＬＡＳｅＲ内部に定義され、属性値だけが参照されてもよく、他のデータ、ファイル、アプリケーションプログラム、サービスなどに定義されている属性自体が参照の機能を有する要素及び属性を利用することにより参照されてもよい。参照の機能を有する要素及び属性を利用して属性及び属性値が参照される場合であっても、本発明において説明される属性の機能と同一の目的のために使用されれば、それは、本発明の領域に属するものであることは自明である。

なお、本明細書と図面に開示された本発明の実施形態は、本発明の技術内容を容易に説明し、本発明の理解を助けるために、特定例を提示したことに過ぎず、本発明の範囲を限定しようとするものではない。ここに開示された実施例以外にも、本発明の技術的思想に基づく他の変形例が実施可能であることは、本発明の属する技術分野における通常の知識を有する者に自明である。

Claims (20)

1. 複数のユーザインターフェース構成要素オブジェクトで構成されたコンテンツを受信するステップと；
   前記コンテンツから外部に送信可能となるように定義された送信可能情報を抽出するステップと；
   抽出された前記外部に送信可能となるように定義された情報を対象オブジェクトに伝送するステップと；を含むユーザインターフェース構成要素オブジェクトよりなるコンテンツの処理方法。
2. 抽出された前記外部に送信可能となるように定義された情報を対象オブジェクトに伝送するステップは、
   外部に送信可能な情報を送るための動作及び信号のうち１つ以上を感知するステップと；
   前記動作及び信号のうちいずれか１つ以上によって抽出された前記送信可能情報を対象オブジェクトに伝送するステップと；を含むことを特徴とする請求項１に記載のコンテンツの処理方法。
3. 前記コンテンツに含まれたコマンドを解釈するステップと；
   前記コマンドによって前記コンテンツをレンダリングするステップと；をさらに含むことを特徴とする請求項１に記載のコンテンツの処理方法。
4. 前記コンテンツから外部に送信可能となるように定義された送信可能情報を抽出するステップ；及び
   抽出された前記外部に送信可能となるように定義された情報を対象オブジェクトに伝送するステップは、
   前記コマンドによって前記コンテンツをレンダリングして出力するステップを行う途中に行われることを特徴とする請求項３に記載のコンテンツの処理方法。
5. 複数のユーザインターフェース構成要素オブジェクトで構成されたコンテンツを受信するステップと；
   前記受信されたコンテンツに含まれた情報のうち対象オブジェクトの入力値として使用されることができる情報を感知するステップと；
   前記感知された情報を使用して前記対象オブジェクトの機能を行うステップと；を含むユーザインターフェース構成要素オブジェクトよりなるコンテンツの処理方法。
6. ユーザインターフェース構成要素オブジェクトで構成されたコンテンツを受信するステップは、
   情報交換を開始させるためにあらかじめ定められた動作及び信号のうち１つ以上を感知するステップと；
   情報交換を開始させるためにあらかじめ定められた動作または信号が感知される時、前記コンテンツを受信するステップと；を含むことを特徴とする請求項５に記載のコンテンツの処理方法。
7. 前記コンテンツに相当する対象オブジェクトの機能を抽出するステップをさらに含み、
   前記対象オブジェクトの機能を行うステップは、前記抽出された機能を行うステップを含むことを特徴とする請求項５に記載のコンテンツの処理方法。
8. 前記受信されたコンテンツに含まれた情報のうち対象オブジェクトの入力値として使用されることができる情報を感知するステップは、
   前記受信されたコンテンツに含まれた情報の名前が、前記情報が前記対象オブジェクトの入力値として使用されることができることを示す場合、前記情報を前記対象オブジェクトの入力値として判断するステップを含むことを特徴とする請求項５に記載のコンテンツの処理方法。
9. 前記対象オブジェクトの機能を行うステップは、前記受信されたコンテンツに含まれた情報を前記情報の名前と同一の名前を有する前記対象オブジェクトの入力値として使用して前記対象オブジェクトの機能を行うステップを含むことを特徴とする請求項８に記載のコンテンツの処理方法。
10. 複数のユーザインターフェース構成要素オブジェクトで構成されたコンテンツを受信するステップは、
    所定の経路でない経路を通じて受信された情報が感知されれば、複数のユーザインターフェース構成要素オブジェクトで構成されたコンテンツを受信するステップを含むことを特徴とする請求項５に記載のコンテンツの処理方法。
11. 複数のユーザインターフェース構成要素オブジェクトで構成されたコンテンツを復号する復号器と；
    前記コンテンツから外部に送信可能となるように定義された情報を抽出し、対象オブジェクトに伝送するイベント処理部と；を含む複数のユーザインターフェース構成要素オブジェクトよりなるコンテンツの処理装置。
12. 前記イベント処理部は、外部に送信可能な情報を伝送するための動作及び信号のうち１つ以上を感知すれば、抽出された外部に送信可能な情報を対象オブジェクトに伝送することを特徴とする請求項１１に記載のコンテンツの処理装置。
13. 前記コンテンツに含まれたコマンドを解釈する構成メモリと；
    前記コマンドによって前記コンテンツをレンダリングして出力するレンダラーと；をさらに含むことを特徴とする請求項１１に記載のコンテンツの処理装置。
14. 前記イベント処理部は、前記レンダラーが前記コマンドによって前記コンテンツをレンダリングする途中に、前記コンテンツから前記外部に送信可能な情報を抽出して前記対象オブジェクトに伝送することを特徴とする請求項１３に記載のコンテンツの処理装置。
15. 対象オブジェクトが受信したコンテンツに含まれた情報のうち対象オブジェクトの入力値として使用されることができる情報を感知し、前記感知された情報を前記対象オブジェクトの入力値として使用して前記対象オブジェクトの機能を行うイベント処理部を含む複数のユーザインターフェース構成要素オブジェクトよりなるコンテンツの処理装置。
16. 前記イベント処理部は、情報交換を開始させるためにあらかじめ定められた動作及び信号のうち１つ以上を感知すれば、前記コンテンツを受信することを特徴とする請求項１５に記載のコンテンツの処理装置。
17. 前記イベント処理部は、前記受信されたコンテンツに相当する前記対象オブジェクトの機能を抽出し、前記抽出された機能を行うことを特徴とする請求項１５に記載のコンテンツの処理装置。
18. 前記イベント処理部は、前記受信されたコンテンツに含まれた情報の名前が前記対象オブジェクトの入力値として使用されることができる名前である場合、前記情報を前記対象オブジェクトの入力値として判断することを特徴とする請求項１５に記載のコンテンツの処理装置。
19. 前記イベント処理部は、前記受信されたコンテンツに含まれた情報を前記受信されたコンテンツに含まれた情報の名前と同一の名前を有する前記対象オブジェクトの入力値として使用して前記対象オブジェクトの機能を行うことを特徴とする請求項１８に記載のコンテンツの処理装置。
20. 前記イベント処理部は、所定の経路でない経路を通じて情報を受信すれば、前記複数のユーザインターフェース構成要素オブジェクトで構成されたコンテンツを受信することを特徴とする請求項１５に記載のコンテンツの処理装置。

Images