JP2009515456A - リッチメディアアプリケーションにおけるリモート対話のためのフィードバック及びフォワード送信を与えるシステム及び方法 - Google Patents

リッチメディアアプリケーションにおけるリモート対話のためのフィードバック及びフォワード送信を与えるシステム及び方法 Download PDF

Info

Publication number
JP2009515456A
JP2009515456A JP2008539524A JP2008539524A JP2009515456A JP 2009515456 A JP2009515456 A JP 2009515456A JP 2008539524 A JP2008539524 A JP 2008539524A JP 2008539524 A JP2008539524 A JP 2008539524A JP 2009515456 A JP2009515456 A JP 2009515456A
Authority
JP
Japan
Prior art keywords
rich media
text
information
event
predetermined protocol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008539524A
Other languages
English (en)
Other versions
JP2009515456A5 (ja
Inventor
ダイディ ゾン
ヴィディア セトラー
ラマクリシュナ ヴェダンタム
ミスカ ハンヌクセラ
トルガ キャピン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2009515456A publication Critical patent/JP2009515456A/ja
Publication of JP2009515456A5 publication Critical patent/JP2009515456A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/22Processing or transfer of terminal data, e.g. status or physical capabilities
    • H04W8/24Transfer of terminal data

Abstract

リッチメディアクライアントとリッチメディアサーバーとの間の双方向性をサポートするために、フィードバックフォーマット及びトランスポートプロトコル拡張を与えるシステム及び方法。本発明は、SMS、MMS、HTTP及びRTSPのようなプロトコルに対してフィードバックフォーマット及びプロトコル拡張を与える。これらのフィードバックフォーマット及びプロトコル拡張は、ダイナミックメニュー、リッチメディアプレーヤ、ユーザボーティング状態、ビデオ/オーディオ選択サービス、リモートユーザインターフェイス、及び他のアプリケーションに使用することができる。
【選択図】図1

Description

本発明は、一般に、スケーラブルビデオグラフィック(SVG)のようなリッチメディアの使用に係る。より詳細には、本発明は、リッチメディア共有環境に携わるクライアントとサーバーとの間のリッチメディアに専用の双方向性をサポートするためのフィードバックメカニズムの使用に係る。
リッチメディアコンテンツは、グラフィック的にリッチなダイナミック双方向コンテンツと称される。リッチメディアコンテンツは、グラフィック、イメージ、タイムドテキスト、テキスト、ビデオ及びオーディオを含むコンパウンド又はマルチメディアを収容し、単一インターフェイスを経て配信される。スケーラブルビデオグラフィックは、リッチメディアプレゼンテーションのためのメインコンテナである。最近まで、移動装置のためのアプリケーションは、双方向性が限定されたテキストベースのものであった。しかしながら、より多くのワイヤレス装置に、カラーディスプレイや、より進歩したグラフィックレンダリングライブラリーが装備されるにつれて、消費者は、全てのワイヤレスアプリケーションから、よりリッチな経験を要求している。移動ターミナル、特に、移動ブロードキャスト/マルチキャストサービス、例えば、第3世代パートナーシッププロジェクト(3GPP)マルチメディアブロードキャストマルチキャストサービス(MBMS)、3GPP2 BCMCS、DVB−H IPDC、移動ストリーミングサービス、例えば、3GPP PSS、3GPP2 MSS、等、並びにマルチメディア共有サービス、例えば、マルチメディアメッセージングシステム(MMS)の分野では、リアルタイムのリッチメディアコンテンツストリーミングサービスが必須である。
SVGは、解像度独立の2Dベクトルグラフィックを記述するように設計されている。又、SVGは、ラスタグラフィック、オーディオ、ビデオのような他のメディアをしばしば埋め込む。SVGは、同期型マルチメディア統合ランゲッジ(SMIL)から借用した事象モデル及びアニメーションコンセプトを使用して双方向性を許す。更に、SVGは、無限のズーム性も許し、移動装置におけるユーザインターフェイスのパワーを向上させる。その結果、SVGは、重要性を得、特に、リッチメディアサービス、例えば、モバイルTV、交通情報、天気、ニュース、等のライブ更新に対してマルチメディアプレゼンテーションのコア要素の1つになりつつある。SVGは、拡張可能なマークアップランゲッジ(XML)ベースのもので、他の既存のウェブ技術との透過的統合を従来のシステム以上に許す。
移動スケーラブルベクターグラフィック(移動SVG)は、改良されたグラフィック及びイメージを移動装置へ搬送する際に中枢の役割を演じるために第3世代パートナーシッププロジェクト(3GPP)により新規な像形成規格として採用された。最近、3GPP及びオープンモバイルアリアンス(OMA)は、リッチメディアベースの規格化活動の仕事を開始した。
現在、リッチメディア共有環境に携わっているクライアントとそれに対応するサーバーとの間のリッチメディアに専用の双方向性をサポートするためのフィードバックメカニズムは存在しない。オーディオ及びビデオのようなメディアフォーマットに専用のフィードバック及びフォワード送信のためのメカニズムは幾つかあるが、これらフォーマットは、主として、パケットロス、送信クオリティ及びメディア修理情報の報告に関するものである。
リッチメディアプレゼンテーション中に、ユーザは、しばしば、クライアントと対話して、より多くの情報を要求したり、コンテンツを更新したり、ある情報をサーバーへ返送したりすることができる。このような対話は、間欠的に行うこともできるし、或いはこのような対話は、例えば、データを収集するために後で使用してもよい。現在、オーディオ、ビデオメディアに関連したフィードバックメカニズムは、典型的に、パケットロス、クオリティ尺度、又は制御情報(例えば、再生、休止、記録、等)のレポートを含むことができる。しかしながら、現在、SVGコンテンツに生じる事象を実際のフィードバック要求及びフォワード送信へマップするための解決策は存在しない。更に、現在、ハイパーテキスト転送プロトコル(HTTP)、リアルタイムストリーミングプロトコル(RTSP)、等のアプリケーションレベルのプロトコルには、リッチメディアプレゼンテーション中にこのようなSVGベースの情報を小さな遅延で送信するための機能は非常に僅かしか存在しない。
SVGのようなリッチメディアプレゼンテーションにおいて、HTTP GET/POSTのように、ローカル(クライアント側)双方向性及びリモート対話に関連した問題に対して多数の部分解決策が存在するが、その各々は、それ自身の欠点を有する。SVGT1.2は、www.w3.org/TR/DOM-Level-3-Events/に述べられたように、DOM3事象カテゴリーにおける事象をサポートすると共に、“ConnectionData”、“preload”、“loadprogress”、“postload”のような多数のSVG特有の事象をサポートする。SVGコンテンツは、SVGランゲッジにおける異なる特徴を使用することによって双方向(即ち、ユーザ開始事象に応答する)とすることができる。例えば、キー押圧のようなユーザ開始アクションは、アニメーション及び/又はスクリプトを実行させるか、又はリスナーエレメントでハンドラーエレメントをトリガーさせることができる。ユーザは、特定のグラフィックエレメントをスタイラスでクリックするようなアクションを通じて新たなウェブページへのハイパーリンクを開始することができる。多くの場合に、“svg”エレメントの“zoomAndPan”属性の値、及びユーザエージェントの特性に基づいて、ユーザは、SVGコンテンツへズームし及びその周りをパンすることができる。
SVGの多数の異なる観点が事象によって影響される。例えば、SVG uDOMは、事象リスナーを登録するためのスクリプトをイネーブルし、所与の事象が発生したときにスクリプトを呼び出せるようにする。更に、「ハンドラー」エレメントの事象属性は、どの事象をハンドラーがトリガーすべきか指定する。更に、SVGのSMILアニメーションエレメント及びメディアエレメントは、事象に基づいて開始又は終了するように定義することができる。
www.w3.org/TR/SVGMobile12/script.htmlにおいて詳細に論じられているSVG事象モデルは、www.w3.org/TR/xml-events/に述べられたXML事象モデルをベースとする。SVG Tinyは、XML事象を使用して、カスタム事象を聴取する能力を与えると共に、グラフィックコンテンツから事象リスナーを別々に指定する。
宣言型アニメーションのSVG内蔵メカニズムを使用して、あるレベルの双方向性を与えることはできるが、スクリプトの使用は、例えば、双方向クロックのための現在システム時間を得るといった新たな形式の機能を追加することにより幾つかの効果を発揮し、そしてSVGアニメーション機能を更に拡張することができる。SVGは、特定のスクリプトランゲッジのサポートを必要としないが、ECMAScript(www.w3.org/TR/SVGMobile12/script.htmlにおいて論じられている)は、スクリプトSVGのために最も頻繁に使用される。又、ECMAScriptは、NetscapeのJava(登録商標)Scriptから開発された標準化ランゲッジである。しかしながら、SVGにより与えられる現在の機能は、主として、宣言的アニメーション及びスクリプトを経てクライアント側のローカル双方向性に関連している。リモート対話のための機能は、HTTP GET/POSTコマンドを呼び出すためのハイパーリンクの使用で著しく制限される。
www.mpeg-laser.org/documents/LASeRStudyOfFCDBusan.pdfにおいて論じられているライトウェイトアプリケーションズシーンレプレゼンテーション(LASeR)システムは、HTTP GET要求及びハイパーリンクによりフィードバックデータを送信するためのメカニズムを定義している。例えば、オリジナルコンテンツ(サーブレットによりサービスされる)のURLがwww.example.org/serviceである場合には、HTTP GET/POSTを送信する方法が多数ある。1つの方法は、回答を伴わずに簡単な情報を送信することを含む(例えば、www.example.org/service?answer1=yes)。別の方法は、回答と共に簡単な情報を送信することを含む。この場合、サーブレットは、新たなシーン又は更新を送信する(例えば、アペンディックスにパッケージされて)ことにより回答する。第3の方法は、既存のurlにシーン情報を追加する追加コマンドを伴うスクリプトを使用して複雑な情報を送信することを含む。例えば、地下鉄の駅が選択され、駅の名前が次のように存在する。
Figure 2009515456
不都合なことに、この解決策は、ストリーミングアプリケーションではなく、実際にはPtPアプリケーションに専用であるHTTPベースの接続に制限される。それ故、このようなフィードバックの範囲及び多様性は、非常に限定される。
ハイパーテキスト転送プロトコル(HTTP)は、分散協力型ハイパーメディア情報システムのためのアプリケーションレベルプロトコルである。HTTPは、ネームサーバー及び分散型オブジェクトマネージメントシステムのように、ハイパーテキストに対する使用を越えた多数のタスクに使用できる一般的で且つステートレスなプロトコルである。これらのタスクは、その要求方法、エラーコード及びヘッダの拡張を通して実施することができる。HTTPの特徴は、データ表現の形式及びネゴシエーションであり、転送されるデータとは独立してシステムを構築できることである。HTTPは、1990年以来、ワールドワイドウェブグローバル情報構想により使用されている。
リアルタイムストリーミングプロトコル(RTSP)は、リアルタイム特性をもつデータの配信を制御するためのアプリケーションレベルのプロトコルである。RTSPは、オーディオ及びビデオのようなリアルタイムデータの制御されたオンデマンド配信を可能にするための拡張性フレームワークを与える。データのソースは、ライブデータフィード及び記憶されたクリップの両方を含むことができる。このプロトコルは、多数のデータ配信セッションを制御し、ユーザデータプロトコル(UDP)、マルチキャストUDP及び送信制御プロトコル(TCP)のような配信チャンネルを選択するメカニズムを与え、そしてリアルタイムトランスポートプロトコル(RTP)に基づいて配信メカニズムを選択するシステムを与えるように意図されている。RTSPは、HTTPと機能的に若干オーバーラップする。しかしながら、RTSPは、データ配信が異なるプロトコルでは帯域ずれして行われるという点で、HTTPとは機能的に相違する。HTTPは、クライアントが要求を発し、サーバーが応答するという非対称的プロトコルである。RTSPでは、メディアクライアント及びメディアサーバーの両方が要求を発することができる。又、RTSPの要求は、ステートレスでない。RTSPは、シンタックス及びオペレーションがHTTP/1.1と同様であり、従って、HTTPに対する拡張メカニズムをほとんどの場合にRTSPに追加することができる。
米国特許出願公告第2005/0204296号には、ブラウザコンテクストにおけるハイパーメディアドキュメントプレゼンテーションを少なくとも2人のクライアント間で共有する方法が開示されている。この方法は、連続的な対話事象をクライアント間で交換し、事象を整合し、そして整合された対話事象を共有プレゼンテーションのレプリカにおいてエミュレーションするためのメカニズムを含む。しかしながら、この方法は、非リアルタイム及びリアルタイムフィードバックシナリオ並びにフォワード送信において埋設メディアを伴うSVGコンテナフォーマットに適用することができない。更に、このシステムは、SVG側の事象スクリプトをフィードバック要求へとマップするための解決策も、SVGコンテンツのダイナミックな更新も与えるものではない。
本発明は、リッチメディアクライアントとサーバーとの間のリッチメディアに専用のリモート双方向性をサポートするために、SMS、MMS、HTTP及びRTSPに対するフィードバックフォーマット及びトランスポートプロトコル拡張を与えるシステム及び方法を提供する。本発明は、リッチメディアベースのSVGプレゼンテーションにおいてサーバーからクライアントへのフォワード送信及びクライアントからサーバーへのフィードバックに対する技術的解決策を提供する。本発明は、SVGとのクライアント側スクリプト対話をフィードバック及び要求へとマッピングし、このようなフィードバックメカニズムを分類し、そして追加される機能に対する新たなシンタックスを定義するための適当な方法を規定する。アプリケーション及びUE能力の要件に基づいて、フィードバックに対して異なるトランスポートメカニズムを使用することができる。これらのメカニズムは、SMS/MMS(限定されたテキスト長さでテキストを送信するための)、HTTP、RTSP、RTP制御プロトコル(RTCP)(RTP/AVPF)、一方向性トランスポート(FLUTE)を経てのファイル配信、及び他のトランスポートメカニズムを含んでもよい。又、MMSは、連続メディア(例えば、ビデオ、オーディオ)及び個別メディア(例えば、イメージ)を搬送することができるが、このようなメディアを合体するための判断は、アプリケーション特有である。更に、このようなメディアのサイズ及び時間的特性が、MMSを経てフィードバックメッセージを搬送するのに適当でないことがある。しかしながら、アプリケーションにより、メディアをMMSフィードバックデータに合体するように選択してもよい。又、本発明は、パケット交換ストリーミングサービス(PSS)及びMBMSのようなサービスに使用することもできる。
本発明のこれら及び他の効果並びに特徴は、その構成及び動作の仕方と共に、多数の図面にわたり同じ要素が同じ番号で示された添付図面を参照した以下の詳細な説明から明らかとなろう。
図1は、本発明によるリッチメディア共有環境に存在し又は存在し得る装置の簡単な図である。本発明によれば、リッチメディアクライアント100は、リッチメディアサーバーと通信する。リッチメディアクライアント及びリッチメディアサーバーは、本発明によれば、SMS/MMS、HTTP/RTP(RTCP)のようなシステムを使用し、及び他の通信方法を介して、情報を通信することができる。リッチメディアサーバー110は、データベース120、HTTP、FTP及び/又はRTPサービス130、又は他のサービス140のような装置からリッチメディアクライアント100へ送信するためのリッチメディアコンテンツを得ることができる。
本発明は、リッチメディアクライアントとサーバーとの間のリッチメディアに専用のリモート双方向性をサポートするために、SMS、MMS、HTTP及びRTSPに対するフィードバックフォーマット及びトランスポートプロトコル拡張を与えるシステム及び方法を提供する。双方向リッチメディアサービスを利用するケースは多数ある。幾つかの例を以下に示す。
ダイナミックメニュー:ダイナミックドロップダウンメニューとしても知られているダイナミックメニューは、サーバーからクライアントへ送信された情報に基づいてオンザフライでダイナミックに生成することができる。又、このようなメニューは、サーバーからの付加的な情報の要求を導くことのできるメニューのアイテムをクリックすることにより生成されてもよい。又、これらの方法の組み合せも可能である。
DVD状の機能を伴うリッチメディアプレーヤ:本発明は、DVD状チャプター機能を移動装置のリッチメディアプレーヤへ拡張するのに使用できる。DVDにおけるVOBチャプターファイルと同様に、多数のメディアストリーム(ビデオ、オーディオ、SVGベースのサブタイトル、等)を一緒にマルチプレクスして、リッチメディアシーン又はシーン更新を形成することができる。ユーザが特定のチャプターをフィードバックとして要求するときには、それに対応するシーン又はシーン更新をプレーヤにストリーミングすることができる。
ユーザボーティング(voting):ユーザは、非リアルタイムフィードバックをサーバーに返送することができ、これは、統計学的情報を収集するために後で使用することができる。例えば、ユーザは、調査を実行して、データを、後で使用すべくサーバーへ送信することができる。
ビデオ/歌の選択サービス:本発明は、ユーザが選択した歌や映画をユーザがサーバーからリアルタイムで選択/要求するのを許すように使用でき、コンテンツの更新は、どちらのクライアントが早く要求を出したかに依存し、又は各クライアントに指定されたプライオリティに基づく。
リモートユーザインターフェイス(RUI):リモートUIは、ユーザインターフェイスを、アプリケーションロジックを実行しているものではない装置においてレンダリングできるようにするメカニズムである。製造者は、ある環境に著しく適した装置を現在生成している。装置は、多様な範囲の目的に意図されているので、それらのUI能力は、著しく変化し、スクリーンサイズ及び比、カラー深度、種々の部品セットを伴うウインドウシステム、入力方法、等は、環境を著しく異なるものにする。同時に、アプリケーション開発者及びUI設計者は、各々のアプリケーションの学習及び使用を容易にすることによりユーザ経験が改善されるように、レンダリングプラットホームに著しく適したユーザインターフェイスの生成を試みている。このようなリモートUIが、アプリケーションロジックを実行しているものではない別の装置においてレンダリングされるときには、ユーザがUIをローカルアプリケーションとして認知でき、それを直感的に使用できるように、プロビジョニングする必要がある。
前記ケースでは、アプリケーションは、ブロードキャスト/マルチキャスト指向でもよいし、PtP指向でもよい。対応的に、SMS、MMS、TCP/IP及びUDP/IPを順方向及び逆方向送信の両方に使用できる。ここでは、フィードバックデータを与える方法しか説明しない。又、サーバーへフィードバックを与えることができるように、SMS、MMS、HTTP及びRTSPを拡張するための技術及びシンタックスを説明する。次いで、各メカニズムの能力をリストし、種々の使用ケースへとマッピングする。
ユーザ事象を処理するのに使用されるアプリケーションスクリプトは、UE側又はサーバー側のいずれかにセーブすることができる。対応的に、ユーザエージェントは、異なる対話モードを使用してフィードバックデータを与えることができる。ここに述べる対話は、2つのモード、即ちローカル処理モード及びリモート処理モードに分類される。XMLをベースとするローカル処理モード及びリモート処理モードのシンタックスがここに説明され、前記トランスポートメカニズムへとマップされる。
SMS、MMS、HTTP、及びRTSPは、フィードバックデータを送信するための4つの考えられる方法である。しかしながら、他のトランスポートメカニズムも使用できることを理解されたい。これらシステムの各々において、リッチメディア対話の効率的な能力を与えるために、種々の関連プロトコルに基づいて、新たな拡張及びシンタックスを定義することができる。
ローカル及びリモート処理事象:対話中に、ユーザ対話を処理するのに使用されるアプリケーションスクリプトは、クライアント/UE側、又はサーバー側のいずれかにセーブすることができ、選択は、アプリケーション特有である。しかしながら、構成の性質に基づき、フィードバックデータを与えるための適切なトランスポートメカニズムを選択することもできる。
ローカル処理事象は、クライアント側で最初に処理されて、必要に応じて、UEからサーバーへ送信されるアプリケーションスクリプトである。あるアプリケーションについては、スクリプトは、UE側にセーブされてもよい。これは、サーバーの負担を著しく減少し、ローカル対話を容易にすることができる。例えば、iTV対話では、ユーザインターフェイスへの操作をUE側で直ちに実現することができ、そしてある形式のデータをサーバーへ送信することができる。このシナリオでは、ユーザは、チャンネルを選択することができ、スクリプトは、この事象を処理して、PLAY要求をサーバーへ送信する。この要求は、選択されたチャンネルに関する情報を含む。このような情報に基づき、サーバーは、要求されたメディアデータを送信するための新たなブロードキャスティング又はダウンロードセッションをスタートすることができる。
リモート処理事象は、サーバー側で直接処理されるアプリケーションスクリプトである。このようなケースでは、ユーザ事象は、初期処理を行わずにUEからサーバーへ直接送信される。ユーザ事象をサーバー側にセーブする1つの考えられる理由は、セキュリティを伴うことである。サーバーは、エンドユーザから各々の詳細を隠し、従って、クライアントは、ユーザがどのボタンキーをクリックしたか、ユーザがどのテキストを入力したか、等の情報をレポートするだけでよい。
一般的フィードバックペイロードフォーマット:SVGコンテンツに専用のフィードバック情報は、テキスト+オクテットペイロードの形態で表わすことができる。このペイロードは、2つの部分を有する。第1部分は、EVENT_ID、ELEMENT_ID、及びEVENTを含む。EVENT_IDは、クライアントからフィードバックメッセージを識別する独特の識別子である。ELEMENT_IDは、事象をトリガーするSVGDOMにおけるソースエレメントのIDである。EVENTは、SVG事象、又はユーザ定義事象である。全フォーマットは、次のように表わすことができる。
Figure 2009515456
実際のフィードバックデータは、第1部分の後に一連のオクテットとして記憶される。このデータは、www.w3.org/TR/2004/WD-SVG12-20041027/eventlist.htmlを参照したSVG事象自身の属性を含むことができる。例えば、ボタンがクリックされたX及びY位置は、サーバーへ直接送信することができ、そしてサーバーは、フィードバックをリモート処理することができる。X及びYの値の各々が、2つのオクテットを伴うバイナリーフォーマットで表現されると仮定すれば、オクテットシリーズの合計長さは、2+2=4オクテットとなる。Y値は、X値の直後に記憶される。
Figure 2009515456
前記例は、SVGシーンを、映画を選択するためのボタンのセットと共に含む。ボタンの1つをクリックすると、クライアントは、ボタンがクリックされたX及びY位置を記憶する。この情報は、サーバーへのリモート処理フィードバックメッセージへと公式化される。この例では、4つのオクテットを使用してこの情報を記憶する。
又、実際のフィードバックデータは、ユーザがどの映画を選択したか、等の処理情報を含むこともできる。このケースでは、オクテットは、“movieSelected= Lord of the Rings”のような情報を含んでもよい。これは、ローカル処理事象の例である。それ故、シーンにおいてボタンの1つをクリックすると、スクリプトが、movieSelectedと称されるフィールドにこの値を記憶する。この情報は、サーバーへのローカル処理フィードバックメッセージへと公式化される。
SMS又はMMSのようなプロトコルの場合、ペイロードの最初の3つのアイテムは、テキストベースのフォーマットで明確に指定され、そして第4フィールドは、一般的に、一連のオクテットとみなされる。HTTP POST/PUTの場合、メタ情報は、エンティティヘッダに記憶され、一方、それに続く4つのテキストベースのフィールドと、実際のフィードバック情報を記憶する一連のオクテットとは、一緒に、エンティティ本体に順次に記憶される。
フィードバックのためのトランスポートシステム:異なるトランスポートシステムは、異なる能力を有し、そしてそれらの使い方は、リッチメディアアプリケーションの性質に依存する。MMS、TCP及びUDPのような多数の方法を使用して、リッチメディアデータを配信することができる。特定アプリケーションの需要に基づいて、フォワード送信及びフィードバック送信の両方に異なる方法を使用することができる。フィードバックチャンネルに使用される方法は、フォワードチャンネルに使用される方法と必ずしも同じでないことに注意されたい。それ故、フィードバックデータを与える方法のみをここで説明する。リッチメディアベースのフィードバックを容易にするために、通常使用される標準的なプロトコル、例えば、SMS、HTTP、MMS及びRTSPに対して幾つかの拡張を以下にテーブル1に示す。

テーブル1
Figure 2009515456
SMS及び/又はMMSによるフィードバック:SMS及びMMSは、両方とも、テキストベースのフィードバック情報を搬送できるが、SMSは、140オクテットの限定長さのテキストしか搬送できない。SMSの場合、フィードバックメッセージの長さ制限が与えられると、テキストベースのデータは、送信中に小さなチャンクへとセグメント化する必要がある。パケットを識別するために、次の形態で各パケットのヘッドにメタデータを使用してもよい。
現在セグメントのID/合計セグメント数/データフォーマット/ペイロードの長さ/キャラクタセット
第3フィールドは、データフォーマット、即ちデータがテキストであるか、バイナリーであるか又はユニコードであるか(テキスト−1、バイナリー−2、ユニコード−3)を表わす。第4フィールドは、オクテットでカウントされたペイロードデータの長さである。オプションの第5フィールドは、ユニコードが使用されたときのキャラクタセットの名前である。第5フィールドは、第3フィールドの値が3であるときだけ存在する。例えば、1/3/3/100/ISO−8859−7では、ユーザフィードバックが3つのセグメントに分割される。現在SMSメッセージは、第1セグメントを搬送する。このセグメントは、長さが100オクテットである。ユニコードは、それをエンコードし、キャラクタセットは、ISO−8859−7である。より正式には、このメタデータは、次のように表わすことができる。
Figure 2009515456
この形態において、1*DIGITは、1つのデジットが存在することを示し、“/”は、キャラクタ“/”であり、n*DIGITは、1つ以上のデジットが存在し得ることを示し、n*CHARは、1つ以上のキャラクタが存在し得ることを示し、そしてSPは、ホワイトスペースを示す。フィードバックのSMSモードは、高い遅延を伴うフィードバックに対して理想的である。というのは、SMSの待ち時間が、HTTP及びRTSP要求より比較的大きいからである。
MMSの場合、メタデータは、次のフォーマットである。即ち、データフォーマット/ペイロードの長さ/キャラクタセット。このフォーマットにおいて、第1フィールドは、データのフォーマット、即ちデータがテキストであるか、バイナリーであるか又はユニコードであるか(テキスト−1、バイナリー−2、ユニコード−3)を表わす。第2フィールドは、オクテットでカウントされたペイロードデータの長さである。オプションの第3フィールドは、ユニコードが使用されたときのキャラクタセットの名前である。第3フィールドは、第1フィールドの値が3であるときだけ存在する。フォーマットは、例えば、3/100/ISO−8859−7として実施される。より正式には、このメタデータは、次のように表わすことができる。
Figure 2009515456
この例では、1*DIGITは、1つのデジットが存在することを示し、“/”は、キャラクタ“/”であり、n*DIGITは、1つ以上のデジットが存在し得ることを示し、n*CHARは、1つ以上のキャラクタが存在し得ることを示し、そしてSPは、ホワイトスペースを示す。
HTTPによるフィードバック:HTTPは、アプリケーションレイヤプロトコルである。HTTPは、通常、TCP接続にわたって実行されるが、UDPのような他のトランスポートプロトコルにも適用できる。HTTPは、PtP接続をベースとする対話に適している。TCPは、データパケットの配信を固有に保証する。しかしながら、TCPは、付加的な遅延も導入する。それ故、このようなシステムは、フィードバックデータに対して強力な保証を必要とするチャンネル選択やSVGベースのゲームのような低遅延のフィードバックにより適している。更に、HTTPは、セッションを確立するのに1つ以上のHTTP GET要求が使用される進行性ダウンロードシナリオに適したものである。
次の部分では、フィードバックデータを搬送するために、GET、POST及びPUT方法が拡張される。
GET方法メカニズムは、どんな情報が要求−URIにより識別されたかを検索する。レンジ及びコンテンツレンジは、データの範囲を指し、レンジは、クライアントからサーバーへのデータ(フィードバック)を指し、そしてコンテンツレンジは、サーバーからクライアントへのデータ(例えば、フォワード送信)を指す。GET方法のセマンティックは、要求メッセージがレンジヘッダフィールドを含む場合に「部分GET」へ変化する。このような種類の要求を受け取った後に、サーバーは、「コンテンツレンジ」と称されるフィールドを含む206又は416メッセージを使用して、GET要求に応答する。
現在のHTTP仕様では、レンジ及びコンテンツレンジは、バイトに基づいて指定されるだけである。しかしながら、SVGコンテンツは、オーディオ及びビデオのようにバイトに基づくものではなく、HTTPは、典型的に、全てのデータを簡単なバイナリーフォーマットとして処理する。SVGは、潜在的に、バイナリーフォーマット、例えば、バイナリーXMLへ圧縮することができるが、全てのSVGシーン及びシーン更新コンテンツは、必ずしもバイナリーフォーマットへ圧縮されなくてよい。更に、ISOベースメディアファイルフォーマットでは、SVGシーン及びシーン更新は、同期サンプル(syncsample)により編成され参照される。SVGにおける全ての同期サンプルは、SVGシーンであるが、全てのSVGシーンは、必ずしも同期サンプルでなくてもよい。バイトに基づくものでもフレームに基づくものでもない非圧縮SVGのプレゼンテーションを容易にするために、HTTP GET方法は、フィードバックの精度を高めるべく、ミリ秒(ミリセコンド)又は同期サンプルに基づくように拡張される。
レンジに対してミリ秒を使用するためのシンタックス及び例の両方を以下に示す。
シンタックス:
Figure 2009515456
レンジに対し同期サンプルを使用するためのシンタックス及び例の両方を以下に示す。
シンタックス:
Figure 2009515456
コンテンツレンジに対してミリ秒を使用するためのシンタックス及び例の両方を以下に示す。
シンタックス:
Figure 2009515456
コンテンツレンジに対し同期サンプル使用するためのシンタックス及び例の両方を以下に示す。
シンタックス:
Figure 2009515456
POST方法は、要求に含まれたエンティティを、要求−ラインにおいて要求−URIにより識別されたリソースの新たな従属物として受け容れるようにサーバーに要求するのに使用される。POSTは、均一の方法が既存のリソースのアノテーションをカバーするのを許すように設計され、即ちブルテンボード、ニュースグループ、メールリスト、又は同様の記事グループへのメッセージのポスティング;フォームを提示した結果のようなデータのブロックをデータハンドリングプロセスに供すること;及び付随オペレーションによるデータベースの拡張、をカバーするのを許すように設計される。POST方法により実行される実際の機能は、サーバーにより決定され、通常は、要求−URIに依存する。
PUT方法は、含まれたエンティティが、供給された要求−URIのもとで記憶されることを要求する。要求−URIが既存のリソースを指す場合には、含まれたエンティティは、原点サーバーに存在するリソースの変更バージョンとみなされねばならない。要求−URIが既存のリソースを指さず、そしてURIが要求側ユーザエージェントにより新たなリソースとして定義され得る場合には、原点サーバーは、そのURIとのリソースを生成することができる。
POST及びPUTの両要求は、要求方法又は応答状態コードによって何ら制限されない場合には、エンティティを転送することができる。エンティティは、エンティティ−ヘッダフィールド及びエンティティ−本体を含む。エンティティ−ヘッダフィールドは、エンティティ−本体に記憶されたフィードバックに関するメタ情報を定義し、或いは本体が存在しない場合には、要求により識別されるリソースに関するメタ情報を定義する。HTTP要求又は応答と共に送信されるエンティティ−本体がもしあれば、それは、実際のフィードバックデータを含むエンティティ−ヘッダフィールドにより定義されたフォーマットにあり、エンコーディングされる。定義されたSVGフィードバックデータは、実際には、エンティティ−本体に記憶されて送信される。エンティティ−本体については、長さ制限がない。大きなフィードバックデータのセグメント化又は断片化を取り扱うのは、下位レイヤ(例えば、TCP)の役割である。エンティティ−ヘッダフィールド及びエンティティ−本体の一例は、次の通りである。
Figure 2009515456
POST要求とPUT要求との間の基本的な相違は、要求−URIの異なる意味において反映される。POST要求のURIは、含まれたエンティティを取り扱うリソースを識別する。このリソースは、データ受け容れプロセス、他の何らかのプロセスへのゲートウェイ、又はアノテーションを受け容れる個別のエンティティを備えてもよい。対照的に、PUT要求のURIは、要求と共に含まれたエンティティを識別し、ユーザエージェントは、どんなURIが意図されたかを知り、そしてサーバーは、要求を他のリソースへ適用するよう試みてはならない。それ故、アプリケーションの需要に基づいて、SVGフィードバックは、PUT又はPOSTを各々経て送信することができる。例えば、フィードバックデータがボーティングアプリケーションに対するユーザ結果である場合には、ユーザエージェントは、サーバーがそれをどこにセーブし処理したかについて関心を持たない。このようなケースでは、このフィードバックデータは、POSTを経て送信される。別の例として、ユーザエージェントがサーバーにおけるユーザ情報のアップグレードを試み、そしてスクリプトが、新たなデータをどこに記憶すべきか知っている場合は、PUT要求を使用して、フィードバックデータが送信される。
RTSPによるフィードバック:RTSPは、リアルタイム特性をもつデータの配信を制御するためのアプリケーションレベルプロトコルである。このプロトコルは、多数のデータ配信セッションを制御し、UDP、マルチキャストUDP及びTCPのような配信チャンネルを選択するメカニズムを与え、そしてRTPに基づいて配信メカニズムを選択する方法を与えるように意図される。それ故、RTSPは、アプリケーションをブロードキャスティングするために低遅延でフィードバックを与えるのに適している。
RTSPは、HTTPに本来適合する。それ故、フィードバックデータを与えるために、POST/PUTにおいて拡張されたものをRTSPに適用することができる。更に、PLAY方法は、レンジを同期サンプルによって指定できるように拡張される。PLAY方法は、データ送信をスタートするようにサーバーに知らせる。PLAY方法は、通常のプレイ時間を、指定されたレンジの始めに位置させ、そしてレンジの終りに到達するまでストリームデータを配信する。このようなインストラクションの一例を以下に示す。
C->S: PLAY rtsp://audio.example.com/audio RTSP/1.0
CSeq: 835
セッション: 12345678
レンジ: npt=10-15
レンジヘッダは、時間パラメータを含んでもよい。このパラメータは、再生をスタートしなければならないUTCの時間を指定する。オンデマンドストリームの場合、サーバーは、再生される実際のレンジで応答する。これは、要求されたレンジと有効フレーム境界との整列がメディアソースに対して必要とされる場合には、その要求されたレンジと相違してもよい。リッチメディアアプリケーションを容易にするために、上述したようにHTTPにおいてなされた拡張と同様に、同期サンプル及びミリ秒でレンジを指定するのを許すように、PLAYコマンドを拡張することができる。次の例は、第20番目の同期サンプルからスタートして終了に至るまでの全表現を再生する。
C->S: PLAY rtsp://svg.example.com/presentation.svg RTSP/1.0
CSeq: 833
セッション: 12345678
レンジ: syncsample=20-

S->C: RTSP/1.0 200 OK
CSeq: 833
日付: 23 Jan 2005 15:35:06 GMT
レンジ: syncsample=20-
次の例は、第20番目の同期サンプルからスタートして第40番目の同期サンプルで終了する表現を示す。
C->S: PLAY rtsp://svg.example.com/presentation.svg RTSP/1.0
CSeq: 834
セッション: 12345679
レンジ: syncsample=20-40

S->C: RTSP/1.0 200 OK
CSeq: 834
日付: 23 Jan 2005 15:37:06 GMT
レンジ: syncsample=20-40
レンジをミリ秒で指定するために、シンタックスは、次のようにすることができる。
C->S: PLAY rtsp://svg.example.com/presentation.svg RTSP/1.0
CSeq: 834
セッション: 12345679
レンジ: millisecond=3000-20000

S->C: RTSP/1.0 200 OK
CSeq: 834
日付: 23 Jan 2005 15:37:06 GMT
レンジ: millisecond=3000-20000
本発明の幾つかの別の実施形態を以下に説明する。しかしながら、種々様々な他の実施も考えられることを理解されたい。このような1つの実施形態において、一般的なフィードバックペイロードフォーマットの場合に、フィードバックペイロードフォーマットのフィールドは、オプションであってもよいし、又はアプリケーション及び/又はクライアントの能力、サーバー及びネットワーク条件に基づいて無視することもできる。別の実施形態において、これも、一般的なフィードバックペイロードフォーマットの場合に、フィードバックペイロードフォーマットにおけるフィールドの連続順序及び名前を変更してもよい。更に、SMS及びMMSのフィードバックフォーマットにおけるフィールドの連続順序及び名前を変更しながら、同じ機能を遂行することもできる。
HTTPによりフィードバックするためのPOST/PUSH方法への拡張に対して、POST又はPUTメッセージに含まれたレンジ又はコンテンツレンジにおけるフィールドの連続順序及び名前を変更しながら、同じ機能を遂行することもできる。更に、POST及びPUTは、異なる目的のためのデータを含むが、POST要求に含まれたデータをPUT要求によって送信することもでき、或いはその逆もできることに注意されたい。
RTSPによるフィードバックの場合に、PLAYメッセージに含まれるレンジにおけるフィールドの連続順序及び名前を変更しながら、同じ機能を遂行することもできる。更に、サーバーからクライアントへの応答メッセージは、対応するPLAY要求により要求されたレンジと同じレンジを必ずしも含まない。
最後に、レンジが利用可能なサンプルの合計数を含むようなシンタックスのオプションも存在し得ることに注意されたい。例えば、シンタックスは、全部で60個のサンプルがあると仮定すれば、“Range: syncsample=20-40/60”を指示することができる。
図2は、ネットワークを通して通信できる多数の通信装置を備えた、本発明を利用できるシステム10を示す。このシステム10は、移動電話ネットワーク、ワイヤレスローカルエリアネットワーク(LAN)、ブルーツースパーソナルエリアネットワーク、イーサネット(登録商標)LAN、トークンリングLAN、ワイドエリアネットワーク、インターネット、等を含む(これらに限定されないが)ワイヤード又はワイヤレスネットワークの組み合せで構成することができる。システム10は、ワイヤード及びワイヤレスの両通信装置を含んでもよい。
例示のために、図2に示されたシステム10は、移動電話ネットワーク11及びインターネット28を備えている。インターネット28への接続は、長距離ワイヤレス接続、短距離ワイヤレス接続、及び種々のワイヤード接続を含み(これらに限定されないが)、このワイヤード接続は、電話線、ケーブルライン、電力ライン、等を含む(これらに限定されないが)。
システム10の例示的通信装置は、移動電話12、PDA及び移動電話の組合せ14、PDA16、一体化メッセージング装置(IMD)18、デスクトップコンピュータ20、及びノートブックコンピュータ22を含む(これらに限定されないが)。通信装置は、固定でもよいし、又は移動中の個人により携帯されるときには移動でもよい。又、通信装置は、自動車、トラック、タクシー、バス、ボート、航空機、自転車、オートバイ、等を含む(これらに限定されないが)輸送のモードに配置されてもよい。通信装置の幾つか又は全部がコール及びメッセージを送受信でき、そしてベースステーション24へのワイヤレス接続25を経てサービスプロバイダーと通信してもよい。ベースステーション24は、移動電話ネットワーク11とインターネット28との間の通信を許すネットワークサーバー26に接続することができる。システム10は、付加的な通信装置、及び異なる形式の通信装置を含んでもよい。
通信装置は、コード分割多重アクセス(CDMA)、移動通信用のグローバルシステム(GSM)、ユニバーサル移動テレコミュニケーションシステム(UMTS)、時分割多重アクセス(TDMA)、周波数分割多重アクセス(FDMA)、送信制御プロトコル/インターネットプロトコル(TCP/IP)、ショートメッセージサービス(SMS)、マルチメディアメッセージングサービス(MMS)、eメール、インスタントメッセージングサービス(IMS)、ブルーツース、IEEE802.11、等を含む(これらに限定されないが)種々の送信技術を使用して通信することができる。又、通信装置は、無線、赤外線、レーザー、ケーブル接続、等を含む(これらに限定されないが)種々のメディアを使用して通信することができる。
図3及び4は、本発明を実施できる1つの代表的な移動電話12を示す。しかしながら、本発明は、1つの特定形式の移動電話12又は他の電子装置に限定されないことを理解されたい。図3及び4の移動電話12は、ハウジング30、液晶ディスプレイの形態のディスプレイ32、キーパッド34、マイクロホン36、イヤホン38、バッテリ40、赤外線ポート42、アンテナ44、本発明の一実施形態によるUICCの形態のスマートカード46、カードリーダー48、無線インターフェイス回路52、コーデック回路54、コントローラ56、及びメモリ58を含む。個々の回路及びエレメントは、全て、例えば、ノキアの範囲の移動電話においてこの技術で良く知られた形式のものである。
本発明は、ネットワーク環境内でコンピュータにより実行されるプログラムコードのようなコンピュータ実行可能なインストラクションを含むプログラム製品により一実施形態で具現化される方法ステップの一般的状況において説明された。
一般に、プログラムモジュールは、特定のタスクを実行するか又は特定のアブストラクトデータ形式を具現化するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、等を含む。コンピュータ実行可能なインストラクション、関連データ構造、及びプログラムモジュールは、ここに開示する方法のステップを実行するためのプログラムコードの例を表わす。このような実行可能なインストラクション又は関連データ構造の特定シーケンスは、このようなステップにおいて説明されるファンクションを具現化するための対応するアクションの例を示す。
本発明のソフトウェア及びウェブの具現化は、種々のデータベースサーチステップ、相関ステップ、比較ステップ、及び判断ステップを実行するためのルールベースのロジック及び他のロジックを伴う標準的なプログラミング技術で達成することができる。又、この説明及び特許請求の範囲で使用する「コンポーネント」及び「モジュール」という語は、1行以上のソフトウェアコードを使用する具現化、及び/又はハードウェア具現化、及び/又は手動入力を受け取るための装置を包含することに注意されたい。
本発明の実施形態の以上の説明は、例示及び説明のためのものである。これは、本発明を余すところなく説明するものでもないし、又、ここに開示した正確な形態に制限するものでもなく、前記教示に鑑み又は本発明を実施することから、種々の変更や修正が可能であろう。前記実施形態は、本発明の原理及びその実際の応用を説明するために選択され、記述されたもので、当業者であれば、種々の実施形態において本発明を利用し、且つ意図された特定の用途に適するように種々の変更をなすことができるであろう。
リッチメディア環境においてサーバーとクライアントとの間でフィードバックメッセージを送信する方法を示す図である。 本発明を実施できるシステムを示す図である。 本発明を実施するのに使用できる移動電話の斜視図である。 図3の移動電話の電話回路を示す回路図である。

Claims (43)

  1. リッチメディアクライアントとリッチメディアサーバーとの間で送信するためのリッチメディアコンテンツに関する情報を与える方法において、
    事象、事象識別子及びエレメント識別子を有する第1部分、並びに送信のためのデータを含む第2部分を備えた情報のテキスト+オクテットペイロードを準備するステップと、
    所定のプロトコルを使用して前記リッチメディアクライアントとリッチメディアサーバーとの間で前記準備されたテキスト+オクテットペイロードを送信するステップと、
    を備えた方法。
  2. 前記情報は、フィードバック情報を含む、請求項1に記載の方法。
  3. 前記情報は、フィードフォワード送信情報を含む、請求項1に記載の方法。
  4. 前記データは、一連のオクテットとして記憶される、請求項1に記載の方法。
  5. 前記データは、事象の属性を含む、請求項1に記載の方法。
  6. 前記データは、前記リッチメディアクライアントからの処理された情報を含む、請求項1に記載の方法。
  7. 前記事象は、SVG事象を含む、請求項1に記載の方法。
  8. 前記事象は、ユーザ定義事象を含む、請求項1に記載の方法。
  9. 前記事象識別子は、前記リッチメディアクライアントからのフィードバックメッセージを識別するのに使用される独特の識別子である、請求項1に記載の方法。
  10. 前記エレメント識別子は、事象をトリガーするソースエレメントの識別子である、請求項1に記載の方法。
  11. 前記所定のプロトコルは、マルチメディアメッセージングシステムを含む、請求項1に記載の方法。
  12. 前記所定のプロトコルは、ショートメッセージングシステムを含む、請求項1に記載の方法。
  13. 前記所定のプロトコルは、ハイパーテキスト転送プロトコルを含む、請求項1に記載の方法。
  14. 前記テキスト+オクテットペイロードは、HTTP GET要求によって搬送される、請求項13に記載の方法。
  15. 前記テキスト+オクテットペイロードは、HTTP GET要求をミリ秒に基づくように拡張するための情報を含む、請求項14に記載の方法。
  16. 前記テキスト+オクテットペイロードは、HTTP GET要求を同期サンプルに基づくように拡張するための情報を含む、請求項14に記載の方法。
  17. 前記テキスト+オクテットペイロードは、HTTP POST要求により搬送される、請求項13に記載の方法。
  18. 前記テキスト+オクテットペイロードは、HTTP PUT要求により搬送される、請求項13に記載の方法。
  19. 前記所定のプロトコルは、リアルタイムストリーミングプロトコルを含む、請求項1に記載の方法。
  20. 前記テキスト+オクテットペイロードは、PLAY要求により搬送される、請求項1に記載の方法。
  21. 前記テキスト+オクテットペイロードにおける事象は、前記リッチメディアクライアントにより処理される、請求項1に記載の方法。
  22. 前記テキスト+オクテットペイロードにおける事象は、前記リッチメディアサーバーにより処理される、請求項1に記載の方法。
  23. 前記テキスト+オクテットペイロードは、複数のセグメントを含み、これら複数のセグメントの各々は、メタデータを含み、このメタデータは、各セグメントのアイデンティティ、セグメントの合計数、送信されるデータのフォーマット、及びテキスト+オクテットペイロードの長さの指示を含む、請求項1に記載の方法。
  24. 前記複数のセグメント各々のメタデータは、更に、使用されるキャラクタセットの名前を含む、請求項24に記載の方法。
  25. 前記テキスト+オクテットペイロードは、送信されるデータのフォーマット、テキスト+オクテットペイロードの長さ、及び使用されるキャラクタセットの名前を含むメタデータを備えた、請求項1に記載の方法。
  26. 前記リッチメディアコンテンツは、SVGコンテンツ、オーディオコンテンツ、ビデオコンテンツ、イメージ、テキスト、及びその組み合せより成るグループから選択される、請求項1に記載の方法。
  27. リッチメディアクライアントとリッチメディアサーバーとの間で送信するためのリッチメディアコンテンツに関する情報を与えるコンピュータプログラム製品において、
    事象、事象識別子及びエレメント識別子を有する第1部分、並びに送信のためのデータを含む第2部分を備えた情報のテキスト+オクテットペイロードを準備するためのコンピュータコードと、
    所定のプロトコルを使用して前記リッチメディアクライアントとリッチメディアサーバーとの間で前記準備されたテキスト+オクテットペイロードを送信するためのコンピュータコードと、
    を備えたコンピュータプログラム製品。
  28. 前記所定のプロトコルは、マルチメディアメッセージングシステムを含む、請求項27に記載のコンピュータプログラム製品。
  29. 前記所定のプロトコルは、ショートメッセージングシステムを含む、請求項27に記載のコンピュータプログラム製品。
  30. 前記所定のプロトコルは、ハイパーテキスト転送プロトコルを含む、請求項27に記載のコンピュータプログラム製品。
  31. 前記所定のプロトコルは、リアルタイムストリーミングプロトコルを含む、請求項27に記載のコンピュータプログラム製品。
  32. 前記情報は、フィードバック情報を含む、請求項27に記載のコンピュータプログラム製品。
  33. 前記情報は、フィードフォワード送信情報を含む、請求項27に記載のコンピュータプログラム製品。
  34. 前記リッチメディアコンテンツは、SVGコンテンツ、オーディオコンテンツ、ビデオコンテンツ、イメージ、テキスト、及びその組み合せより成るグループから選択される、請求項27に記載のコンピュータプログラム製品。
  35. プロセッサと、
    前記プロセッサに作動的に接続されたメモリユニットであって、電子装置とリモート装置との間で送信するためのリッチメディアコンテンツに関する情報を与えるコンピュータプログラム製品を含むメモリユニットと、
    を備え、前記コンピュータプログラム製品は、
    事象、事象識別子及びエレメント識別子を有する第1部分、並びに送信のためのデータを含む第2部分を備えた情報のテキスト+オクテットペイロードを準備するためのコンピュータコードと、
    所定のプロトコルを使用して電子装置とリモート装置との間で前記準備されたテキスト+オクテットペイロードを送信するためのコンピュータコードと、
    を備えたものである、電子装置。
  36. 前記所定のプロトコルは、マルチメディアメッセージングシステムを含む、請求項35に記載の電子装置。
  37. 前記所定のプロトコルは、ショートメッセージングシステムを含む、請求項35に記載の電子装置。
  38. 前記所定のプロトコルは、ハイパーテキスト転送プロトコルを含む、請求項35に記載の電子装置。
  39. 前記所定のプロトコルは、リアルタイムストリーミングプロトコルを含む、請求項35に記載の電子装置。
  40. 前記情報は、フィードバック情報を含む、請求項35に記載の電子装置。
  41. 前記情報は、フィードフォワード送信情報を含む、請求項35に記載の電子装置。
  42. 前記リッチメディアコンテンツは、SVGコンテンツ、オーディオコンテンツ、ビデオコンテンツ、イメージ、テキスト、及びその組み合せより成るグループから選択される、請求項35に記載の電子装置。
  43. 前記リモート装置は、リッチメディアサーバーを含む、請求項35に記載の電子装置。
JP2008539524A 2005-11-08 2006-11-08 リッチメディアアプリケーションにおけるリモート対話のためのフィードバック及びフォワード送信を与えるシステム及び方法 Pending JP2009515456A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US73439405P 2005-11-08 2005-11-08
PCT/IB2006/003137 WO2007054780A2 (en) 2005-11-08 2006-11-08 System and method for providing feedback and forward transmission for remote interaction in rich media applications

Publications (2)

Publication Number Publication Date
JP2009515456A true JP2009515456A (ja) 2009-04-09
JP2009515456A5 JP2009515456A5 (ja) 2009-12-10

Family

ID=38023628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008539524A Pending JP2009515456A (ja) 2005-11-08 2006-11-08 リッチメディアアプリケーションにおけるリモート対話のためのフィードバック及びフォワード送信を与えるシステム及び方法

Country Status (7)

Country Link
US (1) US20070174474A1 (ja)
EP (1) EP1946525A2 (ja)
JP (1) JP2009515456A (ja)
KR (1) KR100984694B1 (ja)
CN (1) CN101346973A (ja)
TW (1) TW200728997A (ja)
WO (1) WO2007054780A2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8085756B2 (en) * 2005-06-03 2011-12-27 Microsoft Corporation Automatically sending rich contact information coincident to a telephone call
US8611378B2 (en) 2007-05-29 2013-12-17 Red Hat, Inc. Message handling multiplexer
US7992153B2 (en) * 2007-05-30 2011-08-02 Red Hat, Inc. Queuing for thread pools using number of bytes
US7921227B2 (en) * 2007-05-30 2011-04-05 Red Hat, Inc. Concurrent stack
US8505028B2 (en) * 2007-05-30 2013-08-06 Red Hat, Inc. Flow control protocol
US7733863B2 (en) * 2007-05-30 2010-06-08 Red Hat, Inc. Out of band messages
US8190750B2 (en) * 2007-08-24 2012-05-29 Alcatel Lucent Content rate selection for media servers with proxy-feedback-controlled frame transmission
US8145727B2 (en) * 2007-10-10 2012-03-27 Yahoo! Inc. Network accessible media object index
KR100907613B1 (ko) * 2007-12-26 2009-07-14 에스케이 텔레콤주식회사 부가콘텐츠를 제공하는 콘텐츠 제공 서버, 시스템 및 방법
US8681811B2 (en) * 2008-02-27 2014-03-25 Ncomputing Inc. System and method for obtaining cross compatibility with a plurality of thin-client platforms
EP2139179A1 (en) * 2008-06-26 2009-12-30 THOMSON Licensing Method and apparatus for reporting state information
US8595341B2 (en) * 2008-06-30 2013-11-26 At&T Intellectual Property I, L.P. System and method for travel route planning
US10007668B2 (en) * 2008-08-01 2018-06-26 Vantrix Corporation Method and system for triggering ingestion of remote content by a streaming server using uniform resource locator folder mapping
KR20100036156A (ko) * 2008-09-29 2010-04-07 삼성전자주식회사 리치미디어 서비스를 제공하는 방법 및 장치
KR20100088049A (ko) 2009-01-29 2010-08-06 삼성전자주식회사 사용자 인터페이스 구성 객체들로 이루어진 콘텐츠의 사전 예측 불가능한 경로를 통하여 수신되는 정보들의 처리 방법 및 이를 위한 장치
CN101924743A (zh) * 2009-06-13 2010-12-22 华为技术有限公司 一种获取和提供媒体数据的方法及装置
CN102427463B (zh) * 2009-11-09 2015-04-22 中国电信股份有限公司 一种富媒体直播业务系统和方法
WO2012008792A2 (ko) * 2010-07-16 2012-01-19 한국전자통신연구원 스트리밍 서비스 송/수신 장치 및 방법
US9600350B2 (en) * 2011-06-16 2017-03-21 Vmware, Inc. Delivery of a user interface using hypertext transfer protocol
US9590814B2 (en) * 2011-08-01 2017-03-07 Qualcomm Incorporated Method and apparatus for transport of dynamic adaptive streaming over HTTP (DASH) initialization segment description fragments as user service description fragments
US9514242B2 (en) 2011-08-29 2016-12-06 Vmware, Inc. Presenting dynamically changing images in a limited rendering environment
US8850054B2 (en) * 2012-01-17 2014-09-30 International Business Machines Corporation Hypertext transfer protocol live streaming
US9438883B2 (en) * 2012-04-09 2016-09-06 Intel Corporation Quality of experience reporting for combined unicast-multicast/broadcast streaming of media content
WO2014011818A2 (en) * 2012-07-10 2014-01-16 Zazzle.Com, Inc. Image data collection
KR102000212B1 (ko) * 2012-11-26 2019-07-15 한국전자통신연구원 대화형 멀티 스트림의 송수신 방법 및 장치
CN104184656B (zh) * 2014-08-22 2017-07-28 广州华多网络科技有限公司 一种信息显示方法及应用服务器
CN104239424B (zh) * 2014-08-22 2017-09-29 广州华多网络科技有限公司 一种客户端中的用户信息展示方法及相关设备、系统
US10389788B2 (en) * 2014-12-27 2019-08-20 Intel Corporation Technologies for adaptive real-time media streaming
JP6760296B2 (ja) * 2015-09-16 2020-09-23 ソニー株式会社 送信装置、送信方法、再生装置および再生方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288153A (ja) * 2001-03-26 2002-10-04 Digital Communications:Kk アプリケーション非依存データ生成方法及び情報処理プログラム及びレイアウト情報処理システム。
JP2005301422A (ja) * 2004-04-07 2005-10-27 Canon Inc 文書データ処理装置および方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5586264A (en) * 1994-09-08 1996-12-17 Ibm Corporation Video optimized media streamer with cache management
US7130885B2 (en) * 2000-09-05 2006-10-31 Zaplet, Inc. Methods and apparatus providing electronic messages that are linked and aggregated
US20030193994A1 (en) * 2001-03-21 2003-10-16 Patrick Stickler Method of managing media components
KR20020085985A (ko) * 2001-05-10 2002-11-18 권형우 리치 미디어의 실시간 전송 시스템
WO2003021798A2 (en) * 2001-09-04 2003-03-13 Soft2B Llc Browser-to-browser, dom-based, peer-to-peer communication with delta synchronization
CN1582574A (zh) * 2001-10-15 2005-02-16 诺基亚有限公司 提供实况反馈的方法
AUPR947701A0 (en) * 2001-12-14 2002-01-24 Activesky, Inc. Digital multimedia publishing system for wireless devices
CN1509104A (zh) * 2002-12-17 2004-06-30 �ʼҷ����ֵ��ӹɷ����޹�˾ 多媒体信息服务的方法与系统
JP2006524368A (ja) * 2003-04-23 2006-10-26 テレコム・イタリア・エッセ・ピー・アー マルチメディア及び双方向サービスを移動端末に提供するためのクライアント・サーバー・システム及びその方法
GB2413747A (en) * 2004-04-26 2005-11-02 Graham Loughridge Selection system in computers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288153A (ja) * 2001-03-26 2002-10-04 Digital Communications:Kk アプリケーション非依存データ生成方法及び情報処理プログラム及びレイアウト情報処理システム。
JP2005301422A (ja) * 2004-04-07 2005-10-27 Canon Inc 文書データ処理装置および方法

Also Published As

Publication number Publication date
KR20080074953A (ko) 2008-08-13
WO2007054780A2 (en) 2007-05-18
US20070174474A1 (en) 2007-07-26
CN101346973A (zh) 2009-01-14
WO2007054780A3 (en) 2007-08-09
EP1946525A2 (en) 2008-07-23
TW200728997A (en) 2007-08-01
KR100984694B1 (ko) 2010-10-01

Similar Documents

Publication Publication Date Title
KR100984694B1 (ko) 리치 미디어 애플리케이션들에서 원격 상호작용을 위한 피드백 및 정방향 전송을 제공하기 위한 시스템 및 방법
KR100927978B1 (ko) 리치 미디어 콘텐츠의 프로그레시브 다운로딩 및스트리밍을 위해 iso 기반 미디어 파일 포맷으로 svg콘텐츠를 임베딩 하는 방법
KR101187133B1 (ko) 리치 미디어 서비스 내의 개별 콘텐츠의 점진적 전달과 동기화를 위한 방법 및 시스템
KR100959574B1 (ko) 모바일 브로드캐스트/멀티캐스트 스트리밍 서버들에 의해사용되는 리치 미디어 컨테이너 형식에 대한 확장들
US9003041B2 (en) Multimedia session management
US20070239820A1 (en) System and method for providing quality feedback metrics for data transmission in rich media services
US9485108B2 (en) System and apparatus for using multichannel file delivery over unidirectional transport (“FLUTE”) protocol for delivering different classes of files in a broadcast network
US20040128342A1 (en) System and method for providing multi-modal interactive streaming media applications
US20140108568A1 (en) Method and System for Providing Multimedia Content Sharing Service While Conducting Communication Service
US9277181B2 (en) Media service presentation method and communication system and related device
JP5709858B2 (ja) 通信システムにおけるマルチスクリーンサービスの通知および対話のための方法および装置
CN102790921B (zh) 为多屏业务选择和录制部分屏幕区域的方法和设备
KR100939030B1 (ko) 디지털 통신 시스템들을 통한 보조 콘텐츠 핸들링
KR20090085119A (ko) 무선 장치 상의 애플리케이션으로의 링킹 장치 및 방법
EP1807777B1 (en) File delivery session handling
Setlur et al. More: a mobile open rich media environment
WO2010045830A1 (zh) 流媒体业务实现方法及装置
Ho Mobile Multimedia Streaming Library
Mostafa Selected topics of mobile multimedia communication services

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091019

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120717