JP2010165220A - リアルタイムレンダリングシステム及びリアルタイムレンダリング方法 - Google Patents

Abstract

【課題】複数の入力デバイスからの入力情報を受け付けて、効率よくコンテンツオブジェクトを動作させることができるリアルタイムレンダリングシステム及びその方法を提供する。
【解決手段】マルチタッチ入力インターフェース機能及びセンサ入力インターフェース機能を備えた入力デバイスを複数用いて、各々の入力デバイスに入力されたコンテンツオブジェクトに対する動作指示の入力情報を並列処理で受付けて、特定の入力情報を選択し、この選択された入力情報を解析して、前記動作指示に対応するコマンドを生成、出力し、プロセス間通信によってレンダリング処理（描画処理）し、これを表示させるシステム及び方法を提供する。
【選択図】図１

Description

本発明は、マルチタッチ入力インターフェース機能及びセンサ入力インターフェース機能を備えた入力デバイスを用いて、コンテンツオブジェクトに所望の動作をさせるために、リアルタイムでレンダリング処理を行うリアルタイムレンダリングシステム及びリアルタイムレンダリング方法に関するものである。

近年、携帯端末の多機能化に伴い、操作性の向上を図るために、入力インターフェースとして、マルチタッチ入力インターフェース機能及びセンサ入力インターフェース機能を備えたものが普及し始めている。これらの携帯端末は、上記機能を利用して、様々な入力デバイスとして利用されている。ここで、マルチタッチ入力インターフェースとは、指や専用ペンなどで、画面上の複数のポイントに触れて表示されているコンテンツを操作する入力方式をいい、センサ入力インターフェースとは、加速度センサ等を搭載し、携帯端末本体の上下左右、回転などの動作に従って表示されているコンテンツを操作する入力方式をいう。

たとえば、コンテンツを表示するディスプレイと回転方向及び回転角度を検知する加速度センサ部を備えた携帯端末装置において、前記ディスプレイの表示画面に対する前記表示コンテンツの表示方向を、前記加速度センサ部によって検知された当該携帯端末装置の回転方向及び回転角度に応じて対応する位置まで回転させるコンテンツ回転処理手段を有する携帯端末装置が提案されていた。

また、プレゼンテーション用アプリケーションを利用したコンテンツをプロジェクタ等で表示する場合に、コンテンツのスライド操作用入力端末として、上記マルチタッチ入力インターフェース機能を備えた端末を利用したシステムが提供されていた。

特開２００８−１３１６１６号公報

Ｓｅｎｓｔｉｃ社 プロダクト紹介ホームページ "ｉＰｈｏｎｅ／ｉＰｏｄ Ｔｏｕｃｈ Ｐｒｏｄｕｃｔ"（ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｓｅｎｓｔｉｃ．ｃｏｍ／ｉｐｈｏｎｅ／ｉＣｌｉｃｋｒ／ｉＣｌｉｃｋｒ．ａｓｐｘ）

ところで、３次元コンピュータグラフィックスシステム（３ＤＣＧシステム）を使用する製品デザインや設計などの現場では、大画面のディスプレイに、対象となるコンテンツオブジェクトを表示させ、複数の開発者等が、このコンテンツオブジェクトを見ながらミーティングを行うケースがある。

この場合に、上記ディスプレイ上に表示されるコンテンツオブジェクトの描画を高速に計算して、実時間（リアルタイム）で動作させるリアルタイムレンダリングという描画手法を利用することがあるが、これらの動作を操作するリモコンとして、単一のＰＣ端末や上記提供又は提案されている単一の入力デバイスが用いられていた。

しかしながら、上記従来技術では、コンテンツオブジェクトを複数の開発者等に対して単一の入力デバイスでのみ操作するものであるため、たとえば、ミーティングにおける発言者と上記入力デバイスを操作する者とが必ずしも一致するとは限らず、発言内容と表示されるコンテンツオブジェクトの動作が一致しないために、スムーズなミーティングの進行を図ることができないという不都合があった。また、上記発言者が、発言内容とコンテンツの動作とを一致させるためには、発言者が変わるたびに、上記入力デバイスの受け渡しを行わなければならず、やはりスムーズなミーティング等の進行を阻む原因になっていた。

また、製品デザインや設計の現場に限らず、同一のコンテンツオブジェクトを複数の閲覧者等が各々操作しながら説明、議論するニーズは多数存在すると考えられる。

そこで、本発明が解決しようとする課題は、同一のコンテンツオブジェクトに対して、複数の入力デバイスからの入力情報を受け付けて、効率よくコンテンツオブジェクトを動作させることができるリアルタイムレンダリングシステム及びリアルタイムレンダリング方法を提供することである。

上記課題を解決するため、本発明にかかるリアルタイムレンダリングシステム及びリアルタイムレンダリング方法は、マルチタッチ入力インターフェース機能及びセンサ入力インターフェース機能を備えた入力デバイスを複数用いて、各々の入力デバイスに入力されたコンテンツオブジェクトに対する動作指示の入力情報を並列処理で受付けて、特定の入力情報を選択し、この選択された入力情報を解析して、前記動作指示に対応するコマンドを生成し、このコマンドを出力し、プロセス間通信によってレンダリング処理（描画処理）し、これを表示させることを最も主要な特徴とする。

この構成によれば、複数の入力デバイスから、一つのコンテンツオブジェクトに対して、異なる入力情報が入力されても、特定の入力情報が自動的に選択される。

上記特定の入力情報の選択としては、例えば、並列処理で受け付けられた時間の最先のものを選択する手法、入力デバイスをマスタ入力デバイスとスレイブ入力デバイスとに分けて設定し、各々の入力情報にマスタとスレイブの識別情報を付加し、マスタ入力デバイスからの入力情報が含まれている場合は、受付時間の先後にかかわらず、マスタ入力デバイスの入力情報を選択する手法、あるいは、受け付けられた入力情報をタイムシェアリング処理によって選択する手法などであればよい。

なお、上記マスタ入力デバイスを複数設定した場合であって、複数のマスタ入力デバイスから入力情報を受け付けた場合は、マスタ入力情報の中で時間的に最先の入力情報を選択するようにすればよい。

複数の入力デバイスが、各々入力情報を任意のタイミングで入力するため、コンテンツオブジェクトを動作させている入力デバイスがいずれであるかを表示する必要がある。そこで、上記入力情報に各入力デバイスにユニークな特定情報を付加し、上記選択された入力情報に付加された特定情報をコンテンツオブジェクトが動作している間、表示させるようにすればよい。

前記レンダリング処理を行う描画処理手段を複数備えておき、前記入力デバイスが、入力情報とともに、任意の描画処理手段を選択できるようにし、複数の描画処理手段が選択されている場合は、各描画処理手段によってレンダリング処理されているコンテンツオブジェクトをマルチウィンドウ表示処理により、同時に表示させるようにしてもよい。

前記コマンドをインターネット網等のネットワーク通信網を介して、第１サーバから送信し、これを第２サーバが受信し、この第２サーバからコマンドを受信して前記コンテンツオブジェクトをこのコマンドに対応させて描画する遠隔地側描画処理手段を設け、この描画されたコンテンツオブジェクトを遠隔地側表示手段で表示させるようにしてもよい。

また、上記遠隔地側でも、複数の入力デバイスによる入力情報を受け付けることができるようにし、上記第１サーバと第２サーバとを介して双方向でコマンドの送受信をすることができるようにしてもよい。

なお、本発明にかかるリアルタイムレンダリング方法で、複数の入力情報の受付方法としては、たとえばマルチスレッド処理による方法が考えられる。また、上記プロセス間通信としては、例えば、ソケット通信が考えられる。

本発明にかかるリアルタイムレンダリングシステム及びリアルタイムレンダリング方法は、複数の入力デバイスからコンテンツオブジェクトを動作させるための入力情報を受け付けることができるため、たとえば、コンテンツオブジェクトに対するコメントを発言する者が、発言者が変わるごとに入力デバイスの受け渡しをしなくても、発言とコンテンツオブジェクトの動作を同時に進めることができ、ミーティング等を効率よくスムーズに進行させることができるという効果を奏する。

図１は、本発明にかかるリアルタイムレンダリングシステムの構成を示したブロック構成図である。 図２は、サーバを介した遠隔地間でコマンドを送受信できるリアルタイムレンダリングシステムの構成を示したブロック構成図である。 図３は、コントロール部の構成を示したブロック構成図である。 図４（ａ）は、本発明にかかるリアルタイムレンダリング方法の第１の実施形態の処理を示した処理フロー図である。 図４（ｂ）は、第２の実施形態の処理を示した処理フロー図である。 図５は、本発明の一実施形態を模式的に示した模式図である。

図１は、本発明にかかるリアルタイムレンダリングシステムの構成を示したブロック構成図である。１は、リアルタイムレンダリングの対象となるコンテンツオブジェクトを動作させる入力情報を受け付けて解析し、レンダリング処理を行うためのコマンドを生成、出力する処理を行うコントロール部である。

上記入力情報は、入力デバイス２から送信されるものである。この入力デバイス２は、たとえば、マルチタッチ入力インターフェース機能及びセンサ入力インターフェース機能を有する公知の携帯端末などでよい。これらの機能は、たとえばＡＰＩとして提供されているのでこれを利用して本発明にかかるシステムを構築してもよい。

本発明にかかるシステムでは、この入力デバイス２が複数存在し（たとえば、図１で示すように、入力デバイス２ａ、入力デバイス２ｂ、入力デバイス２ｃ…入力デバイス２ｎ）、これらの入力デバイス２から、同時、異時問わず、コントロール部１に向けて入力情報が複数送信される。上記入力デバイスを所持する者は、各々自分が所望するコンテンツオブジェクトの動作、たとえば、上下左右、回転、ズーム、パーンなどの動作指示を出すために、上記入力インターフェース機能を使って入力情報を送信する。

コントロール部１で出力された上記コマンドは、描画処理部３に送信される。この描画処理部３は、上記コマンドに対応してコンテンツオブジェクトを動作させるリアルタイムレンダリング処理を行うもので、具体的には、３次元コンピュータグラフィックスシステム（３ＤＣＧシステム）などであればよい。なお、コントロール部１から描画処理部３への上記コマンドの送信は、アプリケーション間の通信として、ソケット通信などのプロセス間通信Ｓによって行われるようにすればよい。

描画処理部３でリアルタイムレンダリング処理されたコンテンツオブジェクトは、表示部４で上記入力デバイスの動作指示通りに表示される。この表示部４は、大型のスクリーンなどであればよい。

図２は、サーバを介した遠隔地間で上記コマンドを送受信できるリアルタイムレンダリングシステムの構成を示したブロック構成図である。図１では、たとえば、ＬＡＮなどの閉じた領域内でのシステム構成を示したが、図２では、インターネット網などのネットワーク通信網を介して遠隔地間で上記リアルタイムレンダリング処理を行うシステムを説明するものである。なお、コントロール部１、入力デバイス２、描画処理部３及び表示部４については、図１と同じなので詳細な説明は省略する。さらに、後述する遠隔地側のコントロール部１’、入力デバイス２’、描画処理部３’及び表示部４’も図１のコントロール部１、入力デバイス２、描画処理部３及び表示部４と同一の構成なので詳細な説明は省略する。

コントロール部１から出力されるコマンドは、図１で説明した通り、プロセス間通信Ｓを利用して描画処理部３に送信されるとともに、第１サーバ５に送出される。上記コマンドは、この第１サーバ５からインターネット網Ｉを介して遠隔地に設置された第２サーバ５’に送信され、遠隔地側描画処理部３’のリアルタイムレンダリング処理を経て遠隔地側表示部４’で、上記表示部４と同じコンテンツオブジェクトが表示される。

本実施の形態では、上記遠隔地側でも、入力デバイス２’から入力情報が送信され、上記第２サーバ５’及び第１サーバ５を介して表示部４で表示部４’と同一のリアルタイムレンダリング処理をされたコンテンツオブジェクトを表示させることができる構成にしているが、このような双方向送受信が可能な構成に限定する趣旨ではなく、たとえば、上記遠隔地側は、描画処理部３’及び 表示部４’のみを設置し、リアルタイムレンダリング処理されているコンテンツオブジェクトを閲覧するだけの構成であってもよい。

図３は、図１、図２で説明したコントロール部１の内部構成を示したブロック構成図である。図１で説明した複数の入力デバイス２から、コントロール部１に入力情報が送信されると、並列処理部１１で入力情報を受け付けて入力バッファに入力情報が蓄積される。受け付けられた複数の入力情報は、選択処理部１２で所定のルールに従って単一の入力情報に絞り込まれる。絞り込まれて選択された上記入力情報の動作指示の内容を解析部１３で解析し、解析された動作指示に対応するレンダリング処理を行うためのコマンドをコマンド生成部１４で生成する。生成されたコマンドは、出力部１５で出力されて図１で説明した描画処理部３に送信され、リアルタイムレンダリング処理が行われる。

図４は、本発明にかかるリアルレンダリング方法の実施形態の処理を示した処理フロー図である。図４（ａ）は、第１の実施形態の処理を示し、（ｂ）は、第２の実施形態の処理を示したものである。

図４（ａ）の第１の実施形態では、図３で説明したコントロール部１の選択処理部１２で複数の入力情報を選択する所定にルールについて、入力情報の受付時間のうち、最先の入力情報を選択する方法を示したものである。

複数の入力情報を並列処理（たとえばマルチスレッド処理）し（Ｓ１）、各入力情報の受付時間を記憶する（Ｓ２）。記憶された受付時間から、最先の入力情報を選択処理する（Ｓ３）。選択処理によって特定された入力情報の指示内容を解析処理し（Ｓ４）、入力情報の入力インターフェースがマルチタッチ入力か、センサ入力かの判断を行う。マルチタッチ入力の場合、制御するコマンドを直接入力することも可能であるため、以下で生成するコマンドが異なるからである。すなわち、入力インターフェースの違いにより、生成するコマンドが異なる（Ｓ６、Ｓ７）。

コマンドが生成されると、これを出力し（Ｓ８）、描画処理を行うリアルタイムレンダリング処理工程に送信される。

図４（ｂ）の第２の実施形態では、図１で説明した入力デバイス２を単一のマスタ入力デバイスと複数のスレイブ入力デバイスに分けて設定し、各入力デバイスから入力される入力情報にマスタかスレイブかの識別情報を付加し、マスタの識別情報が含まれている場合は、入力時間の先後にかかわらず、マスタ情報を選択する方法を示したものである。

並列処理（Ｓ’１）は（ａ）の並列処理（Ｓ１）、受付時間の記憶処理（Ｓ’３）は（ａ）受付時間の処理（Ｓ２）、入力情報の選択処理（Ｓ’４）は（ａ）の入力情報の選択処理（Ｓ３）、解析処理（Ｓ’５）は（ａ）の解析処理（Ｓ４）、マルチタッチ入力か否かの判断（Ｓ’６）は（ａ）のマルチタッチ入力か否かの判断（Ｓ５）、コマンド生成処理（Ｓ’７、Ｓ’８）は（ａ）のコマンド生成処理（Ｓ６、Ｓ７）、コマンド出力処理（Ｓ’９）は（ａ）のコマンド出力処理（Ｓ６）、に各々対応し、同一の処理、判断を行うので詳細な説明は省略する。

上記の通り、入力デバイスから送信される入力情報にマスタかスレイブかの識別情報が付加されるため、並列処理（Ｓ’１）で入力情報が処理されると、入力情報に付加された識別情報がマスタなのか、スレイブなのかの判断を行う（Ｓ’２）。識別情報にマスタが含まれている場合には、直ちにそのマスタの識別情報が付加された入力情報が選択されて解析処理される（Ｓ５’）。一方、識別情報にマスタが含まれていない場合には、（ａ）の場合同様、時間の先後をみて選択処理されるので、受付時間の記憶処理（Ｓ’３）及び入力情報の選択処理（Ｓ’４）が行われる。以後、スレイブ入力デバイスから入力された入力情報のうち最先のものに対して、（ａ）同様、解析処理（Ｓ’５）、マルチタッチ入力か否かの判断（Ｓ’６）、コマンド生成処理（Ｓ’７、Ｓ’８）及びコマンド出力処理（Ｓ’９）が行われる。

なお、図４（ｂ）では、マスタ入力デバイスが単一の場合について説明したが、マスタ入力デバイスを複数設定した場合であって、複数のマスタ入力デバイスからの入力情報を受け付けた場合は、複数のマスタ入力デバイスからの入力情報のうち、図４（ａ）のように、受付時間の最先のものを選択するように処理すればよい。

また、前記選択処理において、そもそも入力情報の先後を特定せずに、タイムシェアリング処理によってあたかも同時にレンダリング処理を行うようにコントロールするようにしてもよい。

図５は、本発明の一実施形態を模式的に示した模式図である。本発明にかかる入力デバイスの入力インターフェースは、前記の通り、マルチタッチ入力インターフェースとセンサ入力インターフェースがある。具体的には、たとえば、「入力デバイスを振ると、加速度センサによって検知され、コンテンツオブジェクトの種類が変化する」「入力デバイスの画面をなぞる（ドラッグする）と、その移動量により、コンテンツオブジェクトが回転する」「入力デバイスの画面上で２本の指を開閉方向に移動する（ピンチアウト、ピンチインする）と、座標情報により、コンテンツオブジェクトが拡大、縮小する」「入力デバイスの画面上でダブルタップ（クリック）すると、コンテンツオブジェクトのデフォルトカメラポジションに戻る」などのバリエーションがある。

図５では、複数の入力デバイス２ａ、２ｂ、２ｃから、各々の入力インターフェースを利用して任意のタイミングで入力情報を送信している状態を示している。すなわち、例示的に、左右方向の移動を＋ｘ〜−ｘ、上下方向の移動を＋ｙ〜−ｙ、前後方向の移動を＋ｚ〜−ｚ、回転移動をｒとして示し、各入力デバイスが、実線で示した方向の移動を指示しているところを示している。入力デバイス２ａは、回転移動ｒを指示し、入力デバイス２ｂは、上下方向の移動＋ｙ〜−ｙを指示し、入力デバイス２ｃは、左右方向の移動＋ｘ〜−ｘを指示している。

各々の入力情報を、例えば、時間の先後で選択するようにし、入力デバイス２ａの入力情報である回転移動ｒが最先の入力情報である場合は、これが選択され、表示部４で表示されているコンテンツオブジェクトであるイスＣは、回転方向に移動するようにリアルタイムレンダリング処理が行われる。（移動先を破線で示した。）

なお、上記の通り、複数の入力デバイスが一斉に入力情報を送信すると、どの入力情報によってコンテンツオブジェクトが動作しているのか不明確になる場合もある。そこで、前記入力情報に、各入力デバイスを特定するためのユニークな特定情報を付加し、この特定情報を選択された入力情報とともに、前記コマンドに含め、表示部４では、このコマンドに従って動作しているコンテンツオブジェクトに動作指示を出している入力デバイスを特定する表示をするようにしてもよい。図５では、右下に入力デバイスの「２ａ」という表示を示したが、表示の仕方は、これに限定される趣旨ではなく、たとえば、入力デバイスを所持している者の名前を表示するように設定してもよい。

なお、リアルタイムレンダリング処理を行う３ＤＣＧシステムなどを複数備えておき、前記入力デバイスから、入力情報とともに、任意の３ＤＣＧシステムを選択することができるようにし、複数の３ＤＣＧシステムによってリアルタイムレンダリング処理されたコンテンツオブジェクトをマルチウィンドウ表示処理によって同時に表示するようにしてもよい。

以上の説明の通り、本発明にかかるリアルタイムレンダリングシステム、リアルタイムレンダリング方法は、たとえば、３次元コンピュータグラフィックスシステム（３ＤＣＧシステム）を使用する製品デザインや設計などの現場で、大画面のディスプレイに、対象となるコンテンツオブジェクトを表示させ、複数の開発者等が、このコンテンツオブジェクトを見ながらミーティングを行う場合などに利用することが考えられるが、他にも、多様な用途が考えられる。他の用途としては、病室から出ることができない患者に対するインフォームドコンセントを行う場合に、レントゲンなどの画像を示し、医師、患者双方が上記入力デバイスを所持して話し合いを行う場合、学校の授業などで、生徒ごと、あるいは少なくともグループごとに、前記入力デバイスを配布し、理科の実験など実習の際に、各々の入力デバイスから直接データを入力する場合などが考えられる。

１ コントロール部
２ 入力デバイス
３ 描画処理部
４ 表示部
１１ 並列処理部
１２ 選択処理部
１３ 解析部
１４ コマンド生成部
１５ 出力部

Claims (11)

1. マルチタッチ入力インターフェース機能及びセンサ入力インターフェース機能 を備えた入力デバイスと、コンテンツオブジェクトに所望の動作をさせるために、この入力デバイスから入力された入力情報に応じて描画処理をする描画処理手段と、この描画処理に基づいて前記コンテンツオブジェクトを表示する表示手段とを備えたリアルタイムレンダリングシステムであって、
   前記コンテンツオブジェクトに対して、複数の前記入力デバイスから動作指示に関する入力情報を受け付ける並列処理手段と、並列処理された複数の入力情報から、特定の入力デバイスの入力情報を選択する選択手段と、選択された入力情報を解析する解析手段と、解析された入力情報から前記動作指示に対応するレンダリング処理をするためのコマンドを生成するコマンド生成手段と、生成されたコマンドを出力する出力手段と、出力されたコマンドを送信するプロセス間通信手段と、送信されたコマンドを受信し、前記コンテンツオブジェクトをこのコマンドに対応させて動作させるための描画処理手段と、この描画処理手段に従って動作するコンテンツオブジェクトを表示する表示手段とを有することを特徴とするリアルタイムレンダリングシステム。
2. 前記選択手段は、前記並行処理手段によって受け付けられた入力情報の受付時間のうち、最先の入力情報を選択するものであることを特徴とする請求項１記載のリアルタイムレンダリングシステム。
3. 入力デバイスを単一のマスタ入力デバイスと複数のスレイブ入力デバイスとに分けて設定し、前記入力情報にマスタとスレイブの識別情報を付加し、前記選択手段は、この識別情報にマスタが含まれている場合には、前記受付時間の先後にかかわらず、このマスタ入力デバイスの入力情報を選択し、識別情報にマスタが含まれていない場合には、スレイブ入力デバイスの入力情報のうち、前記最先の入力情報を選択するものであることを特徴とする請求項２記載のリアルタイムレンダリングシステム。
4. 前記マスタ入力デバイスを複数設定し、前記並行処理手段は、複数のマスタ入力デバイスから受け付けた入力情報のうち、受付時間が最先の入力情報を選択するものであることを特徴とする請求項３記載のリアルタイムレンダリングシステム。
5. 前記選択手段は、前記並行処理手段によって受け付けられた入力情報をタイムシェアリング処理によって行うものであることを特徴とする請求項１記載のリアルタイムレンダリングシステム。
6. 前記入力情報に、各入力デバイスを特定するためのユニークな特定情報を付加し、この特定情報は、前記選択手段によって選択された入力情報とともに、前記生成されたコマンドに含まれ、前記表示手段は、このコマンドに従って動作しているコンテンツオブジェクトに動作指示を出している入力デバイスを特定する表示をするものであることを特徴とする請求項１から請求項５までのいずれかに記載のリアルタイムレンダリングシステム。
7. 前記描画処理手段を複数備え、前記入力デバイスは、入力情報とともに、任意の描画処理手段を選択することができ、前記表示手段は、複数の描画処理手段によってレンダリング処理されたコンテンツオブジェクトをマルチウィンドウ表示処理によって同時に表示するものであることを特徴とする請求項１から請求項６までのいずれかに記載のリアルタイムレンダリングシステム。
8. 前記出力手段によって出力されたコマンドをインターネット網等のネットワーク通信網を介して送信する第１サーバと、第１サーバから送信された上記コマンドを受信する第２サーバと、この第２サーバからこのコマンドを受信して前記コンテンツオブジェクトをこのコマンドに対応させて描画する遠隔地側描画処理手段と、この描画されたコンテンツオブジェクトを表示する遠隔地側表示手段とを有することを特徴とする請求項１から請求項７までのいずれかに記載のリアルタイムレンダリングシステム。
9. 前記遠隔地側において、複数の遠隔地側入力デバイスから操作指示に関する入力情報を受け付ける遠隔地側並列処理手段と、並列処理された複数の入力情報から、特定の入力デバイスの入力情報を選択する遠隔地側選択手段と、選択された入力情報を解析する遠隔地側解析手段と、解析された入力情報からレンダリング処理をするためのコマンドを生成する遠隔地側コマンド生成手段と、生成されたコマンドを出力する遠隔地側出力手段とを有し、前記出力手段で出力されたコマンド及び遠隔地側出力手段で出力されたコマンドを前記第１サーバと第２サーバを介して双方向で送受信が可能なものであることを特徴とする請求項１から請求項７までのいずれかに記載のリアルタイムレンダリングシステム。
10. マルチタッチ入力インターフェース機能及びセンサ入力インターフェース機能を備えた入力デバイスから入力された入力情報によって、表示装置に表示されたコンテンツオブジェクトに所望の動作をさせる描画処理を行うリアルタイムレンダリング方法であって、
    前記コンテンツオブジェクトに対して、複数の前記入力デバイスから動作指示に関する入力情報をマルチスレッド処理によって受け付けるステップと、このマルチスレッド処理された複数の入力情報の受付時間を記憶するステップと、記憶された時間のうち、最先の入力情報を選択するステップと、選択された入力情報を解析するステップと、解析された入力情報から前記動作指示に対応するレンダリング処理をするためのコマンドを生成するステップと、生成されたコマンドを出力するステップと、出力されたコマンドをソケット通信により送信するステップと、送信されたコマンドを受信し、前記コンテンツオブジェクトをこのコマンドに対応させて描画処理するステップと、この描画されたコンテンツオブジェクトを表示するステップとを有することを特徴とするリアルタイムレンダリング方法。
11. 入力デバイスを単一のマスタ入力デバイスと複数のスレイブ入力デバイスとに分けて設定し、前記入力情報にマスタとスレイブの識別情報を付加し、この識別情報にマスタが含まれている場合には、前記受付時間の先後にかかわらず、このマスタ入力デバイスの入力情報を選択し、識別情報にマスタが含まれていない場合には、スレイブ入力デバイスの入力情報のうち、前記最先の入力情報を選択することを特徴とする請求項１０記載のリアルタイムレンダリング方法。