JP2005051446A

JP2005051446A - Projection type display device and remote sharing method for display image using the same

Info

Publication number: JP2005051446A
Application number: JP2003205136A
Authority: JP
Inventors: Taiga Asano; 大雅淺野
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-07-31
Filing date: 2003-07-31
Publication date: 2005-02-24

Abstract

<P>PROBLEM TO BE SOLVED: To provide a projection type display device by which a user can simultaneously edit by displaying the same screen of a common electronic document. <P>SOLUTION: The projection type display device is provided with: a display means (1) for forming a written image in an overlapped manner; an image pickup means (3) for photographing the written image formed on the display means (1); a projection means (2) for projecting the image data on the display means (1); an information processing means (4) for adjusting a projection position and a size of the written image photographed by the image pickup means (3) and for pasting it on the electronic document to be displayed on the display means (1); a means for transmitting the photographed image obtained from the image pickup means (3) to an external projection type display device connected via a network; and a means for displaying the photographed image received from the external projection type display device as the photographed image with prescribed transparency to the display image to be displayed on the display means (1) in an overlapped manner. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、投影型表示装置及びコミュニケーションシステムに関し、特に、ネットワークを介して共通の表示画像を表示する投影型表示装置、投影型表示装置を用いた表示画像の遠隔共有方法に関する。
【０００２】
【従来の技術】
従来から、情報通信網を介して音声情報や画像情報等を相互に送受信させ、遠隔地にいる者同士が、物理的な距離を意識せずに、相互間の円滑な意志伝達を図るコミュニケーションシステムの開発がなされており、本発明より先に出願された技術文献として、手書き入力部と、所定の手順で新規の手書き入力を自動的に送信する送信部と、手書き入力と受信入力の表示用記憶部への入力を調整する入力制御部と、入力部から入力したデータは相手方装置へ送信が済むまでは、既に表示されているデータと方法を変えて表示させる手書きデータ表示制御部と、表示すべきデータを記憶する表示用記憶部と、そのデータを表示する表示部と、外部からデータを受信する受信部と、外部から受信した他形式のデータを自装置用の形式のデータに変換するイメージ展開部と、外部から受信したデータを点滅表示させる受信者注意喚起機能発揮部とを設け、文字、図形等からなるメッセージを自動的にボード上に表示し、また、各種通信装置と相互に通信し合うことにより、円滑な意志伝達が可能となる伝言型電子黒板装置がある（例えば、特許文献１参照）。
【０００３】
また、複数の端末に設けられた共有ホワイトボード装置と共有資料表示装置との間で画面上の画像データの交換を行う画面データ交換手段を設け、共有ホワイトボード装置と共有資料表示装置との間で画面上の画像データを操作性よく交換することで、実際の会議を操作性良く模擬できるようにする協同作業支援システムがある（例えば、特許文献２参照）。
【０００４】
また、複数の端末装置としての仮想会議端末が、通信回線を介して中央処理装置と接続されている状況において、その中央処理装置に複数の合成前白板が具備されていると共に、各仮想会議端末から書き込み対象とする合成前白板を選択可能としつつ、これらの合成前白板を任意の組み合わせで合成して表示できるようにした遠隔会議システムがある（例えば、特許文献３参照）。
【０００５】
また、画像投影面とユーザが書き込む書込み面とが同一画面上に配することで操作性が高められ、且つ安価な投影型表示装置がある（例えば、特許文献４参照）。
【０００６】
【特許文献１】
特開平６−２８４２４０号公報
【特許文献２】
特開平１０−５１５８１号公報
【特許文献３】
特開平１１−１４９２８２号公報
【特許文献４】
特開２００３−１４３３４８号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、特許文献１と、特許文献２との発明は、手書き入力をＰＣの入力デバイスの座標にリアルタイムに変換することから、遠隔地からもリアルタイムに、文書に書き込みが行われてしまうことになる。また、文書の同一箇所を表示させる方法が煩雑であることや、遠隔地からの書き込みデータが、書き込むべき位置からずれてしまう虞もある。また、ある程度書き込んで、内容を確認した上で、書き込みデータを取り込み、文書に貼り付けたい場合もある。また、座標入力にタイムラグがあり、書き込み内容がスクリーン上に表示されるまでに時間がかかるので、常に、スクリーン上の表示内容を確認しながら手書き入力を行わなければならず、筆記速度を落とす必要があり、また書き損じも多くなる。また、１つの地点で、同時に複数の人が書き込むことが出来ない。
【０００８】
また、特許文献３の発明は、電子黒板のスクリーンを回転させて、書き込みデータを読み取るまでには時間が掛かり、より高速な書き込みデータの読み取りが望まれることになる。また、書き込みデータの読み取りを行うまでは、相手側が何を書き込んでいるのかわからない。また、スクリーン上に対しプロジェクタとユーザが同じ側にある構成だと、書き込み動作時に、ユーザの影がスクリーン上に表示されてしまう虞がある。
【０００９】
また、特許文献４の発明は、文書に次々と書き込みを行って、書き込んだ内容を取り込み、その取り込んだ書き込み画像を貼り付ける場合に、書き込んだ内容を取り込んで同期を取るまでの間、相手側が何をやっているのかを把握することができないことになる。また、文書の同一箇所をスクリーン上に表示させる方法が煩雑であることや、遠隔地からの書き込みデータが、書き込むべき位置からずれてしまう虞もある。また、一般に、同一の文書を複数のＰＣで同時に開いて、編集することが出来ない。なお、電子文書を各地点で複製して、ファイルを変更した後、同期を取り、ファイルの内容を一致させる方法も考えられるが、同期を取る毎にファイルを開き直さなければならないので、頻繁に更新出来ない問題があり、リアルタイム性が失われる。また、複数のＰＣでお互いに編集を行っていた場合、ファイルの同期を取ると、他方は編集中の内容が破棄されるという問題がある。
【００１０】
本発明は上記事情に鑑みてなされたものであり、共通の電子文書の同一画面を表示させ、同時編集可能な投影型表示装置を実現し、リアルタイムな表示画像を可能とする投影型表示装置および投影型表示装置を用いた表示画像の遠隔共有方法を提供することを目的とするものである。
【００１１】
【課題を解決するための手段】
かかる目的を達成するために本発明は以下のような特徴を有する。
【００１２】
請求項１記載の発明は、電子文書が表示されている表示画像に対し、書き込み画像を重複して形成可能な表示手段と、表示手段に形成された書き込み画像を光学的に撮影し、該撮影した書き込み画像を電子データに変換する撮像手段と、撮像手段により撮影した書き込み画像の投影位置、及び、大きさを、表示手段に表示する電子文書の表示画像に合わせて調整し、該調整した書き込み画像を、表示手段に表示する電子文書に貼り付ける情報処理手段と、を有する投影型表示装置であって、撮像手段から得られる撮影画像を、ネットワークを介して接続された外部の投影型表示装置に送信する手段と、外部の投影型表示装置から受信した撮影画像を、所定の透明度の撮影画像として、表示手段に表示される電子文書の表示画像に対して重ねて表示する手段と、を有することを特徴する。
【００１３】
請求項２記載の発明は、請求項１記載の投影型表示装置において、撮像手段から得られる書き込み画像を、ネットワークを介して接続された外部の投影型表示装置に送信する書き込み画像送信手段を更に有し、情報処理手段は、外部の投影型表示装置から受信した書き込み画像を、表示手段に表示する電子文書に貼り付ける手段を更に有することを特徴とする。
【００１４】
請求項３記載の発明は、請求項２記載の投影型表示装置において、ネットワークを介して接続された外部の投影型表示装置と共通の電子文書を表示手段に同時に表示する共通電子文書表示手段を更に有し、情報処理手段は、外部の投影型表示装置から受信した書き込み画像の投影位置、及び、大きさを、表示手段に表示する電子文書の表示画像に対して調整し、該調整した書き込み画像を、表示手段に表示する電子文書に貼り付けることを特徴とする。
【００１５】
請求項４記載の発明は、電子文書が表示されている表示画像に対し、書き込み画像を重複して形成可能な表示手段と、表示手段に形成される書き込み画像の座標を計測する計測手段と、計測手段により計測された書き込み画像の座標データを画像データに変換し、該変換した書き込み画像の投影位置、及び、大きさを、表示手段に表示する電子文書の表示画像に合わせて調整し、該調整した書き込み画像を、表示手段に表示する電子文書に貼り付ける情報処理手段と、を有する投影型表示装置であって、計測手段から得られる座標データ、または、座標データの時系列変化を表すベクトルデータ、もしくは、ベクトルデータを画像として表現した画像データの３つのうち少なくともいずれかのデータを、ネットワークを介して接続された外部の投影型表示装置に送信する手段と、外部の投影型表示装置から受信した３つのうち少なくともいずれかのデータを、時系列変化する画像列、もしくは、映像データに変換して、表示手段に表示する電子文書の表示画像に対して、所定の透明度の画像として、重ねて表示する手段と、外部の投影型表示装置から受信した３つのうち少なくともいずれかのデータを、画像または描画オブジェクトとして、表示手段に表示する電子文書に貼り付ける手段と、を有することを特徴とする。
【００１６】
請求項５記載の発明は、請求項３または４記載の投影型表示装置において、情報処理手段は、表示手段に表示する表示画像の一部または全部を、ネットワークを介して接続される外部の投影型表示装置に送信する画面共有送信手段と、外部の投影型表示装置から受信した表示画像の一部または全部を表示手段に表示する画面共有受信手段と、を有し、ネットワークを介して接続される外部の投影型表示装置と共通の表示画像を表示手段に表示することを特徴とする。
【００１７】
請求項６記載の発明は、請求項３または４記載の投影型表示装置において、表示手段の同一領域を照明する２つの投影手段を有して構成され、情報処理手段は、２つの投影手段に対して、別々の映像信号を送信し、かつ、表示手段に表示する表示画像の一部または全部を、ネットワークを介して接続される外部の投影型表示装置に送信する画面共有送信手段と、外部の投影型表示装置から受信した表示画面を表示手段に表示する画面共有受信手段と、を有し、ネットワークを介して接続される外部の投影型表示装置と共通の表示画像を表示手段に表示することを特徴とする。
【００１８】
請求項７記載の発明は、請求項６記載の投影型表示装置において、２つの投影手段のうち、一方の投影手段は、他方の投影手段により表示手段に投影している画面データと同一の画面データを複製して仮想表示する仮想表示手段であることを特徴とする。
【００１９】
請求項８記載の発明は、請求項１から７の何れか１項に記載の投影型表示装置において、投影手段と、撮像手段または計測手段と、は表示手段に対して同じ側の面に設けられており、表示手段に対して、投影手段と、撮像手段または計測手段と、が設けられている側とは反対側の面に対して、書き込み画像を形成可能とすることを特徴とする。
【００２０】
請求項９記載の発明は、請求項５記載の投影型表示装置を、ネットワークを介して複数台接続して行われる投影型表示装置を用いた表示画像の遠隔共有方法であって、サーバとして機能する１台の投影型書表示装置は、サーバとして機能する投影型書表示装置自身が起動しているアプリケーションにより表示手段に表示する電子文書の表示画像に対して、クライアントとして機能する１台の投影型表示装置の撮像手段からネットワークを介して受信した表示画像を、表示手段に表示する電子文書の表示画像に対して、所定の透明度において、重ねて表示し、且つ、その表示画像を、画面共有送信手段により、クライアント側の投影型表示装置に送信し、クライアントとして機能する投影型表示装置は、サーバとして機能する投影型表示装置から受信した表示画像を、画面共有受信手段により表示手段に表示すると共に、表示手段に表示した表示画像に、サーバとして機能する投影型表示装置から受信した表示画像を、所定の透明度において、重ねて表示することを特徴とする。
【００２１】
請求項１０記載の発明は、請求項５記載の投影型表示装置を、ネットワークを介して複数台接続して行われる投影型表示装置を用いた表示画像の遠隔共有方法であって、サーバとして機能する１台の投影型表示装置は、サーバとして機能する投影型書表示装置自身が起動しているアプリケーションにより表示手段に表示する電子文書の表示画像に対して、クライアントとして機能する少なくとも１台以上の、投影型表示装置の撮像手段からネットワークを介して受信した表示画像と、サーバとして機能する投影型書表示装置自身の撮像手段からの表示画像を、表示手段に表示する電子文書の表示画像に対して、所定の透明度において、重ねて表示し、且つ、その表示画像を、画面共有送信手段により、クライアント側の投影型書表示装置に送信し、クライアントとして機能する投影型表示装置は、サーバとして機能する投影型表示装置から受信した表示画像を、画面共有受信手段により表示手段に表示することを特徴とする。
【００２２】
請求項１１記載の発明は、請求項６記載の投影型表示装置を、ネットワークを介して複数台接続して行われる投影型表示装置を用いた表示画像の遠隔共有方法であって、サーバとして機能する１台の投影型表示装置は、第１の投影手段では、サーバとして機能する投影型表示装置自身が起動しているアプリケーションにより表示手段に表示する電子文書の表示画像を投影すると共に、表示手段に表示する表示画像を、画面共有送信手段により、クライアント側の投影型表示装置に送信し、第２の投影手段では、クライアントとして機能する少なくとも１台以上の、投影型表示装置の撮像手段からネットワークを介して受信した表示画像を表示手段に投影し、クライアントとして機能する投影型表示装置は、第１の投影手段では、サーバとして機能する投影型表示装置から受信した表示画像を、画面共有受信手段を用いて表示手段に投影し、第２の投影手段では、サーバ側の投影型表示装置から受信した表示画像を表示手段に投影することを特徴とする。
【００２３】
請求項１２記載の発明は、請求項６記載の投影型表示装置を、ネットワークを介して複数台接続して行われる投影型表示装置を用いた表示画像の遠隔共有方法であって、サーバとして機能する１台の投影型表示装置は、第１の投影手段では、サーバとして機能する投影型表示装置自身が起動しているアプリケーションにより表示手段に表示している電子文書の表示画像を表示手段に投影すると共に、その表示画像を、画面共有送信手段により、クライアント側の投影型表示装置に送信し、第２の投影手段では、クライアントとして機能する１台の、投影型表示装置の撮像手段からネットワークを介して受信した表示画像を表示手段に投影し、一方、１台のサーバとして機能する投影型表示装置に対して、１台まで接続可能であるクライアント側の投影型表示装置は、サーバとして機能する投影型表示装置から受信した表示画像を画面共有受信手段により表示手段に表示すると共に、表示手段に表示した表示画像に、サーバ側の投影型書表示装置から受信した表示画像を、所定の透明度において、重ねて表示することを特徴とする。
【００２４】
請求項１３記載の発明は、請求項６記載の投影型表示装置を、ネットワークを介して複数台接続して行われる投影型表示装置を用いた表示画像の遠隔共有方法であって、サーバとして機能する１台の投影型表示装置は、第１の投影手段では、サーバとして機能する投影型表示装置自身が起動しているアプリケーションにより表示手段に表示している電子文書の表示画像に対し、サーバとして機能する投影型表示装置自身の撮像手段からの表示画像を、所定の透明度において、重ねて表示し、該重ねて表示した表示画像を、画面共有送信手段により、クライアント側の投影型表示装置に送信し、第２の投影手段では、クライアントとして機能する１台の、投影型書表示装置の撮像手段からネットワークを介して受信した表示画像を表示手段に投影し、一方、１台のサーバとして機能する投影型表示装置に対して、１台まで接続可能であるクライアント側の投影型表示装置は、サーバとして機能する投影型表示装置から受信した表示画像を画面共有受信手段により表示手段に表示することを特徴とする。
【００２５】
請求項１４記載の発明は、請求項６記載の投影型表示装置を、ネットワークを介して複数台接続して行われる投影型表示装置を用いた表示画像の遠隔共有方法であって、サーバとして機能する１台の投影型表示装置は、投影手段と、仮想表示手段の計２つの投影手段を有し、それぞれ別々の映像信号を送信し、投影手段では、サーバとして機能する投影型表示装置自身が起動しているアプリケーションにより表示手段に表示している電子文書の表示画像に対して、クライアントとして機能する１台の投影型表示装置の撮像手段からネットワークを介して受信した表示画像を、所定の透明度において、重ねて表示している表示画像を表示手段に投影し、一方、仮想表示手段では、サーバとして機能する投影型表示装置自身が起動しているアプリケーションにより表示手段に表示している電子文書の表示画像の複製データを生成し、その画像データに対して、サーバとして機能する投影型表示装置自身の撮像手段から得られた表示画像を、仮想表示手段で仮想的に表示している電子文書の表示画像に対して、所定の透明度において、重ねて仮想表示し、その仮想画面を、画面共有送信手段により、クライアント側の投影型表示装置に送信し、一方、１台のサーバとして機能する投影型表示装置に対して、１台まで接続可能であるクライアント側の投影型表示装置は、サーバとして機能する投影型表示装置から受信した表示画像を画面共有受信手段により表示手段に表示することを特徴とする。
【００２６】
請求項１５記載の発明は、請求項６記載の投影型表示装置を、ネットワークを介して複数台接続して行われる投影型表示装置を用いた表示画像の遠隔共有方法であって、サーバとして機能する１台の投影型表示装置は、投影手段と、仮想表示手段の計２つの投影手段を有し、仮想表示手段には、投影手段により表示手段に投影している画像と同一の画像データを複製して仮想表示し、投影手段では、サーバとして機能する投影型表示装置自身が起動しているアプリケーションにより表示手段に表示している電子文書の表示画像に対して、クライアントとして機能する少なくとも１台以上の投影型表示装置の撮像手段からネットワークを介して受信した表示画像を、所定の透明度において、重ねて表示している表示画像を表示手段に投影し、一方、仮想表示手段では、投影手段により表示手段に表示している表示画像と同一の表示画像を表示手段に仮想表示し、該仮想表示画像を、画面共有受信手段により、クライアント側の投影型表示装置に送信し、一方、１台のサーバとして機能する投影型表示装置に対して、少なくとも１台以上接続可能であるクライアント側の投影型表示装置は、サーバとして機能する投影型表示装置から受信した表示画像を画面共有受信手段により表示手段に表示することを特徴とする。
【００２７】
請求項１６記載の発明は、請求項５記載の投影型表示装置を、ネットワークを介して複数台接続して行われる投影型表示装置を用いた表示画像の遠隔共有方法であって、サーバとして機能する１台の投影型表示装置は、サーバとして機能する投影型表示装置自身が起動しているアプリケーションにより表示手段に表示している電子文書の表示画像に対して、クライアントとして機能する少なくとも１台以上の、投影型表示装置の撮像手段からネットワークを介して受信した３つのうちいずれかのデータ、及び、サーバとして機能する投影型表示装置自身の計測手段から得られるデータを、時系列変化する画像列、もしくは映像データに変換して、表示手段に表示している電子文書の表示画像に対して、所定の透明度において、重ねて表示し、且つ、その表示画像を、画面共有送信手段により、クライアント側の投影型表示装置に送し、一方、クライアント側の投影型表示装置は、サーバとして機能する投影型表示装置から受信した表示画像を、画面共有受信手段により表示手段に表示することを特徴とする。
【００２８】
請求項１７記載の発明は、請求項６記載の投影型表示装置を、ネットワークを介して複数台接続して行われる投影型表示装置を用いた表示画像の遠隔共有方法であって、サーバとして機能する１台の投影型表示装置は、第１の投影手段では、サーバとして機能する投影型表示装置自身が起動しているアプリケーションにより表示手段に表示している電子文書の表示画像を表示手段に投影すると共に、その表示画像を、画面共有送信手段により、クライアント側の投影型表示装置に送信し、第２の投影手段では、クライアントとして機能する１台の、投影型表示装置の撮像手段からネットワークを介して受信した３つのうちいずれかのデータ、及び、サーバとして機能する投影型表示装置自身の計測手段から得られるデータを、時系列変化する画像列、もしくは映像データに変換して表示手段に投影し、一方、クライアント側の投影型表示装置は、第１の投影手段では、サーバとして機能する投影型表示装置から受信した表示画像を、画面共有受信手段により表示手段に投影し、第２の投影手段では、サーバとして機能する投影型表示装置から受信した３つのうちいずれかのデータ、及び、サーバとして機能する投影型表示装置自身の計測手段から得られるデータを、時系列変化する画像列、もしくは映像データに変換して表示手段に投影することを特徴とする。
【００２９】
請求項１８記載の発明は、請求項６記載の投影型表示装置を、ネットワークを介して複数台接続して行われる投影型表示装置を用いた表示画像の遠隔共有方法であって、サーバとして機能する１台の投影型表示装置は、第１の投影手段では、サーバとして機能する投影型表示装置自身が起動しているアプリケーションにより表示手段に表示している電子文書の表示画像を表示手段に投影すると共に、その表示画像を、画面共有送信手段により、クライアント側の投影型表示装置に送信し、第２の投影手段では、クライアントとして機能する１台の、投影型表示装置の撮像手段からネットワークを介して受信した３つのうちいずれかのデータ、及び、サーバとして機能する投影型表示装置自身の計測手段から得られるデータを、時系列変化する画像列、もしくは映像データに変換して表示手段に投影し、一方、クライアントとして機能する投影型表示装置は、サーバとして機能する投影型表示装置から受信した表示画像を、画面共有受信手段により表示手段に表示すると共に、サーバとして機能する投影型表示装置から受信した３つのうちいずれかのデータ、及びサーバとして機能する投影型表示装置自身の計測手段から得られるデータを、時系列変化する画像列、もしくは映像データに変換して、所定の透明度において、重ねて表示することを特徴とする。
【００３０】
請求項１９記載の発明は、請求項６記載の投影型表示装置を、ネットワークを介して複数台接続して行われる投影型表示装置を用いた表示画像の遠隔共有方法であって、サーバとして機能する１台の投影型表示装置は、投影手段と、仮想表示手段と、の計２つの投影手段を有し、それぞれ別々の映像信号を送信し、投影手段では、サーバとして機能する投影型表示装置自身が起動しているアプリケーションにより表示手段に表示している電子文書の表示画像に対し、クライアントとして機能する１台の投影型表示装置からネットワークを介して受信した３つのうちいずれかのデータ、及びサーバとして機能する投影型表示装置自身の計測手段から得られるデータを、時系列変化する画像列、もしくは映像データに変換して、表示手段に表示している電子文書の表示画像に対して、所定の透明度において、重ねて表示し投影し、一方、仮想表示手段では、サーバとして機能する投影型表示装置自身が起動しているアプリケーションにより表示手段に表示している電子文書の表示画像の複製データを生成し、その画像データに対して、サーバとして機能する投影型表示装置自身の計測手段から得られるデータを、時系列変化する画像列、もしくは映像データに変換して、仮想表示手段で仮想的に表示している電子文書の表示画像に対して、所定の透明度において、重ねて仮想表示し、その仮想画面を、画面共有送信手段により、クライアント側の投影型表示装置に送信し、一方、クライアントとして機能する投影型表示装置は、サーバとして機能する投影型表示装置から受信した表示画像を、画面共有受信手段を用いて表示手段に表示すると共に、サーバとして機能する投影型表示装置から受信した３つのうちいずれかのデータ、及び、サーバとして機能する投影型表示装置自身の計測手段から得られるデータを、時系列変化する画像列、もしくは映像データに変換して、所定の透明度において、重ねて表示することを特徴とする。
【００３１】
請求項２０記載の発明は、請求項６記載の投影型表示装置を、ネットワークを介して複数台接続して行われる投影型表示装置を用いた表示画像の遠隔共有方法であって、サーバとして機能する１台の投影型表示装置は、投影手段と、仮想表示手段と、の計２つの投影手段を有し、仮想表示手段には、投影手段で投影している画像と同一の画像データを複製して仮想表示し、投影手段では、サーバとして機能する投影型表示装置自身が起動しているアプリケーションにより表示手段に表示している電子文書の表示画像に対し、クライアントとして機能する少なくとも１台以上の投影型表示装置から、ネットワークを介して受信した３つのうちいずれかのデータ、及び、サーバとして機能する投影型表示装置自身の計測手段から得られるデータを、時系列変化する画像列、もしくは映像データに変換して、表示手段に表示している電子文書の表示画像に対して、所定の透明度において、重ねて表示し、且つ、その表示画像を、画面共有送信手段により、クライアント側の投影型表示装置に送信し、一方、仮想表示手段は、投影手段により表示手段に表示している表示画像と同一の表示画像を仮想表示し、該仮想表示画像を、画面共有送信手段により、クライアント側の投影型表示装置に送信し、１台のサーバとして機能する投影型表示装置に対して、少なくとも１台以上接続可能であるクライアント側の投影型表示装置は、サーバとして機能する投影型表示装置から受信した表示画像を画面共有受信手段により表示手段に表示することを特徴とする。
【００３２】
【発明の実施の形態】
以下、添付図面を参照しながら本発明にかかる実施の形態について詳細に説明する。
【００３３】
本発明にかかるコミュニケーションシステムは、図１に示すように、少なくとも２つの投影型表示装置がネットワークを介して接続して構成される。以下、図１を参照しながら、コミュニケーションシステムを構成する投影型表示装置の構成について説明する。
【００３４】
投影型表示装置は、画像データを表示するためのスクリーン（表示手段）（１）と、画像データをスクリーン（１）上に投影するためのプロジェクタ（投影手段）（２）と、スクリーン（１）上の画像データを撮影するビデオカメラ（撮像手段）（３）と、投影型表示装置を制御する情報処理手段（４）と、を有して構成されている。
【００３５】
上記構成からなる投影型表示装置は、スクリーン（１）上に対して、プロジェクタ（２）から画像データが投影されると共に、ビデオカメラ（３）により、スクリーン（１）上の画像データが撮影されることになる。なお、本実施の形態の投影型表示装置は、スクリーン（１）上に対して文字を書き込むことが可能であり、そのスクリーン（１）上に対する文字の書き込み方法としては、例えば、一般のホワイトボード用の水性マジックインクペンを用いて、プロジェクタ（２）により投影される面（投影面）とは反対側の面（書き込み面）から文字の書き込みが行われることになる。その書き込み画像が、投影面側からビデオカメラ（３）にて撮影されることになる。
【００３６】
投影型表示装置を制御する情報処理手段（４）は、例えば、一般のパーソナルコンピュータ（ＰＣ）等であり、スクリーン（１）上に表示したい文書データ（７）を、その文書データ（７）に関連付けられたアプリケーションソフトを用いてスクリーン（１）上に表示することになる。
【００３７】
なお、図１に示すように、ビデオエンコーダ（５）に具備する、貼り合わせソフト（６）は、スクリーン（１）上に対してユーザにより文字の書き込みが行われた際に、ビデオカメラ（３）によりスクリーン（１）上の書き込み画像を静止画像として撮影し、その撮影した静止画像に対して、人の手や体などにより生じる影などのノイズを、閾値処理等の画像処理を行うことにより除去した後、プロジェクタ（２）によりスクリーン（１）上に表示する文書データ（７）と同じ位置、同じ大きさとなるように、位置と大きさを調整して、例えば、ビットマップ画像データとして、文書データ（７）に貼り付けることになる（図１に示す、ビットマップ貼り付け）。
【００３８】
また、図１に示すように、ビデオエンコーダ（５）は、スクリーン（１）上の画像データをビデオカメラ（３）で撮影したビデオ映像を、ネットワークを介して接続された外部の投影型表示装置に送信する機能を有する。いわゆる、ネットワークカメラのような機能を具備することになる。
【００３９】
なお、本発明にかかるネットコミュニケーションシステムを構成する投影型表示装置は、ネットワークを介して接続される外部の投影型表示装置のビデオカメラ（３）が撮影したビデオ映像（図１に示す、Ｓ１）を受信して、その受信したビデオ映像に所定の処理を施し、スクリーン（１）上に表示する処理を行うアプリケーションを具備することになる（図１に示すビデオプレーヤ（８））。このビデオプレーヤ（８）は、スクリーン（１）上のデスクトップ領域の最前面に、書き込みが行われていない領域が透明となるように表示させる機能を有する。以下に、図２を参照しながら、外部の投影型表示装置から受信したビデオ映像に対して、書き込みが行われていない領域が透明となるように処理を施し、スクリーン（１）上の最前面に表示させるまでの処理動作について説明する。
【００４０】
まず、外部の投影型表示装置から受信したビデオ映像に対してノイズ除去等の画像処理を行う（ステップＳ１）。次に、ある閾値より明るい画素の値を白（０ｘＦＦＦＦＦＦＦＦ）にするように閾値処理を行う（ステップＳ２）。次に、先の閾値処理により白（０ｘＦＦＦＦＦＦＦＦ）となった画素を透明にして（ステップＳ３）、スクリーン上のデスクトップの最前面に表示する（ステップＳ４）。なお上記ステップＳ４の処理には、例えば、ＭｉｃｒｏｓｏｆｔＷｉｎｄｏｗｓ（Ｒ）２０００のＵｐＤａｔｅＬａｙｅｒｅｄＷｉｎｄｏｗというＡＰＩを用いることで実現可能となる。これにより、文書データが表示されたスクリーン（１）上の表示画像に対して、ネットワークを介して接続された外部の投影型表示装置から受信したビデオ映像の書き込み画像が、重なって表示されることになる。なお、デスクトップ、または、文書データを開いているアプリケーションのハンドルを取得し、そのデバイスコンテキストに、直接画像データを書き込む方法でも実現可能である。そして、最後に、外部の投影型表示装置から受信したビデオ映像の書き込み画像の大きさ、及び位置関係を、受信側の投影型表示装置のスクリーン（１）上に表示される表示画像の大きさ、及び位置関係と一致するように調整することになる（ステップＳ５）。その様子の一例を、図３に示す。
【００４１】
このように、本発明にかかるコミュニケーションシステムは、複数の投影型表示装置がネットワークを介して接続され、投影型表示装置の具備するビデオカメラで撮影したビデオ映像を、ネットワークを介して外部の投影型表示装置に送信すると共に、外部の投影型表示装置のビデオカメラで撮影したビデオ映像を受信して、上述した図２に示す処理を施すことで、外部の投影型表示装置から受信したビデオ映像を半透明にして、大きさ、及び位置関係を調整し、スクリーン（１）上の最前面に書き込み画像を表示する。これにより、ネットワークを介して接続された外部の投影型表示装置の具備するスクリーン（１）上に書き込まれている書き込み画像が、受信側の投影型表示装置のスクリーン（１）上にリアルタイムで表示されることになり、送信側の投影型表示装置のスクリーン（１）上の書き込み画像を把握することが出来ることになる。
【００４２】
（第１の実施の形態）
まず、図１を参照しながら、第１の実施の形態におけるコミュニケーションシステムについて説明する。
【００４３】
第１の実施の形態におけるコミュニケーションシステムは、スクリーン上に画像データを投影するプロジェクタと、スクリーン上に表示している文書データの表示画像に対して、書き込み可能な表示面を有するスクリーンと、書き込み内容を光学的に撮影し、光電変換により映像データとするビデオカメラと、ビデオカメラで撮像した映像データの書き込みデータを、スクリーン上に表示している文書データの表示画像に対して、位置、及び、大きさを調整し、元の文書データに貼り付ける情報処理手段と、有して構成されている複数の投影型表示装置がネットワークを介して接続されて構成される。
【００４４】
そして、投影型表示装置の具備するビデオカメラから得られるビデオ映像を、ネットワークを介して外部の投影型表示装置に送信し、外部の投影型表示装置から受信したビデオ映像を、投影型表示装置の具備するスクリーン上に表示している文書データの表示画像に対して、所定の透明度において、重ねて表示することを特徴とするものである。以下に、図１に示す第１の実施の形態におけるコミュニケーションシステムの処理動作について説明する。
【００４５】
まず、第１の投影型表示装置（図１の右側）の具備するビデオカメラ（３）により撮影したビデオ映像を、ネットワークを介して第２の投影型表示装置（図１に示す左側）に送信する（図１に示す、Ｓ１）。次に、第２の投影型表示装置は、第１の投影型表示装置から受信したビデオ映像を、ビデオプレーヤ（８）にて、上述した図２に示す処理を施し、ビデオ映像の書き込み映像と、文書データ（７）と、をプロジェクタ（２）により、スクリーン（１）上に重ね合わせて表示する。そして、そのスクリーン（１）上に書き込まれている手書きの様子をビデオカメラ（３）にて撮影し、その撮影したビデオ映像を、第１の投影型表示装置に送信する（図１に示す、Ｓ３）。但し、実際にはプロジェクタでスクリーンに投影された画像も映されてしまうが、上述した図２に示す処理にてその成分を逓減することになる。そして、第１の投影型表示装置でも、上述した第２の投影型表示装置と同様の処理を行い、第１の投影形表示装置の具備するスクリーン（１）上に表示することになる。
【００４６】
このように、ネットワークを介して接続された双方向の投影形表示装置において、相手側の投影形表示装置の具備するスクリーン（１）上に書き込まれる内容をリアルタイムで把握することが可能となり、しかも、その書き込み画像を、文書データと重ねてスクリーン（１）上に表示することになるので、別の表示領域を必要とせず、文書データの編集処理も容易に行うことが可能となる。
【００４７】
なお、スクリーン（１）上の書き込み画像を、ビデオカメラ（３）にて撮影し、その撮影した書き込み画像を文書データ（７）に貼り付ける。そして、その文書データを同期させることにより、文書データの協調作成を行うことも可能となる（図１に示す、Ｓ２）。以下に、この文書データの同期処理について説明する。なお、Ｓ２の処理である文書データの同期処理は、文書データの同期処理を行うアプリケーション（共通電子文書表示手段）を用いて行うことになる。
【００４８】
このアプリケーション（共通電子文書表示手段）に対して、お互いのネットワークアドレス（ＩＰアドレス）と、同期する文書データの投影型表示装置のパスを指定する。
【００４９】
例えば、第２の投影型表示装置の文書データ（図１に示す左側ｃ：￥ｍｙｓｙｎｃ￥ｃｏｏｐｅｒａｔｉｏｎ．ｄｏｃ）と、第１の投影型表意装置の文書データ（図１に示す右側ｄ：￥ｍｙｓｙｎｃ￥２００３０７２３￥ｃｏｏｐｅｒａｔｉｏｎ．ｄｏｃ）と、を同期させる設定にする。
【００５０】
そして、第２の投影表示装置で文書データを編集したり、スクリーン（１）への書き込み画像の貼付けを行い、文書データを上書き保存して、第１の投影型表示装置にも同じ文書データをスクリーン（１）上に表示したりする場合、この同期処理を行うことになる。
【００５１】
まず、同期処理が開始されると、第２の投影型表示装置の文書データが、第１の投影型表示装置に送信され、第１の投影型表示装置が文書データを受信すると、第１の投影型表示装置の文書データ（ｄ：￥ｍｙｓｙｎｃ￥２００３０７２３￥ｃｏｏｐｅｒａｔｉｏｎ．ｄｏｃ）を、第２の投影型表示装置から受信した文書データで上書きする。実際には、第２の投影型表示装置がこの上書き対象となる文書データを開いていると、他のプログラム（この同期プログラム）から、この文書データにアクセスできなくなるので、まず、文書データを開いている場合、文書データを閉じさせ、文書データの上書き処理を行うことになる。
【００５２】
なお、第２の投影型表示装置で編集した文書データを第１の投影型表示装置に同期させることも可能である。このように必要に応じて同期処理を行い、同一の文書データを両方の投影型表示装置で開き、スクリーン（１）上に表示することが可能となり、文書データの協調作成を容易に行うことが可能となる。
【００５３】
（第２の実施の形態）
次に、第２の実施の形態について説明する。
第２の実施の形態におけるコミュニケーションシステムは、投影型表示装置は、ビデオカメラで得た書き込み画像を、ネットワークで接続している外部の投影型表示装置に送信し、外部の投影型表示装置から受信した書き込み画像を、受信側の投影型表示装置の文書データに対して貼り付けることを特徴とするものである。
【００５４】
このように、第２の実施の形態は、第１の実施の形態におけるコミュニケーションシステムにおいて、更に、ネットワークを介した書き込み画像の貼り付け処理（図４に示す、Ｓ４の処理）が新たに加えられたものである。以下に、ネットワークを介した書き込み画像の貼り付け処理の動作について説明する。なお、貼り付け処理を明確にするために、サーバとして機能する投影型表示装置（図４に示す左側）と、クライアントとして機能する投影型表示装置（図４に示す右側）と仮定して説明する。なお、サーバとして機能する投影型表示装置と、クライアントとして機能する投影型表示装置と、の両装置は同一の文書データを開いており、その文書データが各投影型表示装置のプロジェクタにより、スクリーン上に投影されていることになる。
【００５５】
まず、クライアントとして機能する投影型表示装置から受信した書き込み画像を文書データに貼付けるためのパネルを、ＰＣのマウスでクリックし、貼り付け処理が開始される。すると、クライアントとして機能する投影型表示装置（図４に示す右側）の具備するビデオカメラ（３）は、スクリーン（１）上に表示されている表示画像を静止画像として撮影する。その際、プロジェクタ（２）でスクリーン（１）上に投影している映像が映らないように、撮影の瞬間はプロジェクタ（２）からの投影光を遮光する。例えば、シャッター等を用いて、静止画像の撮影のタイミング時に投影光を遮光する。次に、ビデオカメラ（３）で撮影された静止画像は、サーバとして機能する投影型表示装置（図４に示す左側）へと、ネットワークを介して送信されることになる（図４に示すＳ４）。
【００５６】
次に、サーバとして機能する投影型表示装置は、クライアントとして機能する投影型表示装置から静止画像を受信すると、サーバとして機能する投影型表示装置の具備するビデオエンコーダ（５）の貼り合わせソフト（６）を用いて、クライアントとして機能する投影型表示装置から受信した静止画像に対して、人の手や体などにより生じる影などのノイズを、閾値処理等の画像処理を行うことにより除去した後、プロジェクタ（２）によりスクリーン（１）上に表示する文書データ（７）と同じ位置、同じ大きさとなるように調整し、例えば、ビットマップ画像データとして、文書データ（７）に貼り付けることになる（図４に示す、ビットマップ貼り付け）。
【００５７】
なお、サーバとして機能する投影型表示装置では、クライアントとして機能する投影型表示装置から受信するビデオ映像により、クライアントとして機能する投影型表示装置の具備するスクリーン上にどのような書き込みが行われているのかを、リアルタイムでスクリーン上に表示されることになるため、クライアントとして機能する投影型表示装置側のスクリーン上に書き込まれる内容を確認して、クライアント側の投影型表示装置における書き込み画像を、サーバ側の投影型表示装置の文書データに貼り付けることが可能となる。
【００５８】
また、サーバ側の投影型表示装置とクライアント側の投影型表示装置との役割を逆にした場合（サーバ側の投影型表示装置における書き込み画像をクライアント側の投影型表示装置の電子文書に貼り付ける場合）も、同様な処理を行うことになる。
【００５９】
このように、サーバとして機能する投影型表示装置自身の具備するビデオカメラから取り込んだ書き込み画像を文書データに貼り付ける場合と同様な処理を行い、ネットワークを介して接続された外部の投影型表示装置の具備するビデオカメラで撮影した書き込み画像を受信して、その受信した書き込み画像を文書データに貼り付けることが可能となる。
【００６０】
また、ネットワークを介して接続された複数の投影型表示装置において、共通の文書データをスクリーン（１）上に表示することで、文書データの協調編集が可能となる。
【００６１】
例えば、ＮｅｔＭｅｅｔｉｎｇのホワイトボードアプリケーションのように、複数のＰＣから同時に制御できるアプリケーションを用いることとする。または、サーバとして機能する投影型表示装置において文書データの複製文書を作成し、その作成した複製文書を各投影型表示装置においてアプリケーションで開き、その開いた複製文書に対して書き込み画像の貼付けなどの編集処理を施した後、所望のタイミングで、各投影型表示装置の複製文書の同期を行い、文書データの内容を一致させ、その後、文書データを開き直すという方法で実現される。
【００６２】
なお、図４に示すコミュニケーションシステムは、クライアントとして機能する投影型表示装置からサーバとして機能する投影型表示装置に対してのみ、静止画像を送信したが（図４に示すＳ４）、この静止画像を双方向に送信することも可能である。
【００６３】
また、リアルタイム用のビデオ映像は、貼り付け用の静止画像の撮影を行うときよりも、低解像度で撮影し、通信量を減少させることが好ましい。また、ビデオのフレームレートも、例えば、１秒間に１コマなどの落として、通信量を減少させることが好ましい。
【００６４】
また、各投影型表示装置が、マイクロフォン、スピーカおよび音声通信を行う手段を具備することにより、音声情報を補助手段として双方のコミュニケーションを行うことも可能となる。
【００６５】
（第３の実施の形態）
次に、第３の実施の形態について説明する。
第３の実施の形態におけるコミュニケーションシステムは、投影型表示装置の具備する情報処理手段は、スクリーン上に表示する画面データの一部または全部を、ネットワークを介して接続される外部に投影型表示装置に送信する画面共有サーバ機能と、外部の投影型表示装置から受信した画面データをスクリーン上に表示する画面共有クライアント機能と、により両方の投影型表示装置において共通の画面データをスクリーン上に表示することが可能となる画面共有機能を有して構成される。
【００６６】
そして、サーバとして機能する１台の投影型表示装置は、そのサーバとして機能する投影型表示装置自身が起動しているアプリケーションによりスクリーン上に表示している文書データに対して、ネットワークを介して接続されたクライアントとして機能する１台の投影型表示装置から受信したビデオ映像を、所定の透明度において、重ねて表示し、且つ、その表示した共有画面データを、画面共有サーバ機能により、クライアント側の投影型表示装置に送信する。クライアント側の投影型表示装置は、サーバ側の投影型表示装置から受信した共有画面データを画面共有クライアント機能によりスクリーン上に表示すると共に、且つ、このスクリーン上に表示した共有画面データに対して、サーバ側の投影型表示装置から受信したビデオ映像を、所定の透明度において、重ねて表示することとなる。
【００６７】
このように、第３の実施の形態におけるコミュニケーションシステムは、ＶＮＣ（ＶｉｒｔｕａｌＮｅｔｗｏｒｋＣｏｍｐｕｔｉｎｇ）やＭｉｃｒｏｓｏｆｔ社のＮｅｔＭｅｅｔｉｎｇのような画面共有機能が搭載されたソフト（図５に示す、画面共有（９））を用いて画面共有を行い、書き込み画像の正確な位置合わせを行うことを特徴とするものである。以下、図５を参照しながら、第３の実施の形態における処理動作について説明する。
【００６８】
なお、第３の実施例は、ＶＮＣを用いて画面共有を行う場合の処理動作について説明する。
【００６９】
まず、ＶＮＣサーバとして機能している投影型表示装置（図５に示す左側）と、ＶＮＣクライアントとして機能している投影型表示装置（図５に示す右側）とが、１対１で接続されて、画面共有を行っていると仮定する。なお、協調編集する文書データは、サーバ側の投影型表示装置のみで起動していることにする。
【００７０】
サーバ側の投影型表示装置では、文書データをアプリケーションで開き、その開いた文書データの上に、ネットワークを介して接続されたクライアント側の投影型表示装置の書き込み画像を半透明に重ね合わせてスクリーン（１）上の最前面に表示する。また、その重ね合わせた画像データは、画面共有サーバ機能（９）により画面共有が行われることになる。そして、その画面共有が行われた共有画像データがクライアント側の投影型表示装置に送信されることになる。
【００７１】
次に、クライアント側の投影型表示装置では、文書データを開く代わりに、サーバ側の投影型表示装置から送信された共有画面データを、画面共有クライアント機能（９）を用いてスクリーン（１）上に表示することになる。そして、そのスクリーン（１）上に表示した共有画面データの上に、サーバ側の投影型表示装置から受信したビデオ映像の書き込み画像をビデオプレーヤ（８）を介して半透明に重ね合わせ、スクリーン（１）上の最前面に表示することになる。
【００７２】
これにより、サーバ側と、クライアント側と、の両方の投影型表示装置において、同一の画面データをスクリーン（１）上に表示することが可能になると同時に、お互いのスクリーン（１）上に書き込まれた書き込み画像を重ねて表示することも可能となり、相手側がスクリーン（１）上に何を書いているのかを把握することが可能となる。但し、クライアント側の書き込み画像は、画面共有クライアント機能（９）により、クライアント側の投影型表示装置のスクリーン（１）上に冗長に表示されてしまうことになる。
【００７３】
また、第２の実施の形態と同様に、サーバ側の投影型表示装置は、クライアント側の投影型表示装置の具備するビデオカメラ（３）から書き込み静止画像を撮影し、サーバ側の投影型表示装置の開いている文書データに対して位置と、大きさを合わせて貼り付けることも可能である（図５に示すビットマップ貼り付け）。
【００７４】
次に、図５に示す第３の実施の形態におけるコミュニケーションシステムの処理動作について説明する。なお、以下の番号は、図面での処理動作の番号を示唆するものである。
【００７５】
（サーバとして機能する投影型表示装置の処理動作）
１．クライアント側のビデオ映像を受信し、その受信したビデオ映像を半透明に重ねた画面をスクリーン上に表示する。
２．クライアント側のビデオカメラで撮影した書き込み画像を受信し、文書データに貼り付ける。また、サーバ自身のビデオカメラで撮影した書き込み画像を、文書データに貼り付ける。
３．サーバ自身の文書データにクライアント側のビデオ映像を半透明に重ねて画面共有し、その共有画面データをクライアント側に送信する。
４．サーバ側のビデオカメラで撮影したビデオ映像をクライアント側に送信する。
【００７６】
（クライアントとして機能する投影型表示装置の処理動作）
１．クライアント側のビデオカメラで撮影したビデオ映像をサーバ側に送信する。
２．クライアント側のビデオカメラで撮影した書き込み画像をサーバ側に送信する。
３．サーバ側から送信された共有画面データを受信し、スクリーン上に表示する。
４．サーバ側から送信されたビデオ映像を受信し、その受信したビデオ映像を半透明に重ねた画面をスクリーン上に表示する。
【００７７】
（第４の実施の形態）
次に、第４の実施の形態について説明する。
第４の実施の形態におけるコミュニケーションシステムは、投影型表示装置の具備する情報処理手段は、スクリーン上に表示する画面データの一部または全部を、ネットワークを介して接続される外部の投影型表示装置に送信する画面共有サーバ機能と、外部の投影型表示装置から受信した画面データをスクリーン上に表示する画面共有クライアント機能と、により両方の投影型表示装置において共通の画面データをスクリーン上に表示することが可能となる画面共有機能を有して構成される。
【００７８】
そして、サーバとして機能する１台の投影型表示装置は、サーバとして機能する投影型表示装置自身が起動しているアプリケーションによりスクリーン上に表示している文書データに対して、クライアントとして機能する少なくとも１台以上の、投影型表示装置のビデオカメラで撮影したビデオ映像をネットワークを介して受信し、その受信したビデオ映像と、サーバとして機能する投影型表示装置自身のビデオカメラから取得したビデオ映像とを、ビデオプレーヤを介して、スクリーン上に表示している文書データの画像に対して、所定の透明度において、重ねて表示し、且つ、その重ねた表示画像を、画面共有サーバ機能により、クライアント側の投影型表示装置に送信し、クライアント側の投影型表示装置は、サーバとして機能する投影型表示装置から受信した共有画面データを画面共有クライアント機能によりスクリーン上に表示することを特徴とするものである。
【００７９】
このように、第４の実施の形態におけるコミュニケーションシステムは、複数の書き込み画像を、サーバとして機能する投影型表示装置の画面共有サーバ機能（９）を用いて画面共有を行うことにより、通信量を削減することを特徴とするものである。以下、図６を参照しながら、第４の実施の形態におけるコミュニケーションシステムの処理動作について説明する。
【００８０】
なお、第４の実施の形態におけるコミュニケーションシステムは、ＶＮＣサーバとして機能している投影型表示装置と、１台以上のＶＮＣクライアントとして機能している投影型表示装置とが、１対多で接続し、画面共有を行うシステム構成である。また、協調編集する文書データは、サーバ側の投影型表示装置でのみ起動していることとする。なお、第４の実施の形態におけるコミュニケーションシステムのシステム構成は、第３の実施の形態におけるコミュニケーションシステムのシステム構成と異なり、３台以上の投影型表示装置でコミュニケーションが可能である。
【００８１】
サーバ側の投影型表示装置では、文書データをアプリケーションで開き、その上に、サーバ側の投影型表示装置と全クライアント側の投影型表示装置との書き込み画像を半透明に重ね合わせてスクリーン（１）上の最前面に表示する。そして、その重ね合わせた画面データを画面共有サーバ機能（９）により、画面共有を行い、共有画面データをクライアント側の投影型表示装置に送信する。クライアント側の投影型表示装置では、クライアント側の投影型表示装置から受信した共有画面データを、画面共有クライアント機能（９）を用いてスクリーン（１）上に表示する。
【００８２】
これにより、サーバ側と、クライアント側と、の両者の投影型表示装置において同一の文書データをスクリーン（１）上に表示することが可能になると同時に、全ての投影型表示装置の書き込み画像を重ねて表示することが可能となり、相手側の投影型表示装置のスクリーン（１）上に書き込まれた書き込み画像を把握することが可能となる。但し、各クライアント側の投影型表示装置の書き込み画像は、クライアント側の投影型表示装置のスクリーン（１）上に冗長に表示されてしまうことになる。
【００８３】
また、第２の実施の形態と同様に、サーバ側の投影型表示装置は、クライアント側の投影型表示装置の具備するビデオカメラ（３）から書き込み静止画像を撮影し、サーバ側の投影型表示装置の開いている文書データに対して位置と、大きさを合わせて貼り付けることも可能である。
【００８４】
次に、図６に示す第４の実施の形態におけるコミュニケーションシステムの処理動作について説明する。なお、以下の番号は、図面での処理動作の番号を示唆するものである。
【００８５】
（サーバとして機能する投影型表示装置の処理動作）
１．全クライアント側のビデオ映像を受信し、サーバ側のビデオ映像と全クライアント側から受信したビデオ映像とを半透明に重ねた画面をスクリーン上に表示する。
２．任意のクライアント側のビデオカメラで撮影した書き込み画像を受信し、文書データに貼付ける。
３．サーバ側と全クライアント側とのビデオ映像を半透明に重ねた画面を画面共有し、その共有画面データを全クライアント側に送信する。
４．サーバ自身のビデオカメラから書き込み画像を撮影し、文書データに貼付ける。
【００８６】
（クライアントとして機能する投影型表示装置の処理動作）
１．クライアント側のビデオカメラで撮影したビデオ映像をサーバ側に送信する。
２．クライアント側のビデオカメラで撮影した書き込み画像をサーバ側に送信する。
３．サーバ側から送信された共有画面データを受信し、その受信した共有画面データをスクリーン上に表示する。
【００８７】
（第５の実施の形態）
次に、第５の実施の形態について説明する。
第５の実施の形態におけるコミュニケーションシステムは、投影型表示装置は、スクリーン上の同一領域を照明するよう光学系が設計された、２台のプロジェクタを有し、投影型表示装置の情報処理手段は、２台のプロジェクタに対して、別々のビデオ信号を送信し、かつ、スクリーン上に表示する画面データの一部または全部を、ネットワークを介して接続される外部の投影型表示装置に送信する画面共有サーバ機能と、外部の投影型表示装置から受信した画面データをスクリーン上に表示する画面共有クライアント機能と、により共通の画面データをスクリーン上に表示することが可能な画面共有機能を有して構成される。
【００８８】
そして、サーバとして機能する１台の投影型表示装置は、第１のプロジェクタでは、サーバとして機能する投影型表示装置自身が起動しているアプリケーションによりスクリーン上に表示している文書データをスクリーン上に投影すると共に、共有画像データを画面共有サーバ機能により、クライアント側の投影型表示装置に送信し、第２のプロジェクタでは、クライアントとして機能する少なくとも１台以上の、投影型表示装置のビデオカメラからネットワークを介して受信したビデオ映像をスクリーン上に投影し、一方、クライアント側の投影型表示装置は、第１のプロジェクタでは、サーバ側の投影型表示装置から受信した共有画面データを、画面共有クライアント機能によりスクリーン上に投影し、第２のプロジェクタでは、サーバ側の投影型表示装置から受信したビデオ映像をスクリーン上に投影することを特徴とするものである。
【００８９】
このように、第５の実施の形態におけるコミュニケーションシステムは、サーバとして機能する投影型表示装置において、書き込み画像を、画面共有サーバ機能（図７に示す、画面共有Ｓ）にて画面共有を行う際に、プロジェクタ（２）を２つ（図７に示す、プロジェクタと、第２のプロジェクタ）搭載し、スクリーン（１）上の同一領域を照明することで、画面共有処理の負荷を軽減することを特徴とするものである。以下、図７を参照しながら、第５の実施の形態におけるコミュニケーションシステムの処理動作について説明する。
【００９０】
投影型書表示装置の情報処理手段は、２台のプロジェクタに対して、別々のビデオ信号を送信する。つまり、デュアルディスプレイに対応したビデオドライバを利用することになる。
【００９１】
なお、ビデオ映像は画面共有を行う必要がなくなるので、画面共有の処理負荷が低減する。また、ビデオ映像を透明化して重ね合わせる必要がなくなるので、画面共有の処理負荷が低減する。
【００９２】
次に、図７に示す第５の実施の形態におけるコミュニケーションシステムの処理動作について説明する。なお、以下の番号は、図面での処理動作の番号を示唆するものである。
【００９３】
（サーバとして機能する投影型表示装置の処理動作）
１．全クライアント側のビデオ映像を受信し、その受信した全クライアント側のビデオ映像を半透明に重ねた画面データを第２のプロジェクタでスクリーン上に表示する。
２．任意のクライアント側のビデオカメラで撮影した書き込み画像を受信し、文書データに貼付ける。
３．文書データを第１のプロジェクタでスクリーン上に表示し、且つ、画面共有した共有画面データを全クライアント側に送信する。
４．サーバ側のビデオカメラで撮影したビデオ映像を全クライアント側に送信する。
【００９４】
（クライアントとして機能する投影型表示装置の処理動作）
１．クライアント側のビデオカメラで撮影したビデオ映像をサーバ側に送信する。
２．クライアント側のビデオカメラで撮影した書き込み画像をサーバ側に送信する。
３．サーバ側の共有画面データを受信し、その受信したサーバ側の共有画面データを第１のプロジェクタでスクリーン上に表示する。
４．サーバ側のビデオ映像を受信し、その受信したサーバ側のビデオ映像を第２のプロジェクタでスクリーン上に表示する。
【００９５】
（第６の実施の形態）
次に、第６の実施の形態について説明する。
第６の実施の形態におけるコミュニケーションシステムは、投影型表示装置の具備する情報処理手段は、スクリーン上に表示する画面データの一部または全部を、ネットワークを介して接続される外部の投影型表示装置に送信する画面共有サーバ機能と、外部の投影型表示装置から受信した画面データをスクリーン上に表示する画面共有クライアント機能と、により、共通の画面データをスクリーン上に表示することが可能な画面共有機能を有して構成される。
【００９６】
そして、サーバとして機能する１台の投影型表示装置は、スクリーンの同一領域を照明するよう光学系が設計された、２台のプロジェクタを有しており、投影型表示装置の具備する情報処理手段は、２台のプロジェクタに対して、別々のビデオ信号を送信し、第１のプロジェクタでは、サーバとして機能する投影型表示装置自身が起動しているアプリケーションによりスクリーン上に表示している文書データをスクリーン上に投影すると共に、共有画像データを画面共有サーバ機能により、クライアント側の投影型表示装置に送信し、第２のプロジェクタでは、クライアントとして機能する１台の、投影型書表示装置のプロジェクタからネットワークを介して受信したビデオ映像をスクリーン上に投影する。一方、１台のサーバとして機能する投影型表示装置に対して、１台まで接続可能であるクライアント側の投影型表示装置は、サーバとして機能する投影型表示装置から受信した画面データを画面共有クライアント機能によりスクリーン上に表示すると共に、且つ、この表示画像に、サーバ側の投影型表示装置から受信したビデオ映像を、所定の透明度において、重ねて表示することを特徴とするものである。
【００９７】
このように、第６の実施の形態にコミュニケーションシステムは、サーバ側の投影型表示装置のみ２つのプロジェクタを有して構成される。なお、クライアント側の投影型表示装置は、プロジェクタが１つなので、ビデオ映像を透明化して重ね合わせる。クライアント側の投影型表示装置は１台しか接続出来ないが、クライアント専用機としてシステムを構成する場合、プロジェクタの台数分安価になる。
【００９８】
次に、図８に示す第６の実施の形態におけるコミュニケーションシステムの処理動作について説明する。なお、以下の番号は、図面での処理動作の番号を示唆するものである。
【００９９】
（サーバとして機能する投影型表示装置の処理動作）
１．クライアント側のビデオ映像を受信し、その受信したクライアント側のビデオ映像を第２のプロジェクタでスクリーン上に表示する。
２．クライアント側のビデオカメラで撮影した書き込み画像を受信し、その受信した書き込み画像を、文書データに貼付ける。また、サーバ自身のビデオカメラから書き込み画像を撮影し、文書データに貼付ける。
３．文書データを第１のプロジェクタでスクリーン上に表示し、且つ、文書データを画面共有し、その共有画面データをクライアントに送信する。
４．サーバ側のビデオカメラで撮影したビデオ映像をクライアント側に送信する。
【０１００】
（クライアントとして機能する投影型表示装置の処理動作）
１．クライアント自身のビデオカメラから撮影したビデオ映像をサーバ側に送信する。
２．クライアント自身のビデオカメラから撮影した書き込み画像をサーバ側に送信する。
３．４．サーバ側の共有画面データを受信し、また、サーバ側のビデオ映像を受信し、サーバ側の共有画面に、サーバ側のビデオ映像を半透明に重ねた画面をスクリーン上に表示する。
なお、上記第６の実施の形態におけるコミュニケーションシステムは、クライアント側の投影型表示装置がプロジェクタを２台持ち、上記の方法を行うことも可能である。
【０１０１】
次に、第７の実施の形態について説明する。
第７の実施の形態におけるコミュニケーションシステムは、投影型表示装置の具備する情報処理手段は、スクリーン上に表示する画面データの一部または全部を、ネットワークを介して接続される外部の投影型表示装置に送信する画面共有サーバ機能と、外部の投影型表示装置から受信した画面データをスクリーン上に表示する画面共有クライアント機能と、により、共通の画面データをスクリーン上に表示することが可能な画面共有機能を有して構成される。
【０１０２】
そして、サーバとして機能する１台の投影型表示装置は、スクリーン上の同一領域を照明するよう光学系が設計された、２台のプロジェクタを有し、投影型表示装置の具備する情報処理手段は、２台のプロジェクタに対して、別々のビデオ信号を送信し、第１のプロジェクタでは、サーバとして機能する投影型表示装置自身が起動しているアプリケーションによりスクリーン上に表示している文書データに対し、サーバとして機能する投影型表示装置自身のビデオカメラからのビデオ映像を、スクリーン上に表示している文書データに対して、所定の透明度において、重ねて表示し、その共有画面データを、画面共有サーバ機能により、クライアント側の投影型表示装置に送信し、第２のプロジェクタでは、クライアントとして機能する１台の、投影型表示装置のビデオカメラで撮影したビデオ映像を、ネットワークを介して受信し、その受信したビデオ映像をスクリーン上に投影し、一方、１台のサーバとして機能する投影型表示装置に対して、１台まで接続可能であるクライアント側の投影型表示装置は、サーバとして機能する投影型表示装置から受信した共有画面データを画面共有クライアント機能によりスクリーン上に表示することを特徴とするものである。
【０１０３】
このように、第７の実施の形態におけるコミュニケーションシステムは、サーバとして機能する投影型表示装置のみ２つのプロジェクタを有し、第６の実施の形態におけるコミュニケーションシステムに対して、更に、クライアントとして機能する投影型表示装置の負荷を小さくし、逆に、サーバとして機能する投影型表示装置の負荷を大きくした構成を特徴とするものである。なお、本実施の形態では、サーバとして機能する投影型表示装置自身のビデオ映像は画面共有するので、第６の実施の形態におけるコミュニケーションシステムより画面共有処理の負荷が大きくなる。しかし、第４の実施の形態におけるコミュニケーションシステムのように、サーバとして機能する投影型表示装置側でサーバ側とクライアント側との両方投影型表示装置のビデオ映像を画面共有する場合より、負荷は小さいことになる。
【０１０４】
一方、サーバとして機能する投影型表示装置がサーバ自身のビデオ映像を画面共有サーバ機能により処理しているため、クライアント側として機能する投影型表示装置は、画面共有クライアント機能により共有画像データをスクリーン上に表示するだけで済み、サーバ側の共有画面に、サーバ側のビデオ映像を半透明に重ねた画面を表示する必要がなくなる。これにより、サーバ側のビデオ映像を受信しなくてよいので、場合によっては通信効率が向上することになる。
【０１０５】
次に、図９に示す第７の実施の形態におけるコミュニケーションシステムの処理動作について説明する。なお、以下の番号は、図面での処理動作の番号を示唆するものである。
【０１０６】
（サーバとして機能する投影型表示装置の処理動作）
１．クライアント側のビデオ映像を受信し、その受信したクライアント側のビデオ映像を第２のプロジェクタでスクリーン上に表示する。
２．クライアント側のビデオカメラから撮影した書き込み画像を受信し、文書データに貼付ける。また、サーバ自身のビデオカメラから書き込み画像を撮影し、文書データに貼付ける。
３．サーバ側のビデオ映像を半透明に重ねた画面を、第１のプロジェクタでスクリーン上に表示する。また、サーバ側のビデオ映像を半透明に重ねた画面を画面共有し、その共有画面データをクライアント側に送信する。
【０１０７】
（クライアントとして機能する投影型表示装置の処理動作）
１．クライアント側のビデオカメラで撮影したビデオ映像をサーバ側に送信する。
２．クライアント側のビデオカメラで撮影した書き込み画像をサーバ側に送信する。
３．サーバ側の共有画面データを受信し、その受信した共有画面データをスクリーン上に表示する。
【０１０８】
なお、上記第７の実施の形態におけるコミュニケーションシステムは、クライアント側の投影型表示装置がプロジェクタを２台持ち、上記の方法を行うことも可能である。
【０１０９】
（第８の実施の形態）
次に、第８の実施の形態について説明する。
第８の実施の形態におけるコミュニケーションシステムは、投影型表示装置の具備する情報処理手段は、スクリーン上に表示する画面データの一部または全部を、ネットワークを介して接続される外部の投影型表示装置に送信する画面共有サーバ機能と、外部の投影型表示装置から受信した画面データをスクリーン上に表示する画面共有クライアント機能と、により、共通の画面データをスクリーン上に表示することが可能な画面共有機能を有して構成される。
【０１１０】
そして、サーバとして機能する１台の投影型表示装置は、プロジェクタと、仮想表示装置との計２台の投影装置を有して構成され、それぞれ別々のビデオ信号を送信する。そして、プロジェクタでは、サーバとして機能する投影型表示装置自身が起動しているアプリケーションによりスクリーン上に表示している文書データに対し、クライアントとして機能する１台の投影型表示装置のビデオカメラからネットワークを介して受信したビデオ映像を、スクリーン上に表示している文書データの画面に対して、所定の透明度において、重ねて表示している画面をスクリーン上に投影し、一方、仮想表示装置では、サーバとして機能する投影型表示装置自身が起動しているアプリケーションによりスクリーン上に表示している文書データの画面データの複製データを作成し、その複製した画面データに対して、サーバとして機能する投影型表示装置自身のビデオカメラからのビデオ映像を、仮想表示装置で仮想的に表示している文書データの画像に対して、所定の透明度において、重ねて仮想表示し、その仮想表示画面を、画面共有サーバ機能により、クライアント側の投影型表示装置に送信する。一方、１台のサーバとして機能する投影型表示装置に対して、１台まで接続可能であるクライアント側の投影型表示装置は、サーバとして機能する投影型表示装置から受信した画面データを画面共有クライアント機能によりスクリーン上に表示することを特徴とするものである。
【０１１１】
このように、第８の実施の形態におけるコミュニケーションシステムは、仮想表示画面に高速描画し、仮想表示画面の画面データをキャプチャ可能な画面共有サーバ機能で、画面データをとらえることになる。また、仮想表示画面で画面共有サーバ機能を起動させ、仮想表示画面の描画データの複製データから画面データを取得するソフトウェアとしては、ＶＤＡＣＣＶＮＣと呼ばれる、ＶＮＣの派生ソフトウェアや、ＲｅｍｏｔｅＡｄｍｉｎｉｓｔｒａｔｏｒやＮｅｔＯｐなどが挙げられる。
【０１１２】
また、文書データに、クライアント側のビデオ映像を半透明に重ねた画面はプロジェクタでスクリーン上に投影すると共に、その描画信号を仮想表示デバイス用に複製する。一方、サーバ側のビデオ映像は、仮想表示デバイス側のみに対して出力し、仮想表示画面で半透明にして重ね合わせる。そして、仮想表示画面で画面共有することにより、画面共有サーバ機能は、実際に描画を行うよりも高速に、画面データの差分をキャプチャすることが可能となり、スムーズな画面共有が行えるようになる。
【０１１３】
次に、図１０に示す第８の実施の形態におけるコミュニケーションシステムの処理動作について説明する。なお、以下の番号は、図面での処理動作の番号を示唆するものである。
【０１１４】
（サーバとして機能する投影型表示装置の処理動作）
１．クライアント側のビデオ映像を受信し、その受信したクライアント側のビデオ映像を半透明に重ねた画面をスクリーン上に表示する。
２．クライアント側のビデオカメラで撮影した書き込み画像を受信し、文書データに貼付ける。また、サーバ自身のビデオカメラから書き込み画像を撮影し、文書データに貼付ける。
３．クライアント側のビデオ映像を半透明に重ねた画面データを仮想表示画面で表示する（画面描画データを仮想表示画面に複製する）。また、その仮想表示画面に対して、更に、サーバ側のビデオカメラで撮影したビデオ映像を半透明に重ねた画面を仮想画面で表示する。そして、仮想画面を画面共有し、共有画面データをクライアント側に送信する。
【０１１５】
（クライアントとして機能する投影型表示装置の処理動作）
１．クライアント側のビデオカメラで撮影したビデオ映像をサーバ側に送信する。
２．クライアント側のビデオカメラで撮影した書き込み画像をサーバ側に送信する。
３．サーバ側の共有画面データを受信し、その受信した共有画面データをスクリーンに表示する。
【０１１６】
（第９の実施の形態）
次に、第９の実施の形態について説明する。
第９の実施の形態におけるコミュニケーションシステムは、投影型表示装置の具備する情報処理手段は、スクリーン上に表示する画面データの一部または全部を、ネットワークを介して接続された外部の投影型表示装置に送信する画面共有サーバ機能と、外部の投影型表示装置から受信した共有画面データをスクリーン上に表示する画面共有クライアント機能と、により、共通の画面をスクリーン上に表示することが可能な画面共有機能を有して構成される。
【０１１７】
なお、サーバとして機能する１台の投影型表示装置は、プロジェクタと、仮想表示装置と、の計２台の投影装置を有して構成されており、仮想表示装置は、プロジェクタによりスクリーン上に投影しているの画面データと同一の画面データを複製して仮想表示する機能を有している。
【０１１８】
そして、サーバとして機能する投影型表示装置の具備するプロジェクタでは、サーバとして機能する投影型表示装置自身が起動しているアプリケーションによりスクリーン上に表示している文書データに対し、クライアントとして機能する少なくとも１台以上の投影型表示装置のプロジェクタからネットワークを介して受信したビデオ映像を、サーバとして機能する投影型表示装置自身がスクリーン上に表示している文書データに対して、所定の透明度において、重ねて表示し、一方、仮想表示装置は、プロジェクタによりスクリーン上に表示しているの画面データと同様の画面データを仮想表示しており、その仮想表示画面を、画面共有サーバ機能により、クライアント側の投影型表示装置に送信する。一方、１台のサーバとして機能する投影型表示装置に対して、少なくとも１台以上が接続可能であるクライアント側の投影型表示装置は、サーバとして機能する投影型表示装置から受信した共有画面データを画面共有クライアント機能によりスクリーン上に表示することを特徴とするものである。
【０１１９】
このように、第９の実施の形態におけるコミュニケーションシステムは、文書データに対して、サーバ側と全クライアント側との投影型表示装置のビデオ映像を半透明に重ねた画面を、プロジェクタを介してスクリーン上に表示すると共に、仮想表示画面に対して描画信号を複製し、仮想表示画面で画面共有を行う。この場合、サーバ側の投影型表示装置自身のビデオ映像も、サーバ側のプロジェクタを介してスクリーン上に表示するので冗長になってしまうが、第８の実施の形態におけるコミュニケーションシステムに対して、本実施の形態のコミュニケーションシステムは、サーバとして機能する投影型表示装置が、複数のクライアントとして機能する投影型表示装置と接続することが可能となる。
【０１２０】
次に、図１１に示す第９の実施の形態におけるコミュニケーションシステムの処理動作について説明する。なお、以下の番号は、図面での処理動作の番号を示唆するものである。
【０１２１】
（サーバとして機能する投影型表示装置の処理動作）
１．全クライアント側のビデオ映像を受信し、サーバ側と全クライアント側のビデオ映像を半透明に重ねた画面をスクリーン上に表示する。
２．任意のクライアント側のビデオカメラで撮影した書き込み画像を受信し、文書データに貼り付ける。また、サーバ自身のビデオカメラから書き込み画像を撮影し、文書データに貼付ける。
３．サーバ側と全クライアント側とのビデオ映像を半透明に重ねた画面を仮想表示画面で表示する（画面描画データを仮想表示画面に複製する）。そして、仮想表示画面を画面共有し、その共有画面データを全クライアント側に送信する。
【０１２２】
（クライアントとして機能する投影型表示装置の処理動作）
１．クライアント側のビデオカメラで撮影したビデオ映像をサーバ側に送信する。
２．クライアント側のビデオカメラで撮影した書き込み画像をサーバ側に送信する。
３．サーバ側の共有画面データを受信し、その受信した共有画面データをスクリーン上に表示する。
【０１２３】
（第１０の実施の形態）
次に、第１０の実施の形態について説明する。
第１０の実施の形態におけるコミュニケーションシステムは、スクリーン上に表示している文書データに対して、書き込みを行うことが可能な表示面を有するスクリーンと、そのスクリーン上への書き込み動作により、表示面における書き込みの座標データを計測するデジタイザと、そのデジタイザから得られる書き込みの座標データを基に画像データに変換し、その変換した画像データを、スクリーン上に表示している文書データに対して、位置、及び大きさを調整し、元の文書データに貼り付ける情報処理手段と、を有する投影型表示装置がネットワークを介して複数台接続して構成されるものである。
【０１２４】
そして、その投影型表示装置は、デジタイザから得られる座標データ、または座標データの時系列変化を表すベクトルデータ、もしくはベクトルデータを画像として表現した画像データの３つのうち少なくともいずれかのデータを、ネットワークを介して接続される外部の投影型表示装置に送信する機能と、外部の投影型表示装置から受信した上記の３つのうちいずれかのデータを時系列変化する画像列、もしくは、映像データに変換して、スクリーン上に表示している文書データの画像に対して、所定の透明度において、重ねて表示する機能と、外部の投影型表示装置から受信した受信データを画像または、描画オブジェクトとして、投影型表示装置自身がアプリケーションで開いている文書データに対して、貼り付ける機能と、を更に有して構成される。
【０１２５】
このように、第１０の実施の形態におけるコミュニケーションシステムは、スクリーン上に対してマーカ等で書き込んだ書き込み画像をビデオカメラで撮影するのではなく、赤外線方式や、超音波方式や、もしくは、静電誘導により、スクリーン上に書き込まれた書き込みの座標データを、デジタイザにより取得し、そのデジタイザにより取得した座標データを、点または線で表現してスクリーン上に描画することになる。なお、デジタイザにより座標データを取得する手段以外にも、通常のマウスを利用した描画を基に、座標データを取得することも可能である。
【０１２６】
次に、図１２に示す第１０の実施の形態におけるコミュニケーションシステムの処理動作について説明する。なお、以下の番号は、図面での処理動作の番号を示唆するものである。
【０１２７】
（サーバ側として機能する投影型表示装置の処理動作）
１．クライアント側のベクトルデータを受信し、その受信したクライアント側のベクトルデータを描画した画像データを、半透明にして重ねた画面をスクリーン上に表示する。また、ベクトルデータをビットマップ画像として文書データに貼付ける。
２．サーバ側のデジタイザで取得した座標データを、ベクトルデータに変換し、クライアント側に送信する。
３．クライアント側に文書データを送信する（サーバ側との同期処理）。
【０１２８】
（クライアント側として機能する投影型表示装置の処理動作）
１．クライアント側のデジタイザで取得した座標データを、ベクトルデータに変換し、サーバ側に送信する。
２．サーバ側のベクトルデータを受信し、その受信したサーバ側のベクトルデータを描画した画像データを、半透明にして重ねた画面をスクリーン上に表示する。また、ベクトルデータをビットマップ画像として文書データに貼付ける。
３．サーバ側に文書データを送信する（クライアント側との同期処理）。
【０１２９】
なお、上記第１０の実施の形態において、ビットマップ化した書き込み画像を文書データに貼付けるのではなく、描画オブジェクト、すなわち、点、及び、線の集合として、貼り付けるようにすることも可能である。また、デジタイザから取得した座標データの通信方法としては、以下の３つの方法がある。
【０１３０】
第１の通信方法．座標データそのものを送信する方法。
第２の通信方法．ベクトルデータを送信する方法。
第３の通信方法．送信元で座標データを画像化して、画像データとして送信する方法。
【０１３１】
なお、図１２に示す第１０の実施の形態におけるコミュニケーションシステムの処理動作としては、第２の通信方法を基に説明したが、第１の通信方法や第３の通信方法を用いて行うことも可能である。以下に、図１３から図１５を参照しながら、第１から第３の通信方法の処理動作について説明する。なお、図１３は、第１の通信方法を示し、図１４は、第２の通信方法を示し、図１５は、第３の通信方法を示す。
【０１３２】
（第１の通信方法）
まず、図１３を参照しながら、第１の通信方法について説明する。
なお、サーバ側の投影型表示装置は、サーバ側の投影型表示装置自身、及び、ネットワークを介して接続された外部のライアント側の投影型表示装置に対して、デジタイザにより取得した座標データそのものを送信する機能を有し、クライアント側の投影型表示装置は、サーバ側の投影型表示装置から受信した座標データをベクトルデータに変換し、それを更に画像化し、サーバ側の投影型表示装置で開く文書データに貼り付ける機能と、第１の実施の形態で説明した図２に示す原理を用いて、スクリーン上の最前面に、半透明にして重ね合わせて表示する機能と、を有する。
【０１３３】
まず、サーバ側の投影型表示装置の具備するデジタイザにより、スクリーン上に書き込まれた書き込み座標データを取得する（ステップＳ１０）。次に、そのデジタイザにより取得した座標データをクライアント側の投影型表示装置に送信し（ステップＳ１１）、クライアント側の投影型表示装置が、サーバ側の投影型表示装置から座標データを受信することになる（ステップＳ１２）。
【０１３４】
次に、クライアント側の投影型表示装置は、サーバ側から受信した座標データを基に、ベクトルデータに変換し（ステップＳ１３）、その変換したベクトルデータを更に画像化して、ビットマップ画像に変換する（ステップＳ１４）。次に、第１の実施の形態で説明した図２に示す透明化処理を行い（ステップＳ１５）、スクリーン上の最前面に表示する（ステップＳ１６）。また、貼り付け処理を実行する場合は（ステップＳ１８）、ビットマップ画像に変換した画像を、文書データに貼り付けることになる（ステップＳ１９）。
【０１３５】
（第２の通信方法）
次に、図１４を参照しながら、第２の通信方法について説明する。
なお、サーバ側の投影型表示装置は、サーバ側の投影型表示装置自身、及び、ネットワークを介して接続された外部のライアント側の投影型表示装置に対して、デジタイザにより取得した座標データを基に変換したベクトルデータをクライアント側に送信する機能を有し、クライアント側の投影型表示装置は、サーバ側の投影型表示装置から受信したベクトルデータを画像化し、サーバ側の投影型表示装置で開く文書データに貼り付ける機能と、第１の実施の形態で説明した図２の示す原理を用いて、スクリーン上の最前面に、半透明にして重ね合わせて表示する機能と、を有する。なお、図１４に示す、第２の通信方法は、図１３に示す第１の通信方法において、サーバ側の投影型表示装置において、デジタイザから取得した座標データを基に、ベクトルデータに変換し（ステップＳ２１）、そのベクトルデータをクライアント側の投影型表示装置に送信することになる（ステップＳ２２）。
【０１３６】
（第３の通信方法）
次に、図１５を参照しながら、第３の通信方法について説明する。
なお、サーバ側の投影型表示装置は、サーバ側の投影型表示装置自身、及び、ネットワークを介して接続された外部のライアント側の投影型表示装置に対して、デジタイザにより取得した座標データを基にベクトルデータに変換し、更に、画像化したビットマップ画像をクライアント側に送信する機能を有し、クライアント側の投影型表示装置は、サーバ側の投影型表示装置から受信したビットマップ画像を、サーバ側の投影型表示装置で開く文書データに貼り付ける機能と、第１の実施の形態で説明した図２に示す原理を用いて、スクリーン上の最前面に、半透明にして重ね合わせて表示する機能と、を有する。なお、図１５に示す、第３の通信方法は、図１３に示す第１の通信方法において、サーバ側の投影型表示装置において、デジタイザから取得した座標データを基に、ベクトルデータに変換し（ステップＳ３１）、更に、ベクトルデータを基に、画像化し（ステップＳ３２）、その画像化したビットマップ画像をクライアント側の投影型表示装置に送信することになる（ステップＳ３３）。なお、後述する第１１の実施の形態から第１５の実施の形態は、第２通信方法であるベクトルデータによりコミュニケーションシステムの処理動作を説明するが、第１の通信方法や、第３の通信方法を用いることも可能である。また、文書データに貼り付けるときには、第３の通信方法を用いるなど、複数の通信方法を適宜組み合わせることも可能である。また、クライアント側の投影型表示装置は、サーバ側の投影型表示装置を判別し、選択的にスクリーン上に表示する機能や、選択的に特定のサーバ側の投影型表示装置からの書き込み画像を文書データに貼り付ける機能を付加することも可能である。
【０１３７】
（第１１の実施の形態）
次に、第１１の実施の形態について説明する。
第１１の実施の形態におけるコミュニケーションシステムは、投影型表示装置の具備する情報処理手段は、スクリーン上に表示する画面データの一部または全部を、ネットワークを介して接続される外部の投影型表示装置に送信する画面共有サーバ機能と、外部の投影型表示装置から受信した画面データをスクリーン上に表示する画面共有クライアント機能と、により、共通の画面をスクリーン上に表示することが可能な画面共有機能を有して構成される。
【０１３８】
そして、サーバとして機能する１台の投影型表示装置は、サーバとして機能する投影型表示装置自身が起動しているアプリケーションによりスクリーン上に表示している文書データの画像に対して、クライアントとして機能する少なくとも１台以上の、投影型表示装置のデジタイザからネットワークを介して受信した３つのうちいずれかの手書きデータ、及び、サーバとして機能する投影型表示装置自身の手書きデータを、時系列変化する画像列、もしくは映像データに変換して、スクリーン上に表示している文書データの画像に対して、所定の透明度において、重ねて表示し、且つ、その表示画面である共有画面データを、画面共有サーバ機能により、クライアント側の投影型表示装置に送信する。一方、クライアント側の投影型表示装置は、サーバ側の投影型表示装置から受信した共有画面データを画面共有クライアント機能によりスクリーン上に表示することを特徴とするものである。
【０１３９】
このように、第１１の実施の形態におけるコミュニケーションシステムは、複数の手書きデータを画像化したものを、サーバとして機能する投影型表示装置の画面共有サーバ機能を用いて画面共有を行うことにより、通信量を軽減することが可能となる。また、複数の投影型表示装置から正確に書き込み内容を、元の文書データに貼り付けることが可能となり、コミュニケーションの正確度が向上することになる。
【０１４０】
次に、図１６に示す第１１の実施の形態におけるコミュニケーションシステムの処理動作について説明する。なお、以下の番号は、図面での処理動作の番号を示唆するものである。
【０１４１】
（サーバとして機能する投影型表示装置の処理動作）
１．全クライアント側のベクトルデータを受信し、サーバ側と全クライアント側とのベクトルデータを描画した画像を半透明にして重ねた画面をスクリーン上に表示する。また、サーバ自身の書き込みデータを画像化して文書データに貼付ける。また、任意のクライアント側からの書き込みデータを画像化して文書データに貼付ける。
２．サーバ側と全クライアント側とのベクトルデータを描画した画像を半透明にして重ねた画面を画面共有し、その共有画面データを全クライアント側に送信する。
【０１４２】
（クライアントとして機能する投影型表示装置の処理動作）
１．クライアント側のデジタイザにより取得した座標データをベクトルデータに変換し、その変換したベクトルデータをサーバ側に送信する。
２．サーバ側の共有画面データを受信し、その受信したサーバ側の共有画面データをスクリーン上に表示する。
【０１４３】
（第１２の実施の形態）
次に、第１２の実施の形態について説明する。
第１２の実施の形態におけるコミュニケーションシステムは、投影型表示装置は、スクリーン上の同一領域を照明するよう光学系が設計された、２台のプロジェクタを有して構成され、投影型表示装置の具備する情報処理手段は、２台のプロジェクタに対して、別々のビデオ信号を送信し、且つ、スクリーン上に表示する画面データの一部または全部を、ネットワークを介して接続された外部の投影型表示装置に送信する画面共有サーバ機能と、外部の投影型表示装置から受信した画面データをスクリーン上に表示する画面共有クライアント機能と、により、共通の画面データをスクリーン上に表示することが可能な画面共有機能を有して構成される。
【０１４４】
なお、サーバとして機能する１台の投影型表示装置は、スクリーン上の同一領域を照明するよう光学系が設計された、２台のプロジェクタを有して構成され、その投影型表示装置の具備する情報処理手段は、２台のプロジェクタに対して、別々のビデオ信号を送信する。
【０１４５】
そして、サーバとして機能する投影型表示装置の具備する第１のプロジェクタでは、サーバとして機能する投影型表示装置自身が起動しているアプリケーションによりスクリーン上に表示している文書データの画面をスクリーン上に投影すると共に、画面共有サーバ機能により、共有画面データをクライアント側の投影型表示装置に送信し、第２のプロジェクタでは、クライアントとして機能する１台の投影型表示装置のデジタイザからネットワークを介して受信した３つのうちいずれかの手書きデータ、及び、サーバ自身の手書きデータを、時系列変化する画像列、もしくは、映像データに変換してスクリーン上に投影する。一方、クライアント側の投影型表示装置は、第１のプロジェクタでは、サーバとして機能する投影型表示装置から受信した共有画面データを、画面共有クライアント機能を用いてスクリーン上に投影し、第２のプロジェクタでは、サーバ側の投影型表示装置から受信した３つのうちいずれかの手書きデータ、及び、サーバとして機能する投影型表示装置自身の手書きデータを、時系列変化する画像列、もしくは映像データに変換して投影することを特徴とするものである。
【０１４６】
このように、第１２の実施の形態におけるコミュニケーションシステムは、サーバとして機能する投影型表示装置において、手書きデータを画像化したものを、画面共有サーバ機能により画面共有を行う際、プロジェクタを２台有して構成することで、サーバとして機能する投影型表示装置において、画面共有の処理の負荷を軽減し、スムーズな画面共有が可能となる。
【０１４７】
次に、図１７に示す第１２の実施の形態におけるコミュニケーションシステムの処理動作について説明する。なお、以下の番号は、図面での処理動作の番号を示唆するものである。
【０１４８】
（サーバとして機能する投影型表示装置の処理動作）
１．全クライアント側のベクトルデータを受信し、サーバ側と全クライアント側とのベクトルデータを描画した画像を第２のプロジェクタでスクリーン上に表示する。
２．任意のクライアント側から受信した書き込み内容を画像化して文書データに貼付ける。また、サーバ自身の書き込み内容を画像化して文書データに貼付ける。そして、文書画面を第１のプロジェクタでスクリーン上に表示する。また、文書画面を画面共有し、その共有画面データを全クライアント側に送信する。
３．サーバ側のデジタイザにより取得した座標データをベクトルデータに変換し、その変換したベクトルデータを全クライアント側に送信する。
【０１４９】
（クライアントとして機能する投影型表示装置の処理動作）
１．クライアント側のデジタイザで取得した座標データをベクトルデータに変換し、その変換したベクトルデータをサーバ側に送信する。
２．サーバ側の共有画面データを受信し、その受信したサーバ側の共有画面データを第１のプロジェクタでスクリーン上に表示する。
３．サーバ側のベクトルデータを受信し（他のクライアント側のベクトルデータを受信し）、サーバ側と全クライアント側とのベクトルデータを描画した画像データを第２のプロジェクタでスクリーン上に表示する。
【０１５０】
（第１３の実施の形態）
次に、第１３の実施の形態について説明する。
第１３の実施の形態におけるコミュニケーションシステムは、投影型表示装置の具備する情報処理手段は、スクリーン上に表示する画面データの一部または全部を、ネットワークを介して接続される外部の投影型表示装置に送信する画面共有サーバ機能と、外部の投影型表示装置から受信した画面データをスクリーン上に表示する画面共有クライアント機能と、により、共通の画面データをスクリーン上に表示することが可能な画面共有機能を有して構成される。
【０１５１】
サーバとして機能する１台の投影型表示装置は、スクリーン上の同一領域を照明するよう光学系が設計された、２台のプロジェクタを有して構成され、投影型表示装置の具備する情報処理手段は、２台のプロジェクタに対して、別々のビデオ信号を送信する。
【０１５２】
なお、第１のプロジェクタでは、サーバとして機能する投影型表示装置自身が起動しているアプリケーションによりスクリーン上に表示している文書データの画面をスクリーン上に投影すると共に、画面共有サーバ機能により、クライアント側の投影型表示装置に送信し、第２のプロジェクタでは、クライアントとして機能する１台の、投影型表示装置のデジタイザからネットワークを介して受信した３つのうちいずれかの手書きデータ、及び、サーバとして機能する投影型表示装置自身のデジタイザから得られる手書きデータを、時系列変化する画像列、もしくは、映像データに変換してスクリーン上に投影する。一方、クライアント側の投影型表示装置は、サーバとして機能する投影型表示装置から受信した画面データを、画面共有クライアント機能によりスクリーン上に表示すると共に、サーバ側の投影型表示装置から受信した３つのうちいずれかの手書きデータ、及び、サーバとして機能する投影型表示装置のデジタイザから得られる手書きデータを、時系列変化する画像列、もしくは、映像データに変換して、所定の透明度において、重ねてスクリーン上に表示することを特徴とするものである。
【０１５３】
このように、第１３の実施の形態におけるコミュニケーションシステムは、サーバとして機能する投影型表示装置のみが、２つのプロジェクタを有して構成され、クライアントとして機能する投影型表示装置と通信処理行うコミュニケーションシステムに限定した場合に、第１２の実施の形態におけるコミュニケーションシステムを構成するサーバとして機能する投影型表示装置において、画面共有の処理の負荷が軽減されると共に、クライアントとして機能する投影型表示装置のコストを安価にすることが可能となる。
【０１５４】
次に、図１８に示す第１３の実施の形態におけるコミュニケーションシステムの処理動作について説明する。なお、以下の番号は、図面での処理動作の番号を示唆するものである。
【０１５５】
（サーバとして機能する投影型表示装置の処理動作）
１．全クライアント側のベクトルデータを描画した画像を受信し、全クライアント側のベクトルデータを描画した画像を第２のプロジェクタでスクリーン上表示する。
２．サーバ自身の書き込みデータを画像化して文書データに貼付ける。また、クライアント側の書き込みデータを画像化して文書データに貼付ける。そして、文書画面を、第１のプロジェクタでスクリーン上に表示する。また、文書画面を画面共有し、その共有画面データをクライアント側に送信する。
３．サーバ側のデジタイザで取得した座標データをベクトルデータに変換し、その変換したベクトルデータを全クライアント側に送信する。
【０１５６】
（クライアントとして機能する投影型表示装置の処理動作）
１．クライアント側のデジタイザから取得した座標データをベクトルデータに変換し、その変換したベクトルデータをサーバ側に送信する。
２．３．サーバ側の共有画面データを受信し、また、サーバ側のベクトルデータを受信する。そして、サーバ側から受信した共有画面データに、サーバ側と全クライアント側とのベクトルデータを描画した画像を半透明に重ねた画面をスクリーン上に表示する。
【０１５７】
なお、上記第１３の実施の形態におけるコミュニケーションシステムは、クライアント側の投影型表示装置がプロジェクタを２台持ち、上記の方法を行うことも可能である。
【０１５８】
（第１４の実施の形態）
次に、第１４の実施の形態について説明する。
第１４の実施の形態におけるコミュニケーションシステムは、投影型表示装置の具備する情報処理手段は、スクリーン上に表示する画面データの一部または全部を、ネットワークを介して接続される外部の投影型表示装置に送信する画面共有サーバ機能と、外部の投影型表示装置から受信した画面データをスクリーン上に表示する画面共有クライアント機能と、により、共通の画面データをスクリーン上に表示することが可能な画面共有機能を有して構成される。
【０１５９】
なお、サーバとして機能する１台の投影型表示装置は、プロジェクタと、仮想表示装置と、の計２台の投影装置を有して構成され、それぞれ別々のビデオ信号を送信する。
【０１６０】
そして、サーバとして機能する投影型表示装置の具備するプロジェクタでは、サーバとして機能する投影型表示装置自身が起動しているアプリケーションによりスクリーン上に表示している文書データの画面に対し、クライアントとして機能する１台の投影型表示装置のデジタイザからネットワークを介して受信した３つのうちいずれかの手書きデータ、及び、サーバとして機能する投影型表示装置自身の手書きデータを、時系列変化する画像列、もしくは、映像データに変換して、スクリーン上に表示している文書データの画像に対して、所定の透明度において、重ねて表示し投影し、一方、仮想表示装置は、サーバとして機能する投影型表示装置自身が起動しているアプリケーションによりスクリーン上に表示している文書データの画像の複製データを作成し、その作成した複製データに対して、サーバとして機能する投影型表示装置自身の手書きデータを、時系列変化する画像列、もしくは、映像データに変換して、サーバとして機能する投影型表示装置自身が仮想表示装置で仮想的に表示している文書データの画像に対して、所定の透明度において、重ねて仮想表示し、その仮想表示画面を、画面共有サーバ機能により、クライアント側の投影型表示装置に送信する。一方、クライアント側の投影型表示装置は、サーバから受信した画面データを、画面共有クライアント機能によりスクリーン上に表示すると共に、サーバ側の投影型表示装置のデジタイザから受信した３つのうちいずれかの手書きデータ、及び、サーバとして機能する投影型表示装置自身のデジタイザから得られる手書きデータを、時系列変化する画像列、もしくは、映像データに変換して、所定の透明度において、重ねて表示することを特徴とするものである。
【０１６１】
このように、第１４の実施の形態におけるコミュニケーションシステムは、文書データの画面と、書き込みデータを画像化したものとを重ねた画面データを、画面共有機能を用いて画面共有を行う際に、画面共有サーバ機能の処理負荷を軽減することが可能となり、実際にプロジェクタを用いてスクリーン上に表示している時よりも、高速に画面共有を行うことが可能となり、コミュニケーションが快適になる。
【０１６２】
次に、図１９に示す第１４の実施の形態におけるコミュニケーションシステムの処理動作について説明する。なお、以下の番号は、図面での処理動作の番号を示唆するものである。
【０１６３】
（サーバとして機能する投影型表示装置の処理動作）
１．クライアント側のベクトルデータを受信し、サーバ側のベクトルデータを描画した画像を半透明に重ねた画面をスクリーン上に表示する。また、サーバ自身の書き込みデータを画像化して文書データに貼付ける。また、クライアント側から受信した書き込みデータを画像化して文書データに貼付ける。
２．サーバ側のベクトルデータを描画した画像を半透明に重ねた画面を仮想表示画面で表示する（画面描画データを仮想表示画面に複製する）。その仮想表示画面に、更に、クライアント側のベクトルデータを描画した画像を半透明に重ねた画面データを仮想表示画面で表示する。そして、仮想表示画面を画面共有し、その共有画面データをクライアント側に送信する。
【０１６４】
（クライアントとして機能する投影型表示装置の処理動作）
１．クライアント側の投影型表示装置のデジタイザから取得した座標データをベクトルデータに変換し、その変換したベクトルデータをサーバ側に送信する。
２．サーバ側の共有画面データを受信し、その受信したサーバ側の共有画面データにクライアント側のベクトルデータを描画した画像を半透明に重ねた画面をスクリーン上に表示する。
【０１６５】
（第１５の実施の形態）
次に、第１５の実施の形態について説明する。
第１５の実施の形態におけるコミュニケーションシステムは、投影型表示装置の具備する情報処理手段は、スクリーン上に表示する画面データの一部または全部を、ネットワークを介して接続される外部の投影型表示装置に送信する画面共有サーバ機能と、外部の投影型表示装置から受信した画面データをスクリーン上に表示する画面共有クライアント機能と、により、共通の画面データをスクリーン上に表示することが可能な画面共有機能を有して構成される。
【０１６６】
なお、サーバとして機能する１台の投影型表示装置は、プロジェクタと、仮想表示装置と、の計２台の投影装置を有して構成され、仮想表示装置には、プロジェクタでスクリーン上に投影している画面データと同一の画面データを複製して仮想表示することになる。
【０１６７】
そして、サーバとして機能する投影型表示装置の具備するプロジェクタでは、サーバとして機能する投影型表示装置自身が起動しているアプリケーションによりスクリーン上に表示している文書データの画面に対し、クライアントとして機能する少なくとも１台以上の投影型表示装置のデジタイザから、ネットワークを介して受信した３つのうちいずれかの手書きデータ、及び、サーバとして機能する投影型表示装置自身のデジタイザから得られる手書きデータを、時系列変化する画像列、もしくは映像データに変換して、スクリーン上に表示している文書データの画像に対して、所定の透明度において、重ねて表示し、且つ、その画面データを、画面共有サーバ機能により、クライアント側の投影型表示装置に送信し、一方、仮想表示装置は、プロジェクタによりスクリーン上に表示している画面データと同一の画面データを仮想表示しており、その仮想表示画面を、画面共有サーバ機能により、クライアント側の投影型表示装置に送信する。また、１台のサーバとして機能する投影型表示装置に対して、少なくとも１台以上接続が可能であるクライアント側の投影型表示装置は、サーバとして機能する投影型表示装置から受信した画面データを、画面共有クライアント機能によりスクリーン上に表示することを特徴とするものである。
【０１６８】
このように、第１５の実施の形態におけるコミュニケーションシステムは、サーバとして機能する投影型表示装置が、仮想表示画面で、全ての投影型表示装置から受信した書き込みデータを画像化したものを集約して、重ねて仮想表示したものを画面共有することにより、３台以上の投影型表示装置を用いたコミュニケーションが可能となる。
【０１６９】
次に、図２０に示す第１５の実施の形態におけるコミュニケーションシステムの処理動作について説明する。なお、以下の番号は、図面での処理動作の番号を示唆するものである。
【０１７０】
（サーバとして機能する投影型表示装置の処理動作）
１．全クライアント側のベクトルデータを受信し、サーバ側と全クライアント側とのベクトルデータを描画した画像を半透明に重ねた画面をスクリーン上に表示する。また、サーバ自身の書き込みデータを画像化して文書データに貼付ける。また、任意のクライアント側から受信した書き込みデータを画像化して文書データに貼付ける。
２．サーバ側と全クライアント側とのベクトルデータを描画した画像を半透明に重ねた画面を仮想表示画面で表示する（画面描画データを仮想表示画面に複製する）。そして、仮想表示画面を画面共有し、その共有画面データを全クライアント側に送信する。
【０１７１】
（クライアントとして機能する投影型表示装置の処理動作）
１．クライアント側のデジタイザから得られる座標データをベクトルデータに変換し、その変換したベクトルデータをサーバ側に送信する。
２．サーバ側の共有画面データを受信し、その受信したサーバ側の共有画面データをスクリーン上に表示する。
【０１７２】
なお、上述する実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。
【０１７３】
【発明の効果】
以上の説明より明らかなように本発明は以下のような効果を奏する。
本発明にかかる投影型表示装置および投影型表示装置を用いた表示画像の遠隔共有方法は、電子文書が表示されている表示画像に対し、書き込み画像を重複して形成可能な表示手段と、表示手段に形成された書き込み画像を光学的に撮影し、該撮影した書き込み画像を電子データに変換する撮像手段と、撮像手段により撮影した書き込み画像の投影位置、及び、大きさを、表示手段に表示する電子文書の表示画像に合わせて調整し、該調整した書き込み画像を、表示手段に表示する電子文書に貼り付ける情報処理手段と、を有する投影型表示装置であって、撮像手段から得られる撮影画像を、ネットワークを介して接続された外部の投影型表示装置に送信する手段と、外部の投影型表示装置から受信した撮影画像を、所定の透明度の撮影画像として、表示手段に表示される電子文書の表示画像に対して重ねて表示する手段と、を有することを特徴する投影型表示装置を、ネットワークを介して複数台接続することで、ネットワークを介して接続された外部の投影型表示装置の具備する表示手段に書き込まれている書き込み画像が、受信側の投影型表示装置の表示手段にリアルタイムで表示されることになり、送信側の投影型表示装置上の表示手段に書き込まれている書き込み内容を把握することが出来ることになる。また、表示手段に半透明に重ねて表示することで、別の表示領域を必要とせず、文書データの編集処理が容易となる。
【図面の簡単な説明】
【図１】第１の実施の形態におけるコミュニケーションシステムの構成、および、そのシステムを構成する投影型表示装置を用いた表示画像の遠隔共有方法を示す図である。
【図２】投影型表示装置のスクリーン上に画像を表示する際に行う画像処理を示すフローチャートである。
【図３】図２に示す画像処理のイメージ図である。
【図４】第２の実施の形態におけるコミュニケーションシステムの構成、および、そのシステムを構成する投影型表示装置を用いた表示画像の遠隔共有方法を示す図である。
【図５】第３の実施の形態におけるコミュニケーションシステムの構成、および、そのシステムを構成する投影型表示装置を用いた表示画像の遠隔共有方法を示す図である。
【図６】第４の実施の形態におけるコミュニケーションシステムの構成、および、そのシステムを構成する投影型表示装置を用いた表示画像の遠隔共有方法を示す図である。
【図７】第５の実施の形態におけるコミュニケーションシステムの構成、および、そのシステムを構成する投影型表示装置を用いた表示画像の遠隔共有方法を示す図である。
【図８】第６の実施の形態におけるコミュニケーションシステムの構成、および、そのシステムを構成する投影型表示装置を用いた表示画像の遠隔共有方法を示す図である。
【図９】第７の実施の形態におけるコミュニケーションシステムの構成、および、そのシステムを構成する投影型表示装置を用いた表示画像の遠隔共有方法を示す図である。
【図１０】第８の実施の形態におけるコミュニケーションシステムの構成、および、そのシステムを構成する投影型表示装置を用いた表示画像の遠隔共有方法を示す図である。
【図１１】第９の実施の形態におけるコミュニケーションシステムの構成、および、そのシステムを構成する投影型表示装置を用いた表示画像の遠隔共有方法を示す図である。
【図１２】第１０の実施の形態におけるコミュニケーションシステムの構成、および、そのシステムを構成する投影型表示装置を用いた表示画像の遠隔共有方法を示す図である。
【図１３】サーバ側のデジタイザで取得するデータをクライアント側に送信する第１の通信方法である、座標データそのものを送信する方法を示す図である。
【図１４】サーバ側のデジタイザで取得するデータをクライアント側に送信する第２の通信方法である、ベクトルデータを送信する方法を示す図である。
【図１５】サーバ側のデジタイザで取得するデータをクライアント側に送信する第３の通信方法である、送信元で座標データを画像化して、画像データとして送信する方法を示す図である。
【図１６】第１１の実施の形態におけるコミュニケーションシステムの構成、および、そのシステムを構成する投影型表示装置を用いた表示画像の遠隔共有方法を示す図である。
【図１７】第１２の実施の形態におけるコミュニケーションシステムの構成、および、そのシステムを構成する投影型表示装置を用いた表示画像の遠隔共有方法を示す図である。
【図１８】第１３の実施の形態におけるコミュニケーションシステムの構成、および、そのシステムを構成する投影型表示装置を用いた表示画像の遠隔共有方法を示す図である。
【図１９】第１４の実施の形態におけるコミュニケーションシステムの構成、および、そのシステムを構成する投影型表示装置を用いた表示画像の遠隔共有方法を示す図である。
【図２０】第１５の実施の形態におけるコミュニケーションシステムの構成、および、そのシステムを構成する投影型表示装置を用いた表示画像の遠隔共有方法を示す図である。
【符号の説明】
１スクリーン（表示手段）
２プロジェクタ（投影手段）
３ビデオカメラ（撮像手段）
４情報処理手段
５ビデオエンコーダ
６貼り合わせソフト
７文書データ
８ビデオプレーヤ
９画面共有[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a projection display device and a communication system, and more particularly to a projection display device that displays a common display image via a network, and a remote sharing method of a display image using the projection display device.
[0002]
[Prior art]
Conventionally, a communication system that allows voice information, image information, etc., to be transmitted and received mutually via an information communication network, and enables remote communication between persons at remote locations without being aware of the physical distance As a technical literature filed prior to the present invention, a handwriting input unit, a transmission unit that automatically transmits a new handwritten input in a predetermined procedure, and a display for handwriting input and reception input An input control unit that adjusts input to the storage unit, a data that is input from the input unit, and a handwritten data display control unit that displays the data and method that are already displayed until the data is transmitted to the counterpart device, and a display Display storage unit for storing data to be stored, display unit for displaying the data, receiving unit for receiving data from the outside, and converting data in other formats received from the outside into data for the device's own format The image development unit and the receiver alert function display unit that blinks and displays the data received from the outside are automatically displayed on the board for messages composed of characters, figures, etc. There is a message-type electronic blackboard device that enables smooth communication by communicating with each other (see, for example, Patent Document 1).
[0003]
In addition, screen data exchanging means for exchanging image data on the screen between the shared whiteboard device provided in a plurality of terminals and the shared material display device is provided, and between the shared whiteboard device and the shared material display device. There is a collaborative work support system that allows an actual meeting to be simulated with good operability by exchanging image data on the screen with good operability (see, for example, Patent Document 2).
[0004]
Further, in a situation where a virtual conference terminal as a plurality of terminal devices is connected to the central processing unit via a communication line, the central processing unit is provided with a plurality of pre-combination white boards, and each virtual conference terminal There is a remote conference system in which a pre-combination white board to be written can be selected from the above, and these pre-combination white boards can be combined and displayed in any combination (for example, see Patent Document 3).
[0005]
Further, there is an inexpensive projection display device in which the image projection surface and the writing surface written by the user are arranged on the same screen and the operability is improved (for example, see Patent Document 4).
[0006]
[Patent Document 1]
JP-A-6-284240
[Patent Document 2]
JP-A-10-51581
[Patent Document 3]
JP-A-11-149282
[Patent Document 4]
JP 2003-143348 A
[0007]
[Problems to be solved by the invention]
However, since the inventions of Patent Document 1 and Patent Document 2 convert handwritten input into the coordinates of the input device of the PC in real time, the document is written in real time even from a remote place. . In addition, there is a possibility that the method for displaying the same part of the document is complicated, and writing data from a remote place may be shifted from a writing position. There are also cases where it is desired to write to some extent and check the contents before taking in the write data and pasting it into the document. In addition, there is a time lag in coordinate input, and it takes time until the written content is displayed on the screen. Therefore, it is necessary to always perform handwriting input while checking the displayed content on the screen, and it is necessary to reduce the writing speed. There are also many writing errors. In addition, a plurality of people cannot write simultaneously at one point.
[0008]
In the invention of Patent Document 3, it takes time until the writing data is read by rotating the screen of the electronic blackboard, and it is desired to read the writing data at a higher speed. Also, until the write data is read, it is not known what the other party is writing. Also, if the projector and the user are on the same side of the screen, the user's shadow may be displayed on the screen during the writing operation.
[0009]
Further, in the invention of Patent Document 4, when writing to a document one after another, capturing the written content, and pasting the captured written image, the other party is in the process until the written content is captured and synchronized. You will not be able to figure out what you are doing. In addition, there is a possibility that the method of displaying the same part of the document on the screen is complicated, and write data from a remote place may deviate from the position to be written. In general, the same document cannot be opened and edited simultaneously on a plurality of PCs. Although it is possible to copy the electronic document at each point, change the file, and then synchronize to match the contents of the file, it is necessary to reopen the file each time synchronization is performed. There is a problem that cannot be updated, and the real-time property is lost. In addition, when editing is performed on a plurality of PCs, there is a problem that when the files are synchronized, the contents being edited are discarded.
[0010]
The present invention has been made in view of the above circumstances, and displays a same screen of a common electronic document, realizes a projection display device capable of simultaneous editing, and enables a real-time display image and a projection display device It is an object of the present invention to provide a method for remotely sharing a display image using a projection display device.
[0011]
[Means for Solving the Problems]
In order to achieve this object, the present invention has the following features.
[0012]
According to the first aspect of the present invention, a display unit capable of forming a writing image in an overlapping manner with respect to a display image on which an electronic document is displayed, and a writing image formed on the display unit are optically photographed. An imaging unit that converts the written image into electronic data, and a projection position and a size of the written image captured by the imaging unit are adjusted according to the display image of the electronic document displayed on the display unit, and the adjusted writing An information processing means for pasting an image on an electronic document to be displayed on a display means, and an external projection display apparatus in which a photographed image obtained from an imaging means is connected via a network And the captured image received from the external projection display device are superimposed on the display image of the electronic document displayed on the display unit as a captured image with a predetermined transparency. To characterized in that it has a Shimesuru means.
[0013]
According to a second aspect of the present invention, in the projection display device according to the first aspect of the present invention, there is further provided a writing image transmitting means for transmitting a writing image obtained from the imaging means to an external projection display device connected via a network. And the information processing means further includes means for pasting the written image received from the external projection display device to the electronic document displayed on the display means.
[0014]
According to a third aspect of the present invention, in the projection display device according to the second aspect, there is provided common electronic document display means for simultaneously displaying on the display means an electronic document common to an external projection display apparatus connected via a network. The information processing means further adjusts the projection position and size of the written image received from the external projection display device with respect to the display image of the electronic document displayed on the display means, and the adjusted writing The image is pasted on an electronic document displayed on the display means.
[0015]
The invention according to claim 4 is a display unit capable of forming a writing image in an overlapping manner with respect to a display image on which an electronic document is displayed, a measuring unit for measuring coordinates of the writing image formed on the display unit, The coordinate data of the written image measured by the measuring means is converted into image data, the projection position and size of the converted written image are adjusted according to the display image of the electronic document displayed on the display means, An information processing unit that pastes the adjusted written image on an electronic document displayed on the display unit, the coordinate display data obtained from the measurement unit, or a vector representing a time-series change of the coordinate data Data or at least one of three types of image data expressing vector data as an image is connected to the outside via a network At least one of the means for transmitting to the projection display device and the three data received from the external projection display device is converted into an image sequence or video data that changes in time series and displayed on the display means. A display unit that displays at least one of three data received from an external projection display device as an image or a drawing object as an image having a predetermined transparency with respect to a display image of an electronic document. And a means for pasting the electronic document to be displayed on the electronic document.
[0016]
According to a fifth aspect of the present invention, in the projection display device according to the third or fourth aspect, the information processing means is an external projection in which part or all of the display image displayed on the display means is connected via a network. Screen sharing transmission means for transmitting to the display device, and screen sharing receiving means for displaying part or all of the display image received from the external projection display device on the display means, which are connected via a network. A display image common to an external projection display device is displayed on the display means.
[0017]
According to a sixth aspect of the present invention, in the projection type display device according to the third or fourth aspect of the present invention, the projection type display device includes two projection units that illuminate the same area of the display unit, and the information processing unit includes two projection units. On the other hand, a screen sharing transmission unit that transmits separate video signals and transmits part or all of a display image to be displayed on the display unit to an external projection display device connected via a network, and an external And a screen sharing receiving means for displaying the display screen received from the projection display apparatus on the display means, and displaying on the display means a display image common to an external projection display apparatus connected via a network. It is characterized by that.
[0018]
According to a seventh aspect of the present invention, in the projection display device according to the sixth aspect, one of the two projection means has the same screen data as the screen data projected on the display means by the other projection means. It is a virtual display means that replicates data and virtually displays the data.
[0019]
According to an eighth aspect of the present invention, in the projection display device according to any one of the first to seventh aspects, the projection unit and the imaging unit or the measurement unit are provided on the same side of the display unit. In addition, a writing image can be formed on a surface opposite to the side on which the projection unit and the imaging unit or the measurement unit are provided with respect to the display unit.
[0020]
A ninth aspect of the present invention is a method for remotely sharing a display image using a projection type display device in which a plurality of the projection type display devices according to the fifth aspect are connected via a network, and functions as a server. One projection type document display device that functions as a client for a display image of an electronic document displayed on a display means by an application activated by the projection type document display device itself that functions as a server. The display image received via the network from the imaging means of the type display device is displayed superimposed on the display image of the electronic document displayed on the display means at a predetermined transparency, and the display image is shared on the screen. Is the projection display device functioning as a client transmitted to the projection display device on the client side by the transmission means, and is the projection display device functioning as a server? The received display image is displayed on the display means by the screen sharing receiving means, and the display image received from the projection display device functioning as a server is displayed on the display image displayed on the display means with a predetermined transparency. It is characterized by doing.
[0021]
A tenth aspect of the present invention is a display image remote sharing method using a projection type display device in which a plurality of the projection type display devices according to the fifth aspect are connected via a network, and functions as a server. The one projection display device that functions as a client with respect to the display image of the electronic document displayed on the display means by an application activated by the projection document display device itself that functions as a server. The display image received via the network from the imaging means of the projection display device and the display image from the imaging means of the projection type display device itself functioning as a server are displayed on the display image of the electronic document displayed on the display means. Thus, the images are displayed in an overlapped manner with a predetermined transparency, and the display image is transmitted to the client side projection type document display device by the screen sharing transmission means. And, a projection type display device functioning as a client, a display image received from the projection display apparatus functioning as a server, and displaying on the display means by the screen sharing receiving means.
[0022]
The invention described in claim 11 is a method for remotely sharing a display image using a projection display device, wherein a plurality of the projection display devices described in claim 6 are connected via a network, and functions as a server. In the first projection display device, the first projection unit projects the display image of the electronic document displayed on the display unit by an application activated by the projection display device itself functioning as a server, and the display unit. The display image to be displayed is transmitted to the projection display device on the client side by the screen sharing transmission means, and the second projection means transmits the network from at least one imaging means of the projection display device functioning as a client to the network. A projection display device that projects a display image received via the display unit and functions as a client is used as a server in the first projection unit. The display image received from the projection display device is projected onto the display means using the screen sharing receiving means, and the second projection means projects the display image received from the server-side projection display apparatus onto the display means. It is characterized by doing.
[0023]
A twelfth aspect of the present invention is a display image remote sharing method using a projection type display device in which a plurality of the projection type display devices according to the sixth aspect are connected via a network, and functions as a server. In the first projection type display device, the first projection unit projects the display image of the electronic document displayed on the display unit by the application activated by the projection type display device itself functioning as a server. At the same time, the display image is transmitted to the projection display device on the client side by the screen sharing transmission means, and the second projection means establishes a network from the imaging means of one projection display device that functions as a client. A display image received via the projector is projected onto the display means, and on the other hand, up to one projector can be connected to the projection display device functioning as one server The projection type display apparatus displays the display image received from the projection type display apparatus functioning as a server on the display means by the screen sharing receiving means, and displays the display image displayed on the display means on the server side projection type display apparatus. The display image received from is displayed in a superimposed manner at a predetermined transparency.
[0024]
A thirteenth aspect of the invention is a method for remotely sharing a display image using a projection type display device in which a plurality of projection type display devices according to the sixth aspect are connected via a network, and functions as a server. In the first projection unit, the first projection unit serves as a server for the display image of the electronic document displayed on the display unit by an application activated by the projection display unit itself functioning as a server. The display image from the imaging means of the functioning projection display device itself is displayed in a superimposed manner at a predetermined transparency, and the display image displayed in an overlapping manner is transmitted to the projection display device on the client side by the screen sharing transmission means. In the second projection means, the display image received via the network from the imaging means of one projection type display device functioning as a client is projected onto the display means. On the other hand, a projection display device on the client side that can be connected to one projection display device functioning as one server displays a display image received from the projection display device functioning as a server on the screen. Displayed on the display means by the shared receiving means.
[0025]
A fourteenth aspect of the present invention is a method of remotely sharing a display image using a projection type display device in which a plurality of the projection type display devices according to the sixth aspect are connected via a network, and functions as a server. The one projection display device has a total of two projection means, that is, a projection means and a virtual display means, each transmitting a separate video signal. In the projection means, the projection display apparatus itself that functions as a server With respect to the display image of the electronic document displayed on the display means by the activated application, a display image received via the network from the imaging means of one projection type display device functioning as a client has a predetermined transparency. The projected image displayed on the display means is projected onto the display means, while the virtual display means is an application in which the projection display device itself functioning as a server is activated. The virtual image of the display image obtained from the imaging means of the projection display device itself that functions as a server is generated with respect to the image data. The display image of the electronic document virtually displayed by the means is virtually displayed with a predetermined transparency, and the virtual screen is transmitted to the projection display device on the client side by the screen sharing transmission means. On the other hand, a projection display device on the client side that can be connected to one projection display device that functions as one server shares a display image received from the projection display device that functions as a server. It displays on a display means by a receiving means, It is characterized by the above-mentioned.
[0026]
A fifteenth aspect of the present invention is a method for remotely sharing a display image using a projection type display device in which a plurality of the projection type display devices according to the sixth aspect are connected via a network, and functions as a server. The one projection type display device has a total of two projection means, that is, a projection means and a virtual display means. The virtual display means receives the same image data as the image projected on the display means by the projection means. At least one unit that functions as a client with respect to a display image of an electronic document displayed on the display unit by an application activated by the projection display device itself that functions as a server. The display image received from the imaging unit of the above projection display device via the network is projected on the display unit with a predetermined transparency, and the display image is projected onto the display unit. In the virtual display means, the same display image displayed on the display means by the projection means is virtually displayed on the display means, and the virtual display image is displayed on the client side by the screen sharing receiving means. On the other hand, at least one projection display device that can be connected to a projection display device that functions as one server receives a display received from the projection display device that functions as a server. The image is displayed on the display means by the screen sharing receiving means.
[0027]
A sixteenth aspect of the present invention is a method for remotely sharing a display image using a projection type display device in which a plurality of the projection type display devices according to the fifth aspect are connected via a network, and functions as a server. At least one projection display device that functions as a client for the display image of the electronic document displayed on the display means by an application activated by the projection display device itself that functions as a server. Any one of the three data received from the imaging means of the projection display device via the network, and the data obtained from the measurement means of the projection display device itself functioning as a server, an image sequence that changes in time series Or, it is converted into video data and displayed on the display image of the electronic document that is displayed on the display means, with a predetermined transparency. The display image is sent to the client-side projection display device by the screen sharing transmission means, while the client-side projection display device receives the display image received from the projection display device functioning as a server, The image is displayed on the display means by the screen sharing receiving means.
[0028]
According to a seventeenth aspect of the present invention, there is provided a display image remote sharing method using a projection type display device in which a plurality of the projection type display devices according to the sixth aspect are connected via a network, and functions as a server. In the first projection type display device, the first projection unit projects the display image of the electronic document displayed on the display unit by the application activated by the projection type display device itself functioning as a server. At the same time, the display image is transmitted to the projection display device on the client side by the screen sharing transmission means, and the second projection means establishes a network from the imaging means of one projection display device that functions as a client. Any one of the three data received via the data and the data obtained from the measuring means of the projection display device itself functioning as a server are changed in time series. On the other hand, the projection display device on the client side converts the display image received from the projection display device functioning as a server into the screen on the screen. Projected on the display means by the shared receiving means, and in the second projection means, any one of the three data received from the projection display apparatus functioning as a server, and the measurement means of the projection display apparatus itself functioning as the server The data obtained from the above is converted into a time-sequentially changing image sequence or video data and projected onto the display means.
[0029]
The invention described in claim 18 is a remote sharing method of a display image using a projection display device in which a plurality of projection display devices according to claim 6 are connected via a network, and functions as a server. In the first projection type display device, the first projection unit projects the display image of the electronic document displayed on the display unit by the application activated by the projection type display device itself functioning as a server. At the same time, the display image is transmitted to the projection display device on the client side by the screen sharing transmission means, and the second projection means establishes a network from the imaging means of one projection display device that functions as a client. Any one of the three data received via the data and the data obtained from the measuring means of the projection display device itself functioning as a server are changed in time series. On the other hand, the projection display device functioning as a client converts the display image received from the projection display device functioning as a server to the display means by the screen sharing receiving means. An image sequence that changes in time series, any one of the three data received from the projection display device that functions as a server, and the data obtained from the measurement means of the projection display device itself that functions as a server, Alternatively, the image data is converted into video data and displayed in a superimposed manner at a predetermined transparency.
[0030]
A nineteenth aspect of the invention is a display image remote sharing method using a projection type display device in which a plurality of the projection type display devices according to the sixth aspect are connected via a network, and functions as a server. The one projection type display device has a total of two projection means, that is, a projection means and a virtual display means, and transmits separate video signals, and the projection means functions as a server in the projection means. One of three data received via a network from one projection display device functioning as a client for the display image of the electronic document displayed on the display means by the application running on itself, and Data obtained from the measuring means of the projection display device itself that functions as a server is converted into an image sequence or video data that changes in time series and displayed on the display means. On the other hand, the virtual display means displays the image on the display means with an application activated by the projection display device itself that functions as a server. The data obtained from the measuring means of the projection display device itself that functions as a server is converted into a time-varying image sequence or video data. The display image of the electronic document that is converted and virtually displayed on the virtual display means is displayed in a virtual manner with a predetermined transparency, and the virtual screen is projected on the client side by the screen sharing transmission means. The projection display device that functions as a client transmits a display image received from the projection display device that functions as a server. Is displayed on the display means using the screen sharing receiving means, and any one of the three data received from the projection display apparatus functioning as a server, and the measurement means of the projection display apparatus itself functioning as a server The obtained data is converted into a time-sequentially changing image sequence or video data, and is displayed in a superimposed manner at a predetermined transparency.
[0031]
A twentieth aspect of the invention is a method for remotely sharing a display image using a projection type display device in which a plurality of the projection type display devices according to the sixth aspect are connected via a network, and functions as a server. The one projection display device has a total of two projection means, that is, a projection means and a virtual display means, and the virtual display means reproduces the same image data as the image projected by the projection means. In the projection means, the projection means displays at least one or more functions as a client for the display image of the electronic document displayed on the display means by an application activated by the projection display device itself functioning as a server. One of the three data received from the projection display device via the network, and the data obtained from the measurement means of the projection display device itself functioning as a server Time-series image sequence or video data is converted into video data and displayed on the display means in an overlapping manner with a predetermined transparency on the display image of the electronic document, and the display image is shared on the screen The transmission means transmits to the projection type display device on the client side, while the virtual display means virtually displays the same display image as the display image displayed on the display means by the projection means, and the virtual display image is A client-side projection display device that can be connected to at least one projection-type display device that transmits to the client-side projection-type display device by the screen sharing transmission unit and functions as one server is a server. The display image received from the projection display device functioning as a display is displayed on the display means by the screen sharing receiving means.
[0032]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0033]
As shown in FIG. 1, the communication system according to the present invention is configured by connecting at least two projection display devices via a network. Hereinafter, the configuration of the projection display device that constitutes the communication system will be described with reference to FIG.
[0034]
The projection display device includes a screen (display means) (1) for displaying image data, a projector (projection means) (2) for projecting image data onto the screen (1), and a screen (1). A video camera (imaging means) (3) for photographing the above image data and an information processing means (4) for controlling the projection display device are provided.
[0035]
In the projection display device having the above-described configuration, image data is projected from the projector (2) onto the screen (1), and image data on the screen (1) is captured by the video camera (3). Will be. The projection display apparatus according to the present embodiment can write characters on the screen (1). As a method for writing characters on the screen (1), for example, a general whiteboard can be used. Characters are written from the surface (writing surface) opposite to the surface (projection surface) projected by the projector (2) using the water-based magic ink pen for use. The written image is taken by the video camera (3) from the projection surface side.
[0036]
The information processing means (4) for controlling the projection display device is, for example, a general personal computer (PC), and the document data (7) to be displayed on the screen (1) is converted into the document data (7). It is displayed on the screen (1) using the associated application software.
[0037]
Note that, as shown in FIG. 1, the bonding software (6) included in the video encoder (5) has a video camera (3) when characters are written on the screen (1) by the user. ) By taking a written image on the screen (1) as a still image, and performing image processing such as threshold processing for noise such as shadows caused by a human hand or body on the captured still image. After the removal, the position and size are adjusted so as to be the same position and the same size as the document data (7) displayed on the screen (1) by the projector (2), for example, as bitmap image data, It is pasted on the document data (7) (bitmap pasting shown in FIG. 1).
[0038]
As shown in FIG. 1, the video encoder (5) is an external projection display device in which video images obtained by capturing image data on the screen (1) with a video camera (3) are connected via a network. It has the function to transmit to. A function like a so-called network camera is provided.
[0039]
The projection display device constituting the network communication system according to the present invention is a video image (S1 shown in FIG. 1) taken by a video camera (3) of an external projection display device connected via a network. And an application for performing a predetermined process on the received video image and displaying it on the screen (1) (video player (8) shown in FIG. 1). This video player (8) has a function of displaying an unwritten area on the foreground of the desktop area on the screen (1) so that it is transparent. In the following, with reference to FIG. 2, the video image received from the external projection display device is processed so that the unwritten area becomes transparent, and the foreground on the screen (1) is displayed. The processing operation until it is displayed on will be described.
[0040]
First, image processing such as noise removal is performed on a video image received from an external projection display device (step S1). Next, threshold processing is performed so that the value of a pixel brighter than a certain threshold is white (0xFFFFFFFF) (step S2). Next, the pixel that has become white (0xFFFFFFFF) by the previous threshold processing is made transparent (step S3) and displayed on the foreground of the desktop on the screen (step S4). Note that the processing in step S4 can be realized by using, for example, an API called UpDateLayered Window of Microsoft Windows (R) 2000. As a result, the display image on the screen (1) on which the document data is displayed is overlaid with the video image writing image received from the external projection display device connected via the network. become. Note that this can also be realized by a method of acquiring the handle of the desktop or the application that is opening the document data and writing the image data directly in the device context. Finally, the size and positional relationship of the video image writing image received from the external projection display device and the size of the display image displayed on the screen (1) of the reception-side projection display device are displayed. And adjustment so as to coincide with the positional relationship (step S5). An example of this is shown in FIG.
[0041]
As described above, in the communication system according to the present invention, a plurality of projection display devices are connected via a network, and a video image captured by a video camera included in the projection display device is externally projected via the network. The video image received from the external projection display device is transmitted to the display device, and the video image captured by the video camera of the external projection display device is received and the processing shown in FIG. 2 is performed. Translucently, the size and positional relationship are adjusted, and the written image is displayed on the foreground on the screen (1). As a result, the written image written on the screen (1) of the external projection display device connected via the network is displayed in real time on the screen (1) of the reception-side projection display device. As a result, the written image on the screen (1) of the projection-type display device on the transmission side can be grasped.
[0042]
(First embodiment)
First, the communication system in the first embodiment will be described with reference to FIG.
[0043]
A communication system according to a first embodiment includes a projector that projects image data on a screen, a screen having a writable display surface for a display image of document data displayed on the screen, and writing contents A video camera that optically shoots the image data by photoelectric conversion, and writing data of the video data captured by the video camera with respect to the display image of the document data displayed on the screen, and An information processing unit that adjusts the size and pastes the original document data and a plurality of projection display devices that are configured are connected via a network.
[0044]
Then, the video image obtained from the video camera included in the projection display device is transmitted to the external projection display device via the network, and the video image received from the external projection display device is transmitted to the projection display device. The display image of the document data displayed on the screen provided is superimposed and displayed at a predetermined transparency. The processing operation of the communication system in the first embodiment shown in FIG. 1 will be described below.
[0045]
First, a video image captured by the video camera (3) included in the first projection display device (right side in FIG. 1) is transmitted to the second projection display device (left side shown in FIG. 1) via the network. (S1 shown in FIG. 1). Next, the second projection display device performs the processing shown in FIG. 2 on the video player (8) with respect to the video image received from the first projection display device. Document data (7) is superimposed and displayed on the screen (1) by the projector (2). Then, the handwritten state written on the screen (1) is photographed by the video camera (3), and the photographed video image is transmitted to the first projection display device (shown in FIG. 1). S3). However, in practice, an image projected on the screen by the projector is also displayed, but the component is gradually reduced in the process shown in FIG. In the first projection display device, the same processing as that of the second projection display device described above is performed to display on the screen (1) included in the first projection display device.
[0046]
In this way, in a bidirectional projection display device connected via a network, it is possible to grasp in real time what is written on the screen (1) of the counterpart projection display device. Since the written image is displayed on the screen (1) so as to overlap with the document data, a separate display area is not required, and the editing process of the document data can be easily performed.
[0047]
The written image on the screen (1) is taken by the video camera (3), and the taken written image is pasted on the document data (7). Then, by synchronizing the document data, the document data can be collaboratively created (S2 shown in FIG. 1). The document data synchronization process will be described below. Note that the document data synchronization processing, which is the processing of S2, is performed using an application (common electronic document display means) that performs document data synchronization processing.
[0048]
For this application (common electronic document display means), the network address (IP address) of each other and the path of the projection display device for the synchronized document data are designated.
[0049]
For example, the document data of the second projection type display device (left c: \ mysync \ cooperation.doc shown in FIG. 1) and the document data of the first projection type ideographic device (right side d: \ mysync \ shown in FIG. 1). 20000723 ¥ cooperation.doc).
[0050]
Then, the document data is edited on the second projection display device, the written image is pasted on the screen (1), the document data is overwritten and saved, and the same document data is also stored on the first projection display device. When displaying on the screen (1), this synchronization processing is performed.
[0051]
First, when the synchronization process is started, the document data of the second projection display device is transmitted to the first projection display device. When the first projection display device receives the document data, the first projection display device receives the document data. The document data (d: ¥ mysync ¥ 20030723 ¥ cooperation.doc) of the projection display device is overwritten with the document data received from the second projection display device. Actually, when the second projection display device opens the document data to be overwritten, the document data cannot be accessed from another program (this synchronization program). If this is the case, the document data is closed and the document data is overwritten.
[0052]
It is also possible to synchronize the document data edited with the second projection display device with the first projection display device. In this way, synchronization processing is performed as necessary, and the same document data can be opened on both projection display devices and displayed on the screen (1), so that collaborative creation of document data can be easily performed. It becomes possible.
[0053]
(Second Embodiment)
Next, a second embodiment will be described.
In the communication system according to the second embodiment, the projection display device transmits a written image obtained by the video camera to an external projection display device connected via a network, and receives from the external projection display device. The written image is pasted on the document data of the projection type display device on the receiving side.
[0054]
As described above, in the second embodiment, in the communication system according to the first embodiment, a process of pasting a written image via the network (the process of S4 shown in FIG. 4) is newly added. It is a thing. Hereinafter, the operation of the pasting process of the written image via the network will be described. In order to clarify the pasting process, it is assumed that the projection display device functioning as a server (left side shown in FIG. 4) and the projection display device functioning as a client (right side shown in FIG. 4) are described. . Both the projection display device functioning as a server and the projection display device functioning as a client open the same document data, and the document data is displayed on the screen by the projector of each projection display device. Is projected.
[0055]
First, a panel for pasting a written image received from a projection display device functioning as a client to document data is clicked with the mouse of the PC, and the pasting process is started. Then, the video camera (3) included in the projection display device (right side shown in FIG. 4) functioning as a client captures the display image displayed on the screen (1) as a still image. At that time, the projection light from the projector (2) is shielded at the moment of photographing so that the image projected on the screen (1) by the projector (2) is not reflected. For example, using a shutter or the like, the projection light is shielded at the time of taking a still image. Next, the still image captured by the video camera (3) is transmitted via a network to a projection display device (left side shown in FIG. 4) functioning as a server (S4 shown in FIG. 4). ).
[0056]
Next, upon receiving a still image from the projection display device functioning as a client, the projection display device functioning as a server receives a video encoder (5) combining software (6) included in the projection display device functioning as a server. ), Noises such as shadows caused by human hands and bodies are removed from the still image received from the projection display device functioning as a client by performing image processing such as threshold processing, The projector (2) is adjusted so as to be the same position and the same size as the document data (7) displayed on the screen (1), and is pasted on the document data (7) as, for example, bitmap image data. (Bitmap pasting shown in FIG. 4).
[0057]
Note that in the projection display device functioning as a server, what is written on the screen of the projection display device functioning as a client by a video image received from the projection display device functioning as a client. Is displayed on the screen in real time, the content written on the screen on the projection display device functioning as a client is confirmed, and the written image on the client display projection device is It can be pasted on the document data of the projection display device on the side.
[0058]
Also, when the roles of the server-side projection display device and the client-side projection display device are reversed (the written image in the server-side projection display device is pasted to the electronic document of the client-side projection display device) In this case, the same processing is performed.
[0059]
In this way, an external projection display device connected via a network performs the same processing as when pasting a writing image captured from a video camera included in the projection display device itself functioning as a server to document data. It is possible to receive a written image photographed by the video camera included in and paste the received written image to the document data.
[0060]
Further, by displaying common document data on the screen (1) in a plurality of projection display devices connected via a network, cooperative editing of document data becomes possible.
[0061]
For example, an application that can be controlled simultaneously from a plurality of PCs, such as a NetMeeting whiteboard application, is used. Or, a duplicate document of document data is created in a projection display device functioning as a server, the created duplicate document is opened in an application in each projection type display device, and a written image is pasted on the opened duplicate document. After the editing process is performed, the duplicate document of each projection display device is synchronized at a desired timing, the contents of the document data are matched, and then the document data is reopened.
[0062]
The communication system shown in FIG. 4 transmits a still image only from the projection display device functioning as a client to the projection display device functioning as a server (S4 shown in FIG. 4). It is also possible to transmit in both directions.
[0063]
In addition, it is preferable to shoot a real-time video image at a lower resolution and reduce the amount of communication than when shooting a still image for pasting. Also, it is preferable to reduce the amount of communication by reducing the frame rate of the video, for example, by one frame per second.
[0064]
In addition, each projection type display device includes a microphone, a speaker, and a means for performing voice communication, so that both can communicate with each other using voice information as an auxiliary means.
[0065]
(Third embodiment)
Next, a third embodiment will be described.
In the communication system according to the third embodiment, the information processing means included in the projection display device is configured such that part or all of the screen data to be displayed on the screen is externally connected via a network to the projection display device. The screen sharing server function for transmitting to the screen and the screen sharing client function for displaying the screen data received from the external projection display device on the screen, the screen data common to both projection display devices is displayed on the screen. It is configured to have a screen sharing function that makes it possible.
[0066]
Then, one projection display device functioning as a server is connected via a network to document data displayed on the screen by an application activated by the projection display device itself functioning as the server. The video image received from one projection display device functioning as a client is superimposed and displayed at a predetermined transparency, and the displayed shared screen data is projected on the client side by the screen sharing server function. Send to type display device. The projection display device on the client side displays the shared screen data received from the projection display device on the server side on the screen by the screen sharing client function, and for the shared screen data displayed on the screen, The video image received from the server-side projection display device is displayed in an overlapping manner with a predetermined transparency.
[0067]
As described above, the communication system according to the third embodiment is a software (screen sharing (9) shown in FIG. 5) equipped with a screen sharing function such as VNC (Virtual Network Computing) or Microsoft Net Meeting. Is used to share the screen and accurately align the written image. The processing operation in the third embodiment will be described below with reference to FIG.
[0068]
In the third embodiment, processing operations when screen sharing is performed using VNC will be described.
[0069]
First, a projection display device functioning as a VNC server (left side shown in FIG. 5) and a projection display device functioning as a VNC client (right side shown in FIG. 5) are connected one-to-one. Suppose you are sharing a screen. The document data to be collaboratively edited is activated only by the server-side projection display device.
[0070]
In the server-side projection display device, the document data is opened by an application, and the written image of the client-side projection display device connected via the network is semi-transparently superimposed on the opened document data. (1) Display on the top front. Further, the superimposed image data is screen shared by the screen sharing server function (9). Then, the shared image data subjected to the screen sharing is transmitted to the projection display device on the client side.
[0071]
Next, in the projection display device on the client side, instead of opening the document data, the shared screen data transmitted from the projection display device on the server side is displayed on the screen (1) using the screen sharing client function (9). Will be displayed. Then, on the shared screen data displayed on the screen (1), a video image writing image received from the projection display device on the server side is translucently superimposed via the video player (8), and the screen ( 1) It will be displayed on the top front.
[0072]
As a result, the same screen data can be displayed on the screen (1) on both the server side and the client side, and at the same time written on each screen (1). It is also possible to display the written images in a superimposed manner, and it is possible to grasp what the other party is writing on the screen (1). However, the written image on the client side is redundantly displayed on the screen (1) of the projection display device on the client side by the screen sharing client function (9).
[0073]
Similarly to the second embodiment, the server-side projection display device captures a still image written from the video camera (3) included in the client-side projection display device, and performs server-side projection display. It is also possible to paste the position and size of the document data that is open in the apparatus together (bitmap pasting shown in FIG. 5).
[0074]
Next, the processing operation of the communication system in the third embodiment shown in FIG. 5 will be described. Note that the following numbers indicate the numbers of processing operations in the drawings.
[0075]
(Processing operation of a projection display device functioning as a server)
1. A video image on the client side is received, and a screen on which the received video image is translucently displayed is displayed on the screen.
2. Receives the written image taken by the video camera on the client side and pastes it into the document data. Also, the written image taken by the server's own video camera is pasted on the document data.
3. The client side video image is semi-transparently superimposed on the server's own document data and screen shared, and the shared screen data is transmitted to the client side.
4). Video images taken by the server-side video camera are sent to the client side.
[0076]
(Processing operation of a projection display device functioning as a client)
1. The video image taken by the video camera on the client side is transmitted to the server side.
2. The written image taken by the video camera on the client side is transmitted to the server side.
3. The shared screen data sent from the server side is received and displayed on the screen.
4). A video image transmitted from the server side is received, and a screen on which the received video image is semitransparently superimposed is displayed on the screen.
[0077]
(Fourth embodiment)
Next, a fourth embodiment will be described.
In the communication system according to the fourth embodiment, the information processing means included in the projection display device includes an external projection display device in which part or all of screen data to be displayed on the screen is connected via a network. The screen sharing server function for transmitting to the screen and the screen sharing client function for displaying the screen data received from the external projection display device on the screen, the screen data common to both projection display devices is displayed on the screen. It is configured to have a screen sharing function that makes it possible.
[0078]
One projection display device functioning as a server has at least one functioning as a client for document data displayed on a screen by an application activated by the projection display device itself functioning as a server. A video image captured by a video camera of a projection display device or more is received via a network, and the received video image and a video image acquired from the video camera of the projection display device itself functioning as a server The image of the document data displayed on the screen via the video player is displayed in an overlapping manner at a predetermined transparency, and the displayed image is displayed on the client side by the screen sharing server function. The projection display device on the client side transmits to the projection display device, and It is characterized in that to display the shared screen data received from the mold display on the screen by the screen sharing client function.
[0079]
As described above, the communication system according to the fourth embodiment reduces the amount of communication by sharing a plurality of written images using the screen sharing server function (9) of the projection display device functioning as a server. It is characterized by reducing. The processing operation of the communication system in the fourth embodiment will be described below with reference to FIG.
[0080]
In the communication system according to the fourth embodiment, a projection display device functioning as a VNC server and a projection display device functioning as one or more VNC clients are connected in a one-to-many manner. This is a system configuration for screen sharing. Further, it is assumed that the document data to be collaboratively edited is activated only on the projection display device on the server side. The system configuration of the communication system in the fourth embodiment is different from the system configuration of the communication system in the third embodiment, and communication is possible with three or more projection display devices.
[0081]
In the server-side projection display device, the document data is opened by an application, and images written on the server-side projection display device and all the client-side projection display devices are superimposed on the screen (1). ) Display in the top front. Then, the overlapped screen data is shared by the screen sharing server function (9), and the shared screen data is transmitted to the projection display device on the client side. In the projection display device on the client side, the shared screen data received from the projection display device on the client side is displayed on the screen (1) using the screen sharing client function (9).
[0082]
As a result, the same document data can be displayed on the screen (1) in the projection display devices on both the server side and the client side, and at the same time, the written images of all the projection display devices are superimposed. And the written image written on the screen (1) of the other projection display device can be grasped. However, the written image of each client-side projection display device is redundantly displayed on the screen (1) of the client-side projection display device.
[0083]
Similarly to the second embodiment, the server-side projection display device captures a still image written from the video camera (3) included in the client-side projection display device, and performs server-side projection display. It is also possible to paste the position and size of the document data that is open in the apparatus.
[0084]
Next, the processing operation of the communication system in the fourth embodiment shown in FIG. 6 will be described. Note that the following numbers indicate the numbers of processing operations in the drawings.
[0085]
(Processing operation of a projection display device functioning as a server)
1. The video images from all the clients are received, and a screen in which the video images from the server and the video images received from all the clients are superimposed on each other is displayed on the screen.
2. Receives a written image taken with an arbitrary client-side video camera and pastes it into the document data.
3. Screen sharing of semi-transparent video images from the server side and all client sides is shared, and the shared screen data is transmitted to all client sides.
4). Take a written image from the server's own video camera and paste it into the document data.
[0086]
(Processing operation of a projection display device functioning as a client)
1. The video image taken by the video camera on the client side is transmitted to the server side.
2. The written image taken by the video camera on the client side is transmitted to the server side.
3. The shared screen data transmitted from the server side is received, and the received shared screen data is displayed on the screen.
[0087]
(Fifth embodiment)
Next, a fifth embodiment will be described.
In the communication system according to the fifth embodiment, the projection display apparatus has two projectors whose optical systems are designed to illuminate the same area on the screen, and the information processing means of the projection display apparatus includes: A screen that transmits separate video signals to two projectors and transmits part or all of screen data to be displayed on the screen to an external projection display device connected via a network. With a shared server function, a screen sharing client function that displays screen data received from an external projection display device on the screen, and a screen sharing function that can display common screen data on the screen. Composed.
[0088]
Then, in one projection display device functioning as a server, in the first projector, the document data displayed on the screen is displayed on the screen by the application activated by the projection display device itself functioning as the server. In addition to projecting, the shared image data is transmitted to the projection display device on the client side by the screen sharing server function, and the second projector has a network from at least one video camera of the projection display device functioning as a client. On the other hand, the projection display device on the client side projects the shared screen data received from the projection display device on the server side to the screen sharing client function. Projecting on the screen, and in the second projector, the server It is characterized in projecting the video image received from the projection type display device on the screen.
[0089]
As described above, in the communication system according to the fifth embodiment, in the projection display device functioning as a server, the screen image is shared by the screen sharing server function (screen sharing S shown in FIG. 7). In addition, by mounting two projectors (2) (the projector and the second projector shown in FIG. 7) and illuminating the same area on the screen (1), it is possible to reduce the load of screen sharing processing. It is a feature. The processing operation of the communication system in the fifth embodiment will be described below with reference to FIG.
[0090]
The information processing means of the projection type document display device transmits separate video signals to the two projectors. That is, a video driver compatible with dual display is used.
[0091]
In addition, since it is not necessary to perform screen sharing for video images, the processing load for screen sharing is reduced. In addition, since it is not necessary to make the video image transparent and superimpose, the processing load for screen sharing is reduced.
[0092]
Next, the processing operation of the communication system in the fifth embodiment shown in FIG. 7 will be described. Note that the following numbers indicate the numbers of processing operations in the drawings.
[0093]
(Processing operation of a projection display device functioning as a server)
1. The video images of all the clients are received, and the screen data obtained by superimposing the received video images of all the clients on a semi-transparent screen is displayed on the screen by the second projector.
2. Receives a written image taken with an arbitrary client-side video camera and pastes it into the document data.
3. The document data is displayed on the screen by the first projector, and the shared screen data that is screen-shared is transmitted to all clients.
4). Video images taken by the server-side video camera are sent to all clients.
[0094]
(Processing operation of a projection display device functioning as a client)
1. The video image taken by the video camera on the client side is transmitted to the server side.
2. The written image taken by the video camera on the client side is transmitted to the server side.
3. The server-side shared screen data is received, and the received server-side shared screen data is displayed on the screen by the first projector.
4). The server side video image is received, and the received server side video image is displayed on the screen by the second projector.
[0095]
(Sixth embodiment)
Next, a sixth embodiment will be described.
In the communication system according to the sixth embodiment, the information processing means included in the projection display device is an external projection display device in which part or all of screen data to be displayed on the screen is connected via a network. Screen sharing server function to send to the screen and screen sharing client function to display the screen data received from the external projection display device on the screen, the screen sharing that can display the common screen data on the screen It has a function.
[0096]
One projection display device functioning as a server has two projectors whose optical systems are designed to illuminate the same area of the screen, and the information processing means included in the projection display device Transmits separate video signals to the two projectors, and the first projector displays the document data displayed on the screen by the application activated by the projection display device itself that functions as a server. In addition to projecting on the screen, the shared image data is transmitted to the projection display device on the client side by the screen sharing server function. In the second projector, the projector of one projection type document display device that functions as a client is used. The video image received via the network is projected on the screen. On the other hand, a projection display device on the client side that can be connected to one projection display device that functions as one server is configured to receive screen data received from the projection display device that functions as a server as a screen sharing client. The video image is displayed on the screen by a function, and the video image received from the projection display device on the server side is displayed on the display image with a predetermined transparency.
[0097]
As described above, the communication system according to the sixth embodiment includes only two projectors on the server-side projection display apparatus. Since the projection display device on the client side has one projector, the video images are made transparent and overlapped. Only one projection display device on the client side can be connected. However, when the system is configured as a client dedicated machine, the cost is reduced by the number of projectors.
[0098]
Next, processing operations of the communication system in the sixth embodiment shown in FIG. 8 will be described. Note that the following numbers indicate the numbers of processing operations in the drawings.
[0099]
(Processing operation of a projection display device functioning as a server)
1. The video image on the client side is received, and the received video image on the client side is displayed on the screen by the second projector.
2. A written image taken by the video camera on the client side is received, and the received written image is pasted on the document data. Also, a written image is taken from the server's own video camera and pasted on the document data.
3. The document data is displayed on the screen by the first projector, the document data is screen-shared, and the shared screen data is transmitted to the client.
4). Video images taken by the server-side video camera are sent to the client side.
[0100]
(Processing operation of a projection display device functioning as a client)
1. The video image taken from the client's own video camera is transmitted to the server side.
2. The written image taken from the client's own video camera is transmitted to the server side.
3.4. The server-side shared screen data is received, the server-side video image is received, and a screen on which the server-side video image is semitransparently superimposed is displayed on the screen on the server-side shared screen.
In the communication system according to the sixth embodiment, the projection method on the client side has two projectors, and the above method can be performed.
[0101]
Next, a seventh embodiment will be described.
In the communication system according to the seventh embodiment, the information processing means included in the projection display device is an external projection display device in which part or all of screen data to be displayed on the screen is connected via a network. Screen sharing server function to send to the screen and screen sharing client function to display the screen data received from the external projection display device on the screen, the screen sharing that can display the common screen data on the screen It has a function.
[0102]
One projection display device functioning as a server has two projectors whose optical systems are designed to illuminate the same area on the screen, and the information processing means included in the projection display device includes: Separate video signals are transmitted to the two projectors, and the first projector responds to the document data displayed on the screen by the application activated by the projection display device that functions as a server. The video image from the video camera of the projection display device itself that functions as a server is superimposed on the document data displayed on the screen at a predetermined transparency, and the shared screen data is shared with the screen. One server functioning as a client is transmitted to the projection display device on the client side by the server function. A video image captured by a video camera of a projection display device is received via a network, and the received video image is projected on a screen, while the projection display device functions as a single server. The projection display device on the client side that can be connected to one unit displays the shared screen data received from the projection display device functioning as a server on the screen by the screen sharing client function. .
[0103]
As described above, the communication system in the seventh embodiment has only two projectors only in the projection display device that functions as a server, and further functions as a client with respect to the communication system in the sixth embodiment. The present invention is characterized in that the load on the projection display device is reduced, and conversely the load on the projection display device that functions as a server is increased. In the present embodiment, since the video image of the projection display device itself that functions as a server is screen-shared, the load of screen sharing processing is greater than that of the communication system in the sixth embodiment. However, as in the communication system in the fourth embodiment, the load is smaller than the case where the projection display device functioning as the server shares the video images of the projection display device on both the server side and the client side. It will be.
[0104]
On the other hand, since the projection display device functioning as the server processes the video image of the server itself by the screen sharing server function, the projection display device functioning as the client side displays the shared image data on the screen by the screen sharing client function. It is not necessary to display a semi-transparent layered video image on the server-side shared screen. As a result, it is not necessary to receive the video image on the server side, so that the communication efficiency is improved in some cases.
[0105]
Next, processing operations of the communication system in the seventh embodiment shown in FIG. 9 will be described. Note that the following numbers indicate the numbers of processing operations in the drawings.
[0106]
(Processing operation of a projection display device functioning as a server)
1. The video image on the client side is received, and the received video image on the client side is displayed on the screen by the second projector.
2. A written image taken from a video camera on the client side is received and pasted on the document data. Also, a written image is taken from the server's own video camera and pasted on the document data.
3. A screen on which the server-side video images are semitransparently superimposed is displayed on the screen by the first projector. In addition, the screen on which the video image on the server side is semitransparently shared is screen shared, and the shared screen data is transmitted to the client side.
[0107]
(Processing operation of a projection display device functioning as a client)
1. The video image taken by the video camera on the client side is transmitted to the server side.
2. The written image taken by the video camera on the client side is transmitted to the server side.
3. The shared screen data on the server side is received, and the received shared screen data is displayed on the screen.
[0108]
In the communication system according to the seventh embodiment, the above-described method can be performed by using two projectors on the client-side projection display device.
[0109]
(Eighth embodiment)
Next, an eighth embodiment will be described.
In the communication system according to the eighth embodiment, the information processing means included in the projection display device is an external projection display device in which part or all of screen data to be displayed on the screen is connected via a network. Screen sharing server function to send to the screen and screen sharing client function to display the screen data received from the external projection display device on the screen, the screen sharing that can display the common screen data on the screen It has a function.
[0110]
One projection display device functioning as a server is configured to include a total of two projection devices, ie, a projector and a virtual display device, and each transmits a separate video signal. Then, in the projector, a network from a video camera of one projection display device functioning as a client is applied to document data displayed on the screen by an application activated by the projection display device itself functioning as a server. The video image received via the screen is projected onto the screen with a predetermined transparency on the screen of the document data displayed on the screen, while the virtual display device Projection-type display that functions as a server for the duplicated screen data by creating a copy of the screen data of the document data displayed on the screen by an application that is running as a projection-type display device itself The video image from the device's own video camera is virtually displayed on the virtual display device. Respect to the document data are image, in a predetermined transparency, virtual view and superimposed, and transmits the virtual display screen, the screen sharing server function, the client side of the projection-type display device. On the other hand, a projection display device on the client side that can be connected to one projection display device that functions as one server is configured to receive screen data received from the projection display device that functions as a server as a screen sharing client. It is characterized by being displayed on the screen by function.
[0111]
As described above, the communication system according to the eighth embodiment captures screen data by the screen sharing server function capable of drawing at high speed on the virtual display screen and capturing the screen data of the virtual display screen. In addition, as software that activates the screen sharing server function on the virtual display screen and obtains screen data from the replication data of the virtual display screen drawing data, a VNC derivative software called VDAC VNC, Remote Administrator, Net Op, etc. Is mentioned.
[0112]
In addition, a screen in which the video data on the client side is semitransparently superimposed on the document data is projected on the screen by the projector, and the drawing signal is duplicated for the virtual display device. On the other hand, the video image on the server side is output only to the virtual display device side and is made semi-transparent on the virtual display screen and superimposed. Then, by sharing the screen on the virtual display screen, the screen sharing server function can capture the difference of the screen data at a higher speed than the actual drawing, thereby enabling smooth screen sharing.
[0113]
Next, the processing operation of the communication system in the eighth embodiment shown in FIG. 10 will be described. Note that the following numbers indicate the numbers of processing operations in the drawings.
[0114]
(Processing operation of a projection display device functioning as a server)
1. The client-side video image is received, and a screen on which the received client-side video image is semitransparently superimposed is displayed on the screen.
2. Receives the written image taken by the video camera on the client side and pastes it into the document data. Also, a written image is taken from the server's own video camera and pasted on the document data.
3. The screen data in which the video images on the client side are translucently superimposed are displayed on the virtual display screen (the screen drawing data is duplicated on the virtual display screen). Further, on the virtual display screen, a screen in which video images taken by the server-side video camera are semitransparently superimposed is displayed on the virtual screen. Then, the virtual screen is shared and the shared screen data is transmitted to the client side.
[0115]
(Processing operation of a projection display device functioning as a client)
1. The video image taken by the video camera on the client side is transmitted to the server side.
2. The written image taken by the video camera on the client side is transmitted to the server side.
3. The shared screen data on the server side is received, and the received shared screen data is displayed on the screen.
[0116]
(Ninth embodiment)
Next, a ninth embodiment will be described.
In the communication system according to the ninth embodiment, the information processing means included in the projection display device is an external projection display device in which part or all of screen data to be displayed on the screen is connected via a network. Screen sharing server function to send to the screen and the screen sharing client function to display the shared screen data received from the external projection display device on the screen, screen sharing that can display a common screen on the screen It has a function.
[0117]
Note that one projection display device that functions as a server is configured to include a total of two projection devices, a projector and a virtual display device, and the virtual display device projects onto a screen by the projector. It has a function of replicating and displaying the same screen data as the screen data being displayed.
[0118]
In the projector included in the projection display device functioning as a server, at least one functioning as a client with respect to document data displayed on the screen by an application activated by the projection display device itself functioning as the server. A video image received via a network from a projector of more than one projection display device is superimposed on the document data displayed on the screen by the projection display device itself functioning as a server at a predetermined transparency. On the other hand, the virtual display device virtually displays the screen data similar to the screen data displayed on the screen by the projector, and the virtual display screen is projected on the client side by the screen sharing server function. Send to type display device. On the other hand, a client-side projection display device that can be connected to at least one projection display device that functions as one server receives shared screen data received from the projection display device that functions as a server. It is characterized by being displayed on the screen by a screen sharing client function.
[0119]
As described above, the communication system according to the ninth embodiment displays a screen in which video images of the projection display devices on the server side and all the client sides are superimposed on the document data through the projector. While being displayed above, the drawing signal is duplicated on the virtual display screen, and the screen is shared on the virtual display screen. In this case, since the video image of the server-side projection display device itself is also displayed on the screen via the server-side projector, the video image becomes redundant. However, the present embodiment is different from the communication system according to the eighth embodiment. In the communication system of the embodiment, a projection display device that functions as a server can be connected to a projection display device that functions as a plurality of clients.
[0120]
Next, the processing operation of the communication system in the ninth embodiment shown in FIG. 11 will be described. Note that the following numbers indicate the numbers of processing operations in the drawings.
[0121]
(Processing operation of a projection display device functioning as a server)
1. The video images of all the clients are received, and a screen on which the video images of the server side and all the clients are semitransparently superimposed is displayed on the screen.
2. Receives a written image taken with an arbitrary client-side video camera and pastes it into document data. Also, a written image is taken from the server's own video camera and pasted on the document data.
3. A screen in which video images of the server side and all the client sides are semitransparently superimposed is displayed on the virtual display screen (screen drawing data is duplicated on the virtual display screen). Then, the virtual display screen is shared, and the shared screen data is transmitted to all clients.
[0122]
(Processing operation of a projection display device functioning as a client)
1. The video image taken by the video camera on the client side is transmitted to the server side.
2. The written image taken by the video camera on the client side is transmitted to the server side.
3. The shared screen data on the server side is received, and the received shared screen data is displayed on the screen.
[0123]
(Tenth embodiment)
Next, a tenth embodiment will be described.
In the communication system according to the tenth embodiment, a screen having a display surface capable of writing on document data displayed on the screen and a writing operation on the screen, Based on the digitizer that measures the coordinate data for writing and the writing coordinate data obtained from the digitizer, the image data is converted into image data, and the converted image data is converted into a position, And a plurality of projection display devices having an information processing unit that adjusts the size and pastes the original document data onto the original document data.
[0124]
Then, the projection display device receives at least one of the coordinate data obtained from the digitizer, the vector data representing the time series change of the coordinate data, or the image data expressing the vector data as an image. A function of transmitting to an external projection display device connected via the interface, and converting any one of the three data received from the external projection display device into a time-varying image sequence or video data Then, the image of the document data displayed on the screen is projected as an image or a drawing object with the function of displaying the document data in a predetermined transparency and the received data received from an external projection display device. The display device itself has a function to paste the document data that is open in the application. Composed of Te.
[0125]
As described above, the communication system according to the tenth embodiment does not shoot a written image written on the screen with a marker or the like with a video camera, but uses an infrared method, an ultrasonic method, or an electrostatic method. By the guidance, coordinate data of writing written on the screen is acquired by a digitizer, and the coordinate data acquired by the digitizer is represented by dots or lines and drawn on the screen. In addition to the means for acquiring coordinate data by a digitizer, it is also possible to acquire coordinate data based on drawing using a normal mouse.
[0126]
Next, the processing operation of the communication system in the tenth embodiment shown in FIG. 12 will be described. Note that the following numbers indicate the numbers of processing operations in the drawings.
[0127]
(Processing operation of the projection display device functioning as the server side)
1. The client side vector data is received, and a screen on which the received image data of the client side vector data is rendered semi-transparent and superimposed is displayed on the screen. Further, the vector data is pasted on the document data as a bitmap image.
2. Coordinate data acquired by the digitizer on the server side is converted to vector data and sent to the client side.
3. Document data is transmitted to the client side (synchronization processing with the server side).
[0128]
(Processing operation of the projection display device functioning as the client side)
1. Coordinate data acquired by the digitizer on the client side is converted into vector data and transmitted to the server side.
2. The server side vector data is received, and a screen on which the received server side vector data is rendered semi-transparent and superimposed is displayed on the screen. Further, the vector data is pasted on the document data as a bitmap image.
3. Document data is transmitted to the server side (synchronization processing with the client side).
[0129]
In the tenth embodiment, instead of pasting the bitmapped writing image on the document data, it is also possible to paste it as a drawing object, that is, a set of points and lines. is there. Further, there are the following three methods for communicating coordinate data acquired from a digitizer.
[0130]
First communication method. A method of sending the coordinate data itself.
Second communication method. How to send vector data.
Third communication method. A method in which coordinate data is imaged at the transmission source and transmitted as image data.
[0131]
Although the processing operation of the communication system in the tenth embodiment shown in FIG. 12 has been described based on the second communication method, it may be performed using the first communication method or the third communication method. Is possible. Hereinafter, processing operations of the first to third communication methods will be described with reference to FIGS. 13 to 15. 13 shows the first communication method, FIG. 14 shows the second communication method, and FIG. 15 shows the third communication method.
[0132]
(First communication method)
First, the first communication method will be described with reference to FIG.
Note that the server-side projection display device transmits the coordinate data itself acquired by the digitizer to the server-side projection display device itself and the external client-side projection display device connected via the network. The projection display device on the client side converts the coordinate data received from the projection display device on the server side into vector data, further images it, and opens it on the projection display device on the server side. It has a function of pasting on document data and a function of displaying the image in a semi-transparent manner on the foreground on the screen using the principle shown in FIG. 2 described in the first embodiment.
[0133]
First, the writing coordinate data written on the screen is acquired by the digitizer included in the projection display device on the server side (step S10). Next, the coordinate data acquired by the digitizer is transmitted to the projection display device on the client side (step S11), and the projection display device on the client side receives the coordinate data from the projection display device on the server side. (Step S12).
[0134]
Next, the projection display device on the client side converts the coordinate data received from the server side into vector data (step S13), further converts the converted vector data into an image, and converts it into a bitmap image. (Step S14). Next, the transparency processing shown in FIG. 2 described in the first embodiment is performed (step S15) and displayed on the foreground on the screen (step S16). When executing the pasting process (step S18), the image converted into the bitmap image is pasted to the document data (step S19).
[0135]
(Second communication method)
Next, the second communication method will be described with reference to FIG.
The server-side projection display device is based on the coordinate data acquired by the digitizer for the server-side projection display device itself and the external client-side projection display device connected via the network. The client-side projection display device images the vector data received from the server-side projection display device and opens it on the server-side projection display device. It has a function of pasting on document data and a function of displaying the image in a semi-transparent manner on the foreground on the screen using the principle shown in FIG. 2 described in the first embodiment. The second communication method shown in FIG. 14 is converted into vector data based on the coordinate data acquired from the digitizer in the projection display device on the server side in the first communication method shown in FIG. In step S21, the vector data is transmitted to the projection display device on the client side (step S22).
[0136]
(Third communication method)
Next, the third communication method will be described with reference to FIG.
The server-side projection display device is based on the coordinate data acquired by the digitizer for the server-side projection display device itself and the external client-side projection display device connected via the network. Further converted to vector data, and further having a function of transmitting the imaged bitmap image to the client side.The projection display device on the client side receives the bitmap image received from the projection display device on the server side, Using the function shown in FIG. 2 described in the first embodiment and the function of pasting to document data opened on the server-side projection display device, the image is displayed in a semi-transparent manner on the forefront of the screen. And a function to perform. The third communication method shown in FIG. 15 is converted into vector data based on the coordinate data acquired from the digitizer in the server-side projection display device in the first communication method shown in FIG. In step S31), based on the vector data, an image is formed (step S32), and the imaged bitmap image is transmitted to the projection display device on the client side (step S33). In the eleventh embodiment to the fifteenth embodiment, which will be described later, the processing operation of the communication system is described using vector data that is the second communication method. However, the first communication method and the third communication method are described. It is also possible to use. Further, when pasting the document data, a plurality of communication methods can be appropriately combined, such as using a third communication method. Also, the client-side projection display device discriminates the server-side projection display device and selectively displays a screen image on the screen or a written image from a specific server-side projection display device. It is also possible to add a function for pasting to document data.
[0137]
(Eleventh embodiment)
Next, an eleventh embodiment will be described.
In the communication system according to the eleventh embodiment, the information processing means included in the projection display device is an external projection display device in which part or all of screen data to be displayed on the screen is connected via a network. Screen sharing function that can display a common screen on the screen by the screen sharing server function that transmits to the screen and the screen sharing client function that displays the screen data received from the external projection display device on the screen It is comprised.
[0138]
Then, one projection display device functioning as a server functions as a client for an image of document data displayed on the screen by an application activated by the projection display device itself functioning as a server. An image sequence in which at least one or more of the handwritten data received from the digitizer of the projection display device via the network and the handwritten data of the projection display device itself functioning as a server change in time series Alternatively, the image is converted into video data and displayed on the screen on the document data image with a predetermined transparency, and the shared screen data as the display screen is displayed on the screen sharing server function. Is transmitted to the projection display device on the client side. On the other hand, the client-side projection display device displays the shared screen data received from the server-side projection display device on the screen by the screen sharing client function.
[0139]
As described above, the communication system according to the eleventh embodiment performs communication by sharing a screen image of a plurality of handwritten data using the screen sharing server function of the projection display device functioning as a server. The amount can be reduced. In addition, it is possible to paste the written contents accurately from a plurality of projection display devices to the original document data, and the accuracy of communication is improved.
[0140]
Next, processing operations of the communication system in the eleventh embodiment shown in FIG. 16 will be described. Note that the following numbers indicate the numbers of processing operations in the drawings.
[0141]
(Processing operation of a projection display device functioning as a server)
1. It receives vector data on all the clients, and displays on the screen a screen on which the images on which the vector data on the server and all clients are drawn are made translucent. In addition, the write data of the server itself is imaged and pasted on the document data. Also, write data from an arbitrary client is imaged and pasted on the document data.
2. Screen sharing is performed on a screen in which images on which vector data on the server side and all client sides are drawn are made semi-transparent, and the shared screen data is transmitted to all the client sides.
[0142]
(Processing operation of a projection display device functioning as a client)
1. The coordinate data acquired by the digitizer on the client side is converted into vector data, and the converted vector data is transmitted to the server side.
2. The server-side shared screen data is received, and the received server-side shared screen data is displayed on the screen.
[0143]
(Twelfth embodiment)
Next, a twelfth embodiment will be described.
In the communication system according to the twelfth embodiment, the projection display device includes two projectors whose optical systems are designed to illuminate the same area on the screen. The information processing means transmits external video signals to two projectors, and an external projection display in which part or all of screen data to be displayed on the screen is connected via a network. A screen that can display common screen data on the screen by a screen sharing server function that transmits to the device and a screen sharing client function that displays screen data received from an external projection display device on the screen It is configured with a sharing function.
[0144]
Note that one projection display device functioning as a server includes two projectors whose optical systems are designed to illuminate the same area on the screen, and the projection display device includes the projection display device. The information processing means transmits separate video signals to the two projectors.
[0145]
In the first projector included in the projection display device functioning as the server, the screen of the document data displayed on the screen by the application activated by the projection display device itself functioning as the server is displayed on the screen. In addition to projecting, the screen sharing server function transmits the shared screen data to the projection display device on the client side, and the second projector receives it from the digitizer of one projection display device functioning as a client via the network. Any one of the three handwritten data and the handwritten data of the server itself are converted into a time-series-changing image sequence or video data and projected onto the screen. On the other hand, in the first projector on the client side, the first projector projects the shared screen data received from the projection display device functioning as a server onto the screen using the screen sharing client function, and the second projector. Then, any one of the three handwritten data received from the projection display device on the server side and the handwritten data of the projection display device itself that functions as the server are converted into an image sequence or video data that changes in time series. And projecting.
[0146]
As described above, the communication system according to the twelfth embodiment has two projectors when the screen-sharing server function is used to share the screen image of the handwritten data in the projection display device functioning as a server. With this configuration, in the projection display device functioning as a server, the load of screen sharing processing can be reduced and smooth screen sharing can be achieved.
[0147]
Next, processing operations of the communication system in the twelfth embodiment shown in FIG. 17 will be described. Note that the following numbers indicate the numbers of processing operations in the drawings.
[0148]
(Processing operation of a projection display device functioning as a server)
1. The vector data on all the clients is received, and an image in which the vector data on the server and all clients is drawn is displayed on the screen by the second projector.
2. The written content received from any client side is imaged and pasted to the document data. Also, the written content of the server itself is imaged and pasted on the document data. Then, the document screen is displayed on the screen by the first projector. Also, the document screen is shared and the shared screen data is transmitted to all clients.
3. The coordinate data acquired by the digitizer on the server side is converted into vector data, and the converted vector data is transmitted to all clients.
[0149]
(Processing operation of a projection display device functioning as a client)
1. The coordinate data acquired by the digitizer on the client side is converted into vector data, and the converted vector data is transmitted to the server side.
2. The server-side shared screen data is received, and the received server-side shared screen data is displayed on the screen by the first projector.
3. The server side vector data is received (vector data on the other client side is received), and image data on which the server side and all client side vector data are drawn is displayed on the screen by the second projector.
[0150]
(Thirteenth embodiment)
Next, a thirteenth embodiment will be described.
In the communication system according to the thirteenth embodiment, the information processing means included in the projection display device is an external projection display device in which part or all of screen data to be displayed on the screen is connected via a network. Screen sharing server function to send to the screen and screen sharing client function to display the screen data received from the external projection display device on the screen, the screen sharing that can display the common screen data on the screen It has a function.
[0151]
One projection display device functioning as a server includes two projectors whose optical systems are designed to illuminate the same area on the screen, and includes information processing means included in the projection display device Transmits separate video signals to the two projectors.
[0152]
In the first projector, the screen of the document data displayed on the screen is projected on the screen by an application activated by the projection display device itself that functions as a server, and the screen sharing server function allows the client to As a server, one of the three handwritten data received via the network from the digitizer of the projection display device that functions as a client in the second projector. The handwritten data obtained from the digitizer of the functioning projection display device itself is converted into a time-series image sequence or video data and projected onto the screen. On the other hand, the projection display device on the client side displays the screen data received from the projection display device functioning as a server on the screen by the screen sharing client function, and also receives the three screen data received from the projection display device on the server side. One of the handwritten data and the handwritten data obtained from the digitizer of the projection display device functioning as a server are converted into a time-sequentially changing image sequence or video data, and overlapped at a predetermined transparency. It is characterized by being displayed above.
[0153]
As described above, in the communication system according to the thirteenth embodiment, only the projection display device that functions as a server includes two projectors, and performs communication processing with the projection display device that functions as a client. In the projection display device functioning as a server constituting the communication system in the twelfth embodiment, the burden of screen sharing processing is reduced and the cost of the projection display device functioning as a client is limited. Can be made inexpensive.
[0154]
Next, processing operations of the communication system in the thirteenth embodiment shown in FIG. 18 will be described. Note that the following numbers indicate the numbers of processing operations in the drawings.
[0155]
(Processing operation of a projection display device functioning as a server)
1. An image in which all client-side vector data is drawn is received, and an image in which all client-side vector data is drawn is displayed on the screen by the second projector.
2. The server's own data is converted into an image and pasted into the document data. Also, the client-side write data is imaged and pasted on the document data. Then, the document screen is displayed on the screen by the first projector. Also, the document screen is shared, and the shared screen data is transmitted to the client side.
3. The coordinate data acquired by the server-side digitizer is converted into vector data, and the converted vector data is transmitted to all clients.
[0156]
(Processing operation of a projection display device functioning as a client)
1. The coordinate data acquired from the digitizer on the client side is converted into vector data, and the converted vector data is transmitted to the server side.
2.3. Server side shared screen data is received, and server side vector data is received. Then, a screen is displayed on the screen in which the shared screen data received from the server side is overlapped with a semi-transparent image in which vector data on the server side and all the client sides is drawn.
[0157]
In the communication system according to the thirteenth embodiment, the projection display device on the client side can have two projectors and perform the above method.
[0158]
(Fourteenth embodiment)
Next, a fourteenth embodiment will be described.
In the communication system according to the fourteenth embodiment, the information processing means included in the projection display device is an external projection display device in which part or all of the screen data to be displayed on the screen is connected via a network. Screen sharing server function to send to the screen and screen sharing client function to display the screen data received from the external projection display device on the screen, the screen sharing that can display the common screen data on the screen It has a function.
[0159]
Note that one projection display device functioning as a server is configured to include a total of two projection devices, a projector and a virtual display device, and each transmits a separate video signal.
[0160]
Then, the projector included in the projection display device functioning as a server functions as a client for the document data screen displayed on the screen by the application activated by the projection display device itself functioning as the server. One of the three handwritten data received from the digitizer of the projection display device via the network and the handwritten data of the projection display device itself functioning as a server, an image sequence that changes in time series, or The image is converted into video data and displayed on the screen of the document data on the screen with a predetermined transparency and displayed and projected. On the other hand, the virtual display device itself functions as a server. Document data image displayed on the screen by the application running Projecting that functions as a server by creating duplicate data and converting the handwritten data of the projection display device itself that functions as a server into the image data or video data that changes in time series for the created replicated data The image of the document data virtually displayed by the type display device itself on the virtual display device is virtually displayed with a predetermined transparency, and the virtual display screen is displayed on the client side by the screen sharing server function. Send to the projection display. On the other hand, the projection display device on the client side displays the screen data received from the server on the screen by the screen sharing client function, and any one of the three handwritten characters received from the digitizer of the projection display device on the server side. Data and handwritten data obtained from the digitizer of the projection display device itself functioning as a server are converted into a time-series-changing image sequence or video data and displayed in a superimposed manner with a predetermined transparency. It is what.
[0161]
As described above, the communication system according to the fourteenth embodiment uses the screen sharing function to share the screen data obtained by superimposing the screen of the document data and the image of the writing data on the screen. The processing load of the shared server function can be reduced, and screen sharing can be performed at a higher speed than when the screen is actually displayed on the screen using a projector, and communication becomes comfortable.
[0162]
Next, processing operations of the communication system in the fourteenth embodiment shown in FIG. 19 will be described. Note that the following numbers indicate the numbers of processing operations in the drawings.
[0163]
(Processing operation of a projection display device functioning as a server)
1. The client side vector data is received, and a screen in which the image on which the server side vector data is drawn is semitransparently superimposed is displayed on the screen. In addition, the write data of the server itself is imaged and pasted on the document data. Also, the write data received from the client side is imaged and pasted on the document data.
2. A screen in which images on which server-side vector data is rendered is semitransparently superimposed is displayed on a virtual display screen (screen rendering data is duplicated on the virtual display screen). On the virtual display screen, screen data obtained by superimposing a semi-transparent image on which the client side vector data is drawn is displayed on the virtual display screen. Then, the virtual display screen is shared, and the shared screen data is transmitted to the client side.
[0164]
(Processing operation of a projection display device functioning as a client)
1. The coordinate data acquired from the digitizer of the projection display device on the client side is converted into vector data, and the converted vector data is transmitted to the server side.
2. The server-side shared screen data is received, and a screen in which an image obtained by rendering the client-side vector data on the received server-side shared screen data is displayed on the screen is displayed on the screen.
[0165]
(Fifteenth embodiment)
Next, a fifteenth embodiment is described.
In the communication system according to the fifteenth embodiment, the information processing means included in the projection display device is an external projection display device in which part or all of the screen data to be displayed on the screen is connected via a network. Screen sharing server function to send to the screen and screen sharing client function to display the screen data received from the external projection display device on the screen, the screen sharing that can display the common screen data on the screen It has a function.
[0166]
Note that one projection display device functioning as a server is configured to include a total of two projection devices, a projector and a virtual display device, and the virtual display device projects the image onto a screen. The same screen data as the existing screen data is duplicated for virtual display.
[0167]
Then, the projector included in the projection display device functioning as a server functions as a client for the document data screen displayed on the screen by the application activated by the projection display device itself functioning as the server. One of the three handwritten data received from the digitizer of the projection display device via the network and the handwritten data obtained from the digitizer of the projection display device itself functioning as a server It is converted into a changing image sequence or video data, and the document data image displayed on the screen is overlaid with a predetermined transparency, and the screen data is displayed by the screen sharing server function. Send to client-side projection display, while virtual display , Projector and the same screen data and the screen data displayed on a screen a virtual displayed by, and transmits the virtual display screen, the screen sharing server function, the client side of the projection-type display device. In addition, at least one projection display device that can be connected to the projection display device that functions as one server is connected to the projection display device that functions as a server. It is characterized by being displayed on the screen by a screen sharing client function.
[0168]
As described above, in the communication system according to the fifteenth embodiment, the projection display device functioning as the server aggregates the virtual display screens that are obtained by imaging the write data received from all the projection display devices. By sharing the virtual images that are superimposed and displayed, communication using three or more projection display devices can be performed.
[0169]
Next, processing operations of the communication system in the fifteenth embodiment shown in FIG. 20 will be described. Note that the following numbers indicate the numbers of processing operations in the drawings.
[0170]
(Processing operation of a projection display device functioning as a server)
1. All the client side vector data is received, and a screen on which a semi-transparent image on which the server side and all client side vector data are drawn is displayed on the screen. In addition, the write data of the server itself is imaged and pasted on the document data. Also, the write data received from any client side is imaged and pasted on the document data.
2. A screen in which images on which vector data on the server side and all client sides are drawn is semitransparently superimposed is displayed on the virtual display screen (screen drawing data is duplicated on the virtual display screen). Then, the virtual display screen is shared, and the shared screen data is transmitted to all clients.
[0171]
(Processing operation of a projection display device functioning as a client)
1. Coordinate data obtained from the digitizer on the client side is converted into vector data, and the converted vector data is transmitted to the server side.
2. The server-side shared screen data is received, and the received server-side shared screen data is displayed on the screen.
[0172]
The above-described embodiment is a preferred embodiment of the present invention, and various modifications can be made without departing from the gist of the present invention.
[0173]
【The invention's effect】
As apparent from the above description, the present invention has the following effects.
A projection display device and a display image remote sharing method using the projection display device according to the present invention include a display unit capable of forming a writing image on a display image on which an electronic document is displayed, and a display. The writing image formed on the means is optically photographed, the imaging means for converting the photographed written image into electronic data, and the projection position and size of the written image photographed by the imaging means are displayed on the display means. A projection display apparatus comprising: an information processing unit that adjusts a display image of an electronic document to be adjusted, and pastes the adjusted writing image to the electronic document displayed on the display unit. Means for transmitting an image to an external projection display device connected via a network, and a captured image received from the external projection display device, A plurality of projection type display devices connected to each other over the network by connecting the plurality of projection type display devices over the network. The writing image written in the display means of the external projection display device connected in this way is displayed in real time on the display means of the projection display device on the reception side, so that the projection display on the transmission side is displayed. The written contents written on the display means on the apparatus can be grasped. Further, by displaying the display means in a semi-transparent manner, a separate display area is not required, and the document data editing process is facilitated.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a communication system according to a first embodiment and a method for remotely sharing a display image using a projection display device constituting the system.
FIG. 2 is a flowchart showing image processing performed when an image is displayed on the screen of the projection display device.
3 is an image diagram of the image processing shown in FIG. 2. FIG.
FIG. 4 is a diagram showing a configuration of a communication system according to a second embodiment and a method for remotely sharing a display image using a projection display device that constitutes the system.
FIG. 5 is a diagram showing a configuration of a communication system according to a third embodiment and a method for remotely sharing a display image using a projection display device that constitutes the system.
FIG. 6 is a diagram showing a configuration of a communication system in a fourth embodiment and a method for remotely sharing a display image using a projection display device that constitutes the system.
FIG. 7 is a diagram showing a configuration of a communication system according to a fifth embodiment and a method for remotely sharing a display image using a projection display device that constitutes the system.
FIG. 8 is a diagram showing a configuration of a communication system according to a sixth embodiment and a method for remotely sharing a display image using a projection display device that constitutes the system.
FIG. 9 is a diagram illustrating a configuration of a communication system according to a seventh embodiment and a remote sharing method of a display image using a projection display device that configures the system.
FIG. 10 is a diagram showing a configuration of a communication system according to an eighth embodiment and a method for remotely sharing a display image using a projection display device that constitutes the system.
FIG. 11 is a diagram showing a configuration of a communication system according to a ninth embodiment and a method for remotely sharing a display image using a projection display device that constitutes the system.
FIG. 12 is a diagram showing a configuration of a communication system according to a tenth embodiment and a method for remotely sharing a display image using a projection display device that constitutes the system.
FIG. 13 is a diagram illustrating a method for transmitting coordinate data itself, which is a first communication method for transmitting data acquired by a digitizer on the server side to the client side.
FIG. 14 is a diagram illustrating a method for transmitting vector data, which is a second communication method for transmitting data acquired by a digitizer on the server side to the client side.
FIG. 15 is a diagram showing a third communication method for transmitting data acquired by a digitizer on the server side to the client side, a method of imaging coordinate data at the transmission source and transmitting the image data as image data.
FIG. 16 is a diagram showing a configuration of a communication system according to an eleventh embodiment and a method for remotely sharing a display image using a projection display device that constitutes the system.
FIG. 17 is a diagram illustrating a configuration of a communication system according to a twelfth embodiment and a method for remotely sharing a display image using a projection display device that constitutes the system.
FIG. 18 is a diagram illustrating a configuration of a communication system according to a thirteenth embodiment and a method for remotely sharing a display image using a projection display device that constitutes the system.
FIG. 19 is a diagram showing a configuration of a communication system according to a fourteenth embodiment and a method for remotely sharing a display image using a projection display device that constitutes the system.
FIG. 20 is a diagram showing a configuration of a communication system in a fifteenth embodiment and a method for remotely sharing a display image using a projection display device that constitutes the system.
[Explanation of symbols]
1 screen (display means)
2 Projector (projection means)
3 Video camera (imaging means)
4 Information processing means
5 Video encoder
6 Bonding software
7 Document data
8 Video player
9 Screen sharing

Claims

Display means capable of forming a writing image in duplicate with respect to a display image on which an electronic document is displayed;
An imaging unit that optically captures a written image formed on the display unit and converts the captured written image into electronic data;
The projection position and size of the written image taken by the imaging means are adjusted in accordance with the display image of the electronic document displayed on the display means, and the adjusted written image is displayed on the display means. Information processing means for pasting into a document;
A projection display device comprising:
Means for transmitting a captured image obtained from the imaging means to the external projection display device connected via a network;
Means for displaying the photographed image received from the external projection display device as a photographed image having a predetermined transparency so as to overlap the display image of the electronic document displayed on the display means;
A projection display device comprising:

A writing image transmitting means for transmitting a writing image obtained from the imaging means to the external projection display device connected via a network;
2. The projection display apparatus according to claim 1, wherein the information processing means further includes means for pasting a written image received from the external projection display apparatus to an electronic document displayed on the display means.

A common electronic document display means for simultaneously displaying on the display means an electronic document common to the external projection display device connected via a network;
The information processing unit adjusts the projection position and size of the writing image received from the external projection display device with respect to the display image of the electronic document displayed on the display unit, and the adjusted writing image The projection display apparatus according to claim 2, wherein the projector is pasted on an electronic document displayed on the display means.

Display means capable of forming a writing image in duplicate with respect to a display image on which an electronic document is displayed;
Measuring means for measuring coordinates of a writing image formed on the display means;
The coordinate data of the written image measured by the measuring unit is converted into image data, and the projection position and size of the converted written image are adjusted according to the display image of the electronic document displayed on the display unit. Information processing means for pasting the adjusted written image on the electronic document displayed on the display means;
A projection display device comprising:
Coordinate data obtained from the measurement means, vector data representing a time-series change of the coordinate data, or at least one of three pieces of image data expressing the vector data as an image is transmitted via a network. Means for transmitting to a connected external projection display device;
A display image of an electronic document displayed on the display means by converting at least one of the three data received from the external projection display device into an image sequence or video data that changes in time series. Means for displaying the images as a predetermined transparency in an overlapping manner;
Means for pasting at least one of the three data received from the external projection display device as an image or a drawing object on an electronic document displayed on the display means;
A projection display device comprising:

The information processing means includes
Screen sharing transmission means for transmitting a part or all of a display image to be displayed on the display means to the external projection display device connected via a network;
A screen sharing receiving means for displaying a part or all of the display image received from the external projection display apparatus on the display means, and is common to an external projection display apparatus connected via a network 5. The projection display device according to claim 3, wherein the display image is displayed on the display means.

Comprising two projection means for illuminating the same area of the display means;
The information processing means includes
Separate video signals are transmitted to the two projection means,
And the screen sharing transmission means for transmitting a part or all of the display image to be displayed on the display means to the external projection display device connected via a network,
A screen sharing receiving means for displaying on the display means a display screen received from the external projection display apparatus, and displaying the common display image with an external projection display apparatus connected via a network. 5. The projection type display device according to claim 3, wherein the projection type display device is displayed on the means.

Of the two projection means, one projection means is a virtual display means that duplicates and displays the same screen data as the screen data projected on the display means by the other projection means. The projection display device according to claim 6.

The projection unit, the imaging unit, or the measurement unit are provided on the same side of the display unit, and the projection unit, the imaging unit, or the measurement unit with respect to the display unit 8. The projection display device according to claim 1, wherein the writing image can be formed on a surface on a side opposite to a side provided with.

A method of remotely sharing a display image using a projection display device, wherein a plurality of projection display devices according to claim 5 are connected via a network,
One projection type document display device functioning as a server is:
With respect to the display image of the electronic document displayed on the display means by an application activated by the projection display apparatus functioning as a server, a network is connected from the imaging means of one projection display apparatus functioning as a client. The display image received via the display means is superimposed on the display image of the electronic document displayed on the display means at a predetermined transparency, and the display image is displayed on the client side by the screen sharing transmission means. Sent to the projection display,
The projection display device that functions as a client
The display image received from the projection display device functioning as a server is displayed on the display means by the screen sharing receiving means, and the display image displayed on the display means is received from the projection display device functioning as a server. A display image remote sharing method using a projection display device, wherein a display image is displayed in a superimposed manner at a predetermined transparency.

A method of remotely sharing a display image using a projection display device, wherein a plurality of projection display devices according to claim 5 are connected via a network,
One projection display device functioning as a server is
At least one imaging unit of the projection display device functioning as a client for a display image of an electronic document displayed on the display unit by an application activated by the projection type document display device itself functioning as a server The display image received from the network and the display image from the imaging means of the projection type document display device itself that functions as a server, with respect to the display image of the electronic document displayed on the display means, at a predetermined transparency, The display image is displayed in an overlapping manner, and the display image is transmitted to the projection type document display device on the client side by the screen sharing transmission means.
The projection display device that functions as a client
A display image remote sharing method using a projection display device, wherein a display image received from a projection display device functioning as a server is displayed on the display means by the screen sharing receiving means.

A method of remotely sharing a display image using a projection display device, wherein a plurality of projection display devices according to claim 6 are connected via a network,
One projection display device functioning as a server is
In the first projecting unit, the display image of the electronic document displayed on the display unit is projected by an application activated by the projection display device itself functioning as a server, and the display image displayed on the display unit is Send to the projection display device on the client side by the screen sharing transmission means,
In the second projecting unit, at least one or more functioning as a client projects a display image received via the network from the imaging unit of the projection display device onto the display unit,
The projection display device that functions as a client
In the first projection means, the display image received from the projection display device functioning as a server is projected onto the display means using the screen sharing reception means,
The second projection means projects the display image received from the server-side projection display apparatus onto the display means, and the method of remotely sharing a display image using the projection display apparatus.

A method of remotely sharing a display image using a projection display device, wherein a plurality of projection display devices according to claim 6 are connected via a network,
One projection display device functioning as a server is
In the first projection means, the display image of the electronic document displayed on the display means is projected onto the display means by an application activated by the projection display device itself functioning as a server, and the display image is The screen sharing transmission means transmits to the projection display device on the client side,
In the second projection means, a display image received via the network from the imaging means of one projection type display device that functions as a client is projected onto the display means,
On the other hand, a projection display device on the client side that can be connected to one projector display device functioning as one server is
The display image received from the projection display device functioning as a server is displayed on the display means by the screen sharing receiving means, and the display image received from the projection display apparatus on the server side is displayed on the display image displayed on the display means. A display image remote sharing method using a projection display device, wherein the display image is displayed in a superimposed manner at a predetermined transparency.

A method of remotely sharing a display image using a projection display device, wherein a plurality of projection display devices according to claim 6 are connected via a network,
One projection display device functioning as a server is
In the first projection means, the image of the projection display device itself functioning as a server is displayed with respect to the display image of the electronic document displayed on the display means by the application activated by the projection display device itself functioning as the server. The display image from the means is displayed in a superimposed manner at a predetermined transparency, and the displayed display image is sent to the client side projection display device by the screen sharing transmission means,
In the second projecting means, a display image received via the network from the imaging means of one projection type document display device functioning as a client is projected onto the display means,
On the other hand, a projection display device on the client side that can be connected to one projector display device functioning as one server is
A display image remote sharing method using a projection display device, wherein a display image received from a projection display device functioning as a server is displayed on the display means by the screen sharing receiving means.

A method of remotely sharing a display image using a projection display device, wherein a plurality of projection display devices according to claim 6 are connected via a network,
One projection display device functioning as a server is
It has a total of two projection means, a projection means and a virtual display means, each transmitting a separate video signal,
In the projection means, one projection display apparatus that functions as a client for the display image of the electronic document displayed on the display means by an application activated by the projection display apparatus itself that functions as a server. Projecting the display image received from the imaging unit via the network on the display unit with a predetermined transparency on the display unit,
On the other hand, the virtual display means generates duplicate data of the display image of the electronic document displayed on the display means by an application activated by the projection display device itself functioning as a server, and for the image data, The display image obtained from the imaging means of the projection display device itself functioning as a server is displayed in a virtual manner by superimposing the display image of the electronic document virtually displayed by the virtual display means at a predetermined transparency. Then, the virtual screen is transmitted to the projection display device on the client side by the screen sharing transmission means,
On the other hand, a projection display device on the client side that can be connected to one projector display device functioning as one server is
A display image remote sharing method using a projection display device, wherein a display image received from a projection display device functioning as a server is displayed on the display means by the screen sharing receiving means.

A method of remotely sharing a display image using a projection display device, wherein a plurality of projection display devices according to claim 6 are connected via a network,
One projection display device functioning as a server is
A total of two projection means, a projection means and a virtual display means,
The virtual display means virtually displays the same image data as the image projected on the display means by the projection means,
In the projection unit, at least one projection type functioning as a client with respect to a display image of an electronic document displayed on the display unit by an application activated by the projection display device itself functioning as a server. Projecting a display image received over the network from the imaging means of the display device, overlaid with a predetermined transparency, onto the display means,
On the other hand, in the virtual display means, the same display image as the display image displayed on the display means by the projection means is virtually displayed on the display means, and the virtual display image is displayed on the client side by the screen sharing receiving means. To the projection display
On the other hand, a projection display device on the client side that can be connected to at least one projector display device functioning as one server is:
A display image remote sharing method using a projection display device, wherein a display image received from a projection display device functioning as a server is displayed on the display means by the screen sharing receiving means.

A method of remotely sharing a display image using a projection display device, wherein a plurality of projection display devices according to claim 5 are connected via a network,
One projection display device functioning as a server is
Imaging of at least one projection display device functioning as a client for a display image of an electronic document displayed on the display means by an application activated by the projection display device itself functioning as a server Any one of the three data received from the means via the network and the data obtained from the measuring means of the projection display device itself functioning as a server are converted into an image sequence or video data that changes in time series. Then, the display image of the electronic document displayed on the display means is displayed so as to overlap with a predetermined transparency, and the display image is displayed on the client side by the screen sharing transmission means. Sent to the device,
On the other hand, the projection display device on the client side
A display image remote sharing method using a projection display device, wherein a display image received from a projection display device functioning as a server is displayed on the display means by the screen sharing receiving means.

A method of remotely sharing a display image using a projection display device, wherein a plurality of projection display devices according to claim 6 are connected via a network,
One projection display device functioning as a server is
In the first projection means, the display image of the electronic document displayed on the display means is projected onto the display means by an application activated by the projection display device itself functioning as a server, and the display image is The screen sharing transmission means transmits to the projection display device on the client side,
In the second projection means, one of the three data received via the network from the imaging means of the projection display device, which functions as a client, and the projection display device itself that functions as a server The data obtained from the measuring means is converted to a time-series-changing image sequence or video data and projected onto the display means,
On the other hand, the projection display device on the client side
In the first projection means, the display image received from the projection display device functioning as a server is projected onto the display means by the screen sharing reception means,
In the second projection means, any one of the three data received from the projection display device functioning as a server, and data obtained from the measurement means of the projection display device itself functioning as a server, A method of remotely sharing a display image using a projection display device, wherein the image is converted into a changing image sequence or video data and projected onto the display means.

A method of remotely sharing a display image using a projection display device, wherein a plurality of projection display devices according to claim 6 are connected via a network,
One projection display device functioning as a server is
In the first projection means, the display image of the electronic document displayed on the display means is projected onto the display means by an application activated by the projection display device itself functioning as a server, and the display image is The screen sharing transmission means transmits to the projection display device on the client side,
In the second projection means, one of the three data received via the network from the imaging means of the projection display device, which functions as a client, and the projection display device itself that functions as a server The data obtained from the measuring means is converted to a time-series-changing image sequence or video data and projected onto the display means,
On the other hand, a projection display device that functions as a client
The display image received from the projection display device functioning as a server is displayed on the display means by the screen sharing receiving means, and any one of the three data received from the projection display device functioning as a server, and A projection type characterized in that data obtained from the measuring means of the projection type display device itself functioning as a server is converted into a time-series-changing image sequence or video data and displayed in a superimposed manner with a predetermined transparency. A method for remotely sharing a display image using a display device.

A method of remotely sharing a display image using a projection display device, wherein a plurality of projection display devices according to claim 6 are connected via a network,
One projection display device functioning as a server is
It has a total of two projection means, the projection means and the virtual display means, each transmitting a separate video signal,
In the projection unit, a network from one projection display device functioning as a client to a display image of an electronic document displayed on the display unit by an application activated by the projection display device functioning as a server. Any one of the three data received via the data and the data obtained from the measuring means of the projection display device itself functioning as a server are converted into an image sequence that changes in time series, or video data, The display image of the electronic document displayed on the display means is displayed and projected in an overlapping manner at a predetermined transparency.
On the other hand, the virtual display means generates duplicate data of the display image of the electronic document displayed on the display means by an application activated by the projection display device itself functioning as a server, and for the image data, Display of an electronic document virtually displayed on the virtual display means by converting data obtained from the measurement means of the projection display device itself functioning as a server into an image sequence or video data that changes in time series The image is displayed in a virtual manner with a predetermined transparency on the image, and the virtual screen is transmitted to the projection display device on the client side by the screen sharing transmission means.
On the other hand, a projection display device that functions as a client
The display image received from the projection display device functioning as a server is displayed on the display means using the screen sharing receiving means, and any one of the three data received from the projection display device functioning as a server And the data obtained from the measurement means of the projection display device itself functioning as a server is converted into a time-series-changing image sequence or video data, and is displayed in a superimposed manner at a predetermined transparency. A method for remotely sharing a display image using a projection display device.

A method of remotely sharing a display image using a projection display device, wherein a plurality of projection display devices according to claim 6 are connected via a network,
One projection display device functioning as a server is
A total of two projection means, the projection means and the virtual display means;
In the virtual display means, the same image data as the image projected by the projection means is duplicated and virtually displayed,
In the projection unit, at least one projection type display device functioning as a client for a display image of an electronic document displayed on the display unit by an application activated by the projection type display device itself functioning as a server. To convert any one of the three data received via the network and data obtained from the measurement means of the projection display device itself functioning as a server into an image sequence or video data that changes in time series. Then, the display image of the electronic document displayed on the display means is displayed so as to overlap with a predetermined transparency, and the display image is displayed on the client side by the screen sharing transmission means. To the device,
On the other hand, the virtual display means virtually displays the same display image as the display image displayed on the display means by the projection means, and the virtual display image is projected on the client side by the screen sharing transmission means. To the device,
A projection display device on the client side that can be connected to at least one projection display device functioning as one server,
A display image remote sharing method using a projection display device, wherein a display image received from a projection display device functioning as a server is displayed on the display means by the screen sharing receiving means.