JP2005234368A

JP2005234368A - 遠隔講義システム

Info

Publication number: JP2005234368A
Application number: JP2004045128A
Authority: JP
Inventors: Isamu Kuma; 偉熊; Tetsuya Nakagishi; 哲也中岸; Keiji Hayashi; 桂二林
Original assignee: Earnet Co Ltd
Current assignee: Earnet Co Ltd
Priority date: 2004-02-20
Filing date: 2004-02-20
Publication date: 2005-09-02

Abstract

【課題】講師がスクリーン上で指示するポイントとしてのマークの位置が受講者に正確に伝達され、またナローバンドの受講者であっても遠隔講義を受けることが可能な遠隔講義システムを得ること。
【解決手段】受講者側サイト１０３では、テレビカメラ１１５が講師１０５等の映像を撮り、スクリーン１０６にはノートパソコン１１１からスライド等の画像情報がプロジェクタ１０９を用いて投影される。ポインタキャプチャカメラ１１６がレーザポインタ１１３の投影したマークの座標を検出するが、投影画像の領域内等に座標位置を制限している。スライド等の画像情報はあらかじめ受講者サイト１０３に送られるので、講義の実際は比較的狭い帯域で伝送可能である。
【選択図】図１

Description

本発明は、受講者から離れた講義会場で講師が講義を行う遠隔講義システムに係わり、特に通信ネットワークを使用して情報処理によって講義が行われる遠隔講義システムに関する。

通信ネットワークがオフィスだけでなく各家庭に普及した現在、講義をこれら通信ネットワークを使用して行う遠隔講義システムが各種提案されるようになっている。たとえば、講師と受講者がそれぞれパーソナルコンピュータ（以下、パソコンと略称する。）を用意して、それぞれの映像をパソコンに接続されたディスプレイの画面に表示すると共に、電子ホワイトボードの内容もこの画面に表示するようにする第１の提案が行われている（たとえば特許文献１参照）。

図１１は、この第１の提案による受講者側のディスプレイに表示された画面構成を示したものである。この第１の提案では、画面１１を４分割して、講師の講義の映像領域１２、受講者の映像領域１３、電子ホワイトボード（白板）の映像領域１４および講義資料の映像領域１５を設定し、それぞれの表示を行うようにしている。また、電子ホワイトボードの映像領域１４に対しては、講師と受講者が互いに書き込みを行うことができ、それらを他の受講者等のパソコン側で同時に表示できるようにしている。

図１２は、この第１の提案による遠隔講義システムの概要を表わしたものである。Ａ地点には、講師のパソコン２１とサーバ２２が存在し、Ｂ地点には受講者のパソコン２３とサーバ２４が存在する。Ｃ地点には他の受講者のパソコン２５とサーバ２６が存在する。それぞれは、インターネット網等の通信ネットワーク２７によって接続されている。

このような第１の提案の遠隔講義システムでは、講師サイトであるＡ地点からＢ地点およびＣ地点のサーバ２４、２６に講義資料を配信し、電子ホワイトボードのソフトウェアを起動する。Ｂ地点およびＣ地点のパソコン２３、２５ではこれらサーバ２４、２６に配信された講義資料をダウンロードすると共に電子ホワイトボードのソフトウェアを起動する。また、各受講者の映像を対応するサーバ２２、２４、２６に配信する。各パソコン２１、２３、２５では４種類の映像を、図１１に示したそれぞれの映像領域１２〜１５に同期させて表示する。

この提案の遠隔講義システムでは、講師も受講者もそれぞれパソコン２１、２３、２５の電子ホワイトボードを操作して情報の書き込みを行う。したがって、電子ホワイトボードに誰が情報を書き込むかを講師等が事前に取り決めてうまく制御を行わないと、複数の者の自由な書き込みによって、残すべき情報がかき消されてしまったり、講師側が主導権を持って講義を進めることができなくなる。また、電子ホワイトボードに情報を書き込むことができても、書かれた情報を指し示して講義を行うといった通常の講義スタイルを採ることができない。したがって、資料のどの箇所を説明しているかを視覚的に判別することができず、講義の臨場感が伝わりにくく、講義から取り残される可能性が大きくなるという問題がある。

そこで、講義資料にポインタ（マーク）の図形を表示してこれを適宜移動させることでリアルタイムに講義を進めるようにした第２の提案が行われている。この提案では、講義が開始されると、講師は図示しない講師用端末を操作し、複数の資料の中から選択した１つの資料が教室内の大型スクリーン（図示せず）に表示される。どの資料が表示されたがＬＡＮ（ローカルエリアネットワーク）を介して講義管理サーバ（図示せず）に送信される。また、講師が資料をマークによって指し示すと、同様に、講義管理サーバに指し示した位置の情報が送信される。受講者は受講者端末（図示せず）を操作することによって、リアルタイムで受講することができる。また、講義の内容は講義管理サーバに蓄積されるので、講義終了後でも、受講視聴端末を操作することによって受講者は講義を受講することができる。

この提案では、講義情報登録後に、講義が実施可能になると、講師の操作する講師操作端末上に講義で使用する資料を表示する。リアルタイム講義中は、割込み処理を実施することにより、講師操作端末の講義資料上にマークの図形が表示され、講師は、資料の説明した部分にマークの図形を指し示しながら説明していく。また、割込み処理を行うことにより、講師操作端末の講義資料上に所望の資料が表示され、講師は、この資料に基づいて講義を進めることができる。

マークの図形の表示処理の割込み処理では、割込み開始が実行されるとマーク表示開始状態に設定され、マークの座標が取得される。マークの移動が開始すると、マークを移動した時刻と共にマーク移動情報が講義管理サーバに送信される。周期的に表示モードの状態の確認とマークの座標の取得、マークの移動およびマーク移動情報が講義管理サーバに送信される。表示モードがマーク表示終了状態となったとき、割込み処理が終了するようになっている。表示する資料の選択についても、同様な割込み処理が行われ、資料番号を選択して講義管理サーバに送信する。資料の表示の切り替えについても割込み処理が実行される。

この第２の提案の遠隔講義システムは、第１の提案の遠隔講義システムと比べると、講師が資料の必要な箇所を指し示しながら講義を行い、受講者は指し示された箇所を見ながら講義を受けることができ、講義の内容が受講者に伝達されやすい。しかしながら、マークの表示を割込み処理で行うので、マークが表示されている間、その他の処理が中断あるいは遅延してしまう。

また、この第２の提案ではマークの表示位置の認識について特に言及していないが、講師側のディスプレイ上に表示された資料に対してマウス等のポインティングデバイスでマークの示す位置を指定する場合には、受講者を前にした講義を行いにくいという問題がある。講師はパソコンの前でポインティングデバイスを操作する必要があるからである。ポインティングデバイスを使用する場合には、マークの指し示す座標の認識自体に技術的な問題は生じないが、居合わせた受講者が見る資料の画面を指示するたびに講師がパソコンの前に戻る必要があり、マークで直接指示しながら講義するといった自然な講義スタイルを採ることができないからである。

もちろん、マークの指し示す位置を認識する技術については、従来から幾つか提案があり、これを利用することで、受講者に講義をしているその講義内容を遠隔地の受講者に送信することは可能である。このうち代表的なものが、レーザポインタとして可視光と赤外光の２種類の光を用いる第３の提案である（たとえば特許文献３参照）。

図１３は、レーザポインタとして可視光と赤外光の２種類の光を用いるプレゼンテーションの原理を示したものである。スクリーン３１の手前には液晶プロジェクタ３２が配置されており、投影レンズ３３から可視画像がこれに投影されるようになっている。講師３４は、レーザポインタ３５を手に持っており、スクリーン３１の特定の部位をレーザ光３６で照射するようになっている。レーザポインタ３５は、図示しないがレーザ光３６を射出するレーザ発光素子と赤外光発光部を備えており、レーザ光３６に近接して、目には見えない赤外光３７を射出するようになっている。したがって、レーザポインタ３５がスクリーン３１上で指し示した位置とほぼ同一位置に赤外光３７が照射されることになる。赤外光発光部から発光される赤外光の波長は、例えば８５０〜９５０ｎｍ程度であり、人体から放出される１０μｍ近辺の赤外線波長とは著しく異なる。

液晶プロジェクタ３２には、スクリーン３１に投影される赤外光の投影像を撮影する赤外光感知部３８が備えられている。したがって、レーザポインタ３５でスクリーン３１を指し示した位置が赤外光感知部３８で認識され、これを画像処理することによってその位置の座標を求めることができる。講師３４がレーザポインタ３５の指し示す位置を移動させれば、マークの位置が移動すると共に、その移動を追跡することができる。
特開２００２−３３３８２０号公報（第００１５〜第００１９段落、図１、図２）特開２００４−３２５８２号公報（第００５０、第００５７、第００５８段落、図８、図１０）特開２００３−１７３２３５号公報（第００１３〜第００１６段落、図１）

ところが、図１３に示した第３の提案でマークの位置を追跡するためには、液晶プロジェクタ３２の赤外光感知部３８が認識した１画面ずつの投影像について赤外光の最も輝度の高い部分をそれぞれ検出する処理が必要である。しかしながら、赤外光の最も輝度の高い部分は必ずしもレーザポインタ３５の出力したレーザ光３６であるとは限らない。特に外光がスクリーンの背後から入射したり、スクリーンの近傍の金属等に反射するような場合には、これらがマークとして検出されることが多い。このような場合、講師はスクリーン上の可視光からなるマークを見ながら講義を続けるが、受講者は指示されたマークとは異なったマークを見ながら受講することになり、講義内容が理解できにくくなるという問題があった。

そこで本発明の目的は、講師がスクリーン上で指示するポイントとしてのマークの位置が受講者に正確に伝達される遠隔講義システムを提供することにある。

本発明の他の目的は、ナローバンドの受講者であっても遠隔講義を受けることが可能な遠隔講義システムを提供することにある。

請求項１記載の発明では、（イ）講演会場で講演を行う講師の様子を時系列的な画像データとして取得する動画像取得手段と、（ロ）講師を少なくとも含む講演会場の時系列的な音データを取得する音データ取得手段と、（ハ）講師が講演の資料として使用する複数の画像情報を所定のスクリーン上に選択して投影する画像情報投影手段と、（ニ）スクリーン上に光学的に所定のマークを移動自在に表示するマーク表示手段と、（ホ）このマーク表示手段によって表示されたマークの位置座標を所定の領域内に限定して判別するマーク座標判別手段と、（へ）画像情報投影手段で投影されている画像情報の種別を判別する画像情報判別手段と、（ト）画像情報投影手段によって投影される予定の画像情報等のように受講者側があらかじめ受け取って保管が可能な事前配信データを、講演が開始する前に受講者側に送信する事前配信データ配信手段と、（チ）この事前配信データ配信手段によって事前に受講者側に配信された事前配信データを受講者側で格納する事前配信データ格納手段と、（リ）動画像取得手段の取得した情報のように事前配信データ以外のデータを講演の進展に応じて受講者側に配信するリアルタイムデータ配信手段と、（ヌ）受講者側に配置され、リアルタイムデータ配信手段によって配信されるデータを再生するリアルタイムデータ再生手段と、（ル）受講者側に配置され、リアルタイムデータ再生手段によって再生されるリアルタイムデータに同期して事前配信データ格納手段に格納された事前配信データのうちのそれぞれ該当するデータを再生する事前配信データ再生手段とを遠隔講義システムに具備させる。

すなわち請求項１記載の発明では、マーク座標判別手段が、マーク表示手段によって表示されたマークの位置座標をスクリーン上とか画像の投影範囲といった所定の領域内に限定して判別することにしている。これにより、マークが外光や室内の照明そのものによって影響を受けることがなくなる。また、請求項１記載の発明では、事前配信データを講義前に配信することにして、リアルタイムに配信するデータ量を減少させて、単位時間当たりのデータの伝送量が比較的少ないナローバンドの受講者であっても遠隔講義を受けることができるようにしている。

以上説明したように本発明によれば、投影画像におけるマークの座標の検出を行う際に、座標の判別が行われる領域をスクリーンの投影範囲等の所定の範囲に制限することで、それらの周囲に比較的強い光が入射したり反射光が存在するような場合にも、マークの座標を正確に判別することができる。しかも、このような講師の講義や公演の進行に必要とする情報を除いたスライド等による画像情報は事前に受講者側に送信することで、ナローバンドの受講者であっても遠隔講義が可能になる。このため、受講者を地域や通信環境によらずに広く募ることが可能になる。また、データの送信側の送信設備についても小型化を図ることができ、受講のためのコストの低減を図ることができる。

以下実施例につき本発明を詳細に説明する。

図１は、本発明の一実施例における遠隔講義システムの概要を表わしたものである。この遠隔講義システム１００では、インターネット網１０１に講師側サイト１０２と受講者側サイト１０３が接続されている。ここで受講者側サイト１０３は図の煩雑さを防止するために１つのみを示しているが、実際には講義会場以外の場所で受講する受講者の数だけ同様の受講者側サイト１０３が存在している。

講師側サイト１０２は、講師１０５が講義に使用する資料の画像を投影するためのスクリーン１０６と、電子ホワイトボード１０７が存在している。また、講師１０５が講義を行う場所には、講師等の音声をピックアップするためにマイクロフォン１０８が備えられている。スクリーン１０６には、プロジェクタ１０９から映像が照射されるようになっている。プロジェクタ１０９は、ノートパソコン１１１を接続しており、資料としての各種の投影用の画像情報がこれに入力されるようになっている。講師１０５はレーザポインタ１１３を手に持って、スクリーン１０６に投影された画像の特定箇所を可視光レーザビーム１１４で指し示すことができるようになっている。

スクリーン１０６の手前には、このスクリーン１０６に投影された資料の画像ならびに講師１０５といった講義の行われる場所を撮影するためのテレビカメラ１１５が配置されている。このテレビカメラ１１５は、図示しないがこの講義を直接受講する受講者がいる場合には、彼らに視覚的に邪魔とならない位置に配置されている。テレビカメラ１１５は単数とは限らないが、ここでは図示の煩雑さを避けるために１台を図示している。このテレビカメラ１１５とは別に、ポインタキャプチャカメラ１１６が、同様に受講者に邪魔とならないようにスクリーン１０６の前方で右側に偏った位置に配置されている。ポインタキャプチャカメラ１１６は、スクリーン１０６上のレーザポインタ１１３によって投影されたポインタマークを撮影するためのものである。

この講師側サイト１０２には、インターネット網１０１と接続された講師側サーバ１１７が備えられている。この講師側サーバ１１７は、講義の行われる場所の映像およびポインタの位置を示すビデオ・ポインタサーバとしての機能と、講師１０５の講義に対する受講者の質問とこれに対する回答といったオンデマンドな処理を行うレクチャ・オンデマンドサーバとしての機能と、ウエブを介して配信を行うウエブサーバとしての機能を併せ持っている。したがって、システムとしてはこれらの機能が複数のサーバによってそれぞれ独立して処理されるようなものであってもよい。

講師側サーバ１１７は各種の情報を選択して入出力するための切替スイッチ回路１１８に接続されている。この切替スイッチ回路１１８には、電子ホワイトボード１０７、マイクロフォン１０８、ノートパソコン１１１、テレビカメラ１１５、ポインタキャプチャカメラ１１６およびビデオレコーダ１１９が接続されている。ここでビデオレコーダ１１９は、ビデオテープ、ＤＶＤ（Digital Versatile Disc）あるいはハードディスク等の記憶媒体に画像情報および音声情報を記録する装置である。ビデオレコーダ１１９は、講師側サーバ１１７に何らかの障害が発生してテレビカメラ１１５で撮影した映像を受講者側サイト１０３に直ちに伝送することができないような場合に、講義の様子を非常用に録画することができる。また、その画像再生機能を利用して、予め用意された映像を出力して、ノートパソコン１１１で圧縮画像に変換したり、ノートパソコン１１１を経由して、あるいはプロジェクタ１０９に映像を直接供給して、スクリーン１０６に投影することもできる。

一方、受講者側サイト１０３には、インターネット網１０１に接続された受講者側パソコン１２１が配置されている。受講者側パソコン１２１は、通常の市販あるいは自作によるパーソナルコンピュータが使用される。この受講者側パソコン１２１には、所定の映像や文字を表示するＣＲＴ(Cathode Ray Tube)あるいは液晶ディスプレイ等のディスプレイ１２２と、音声を再生するためのスピーカ１２３と、キーボードやマウス（図示せず）等の入力装置１２５が接続されている。この他に、必要な資料等の配信されたデータをプリントアウトするためのプリンタや磁気ディスクや光ディスク記録装置等の外部記憶装置が備えられていてもよい。また、入力装置１２５は、ディスプレイ１２２の前面にタッチパネルを配置した構成であってもよい。

受講者側パソコン１２１には、講師側サイト１０２から送られてくる映像や音声を再生する汎用のソフトウェアや遠隔講義システムを実現するために必要な所定のソフトウェアが予めインストールされている。受講者１２７は、講義が開始される時刻に受講者側パソコン１２１を立ち上げて遠隔講義システムを受講する状態に設定し、ディスプレイ１２２およびスピーカ１２３を使用することで講義に参加することができる。本実施例では受講者１２７側の質問は、ＢＢＳ（電子掲示板）によって行われる。

図２は、本実施例で講師が使用するレーザポインタの回路構成の概要を表わしたものである。レーザポインタ１１３は、スクリーン１０６に投影された資料の特定箇所を可視光レーザビーム１１４によって指し示す装置である。本実施例で可視光レーザビーム１１４は６３５ｎｍ（ナノメートル）の波長の赤色光であり、赤色レーザダイオード１３１から１ｍＷ（ミリワット）で出力される。これにより、図１に示したスクリーン１０６における可視光レーザビーム１１４の照射位置には、赤い円形状のポインタが表示されることになる。

ところで、可視光レーザビーム１１４の赤いポインタの画像をポインタキャプチャカメラ１１６で受光して、これによりレーザポインタ１１３の示す位置を判別することは可能である。しかしながら、同じような可視光がスクリーン１０６上に存在すると、これと区別がつかない等の幾つかの問題がある。そこで、本実施例では７８５ｎｍの波長の赤外光レーザビーム１３２を赤外線レーザダイオード１３３によって発振させ、３ｍＷで出力させて、これをポインタキャプチャカメラ１１６側で検出するような構成になっている。このため、可視光レーザビーム１１４と赤外光レーザビーム１３２は、スクリーン１０６上でほぼ同一位置となるように近接して出力される。

レーザポインタ１１３内には、赤色レーザダイオード１３１および赤外線レーザダイオード１３３を駆動するためのバッテリ１３５が備えられており、その一方の極は、それぞれの素子の一端に接続されている。バッテリ１３５の他方の極は、レーザポインタ１１３の照射のオン・オフを行うスイッチ１３６の一方の接点に接続されている。スイッチ１３６の他方の接点は、赤色レーザダイオード１３１および赤外線レーザダイオード１３３の素子の他端と電流保護用の抵抗１３７、１３８を介して接続されている。

したがって、講師１０５（図１）がレーザポインタ１１３のスイッチ１３６をオンの状態にすると、赤色レーザダイオード１３１および赤外線レーザダイオード１３３の双方にバッテリ１３５から電圧が印加される。これにより、可視光レーザビーム１１４および赤外光レーザビーム１３２が出力されることになる。スイッチ１３６をオフにすれば、可視光レーザビーム１１４および赤外光レーザビーム１３２の出力はオフとなる。

図３は、レーザポインタでスクリーンの任意の場所を指し示した際の位置座標を取得する原理を示したものである。レーザポインタ１１３によってスクリーン１０６に赤色レーザダイオード１３１および赤外線レーザダイオード１３３を照射すると、赤色レーザダイオード１３１の照射された位置に赤色のポインタマーク１５１が表示される。このとき、目に見えない赤外線によるマーク１５２がほぼ同位置に表示される。ポインタキャプチャカメラ１１６は、そのレンズの手前に７８５ｎｍの波長近傍の赤外光レーザビーム１３２を通過させ、可視光に対して不透明なバンドパスフィルタ１５３を配置している。このため、ポインタキャプチャカメラ１１６はマーク１５２のみを受光することになる。

図４は、ポインタキャプチャカメラによって得られた画像の一例を示したものである。本実施例では、赤外線によるマーク１５２の波長範囲の光のみを透過するバンドパスフィルタ１５３を使用しているで、撮影範囲内の蛍光灯等の光源から赤外光の波長成分がスクリーン１０６に入射しても、これによる影響を最小限に抑え、赤外線の特定波長領域のマーク１５２の光のみが検出されて表示される。このように図３に示したスクリーン１０６に投影された画像や周囲からの外光の影響を極力受けることなく、マーク１５２のみが光像として受光されるので、各フレームごとに最も輝度の高い部分を単純に切り出して、ポインタの指し示した位置とすることができる。これにより、マーク１５２の位置検出プロセスの負荷を軽減することができる。なお、撮影範囲に白熱灯が存在しなくても、これによる間接光がスクリーン１０６に入射すると、その赤外領域の光の強さによってマーク１５２の正確な位置検出ができなくなる場合がある。このような場合には、ポインタキャプチャカメラ１１６側での受光レベルを調整して、マーク１５２とそれ以外の赤外光を識別できるようにしている。

ところで、本実施例では講義会場での受講者の目ざわりとならないように、ポインタキャプチャカメラ１１６をスクリーン１０６の中央前方よりも片方（例では右側）に偏った位置に配置している。したがって、図４に示した画像でスクリーン１０６は歪んだ画像として得られる。しかも、講義会場が異なれば、スクリーン１０６の大きさや、スクリーン１０６に投影されるプロジェクタ１０９による画像のサイズが異なり、この画像の全範囲を撮影範囲とするポインタキャプチャカメラ１１６のスクリーン１０６からの距離や撮影のための倍率も異なる。本実施例では、このような条件下でマーク１５２の位置としての座標を簡単に算出するようにしている。

図５は、マークの位置の算出のためのポインタ変換用座標データを作成する手順の原理を表わしたものである。まず、図１に示した講師１０５あるいは講演を補助するスタッフは、スクリーン１０６にプロジェクタ１０９を用いて調整用のテスト画像を照射すると共に、講師側サーバ１１７を位置補正モードに設定する（ステップＳ２０１）。この位置補正モードでは、切替スイッチ回路１１８はノートパソコン１１１およびポインタキャプチャカメラ１１６と少なくとも接続された状態となっている。また、ポインタキャプチャカメラ１１６のバンドパスフィルタ１５３は、図示しないモータあるいはソレノイド等を用いた機構によって、一時的にレンズの前面から退避している。

この状態で、講師側サーバ１１７の図示しないＣＰＵ（Central Processing Unit；中央演算処理ユニット）は、同じく磁気ディスク等の図示しない記憶媒体に格納された所定の制御プログラムを用いて、位置補正の手順を実行する。すなわち、スクリーン１０６上のテスト画像の四隅に予め配置されている白点を検出して、ポインタキャプチャカメラ１１６の受光面におけるこれら四隅の座標を公知の手法で確定する（ステップＳ２０２）。この座標確定に際しては高速処理を要しないので、既存の技術を使用することが可能である。

もっとも、このような公知の座標取得手法を採用する代わりに、プロジェクタ１０９で投影されているテスト画像の四隅の座標を求める手法がある。これは、ポインタキャプチャカメラ１１６で受光した画像をノートパソコン１１１あるいは講師側サーバ１１７に接続された図示しないディスプレイに表示して、テスト画像の四隅をマウス等のポインティングデバイスでクリックすればよい。このとき、手ぶれによる位置誤差やポインタキャプチャカメラ１１６の光学歪みを補正するために、更に多くの点をテスト画像上に用意しておいて、これらをクリックさせることも有効である。

図６は、このステップＳ２０２の処理で得られた四隅の点と画像領域の一例を示したものである。図１に示したスクリーン１０６の手前で右側に偏った位置にポインタキャプチャカメラ１１６を配置しているので、得られた画像領域１６１は長方形とはならず、右側の領域がやや拡大された歪んだ四辺形となっている。この四辺形の四隅に、検出された点点Ｐ₁、Ｐ₂、Ｐ₃、Ｐ₄が表示されている。これらの点Ｐ₁、Ｐ₂、Ｐ₃、Ｐ₄の座標を（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）、（ｘ₃，ｙ₃）および（ｘ₄，ｙ₄）とする。

図３に戻って説明を続ける。まず、縦方向で向かい合う２辺の長さを算出する（ステップＳ２０３）。点Ｐ₁と点Ｐ₂を結ぶ直線をＬ₁₂とし、点Ｐ₃と点Ｐ₄を結ぶ直線をＬ₃₄とする。この場合、それぞれの長さは次の（１）式および（２）式で表わすことができる。

Ｌ₁₂＝{（ｘ₁−ｘ₂）²＋（ｙ₁−ｙ₂）²}^1/2 ……（１）
Ｌ₃₄＝{（ｘ₃−ｘ₄）²＋（ｙ₃−ｙ₄）²}^1/2 ……（２）

次に、点Ｐ₁、Ｐ₂、Ｐ₃、Ｐ₄が四隅となる四辺形の横方向で向かい合う２辺の長さを算出する（ステップＳ２０４）。点Ｐ₁と点Ｐ₃を結ぶ直線をＬ₁₃とし、点Ｐ₂と点Ｐ₄を結ぶ直線をＬ₂₄とする。この場合、それぞれの長さは次の（３）式および（４）式で表わすことができる。

Ｌ₁₃＝{（ｘ₁−ｘ₃）²＋（ｙ₁−ｙ₃）²}^1/2 ……（３）
Ｌ₂₄＝{（ｘ₂−ｘ₄）²＋（ｙ₂−ｙ₄）²}^1/2 ……（４）

次に、ステップＳ２０３で求めた直線Ｌ₁₂上におけるマーク１５２の移動の識別に必要なＹ軸方向の最小間隔を単位長ｄ_Yとするとき、Ｙ軸に対する直線Ｌ₁₂の傾斜による誤差を考慮しつつ、誤差補正後の単位長ｄ_Y間隔で定まる各点に着目し、それぞれの内分比を求める。そして、対向する直線Ｌ₃₄上でこれらと等しい内分比となるそれぞれの点と横方向に直線で結ぶ。このようにして、２つの対向した辺の間に横方向に直線群が引かれることになる（ステップＳ２０５）。このとき、Ｙ軸に対する直線Ｌ₁₂の傾斜の度合いが問題となるが、これは、ステップＳ２０２で求めた４点Ｐ₁、Ｐ₂、Ｐ₃、Ｐ₄の座標値あるいはステップＳ２０３およびステップＳ２０４で求めた４つの直線Ｌ₁₂、Ｌ₃₄、Ｌ₁₃、Ｌ₂₄で形成される四辺形を基にして算出することができる。これについての説明は省略する。

このようにスクリーン１０６上の４点Ｐ₁、Ｐ₂、Ｐ₃、Ｐ₄の座標値が確定することは、座標の補正を行うことを可能にする以外に、スクリーン１０６の外でマーク１５２が誤認識されるという問題を解決することができる。すなわち、図３等に示したポインタキャプチャカメラ１１６は、スクリーン１０６の全域をカバーするような画角に設定されるので、たとえばスクリーン１０６の背後に白熱灯が存在したり、太陽光が差し込んでいたりすると、スクリーン１０６の外のそれらの位置のいずれかにマーク１５２が存在すると誤認識する場合がある。しかしながら、ステップＳ２０２の処理でスクリーン１０６の位置あるいはスクリーン１０６に投影される画像の最大領域を特定すると、マーク１５２として検出される領域をその範囲に限定することができ、投影された画像以外の領域にマーク１５２が存在すると誤って検出することがなくなる。

また、図５で示したように位置補正モードと同様の調整モードを適宜挿入して、スクリーン１０６にマーク１５２が存在しない状態でスクリーン１０６の照度を把握し、これを基準とすることで、たとえば西日が当たり始めた教室でもマーク１５２を精度よく検出することができる。もちろん、時間変動によるデータを年間を通して、あるいは季節ごとに採っておくことで、このような調整モードの実行を省略しながらマーク１５２の座標認識を高精度に行うことも可能である。

図７は、図６に示した画像領域に横方向の直線群が引かれたこの状態を表わしたものである。画像領域１６１には、一方の辺としての直線Ｌ₁₂を、補正後の単位長ｄ_Yずつの間隔で分割し、他方の辺としての直線Ｌ₃₄上にそれぞれ内分比が等しくなるように点を求め、これらを結ぶことで横方向に複数の直線１６３₁〜１６３_qが引かれている。

次に、ステップＳ２０４で求めた直線Ｌ₁₃上におけるマーク１５２の移動の識別に必要なＸ軸方向の最小間隔を単位長ｄ_Xとするとき、Ｘ軸に対する直線Ｌ₁₃の傾斜による誤差を考慮しつつ、誤差補正後の単位長ｄ_X間隔で定まる各点に着目し、それぞれの内分比を求める。そして、対向する直線Ｌ₂₄上でこれらと等しい内分比となるそれぞれの点と縦方向に直線で結ぶ。このようにして、２つの対向した辺の間に縦方向に直線群が引かれることになる（ステップＳ２０６）。このとき、Ｘ軸に対する直線Ｌ₁₃の傾斜の度合いがステップＳ２０５の処理と同様に問題となるが、これは、ステップＳ２０２で求めた４点Ｐ₁、Ｐ₂、Ｐ₃、Ｐ₄の座標値あるいはステップＳ２０３およびステップＳ２０４で求めた４つの直線Ｌ₁₂、Ｌ₃₄、Ｌ₁₃、Ｌ₂₄で形成される四辺形を基にして算出することができる。

図８は、図７に示した画像領域に更に縦方向に直線群が引かれた状態を表わしたものである。画像領域１６１には、一方の辺としての直線Ｌ₁₃を補正後の間隔ｄ_Yずつの間隔で分割し、他方の辺としての直線Ｌ₂₄上にそれぞれ内分比が等しくなるように点を求め、これらを結ぶことで縦方向に複数の直線１６４₁〜１６４_rが引かれている。このようにして、画像領域１６１には、直線Ｌ₁₂および直線Ｌ₁₃を基準としたときに、補正後の間隔ｄ_X、ｄ_Yを単位長とする格子状に区切られた座標データが作成される。これらの格子の交点に相当する座標がポインタ変換用座標データとして、講師側サーバ１１７の図示しない作業用メモリの所定のエリアに格納されることになる（ステップＳ２０７）。なお、ポインタ変換用座標データは時間的に緻密にサンプリングしてもよいが、再生側でスムージング処理を行うことを前提とすれば、ある程度時間的に荒い座標データとして作業用メモリの所定のエリアに格納することも可能である。これにより、受講者１２７側に伝送する座標データの量を軽減することができるだけでなく、視聴の際の違和感をなくすことができる。このような意図の基に、受講者側パソコン１２１には遠隔講義を受講するために用意されたソフトウェアの１つとして、マーク座標に基づくマーク１５２の画像データのスムージング処理を行うためのソフトウェアが予めインストールされている。受講者１２７は、このスムージング処理を動作させるか否かを設定画面より選択することができる。

図９は、スクリーン上をレーザポインタが指し示した際のマークの座標を検出する制御の流れを示したものである。図１に示した講師１０５あるいは講演を補助するスタッフは、スクリーン１０６にプロジェクタ１０９で資料を表示し、講師側サーバ１１７を講演モードに設定する（ステップＳ２２１）。この講演モードで、切替スイッチ回路１１８はノートパソコン１１１およびポインタキャプチャカメラ１１６と少なくとも接続された状態となっている。また、ポインタキャプチャカメラ１１６のバンドパスフィルタ１５３は、レンズの前面に配置されている。この状態で、スクリーン１０６に赤外光レーザビーム１３２によるマーク１５２（図４）が存在していると、フレームを構成する画像信号をスキャンして、所定のしきい値を超えるレベルの信号としてこれを検出する。これによって、それぞれのフレームにマーク１５２が存在しているかどうかを検出することができる。マーク１５２を検出した時点で、該当するフレームにおける検出のためのスキャンは中止することができる。

該当するフレームにマーク１５２が存在している場合には（ステップＳ２２２：Ｙ）、そのフレームにおけるマーク１５２の検出された位置の主走査方向および副走査方向の位置を、ステップＳ２０７で作業用メモリに格納したポインタ変換用座標データの同一位置と対応付けて、補正後の間隔ｄ_X、ｄ_Yを単位長とする座標データに変換する（ステップＳ２２３）。これにより、図６に示した歪んだ四辺形内のマーク１５２の検出位置が、長方形に補正された資料の画像における座標データに変換されたことになる。

このようにして得られた１つのフレームのマーク１５２の座標は、そのフレームに対応する講演時に収録される音声のストリームと同期を採って講師側サーバ１１７に保管され、あるいはインターネット網１０１を介して受講者側サイト１０３に他のデータと共に送信されることになる（ステップＳ２２４）。該当する１つのフレームについて以上説明した処理が終了したら、講演モードが終了したかどうかがチェックされ（ステップＳ２２５）、終了していないのであれば（Ｎ）、ステップＳ２２２に戻って、ポインタキャプチャカメラ１１６が出力する次のフレームの画像について同様の処理が行われる。以下、同様である。映像や音といった異なった情報の同期は、時間情報を基準として行ってもよいが、本実施例では音声のストリーム（あるいはフレーム）に同期させる処理が行われる。もちろん、映像のストリーム（あるいはフレーム）に同期させる処理が行われてもよい。

このように音声または映像といった講演時に連続して採取されるデータにマーク１５２の座標を一定時間間隔で入れ込んで送信するようにすると、次のような利点がある。
（ａ）講演の様子を編集する場合に、講演の一部をカットしたり、他の箇所で同一のシーンを重複して再現するような場合がある。このような場合にも、マーク１５２の座標がこれに連動して再生されるので、時間軸に合わせて複雑な同期処理を行う必要がない。
（ｂ）マーク１５２の座標のデータを単独で受講者側サイト１０３に送信する際に必要とされるＩＰ（Internet Protocol）アドレスやＩＰポートが不要であり、この分だけシステム上での管理がしやすくなり、セキュリティ上でも有利である。
（ｃ）時間の経過と共に動く矢印といった、ある種の映像を特別な配信サーバを用いることなく、各受講者側サイト１０３に配信することができる。

ステップＳ２２２で該当するフレームにマーク１５２が検出されなかった場合には（Ｎ）、そのときのフレームとマーク１５２が検出されなかったことを示すマーク無しデータとが組み合わされて、講師側サーバ１１７に保管され、あるいはインターネット網１０１を介して受講者側サイト１０３に他のデータと共に送信されることになる（ステップＳ２２６）。ステップＳ２２４の処理もステップＳ２２６の処理も、共にフレームとマーク１５２に関する情報が組み合わされることにしたのは、受講者側サイト１０３で講演を再現するときに各データの同期を採るためである。

以上、講師１０５が、図３に示すレーザポインタ１１３を用いてスクリーン１０６上に投影された資料を指しながら説明を行う場合について、ポインタマーク１５１あるいはマーク１５２の座標データの特定について説明した。プロジェクタ１０９は講師１０５の講義の内容に応じて静止画あるいは動画からなる資料を適宜切り替えてスクリーン１０６上に投影することになるが、図１に示した講師側サーバ１１７は、どのフレームにどのような内容の資料がプロジェクタ１０９によってスクリーン１０６上に投影されたかを逐一、記録するようになっている。これも、受講者側サイト１０３で講演を再現するときに各データの同期を採るためである。

また、講師１０５は、電子ホワイトボード１０７を使用して講義を進める場合がある。本実施例で使用する電子ホワイトボード１０７は、図示しないマーカに超音波の発信器と、赤外の発信器が組み込まれたもので、それをホワイトボード上に配置した図示しない受信器で受信することで、描かれた線画のＸ，Ｙ座標と、マーカごとの色を判別するようにしている。これら受信器で受信して解析された座標および色のデータは、同様に講義中のフレームと対応付けられて、講師側サーバ１１７に保管され、あるいはインターネット網１０１を介して受講者側サイト１０３に他のデータと共に送信される。

講師１０５や講義会場で受講している受講者の音声を入力するマイクロフォン１０８についても、取得される音声データは同様に映像のフレームと対応付けられて、講師側サーバ１１７に保管され、あるいはインターネット網１０１を介して受講者側サイト１０３に他のデータと共に送信されることになる。特に本実施例の遠隔講義システム１００は、受講者側サイト１０３が必ずしも高速の伝送路を介して講師側サイト１０２と接続されないでよい工夫がされているので、受講者側サイト１０３で講師側サイト１０２から送られるデータを同期して再生することが必要になる。

図１０は、受講者側サイトにおける講義を受ける手順の概要を表わしたものである。受講者側サイト１０３で講義を受けようとする受講者１２７は、まず、図１に示した受講者側パソコン１２１を立ち上げて、家庭等で使用しているプロバイダ経由でインターネット網１０１（図１）上の講義用ウエブサイトにアクセスする（ステップＳ２４１）。そして、所定の認証手続きを行い（ステップＳ２４２）、この後、講師側サイト１０２の講師側サーバ１１７から送られてくるメニュー画面から受講を希望する講義を選択する（ステップＳ２４３）。この講義は、過去に行われ蓄積された講義であってもよいし、ある時刻から開始しようとする講義であってもよい。

次に受講者１２７は所定の講義受付処理を行う（ステップＳ２４４）。たとえば、クレジットカードで講義の料金を支払うとか、すでに授業料を納めている場合にはその料金を使用して授業を受けるための承認等を行う。この受付処理が終了すると、講師側サーバ１１７から受講する講義に先立って送られてくる事前配信データの配信が開始する（ステップＳ２４５）。事前配信データとしては、該当する講義で講師１０５がプロジェクタ１０９で使用する予定の資料のデータを代表的なものとして挙げることができる。資料はスライド式のデータであってもよいし、動画あるいは動画と音声のデータであってもよい。これらは必要に応じてＪＰＥＧ（oint Photographic Experts Group）等によって圧縮されたファイルとして受講者側サイト１０３に伝送される。事前配信データを講義の開始前に受講者側サイト１０３に伝送しておくことで、講義が行われるときに伝送するデータ量を大幅に削減することができる。また、講師１０５はたとえば普段使用しているスライド式のデータを使用することができるので、使い勝手がよく、かつ受講者１２７側では講義の理解に十分な範囲で圧縮された画像を取得するので、受信時間ならびに経済的な負担を軽減できる。

事前配信データの配信が終了すると（ステップＳ２４６：Ｙ）、講義が開始するまで待機状態となる（ステップＳ２４７）。したがって、受講者側パソコン１２１がインターネット網１０１に常時接続していないような場合には、ここで講師側サーバ１１７への接続を切断し、講義の開始時刻に再び接続するような手法を採ってもよい。

講義が開始すると（ステップＳ２４７：Ｙ）、講師側サーバ１１７から受講者側パソコン１２１に対して講義の内容がその講義時刻と共に送られてくる。受講者側パソコン１２１は送られてくる講師１０５の映像のフレームに同期させてプロジェクタ１０９がスクリーン１０６に投影した資料の映像を切り替える。そして、テレビカメラ１１５から送られてきた圧縮された画像データと、マイクロフォン１０８から送られてきた圧縮された音声データならびに電子ホワイトボード１０７の座標および色のデータを順次受信する。そして、これらを必要に応じて講義時刻と同期させながら画像についてはディスプレイ１２２に分割表示を行い、音声についてはスピーカ１２３から出力する（ステップＳ２４８）。この際に、映像のフレームにはレーザポインタ１１３の座標データが入れ込まれている。

講師側サーバ１１７から送られてくるこれらの講義データは、図１に示した切替スイッチ回路１１８で適宜選択して配信される。たとえば講師１０５がスクリーン１０６を使用しているときにはレーザポインタ１１３を使用するのでその座標データが送られてくるが、このときに電子ホワイトボード１０７についての座標および色のデータが送られてくることはない。その逆に、電子ホワイトボード１０７が使用されているときにその座標および色のデータが送られてくる可能性があるが、このときにレーザポインタ１１３の座標データが送られてくることはない。また、電子ホワイトボード１０７のデータはその都度受信されたものが蓄積されて、全体的な線画が表示されるので、描かれた線画に変更がなければ電子ホワイトボード１０７から送られるデータは送信停止状態となる。レーザポインタ１１３の座標データについても、変化が生じていない期間はデータの送信を停止させることが可能である。

しかも、通常の講義内容の場合には、スクリーン１０６に投影される資料の画像やレーザポインタ１１３の座標データおよび電子ホワイトボード１０７の座標および色のデータが実用的なレベルであれば、テレビカメラ１１５の送出する画像データによって再現される画像は、それほど高画質である必要はない。したがって、本実施例の遠隔講義システム１００では、比較的データ転送量の低い伝送路を使用しても十分満足な講義内容を受講者１２７に与えることができる。もちろん、すでに終了した講義を受講者１２７が受講する場合には、事前配信データとして講師側サイト１０２で得られる全データを講義時刻と共に受講者側パソコン１２１に格納して、その後に講義を視聴する。したがって、夜間等の受講者１２７が受講していない時間帯にこれらの事前配信データを時間を掛けて受信しておくことで、極めて遅い伝送路を使用したり、伝送路が輻輳している状態でも、講義を確実に再現させることができる。実際の講義とは異なる時間帯に講義を受講する場合、受講生は質問をＢＢＳを用いて行うことで、過去に行われた質問に対する回答を基礎にして、更に質問内容を深めることも可能である。

本実施例では受講者１２７の質問をＢＢＳで講師側サイト１０２に送信するようにしているが、これにより、重複した質問を排除して講師１０５の負担を軽減できるだけでなく、音声を受講者１２７側から送信する必要がないので、上り方向の伝送路の転送量の上限が低いような場合にも有効である。また、１つ１つの受講者側サイト１０３へ配信するデータの単位時間当たりの量を軽減できることは、講師側サイト１０２の配信用の設備を大型化する必要がないことを意味する。これは、講義用ウエブサイト自体が安価な設備投資で多くの受講者１２７を受け入れることができることを意味するものであり、受講料を引き下げ、遠隔講義のビジネスを活性化させる効果も奏することになる。

講義が終了するか（ステップＳ２４９：Ｙ）、あるいは受講者１２７が何らかの理由で講義の受講を終始すると（ステップＳ２５０：Ｙ）、講義に対する所定の課金処理が実行される（ステップＳ２５１）。一連のカリキュラムで授業が行われているような場合には、講義を受講したことを講義用ウエブサイトに報告するような処理が併せて行われてもよい。

なお、ウエブ上で企業が無料の講習会を開くような場合には、ステップＳ２４２に示した認証手続きやステップＳ２５１に示した課金処理等の幾つかの処理を省略することができる。また、受講者１２７が講義を無料で受けることの前提要件として、たとえばステップＳ２４４の講義受付処理で所定のアンケートを要求したり、次回の受講資格を取得させるためにステップＳ２５１で所定の報告処理を課するようにすることも有効である。

また、実施例ではレーザポインタ１１３の座標データをテレビカメラ１１５の送出する画像データに入れ込んで配信することにしたが、音声データを基準として、これに入れ込んで配信するようにしてもよい。この場合には、スライドを中心に説明が行われるように画像データに変化が少ないような場合には、画像データについて差分情報のみを伝送する等の措置を採ることができる。

本発明の一実施例における遠隔講義システムの概要を表わしたシステム構成図である。実施例のレーザポインタの回路図である。本実施例でスクリーン上の任意の場所をレーザポインタで指し示した際の位置座標取得の原理を示した原理図である。本実施例でポインタキャプチャカメラによって得られた画像の一例を示した平面図である。本実施例でポインタ変換用座標データを作成する手順の原理を表わした流れ図である。ステップＳ２０２の処理で得られた四隅の点と画像領域の一例を示した説明図である。図６に示した画像領域に横方向の直線群が引かれた状態を表わした説明図である。図７に示した画像領域に更に縦方向に直線群が引かれた状態を表わした説明図である。本実施例でスクリーン上をレーザポインタが指し示した際のマークの座標を検出する制御を表わした流れ図である。受講者側サイトにおける講義を受ける手順の概要を表わした流れ図である。第１の提案による受講者側のディスプレイに表示された画面構成を示した説明図である。第１の提案による遠隔地講義システムの概要を表わしたシステム構成図である。第３の提案でレーザポインタとして可視光と赤外光の２種類の光を用いるプレゼンテーションの原理図である。

符号の説明

１００遠隔講義システム
１０１インターネット網
１０２講師側サイト
１０３受講者側サイト
１０５講師
１０６スクリーン
１０９プロジェクタ
１１１ノートパソコン
１１３レーザポインタ
１１５テレビカメラ
１１６ポインタキャプチャカメラ
１１７講師側サーバ
１２１受講者側パソコン
１２２ディスプレイ
１２３スピーカ
１２５入力装置
１２７受講者
１５２マーク

Claims

講演会場で講演を行う講師の様子を時系列的な画像データとして取得する動画像取得手段と、
前記講師を少なくとも含む前記講演会場の時系列的な音データを取得する音データ取得手段と、
前記講師が講演の資料として使用する複数の画像情報を所定のスクリーン上に選択して投影する画像情報投影手段と、
前記スクリーン上に光学的に所定のマークを移動自在に表示するマーク表示手段と、
このマーク表示手段によって表示されたマークの位置座標を所定の領域内に限定して判別するマーク座標判別手段と、
前記画像情報投影手段で投影されている画像情報の種別を判別する画像情報判別手段と、
前記画像情報投影手段によって投影される予定の画像情報等のように受講者側があらかじめ受け取って保管が可能な事前配信データを、講演が開始する前に受講者側に送信する事前配信データ配信手段と、
この事前配信データ配信手段によって事前に受講者側に配信された事前配信データを受講者側で格納する事前配信データ格納手段と、
前記動画像取得手段の取得した情報のように前記事前配信データ以外のデータを講演の進展に応じて前記受講者側に配信するリアルタイムデータ配信手段と、
前記受講者側に配置され、リアルタイムデータ配信手段によって配信されるデータを再生するリアルタイムデータ再生手段と、
前記受講者側に配置され、リアルタイムデータ再生手段によって再生されるリアルタイムデータに同期して前記事前配信データ格納手段に格納された事前配信データのうちのそれぞれ該当するデータを再生する事前配信データ再生手段
とを具備することを特徴とする遠隔講義システム。
前記リアルタイムデータ配信手段は、前記動画像取得手段の取得する画像データと、前記音データ取得手段の取得する音データと、前記画像情報判別手段によって判別された画像情報の種別と、前記マーク座標判別手段によって判別されたマークの位置座標とを少なくともリアルタイムデータとして講演の進展に合わせて配信し、このうちのマークの位置座標は前記音データあるいは画像データに組み込んだデータとして配信されることを特徴とする請求項１記載の遠隔講義システム。
各種の講演についての前記リアルタイムデータおよび前記事前配信データの組を過去に講演があったものまで蓄積するサーバを具備しており、前記リアルタイムデータ配信手段は、受講者の要求に応じて該当するリアルタイムデータを、これと対となった事前配信データの配信後に配信することを特徴とする請求項１記載の遠隔講義システム。
前記リアルタイムデータ再生手段は、前記リアルタイムデータ配信手段によって送られてきたマークの位置座標に基づくマークの画像データのスムージングを行うスムージング手段を具備することを特徴とする請求項１記載の遠隔講義システム。
前記事前配信データ配信手段は前記画像情報投影手段がスクリーンに投影する画像を圧縮する画像圧縮手段を備え、この画像圧縮手段によって圧縮された画像を受講者側に配信することを特徴とする請求項１記載の遠隔講義システム。
前記スクリーンに投影される画像情報の投影領域を判別する投影領域判別手段を備え、前記マーク座標判別手段は、この投影領域判別手段の判別した投影領域内のマークの位置座標に限定して座標を判別することを特徴とする請求項１記載の遠隔講義システム。