JP4264536B2 - Data conferencing system, transmitting terminal device, receiving terminal device, program, data conferencing method - Google Patents
Data conferencing system, transmitting terminal device, receiving terminal device, program, data conferencing method Download PDFInfo
- Publication number
- JP4264536B2 JP4264536B2 JP2003051376A JP2003051376A JP4264536B2 JP 4264536 B2 JP4264536 B2 JP 4264536B2 JP 2003051376 A JP2003051376 A JP 2003051376A JP 2003051376 A JP2003051376 A JP 2003051376A JP 4264536 B2 JP4264536 B2 JP 4264536B2
- Authority
- JP
- Japan
- Prior art keywords
- display screen
- terminal device
- reception
- unit
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【0001】
【発明の属する技術分野】
本発明は,複数の端末装置間で表示画面を共有するデータ会議システムおよびデータ会議方法,並びに,これらに用いられる送信側端末装置およびプログラムに関する。
【0002】
【従来の技術】
従来では,遠隔地間でデータ会議を行うために,ネットワークを介して複数の端末装置を接続し,発表者の端末装置の表示画面を他の参加者の端末装置で共有することが可能なデータ会議システムが提案されている。このデータ会議システムは,発表者の端末装置(送信側端末装置)が自身の表示画面データをエンコードした上で送信し,参加者の端末装置(受信側端末装置)が,受信した表示画面データをデコードした上で自身の表示画面上に再現するものである(例えば,特許文献1参照)。
【0003】
かかるシステムでは,会議の進行に伴って,送信側端末装置側で発表画面が随時切り替えられたとしても,この切り替えられた発表画面の表示画面データを受信側端末装置側で随時取得して表示することで,参加者は,発表者によるプレゼンテーション内容,提示された資料等を順次閲覧することができる。
【0004】
【特許文献1】
特開2001−331430
【0005】
【発明が解決しようとする課題】
しかしながら,送信側端末装置によって表示画面データが送信されてから受信側端末装置の表示画面上に再現されるまでには,ネットワークを介した通信処理や受信側端末装置の受信・描画処理により,どうしても時間差(以下では,画面転送遅延時間という。)が生ずる。この画面転送遅延時間が,例えば0.5秒以下といった短時間であれば会議の進行上さほど支障はないが,例えば数秒以上といった長時間であると,発表者が発表画面を切り替えてその発表画面の内容について説明を始めるタイミングと,受信側で発表画面が切り替わって表示されるタイミングとのズレが気になるようになる。即ち,上記画面転送遅延時間が大きいと,発表者が新たな発表画面について説明を始めたにもかかわらず,受信側端末装置側ではその発表画面に未だ切り替わっていないという問題が起こりうる。
【0006】
また,発表者側で発表画面を次々と切り替えていった場合に,この発表画面の切り替え間隔が上記画面転送遅延時間よりも早いと,受信側では発表画面がジャンプしてしまい,意図した発表内容を共有できないという問題も生ずる。
【0007】
これらの問題に対処するためには,発表者側で,受信側の表示画面が切り替わったことを確認しながら発表を進行させる必要がある。
【0008】
しかしながら,上記従来のデータ会議システムでは,発表者は,受信側端末装置側での発表画面の切り替え状態等といった表示画面状態を把握することができないという問題があった。かかる観点によれば,受信側の表示画面状態を把握する手法として,受信側の表示画面を撮像したカメラ映像を受信側から送信側に転送する手法も考えられるが,この手法では設備規模面やコスト面での障害が大きいという問題がある。
【0009】
また,複数の受信側端末装置との間で表示画面を共有している場合には,各受信側端末装置の画面転送遅延時間は,経由するネットワークの通信速度や受信側の処理能力などに応じて多様である。このため,上記のようなカメラ映像を目視するという手法などでは,発表者が,どの受信側端末装置への画像転送が遅れているかを意識しながら,発表画面の切り替えタイミングを好適に判断することは,非常に困難であった。
【0010】
本発明は,上記問題点に鑑みてなされたものであり,本発明の目的は,発表者が受信側端末装置の表示画面状態を容易に把握することが可能な,新規かつ改良されたデータ会議システムおよびデータ会議方法,並びにこれを実現するための端末装置,プログラム等を提供することにある。
【0011】
【課題を解決するための手段】
上記課題を解決するため,本発明の第1の観点によれば,1または2以上の送信側端末装置と1または2以上の受信側端末装置とがネットワークを介して接続され,前記送信側端末装置の表示画面データを前記受信側端末装置で共有するデータ会議システムであって:前記送信側端末装置は,表示画面内に検索対象領域を設定する検索対象領域設定部と;設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索実行部と;前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するとともに,前記受信側端末装置から,前記更新領域に対応する表示画面データの受取完了信号を受信する,送信側送受信部と;前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する,通知部と;を備え,前記受信側端末装置は,前記送信側端末装置から,前記更新領域に対応する表示画面データを受信する受信側受信部と;受信した前記更新領域に対応する表示画面データを表示画面上に描画処理する画像描画部と;当該描画処理後に,前記受取完了信号を前記送信側端末装置に送信する,受信側送信部と;を備える,データ会議システムが提供される。
【0012】
かかる構成により,送信側端末装置は,受信側端末装置に対して,送信側端末装置の表示画面上に表示されている表示画面データの少なくとも一部を提供することができる。また,受信側端末装置は,このように送信側端末装置から提供された表示画面データを受信,描画処理して,受信側端末装置の表示画面上に表示させることができる。これにより,送信側端末装置と受信側端末装置との間で,送信側端末装置の表示画面データの少なくとも一部を共有することができる。また,受信側端末装置は,受信した表示画面データを受け取った旨の受取完了信号を生成して,送信側端末装置に送信側端末装置できる。送信側端末装置は,この受取完了信号を受信したタイミングに基づいて,受信側端末装置の表示画面状態情報を,表示画面上に表示出力する或いは音声出力するなどして,会議の発表者に対して通知することができる。
【0013】
また,上記課題を解決するため,本発明の別の観点によれば,ネットワークを介して接続された1又は2以上の受信側端末装置に,表示画面データを共有させる送信側端末装置であって:表示画面内に検索対象領域を設定する検索対象領域設定部と;設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索実行部と;前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するとともに,前記受信側端末装置から,前記更新領域に対応する表示画面データの受取完了信号を受信する,送信側送受信部と;前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する,通知部と;を備える,送信側端末装置が提供される。
【0014】
かかる構成により,送信側送受信部は,送信側端末装置の表示画面内の表示画面データの少なくとも一部を,ネットワークを介して送信することにより,受信側端末装置に対して,送信側端末装置の表示画面データを提供できる。これにより,送信側端末装置は,受信側端末装置に自身の表示画面データを共有させることができる。さらに,この送信側送受信部は,受信側端末装置が送信した受取完了信号を,ネットワークを介して受信することができる。この受取完了信号は,受信側端末装置が上記受信した表示画面データを受け取り,受信側端末装置の表示画面上への描画処理が完了したことを表す信号である。また,通知部は,この受取完了信号を受信したタイミングに基づいて,受信側端末装置の表示画面状態情報を,表示画面上に表示出力する或いは音声出力するなどして,会議の発表者に対して通知することができる。このため,発表者は,受信側端末装置側での表示画面の切り替え状態などを把握できるので,発表画面についての説明を開始するタイミング(発表タイミング)や,当該発表画面を次の発表画面に切り替えるタイミング(発表画面切替タイミング)などを好適に調整することができる。
【0015】
また,上記通知部は,送信された表示画面データの更新量に基づいて,表示画面状態情報の通知を制御する,ように構成してもよい。
【0016】
かかる構成により,通知部は,例えば,送信された表示画面データの更新量が規定値より小さい場合には,当該表示画面データに対応する受取完了通知信号を受信したとしても,上記受信側端末装置の表示画面状態情報を通知しないようにできる。換言すると,通知部は,例えば,送信された表示画面データの更新量を保持しておき,この更新料が規定値より大きい場合には,当該表示画面データに対応する受取完了通知信号の受信に応じて,上記受信側端末装置の表示画面状態情報を通知することができる。
【0017】
また,上記通知部は,前回通知したときからの経過時間に基づいて,表示画面状態情報の通知を制御する,ように構成してもよい。
【0018】
かかる構成により,通知部は,例えば,前回通知したときからの経過時間が規定値を超えている場合に,送信された表示画面データに対応する受取完了通知信号の受信に応じて,受信側端末装置の表示画面状態情報を通知する。これにより,通知部は,上記受信側端末装置の表示画面状態情報の通知時間間隔を制御することができる。
【0019】
また,上記通知部は,複数の受信側端末装置の全てから受取完了信号を受信した場合に,表示画面状態情報を通知する,ように構成してもよい。
【0020】
かかる構成により,送信側端末装置が複数の受信側端末装置に表示画面データを共有させている場合に,全ての受信側端末装置から受取完了信号を受信完了したタイミングに基づいて,表示画面状態情報を通知することができる。これにより,例えば,表示画面データの転送が最も遅い受信側端末装置に合わせて,上記表示画面状態情報を通知することができる。
【0021】
また,上記通知部は,複数の受信側端末装置の中から予め選択された少なくとも1の基準受信側端末装置から受取完了信号を受信した場合に,表示画面状態情報を通知する,ように構成してもよい。
【0022】
かかる構成により,送信側端末装置が複数の受信側端末装置に表示画面データを共有させている場合に,予め選択された特定の基準受信側端末装置から受取完了信号を受信したタイミングに基づいて,表示画面状態情報を通知することができる。これにより,例えば,上記基準受信側端末装置に合わせて,上記表示画面状態情報を通知することができる。
【0023】
また,上記通知部は,少なくとも送信された表示画面データのデータ量に基づいて,受取完了信号の受信タイミングを予測し,予測した受取完了信号の受信タイミングに基づいて,表示画面状態情報を通知する,ように構成してもよい。
【0024】
かかる構成により,通知部は,例えば,送信された表示画面データのデータ量,および過去の通信実績などに基づいて,通信所要時間を算出し,当該送信された表示画面データに対応する受取完了信号を受信するタイミングを予測できる。さらに,通知部は,このように予測した受取完了信号の受信タイミングに基づいて,表示画面状態情報を例えばカウントダウン通知することなどができる。
【0025】
また,上記送信側端末装置の表示画面は,少なくとも,受信側端末装置が共有する共有画面領域と,受信側端末装置が共有しない私有画面領域と,からなり;上記通知部は,私有画面領域に表示画面状態情報を表示出力することにより,表示画面状態情報を通知する,ように構成してもよい。
【0026】
かかる構成により,通知部は,送信側端末装置の表示画面上に表示画面状態情報を表示出力することにより,発表者に対して表示画面状態情報を通知することができる。また,私有画面領域の表示画面データは受信側端末装置に送信されないため,受信側端末装置で共有されることがない。従って,通知部が表示画面状態情報をこの私有画面領域に表示出力することにより,当該表示画面状態情報は,送信側端末装置の表示画面上にのみ表示され,受信側端末装置の表示画面上に表示されることがない。
【0027】
また,上記送信側端末装置は,表示画面内の検索対象領域を検索処理して,表示画面内の更新領域を検出する,検索部;を備え,上記送信側送受信部は,少なくとも更新領域の表示画面データを受信側端末装置に対して送信するようにしてもよい。かかる構成により,送信側端末装置は,受信側端末装置に対して,更新領域の表示画面データのみの送信を繰り返すことで,表示画面データの共有を実現することができる。これにより,全画面の表示画面データを毎回送信する場合などと比べて,送信する表示画面データのデータ量を大幅に低減できる。
【0028】
また,上記課題を解決するため,本発明の別の観点によれば,コンピュータをして:ネットワークを介して接続された1又は2以上の受信側端末装置に,表示画面データを共有させる送信側端末装置であって:表示画面内に検索対象領域を設定する検索対象領域設定部と;設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索実行部と;前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するとともに,前記受信側端末装置から,前記更新領域に対応する表示画面データの受取完了信号を受信する,送信側送受信部と;前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する,通知部と;を備える送信側端末装置として機能せしめる,プログラムが提供される。
【0029】
また,上記課題を解決するため,本発明の別の観点によれば,コンピュータをして:ネットワークを介して接続された1又は2以上の受信側端末装置に,表示画面データを共有させる送信側端末装置であって:表示画面内に検索対象領域を設定する検索対象領域設定部と;設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索実行部と;前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するとともに,前記受信側端末装置から,前記更新領域に対応する表示画面データの受取完了信号を受信する,送信側送受信部と;前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する,通知部と;を備える送信側端末装置として機能せしめる,プログラム,が記録された記録媒体が提供される。
【0034】
また,上記課題を解決するため,本発明の別の観点によれば,1または2以上の送信側端末装置と1または2以上の受信側端末装置とがネットワークを介して接続され,前記送信側端末装置の表示画面データを前記受信側端末装置で共有するデータ会議方法であって:前記送信側端末装置が,表示画面内に検索対象領域を設定する検索対象領域設定ステップと;前記送信側端末装置が,設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索ステップと;前記送信側端末装置が,前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するデータ送信ステップと;前記受信側端末装置が,前記送信側端末装置から,前記更新領域に対応する表示画面データを受信するデータ受信ステップと;前記受信側端末装置が,受信した前記更新領域に対応する表示画面データを表示画面上に描画処理する描画ステップと;前記受信側端末装置が,当該描画処理後に,前記更新領域に対応する表示画面データの受取完了信号を前記送信側端末装置に送信する受取完了信号送信ステップと;前記送信側端末装置が,前記受信側端末装置から,前記受取完了信号を受信する受取完了信号受信ステップと;前記送信側端末装置が,前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する通知ステップと;を含む,データ会議方法が提供される。
【0035】
かかる構成により,送信側端末装置は,受信側端末装置の表示画面状態情報を,表示画面上に表示出力する或いは音声出力するなどして,会議の発表者に対して通知することができる。このため,発表者は,受信側端末装置側での表示画面の切り替え状態などを把握できるので,発表タイミングや発表画面切替タイミングなどを好適に調整することができる。
【0036】
また,上記通知部は,送信された表示画面データの更新量に基づいて,表示画面状態情報の通知を制御する,ようにしてもよい。
【0037】
また,上記通知部は,前回通知したときからの経過時間に基づいて,表示画面状態情報の通知を制御する,ようにしてもよい。
【0038】
また,上記通知部は,複数の受信側端末装置の全てから受取完了信号を受信した場合に,表示画面状態情報を通知する,ようにしてもよい。
【0039】
また,上記通知部は,複数の受信側端末装置の中から予め選択された少なくとも1の基準受信側端末装置から受取完了信号を受信した場合に,表示画面状態情報を通知する,ようにしてもよい。
【0040】
また,上記通知部は,少なくとも送信された表示画面データのデータ量に基づいて,受取完了信号の受信タイミングを予測し,予測した受取完了信号の受信タイミングに基づいて,表示画面状態情報を通知する,ようにしてもよい。
【0041】
また,上記送信側端末装置の表示画面は,少なくとも,受信側端末装置が共有する共有画面領域と,受信側端末装置が共有しない私有画面領域と,からなり;上記通知部は,私有画面領域に表示画面状態情報を表示出力することにより,表示画面状態情報を通知する,ようにしてもよい。
【0042】
【発明の実施の形態】
以下に添付図面を参照しながら,本発明の好適な実施の形態について詳細に説明する。なお,本明細書及び図面において,実質的に同一の機能構成を有する構成要素については,同一の符号を付することにより重複説明を省略する。
【0043】
(第1の実施の形態)
まず,本発明の第1の実施の形態にかかるデータ会議システムおよびデータ会議方法について説明する。
【0044】
<1.システム構成>
まず,図1に基づいて,本実施形態にかかるデータ会議システムの全体構成について説明する。なお,図1は,本実施形態にかかるデータ会議システム1の概略的な構成を示すブロック図である。
【0045】
図1に示すように,本実施形態にかかるデータ会議システム1は,例えば,1つの送信側端末装置10aと,1つの受信側端末装置10bと,送信側端末装置10aと受信側端末装置10bを接続するネットワーク5と,から主に構成される。
【0046】
送信側端末装置10aおよび受信側端末装置10b(以下では,端末装置10と総称する場合もある。)は,例えば,少なくとも中央演算処理部(CPU)と送受信部と記憶部と表示部とを備えた情報処理装置であり,一般的には,パーソナルコンピュータなどのコンピュータ装置で構成される。なお,これらの端末装置10は,かかるコンピュータ装置に限定されず,例えば,携帯電話,情報家電,携帯端末,PDA,またはテレビ会議機能等を備えたコミュニケーション端末などの各種の情報処理装置で構成してもよい。
【0047】
このうち,送信側端末装置10aは,例えば,データ会議における発表者によって利用される端末装置であって,自身の表示画面データを提供(送信)する側の端末装置である。この送信側端末装置10aは,例えば,プレゼン用ソフト,ワープロソフト等の各種の発表用ソフトウェアがインストールされており,発表者により指定された,プレゼンテーション内容や発表資料等(以下では,発表内容という。)のデータを,自身の表示画面(例えばデスクトップ画面)上に発表画面として表示し,当該発表者の操作に応じてその表示内容を随時切り替えることができる。
【0048】
かかる送信側端末装置10aには,送信権7が付与されている。この送信権7は,他の端末装置に対して自身の表示画面データを送信できる権限であり,データ会議における発表者の権限に相当するものである。この送信権7は,データ会議システム1内の複数の端末装置10の中から,発表者が用いる1または2以上の端末装置10に割り当てられるものであるが,図1の例では,1つの端末装置10(即ち,送信側端末装置10a)にのみ割り当てられている。
【0049】
かかる送信権7を有することにより,送信側端末装置10aは,上記のように自身の表示画面上に表示されている画像データ(表示画面データ)の全部または一部を,ネットワーク5を介して受信側端末装置10bに送信することができる。より具体的には,送信側端末装置10aは,例えば,自身の表示画面上で発表内容を表示させている発表用ソフトウェアのウィンドウ,あるいは当該表示画面全体などの表示画面データを,受信側端末装置10bに送信することができる。
【0050】
さらに,送信側端末装置10aは,例えば,受信側端末装置10bからの受取完了信号に基づいて,次の表示画面データを検索・送信するタイミングを好適に制御したり,発表者に対して発表タイミングや発表画面の切り替えタイミング等を通知したりできるが,これらの詳細については後述する。
【0051】
一方,受信側端末装置10bは,データ会議における参加者(聞き手)によって利用される端末装置であって,他の端末装置の表示画面データを享受(受信)する側の端末装置である。この受信側端末装置10bは,上記送信側端末装置10aから受信した表示画面データを描画処理して,自身の表示部に表示することができる。また,受信側端末装置10bは,例えば,表示画面データの描画処理が完了した時点で受取完了信号を生成し,送信側端末装置10aに送信することもできる。
【0052】
ネットワーク5は,送信側端末装置10aと受信側端末装置10bを相互に双方向通信可能に接続する通信回線網である。このネットワーク5は,例えば,インターネット等の公衆回線網や,WAN,LAN,IP−VPN等の専用回線網などで構成される。また,ネットワーク5の接続媒体は,例えば,FDDI(Fiber Distributed Data Interface)などによる光ファイバケーブル,Ethernet(登録商標)による同軸ケーブル又はツイストペアケーブル,もしくはIEEE802.11bなど,有線・無線を問わず,衛星通信網なども含むように構成してもよい。なお,本実施形態にかかる端末装置10間においては,表示画面データ等の各種データを,例えばTCP/IP(Transmission Control Protocol/Internet Protocol)により定められた規約により送受信するように構成されているが,かかる例に限定されず,UDP(User Datagram Protocol)などで送受信するように構成してもよい。
【0053】
上記のような構成のデータ会議システム1では,上記のように,送信側端末装置10aは,自身の表示画面に対応する表示画面データを,ネットワーク5を介して受信側端末装置10bに提供することができる。また,受信側端末装置10bは,提供された表示画面データを描画処理して,自身の表示画面上に表示させることができる。これにより,送信側端末装置10aと受信側端末装置10bとの間で,送信側端末装置10aの表示画面データを共有することが可能になる。
【0054】
従って,データ会議の参加者は,送信側端末装置10aの表示画面上に表示された発表内容を,受信側端末装置10bを用いてほぼリアルタイムに閲覧することができる。かかるデータ会議では,発表者と参加者が近くにいる場合(例えば,双方が同一の会議室,フロアまたは建物内にいる場合)のみならず,遠隔地にいる場合(例えば,一方が東京本社,他方が北海道支社にいる場合,または一方が自宅,他方が移動中の新幹線の車内にいる場合)などであっても,発表者と参加者の間で発表内容を共有することができるので,発表者及び参加者の所在の自由度が高まり,有用である。
【0055】
このように,データ会議システム1は,2地点以上の遠隔地点間などをネットワーク5で接続し,送信側端末装置10aの発表画面を受信側端末装置10bで共有することにより,ネットワーク会議,セミナー等のプレゼンテーションなどを円滑に進行させることができる。なお,かかるデータ会議においては,例えば,上記のような発表画面の共有と同時に,発表者または参加者の発言内容等の音声情報を,マイク,スピーカ等からなる別途の音声通信手段(図示せず。)などを用いて,端末装置10間で共有できるように構成してもよい。また,例えば,データ会議システム1とテレビ会議システムなどとを併用し,発表者の映像情報や音声情報等を伝送できるようにしてもよい。
【0056】
また,かかるデータ会議システム1では,上記送信権7を端末装置10間で授受することもできる。具体的には,図1の例では,送信側端末装置10aが有する送信権7を,受信側端末装置10bに譲渡できるようにしてもよい。かかる送信権7の譲渡により,双方の機能を逆転させ,送信側端末装置10aを上記のような受信側端末装置10bとして機能させるとともに,受信側端末装置10bを上記送信側端末装置10aとして機能させることができる。このように,端末装置10間で送信権7を授受可能とすることにより,データ会議の発表者は,いずれの端末装置10を用いたとしても,その端末装置10の表示画面データを他方の端末装置10で共有させて,発表を行うことが可能となる。また,データ会議の参加者間で発表者が順次変更される場合にも対応できる。
【0057】
また,例えば,双方の端末装置10に送信権7をそれぞれ付与することにより,双方の端末装置10が相互に自身の表示画面データの一部を相手側に提供するようにしてもよい。かかる構成により,双方の端末装置10は,相互に表示画面データを共有し合って,それぞれが自身の表示画面上に相手側の表示画面の一部を表示することができる。これにより,データ会議システム1が,データ会議の参加者の双方が同時に発表者となる場合や,相互に発表内容を提示し合って議論する場合などにも対応できるようになる。
【0058】
<2.端末装置の構成>
次に,図2に基づいて,本実施形態にかかる端末装置10の構成について説明する。なお,図2は,本実施形態にかかる端末装置10の概略的な構成を示すブロック図である。
【0059】
図2に示すように,端末装置10は,CPU102と,記憶部104と,入力部106と,表示部108と,音声出力部109と,送受信部110と,通知部120と,検索部130と,画像描画部140と,から構成されている。
【0060】
CPU102は,例えば,中央演算処理装置などで構成された制御部であり,端末装置10内の各部の処理・命令等を制御することができる。例えば,このCPU102は,記憶部104などに格納された発表用ソフトウェアをはじめとする各種ソフトウェアを起動させ,その動作を制御することができる。
【0061】
記憶部104は,各種のデータおよびプログラム等を一時記録または格納することが可能な記憶用デバイスである。この記憶部104は,例えば,RAM(Read Access Memory),ROM(Read Only Memory),EEPROM(Electrically Erasable and Programmable ROM),DRAM(Dynamic RAM),SRAM(Static RAM),SDRAM(SynchronousDRAM),MRAM(Magnetoresistive RAM),ハードディスク,フレキシブルディスク,磁気テープ,光ディスク,などで構成される。
【0062】
この記憶部104は,例えば,発表者が発表内容を説明するために利用する各種の発表用ソフトウェアを記録している。この発表用ソフトウェアの具体例としては,例えば,Microsoft(登録商標)のWord XP(登録商標)などのワープロソフト,Excel XP(登録商標)などの表計算ソフト,PowerPoint XPなどのプレゼンテーション用ソフト(以下ではプレゼン用ソフトという。),Internet Explorer(登録商標)などの閲覧ソフト,などが挙げられる。なお,これらの発表用ソフトウェアは,例えば,各種のディスクドライブを用いて,フレキシブルディスク,CD−ROM,DVD−ROMなどの記録媒体から読み出して起動させてもよく,また,ネットワーク5などを介して外部から配信されたものを起動させてもよい。
【0063】
入力部106は,例えば,マウス,トラックボール,トラックパッド,スタイラスペン,またはジョイスティックなどのポインティングデバイスや,キーボードなどから構成された操作手段である。端末装置10の使用者(会議の発表者または参加者など)は,かかる入力部106を操作することにより,端末装置10に対して各種の処理動作を指示したり,各種のデータを入力したりできる。例えば,発表者は,この入力部106を操作して,上記発表用ソフトウェアのウィンドウ内に表示される発表画面を,発表の進行とともに,順次切り替えることができる。
【0064】
表示部108は,例えば,CRTディスプレイ装置,液晶ディスプレイ(LCD)装置などで構成された表示装置である。この表示部108は,その表示画面上に各種の表示画面データを表示出力することができる。
【0065】
例えば,端末装置10が送信側端末装置10aとして機能する場合の表示部108は,例えば,端末装置10の上記発表用ソフトウェアが起動されると,当該発表用ソフトウェアに対応したウィンドウを,その表示画面の一部または全部の領域に表示する。また,後述する通知部120によって生成された通知表示を表示出力して,受信側端末装置10bの表示画面状態情報を発表者に認識させることもできる。
【0066】
ここで,図3に基づいて,かかる送信側端末装置10aの表示部108に表示された発表画面と,この発表画面の切替処理の具体例について説明する。なお,図3は,本実施形態にかかる送信側端末装置10aの表示画面の具体例を示す説明図である。
【0067】
図3(a)に示すように,発表時には,送信側端末装置10aの表示画面200上に,例えば,プレゼン用ソフトのウィンドウ202と,表計算ソフトのウィンドウ204とが表示される。この状態で,発表者は,図3(a)の表示画面200上に表示されている「来年度の経営指針」に関する発表用スライド(1)についての説明を行う。次いで,発表者は,次の発表画面に切り替えるため,入力部106であるマウス等を操作してポインタ206を移動させて,発表用スライド(2)のマークを選択してクリックする。すると,図3(b)に示すように,プレゼン用ソフトのウィンドウ202内には,「コスト削減」に関する発表用スライド(2)が表示される。このようにして,送信側端末装置10aの表示画面200上では,発表の進行に伴って,例えばプレゼン用ソフトのウィンドウ202内の発表内容が順次,更新され,発表画面が次々と切り替えられていく。
【0068】
一方,端末装置10が受信側端末装置10bとして機能する場合の表示部108は,例えば,後述する画像描画部140によって描画処理された表示画面データを,その表示画面の一部または全部の領域に表示する。この受信側端末装置10bの表示部108は,表示画面上に,例えば,共有画面を表示するための共有ウィンドウ(詳細は後述する。)を表示し,かかる共有ウィンドウ内に送信側端末装置10aの表示画面を再現するように構成されている。
【0069】
なお,上記のような表示部108が表示する表示画面データは,一般的には,上記発表内容を静的に表示した例えば静止画像データであるが,かかる例に限定されず,上記発表内容が動的に変化する動画像データなどであってもよい。
【0070】
また,音声出力部109は,例えば,スピーカなどで構成されており,外部から転送されてきた発表者の発言内容等の音声データなどを音声出力できる。また,この音声出力部109は,後述する通知部120によって生成された通知音声を出力して,受信側端末装置10bの表示画面状態情報を発表者に認識させることもできる。
【0071】
送受信部110は,ネットワーク5と接続されており,他の端末装置10との間で各種のデータを送受信することができる。この送受信部110は,例えば,送信側送受信部112と,受信側送受信部114と,を備える。
【0072】
送信側送受信部112は,例えば,端末装置10が送信側端末装置10aとして機能する場合に動作する送受信部である。この送信側送受信部112は,例えば,後述する検索部130から入力された表示画面データを,エンコードした上で,ネットワーク5を介して受信側端末装置10bに送信する。また,かかる送信側送受信部112は,例えば,受信側端末装置10bが送信した受取完了信号を,ネットワーク5を介して受信して,後述する通知部120および検索部130に出力する。
【0073】
一方,受信側送受信部114は,例えば,端末装置10が受信側端末装置10bとして機能する場合に動作する送受信部である。この受信側送受信部114は,例えば,送信側端末装置10aが送信した表示画面データを,ネットワーク5を介して受信し,受信した表示画面データをデコードした上で画像描画部140に出力する。
【0074】
また,かかる受信側送受信部114は,例えば,画像描画部140からの通知を受けると,受信側端末装置10b側で表示画面データを正常に受け取り,当該表示画面データの例えば描画処理が完了した旨を表す受取完了信号を生成する。即ち,この受信側送受信部114は本実施形態にかかる受取完了信号生成部(図示せず。)としても構成されている。なお,この受取完了信号生成部は,例えば,受信側送受信部114とは独立して構成されてもよい。
【0075】
さらに,受信側送受信部114は,送信側端末装置10aに対して,ネットワーク5を介して当該受取完了信号を送信することで,例えば,受信側端末装置10b側で当該表示画面データの受信・描画処理が完了し,表示画面が切り替わった旨を通知することができる。
【0076】
なお,この受信側送受信部114は,例えば,送信されてきた表示画面データの受信処理が完了した時点で(例えば,当該表示画面データのデコードや描画処理を実行する前に),上記受取完了信号を生成して送信側端末装置10aに送信するようにしてもよい。この場合には,例えば,受取完了信号として,TCP/IPネットワーク上での送受信動作終了信号として一般的に用いられているACK(Acknowledgement:肯定応答)などを利用してもよい。
【0077】
通知部120は,本実施形態にかかる特徴的な構成であり,端末装置10が送信側端末装置10aとして機能する場合(即ち,発表者により利用される場合)に動作する。この通知部120は,受信側端末装置10bの表示画面情報を発表者に対して通知することができる。例えば,この通知部120は,表示部108の表示画面上に通知表示などを表示出力させて,かかる通知表示の表示態様を上記受取完了信号の受信タイミングに応じて切り替える。これにより,通知部120は,受信側端末装置10bの発表画面が切り替わったことなどを,発表者に対して通知することができる。この結果,発表者は,発表画面切り替え後の好適な発表タイミング,または次の発表画面への切り替えタイミングなどを好適に把握できる。なお,かかる通知部120の詳細な機能・構成については,後述する。
【0078】
検索部130は,例えば,端末装置10が送信側端末装置10aとして機能する場合に動作し,例えば,表示画面内に検索対象領域を設定するとともに,この検索対象領域を検索する機能を有する。かかる検索部130は,例えば,検索対象領域設定部132と,検索実行部134と,検索処理制御部136とを備える。
【0079】
検索対象領域設定部132は,例えば,表示画面内に検索対象領域を設定することができる。より詳細には,この検索対象領域設定部132は,例えば,発表者によって現在使用されている表示画面内のウィンドウ(例えば,説明中の発表内容が表示されているプレゼン用ソフトに対応するウィンドウ等)を検出し,このウィンドウの範囲内を検索対象領域として設定することができる。これにより,発表画面が更新される可能性が高い領域に絞って,検索対象領域を動的に設定することができる。しかし,かかる例に限定されず,検索対象領域設定部132は,例えば,表示画面の全範囲,或いは,表示画面内の一部の領域(例えば表示画面の上半分のみ,または中央部分のみ等)を,検索対象領域として設定するようにしてもよい。
【0080】
検索実行部134は,例えば,上記設定された検索対象領域を検索処理して,表示画面が更新されている更新領域を検出することができる。より詳細には,この検索実行部134は,例えば,設定された検索対象領域において,前回の検索処理時に利用された表示画面データ(比較用表示画面データ)と,現在,表示部108に表示されている表示画面データ(実際の表示画面データ)とを,例えば所定のブロック単位で比較して,更新領域の検出を試みる。かかる比較・検出処理により,実際に更新領域があった場合には,検索実行部134は,例えば,かかる更新領域に対応する表示画面データを抽出して,送信側送受信部112に出力する。なお,この抽出された表示画面データには,例えば,当該更新領域の表示画面上での位置を示す座標情報なども含まれている。
【0081】
ここで,図4に基づいて,上記検索対象領域および更新領域の具体例について説明する。図4は,本実施形態にかかる送信側端末装置10aの表示画面上における検索対象領域および更新領域の具体例を示す説明図である。なお,図4では,図3に示したような発表画面の表示,切り替えが行われた場合に対応するよう示してある。
【0082】
図4(a)に示すように,検索対象領域設定部132は,発表者によって発表が成されているプレゼン用ソフトのウィンドウ202(図3参照)の範囲内を,検索対象領域210として設定する。この検索対象領域210は,当該ウィンドウ202に対応した例えば矩形領域であり,矩形の左上の座標(x1,y1),右下の座標(x2,y2)で特定される。
【0083】
また,図4(b)に示すように,検索実行部134は,上記のように設定された検索対象領域210を検索した結果,例えば,2つの更新領域220a,220bを検出している。更新領域220aは,図3で説明したポインタ206の移動と,スライド選択部分の選択内容の変化に起因して,表示内容が更新されたウィンドウ202内の左上の領域である。この更新領域220aの範囲は,(x3,y3),(x4,y4)で特定される。また,更新領域220bは,図3で説明した発表用スライドの切り替えに起因して,表示内容が更新されたウィンドウ202内の中央部分の領域である。この更新領域220bの範囲は,(x5,y5),(x6,y6)で特定される。かかる例のように,更新領域220は,1回の検索処理で複数検出される場合もある。また,更新領域220の範囲は,例えば,表示画面上の更新された部分を含む最小限の範囲となるように設定されるので,エンコード・送信処理する表示画面データ量を低減することができる。
【0084】
検索処理制御部136は,上記のような検索実行部134の検索処理を許可/不許可することができる。より詳細には,検索処理制御部136は,例えば,上記検索実行部134が表示画面データを送信側送受信部112に対して出力した時点で,検索フラグをオフにして,それ以後の上記検索実行部134による検索処理を不許可とする。一方,検索処理制御部136は,例えば,送信側送受信部112から当該表示画面データについての上記受取完了信号が入力された時点で,検索フラグをオンにして,それ以後の上記検索実行部134による検索処理を許可する。換言すると,検索処理制御部136は,例えば,前回送信した表示画面データに対応する受取完了信号が,送信側送受信部112によって受信されてから,次の表示画面データの検索処理を実行するように検索実行部134を制御する。
【0085】
このように,検索部130は,前回検出した更新領域の表示画面データを送信してから上記受取完了信号を受信するまでの期間内には,検索処理を実行しないので,当該検索処理の効率化,送信側端末装置10aの負荷の低減を図ることができる。
【0086】
画像描画部140は,例えば,端末装置10が受信側端末装置10bとして機能する場合に動作する。この画像描画部140は,受信側送受信部114から入力された表示画面データを描画処理して,上記表示部108の表示画面上に表示させる。これにより,受信側端末装置10bは,その表示画面上に,送信側端末装置10aの発表画面の少なくとも一部を再現することができるので,双方の端末装置10間で発表画面の共有が実現される。また,画像描画部140は,例えば,かかる描画処理が完了した時点で,当該表示画面データに関する描画処理が完了した旨を受信側送受信部114に対して通知する。
【0087】
ここで,図5に基づいて,受信側端末装置10bの表示部108に表示された共有画面の具体例について説明する。図5は,本実施形態にかかる送信側端末装置10aおよび受信側端末装置10bの表示部108に表示された共有画面の具体例を示す説明図である。
【0088】
送信側端末装置10aの表示画面200上に,図5(a)に示すような,発表画面が表示されている場合を想定する。この場合,受信側端末装置10bの表示画面300上には,図5(b)に示すように,例えば,その一部の領域に共有ウィンドウ302が表示されている。この共有ウィンドウ300は,例えば,送信側端末装置10aから提供された表示画面データ(共有画面のデータ)を表示するためのウィンドウである。上記画像描画部140は,例えば,データ会議が始まると,表示画面300内に共有ウィンドウ302を生成し,例えば,この共有ウィンドウ302内に,受信側送受信部114から入力された表示画面データを描画処理して,表示させる。
【0089】
ところで,送信側端末装置10aから送信されてくる表示画面データは,例えば更新領域のみのデータであり,共有画面全体のデータではない。このため,画像描画部140は,例えば,取得した更新領域のみの表示画面データを新しく描画処理し,他の領域は既に描画されている状態を維持するようにする。このようにして,更新領域の部分が更新表示されることで,受信側端末装置10bの表示画面が更新され,共有ウィンドウ302内に送信側端末装置10aの最新の発表画面を再現できる。この結果,送信側端末装置10aの発表画面(図5(a)参照)と,受信側端末装置10bの共有ウィンドウ302内の発表画面(図5(b)参照)とが同一となり,両端末装置10間で発表画面の共有が実現される。
【0090】
なお,上記説明したような,送信側送受信部112,受信側送受信部114,通知部120,検索部130,画像描画部140などは,上記のような処理機能を実現できるものであれば,例えば,専用装置(ハードウェア)として構成されてもよく,或いは,端末装置10にアプリケーションプログラムをインストールすることで構成されてもよい。さらに,後者の場合,上記アプリケーションプログラムは,上記端末装置10に対して,CD−ROM等の記録媒体によって提供されてもよく,或いは,ネットワーク5を介して外部からダウンロードすることで提供されてもよい。また,当該アプリケーションプログラムは,予め,上記各端末装置内の記憶部104または外部インタフェース(図示せず。)等に接続された周辺機器などに格納されていてもよい。
【0091】
以上,本実施形態にかかる端末装置10の概略的な構成について説明した。本実施形態では,上述したような端末装置10の構成は,例えば,送信側端末装置10aおよび受信側端末装置10bの双方の構成に該当するものである。かかる構成によれば,送信側端末装置10aおよび受信側端末装置10bの双方が,表示画面データを送信する側(発表者側)の端末装置,または受信する側(参加者側)の端末装置のいずれとしても機能しうるので,データ会議システム1内で上記のような送信権7の授受が可能となる。
【0092】
しかし,例えば,送信権7を端末装置10間で授受しない場合(即ち,発表者が用いる端末装置10が予め固定されている場合)には,送信側端末装置10aおよび受信側端末装置10bの双方が,必ずしも上記のような各部を全て具備する必要はない。より詳細には,端末装置10が受信側端末装置10bとしてのみ機能すればよい場合には,例えば,少なくとも上記CPU102,記憶部104,入力部106,表示部108,送信側送受信部112,通知部120および検索部130を具備すればよい。また,端末装置10が受信側端末装置10bとしてのみ機能すればよい場合には,例えば,少なくとも上記CPU102,記憶部104,入力部106,表示部108,受信側送受信部114および画像描画部140を具備すればよい。
【0093】
<3.通知部の構成>
次に,図6に基づいて,本実施形態にかかる特徴である通知部120の構成について詳細に説明する。図6は,本実施形態にかかる通知部120の構成を示すブロック図である。
【0094】
図6に示すように,通知部120は,例えば,通知実行部122と,通知間隔管理部124と,更新量管理部126と,予測部128とを備える。
【0095】
通知実行部122は,例えば,受信側端末装置10bの表示画面状態情報を発表者に通知する機能を有する。この表示画面状態情報は,受信側端末装置10bの表示画面の状態を表す各種の情報であり,例えば,受信側端末装置10bの表示画面が最新の発表画面に切り替わったことを表す情報(以下では,受信側画面切替完了情報という。)などである。
【0096】
より詳細には,通知実行部122は,例えば,受信側端末装置10bからの受取完了信号の受信に応じて,送信側端末装置10aの表示画面上に所定の通知表示をすることにより,受信側端末装置10bの表示画面が最新の発表画面に切り替わったことなどを発表者に対して通知する処理を行う。
【0097】
ここで,図7に基づいて,通知実行部122の通知処理について,具体例を挙げて説明する。図7は,本実施形態にかかる送信側端末装置10aの表示画面上における通知表示の具体例を示す説明図である。
【0098】
図7に示すように,送信側端末装置10aの表示画面200上には,通知表示のための通知領域210が設けられている。この通知領域220には,発表者によって送信側端末装置10aの発表画面が切り替えられ,表示画面データが送信された直後から,対応する受取完了信号が受信されるまでの間は,図7(a)に示すように,例えば,何も表示されていない。その後,受信側端末装置10bから受取完了信号を受信し,例えば,後述する条件を満たした場合には,通知部実行部122は,図7(b)に示すように,通知領域220に例えば青色のランプ230を点灯表示する。かかるランプ230を点灯表示させるという通知表示によって,発表者に対して,受信側端末装置10bの発表画面の切り替えが完了したことを認識させることができる。よって,発表者は,受け側の準備が整い当該発表画面についての説明を開始してもよいと判断することができる。また,さらなる発表画面の切り替えを行ってもよいと判断することもできる。
【0099】
また,通知表示の態様は上記図7の例に限定されず,例えば,図8に示すように,多様な態様が考えられる。
【0100】
例えば,図8(a)に示すように,受取完了信号の受信前には無表示であるが,受取完了信号の受信前には「発表OK」231などの文字・図形表示等を表示するようにしてもよい。また,図8(b)〜(d)に示すように,受取完了信号の受信前と受信後の間で,表示内容を切り替えるような通知表示を行ってもよい。即ち,図8(b)に示すように,受信前には赤色のランプ232を点灯表示し,受信後には赤色のランプ233を点灯表示してもよい。また,図8(c)に示すように,受信前には「STOP」を表すアニメーション234を表示し,受信後には「GO!」を表すアニメーション235を表示してもよい。また,図8(d)に示すように,受信前には通知領域220内を暗く表示し,受信後には通知領域220内をフラッシュ表示するようにしもよい。
【0101】
また,上記では,通知実行部122が,通知領域220内に通知表示することにより,受信側画面切替完了情報などの表示画面状態情報を通知処理する構成について説明したが,かかる例に限定されない。例えば,通知実行部122は,上記受取完了信号の受信に応じて,表示画面全体の表示態様を変更する(例えば,壁紙の色を変える等)ような通知表示をしてもよい。また,通知実行部122は,上記受取完了信号の受信に応じて,通知出力部109から音声情報(例えば,アラーム音等の効果音,「切替完了しました」なる機械音声など)を出力するような通知処理をしてもよい。また,発表者に振動発生手段(図示せず。)を取り付け,上記受取完了信号の受信に応じて,かかる振動発生手段が振動を発生(バイブレーション動作)するような通知処理をしてもよい。
【0102】
通知間隔制御部124は,上記通知実行部122の通知処理を,通知処理の時間間隔(通知間隔)に基づいて,制御する機能を有する。より詳細には,この通知間隔制御部124は,前回通知処理が成されたタイミングからの経過時間を計測するタイマー部(図示せず。)を備えており,当該経過時間が基準時間(例えば2秒)以内である場合には,たとえ受取完了通知信号を受信した場合であっても,通知実行部122が通知処理を行わないように制御する。これにより,上記通知処理が短時間内に連発することを防止できる。これにより,例えば,発表者が複数の発表画面を連続して切り替えるとき(発表画面を早送りして飛ばすときなど)に,それぞれの切り替えに対応した複数の通知が成されることがないので,煩わしくない。
【0103】
更新量管理部126は,表示画面データの更新量に基づいて,上記通知実行部122の通知処理を制御する機能を有する。この表示画面データの更新量は,例えば,送信側端末装置10aの表示画面内の更新領域に対応する表示画面データのデータ量(例えばピクセル数)などである。本実施形態では,上記のように,送信側端末装置10aは更新領域のみの表示画面データを受信側端末装置10bに送信しているので,本実施形態にかかる更新量は,例えば,受信側端末装置10bに送信する表示画面データのデータ量と略同一となる。
【0104】
より詳細には,更新量管理部126は,例えば,送信された表示画面データについての上記更新量が所定量(例えば10000ピクセル)以下と小さい場合には,当該送信された表示画面データに対応する受取完了通知信号を受信しても,通知実行部122が通知処理を行わないように制御する。これにより,カーソルの点滅等といった,発表内容としてほとんど意味を成さない表示画面の変化に関しては,上記通知処理を行わないようにできる。従って,発表者が発表画面を切り替えた場合など,真に通知する価値のある表示画面変化に関してのみ,通知処理を行うことができる。
【0105】
予測部128は,例えば,送信された表示画面データのデータ量および過去の送信実績などに基づいて,受取完了信号の受信タイミングを予測することができる。より詳細には,予測部128は,例えば,過去に表示画面データを送信したときの,表示画面データのデータ量(以下では,過去のデータ量という)と,この表示画面データを送信してから当該表示画面データに対応する受取完了信号を受信するまでの時間(以下では,過去の遅延時間という。)と,を保持している。さらに,予測部128は,例えば,かかる過去のデータ量と過去の遅延時間との相関に基づいて,現在送信している表示画面データのデータ量から,当該表示画面データについての受取完了信号の受信タイミングを予測することができる。これにより,通知実行部122は,このように予測された受信タイミングを利用して,例えば上記通知処理をカウントダウン形式で行うことができる。
【0106】
ここで,図9に基づいて,このカウントダウン通知の具体例について説明する。図9は,本実施形態にかかるカウントダウン通知表示の具体例を示す説明図である。
【0107】
図9(a)に示すように,通知実行部122は,受取完了信号の受信前には,予測した受信タイミングまでの時間(例えば残り秒数)を通知領域220内にカウントダウン表示して,受信後には「完了!」なる文字・図形表示等を行うような,カウントダウン通知を行うことができる。また,図9(b)に示すように,予測した受信タイミングまでの時間を通知領域220内にメータ表示などすることもできる。
【0108】
このように,予測部128が受取完了信号の受信タイミングを予測し,これを利用して通知実行部122がカウントダウン通知することにより,発表者は,受信側端末装置10bの表示画面が切り替わるまでの概算時間を,把握できる。このため,発表者は,説明を再開するまでの間,うまく間を持たせることができるとともに,苛立つことがない。
【0109】
次に,図10に基づいて,送信側端末装置10aの表示画面の領域分割について説明する。なお,図10は,本実施形態にかかる送信側端末装置10aの表示画面の領域分割を説明するための説明図である。
【0110】
図10に示すように,例えば,送信側端末装置10aの表示画面200は,共有画面領域250と,この共有画面領域250にオーバーレイされる私有画面領域260とから構成されている。
【0111】
共有画面領域250は,受信側端末装置10bによる共有対象となる領域であり,例えば,上記のようなプレゼン用ソフトのウィンドウ202や表計算ソフトのウィンドウ204などが表示される領域である。この共有画面領域250は,例えば,その全てが上記検索対象領域の設定範囲となりうる。
【0112】
一方,私有画面領域260は,送信側端末装置10aのみに表示される領域であり,例えば,通知領域250と,タスクバー領域262とからなる。この私有画面領域260は,例えば,上記検索対象領域の設定範囲とならないので,受信側端末装置10bによって共有されることがない。
【0113】
かかる共有画面領域250と私有画面領域260との分割は,例えば,多様な表示画面データを表示部108に表示処理する際に,上記記憶部104に,共有画面領域250用のメモリ領域と,私有画面領域260用のメモリ領域を個別に設けることで実現できる。
【0114】
本実施形態では,例えば,上記通知表示用の通知領域220がこの私有画面領域260に設けられているので,上記通知表示は私有画面領域260上でなされることとなる。これにより,受信側端末装置10bが,通知領域220における通知表示についての表示画面データを共有しないようにできる。具体的には,送信側端末装置10aと受信側端末装置10bとで発表画面を共有するときには,図5に示したように,送信側端末装置10aの表示画面200上には通知領域220が表示されるのに対し,受信側端末装置10bの表示画面300上の共有ウィンドウ302内には,当該通知領域220が表示されず,通知表示が表示されることがない。
【0115】
このように,例えば,送信側端末装置10aの表示画面200を共有画面領域250と私有画面領域260とを分割し,このうち私有画面領域260で通知表示を行うことにより,受信側端末装置10bの表示画面300上に,会議の参加者にとっては不必要な通知表示を表示させないようにできる。
【0116】
<4.データ会議システムの概略的な動作>
次に,図11に基づいて,本実施形態にかかるデータ会議システム1の概略的な動作フローついて説明する。図11は,本実施形態にかかるデータ会議システム1の概略的な動作フローを説明するためのブロック図である。なお,図11では,説明の便宜上,送信側端末装置10aおよび受信側端末装置10bの主要な各部のみを表示してある。また,以下の動作フローは,既に,送信側端末装置10aの最初の表示画面が受信側端末装置20上で共有されている状態から開始するものする。
【0117】
図11に示すように,まず,検索部130は,検索対象領域を設定し,この検索対象領域を検索処理する。この検索処理の結果,検索対象領域内に更新領域があった場合には,当該更新領域の表示画面データを送信側送受信部112に出力する(▲1▼)。その後,送信側送受信部112は,検索部130から入力された表示画面データをエンコードした後,この表示画面データをネットワーク5を介して受信側送受信部114に送信する(▲2▼)。以上までで,送信側端末装置10aによる1回の表示画面データ提供処理が完了する。
【0118】
次いで,受信側端末装置10b側では,受信側送受信部114が上記更新領域の表示画面データを受信して(▲3▼),かかる表示画面データをデコードした上で画像描画部140に出力する(▲4▼)。さらに,画像描画部140は,受信側送受信部114から入力された表示画面データを描画処理して,表示画面上に表示させた後,当該描画処理が完了した旨を受信側送受信部114に通知する(▲5▼)。その後,受信側送受信部114は,受取完了信号を生成して,この受取完了信号をネットワーク5を介して送信側送受信部112に送信する(▲6▼)。
【0119】
次いで,送信側端末装置10a側では,送信側送受信部112が,受信側送受信部114から受取完了信号を受信して(▲7▼),この受取完了信号を検索部130および通知部120に出力する(▲8▼,▲9▼)。すると,通知部120は,例えば,上記更新量と通知間隔の条件を満たしている場合には,表示画面上に表示画面状態情報を通知表示して,発表者に対し受信側端末装置10bで発表画面が切り替わった旨を通知する。一方,検索部130は,例えば,再度検索対象領域を設定し,この検索対象領域を検索処理する。これにより,新たな更新領域が検出された場合には,当該更新領域の表示画面データを抽出して出力する(▲1▼)。その後は,上記▲2▼〜▲9▼,▲1▼と同様の処理フローを繰り返す。
【0120】
上記のように,送信側端末装置10aが自身の表示画面のうち更新領域の表示画面データを所定の条件の下で順次,検索・送信するとともに,受信側端末装置10bがこの表示画面データを順次,受信・再生することで,データ会議の発表者が提示する発表画面を双方の端末装置10間で共有することができる。また,受信側端末装置10b側で発表画面が更新されたことを,送信側端末装置10a側で表示して,発表者に対して通知することができる。
【0121】
<5.端末装置各部の詳細な動作>
次に,本実施形態にかかる送信側端末装置10aおよび受信側端末装置10bの主要な各部の動作ついて詳細に説明する。
【0122】
<5.1 検索部の動作>
まず,図12に基づいて,本実施形態にかかる送信側端末装置10aの検索部130の動作フローについて説明する。なお,図12は,本実施形態にかかる検索部130の動作フローを示すフローチャートである。
【0123】
図12に示すように,まず,ステップS100では,表示画面全体の表示画面データが抽出される(ステップS100)。データ会議システム1が動作開始し,送信側端末装置10aの表示画面上に起動した発表用ソフトウェアが表示されると,例えば,検索部130は,検索処理を行うことなく,共有対象領域全体の表示画面データを抽出する。
【0124】
次いで,ステップS102では,送信側送受信部112に対して,最初の表示画面を提供する旨が通知される(ステップS102)。具体的には,検索部130は,上記抽出した表示画面データを送信側送受信部112に出力する。
【0125】
さらに,ステップS104では,通知部120に対して,データ会議が開始された旨が通知される(ステップS104)。これにより,通知部104側で,通知間隔を測定するタイマーが動作開始する。
【0126】
その後,ステップS106では,検索部130は,送信側送受信部112から通知を受けるまで待機する(ステップS106)。
【0127】
次いで,ステップS108では,送信側送受信部112から受取完了信号を受信した旨の通知を受けたか否かが判定される(ステップS108)。送信側送受信部112から受取完了信号を受信した旨の通知を受けた場合には,ステップS110に進む。一方,かかる通知を受けていない場合には,ステップS106に戻り,さらに待機状態を継続する。
【0128】
さらに,ステップS110では,検索対象領域が検索処理される(ステップS110)。本ステップは,送信側送受信部112から受取完了信号を受信した旨の通知を受けた場合の処理である。このように送信側送受信部112が受取完了信号を受信するのは,例えば,上記ステップS102で最初の表示画面データを出力した後,或いは後述する上記ステップS118で更新領域の表示画面データを出力した後に,当該表示画面データに関して受信側端末装置10b側で描画処理が完了し,その旨の通知があった場合である。よって,この時点では,受信側端末装置10bは新たな表示画面データの受入が可能な状態である。そこで,本ステップでは,検索実行部134が,例えば,検索対象領域を設定した上で,この検索対象領域内を検索処理して,更新領域の検出を試みる。
【0129】
その後,ステップS112では,更新領域の有無が判断される(ステップS112)。上記ステップS110での検索実行部134による検索処理の結果,更新領域が検出された場合には,ステップS114に進む。一方,更新領域が検出されなかった場合には,例えば,ステップS113に進み,所定時間待機した(ステップS113)後,ステップS110に戻り,再び検索対象領域が検索処理される。
【0130】
次いで,ステップS114では,更新領域の表示画面データが抽出される(ステップS114)。具体的には,検索部130が,上記検出された1または2以上の更新領域に対応する表示画面データを抽出する。
【0131】
さらに,ステップS116では,表示画面の更新量が保持される(ステップS114)。具体的には,検索部130が,例えば,上記抽出した更新領域の表示画面データのデータ量(本実施形態では更新量に相当する。)を,例えば記憶部104に記録して保持する。かかる保持された更新量は,通知部120によって通知処理の制御に利用される。
【0132】
その後,ステップS118では,更新領域が検出された旨が送信側送受信部112に通知される(ステップS118)。具体的には,検索部130は,上記ステップS114で抽出した更新領域の表示画面データを,送信側送受信部112に出力する。
【0133】
なお,本ステップの終了後には,ステップS106に戻り,検索部130は,再び,送信側送受信部112から,当該出力した表示画面データに対応する受取完了信号を受信した旨の通知を受けるまで待機する。その後は,上記ステップS108〜S118と同様にして,送信側端末装置10aの表示画面内の更新領域を検出して,出力することを繰り返す。
【0134】
<5.2 送信側送受信部の動作>
次に,図13に基づいて,本実施形態にかかる送信側端末装置10aの送信側送受信部112の動作フローについて説明する。なお,図13は,本実施形態にかかる送信側送受信部112の動作フローを示すフローチャートである。
【0135】
図13に示すように,まず,ステップS200では,送信側送受信部112は,検索部130または受信側送受信部114のいずれかから通知を受けるまで待機している(ステップS200)。
【0136】
次いで,ステップS202では,通知を受けた相手先が検索部130または受信側端末装置10bの受信側送受信部114のいずれであるかが判定される(ステップS202)。具体的には,検索部130から表示画面データ(即ち,更新領域の表示画面データ,または最初の表示画面データ)が入力された場合には,ステップS204に進み,一方,受信側送受信部114からネットワーク5を介して受取完了信号を受信した場合には,ステップS206に進む。
【0137】
次いで,ステップS204では,検索部130および通知部120に対して,受取完了信号を受信した旨が通知される(ステップS204)。本ステップの終了後には,ステップS200に戻り,送信側送受信部112は,再び,検索部130からの通知を待機する状態となる。
【0138】
一方,ステップS206では,検索部130から入力された表示画面データが,例えばMPEG方式などでエンコードされる(ステップS206)。
【0139】
次いで,ステップS208では,上記ステップS206でエンコードした表示画面データが,ネットワーク5を介して受信側端末装置10bに送信される(ステップS208)。本ステップの終了後には,ステップS200に戻り,送信側送受信部112は,再び,受信側送受信部114からの通知を待機する状態となる。
【0140】
<5.3 受信側送受信部の動作>
次に,図14に基づいて,本実施形態にかかる受信側端末装置10bの受信側送受信部114の動作フローについて説明する。なお,図14は,本実施形態にかかる受信側送受信部114の動作フローを示すフローチャートである。
【0141】
図14に示すように,まず,ステップS300では,受信側送受信部114は,画像描画部140または送信側端末装置10aの送信側送受信部112のいずれかから通知を受けるまで待機している(ステップS300)。
【0142】
次いで,ステップS302では,通知を受けた相手先が,画像描画部140または送信側端末装置10aの送信側送受信部112のいずれであるかが判定される(ステップS302)。画像描画部140から表示画面データの描画処理が完了した旨の通知を受けた場合には,ステップS304に進み,一方,送信側送受信部112からネットワーク5を介して表示画面データを受信した場合には,ステップS308に進む。
【0143】
さらに,ステップS304では,受信側送受信部114が,例えば,受信した表示画面データの描画処理が完了したことを表す受取完了信号を生成する(ステップS304)。
【0144】
その後,ステップS306では,上記ステップS304で生成した受取完了信号が,ネットワーク5を介して送信側端末装置10aの送信側送受信部112に送信される(ステップS306)。本ステップの終了後には,ステップS300に戻り,受信側送受信部114は,再び,送信側送受信部112からの通知を待機する状態となる。
【0145】
一方,ステップS308では,受信側送受信部114は,送信側端末装置10aから受信した更新領域の表示画面データをデコードする(ステップS308)。
【0146】
次いで,ステップS310では,受信側送受信部114は,上記ステップS308でデコードした表示画面データを,画像描画部140に出力する(ステップS310)。本ステップの終了後には,ステップS300に戻り,再び,画像描画部140からの通知を待機する状態となる。
【0147】
<5.4 画像描画部の動作>
次に,図15に基づいて,本実施形態にかかる受信側端末装置10bの画像描画部140の動作フローについて説明する。なお,図15は,本実施形態にかかる画像描画部140の動作フローを示すフローチャートである。
【0148】
図15に示すように,まず,ステップS400では,画像描画部140は,受信側送受信部114から通知を受けるまで待機している(ステップS400)。
【0149】
次いで,ステップS402では,表示画面データが描画処理される(ステップS402)。画像描画部140は,受信側送受信部114から表示画面データが入力されると,かかる表示画面データを描画処理して,例えば,受信側端末装置10bの表示画面内の共有ウィンドウ内に表示させる。このとき,かかる表示画面上では,例えば,送信側端末装置10a側で更新された更新領域に相当する部分のみが更新表示され,その他の領域は元の表示画面データがそのまま表示される。このような,送信側端末装置10aから提供された表示画面データの描画・表示処理の結果,受信側端末装置10bの表示画面の更新が完了し,送信側端末装置10aと受信側端末装置10bの表示画面の共有が実現されたこととなる。
【0150】
さらに,ステップS404では,受信側送受信部114に対して表示画面データの描画処理が完了した旨を通知する。(ステップS404)。本ステップの終了後には,ステップS400に戻り,画像描画部140は,再び,受信側送受信部114からの通知を待機する状態となる。
【0151】
<5.5 通知部の動作>
次に,図16に基づいて,本実施形態にかかる送信側端末装置10aの通知部120の動作フローについて説明する。なお,図16は,本実施形態にかかる通知部120の動作フローを示すフローチャートである。
【0152】
図16に示すように,まず,ステップS500では,検索部130から,データ会議が開始された旨が通知される(ステップS500)。
【0153】
次いで,ステップS502では,通知間隔を測定するタイマーがオンされる(ステップS502)。具体的には,通知間隔管理部124が,例えば,タイマー部の動作を開始させ,送信側端末装置10aが最初の表示画面データを送信してからの経過時間を計測し始める。
【0154】
さらに,ステップS504では,通知部120は,送信側送受信部112から通知を受けるまで待機する(ステップS504)。
【0155】
その後,ステップS506では,送信側送受信部112から受取完了信号を受信した旨の通知を受けたか否かが判定される(ステップS506)。送信側送受信部112から受取完了信号を受信した旨の通知を受けた場合には,ステップS508に進む。一方,かかる通知を受けていない場合には,ステップS504に戻り,さらに待機状態を継続する。
【0156】
次いで,ステップS508では,更新量が取得される(ステップS508)。本ステップは,送信側送受信部112から受取完了信号を受信した旨の通知を受けた場合の処理である。このように送信側送受信部112が受取完了信号を受信するのは,例えば,送信された表示画面データに関して受信側端末装置10b側で描画処理が完了し,その旨の通知があった場合である。よって,この時点では,受信側端末装置10bの表示画面は切り替えが完了している。
【0157】
そこで,本ステップでは,更新量管理部126が,記録部104にアクセスして,上記検索部130によって記録された更新量を読み出す。これにより,当該送信された表示画面データの更新量を取得することができる。
【0158】
さらに,ステップS510では,更新量が規定値以上であるか否かが判定される(ステップS510)。具体的には,更新量管理部126は,上記ステップS508で取得した実際の更新量と,既定の基準更新量(例えば10000ピクセル)とを比較する。かかる比較により,実際の更新量が基準更新量以上であると判定した場合には,当該送信された表示画面データで生じた共有画面の更新が,通知の対象に値する物である(即ち,表示画面が大幅に更新されているので,発表者による発表画面の切り替えがあったものと推定される。)と判断し,ステップS512に進む。一方,実際の更新量が基準更新量未満であると判定した場合には,通知処理する必要はない(即ち,表示画面の更新が微少であるので,表示画面はカーソルの点滅程度の更新しか成されていない。)と判断し,通知を行うことなく,ステップS504に戻る。
【0159】
その後,ステップS512では,タイマー値が規定値以上であるか否かが判定される(ステップS512)。具体的には,通知間隔管理部124は,まず,タイマー部のタイマー値を検出し,前回通知処理が成されたタイミング(最初の表示画面データ送信の場合には,ステップS502のタイマー動作開始時)からの経過時間を取得する。次いで,通知間隔管理部124は,当該経過時間と,既定の基準時間(例えば2秒)とを比較する。かかる比較により,当該経過時間が基準時間以上であると判定した場合には,当該送信された表示画面データで生じた共有画面の更新が,通知の対象に値する物である(即ち,前回の通知からある程度の時間を経過しているので,発表者による適切な発表画面の切り替えがあったものと推定される。)と判断し,ステップS514に進む。一方,当該経過時間が基準時間未満であると判定した場合には,通知処理する必要はない(即ち,通知間隔が短すぎて,通知処理が煩雑になる。)と判断し,ステップS504に戻る。
【0160】
このようにして,ステップS510および512において,通知処理を制御することにより,発表者の必要性に応じた好適な通知処理が可能となる。
【0161】
次いで,ステップS514では,受信側端末装置10bの表示画面状態情報が通知される(ステップS514)。具体的には,例えば,通知実行部122は,送信側端末装置10aの表示画面上に,上記図7,8等で説明したような通知表示をすることにより,受信側端末装置10bの表示画面の切り替えが完了したことなどを,発表者に対して通知する。
【0162】
さらに,ステップS516では,タイマーがリセットされる(ステップS516)。具体的には,通知間隔管理部124が,例えば,タイマー部の計測値をリセットする。これにより,上記ステップS514での通知処理が行われてからの経過時間が,計測開始される。
【0163】
なお,本ステップの終了後には,ステップS504に戻り,通知部130は,再び,送信側送受信部112から,受取完了信号を受信した旨の通知を受けるまで待機する。その後は,上記ステップS506〜S516と同様にして,通知が適切であるか否かを判定した上での通知処理を繰り返す。
【0164】
<6.データ会議方法>
次に,図17に基づいて,上記のようなデータ会議システム1を用いた本実施形態にかかるデータ会議方法について説明する。なお,図17は,本実施形態にかかるデータ会議方法を示すフローチャートである。また,図18は,本実施形態にかかる通知部120による通知タイミングを説明するための説明図である。
【0165】
図17に示すように,まず,ステップS600では,データ会議が開始される(ステップS600)。送信側端末装置10aおよび受信側端末装置10bの準備が完了し,ネットワーク5を介した双方間のデータ伝送も可能な状態となる。
【0166】
次いで,ステップS602では,送信側端末装置10aで発表用ソフトウェアが起動される(ステップS602)。送信側端末装置10a側では,発表者により,データ会議で発表するために必要な発表用ソフトウェアが起動され,発表内容のデータファイルが読み込まれる。これによって,送信側端末装置10aの表示画面上には,例えば,発表用ソフトウェアのウィンドウが表示され,このウィンドウの内部に発表内容データの最初の発表画面が表示される。
【0167】
さらに,ステップS604では,送信側端末装置10aが,最初の表示画面データを受信側端末装置10bに送信する(ステップS604)。送信側端末装置10aは,例えば,自身の表示画面全体,あるいは発表用ソフトウェアのウィンドウに対応する範囲などの共有対象領域全体の表示画面データを,デコードし,ネットワーク5を介して受信側端末装置10bに送信する。
【0168】
その後,ステップS606では,受信側端末装置10bが,送信側端末装置10aから送信された最初の表示画面データを受信する(ステップS606)。
【0169】
次いで,ステップS608では,受信側端末装置10bが,上記受信した表示画面データをデコードした上で描画処理して,自身の表示画面上に表示させる(ステップS608)。これにより,受信側端末装置10bを利用している参加者は,例えば,最初の発表画面を閲覧することができる。
【0170】
さらに,ステップS610では,受信側端末装置10bが,当該最初の表示画面データについての受取完了信号を生成し,この受取完了信号をネットワーク5を介して送信側端末装置10aに送信する(ステップS610)。
【0171】
その後,ステップS612では,送信側端末装置10aが,上記受取完了信号を受信する(ステップS612)。
【0172】
次いで,ステップS614では,送信側端末装置10aが,受信側端末装置10bの表示画面状態の通知処理を行う(ステップS614)。具体的には,通知部120が,送信側端末装置10aの表示画面上に,上記図7,8等で説明したような通知表示をする。これにより,受信側端末装置10bの表示画面上に最初の発表画面が表示完了したことを,発表者に対して通知することができる。なお,最初の発表画面が共有完了したことを通知不要とする場合などには,例えば,本ステップは省略してもよい。
【0173】
さらに,ステップS616では,送信側端末装置10aが,自身の表示画面の検索処理を行う(ステップS616)。具体的には,検索部130が,例えば,表示画面内に設定した検索対象領域を検索処理して,更新領域を検出する。なお,更新領域を検出できなかった場合には,例えば,所定時間経過後に再度検索処理を行う。
【0174】
その後,ステップS618では,送信側端末装置10aが,更新領域の表示画面データを,受信側端末装置10bに送信する(ステップS618)。具体的には,送信側端末装置10aは,上記ステップS616で検出した更新領域の表示画面データを,デコードした上で,ネットワーク5を介して受信側端末装置10bに送信する。本ステップで送信される表示画面データは,例えば,前回送信した表示画面データと比して更新された部分のみのデータであるので,上記ステップS604で送信した例えば全画面分のデータよりも比較的データ量が少ない。このため,送信側端末装置10aのデコード処理や送信処理,ひいては受信側端末装置10b側の受信処理等にかかる負荷が小さくて済む。
【0175】
その後,ステップS620では,受信側端末装置10bが,送信側端末装置10aから送信された更新領域の表示画面データを受信する(ステップS620)。
【0176】
次いで,ステップS622では,この表示画面データをデコードした上で描画処理して,自身の表示画面上に表示させる(ステップS622)。これにより,受信側端末装置10bの表示画面が更新される。特に,送信側端末装置10a側で発表者によって発表画面の切り替えがあった場合には,受信側端末装置10b側でも表示画面が大幅に更新されて表示される。このため,参加者は,受信側端末装置10bの発表画面が切り替わったことを認識し,新しい発表画面を閲覧することができる。
【0177】
さらに,ステップS624では,受信側端末装置10bが,当該更新領域の表示画面データについての受取完了信号を生成し,この受取完了信号をネットワーク5を介して送信側端末装置10aに送信する(ステップS624)。
【0178】
その後,ステップS626では,送信側端末装置10aが,上記ステップS618で送信した更新領域の表示画面データに対応する受取完了信号を受信する(ステップS626)。
【0179】
次いで,ステップS628では,送信側端末装置10aが,通知処理サブルーチンを行う(ステップS628)。この通知処理サブルーチンは,上述した図16のステップS508〜S516の処理フローと略同一であるので,詳細説明は省略する。かかる通知処理サブルーチンにより,上記送信した表示画面データが発表画面の切り替えに相当するものであり,かつ前回の通知から所定時間経過している場合には,受信側端末装置10bの表示画面状態情報が通知される。具体的には,通知部120が,例えば,送信側端末装置10aの表示画面上に上記通知表示をすることにより,受信側端末装置10bの発表画面の切り替えが完了したことを通知する。これにより,発表者は,送信側端末装置10aおよび受信側端末装置10bの表示画面の内容が一致したことを認識できる。
【0180】
その後は,データ会議が終了する(ステップS630)まで,上記ステップS616〜S628と同様な処理が繰り返される。このようにして,データ会議の進行に伴って,送信側端末装置10aによる表示画面の更新領域の提供と,受信側端末装置10bによる当該更新領域の再生とを繰り返し行うことにより,送信側端末装置10aで随時切り替えられる発表画面を,受信側端末装置10b側で共有することができる。この際,発表者が発表画面を切り替える度に,送信側端末装置10aの表示画面上には,適宜,受信側端末装置10b側で発表画面の切り替えが完了した旨が通知される。
【0181】
ここで,かかる通知が成されるタイミングについて,図18に基づいて,より詳細に説明する。なお,図18は,本実施形態にかかる通知部120による通知タイミングを説明するための説明図である。
【0182】
図18(a)に示すように,会議進行中は,発表者による発表画面の切り替え等により,送信側端末装置10aの表示画面が大幅に変更される(▲のタイミング)とともに,図18(b)に示すように,カーソルの点滅,発表ソフトウェアの自動描画処理機能等が原因で,当該表示画面には微少な変更(●のタイミング)も起こりうる。
【0183】
このような環境下で,図18(c)に示すように,送信側端末装置10aから受信側端末装置10bへの,更新領域の表示画面データの送信(■のタイミング)が繰り返されている。さらに,このような表示画面データの送信に対応して,受信側端末装置10bから送信側端末装置10aへの,受取完了信号の返信も繰り返されている。このため,図18(d)に示すように,送信側端末装置10aは,例えば,送信した表示画面データに応じて,受取完了信号を順次受信している(×のタイミング)。
【0184】
しかし,送信側端末装置10aは,受取完了信号を受信する度に上記通知処理を行うわけではなく,上記のような更新量および経過時間の条件を満たした場合にのみ,上記通知処理を行う。具体的には,図18(e)に示すように,例えば,いったん通知処理が行われた場合(A)には,送信側端末装置10aは,その後,所定の基準時間内は通知処理を不許可とする。このため,この基準時間内に,たとえ発表者による発表画面の切替が行われ,表示画面が大幅に更新されたとしても,送信側端末装置10aは,通知処理を行わない(B)。さらに,この基準時間の経過後であっても,カーソルの点滅等による表示画面の微少な更新に対しては,通知処理を行わず,発表者による発表画面の切替等により表示画面が大幅に更新された場合にはじめて通知処理を行う(C)。
【0185】
このように,送信した表示画面データの更新量および前回通知したときからの経過時間などに基づいて,通知処理を制御することにより,発表者にとって有用な通知のみを行うことができる。
【0186】
(第2の実施の形態)
次に,本発明の第2の実施の形態にかかるデータ会議システム1およびデータ会議方法等について説明する。第2の実施形態にかかるデータ会議システム1は,上記第1の実施形態にかかるデータ会議システム1と比して,受信側端末装置10bを複数備える点で相違するのみであり,その他の機能・構成は上記第1の実施形態の場合と略同一であるので,その説明は省略する。
【0187】
まず,図19に基づいて,本実施形態にかかるデータ会議システム1の全体構成について説明する。なお,図19は,本実施形態にかかるデータ会議システム1の概略的な構成を示すブロック図である。
【0188】
図19に示すように,本実施形態にかかるデータ会議システム1は,例えば,1つの送信側端末装置10aと,複数の受信側端末装置10b−1,10b−2,…,10b−n(以下では,受信側端末装置10bと総称する場合もある。)と,送信側端末装置10aおよび受信側端末装置10bを接続するネットワーク5と,から主に構成される。
【0189】
送信側端末装置10aは,自身の表示画面データを,複数の受信側端末装置10bに対してそれぞれ送信する。一方,各受信側端末装置10bは,例えば,当該表示画面データの受信処理および描画処理を完了した時点で,受取完了信号を送信側端末装置10aに送信する。従って,送信側端末装置10aは,複数の受信側端末装置10bから,受取完了信号を異なるタイミングで受信することとなる。この受取完了信号の受信タイミングのずれが生じる原因は,例えば,受信側端末装置10b自体の処理能力や,経由するネットワーク5の通信速度およびトラフィックなどが受信側端末装置10bごとに相違するためである。
【0190】
かかる受取完了信号の受信タイミングのずれに対応するため,本実施形態にかかる送信側端末装置10aは,例えば,全ての受信側端末装置10bからの受取完了信号の受信を条件として,検索部130による上記検索処理,および通知部120による上記通知処理を行うことを特徴とする。
【0191】
ここで,図20に基づいて,本実施形態にかかる送信側端末装置10aの検索部130の動作フローについて説明する。図20は,本実施形態にかかる検索部部130の動作フローを示すフローチャートである。
【0192】
図20に示すように,本実施形態にかかる検索部130の動作フローは,第1の実施形態にかかる検索部130の動作フロー(図12参照)と比して,ステップS109が追加されている点で相違するのみであり,その他の処理は第1の実施形態の場合と略同一であるので,その説明は省略する。
【0193】
そこで,ステップS109について説明すると,例えば,検索部130は,送信側送受信部112から受取完了信号を受信した旨の通知を受けると,かかる受取完了信号の受信により,全ての受信側端末装置10bから受取完了信号を受信完了したか否かを判定する。(ステップS109)。この結果,全ての受信側端末装置10bから受取完了信号を受信完了したと判定した場合には,ステップS110に進み,検索処理を実行する。一方,全ての受信側端末装置10bから受取完了信号を受信していないと判定した場合には,ステップS106に戻り,他の受信側端末装置10bからの受取完了信号の受信を待機するので,検索処理は行わない。なお,上記のような受取完了信号の判定処理は,例えば,検索部130でなく,送信側送受信部112などで実行してもよい。
【0194】
次に,図21に基づいて,本実施形態にかかる送信側端末装置10aの通知部120の動作フローについて説明する。図21は,本実施形態にかかる通知部120の動作フローを示すフローチャートである。
【0195】
図21に示すように,本実施形態にかかる通知部120の動作フローは,第1の実施形態にかかる通知部120の動作フロー(図16参照)と比して,ステップS507が追加されている点で相違するのみであり,その他の処理は第1の実施形態の場合と略同一であるので,その説明は省略する。
【0196】
そこで,ステップS507について説明すると,例えば,通知部120は,送信側送受信部112から受取完了信号を受信した旨の通知を受けると,その受取完了信号が例えば最後の受信者端末装置10bからのものであるか否かを判定する(ステップS507)。換言すると,例えば,通知部120は,かかる受取完了信号の受信により,全ての受信側端末装置10bから受取完了信号を受信完了したか否かを判定する。この結果,全ての受信側端末装置10bから受取完了信号を受信完了したと判定した場合には,ステップS508に進み,更新量を取得した後,所定の条件(ステップS510およびS512)を満たした場合には,上記のような処理(ステップS514)がなされる。一方,全ての受信側端末装置10bから受取完了信号を受信していないと判定した場合には,ステップS504に戻り,他の受信側端末装置10bからの受取完了信号の受信を待機する。なお,上記のような受取完了信号の判定処理は,例えば,通知部120でなく,送信側送受信部112などで実行してもよい。
【0197】
また,図示はしないが,送信側端末装置10aは,例えば,表示画面データを送信してから所定時間以上経過しても,少なくとも1の受信側端末装置10bから受取完了信号が返信されない場合には,当該受信側端末装置10bとの間で何らかのエラーが生じたものと判断して,エラー処理を実行するようにしてもよい。具体的には,受信側端末装置10bは,例えば,応答のない受信側端末装置10bを無視して,検索処理・通知処理を実行したり,或いは,送信済みの表示画面データを再送信したりしてもよい。これにより,システムの動作保障をすることができる。
【0198】
次に,図22に基づいて,上記のような構成のデータ会議システム1を用いた本実施形態にかかるデータ会議方法について説明する。図22は,本実施形態にかかるデータ会議方法を示すフローチャートである。なお,図22では,上記第1の実施形態にかかるデータ会議方法と比して,特徴的な部分の処理フローのみを抜粋して示してあり,他の部分の処理フローは第1の実施形態の場合と略同一であるので,その説明は省略する。
【0199】
図22に示すように,まず,送信側端末装置10aが,例えば,更新領域の表示画面データを,複数の受信側端末装置10bに対して同時に一括送信する(ステップS700)。
【0200】
一方,各受信側端末装置10bは,上記ステップS700で送信された表示画面データを受信し(ステップS702−1,2,‥n),デコードする。さらに,各受信側端末装置10bは,かかる表示画面データを描画処理して(ステップS704−1,2,‥n),自身の表示画面上に表示する。その後,各受信側端末装置10bは,例えば描画処理が完了した時点で受取完了信号を生成し,受取完了信号を送信側端末装置10aに対してそれぞれ送信する(ステップS706−1,2,‥n)。
【0201】
この結果,送信側端末装置10a側では,各受信側端末装置10bからの受取完了信号を異なるタイミングでそれぞれ受信し(ステップS708−1,2,‥n),全ての受信側端末装置10bから受取完了信号を受信した時点で,上記図17で説明したような通知処理サブルーチンを行う(ステップS710)。
【0202】
より詳細には,送信側端末装置10aは,例えば,比較的高速な受信側端末装置10b−1から受取完了信号を受信した(ステップS708−1)としても,通知処理サブルーチンを行わない。さらに,送信側端末装置10aは,その他の受信側端末装置10b−nから,順次,受取完了信号を受信した(ステップS708−n)としても,まだ受取完了信号を受信していない受信側端末装置10bが存在する場合には,依然として通知処理サブルーチンを行わない。その後,最も遅い受信側端末装置10b−2から受取完了信号を受信した時点(ステップS708−2)ではじめて,送信側端末装置10aは,通知処理サブルーチンを実行し,上記条件を満たせば通知処理を行う(ステップS710)。
【0203】
その後,送信側端末装置10aは,再度,表示画面の検索処理を行い(ステップS712),更新領域を検出した場合には,当該更新領域の表示画面データを抽出して,エンコードする。その後は,ステップS700〜S712を繰り返す。
【0204】
このように,送信側端末装置10aは,例えば,処理能力および通信速度が最も遅い受信側端末装置10bに応じて,通知処理を行うことができる。このため,発表者は,全ての受信側端末装置10bで送信側端末装置10aの発表画面に切り替わったことを確認した上で,説明を開始したり,次の発表画面に切り替えたりできる。従って,一部の遅い受信側端末装置10bで,発表画面と説明内容とにずれが生じることがないので,全ての参加者が発表内容を好適に理解できる。
【0205】
上記のように,本実施形態にかかるデータ会議システム1では,例えば,表示画面の切替が最も遅い受信側端末装置10bに合わせて,送信側端末装置10aで通知処理等を行い,会議を進行させたが,かかる例に限定されない。
【0206】
例えば,複数の受信側端末装置10bのうち,予め選択された1または2以上の特定の受信側端末装置10b(以下では,基準受信側端末装置10bという。)に合わせて,通知処理を行ってもよい。
【0207】
具体的には,例えば会議の開始前に,会議の主要な参加者(例えば,社長または役員等のポストが高い者,議題に対応する部署の者,議事録筆記者,取引先の担当者など)が利用する受信側端末装置10bを,基準受信側端末装置10bとして予め選択しておく。そして,会議中には,例えば,送信側端末装置10aが,かかる基準受信側端末装置10bから受取完了信号を受信した時点で,表示画面上に,当該受信側端末装置10bの表示画面状況情報を通知表示してもよい。
【0208】
これにより,発表者は,上記主要な参加者が利用する基準受信側端末装置10bの表示画面が好適に切り替わったことなどを把握できるので,これら主要な参加者の表示画面の状態に合わせて発表を進行することができる。
【0209】
また,本実施形態でも,上記送信権7を複数の端末装置10間で授受することもできる。具体的には,図16の例では,送信側端末装置10aが有する送信権7を,受信側端末装置10b−1,2,…,nのいずれかに譲渡して,双方の機能を逆転させることができる。このように,端末装置10間で送信権7を授受可能とすることにより,データ会議の発表者は,いずれの端末装置10を用いたとしても,その端末装置10の表示画面データをその他の端末装置10で共有させて,発表を行うことが可能となる。また,データ会議の参加者間で発表者を順次変更する場合にも対応できる。
【0210】
以上説明したように,上記第1および第2の実施形態にかかるデータ会議システム1では,送信側端末装置10aが,例えば,送信した表示画面データに対応する受取完了信号の受信に応じて,受信側端末装置10b側での発表画面の切替状況等を表す表示画面状態情報などを,表示画面上に通知表示できる。これにより,例えば,発表者が利用する送信側端末装置10a表示画面と,参加者が利用する受信側端末装置10bの表示画面とが一致したことを,発表者に対して通知することができる。
【0211】
このため,発表者は,例えば,かかる通知に基づいて,参加者側の発表画面の状態を把握することができるので,安心してプレゼンテーションを進行させることができる。具体的には,発表者は,例えば,参加者側の発表画面が切り替わったことを確認してから,その発表画面についての説明を開始することができるとともに,好適なタイミングで次の発表画面に切り替えることができる。
【0212】
このため,受信側端末装置10b側では,発表画面が切り替わる前に,発表者による当該発表画面の内容についての説明が始まることがない。即ち,受信側端末装置10b側では,表示された発表画面と,発表者による説明内容との間にずれが生じない。従って,参加者は,発表者による発表内容を性格に理解でき,会議の進行が円滑になる。
【0213】
また,上記通知処理を行う条件として,表示画面データの更新量,及び前回通知した時からの経過時間を測定し,この更新料および経過時間が一定量以上となるような表示画面の更新がなされた時にのみ,送信側端末装置10aが通知処理を行う。このため,カーソルの点滅等といった発表内容としてほとんど意味をなさない表示画面の変化に対しては,通知処理を実行しないので,発表者によるプレゼンテーションの進行を妨げないようにすることができる。
【0214】
また,送信側端末装置10aの表示画面上に,私有画面領域をオーバーレイし,この私有画面領域に受信側端末装置10bの表示画面状態情報などを通知表示することができる。このため,受信側端末装置10bの表示画面には,当該通知表示を表示させないようにできる。従って,受信側端末装置10b側での参加者による発表画面の閲覧を妨げることなく,発表者にのみ通知情報を提供することができる。
【0215】
また,かかるデータ会議システム1では,カメラ映像提供手段等の別途の設備を必要とせず,上記のような比較的簡単な構成を用いるだけで,発表者に対して,受信側端末装置10bの表示画面状態を容易かつ正確に通知することができる。
【0216】
さらに,上記第2の実施形態にかかるデータ会議システム1では,例えば,送信側端末装置10aは,複数の受信側端末装置10bの全てから受取完了信号を受信した後に,通知処理を行うので,通信速度などが遅い受信側端末装置10bであっても,発表画面がジャンプしたりすることがない。
【0217】
以上,添付図面を参照しながら本発明の好適な実施形態について説明したが,本発明はかかる例に限定されない。当業者であれば,特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり,それらについても当然に本発明の技術的範囲に属するものと了解される。
【0218】
例えば,上記実施形態にかかるデータ会議システム1では,送信側端末装置10aと受信側端末装置10bとの間で,ネットワーク5を介してダイレクトに各種データを送受信したが,本発明はかかる例に限定されない。例えば,データ会議システム1は,図23に示すように,送信側端末装置10aと受信側端末装置10bとの間に,管理サーバ20を設けることで,送信側端末装置10aおよび受信側端末装置10bをクライアントとした,クライアント/サーバ(Client/Server)型のネットワークシステムとして構成することも可能である。これにより,かかる管理サーバ20が,上記説明したような表示画面データや受取完了信号の送受信,表示画面状態情報の通知等の各種処理の全部または一部を,代行するようにしてもよい。
【0219】
また,上記実施形態では,検索部130は,ウィンドウ単位で設定された検索対象領域を検索処理したが,本発明はかかる例に限定されない。例えば,検索部130は,表示画面の全領域を常に検索する全画面検索,表示画面内の特定領域を常に検索する特定領域検索などを実行するようにしてもよい。また,検索対象領域の形状は,上記のような矩形に限られず,例えば,各種の多角形,円形など任意の形状であってもよい。
【0220】
また,上記実施形態では,受信側端末装置10bは,受信した表示画面データの描画処理が完了した時点で,受取完了信号を生成して送信したが,本発明はかかる例に限定されない。例えば,受信側端末装置10bは,送信されてきた表示画面データの受信処理が完了した時点で,上記受取完了信号を生成して送信するようにしてもよい。また,この場合には,例えば,受取完了信号として,TCP/IPネットワーク上での送受信動作終了信号として一般的に用いられているACKなどを利用してもよい。
【0221】
また,上記実施形態では,送信側端末装置10aおよび受信側端末装置10b間で送信権7を授受可能に構成したが,本発明はかかる例に限定されない。例えば,発表者が用いる所定の端末装置10のみが送信権7を所持できるようにし,その他の端末装置10は,常に受信側端末装置10bとしてのみ機能するように構成してもよい。
【0222】
また,上記実施形態では,通知部120は,受信側端末装置10bの表示画面状態情報として,受信側画面切替完了情報を通知する例について説明したが,本発明はかかる例に限定されない。例えば,通知部120は,受信側端末装置10bの電源のオン/オフ(表示画面が現れているか),過去の所定時間内における参加者による操作の有無(参加者が席について,受信側端末装置10bの表示画面を閲覧しているか否か)など,受信側端末装置10bの状態に関する各種の情報を通知するようにしてもよい。
【0223】
【発明の効果】
以上説明したように,本発明によれば,送信側端末装置が表示画面状態情報を通知することにより,発表者は,受信側端末装置の表示画面状態を容易に把握することができる。
【図面の簡単な説明】
【図1】図1は,第1の実施形態にかかるデータ会議システムの概略的な構成を示すブロック図である。
【図2】図2は,第1の実施形態にかかる端末装置の概略的な構成を示すブロック図である。
【図3】図3は,第1の実施形態にかかる送信側端末装置の表示画面の具体例を示す説明図である。
【図4】図4は,第1の実施形態にかかる送信側端末装置の表示画面上における検索対象領域および更新領域の具体例を示す説明図である。
【図5】図5は,第1の実施形態にかかる送信側端末装置および受信側端末装置の表示部に表示された共有画面の具体例を示す説明図である。
【図6】図6は,第1の実施形態にかかる通知部の構成を示すブロック図である。
【図7】図7は,第1の実施形態にかかる送信側端末装置の表示画面上における通知表示の具体例を示す説明図である。
【図8】図8は,第1の実施形態にかかる通知表示の変更例を示す説明図である。
【図9】図9は,第1の実施形態にかかるカウントダウン通知表示の具体例を示す説明図である。
【図10】図10は,第1の実施形態にかかる送信側端末装置の表示画面の領域分割を説明するための説明図である。
【図11】図11は,第1の実施形態にかかるデータ会議システムの概略的な動作フローを説明するためのブロック図である。
【図12】図12は,第1の実施形態にかかる検索部の動作フローを示すフローチャートである。
【図13】図13は,第1の実施形態にかかる送信側送受信部の動作フローを示すフローチャートである。
【図14】図14は,第1の実施形態にかかる受信側送受信部の動作フローを示すフローチャートである。
【図15】図15は,第1の実施形態にかかる画像描画部の動作フローを示すフローチャートである。
【図16】図16は,第1の実施形態にかかる通知部の動作フローを示すフローチャートである。
【図17】図17は,第1の実施形態にかかるデータ会議方法を示すフローチャートである。
【図18】図18は,第1の実施形態にかかる通知部による通知タイミングを説明するための説明図である。
【図19】図19は,第2の実施形態にかかるデータ会議システムの概略的な構成を示すブロック図である。
【図20】図20は,第2の実施形態にかかる検索部の動作フローを示すフローチャートである。
【図21】図21は,第2の実施形態にかかる検索部の動作フローを示すフローチャートである。
【図22】図22は,第2の実施形態にかかるデータ会議方法を示すフローチャートである。
【図23】図23は,変更例にかかるデータ会議システムの概略的な構成を示すブロック図である。
【符号の説明】
1 : データ会議システム
5 : ネットワーク
7 : 送信権
10 : 端末装置
10a : 送信側端末装置
10b : 送信側端末装置
102 : CPU
104 : 記憶部
106 : 入力部
108 : 表示部
110 : 送受信部
112 : 送信側送受信部
114 : 受信側送受信部
120 : 通知部
122 : 通知実行部
124 : 通知間隔管理部
126 : 更新量管理部
128 : 予測部
130 : 検索部
140 : 画像描画監視部
200 : 送信側端末装置の表示画面
210 : 検索対象領域
220 : 通知領域
250 : 共有画面領域
260 : 私有画面領域
300 : 受信側端末装置の表示画面
302 : 共有ウィンドウ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a data conference system and a data conference method for sharing a display screen among a plurality of terminal devices, and to be used for these. Transmitting terminal device and Regarding the program.
[0002]
[Prior art]
Conventionally, in order to conduct a data conference between remote locations, a plurality of terminal devices are connected via a network, and the display screen of the presenter's terminal device can be shared by other participant's terminal devices. A conference system has been proposed. In this data conferencing system, the presenter's terminal device (transmitting terminal device) encodes and transmits its own display screen data, and the participant's terminal device (receiving device) receives the received display screen data. It is decoded and reproduced on its own display screen (see, for example, Patent Document 1).
[0003]
In such a system, even if the presentation screen is switched at any time on the transmission side terminal device as the conference proceeds, the display screen data of the switched presentation screen is acquired and displayed at any time on the reception side terminal device side. Thus, the participants can browse the presentation contents by the presenter, the presented materials, etc. in order.
[0004]
[Patent Document 1]
JP 2001-331430 A
[0005]
[Problems to be solved by the invention]
However, from when the display screen data is transmitted by the transmitting terminal device to when it is reproduced on the display screen of the receiving terminal device, communication processing via the network and reception / drawing processing of the receiving terminal device are inevitable. A time difference (hereinafter referred to as screen transfer delay time) occurs. If the screen transfer delay time is a short time, such as 0.5 seconds or less, there is no problem in the progress of the conference. However, if the screen transfer delay time is a long time, such as a few seconds, the presenter switches the presentation screen and displays The difference between the timing to start explaining the contents and the timing to display the presentation screen on the receiving side becomes anxious. That is, when the screen transfer delay time is large, there is a possibility that the present terminal screen has not yet switched to the present screen even though the presenter has started to explain the new present screen.
[0006]
In addition, when the presenter switches the presentation screens one after another, if the presentation screen switching interval is earlier than the screen transfer delay time, the presentation screen jumps on the receiving side, and the intended presentation contents There is also a problem that cannot be shared.
[0007]
In order to deal with these problems, it is necessary for the presenter to advance the presentation while confirming that the display screen on the receiving side has been switched.
[0008]
However, in the conventional data conference system, there is a problem that the presenter cannot grasp the display screen state such as the switching state of the presentation screen on the receiving side terminal device side. From this viewpoint, as a method for grasping the display screen state on the receiving side, a method of transferring a camera image obtained by imaging the display screen on the receiving side from the receiving side to the transmitting side can be considered. There is a problem that the obstacle in terms of cost is large.
[0009]
In addition, when the display screen is shared among multiple receiving terminal devices, the screen transfer delay time of each receiving terminal device depends on the communication speed of the network through which it passes, the processing capability of the receiving device, etc. And diverse. For this reason, in the method of visually observing the camera video as described above, the presenter should appropriately determine the presentation screen switching timing while being aware of which receiving terminal device image transmission is delayed. Was very difficult.
[0010]
The present invention has been made in view of the above problems, and an object of the present invention is to provide a new and improved data conference in which a presenter can easily grasp the display screen state of a receiving terminal device. A system, a data conference method, and a terminal device, a program, and the like for realizing the system and data conference method are provided.
[0011]
[Means for Solving the Problems]
In order to solve the above-described problem, according to a first aspect of the present invention, one or two or more transmitting side terminal devices and one or two or more receiving side terminal devices are connected via a network, and the transmitting side terminal A data conferencing system for sharing device display screen data with the receiving terminal device: The transmission-side terminal device includes a search target area setting unit that sets a search target area in a display screen; and searches the set search target area to detect an update area in which the display screen is updated. A search execution unit for extracting display screen data corresponding to the update area from display screen data displayed on the display screen; and a display screen corresponding to the extracted update area for the receiving terminal device A transmitting side transmitting / receiving unit that transmits data and receives a reception completion signal of display screen data corresponding to the update area from the receiving side terminal device; and, upon receiving the reception completion signal, the receiving side terminal A notification unit for notifying display screen state information of the device, wherein the receiving terminal device receives display screen data corresponding to the update area from the transmitting terminal device An image drawing unit for drawing the display screen data corresponding to the received update area on the display screen; a receiving side transmission for sending the reception completion signal to the sending side terminal device after the drawing process; Comprising a part; A data conferencing system is provided.
[0012]
With this configuration, the transmitting terminal device can provide at least a part of the display screen data displayed on the display screen of the transmitting terminal device to the receiving terminal device. Further, the receiving side terminal device can receive and draw the display screen data provided from the transmitting side terminal device in this way, and display it on the display screen of the receiving side terminal device. Thereby, at least a part of the display screen data of the transmission side terminal device can be shared between the transmission side terminal device and the reception side terminal device. In addition, the receiving terminal device can generate a reception completion signal indicating that the received display screen data has been received, and can be transmitted to the transmitting terminal device. Based on the timing of receiving this reception completion signal, the transmitting terminal device displays the display screen status information of the receiving terminal device on the display screen or outputs it to the conference presenter. Can be notified.
[0013]
In order to solve the above problem, according to another aspect of the present invention, there is provided a transmission-side terminal device that allows one or more reception-side terminal devices connected via a network to share display screen data. : A search target area setting unit for setting a search target area in a display screen; search processing for the set search target area to detect an update area in which the display screen is updated, and display on the display screen; A search execution unit for extracting display screen data corresponding to the update area from the displayed display screen data; For the receiving terminal device , Display screen data corresponding to the extracted update area And from the receiving terminal device, Display screen data corresponding to the update area A transmitting-side terminal device comprising: a transmitting-side transmitting / receiving unit that receives a reception completion signal; and a notification unit that notifies display screen state information of the receiving-side terminal device in response to reception of the receiving completion signal. Provided.
[0014]
With this configuration, the transmitting-side transmitting / receiving unit transmits at least part of the display screen data in the display screen of the transmitting-side terminal device via the network, so that the transmitting-side terminal device can Display screen data can be provided. Thereby, the transmission-side terminal device can share its display screen data with the reception-side terminal device. Furthermore, this transmission / reception unit can receive the reception completion signal transmitted by the reception-side terminal device via the network. The reception completion signal is a signal indicating that the receiving terminal device has received the received display screen data and the drawing processing on the display screen of the receiving terminal device has been completed. In addition, the notifying unit displays the display screen status information of the receiving terminal device on the display screen or outputs a voice to the conference presenter based on the timing of receiving the reception completion signal. Can be notified. For this reason, the presenter can grasp the switching state of the display screen on the receiving terminal device side, so the timing for starting the explanation of the presentation screen (presentation timing) and switching the presentation screen to the next presentation screen. Timing (presentation screen switching timing) and the like can be suitably adjusted.
[0015]
The notification unit may be configured to control notification of display screen state information based on the transmitted update amount of the display screen data.
[0016]
With this configuration, for example, when the update amount of the transmitted display screen data is smaller than a specified value, the notification unit can receive the reception completion notification signal corresponding to the display screen data even if the reception side notification device receives the reception completion notification signal. It is possible not to notify the display screen state information. In other words, for example, the notification unit holds the update amount of the transmitted display screen data, and if the update fee is larger than a specified value, the notification unit receives the reception completion notification signal corresponding to the display screen data. Accordingly, the display screen state information of the receiving terminal device can be notified.
[0017]
The notification unit may be configured to control notification of display screen state information based on an elapsed time since the previous notification.
[0018]
With this configuration, for example, when the elapsed time from the previous notification exceeds a specified value, the notification unit receives the reception completion notification signal corresponding to the transmitted display screen data, and receives the reception end notification signal. Notify the display screen status information of the device. Thus, the notification unit can control the notification time interval of the display screen state information of the receiving terminal device.
[0019]
Further, the notification unit may be configured to notify the display screen state information when receiving a reception completion signal from all of the plurality of receiving side terminal devices.
[0020]
With this configuration, when the transmission side terminal device shares display screen data with a plurality of reception side terminal devices, the display screen state information is based on the timing when reception completion signals are completely received from all reception side terminal devices. Can be notified. Thereby, for example, the display screen state information can be notified in accordance with the terminal device on the receiving side where the transfer of the display screen data is the slowest.
[0021]
The notification unit is configured to notify the display screen state information when receiving a reception completion signal from at least one reference receiving terminal device selected in advance from a plurality of receiving terminal devices. May be.
[0022]
With this configuration, when the transmission side terminal device shares display screen data with a plurality of reception side terminal devices, based on the timing of receiving a reception completion signal from a specific reference reception side terminal device selected in advance, Display screen state information can be notified. Thereby, for example, the display screen state information can be notified in accordance with the reference receiving terminal device.
[0023]
The notification unit predicts the reception timing of the reception completion signal based on at least the amount of display screen data transmitted, and notifies the display screen state information based on the predicted reception timing of the reception completion signal. , May be configured as follows.
[0024]
With this configuration, for example, the notifying unit calculates a communication required time based on the data amount of the transmitted display screen data, the past communication performance, and the like, and receives a reception completion signal corresponding to the transmitted display screen data. Can be received. Further, the notifying unit can notify the display screen state information, for example, countdown based on the reception timing of the reception completion signal predicted as described above.
[0025]
The display screen of the transmission side terminal device includes at least a shared screen region shared by the reception side terminal device and a private screen region not shared by the reception side terminal device; the notification unit is included in the private screen region. The display screen state information may be notified by displaying and displaying the display screen state information.
[0026]
With such a configuration, the notification unit can notify the presenter of the display screen state information by displaying and displaying the display screen state information on the display screen of the transmission side terminal device. In addition, since the display screen data in the private screen area is not transmitted to the receiving terminal device, it is not shared by the receiving terminal device. Therefore, when the notification unit displays and outputs the display screen state information in the private screen area, the display screen state information is displayed only on the display screen of the transmitting terminal device, and is displayed on the display screen of the receiving terminal device. It is never displayed.
[0027]
The transmission-side terminal device includes a search unit that searches a search target area in the display screen to detect an update area in the display screen, and the transmission-side transmission / reception unit displays at least the update area. The screen data may be transmitted to the receiving terminal device. With this configuration, the transmission side terminal device can realize the sharing of the display screen data by repeatedly transmitting only the display screen data in the update area to the reception side terminal device. As a result, the amount of display screen data to be transmitted can be greatly reduced compared to the case of transmitting display screen data of the entire screen every time.
[0028]
In order to solve the above-described problem, according to another aspect of the present invention, a computer: a transmission side that allows display terminal data to be shared by one or more reception side terminal devices connected via a network. A terminal device: A search target area setting unit for setting a search target area in a display screen; search processing for the set search target area to detect an update area in which the display screen is updated, and display on the display screen; A search execution unit for extracting display screen data corresponding to the update area from the displayed display screen data; For the receiving terminal device , Display screen data corresponding to the extracted update area And from the receiving terminal device, Display screen data corresponding to the update area A transmission side transmission / reception unit that receives the reception completion signal; and a notification unit that notifies display screen state information of the reception side terminal device in response to reception of the reception completion signal. A program is provided.
[0029]
In order to solve the above-described problem, according to another aspect of the present invention, a computer: a transmission side that allows display terminal data to be shared by one or more reception side terminal devices connected via a network. A terminal device: A search target area setting unit for setting a search target area in a display screen; search processing for the set search target area to detect an update area in which the display screen is updated, and display on the display screen; A search execution unit for extracting display screen data corresponding to the update area from the displayed display screen data; For the receiving terminal device , Display screen data corresponding to the extracted update area And from the receiving terminal device, Display screen data corresponding to the update area A transmission side transmission / reception unit that receives the reception completion signal; and a notification unit that notifies display screen state information of the reception side terminal device in response to reception of the reception completion signal. A recording medium on which a program is recorded is provided.
[0034]
In order to solve the above-mentioned problem, according to another aspect of the present invention, one or two or more transmitting terminal devices and one or two or more receiving terminal devices are connected via a network, and the transmitting side A data conference method in which display screen data of a terminal device is shared by the receiving terminal device: A search target area setting step in which the transmission side terminal apparatus sets a search target area in a display screen; and the transmission side terminal apparatus searches the set search target area to update the display screen. A search step of detecting an update area, and extracting display screen data corresponding to the update area from display screen data displayed on the display screen; and A data transmission step of transmitting display screen data corresponding to the extracted update area; and data reception in which the reception side terminal apparatus receives display screen data corresponding to the update area from the transmission side terminal apparatus A drawing step in which the receiving terminal device draws display screen data corresponding to the received update area on a display screen; and the receiving terminal A reception completion signal transmission step of transmitting a reception completion signal of display screen data corresponding to the update area to the transmission side terminal device after the drawing process; and the transmission side terminal device from the reception side terminal device; A reception completion signal reception step for receiving the reception completion signal; and a notification step in which the transmission side terminal device notifies display screen state information of the reception side terminal device in response to reception of the reception completion signal; Including, A data conferencing method is provided.
[0035]
With this configuration, the transmission-side terminal device can notify the conference presenter of the display-side state information of the reception-side terminal device by displaying it on the display screen or by outputting it by voice. For this reason, the presenter can grasp the switching state of the display screen on the receiving terminal device side, and thus can appropriately adjust the presentation timing, the presentation screen switching timing, and the like.
[0036]
The notification unit may control notification of display screen state information based on the transmitted update amount of the display screen data.
[0037]
Further, the notification unit may control display screen state information notification based on an elapsed time from the previous notification.
[0038]
In addition, the notification unit may notify the display screen state information when receiving a reception completion signal from all of the plurality of receiving side terminal devices.
[0039]
The notification unit may notify the display screen state information when receiving a reception completion signal from at least one reference receiving terminal device selected in advance from a plurality of receiving terminal devices. Good.
[0040]
The notification unit predicts the reception timing of the reception completion signal based on at least the amount of display screen data transmitted, and notifies the display screen state information based on the predicted reception timing of the reception completion signal. You may do it.
[0041]
The display screen of the transmission side terminal device includes at least a shared screen region shared by the reception side terminal device and a private screen region not shared by the reception side terminal device; the notification unit is included in the private screen region. The display screen state information may be notified by displaying and displaying the display screen state information.
[0042]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and drawings, components having substantially the same functional configuration are denoted by the same reference numerals, and redundant description is omitted.
[0043]
(First embodiment)
First, the data conference system and the data conference method according to the first embodiment of the present invention will be described.
[0044]
<1. System configuration>
First, the overall configuration of the data conference system according to the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing a schematic configuration of the
[0045]
As shown in FIG. 1, the
[0046]
The transmission-
[0047]
Among these, the transmission-
[0048]
The transmission right 7 is given to the transmission
[0049]
By having the transmission right 7, the transmission-
[0050]
Further, for example, the transmission
[0051]
On the other hand, the receiving-
[0052]
The
[0053]
In the
[0054]
Therefore, the participants of the data conference can browse the presentation content displayed on the display screen of the transmission
[0055]
As described above, the
[0056]
In the
[0057]
Further, for example, both
[0058]
<2. Configuration of terminal device>
Next, based on FIG. 2, the structure of the
[0059]
As illustrated in FIG. 2, the
[0060]
The
[0061]
The
[0062]
The
[0063]
The
[0064]
The
[0065]
For example, when the
[0066]
Here, based on FIG. 3, a specific example of the presentation screen displayed on the
[0067]
As shown in FIG. 3A, at the time of presentation, for example, a
[0068]
On the other hand, the
[0069]
In general, the display screen data displayed by the
[0070]
The
[0071]
The transmission /
[0072]
The transmission side transmission /
[0073]
On the other hand, the reception side transmission /
[0074]
In addition, for example, when receiving the notification from the
[0075]
Further, the reception-side transmission /
[0076]
For example, the reception side transmission /
[0077]
The
[0078]
The
[0079]
The search target
[0080]
For example, the
[0081]
Here, specific examples of the search target area and the update area will be described with reference to FIG. FIG. 4 is an explanatory diagram illustrating a specific example of the search target area and the update area on the display screen of the transmission-
[0082]
As shown in FIG. 4A, the search target
[0083]
As shown in FIG. 4B, the
[0084]
The search
[0085]
As described above, the
[0086]
The
[0087]
Here, a specific example of the shared screen displayed on the
[0088]
Assume that a presentation screen as shown in FIG. 5A is displayed on the
[0089]
By the way, the display screen data transmitted from the transmission-
[0090]
As described above, the transmission /
[0091]
Heretofore, the schematic configuration of the
[0092]
However, for example, when the
[0093]
<3. Configuration of notification unit>
Next, based on FIG. 6, the structure of the
[0094]
As illustrated in FIG. 6, the
[0095]
The
[0096]
More specifically, for example, the
[0097]
Here, based on FIG. 7, the notification process of the
[0098]
As shown in FIG. 7, a
[0099]
The notification display mode is not limited to the example of FIG. 7 described above. For example, various modes are possible as shown in FIG.
[0100]
For example, as shown in FIG. 8A, there is no display before the reception completion signal is received, but a character / graphic display such as “Announcement OK” 231 is displayed before the reception completion signal is received. It may be. Further, as shown in FIGS. 8B to 8D, notification display may be performed so as to switch display contents between before and after reception of the reception completion signal. That is, as shown in FIG. 8B, the
[0101]
In the above description, the
[0102]
The notification
[0103]
The update amount management unit 126 has a function of controlling the notification process of the
[0104]
More specifically, for example, when the update amount for the transmitted display screen data is as small as a predetermined amount (for example, 10,000 pixels) or less, the update amount management unit 126 responds to the transmitted display screen data. Even when the reception completion notification signal is received, the
[0105]
The
[0106]
Here, a specific example of the countdown notification will be described with reference to FIG. FIG. 9 is an explanatory diagram showing a specific example of the countdown notification display according to the present embodiment.
[0107]
As shown in FIG. 9A, the
[0108]
In this way, the
[0109]
Next, the area division of the display screen of the transmission-
[0110]
As shown in FIG. 10, for example, the
[0111]
The shared
[0112]
On the other hand, the
[0113]
The division of the shared
[0114]
In the present embodiment, for example, since the
[0115]
In this way, for example, the
[0116]
<4. Schematic operation of data conferencing system>
Next, a schematic operation flow of the
[0117]
As shown in FIG. 11, first, the
[0118]
Next, on the receiving
[0119]
Next, on the transmission
[0120]
As described above, the transmission
[0121]
<5. Detailed operation of each part of terminal device>
Next, the operation of each main part of the transmitting
[0122]
<5.1 Operation of search unit>
First, an operation flow of the
[0123]
As shown in FIG. 12, first, in step S100, display screen data of the entire display screen is extracted (step S100). When the
[0124]
Next, in step S102, the transmission side transmitting / receiving
[0125]
Further, in step S104, the
[0126]
Thereafter, in step S106, the
[0127]
Next, in step S108, it is determined whether or not a notification indicating that a reception completion signal has been received from the transmission side transmission /
[0128]
Further, in step S110, the search target area is searched (step S110). This step is processing when a notification that a reception completion signal has been received is received from the transmission /
[0129]
Thereafter, in step S112, it is determined whether or not there is an update area (step S112). If an update region is detected as a result of the search processing by the
[0130]
Next, in step S114, display screen data of the update area is extracted (step S114). Specifically, the
[0131]
In step S116, the display screen update amount is held (step S114). Specifically, for example, the
[0132]
Thereafter, in step S118, the transmission side transmitting / receiving
[0133]
After the end of this step, the process returns to step S106, and the
[0134]
<5.2 Operation of transmitting / receiving unit>
Next, based on FIG. 13, the operation flow of the transmission side transmission /
[0135]
As shown in FIG. 13, first, in step S200, the transmission /
[0136]
Next, in step S202, it is determined whether the other party receiving the notification is the
[0137]
In step S204, the
[0138]
On the other hand, in step S206, the display screen data input from the
[0139]
In step S208, the display screen data encoded in step S206 is transmitted to the receiving
[0140]
<5.3 Operation of receiving side transceiver unit>
Next, based on FIG. 14, the operation | movement flow of the receiving side transmission /
[0141]
As shown in FIG. 14, first, in step S300, the receiving-side transmitting / receiving
[0142]
Next, in step S302, it is determined whether the other party receiving the notification is the
[0143]
Further, in step S304, the receiving side transmission /
[0144]
Thereafter, in step S306, the reception completion signal generated in step S304 is transmitted to the transmission side transmission /
[0145]
On the other hand, in step S308, the receiving-side transmitting / receiving
[0146]
Next, in step S310, the receiving side transmission /
[0147]
<5.4 Operation of Image Drawing Unit>
Next, an operation flow of the
[0148]
As shown in FIG. 15, first, in step S400, the
[0149]
Next, in step S402, the display screen data is drawn (step S402). When the display screen data is input from the reception-side transmission /
[0150]
Further, in step S404, the receiving side transmitting / receiving
[0151]
<5.5 Operation of notification unit>
Next, based on FIG. 16, the operation flow of the
[0152]
As shown in FIG. 16, first, in step S500, the
[0153]
Next, in step S502, a timer for measuring the notification interval is turned on (step S502). Specifically, for example, the notification
[0154]
Furthermore, in step S504, the
[0155]
Thereafter, in step S506, it is determined whether or not a notification indicating that a reception completion signal has been received from the transmission-side transmitting / receiving
[0156]
Next, in step S508, the update amount is acquired (step S508). This step is processing when a notification that a reception completion signal has been received is received from the transmission
[0157]
Therefore, in this step, the update amount management unit 126 accesses the
[0158]
Furthermore, in step S510, it is determined whether the update amount is equal to or greater than a specified value (step S510). Specifically, the update amount management unit 126 compares the actual update amount acquired in step S508 with a predetermined reference update amount (for example, 10,000 pixels). If it is determined by the comparison that the actual update amount is equal to or greater than the reference update amount, the update of the shared screen generated in the transmitted display screen data is worthy of notification (that is, the display Since the screen has been significantly updated, it is estimated that the presenter has switched the presentation screen.), And the process proceeds to step S512. On the other hand, when it is determined that the actual update amount is less than the reference update amount, there is no need to perform notification processing (that is, the display screen is only slightly updated because the update of the display screen is very small). It returns to step S504 without making a notification.
[0159]
Thereafter, in step S512, it is determined whether or not the timer value is equal to or greater than a specified value (step S512). Specifically, the notification
[0160]
In this way, by controlling the notification process in steps S510 and S512, it is possible to perform a suitable notification process according to the presenter's needs.
[0161]
Next, in step S514, display screen state information of the receiving
[0162]
In step S516, the timer is reset (step S516). Specifically, the notification
[0163]
After the end of this step, the process returns to step S504, and the
[0164]
<6. Data conferencing method>
Next, based on FIG. 17, the data conference method according to the present embodiment using the
[0165]
As shown in FIG. 17, first, in step S600, a data conference is started (step S600). The preparation of the transmission
[0166]
Next, in step S602, the presentation software is activated on the transmission
[0167]
Further, in step S604, the transmitting
[0168]
Thereafter, in step S606, the receiving
[0169]
Next, in step S608, the receiving
[0170]
Further, in step S610, the receiving
[0171]
Thereafter, in step S612, the transmitting
[0172]
Next, in step S614, the transmission-
[0173]
Further, in step S616, the transmitting
[0174]
Thereafter, in step S618, the transmitting
[0175]
Thereafter, in step S620, the receiving
[0176]
Next, in step S622, the display screen data is decoded and then rendered, and displayed on its own display screen (step S622). Thereby, the display screen of the receiving
[0177]
Further, in step S624, the receiving
[0178]
Thereafter, in step S626, the transmitting
[0179]
Next, in step S628, the transmitting
[0180]
Thereafter, the same processing as in steps S616 to S628 is repeated until the data conference ends (step S630). In this way, as the data conference progresses, the transmission
[0181]
Here, the timing at which such notification is made will be described in more detail with reference to FIG. FIG. 18 is an explanatory diagram for explaining a notification timing by the
[0182]
As shown in FIG. 18 (a), while the conference is in progress, the display screen of the transmission
[0183]
Under such an environment, as shown in FIG. 18 (c), the transmission of the display screen data in the update area from the transmitting
[0184]
However, the transmission-
[0185]
As described above, by controlling the notification processing based on the update amount of the transmitted display screen data and the elapsed time since the previous notification, it is possible to perform only notification useful for the presenter.
[0186]
(Second Embodiment)
Next, a
[0187]
First, the overall configuration of the
[0188]
As shown in FIG. 19, the
[0189]
The transmitting
[0190]
In order to cope with the difference in the reception timing of the reception completion signal, the transmission-
[0191]
Here, based on FIG. 20, an operation flow of the
[0192]
As shown in FIG. 20, the operation flow of the
[0193]
Thus, step S109 will be described. For example, when the
[0194]
Next, based on FIG. 21, the operation flow of the
[0195]
As illustrated in FIG. 21, the operation flow of the
[0196]
Thus, step S507 will be described. For example, when the
[0197]
Although not shown, the transmission
[0198]
Next, a data conference method according to the present embodiment using the
[0199]
As shown in FIG. 22, first, the transmission
[0200]
On the other hand, each receiving
[0201]
As a result, on the transmission
[0202]
More specifically, the transmission
[0203]
After that, the transmission-
[0204]
In this way, the transmission-
[0205]
As described above, in the
[0206]
For example, notification processing is performed in accordance with one or more specific reception-
[0207]
Specifically, for example, before the start of the meeting, the main participants of the meeting (for example, those who have a high post, such as the president or officers, persons in the department corresponding to the agenda, memoirs, business partners, etc.) ) Is used in advance as the reference receiving
[0208]
As a result, the presenter can grasp that the display screen of the reference receiving
[0209]
Also in this embodiment, the transmission right 7 can be exchanged between a plurality of
[0210]
As described above, in the
[0211]
For this reason, since the presenter can grasp the state of the presentation screen on the part of the participant based on the notification, for example, the presenter can proceed with the presentation with peace of mind. Specifically, for example, the presenter can confirm that the presentation screen on the participant's side has been switched, and then can start explaining the presentation screen, and at the next time the next presentation screen can be displayed at a suitable timing. Can be switched.
[0212]
For this reason, on the receiving
[0213]
In addition, as a condition for performing the above notification process, the amount of update of the display screen data and the elapsed time from the previous notification are measured, and the display screen is updated so that the update fee and the elapsed time become a certain amount or more. Only when the transmission
[0214]
Further, the private screen area can be overlaid on the display screen of the transmission
[0215]
In addition, such a
[0216]
Furthermore, in the
[0217]
As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, this invention is not limited to this example. It will be obvious to those skilled in the art that various changes or modifications can be conceived within the scope of the technical idea described in the claims, and these are naturally within the technical scope of the present invention. It is understood that it belongs.
[0218]
For example, in the
[0219]
In the above embodiment, the
[0220]
Further, in the above embodiment, the receiving
[0221]
In the above embodiment, the transmission right 7 can be exchanged between the transmission-
[0222]
Moreover, although the
[0223]
【The invention's effect】
As described above, according to the present invention, the presenter can easily grasp the display screen state of the receiving terminal device by the display device state information being notified by the transmitting terminal device.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of a data conference system according to a first embodiment;
FIG. 2 is a block diagram illustrating a schematic configuration of a terminal device according to the first embodiment;
FIG. 3 is an explanatory diagram illustrating a specific example of a display screen of the transmission-side terminal device according to the first embodiment.
FIG. 4 is an explanatory diagram illustrating a specific example of a search target area and an update area on the display screen of the transmission-side terminal device according to the first embodiment;
FIG. 5 is an explanatory diagram illustrating a specific example of a shared screen displayed on the display unit of the transmission-side terminal device and the reception-side terminal device according to the first embodiment.
FIG. 6 is a block diagram illustrating a configuration of a notification unit according to the first embodiment.
FIG. 7 is an explanatory diagram illustrating a specific example of notification display on the display screen of the transmission-side terminal device according to the first embodiment;
FIG. 8 is an explanatory diagram illustrating a modification example of the notification display according to the first embodiment;
FIG. 9 is an explanatory diagram illustrating a specific example of a countdown notification display according to the first embodiment.
FIG. 10 is an explanatory diagram for explaining region division of the display screen of the transmission-side terminal device according to the first embodiment;
FIG. 11 is a block diagram for explaining a schematic operation flow of the data conference system according to the first embodiment;
FIG. 12 is a flowchart illustrating an operation flow of a search unit according to the first embodiment;
FIG. 13 is a flowchart illustrating an operation flow of a transmitting-side transmitting / receiving unit according to the first embodiment;
FIG. 14 is a flowchart illustrating an operation flow of a reception-side transmission / reception unit according to the first embodiment;
FIG. 15 is a flowchart illustrating an operation flow of the image drawing unit according to the first embodiment;
FIG. 16 is a flowchart illustrating an operation flow of a notification unit according to the first embodiment;
FIG. 17 is a flowchart illustrating a data conference method according to the first embodiment;
FIG. 18 is an explanatory diagram for explaining a notification timing by a notification unit according to the first embodiment;
FIG. 19 is a block diagram illustrating a schematic configuration of a data conference system according to a second embodiment;
FIG. 20 is a flowchart illustrating an operation flow of a search unit according to the second embodiment;
FIG. 21 is a flowchart illustrating an operation flow of a search unit according to the second embodiment;
FIG. 22 is a flowchart showing a data conference method according to the second embodiment;
FIG. 23 is a block diagram illustrating a schematic configuration of a data conference system according to a modification.
[Explanation of symbols]
1: Data conferencing system
5: Network
7: Transmission right
10: Terminal device
10a: transmitting terminal device
10b: transmitting terminal device
102: CPU
104: Storage unit
106: Input section
108: Display unit
110: Transmission / reception unit
112: Transmission side transceiver
114: Reception side transceiver
120: Notification section
122: Notification execution unit
124: Notification interval management unit
126: Update amount management unit
128: Prediction unit
130: Search section
140: Image drawing monitoring unit
200: Display screen of transmitting terminal device
210: Search target area
220: Notification area
250: Shared screen area
260: Private screen area
300: Display screen of receiving terminal device
302: Shared window
Claims (11)
前記送信側端末装置は,
表示画面内に検索対象領域を設定する検索対象領域設定部と;
設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索実行部と;
前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するとともに,前記受信側端末装置から,前記更新領域に対応する表示画面データの受取完了信号を受信する,送信側送受信部と;
前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する,通知部と;
を備え,
前記受信側端末装置は,
前記送信側端末装置から,前記更新領域に対応する表示画面データを受信する受信側受信部と;
受信した前記更新領域に対応する表示画面データを表示画面上に描画処理する画像描画部と;
当該描画処理後に,前記受取完了信号を前記送信側端末装置に送信する,受信側送信部と;
を備える,データ会議システム。In a data conference system in which one or two or more transmitting terminal devices and one or two or more receiving terminal devices are connected via a network, and display screen data of the transmitting terminal device is shared by the receiving terminal device There:
The transmission side terminal device is:
A search target area setting unit for setting a search target area in the display screen;
The set search target area is searched, an update area where the display screen is updated is detected, and display screen data corresponding to the update area is extracted from the display screen data displayed on the display screen. A search execution unit to perform;
The display screen data corresponding to the extracted update area is transmitted to the receiving terminal device, and the reception completion signal of the display screen data corresponding to the update area is received from the receiving terminal device. A transmitting side transceiver unit;
A notification unit for notifying display screen state information of the receiving terminal device in response to reception of the reception completion signal;
With
The receiving terminal device
A receiving-side receiving unit that receives display screen data corresponding to the update area from the transmitting-side terminal device;
An image drawing unit for drawing the display screen data corresponding to the received update area on the display screen;
A receiving side transmitting unit that transmits the reception completion signal to the transmitting side terminal device after the drawing process;
A data conferencing system.
表示画面内に検索対象領域を設定する検索対象領域設定部と;
設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索実行部と;
前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するとともに,前記受信側端末装置から,前記更新領域に対応する表示画面データの受取完了信号を受信する,送信側送受信部と;
前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する,通知部と;
を備える,送信側端末装置。A transmission-side terminal device that allows one or more reception-side terminal devices connected via a network to share display screen data:
A search target area setting unit for setting a search target area in the display screen;
The set search target area is searched, an update area where the display screen is updated is detected, and display screen data corresponding to the update area is extracted from the display screen data displayed on the display screen. A search execution unit to perform;
The display screen data corresponding to the extracted update area is transmitted to the receiving terminal device, and the reception completion signal of the display screen data corresponding to the update area is received from the receiving terminal device. A transmitting side transceiver unit;
A notification unit for notifying display screen state information of the receiving terminal device in response to receiving the reception completion signal;
The comprising, transmitting terminal device.
前記送信された表示画面データの更新量に基づいて,前記表示画面状態情報の通知を制御する,請求項2に記載の送信側端末装置。The notification unit
Based on the update amount of the display screen data to which the transmitted, controls the notification of the display screen state information, the transmission-side terminal apparatus according to claim 2.
前回通知したときからの経過時間に基づいて,前記表示画面状態情報の通知を制御する,請求項2に記載の送信側端末装置。The notification unit
Based on the elapsed time from when notification last controls the notification of the display screen state information, the transmission-side terminal apparatus according to claim 2.
複数の前記受信側端末装置の全てから前記受取完了信号を受信した場合に,前記表示画面状態情報を通知する,請求項2に記載の送信側端末装置。The notification unit
When all of the plurality of the receiving terminal apparatus receiving the reception completion signal, and notifies the display screen state information, the transmission-side terminal apparatus according to claim 2.
複数の前記受信側端末装置の中から予め選択された少なくとも1の基準受信側端末装置から前記受取完了信号を受信した場合に,前記表示画面状態情報を通知する,請求項2に記載の送信側端末装置。The notification unit
When receiving the reception completion signal from at least one reference receiving terminal apparatus preselected from among the plurality of receiving terminal apparatus, and notifies the display screen state information, the transmission side according to claim 2 Terminal device.
少なくとも前記送信された表示画面データのデータ量に基づいて,前記受取完了信号の受信タイミングを予測し,
前記予測した受取完了信号の受信タイミングに基づいて,前記表示画面状態情報を通知する,請求項2に記載の送信側端末装置。The notification unit
Predicting the reception timing of the reception completion signal based on at least the data amount of the transmitted display screen data;
The predicted based on the reception timing of the reception completion signal, and notifies the display screen state information, the transmission-side terminal apparatus according to claim 2.
少なくとも,前記受信側端末装置が共有する共有画面領域と,前記受信側端末装置が共有しない私有画面領域と,からなり,
前記通知部は,
前記私有画面領域に前記表示画面状態情報を表示出力することにより,前記表示画面状態情報を通知する,請求項2に記載の送信側端末装置。The display screen of the transmitting terminal device is:
At least a shared screen area shared by the receiving terminal device and a private screen area not shared by the receiving terminal device,
The notification unit
By displaying and outputting the display screen state information on the private screen area, and notifies the display screen state information, the transmission-side terminal apparatus according to claim 2.
ネットワークを介して接続された1又は2以上の受信側端末装置に,表示画面データを共有させる送信側端末装置であって:
表示画面内に検索対象領域を設定する検索対象領域設定部と;
設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索実行部と;
前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するとともに,前記受信側端末装置から,前記更新領域に対応する表示画面データの受取完了信号を受信する,送信側送受信部と;
前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する,通知部と;
を備える送信側端末装置として機能せしめる,プログラム。Have a computer:
A transmission-side terminal device that allows one or more reception-side terminal devices connected via a network to share display screen data:
A search target area setting unit for setting a search target area in the display screen;
The set search target area is searched, an update area where the display screen is updated is detected, and display screen data corresponding to the update area is extracted from the display screen data displayed on the display screen. A search execution unit to perform;
The display screen data corresponding to the extracted update area is transmitted to the receiving terminal device, and the reception completion signal of the display screen data corresponding to the update area is received from the receiving terminal device. A transmitting side transceiver unit;
A notification unit for notifying display screen state information of the receiving terminal device in response to receiving the reception completion signal;
A program that causes a transmission-side terminal device to function.
前記送信側端末装置が,表示画面内に検索対象領域を設定する検索対象領域設定ステップと;
前記送信側端末装置が,設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索ステップと;
前記送信側端末装置が,前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するデータ送信ステップと;
前記受信側端末装置が,前記送信側端末装置から,前記更新領域に対応する表示画面データを受信するデータ受信ステップと;
前記受信側端末装置が,受信した前記更新領域に対応する表示画面データを表示画面上に描画処理する描画ステップと;
前記受信側端末装置が,当該描画処理後に,前記更新領域に対応する表示画面データの受取完了信号を前記送信側端末装置に送信する受取完了信号送信ステップと;
前記送信側端末装置が,前記受信側端末装置から,前記受取完了信号を受信する受取完了信号受信ステップと;
前記送信側端末装置が,前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する通知ステップと;
を含む,データ会議方法。A data conference method in which one or two or more transmitting terminal devices and one or two or more receiving terminal devices are connected via a network, and display screen data of the transmitting terminal device is shared by the receiving terminal device. There:
A search target area setting step in which the transmitting terminal device sets a search target area in the display screen;
The transmitting terminal device searches the set search target area, detects an update area where the display screen is updated, and changes the display screen data displayed on the display screen to the update area. A search step for extracting corresponding display screen data;
A data transmission step in which the transmitting terminal device transmits display screen data corresponding to the extracted update area to the receiving terminal device;
A data receiving step in which the receiving terminal device receives display screen data corresponding to the update area from the transmitting terminal device;
A drawing step in which the receiving terminal device draws display screen data corresponding to the received update area on a display screen;
A reception completion signal transmission step in which the reception side terminal device transmits a reception completion signal of display screen data corresponding to the update area to the transmission side terminal device after the drawing process;
A reception completion signal receiving step in which the transmission side terminal device receives the reception completion signal from the reception side terminal device;
A notification step in which the transmission side terminal device notifies display screen state information of the reception side terminal device in response to reception of the reception completion signal;
Data conferencing methods , including
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003051376A JP4264536B2 (en) | 2003-02-27 | 2003-02-27 | Data conferencing system, transmitting terminal device, receiving terminal device, program, data conferencing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003051376A JP4264536B2 (en) | 2003-02-27 | 2003-02-27 | Data conferencing system, transmitting terminal device, receiving terminal device, program, data conferencing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004259158A JP2004259158A (en) | 2004-09-16 |
JP4264536B2 true JP4264536B2 (en) | 2009-05-20 |
Family
ID=33116530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003051376A Expired - Fee Related JP4264536B2 (en) | 2003-02-27 | 2003-02-27 | Data conferencing system, transmitting terminal device, receiving terminal device, program, data conferencing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4264536B2 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4751647B2 (en) * | 2005-06-03 | 2011-08-17 | 株式会社リコー | Screen sharing apparatus, screen sharing method, screen sharing program, and recording medium |
EP1980949A4 (en) * | 2006-01-31 | 2010-04-14 | Fujitsu Ltd | Content distribution method and device in teleconference |
JP4560115B2 (en) * | 2008-04-10 | 2010-10-13 | 株式会社日立製作所 | Distribution management method, distribution management system, and distribution management server |
JP5003706B2 (en) * | 2009-03-23 | 2012-08-15 | 富士ゼロックス株式会社 | Information processing apparatus, information processing system, and program |
JP5664442B2 (en) | 2011-04-27 | 2015-02-04 | ブラザー工業株式会社 | Video conference apparatus, display control method, and display control program |
JP5935786B2 (en) * | 2013-11-21 | 2016-06-15 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, information processing system, control method thereof, and program |
JP5999126B2 (en) * | 2014-02-28 | 2016-09-28 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, information processing method, and program |
US9467514B2 (en) * | 2014-03-12 | 2016-10-11 | Cameron International Corporation | Token-based data management system and method for a network |
JP6382708B2 (en) * | 2014-12-22 | 2018-08-29 | Kddi株式会社 | Communication terminal, display control system, and display control method |
JP2017068530A (en) * | 2015-09-30 | 2017-04-06 | ブラザー工業株式会社 | Program and remote conference method |
JP6455939B2 (en) * | 2016-09-27 | 2019-01-23 | 株式会社デンソーテン | Communication method |
JP7400316B2 (en) | 2019-10-04 | 2023-12-19 | 株式会社リコー | Communication systems, data sharing methods, programs, communication terminals |
-
2003
- 2003-02-27 JP JP2003051376A patent/JP4264536B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004259158A (en) | 2004-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3972836B2 (en) | Display screen sharing system, transmitting terminal device, program, and display screen sharing method | |
EP3304942B1 (en) | Method and apparatus for sharing application | |
WO2021098738A1 (en) | Method and apparatus for controlling horizontal and vertical screen operation of television, and storage medium | |
TWI536855B (en) | Content sharing method and device | |
US10735930B2 (en) | Method and apparatus for sharing application | |
JP4264536B2 (en) | Data conferencing system, transmitting terminal device, receiving terminal device, program, data conferencing method | |
WO2019080065A1 (en) | Display method and apparatus | |
JP2012053642A (en) | Communication device, communication system, communication control method, and communication control program | |
JPH11154178A (en) | Communication managing device and recording medium | |
CN117319734A (en) | Continuing to play media content via different output devices | |
JP7443621B2 (en) | Video interaction methods, devices, electronic devices and storage media | |
KR20110085520A (en) | Method and apparatus for playing of contents in multimedia data providing system | |
CN101529867A (en) | Sharing multimedia content in a peer-to-peer configuration | |
WO2016127687A1 (en) | Media file playback progress synchronization method, device and system | |
CN113965807A (en) | Message pushing method, device, terminal, server and storage medium | |
KR20150079371A (en) | Apparatus, system, and method for transferring data from a terminal to an electromyography device | |
JP2024504121A (en) | Interaction methods, devices, electronic devices and storage media | |
KR20180129677A (en) | Communication apparatus, communication method, and storage medium | |
JP2010004359A (en) | Controller, control method and control system | |
CN114007125A (en) | Volume control method, mobile terminal, target device and storage medium | |
JP2005538638A (en) | Wireless projection system | |
JP2022517562A (en) | How to run standalone programs, appliances, devices and computer programs | |
JP4533020B2 (en) | Multimedia content providing system, home content server, and viewing device | |
JP5853003B2 (en) | Screen sharing terminal, screen sharing method, program for screen sharing terminal | |
WO2023237102A1 (en) | Voice chat display method and apparatus, electronic device, and computer readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080924 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090113 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |