JP4264536B2 - Data conferencing system, transmitting terminal device, receiving terminal device, program, data conferencing method - Google Patents

Data conferencing system, transmitting terminal device, receiving terminal device, program, data conferencing method Download PDF

Info

Publication number
JP4264536B2
JP4264536B2 JP2003051376A JP2003051376A JP4264536B2 JP 4264536 B2 JP4264536 B2 JP 4264536B2 JP 2003051376 A JP2003051376 A JP 2003051376A JP 2003051376 A JP2003051376 A JP 2003051376A JP 4264536 B2 JP4264536 B2 JP 4264536B2
Authority
JP
Japan
Prior art keywords
display screen
terminal device
reception
unit
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003051376A
Other languages
Japanese (ja)
Other versions
JP2004259158A (en
Inventor
正明 五十崎
貴文 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003051376A priority Critical patent/JP4264536B2/en
Publication of JP2004259158A publication Critical patent/JP2004259158A/en
Application granted granted Critical
Publication of JP4264536B2 publication Critical patent/JP4264536B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は,複数の端末装置間で表示画面を共有するデータ会議システムおよびデータ会議方法,並びに,これらに用いられる送信側端末装置およびプログラムに関する。
【0002】
【従来の技術】
従来では,遠隔地間でデータ会議を行うために,ネットワークを介して複数の端末装置を接続し,発表者の端末装置の表示画面を他の参加者の端末装置で共有することが可能なデータ会議システムが提案されている。このデータ会議システムは,発表者の端末装置(送信側端末装置)が自身の表示画面データをエンコードした上で送信し,参加者の端末装置(受信側端末装置)が,受信した表示画面データをデコードした上で自身の表示画面上に再現するものである(例えば,特許文献1参照)。
【0003】
かかるシステムでは,会議の進行に伴って,送信側端末装置側で発表画面が随時切り替えられたとしても,この切り替えられた発表画面の表示画面データを受信側端末装置側で随時取得して表示することで,参加者は,発表者によるプレゼンテーション内容,提示された資料等を順次閲覧することができる。
【0004】
【特許文献1】
特開2001−331430
【0005】
【発明が解決しようとする課題】
しかしながら,送信側端末装置によって表示画面データが送信されてから受信側端末装置の表示画面上に再現されるまでには,ネットワークを介した通信処理や受信側端末装置の受信・描画処理により,どうしても時間差(以下では,画面転送遅延時間という。)が生ずる。この画面転送遅延時間が,例えば0.5秒以下といった短時間であれば会議の進行上さほど支障はないが,例えば数秒以上といった長時間であると,発表者が発表画面を切り替えてその発表画面の内容について説明を始めるタイミングと,受信側で発表画面が切り替わって表示されるタイミングとのズレが気になるようになる。即ち,上記画面転送遅延時間が大きいと,発表者が新たな発表画面について説明を始めたにもかかわらず,受信側端末装置側ではその発表画面に未だ切り替わっていないという問題が起こりうる。
【0006】
また,発表者側で発表画面を次々と切り替えていった場合に,この発表画面の切り替え間隔が上記画面転送遅延時間よりも早いと,受信側では発表画面がジャンプしてしまい,意図した発表内容を共有できないという問題も生ずる。
【0007】
これらの問題に対処するためには,発表者側で,受信側の表示画面が切り替わったことを確認しながら発表を進行させる必要がある。
【0008】
しかしながら,上記従来のデータ会議システムでは,発表者は,受信側端末装置側での発表画面の切り替え状態等といった表示画面状態を把握することができないという問題があった。かかる観点によれば,受信側の表示画面状態を把握する手法として,受信側の表示画面を撮像したカメラ映像を受信側から送信側に転送する手法も考えられるが,この手法では設備規模面やコスト面での障害が大きいという問題がある。
【0009】
また,複数の受信側端末装置との間で表示画面を共有している場合には,各受信側端末装置の画面転送遅延時間は,経由するネットワークの通信速度や受信側の処理能力などに応じて多様である。このため,上記のようなカメラ映像を目視するという手法などでは,発表者が,どの受信側端末装置への画像転送が遅れているかを意識しながら,発表画面の切り替えタイミングを好適に判断することは,非常に困難であった。
【0010】
本発明は,上記問題点に鑑みてなされたものであり,本発明の目的は,発表者が受信側端末装置の表示画面状態を容易に把握することが可能な,新規かつ改良されたデータ会議システムおよびデータ会議方法,並びにこれを実現するための端末装置,プログラム等を提供することにある。
【0011】
【課題を解決するための手段】
上記課題を解決するため,本発明の第1の観点によれば,1または2以上の送信側端末装置と1または2以上の受信側端末装置とがネットワークを介して接続され,前記送信側端末装置の表示画面データを前記受信側端末装置で共有するデータ会議システムであって:前記送信側端末装置は,表示画面内に検索対象領域を設定する検索対象領域設定部と;設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索実行部と;前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するとともに,前記受信側端末装置から,前記更新領域に対応する表示画面データの受取完了信号を受信する,送信側送受信部と;前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する,通知部と;を備え,前記受信側端末装置は,前記送信側端末装置から,前記更新領域に対応する表示画面データを受信する受信側受信部と;受信した前記更新領域に対応する表示画面データを表示画面上に描画処理する画像描画部と;当該描画処理後に,前記受取完了信号を前記送信側端末装置に送信する,受信側送信部と;を備える,データ会議システムが提供される。
【0012】
かかる構成により,送信側端末装置は,受信側端末装置に対して,送信側端末装置の表示画面上に表示されている表示画面データの少なくとも一部を提供することができる。また,受信側端末装置は,このように送信側端末装置から提供された表示画面データを受信,描画処理して,受信側端末装置の表示画面上に表示させることができる。これにより,送信側端末装置と受信側端末装置との間で,送信側端末装置の表示画面データの少なくとも一部を共有することができる。また,受信側端末装置は,受信した表示画面データを受け取った旨の受取完了信号を生成して,送信側端末装置に送信側端末装置できる。送信側端末装置は,この受取完了信号を受信したタイミングに基づいて,受信側端末装置の表示画面状態情報を,表示画面上に表示出力する或いは音声出力するなどして,会議の発表者に対して通知することができる。
【0013】
また,上記課題を解決するため,本発明の別の観点によれば,ネットワークを介して接続された1又は2以上の受信側端末装置に,表示画面データを共有させる送信側端末装置であって:表示画面内に検索対象領域を設定する検索対象領域設定部と;設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索実行部と;前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するとともに,前記受信側端末装置から,前記更新領域に対応する表示画面データの受取完了信号を受信する,送信側送受信部と;前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する,通知部と;を備える,送信側端末装置が提供される。
【0014】
かかる構成により,送信側送受信部は,送信側端末装置の表示画面内の表示画面データの少なくとも一部を,ネットワークを介して送信することにより,受信側端末装置に対して,送信側端末装置の表示画面データを提供できる。これにより,送信側端末装置は,受信側端末装置に自身の表示画面データを共有させることができる。さらに,この送信側送受信部は,受信側端末装置が送信した受取完了信号を,ネットワークを介して受信することができる。この受取完了信号は,受信側端末装置が上記受信した表示画面データを受け取り,受信側端末装置の表示画面上への描画処理が完了したことを表す信号である。また,通知部は,この受取完了信号を受信したタイミングに基づいて,受信側端末装置の表示画面状態情報を,表示画面上に表示出力する或いは音声出力するなどして,会議の発表者に対して通知することができる。このため,発表者は,受信側端末装置側での表示画面の切り替え状態などを把握できるので,発表画面についての説明を開始するタイミング(発表タイミング)や,当該発表画面を次の発表画面に切り替えるタイミング(発表画面切替タイミング)などを好適に調整することができる。
【0015】
また,上記通知部は,送信された表示画面データの更新量に基づいて,表示画面状態情報の通知を制御する,ように構成してもよい。
【0016】
かかる構成により,通知部は,例えば,送信された表示画面データの更新量が規定値より小さい場合には,当該表示画面データに対応する受取完了通知信号を受信したとしても,上記受信側端末装置の表示画面状態情報を通知しないようにできる。換言すると,通知部は,例えば,送信された表示画面データの更新量を保持しておき,この更新料が規定値より大きい場合には,当該表示画面データに対応する受取完了通知信号の受信に応じて,上記受信側端末装置の表示画面状態情報を通知することができる。
【0017】
また,上記通知部は,前回通知したときからの経過時間に基づいて,表示画面状態情報の通知を制御する,ように構成してもよい。
【0018】
かかる構成により,通知部は,例えば,前回通知したときからの経過時間が規定値を超えている場合に,送信された表示画面データに対応する受取完了通知信号の受信に応じて,受信側端末装置の表示画面状態情報を通知する。これにより,通知部は,上記受信側端末装置の表示画面状態情報の通知時間間隔を制御することができる。
【0019】
また,上記通知部は,複数の受信側端末装置の全てから受取完了信号を受信した場合に,表示画面状態情報を通知する,ように構成してもよい。
【0020】
かかる構成により,送信側端末装置が複数の受信側端末装置に表示画面データを共有させている場合に,全ての受信側端末装置から受取完了信号を受信完了したタイミングに基づいて,表示画面状態情報を通知することができる。これにより,例えば,表示画面データの転送が最も遅い受信側端末装置に合わせて,上記表示画面状態情報を通知することができる。
【0021】
また,上記通知部は,複数の受信側端末装置の中から予め選択された少なくとも1の基準受信側端末装置から受取完了信号を受信した場合に,表示画面状態情報を通知する,ように構成してもよい。
【0022】
かかる構成により,送信側端末装置が複数の受信側端末装置に表示画面データを共有させている場合に,予め選択された特定の基準受信側端末装置から受取完了信号を受信したタイミングに基づいて,表示画面状態情報を通知することができる。これにより,例えば,上記基準受信側端末装置に合わせて,上記表示画面状態情報を通知することができる。
【0023】
また,上記通知部は,少なくとも送信された表示画面データのデータ量に基づいて,受取完了信号の受信タイミングを予測し,予測した受取完了信号の受信タイミングに基づいて,表示画面状態情報を通知する,ように構成してもよい。
【0024】
かかる構成により,通知部は,例えば,送信された表示画面データのデータ量,および過去の通信実績などに基づいて,通信所要時間を算出し,当該送信された表示画面データに対応する受取完了信号を受信するタイミングを予測できる。さらに,通知部は,このように予測した受取完了信号の受信タイミングに基づいて,表示画面状態情報を例えばカウントダウン通知することなどができる。
【0025】
また,上記送信側端末装置の表示画面は,少なくとも,受信側端末装置が共有する共有画面領域と,受信側端末装置が共有しない私有画面領域と,からなり;上記通知部は,私有画面領域に表示画面状態情報を表示出力することにより,表示画面状態情報を通知する,ように構成してもよい。
【0026】
かかる構成により,通知部は,送信側端末装置の表示画面上に表示画面状態情報を表示出力することにより,発表者に対して表示画面状態情報を通知することができる。また,私有画面領域の表示画面データは受信側端末装置に送信されないため,受信側端末装置で共有されることがない。従って,通知部が表示画面状態情報をこの私有画面領域に表示出力することにより,当該表示画面状態情報は,送信側端末装置の表示画面上にのみ表示され,受信側端末装置の表示画面上に表示されることがない。
【0027】
また,上記送信側端末装置は,表示画面内の検索対象領域を検索処理して,表示画面内の更新領域を検出する,検索部;を備え,上記送信側送受信部は,少なくとも更新領域の表示画面データを受信側端末装置に対して送信するようにしてもよい。かかる構成により,送信側端末装置は,受信側端末装置に対して,更新領域の表示画面データのみの送信を繰り返すことで,表示画面データの共有を実現することができる。これにより,全画面の表示画面データを毎回送信する場合などと比べて,送信する表示画面データのデータ量を大幅に低減できる。
【0028】
また,上記課題を解決するため,本発明の別の観点によれば,コンピュータをして:ネットワークを介して接続された1又は2以上の受信側端末装置に,表示画面データを共有させる送信側端末装置であって:表示画面内に検索対象領域を設定する検索対象領域設定部と;設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索実行部と;前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するとともに,前記受信側端末装置から,前記更新領域に対応する表示画面データの受取完了信号を受信する,送信側送受信部と;前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する,通知部と;を備える送信側端末装置として機能せしめる,プログラムが提供される。
【0029】
また,上記課題を解決するため,本発明の別の観点によれば,コンピュータをして:ネットワークを介して接続された1又は2以上の受信側端末装置に,表示画面データを共有させる送信側端末装置であって:表示画面内に検索対象領域を設定する検索対象領域設定部と;設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索実行部と;前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するとともに,前記受信側端末装置から,前記更新領域に対応する表示画面データの受取完了信号を受信する,送信側送受信部と;前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する,通知部と;を備える送信側端末装置として機能せしめる,プログラム,が記録された記録媒体が提供される。
【0034】
また,上記課題を解決するため,本発明の別の観点によれば,1または2以上の送信側端末装置と1または2以上の受信側端末装置とがネットワークを介して接続され,前記送信側端末装置の表示画面データを前記受信側端末装置で共有するデータ会議方法であって:前記送信側端末装置が,表示画面内に検索対象領域を設定する検索対象領域設定ステップと;前記送信側端末装置が,設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索ステップと;前記送信側端末装置が,前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するデータ送信ステップと;前記受信側端末装置が,前記送信側端末装置から,前記更新領域に対応する表示画面データを受信するデータ受信ステップと;前記受信側端末装置が,受信した前記更新領域に対応する表示画面データを表示画面上に描画処理する描画ステップと;前記受信側端末装置が,当該描画処理後に,前記更新領域に対応する表示画面データの受取完了信号を前記送信側端末装置に送信する受取完了信号送信ステップと;前記送信側端末装置が,前記受信側端末装置から,前記受取完了信号を受信する受取完了信号受信ステップと;前記送信側端末装置が,前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する通知ステップと;を含む,データ会議方法が提供される。
【0035】
かかる構成により,送信側端末装置は,受信側端末装置の表示画面状態情報を,表示画面上に表示出力する或いは音声出力するなどして,会議の発表者に対して通知することができる。このため,発表者は,受信側端末装置側での表示画面の切り替え状態などを把握できるので,発表タイミングや発表画面切替タイミングなどを好適に調整することができる。
【0036】
また,上記通知部は,送信された表示画面データの更新量に基づいて,表示画面状態情報の通知を制御する,ようにしてもよい。
【0037】
また,上記通知部は,前回通知したときからの経過時間に基づいて,表示画面状態情報の通知を制御する,ようにしてもよい。
【0038】
また,上記通知部は,複数の受信側端末装置の全てから受取完了信号を受信した場合に,表示画面状態情報を通知する,ようにしてもよい。
【0039】
また,上記通知部は,複数の受信側端末装置の中から予め選択された少なくとも1の基準受信側端末装置から受取完了信号を受信した場合に,表示画面状態情報を通知する,ようにしてもよい。
【0040】
また,上記通知部は,少なくとも送信された表示画面データのデータ量に基づいて,受取完了信号の受信タイミングを予測し,予測した受取完了信号の受信タイミングに基づいて,表示画面状態情報を通知する,ようにしてもよい。
【0041】
また,上記送信側端末装置の表示画面は,少なくとも,受信側端末装置が共有する共有画面領域と,受信側端末装置が共有しない私有画面領域と,からなり;上記通知部は,私有画面領域に表示画面状態情報を表示出力することにより,表示画面状態情報を通知する,ようにしてもよい。
【0042】
【発明の実施の形態】
以下に添付図面を参照しながら,本発明の好適な実施の形態について詳細に説明する。なお,本明細書及び図面において,実質的に同一の機能構成を有する構成要素については,同一の符号を付することにより重複説明を省略する。
【0043】
(第1の実施の形態)
まず,本発明の第1の実施の形態にかかるデータ会議システムおよびデータ会議方法について説明する。
【0044】
<1.システム構成>
まず,図1に基づいて,本実施形態にかかるデータ会議システムの全体構成について説明する。なお,図1は,本実施形態にかかるデータ会議システム1の概略的な構成を示すブロック図である。
【0045】
図1に示すように,本実施形態にかかるデータ会議システム1は,例えば,1つの送信側端末装置10aと,1つの受信側端末装置10bと,送信側端末装置10aと受信側端末装置10bを接続するネットワーク5と,から主に構成される。
【0046】
送信側端末装置10aおよび受信側端末装置10b(以下では,端末装置10と総称する場合もある。)は,例えば,少なくとも中央演算処理部(CPU)と送受信部と記憶部と表示部とを備えた情報処理装置であり,一般的には,パーソナルコンピュータなどのコンピュータ装置で構成される。なお,これらの端末装置10は,かかるコンピュータ装置に限定されず,例えば,携帯電話,情報家電,携帯端末,PDA,またはテレビ会議機能等を備えたコミュニケーション端末などの各種の情報処理装置で構成してもよい。
【0047】
このうち,送信側端末装置10aは,例えば,データ会議における発表者によって利用される端末装置であって,自身の表示画面データを提供(送信)する側の端末装置である。この送信側端末装置10aは,例えば,プレゼン用ソフト,ワープロソフト等の各種の発表用ソフトウェアがインストールされており,発表者により指定された,プレゼンテーション内容や発表資料等(以下では,発表内容という。)のデータを,自身の表示画面(例えばデスクトップ画面)上に発表画面として表示し,当該発表者の操作に応じてその表示内容を随時切り替えることができる。
【0048】
かかる送信側端末装置10aには,送信権7が付与されている。この送信権7は,他の端末装置に対して自身の表示画面データを送信できる権限であり,データ会議における発表者の権限に相当するものである。この送信権7は,データ会議システム1内の複数の端末装置10の中から,発表者が用いる1または2以上の端末装置10に割り当てられるものであるが,図1の例では,1つの端末装置10(即ち,送信側端末装置10a)にのみ割り当てられている。
【0049】
かかる送信権7を有することにより,送信側端末装置10aは,上記のように自身の表示画面上に表示されている画像データ(表示画面データ)の全部または一部を,ネットワーク5を介して受信側端末装置10bに送信することができる。より具体的には,送信側端末装置10aは,例えば,自身の表示画面上で発表内容を表示させている発表用ソフトウェアのウィンドウ,あるいは当該表示画面全体などの表示画面データを,受信側端末装置10bに送信することができる。
【0050】
さらに,送信側端末装置10aは,例えば,受信側端末装置10bからの受取完了信号に基づいて,次の表示画面データを検索・送信するタイミングを好適に制御したり,発表者に対して発表タイミングや発表画面の切り替えタイミング等を通知したりできるが,これらの詳細については後述する。
【0051】
一方,受信側端末装置10bは,データ会議における参加者(聞き手)によって利用される端末装置であって,他の端末装置の表示画面データを享受(受信)する側の端末装置である。この受信側端末装置10bは,上記送信側端末装置10aから受信した表示画面データを描画処理して,自身の表示部に表示することができる。また,受信側端末装置10bは,例えば,表示画面データの描画処理が完了した時点で受取完了信号を生成し,送信側端末装置10aに送信することもできる。
【0052】
ネットワーク5は,送信側端末装置10aと受信側端末装置10bを相互に双方向通信可能に接続する通信回線網である。このネットワーク5は,例えば,インターネット等の公衆回線網や,WAN,LAN,IP−VPN等の専用回線網などで構成される。また,ネットワーク5の接続媒体は,例えば,FDDI(Fiber Distributed Data Interface)などによる光ファイバケーブル,Ethernet(登録商標)による同軸ケーブル又はツイストペアケーブル,もしくはIEEE802.11bなど,有線・無線を問わず,衛星通信網なども含むように構成してもよい。なお,本実施形態にかかる端末装置10間においては,表示画面データ等の各種データを,例えばTCP/IP(Transmission Control Protocol/Internet Protocol)により定められた規約により送受信するように構成されているが,かかる例に限定されず,UDP(User Datagram Protocol)などで送受信するように構成してもよい。
【0053】
上記のような構成のデータ会議システム1では,上記のように,送信側端末装置10aは,自身の表示画面に対応する表示画面データを,ネットワーク5を介して受信側端末装置10bに提供することができる。また,受信側端末装置10bは,提供された表示画面データを描画処理して,自身の表示画面上に表示させることができる。これにより,送信側端末装置10aと受信側端末装置10bとの間で,送信側端末装置10aの表示画面データを共有することが可能になる。
【0054】
従って,データ会議の参加者は,送信側端末装置10aの表示画面上に表示された発表内容を,受信側端末装置10bを用いてほぼリアルタイムに閲覧することができる。かかるデータ会議では,発表者と参加者が近くにいる場合(例えば,双方が同一の会議室,フロアまたは建物内にいる場合)のみならず,遠隔地にいる場合(例えば,一方が東京本社,他方が北海道支社にいる場合,または一方が自宅,他方が移動中の新幹線の車内にいる場合)などであっても,発表者と参加者の間で発表内容を共有することができるので,発表者及び参加者の所在の自由度が高まり,有用である。
【0055】
このように,データ会議システム1は,2地点以上の遠隔地点間などをネットワーク5で接続し,送信側端末装置10aの発表画面を受信側端末装置10bで共有することにより,ネットワーク会議,セミナー等のプレゼンテーションなどを円滑に進行させることができる。なお,かかるデータ会議においては,例えば,上記のような発表画面の共有と同時に,発表者または参加者の発言内容等の音声情報を,マイク,スピーカ等からなる別途の音声通信手段(図示せず。)などを用いて,端末装置10間で共有できるように構成してもよい。また,例えば,データ会議システム1とテレビ会議システムなどとを併用し,発表者の映像情報や音声情報等を伝送できるようにしてもよい。
【0056】
また,かかるデータ会議システム1では,上記送信権7を端末装置10間で授受することもできる。具体的には,図1の例では,送信側端末装置10aが有する送信権7を,受信側端末装置10bに譲渡できるようにしてもよい。かかる送信権7の譲渡により,双方の機能を逆転させ,送信側端末装置10aを上記のような受信側端末装置10bとして機能させるとともに,受信側端末装置10bを上記送信側端末装置10aとして機能させることができる。このように,端末装置10間で送信権7を授受可能とすることにより,データ会議の発表者は,いずれの端末装置10を用いたとしても,その端末装置10の表示画面データを他方の端末装置10で共有させて,発表を行うことが可能となる。また,データ会議の参加者間で発表者が順次変更される場合にも対応できる。
【0057】
また,例えば,双方の端末装置10に送信権7をそれぞれ付与することにより,双方の端末装置10が相互に自身の表示画面データの一部を相手側に提供するようにしてもよい。かかる構成により,双方の端末装置10は,相互に表示画面データを共有し合って,それぞれが自身の表示画面上に相手側の表示画面の一部を表示することができる。これにより,データ会議システム1が,データ会議の参加者の双方が同時に発表者となる場合や,相互に発表内容を提示し合って議論する場合などにも対応できるようになる。
【0058】
<2.端末装置の構成>
次に,図2に基づいて,本実施形態にかかる端末装置10の構成について説明する。なお,図2は,本実施形態にかかる端末装置10の概略的な構成を示すブロック図である。
【0059】
図2に示すように,端末装置10は,CPU102と,記憶部104と,入力部106と,表示部108と,音声出力部109と,送受信部110と,通知部120と,検索部130と,画像描画部140と,から構成されている。
【0060】
CPU102は,例えば,中央演算処理装置などで構成された制御部であり,端末装置10内の各部の処理・命令等を制御することができる。例えば,このCPU102は,記憶部104などに格納された発表用ソフトウェアをはじめとする各種ソフトウェアを起動させ,その動作を制御することができる。
【0061】
記憶部104は,各種のデータおよびプログラム等を一時記録または格納することが可能な記憶用デバイスである。この記憶部104は,例えば,RAM(Read Access Memory),ROM(Read Only Memory),EEPROM(Electrically Erasable and Programmable ROM),DRAM(Dynamic RAM),SRAM(Static RAM),SDRAM(SynchronousDRAM),MRAM(Magnetoresistive RAM),ハードディスク,フレキシブルディスク,磁気テープ,光ディスク,などで構成される。
【0062】
この記憶部104は,例えば,発表者が発表内容を説明するために利用する各種の発表用ソフトウェアを記録している。この発表用ソフトウェアの具体例としては,例えば,Microsoft(登録商標)のWord XP(登録商標)などのワープロソフト,Excel XP(登録商標)などの表計算ソフト,PowerPoint XPなどのプレゼンテーション用ソフト(以下ではプレゼン用ソフトという。),Internet Explorer(登録商標)などの閲覧ソフト,などが挙げられる。なお,これらの発表用ソフトウェアは,例えば,各種のディスクドライブを用いて,フレキシブルディスク,CD−ROM,DVD−ROMなどの記録媒体から読み出して起動させてもよく,また,ネットワーク5などを介して外部から配信されたものを起動させてもよい。
【0063】
入力部106は,例えば,マウス,トラックボール,トラックパッド,スタイラスペン,またはジョイスティックなどのポインティングデバイスや,キーボードなどから構成された操作手段である。端末装置10の使用者(会議の発表者または参加者など)は,かかる入力部106を操作することにより,端末装置10に対して各種の処理動作を指示したり,各種のデータを入力したりできる。例えば,発表者は,この入力部106を操作して,上記発表用ソフトウェアのウィンドウ内に表示される発表画面を,発表の進行とともに,順次切り替えることができる。
【0064】
表示部108は,例えば,CRTディスプレイ装置,液晶ディスプレイ(LCD)装置などで構成された表示装置である。この表示部108は,その表示画面上に各種の表示画面データを表示出力することができる。
【0065】
例えば,端末装置10が送信側端末装置10aとして機能する場合の表示部108は,例えば,端末装置10の上記発表用ソフトウェアが起動されると,当該発表用ソフトウェアに対応したウィンドウを,その表示画面の一部または全部の領域に表示する。また,後述する通知部120によって生成された通知表示を表示出力して,受信側端末装置10bの表示画面状態情報を発表者に認識させることもできる。
【0066】
ここで,図3に基づいて,かかる送信側端末装置10aの表示部108に表示された発表画面と,この発表画面の切替処理の具体例について説明する。なお,図3は,本実施形態にかかる送信側端末装置10aの表示画面の具体例を示す説明図である。
【0067】
図3(a)に示すように,発表時には,送信側端末装置10aの表示画面200上に,例えば,プレゼン用ソフトのウィンドウ202と,表計算ソフトのウィンドウ204とが表示される。この状態で,発表者は,図3(a)の表示画面200上に表示されている「来年度の経営指針」に関する発表用スライド(1)についての説明を行う。次いで,発表者は,次の発表画面に切り替えるため,入力部106であるマウス等を操作してポインタ206を移動させて,発表用スライド(2)のマークを選択してクリックする。すると,図3(b)に示すように,プレゼン用ソフトのウィンドウ202内には,「コスト削減」に関する発表用スライド(2)が表示される。このようにして,送信側端末装置10aの表示画面200上では,発表の進行に伴って,例えばプレゼン用ソフトのウィンドウ202内の発表内容が順次,更新され,発表画面が次々と切り替えられていく。
【0068】
一方,端末装置10が受信側端末装置10bとして機能する場合の表示部108は,例えば,後述する画像描画部140によって描画処理された表示画面データを,その表示画面の一部または全部の領域に表示する。この受信側端末装置10bの表示部108は,表示画面上に,例えば,共有画面を表示するための共有ウィンドウ(詳細は後述する。)を表示し,かかる共有ウィンドウ内に送信側端末装置10aの表示画面を再現するように構成されている。
【0069】
なお,上記のような表示部108が表示する表示画面データは,一般的には,上記発表内容を静的に表示した例えば静止画像データであるが,かかる例に限定されず,上記発表内容が動的に変化する動画像データなどであってもよい。
【0070】
また,音声出力部109は,例えば,スピーカなどで構成されており,外部から転送されてきた発表者の発言内容等の音声データなどを音声出力できる。また,この音声出力部109は,後述する通知部120によって生成された通知音声を出力して,受信側端末装置10bの表示画面状態情報を発表者に認識させることもできる。
【0071】
送受信部110は,ネットワーク5と接続されており,他の端末装置10との間で各種のデータを送受信することができる。この送受信部110は,例えば,送信側送受信部112と,受信側送受信部114と,を備える。
【0072】
送信側送受信部112は,例えば,端末装置10が送信側端末装置10aとして機能する場合に動作する送受信部である。この送信側送受信部112は,例えば,後述する検索部130から入力された表示画面データを,エンコードした上で,ネットワーク5を介して受信側端末装置10bに送信する。また,かかる送信側送受信部112は,例えば,受信側端末装置10bが送信した受取完了信号を,ネットワーク5を介して受信して,後述する通知部120および検索部130に出力する。
【0073】
一方,受信側送受信部114は,例えば,端末装置10が受信側端末装置10bとして機能する場合に動作する送受信部である。この受信側送受信部114は,例えば,送信側端末装置10aが送信した表示画面データを,ネットワーク5を介して受信し,受信した表示画面データをデコードした上で画像描画部140に出力する。
【0074】
また,かかる受信側送受信部114は,例えば,画像描画部140からの通知を受けると,受信側端末装置10b側で表示画面データを正常に受け取り,当該表示画面データの例えば描画処理が完了した旨を表す受取完了信号を生成する。即ち,この受信側送受信部114は本実施形態にかかる受取完了信号生成部(図示せず。)としても構成されている。なお,この受取完了信号生成部は,例えば,受信側送受信部114とは独立して構成されてもよい。
【0075】
さらに,受信側送受信部114は,送信側端末装置10aに対して,ネットワーク5を介して当該受取完了信号を送信することで,例えば,受信側端末装置10b側で当該表示画面データの受信・描画処理が完了し,表示画面が切り替わった旨を通知することができる。
【0076】
なお,この受信側送受信部114は,例えば,送信されてきた表示画面データの受信処理が完了した時点で(例えば,当該表示画面データのデコードや描画処理を実行する前に),上記受取完了信号を生成して送信側端末装置10aに送信するようにしてもよい。この場合には,例えば,受取完了信号として,TCP/IPネットワーク上での送受信動作終了信号として一般的に用いられているACK(Acknowledgement:肯定応答)などを利用してもよい。
【0077】
通知部120は,本実施形態にかかる特徴的な構成であり,端末装置10が送信側端末装置10aとして機能する場合(即ち,発表者により利用される場合)に動作する。この通知部120は,受信側端末装置10bの表示画面情報を発表者に対して通知することができる。例えば,この通知部120は,表示部108の表示画面上に通知表示などを表示出力させて,かかる通知表示の表示態様を上記受取完了信号の受信タイミングに応じて切り替える。これにより,通知部120は,受信側端末装置10bの発表画面が切り替わったことなどを,発表者に対して通知することができる。この結果,発表者は,発表画面切り替え後の好適な発表タイミング,または次の発表画面への切り替えタイミングなどを好適に把握できる。なお,かかる通知部120の詳細な機能・構成については,後述する。
【0078】
検索部130は,例えば,端末装置10が送信側端末装置10aとして機能する場合に動作し,例えば,表示画面内に検索対象領域を設定するとともに,この検索対象領域を検索する機能を有する。かかる検索部130は,例えば,検索対象領域設定部132と,検索実行部134と,検索処理制御部136とを備える。
【0079】
検索対象領域設定部132は,例えば,表示画面内に検索対象領域を設定することができる。より詳細には,この検索対象領域設定部132は,例えば,発表者によって現在使用されている表示画面内のウィンドウ(例えば,説明中の発表内容が表示されているプレゼン用ソフトに対応するウィンドウ等)を検出し,このウィンドウの範囲内を検索対象領域として設定することができる。これにより,発表画面が更新される可能性が高い領域に絞って,検索対象領域を動的に設定することができる。しかし,かかる例に限定されず,検索対象領域設定部132は,例えば,表示画面の全範囲,或いは,表示画面内の一部の領域(例えば表示画面の上半分のみ,または中央部分のみ等)を,検索対象領域として設定するようにしてもよい。
【0080】
検索実行部134は,例えば,上記設定された検索対象領域を検索処理して,表示画面が更新されている更新領域を検出することができる。より詳細には,この検索実行部134は,例えば,設定された検索対象領域において,前回の検索処理時に利用された表示画面データ(比較用表示画面データ)と,現在,表示部108に表示されている表示画面データ(実際の表示画面データ)とを,例えば所定のブロック単位で比較して,更新領域の検出を試みる。かかる比較・検出処理により,実際に更新領域があった場合には,検索実行部134は,例えば,かかる更新領域に対応する表示画面データを抽出して,送信側送受信部112に出力する。なお,この抽出された表示画面データには,例えば,当該更新領域の表示画面上での位置を示す座標情報なども含まれている。
【0081】
ここで,図4に基づいて,上記検索対象領域および更新領域の具体例について説明する。図4は,本実施形態にかかる送信側端末装置10aの表示画面上における検索対象領域および更新領域の具体例を示す説明図である。なお,図4では,図3に示したような発表画面の表示,切り替えが行われた場合に対応するよう示してある。
【0082】
図4(a)に示すように,検索対象領域設定部132は,発表者によって発表が成されているプレゼン用ソフトのウィンドウ202(図3参照)の範囲内を,検索対象領域210として設定する。この検索対象領域210は,当該ウィンドウ202に対応した例えば矩形領域であり,矩形の左上の座標(x1,y1),右下の座標(x2,y2)で特定される。
【0083】
また,図4(b)に示すように,検索実行部134は,上記のように設定された検索対象領域210を検索した結果,例えば,2つの更新領域220a,220bを検出している。更新領域220aは,図3で説明したポインタ206の移動と,スライド選択部分の選択内容の変化に起因して,表示内容が更新されたウィンドウ202内の左上の領域である。この更新領域220aの範囲は,(x3,y3),(x4,y4)で特定される。また,更新領域220bは,図3で説明した発表用スライドの切り替えに起因して,表示内容が更新されたウィンドウ202内の中央部分の領域である。この更新領域220bの範囲は,(x5,y5),(x6,y6)で特定される。かかる例のように,更新領域220は,1回の検索処理で複数検出される場合もある。また,更新領域220の範囲は,例えば,表示画面上の更新された部分を含む最小限の範囲となるように設定されるので,エンコード・送信処理する表示画面データ量を低減することができる。
【0084】
検索処理制御部136は,上記のような検索実行部134の検索処理を許可/不許可することができる。より詳細には,検索処理制御部136は,例えば,上記検索実行部134が表示画面データを送信側送受信部112に対して出力した時点で,検索フラグをオフにして,それ以後の上記検索実行部134による検索処理を不許可とする。一方,検索処理制御部136は,例えば,送信側送受信部112から当該表示画面データについての上記受取完了信号が入力された時点で,検索フラグをオンにして,それ以後の上記検索実行部134による検索処理を許可する。換言すると,検索処理制御部136は,例えば,前回送信した表示画面データに対応する受取完了信号が,送信側送受信部112によって受信されてから,次の表示画面データの検索処理を実行するように検索実行部134を制御する。
【0085】
このように,検索部130は,前回検出した更新領域の表示画面データを送信してから上記受取完了信号を受信するまでの期間内には,検索処理を実行しないので,当該検索処理の効率化,送信側端末装置10aの負荷の低減を図ることができる。
【0086】
画像描画部140は,例えば,端末装置10が受信側端末装置10bとして機能する場合に動作する。この画像描画部140は,受信側送受信部114から入力された表示画面データを描画処理して,上記表示部108の表示画面上に表示させる。これにより,受信側端末装置10bは,その表示画面上に,送信側端末装置10aの発表画面の少なくとも一部を再現することができるので,双方の端末装置10間で発表画面の共有が実現される。また,画像描画部140は,例えば,かかる描画処理が完了した時点で,当該表示画面データに関する描画処理が完了した旨を受信側送受信部114に対して通知する。
【0087】
ここで,図5に基づいて,受信側端末装置10bの表示部108に表示された共有画面の具体例について説明する。図5は,本実施形態にかかる送信側端末装置10aおよび受信側端末装置10bの表示部108に表示された共有画面の具体例を示す説明図である。
【0088】
送信側端末装置10aの表示画面200上に,図5(a)に示すような,発表画面が表示されている場合を想定する。この場合,受信側端末装置10bの表示画面300上には,図5(b)に示すように,例えば,その一部の領域に共有ウィンドウ302が表示されている。この共有ウィンドウ300は,例えば,送信側端末装置10aから提供された表示画面データ(共有画面のデータ)を表示するためのウィンドウである。上記画像描画部140は,例えば,データ会議が始まると,表示画面300内に共有ウィンドウ302を生成し,例えば,この共有ウィンドウ302内に,受信側送受信部114から入力された表示画面データを描画処理して,表示させる。
【0089】
ところで,送信側端末装置10aから送信されてくる表示画面データは,例えば更新領域のみのデータであり,共有画面全体のデータではない。このため,画像描画部140は,例えば,取得した更新領域のみの表示画面データを新しく描画処理し,他の領域は既に描画されている状態を維持するようにする。このようにして,更新領域の部分が更新表示されることで,受信側端末装置10bの表示画面が更新され,共有ウィンドウ302内に送信側端末装置10aの最新の発表画面を再現できる。この結果,送信側端末装置10aの発表画面(図5(a)参照)と,受信側端末装置10bの共有ウィンドウ302内の発表画面(図5(b)参照)とが同一となり,両端末装置10間で発表画面の共有が実現される。
【0090】
なお,上記説明したような,送信側送受信部112,受信側送受信部114,通知部120,検索部130,画像描画部140などは,上記のような処理機能を実現できるものであれば,例えば,専用装置(ハードウェア)として構成されてもよく,或いは,端末装置10にアプリケーションプログラムをインストールすることで構成されてもよい。さらに,後者の場合,上記アプリケーションプログラムは,上記端末装置10に対して,CD−ROM等の記録媒体によって提供されてもよく,或いは,ネットワーク5を介して外部からダウンロードすることで提供されてもよい。また,当該アプリケーションプログラムは,予め,上記各端末装置内の記憶部104または外部インタフェース(図示せず。)等に接続された周辺機器などに格納されていてもよい。
【0091】
以上,本実施形態にかかる端末装置10の概略的な構成について説明した。本実施形態では,上述したような端末装置10の構成は,例えば,送信側端末装置10aおよび受信側端末装置10bの双方の構成に該当するものである。かかる構成によれば,送信側端末装置10aおよび受信側端末装置10bの双方が,表示画面データを送信する側(発表者側)の端末装置,または受信する側(参加者側)の端末装置のいずれとしても機能しうるので,データ会議システム1内で上記のような送信権7の授受が可能となる。
【0092】
しかし,例えば,送信権7を端末装置10間で授受しない場合(即ち,発表者が用いる端末装置10が予め固定されている場合)には,送信側端末装置10aおよび受信側端末装置10bの双方が,必ずしも上記のような各部を全て具備する必要はない。より詳細には,端末装置10が受信側端末装置10bとしてのみ機能すればよい場合には,例えば,少なくとも上記CPU102,記憶部104,入力部106,表示部108,送信側送受信部112,通知部120および検索部130を具備すればよい。また,端末装置10が受信側端末装置10bとしてのみ機能すればよい場合には,例えば,少なくとも上記CPU102,記憶部104,入力部106,表示部108,受信側送受信部114および画像描画部140を具備すればよい。
【0093】
<3.通知部の構成>
次に,図6に基づいて,本実施形態にかかる特徴である通知部120の構成について詳細に説明する。図6は,本実施形態にかかる通知部120の構成を示すブロック図である。
【0094】
図6に示すように,通知部120は,例えば,通知実行部122と,通知間隔管理部124と,更新量管理部126と,予測部128とを備える。
【0095】
通知実行部122は,例えば,受信側端末装置10bの表示画面状態情報を発表者に通知する機能を有する。この表示画面状態情報は,受信側端末装置10bの表示画面の状態を表す各種の情報であり,例えば,受信側端末装置10bの表示画面が最新の発表画面に切り替わったことを表す情報(以下では,受信側画面切替完了情報という。)などである。
【0096】
より詳細には,通知実行部122は,例えば,受信側端末装置10bからの受取完了信号の受信に応じて,送信側端末装置10aの表示画面上に所定の通知表示をすることにより,受信側端末装置10bの表示画面が最新の発表画面に切り替わったことなどを発表者に対して通知する処理を行う。
【0097】
ここで,図7に基づいて,通知実行部122の通知処理について,具体例を挙げて説明する。図7は,本実施形態にかかる送信側端末装置10aの表示画面上における通知表示の具体例を示す説明図である。
【0098】
図7に示すように,送信側端末装置10aの表示画面200上には,通知表示のための通知領域210が設けられている。この通知領域220には,発表者によって送信側端末装置10aの発表画面が切り替えられ,表示画面データが送信された直後から,対応する受取完了信号が受信されるまでの間は,図7(a)に示すように,例えば,何も表示されていない。その後,受信側端末装置10bから受取完了信号を受信し,例えば,後述する条件を満たした場合には,通知部実行部122は,図7(b)に示すように,通知領域220に例えば青色のランプ230を点灯表示する。かかるランプ230を点灯表示させるという通知表示によって,発表者に対して,受信側端末装置10bの発表画面の切り替えが完了したことを認識させることができる。よって,発表者は,受け側の準備が整い当該発表画面についての説明を開始してもよいと判断することができる。また,さらなる発表画面の切り替えを行ってもよいと判断することもできる。
【0099】
また,通知表示の態様は上記図7の例に限定されず,例えば,図8に示すように,多様な態様が考えられる。
【0100】
例えば,図8(a)に示すように,受取完了信号の受信前には無表示であるが,受取完了信号の受信前には「発表OK」231などの文字・図形表示等を表示するようにしてもよい。また,図8(b)〜(d)に示すように,受取完了信号の受信前と受信後の間で,表示内容を切り替えるような通知表示を行ってもよい。即ち,図8(b)に示すように,受信前には赤色のランプ232を点灯表示し,受信後には赤色のランプ233を点灯表示してもよい。また,図8(c)に示すように,受信前には「STOP」を表すアニメーション234を表示し,受信後には「GO!」を表すアニメーション235を表示してもよい。また,図8(d)に示すように,受信前には通知領域220内を暗く表示し,受信後には通知領域220内をフラッシュ表示するようにしもよい。
【0101】
また,上記では,通知実行部122が,通知領域220内に通知表示することにより,受信側画面切替完了情報などの表示画面状態情報を通知処理する構成について説明したが,かかる例に限定されない。例えば,通知実行部122は,上記受取完了信号の受信に応じて,表示画面全体の表示態様を変更する(例えば,壁紙の色を変える等)ような通知表示をしてもよい。また,通知実行部122は,上記受取完了信号の受信に応じて,通知出力部109から音声情報(例えば,アラーム音等の効果音,「切替完了しました」なる機械音声など)を出力するような通知処理をしてもよい。また,発表者に振動発生手段(図示せず。)を取り付け,上記受取完了信号の受信に応じて,かかる振動発生手段が振動を発生(バイブレーション動作)するような通知処理をしてもよい。
【0102】
通知間隔制御部124は,上記通知実行部122の通知処理を,通知処理の時間間隔(通知間隔)に基づいて,制御する機能を有する。より詳細には,この通知間隔制御部124は,前回通知処理が成されたタイミングからの経過時間を計測するタイマー部(図示せず。)を備えており,当該経過時間が基準時間(例えば2秒)以内である場合には,たとえ受取完了通知信号を受信した場合であっても,通知実行部122が通知処理を行わないように制御する。これにより,上記通知処理が短時間内に連発することを防止できる。これにより,例えば,発表者が複数の発表画面を連続して切り替えるとき(発表画面を早送りして飛ばすときなど)に,それぞれの切り替えに対応した複数の通知が成されることがないので,煩わしくない。
【0103】
更新量管理部126は,表示画面データの更新量に基づいて,上記通知実行部122の通知処理を制御する機能を有する。この表示画面データの更新量は,例えば,送信側端末装置10aの表示画面内の更新領域に対応する表示画面データのデータ量(例えばピクセル数)などである。本実施形態では,上記のように,送信側端末装置10aは更新領域のみの表示画面データを受信側端末装置10bに送信しているので,本実施形態にかかる更新量は,例えば,受信側端末装置10bに送信する表示画面データのデータ量と略同一となる。
【0104】
より詳細には,更新量管理部126は,例えば,送信された表示画面データについての上記更新量が所定量(例えば10000ピクセル)以下と小さい場合には,当該送信された表示画面データに対応する受取完了通知信号を受信しても,通知実行部122が通知処理を行わないように制御する。これにより,カーソルの点滅等といった,発表内容としてほとんど意味を成さない表示画面の変化に関しては,上記通知処理を行わないようにできる。従って,発表者が発表画面を切り替えた場合など,真に通知する価値のある表示画面変化に関してのみ,通知処理を行うことができる。
【0105】
予測部128は,例えば,送信された表示画面データのデータ量および過去の送信実績などに基づいて,受取完了信号の受信タイミングを予測することができる。より詳細には,予測部128は,例えば,過去に表示画面データを送信したときの,表示画面データのデータ量(以下では,過去のデータ量という)と,この表示画面データを送信してから当該表示画面データに対応する受取完了信号を受信するまでの時間(以下では,過去の遅延時間という。)と,を保持している。さらに,予測部128は,例えば,かかる過去のデータ量と過去の遅延時間との相関に基づいて,現在送信している表示画面データのデータ量から,当該表示画面データについての受取完了信号の受信タイミングを予測することができる。これにより,通知実行部122は,このように予測された受信タイミングを利用して,例えば上記通知処理をカウントダウン形式で行うことができる。
【0106】
ここで,図9に基づいて,このカウントダウン通知の具体例について説明する。図9は,本実施形態にかかるカウントダウン通知表示の具体例を示す説明図である。
【0107】
図9(a)に示すように,通知実行部122は,受取完了信号の受信前には,予測した受信タイミングまでの時間(例えば残り秒数)を通知領域220内にカウントダウン表示して,受信後には「完了!」なる文字・図形表示等を行うような,カウントダウン通知を行うことができる。また,図9(b)に示すように,予測した受信タイミングまでの時間を通知領域220内にメータ表示などすることもできる。
【0108】
このように,予測部128が受取完了信号の受信タイミングを予測し,これを利用して通知実行部122がカウントダウン通知することにより,発表者は,受信側端末装置10bの表示画面が切り替わるまでの概算時間を,把握できる。このため,発表者は,説明を再開するまでの間,うまく間を持たせることができるとともに,苛立つことがない。
【0109】
次に,図10に基づいて,送信側端末装置10aの表示画面の領域分割について説明する。なお,図10は,本実施形態にかかる送信側端末装置10aの表示画面の領域分割を説明するための説明図である。
【0110】
図10に示すように,例えば,送信側端末装置10aの表示画面200は,共有画面領域250と,この共有画面領域250にオーバーレイされる私有画面領域260とから構成されている。
【0111】
共有画面領域250は,受信側端末装置10bによる共有対象となる領域であり,例えば,上記のようなプレゼン用ソフトのウィンドウ202や表計算ソフトのウィンドウ204などが表示される領域である。この共有画面領域250は,例えば,その全てが上記検索対象領域の設定範囲となりうる。
【0112】
一方,私有画面領域260は,送信側端末装置10aのみに表示される領域であり,例えば,通知領域250と,タスクバー領域262とからなる。この私有画面領域260は,例えば,上記検索対象領域の設定範囲とならないので,受信側端末装置10bによって共有されることがない。
【0113】
かかる共有画面領域250と私有画面領域260との分割は,例えば,多様な表示画面データを表示部108に表示処理する際に,上記記憶部104に,共有画面領域250用のメモリ領域と,私有画面領域260用のメモリ領域を個別に設けることで実現できる。
【0114】
本実施形態では,例えば,上記通知表示用の通知領域220がこの私有画面領域260に設けられているので,上記通知表示は私有画面領域260上でなされることとなる。これにより,受信側端末装置10bが,通知領域220における通知表示についての表示画面データを共有しないようにできる。具体的には,送信側端末装置10aと受信側端末装置10bとで発表画面を共有するときには,図5に示したように,送信側端末装置10aの表示画面200上には通知領域220が表示されるのに対し,受信側端末装置10bの表示画面300上の共有ウィンドウ302内には,当該通知領域220が表示されず,通知表示が表示されることがない。
【0115】
このように,例えば,送信側端末装置10aの表示画面200を共有画面領域250と私有画面領域260とを分割し,このうち私有画面領域260で通知表示を行うことにより,受信側端末装置10bの表示画面300上に,会議の参加者にとっては不必要な通知表示を表示させないようにできる。
【0116】
<4.データ会議システムの概略的な動作>
次に,図11に基づいて,本実施形態にかかるデータ会議システム1の概略的な動作フローついて説明する。図11は,本実施形態にかかるデータ会議システム1の概略的な動作フローを説明するためのブロック図である。なお,図11では,説明の便宜上,送信側端末装置10aおよび受信側端末装置10bの主要な各部のみを表示してある。また,以下の動作フローは,既に,送信側端末装置10aの最初の表示画面が受信側端末装置20上で共有されている状態から開始するものする。
【0117】
図11に示すように,まず,検索部130は,検索対象領域を設定し,この検索対象領域を検索処理する。この検索処理の結果,検索対象領域内に更新領域があった場合には,当該更新領域の表示画面データを送信側送受信部112に出力する(▲1▼)。その後,送信側送受信部112は,検索部130から入力された表示画面データをエンコードした後,この表示画面データをネットワーク5を介して受信側送受信部114に送信する(▲2▼)。以上までで,送信側端末装置10aによる1回の表示画面データ提供処理が完了する。
【0118】
次いで,受信側端末装置10b側では,受信側送受信部114が上記更新領域の表示画面データを受信して(▲3▼),かかる表示画面データをデコードした上で画像描画部140に出力する(▲4▼)。さらに,画像描画部140は,受信側送受信部114から入力された表示画面データを描画処理して,表示画面上に表示させた後,当該描画処理が完了した旨を受信側送受信部114に通知する(▲5▼)。その後,受信側送受信部114は,受取完了信号を生成して,この受取完了信号をネットワーク5を介して送信側送受信部112に送信する(▲6▼)。
【0119】
次いで,送信側端末装置10a側では,送信側送受信部112が,受信側送受信部114から受取完了信号を受信して(▲7▼),この受取完了信号を検索部130および通知部120に出力する(▲8▼,▲9▼)。すると,通知部120は,例えば,上記更新量と通知間隔の条件を満たしている場合には,表示画面上に表示画面状態情報を通知表示して,発表者に対し受信側端末装置10bで発表画面が切り替わった旨を通知する。一方,検索部130は,例えば,再度検索対象領域を設定し,この検索対象領域を検索処理する。これにより,新たな更新領域が検出された場合には,当該更新領域の表示画面データを抽出して出力する(▲1▼)。その後は,上記▲2▼〜▲9▼,▲1▼と同様の処理フローを繰り返す。
【0120】
上記のように,送信側端末装置10aが自身の表示画面のうち更新領域の表示画面データを所定の条件の下で順次,検索・送信するとともに,受信側端末装置10bがこの表示画面データを順次,受信・再生することで,データ会議の発表者が提示する発表画面を双方の端末装置10間で共有することができる。また,受信側端末装置10b側で発表画面が更新されたことを,送信側端末装置10a側で表示して,発表者に対して通知することができる。
【0121】
<5.端末装置各部の詳細な動作>
次に,本実施形態にかかる送信側端末装置10aおよび受信側端末装置10bの主要な各部の動作ついて詳細に説明する。
【0122】
<5.1 検索部の動作>
まず,図12に基づいて,本実施形態にかかる送信側端末装置10aの検索部130の動作フローについて説明する。なお,図12は,本実施形態にかかる検索部130の動作フローを示すフローチャートである。
【0123】
図12に示すように,まず,ステップS100では,表示画面全体の表示画面データが抽出される(ステップS100)。データ会議システム1が動作開始し,送信側端末装置10aの表示画面上に起動した発表用ソフトウェアが表示されると,例えば,検索部130は,検索処理を行うことなく,共有対象領域全体の表示画面データを抽出する。
【0124】
次いで,ステップS102では,送信側送受信部112に対して,最初の表示画面を提供する旨が通知される(ステップS102)。具体的には,検索部130は,上記抽出した表示画面データを送信側送受信部112に出力する。
【0125】
さらに,ステップS104では,通知部120に対して,データ会議が開始された旨が通知される(ステップS104)。これにより,通知部104側で,通知間隔を測定するタイマーが動作開始する。
【0126】
その後,ステップS106では,検索部130は,送信側送受信部112から通知を受けるまで待機する(ステップS106)。
【0127】
次いで,ステップS108では,送信側送受信部112から受取完了信号を受信した旨の通知を受けたか否かが判定される(ステップS108)。送信側送受信部112から受取完了信号を受信した旨の通知を受けた場合には,ステップS110に進む。一方,かかる通知を受けていない場合には,ステップS106に戻り,さらに待機状態を継続する。
【0128】
さらに,ステップS110では,検索対象領域が検索処理される(ステップS110)。本ステップは,送信側送受信部112から受取完了信号を受信した旨の通知を受けた場合の処理である。このように送信側送受信部112が受取完了信号を受信するのは,例えば,上記ステップS102で最初の表示画面データを出力した後,或いは後述する上記ステップS118で更新領域の表示画面データを出力した後に,当該表示画面データに関して受信側端末装置10b側で描画処理が完了し,その旨の通知があった場合である。よって,この時点では,受信側端末装置10bは新たな表示画面データの受入が可能な状態である。そこで,本ステップでは,検索実行部134が,例えば,検索対象領域を設定した上で,この検索対象領域内を検索処理して,更新領域の検出を試みる。
【0129】
その後,ステップS112では,更新領域の有無が判断される(ステップS112)。上記ステップS110での検索実行部134による検索処理の結果,更新領域が検出された場合には,ステップS114に進む。一方,更新領域が検出されなかった場合には,例えば,ステップS113に進み,所定時間待機した(ステップS113)後,ステップS110に戻り,再び検索対象領域が検索処理される。
【0130】
次いで,ステップS114では,更新領域の表示画面データが抽出される(ステップS114)。具体的には,検索部130が,上記検出された1または2以上の更新領域に対応する表示画面データを抽出する。
【0131】
さらに,ステップS116では,表示画面の更新量が保持される(ステップS114)。具体的には,検索部130が,例えば,上記抽出した更新領域の表示画面データのデータ量(本実施形態では更新量に相当する。)を,例えば記憶部104に記録して保持する。かかる保持された更新量は,通知部120によって通知処理の制御に利用される。
【0132】
その後,ステップS118では,更新領域が検出された旨が送信側送受信部112に通知される(ステップS118)。具体的には,検索部130は,上記ステップS114で抽出した更新領域の表示画面データを,送信側送受信部112に出力する。
【0133】
なお,本ステップの終了後には,ステップS106に戻り,検索部130は,再び,送信側送受信部112から,当該出力した表示画面データに対応する受取完了信号を受信した旨の通知を受けるまで待機する。その後は,上記ステップS108〜S118と同様にして,送信側端末装置10aの表示画面内の更新領域を検出して,出力することを繰り返す。
【0134】
<5.2 送信側送受信部の動作>
次に,図13に基づいて,本実施形態にかかる送信側端末装置10aの送信側送受信部112の動作フローについて説明する。なお,図13は,本実施形態にかかる送信側送受信部112の動作フローを示すフローチャートである。
【0135】
図13に示すように,まず,ステップS200では,送信側送受信部112は,検索部130または受信側送受信部114のいずれかから通知を受けるまで待機している(ステップS200)。
【0136】
次いで,ステップS202では,通知を受けた相手先が検索部130または受信側端末装置10bの受信側送受信部114のいずれであるかが判定される(ステップS202)。具体的には,検索部130から表示画面データ(即ち,更新領域の表示画面データ,または最初の表示画面データ)が入力された場合には,ステップS204に進み,一方,受信側送受信部114からネットワーク5を介して受取完了信号を受信した場合には,ステップS206に進む。
【0137】
次いで,ステップS204では,検索部130および通知部120に対して,受取完了信号を受信した旨が通知される(ステップS204)。本ステップの終了後には,ステップS200に戻り,送信側送受信部112は,再び,検索部130からの通知を待機する状態となる。
【0138】
一方,ステップS206では,検索部130から入力された表示画面データが,例えばMPEG方式などでエンコードされる(ステップS206)。
【0139】
次いで,ステップS208では,上記ステップS206でエンコードした表示画面データが,ネットワーク5を介して受信側端末装置10bに送信される(ステップS208)。本ステップの終了後には,ステップS200に戻り,送信側送受信部112は,再び,受信側送受信部114からの通知を待機する状態となる。
【0140】
<5.3 受信側送受信部の動作>
次に,図14に基づいて,本実施形態にかかる受信側端末装置10bの受信側送受信部114の動作フローについて説明する。なお,図14は,本実施形態にかかる受信側送受信部114の動作フローを示すフローチャートである。
【0141】
図14に示すように,まず,ステップS300では,受信側送受信部114は,画像描画部140または送信側端末装置10aの送信側送受信部112のいずれかから通知を受けるまで待機している(ステップS300)。
【0142】
次いで,ステップS302では,通知を受けた相手先が,画像描画部140または送信側端末装置10aの送信側送受信部112のいずれであるかが判定される(ステップS302)。画像描画部140から表示画面データの描画処理が完了した旨の通知を受けた場合には,ステップS304に進み,一方,送信側送受信部112からネットワーク5を介して表示画面データを受信した場合には,ステップS308に進む。
【0143】
さらに,ステップS304では,受信側送受信部114が,例えば,受信した表示画面データの描画処理が完了したことを表す受取完了信号を生成する(ステップS304)。
【0144】
その後,ステップS306では,上記ステップS304で生成した受取完了信号が,ネットワーク5を介して送信側端末装置10aの送信側送受信部112に送信される(ステップS306)。本ステップの終了後には,ステップS300に戻り,受信側送受信部114は,再び,送信側送受信部112からの通知を待機する状態となる。
【0145】
一方,ステップS308では,受信側送受信部114は,送信側端末装置10aから受信した更新領域の表示画面データをデコードする(ステップS308)。
【0146】
次いで,ステップS310では,受信側送受信部114は,上記ステップS308でデコードした表示画面データを,画像描画部140に出力する(ステップS310)。本ステップの終了後には,ステップS300に戻り,再び,画像描画部140からの通知を待機する状態となる。
【0147】
<5.4 画像描画部の動作>
次に,図15に基づいて,本実施形態にかかる受信側端末装置10bの画像描画部140の動作フローについて説明する。なお,図15は,本実施形態にかかる画像描画部140の動作フローを示すフローチャートである。
【0148】
図15に示すように,まず,ステップS400では,画像描画部140は,受信側送受信部114から通知を受けるまで待機している(ステップS400)。
【0149】
次いで,ステップS402では,表示画面データが描画処理される(ステップS402)。画像描画部140は,受信側送受信部114から表示画面データが入力されると,かかる表示画面データを描画処理して,例えば,受信側端末装置10bの表示画面内の共有ウィンドウ内に表示させる。このとき,かかる表示画面上では,例えば,送信側端末装置10a側で更新された更新領域に相当する部分のみが更新表示され,その他の領域は元の表示画面データがそのまま表示される。このような,送信側端末装置10aから提供された表示画面データの描画・表示処理の結果,受信側端末装置10bの表示画面の更新が完了し,送信側端末装置10aと受信側端末装置10bの表示画面の共有が実現されたこととなる。
【0150】
さらに,ステップS404では,受信側送受信部114に対して表示画面データの描画処理が完了した旨を通知する。(ステップS404)。本ステップの終了後には,ステップS400に戻り,画像描画部140は,再び,受信側送受信部114からの通知を待機する状態となる。
【0151】
<5.5 通知部の動作>
次に,図16に基づいて,本実施形態にかかる送信側端末装置10aの通知部120の動作フローについて説明する。なお,図16は,本実施形態にかかる通知部120の動作フローを示すフローチャートである。
【0152】
図16に示すように,まず,ステップS500では,検索部130から,データ会議が開始された旨が通知される(ステップS500)。
【0153】
次いで,ステップS502では,通知間隔を測定するタイマーがオンされる(ステップS502)。具体的には,通知間隔管理部124が,例えば,タイマー部の動作を開始させ,送信側端末装置10aが最初の表示画面データを送信してからの経過時間を計測し始める。
【0154】
さらに,ステップS504では,通知部120は,送信側送受信部112から通知を受けるまで待機する(ステップS504)。
【0155】
その後,ステップS506では,送信側送受信部112から受取完了信号を受信した旨の通知を受けたか否かが判定される(ステップS506)。送信側送受信部112から受取完了信号を受信した旨の通知を受けた場合には,ステップS508に進む。一方,かかる通知を受けていない場合には,ステップS504に戻り,さらに待機状態を継続する。
【0156】
次いで,ステップS508では,更新量が取得される(ステップS508)。本ステップは,送信側送受信部112から受取完了信号を受信した旨の通知を受けた場合の処理である。このように送信側送受信部112が受取完了信号を受信するのは,例えば,送信された表示画面データに関して受信側端末装置10b側で描画処理が完了し,その旨の通知があった場合である。よって,この時点では,受信側端末装置10bの表示画面は切り替えが完了している。
【0157】
そこで,本ステップでは,更新量管理部126が,記録部104にアクセスして,上記検索部130によって記録された更新量を読み出す。これにより,当該送信された表示画面データの更新量を取得することができる。
【0158】
さらに,ステップS510では,更新量が規定値以上であるか否かが判定される(ステップS510)。具体的には,更新量管理部126は,上記ステップS508で取得した実際の更新量と,既定の基準更新量(例えば10000ピクセル)とを比較する。かかる比較により,実際の更新量が基準更新量以上であると判定した場合には,当該送信された表示画面データで生じた共有画面の更新が,通知の対象に値する物である(即ち,表示画面が大幅に更新されているので,発表者による発表画面の切り替えがあったものと推定される。)と判断し,ステップS512に進む。一方,実際の更新量が基準更新量未満であると判定した場合には,通知処理する必要はない(即ち,表示画面の更新が微少であるので,表示画面はカーソルの点滅程度の更新しか成されていない。)と判断し,通知を行うことなく,ステップS504に戻る。
【0159】
その後,ステップS512では,タイマー値が規定値以上であるか否かが判定される(ステップS512)。具体的には,通知間隔管理部124は,まず,タイマー部のタイマー値を検出し,前回通知処理が成されたタイミング(最初の表示画面データ送信の場合には,ステップS502のタイマー動作開始時)からの経過時間を取得する。次いで,通知間隔管理部124は,当該経過時間と,既定の基準時間(例えば2秒)とを比較する。かかる比較により,当該経過時間が基準時間以上であると判定した場合には,当該送信された表示画面データで生じた共有画面の更新が,通知の対象に値する物である(即ち,前回の通知からある程度の時間を経過しているので,発表者による適切な発表画面の切り替えがあったものと推定される。)と判断し,ステップS514に進む。一方,当該経過時間が基準時間未満であると判定した場合には,通知処理する必要はない(即ち,通知間隔が短すぎて,通知処理が煩雑になる。)と判断し,ステップS504に戻る。
【0160】
このようにして,ステップS510および512において,通知処理を制御することにより,発表者の必要性に応じた好適な通知処理が可能となる。
【0161】
次いで,ステップS514では,受信側端末装置10bの表示画面状態情報が通知される(ステップS514)。具体的には,例えば,通知実行部122は,送信側端末装置10aの表示画面上に,上記図7,8等で説明したような通知表示をすることにより,受信側端末装置10bの表示画面の切り替えが完了したことなどを,発表者に対して通知する。
【0162】
さらに,ステップS516では,タイマーがリセットされる(ステップS516)。具体的には,通知間隔管理部124が,例えば,タイマー部の計測値をリセットする。これにより,上記ステップS514での通知処理が行われてからの経過時間が,計測開始される。
【0163】
なお,本ステップの終了後には,ステップS504に戻り,通知部130は,再び,送信側送受信部112から,受取完了信号を受信した旨の通知を受けるまで待機する。その後は,上記ステップS506〜S516と同様にして,通知が適切であるか否かを判定した上での通知処理を繰り返す。
【0164】
<6.データ会議方法>
次に,図17に基づいて,上記のようなデータ会議システム1を用いた本実施形態にかかるデータ会議方法について説明する。なお,図17は,本実施形態にかかるデータ会議方法を示すフローチャートである。また,図18は,本実施形態にかかる通知部120による通知タイミングを説明するための説明図である。
【0165】
図17に示すように,まず,ステップS600では,データ会議が開始される(ステップS600)。送信側端末装置10aおよび受信側端末装置10bの準備が完了し,ネットワーク5を介した双方間のデータ伝送も可能な状態となる。
【0166】
次いで,ステップS602では,送信側端末装置10aで発表用ソフトウェアが起動される(ステップS602)。送信側端末装置10a側では,発表者により,データ会議で発表するために必要な発表用ソフトウェアが起動され,発表内容のデータファイルが読み込まれる。これによって,送信側端末装置10aの表示画面上には,例えば,発表用ソフトウェアのウィンドウが表示され,このウィンドウの内部に発表内容データの最初の発表画面が表示される。
【0167】
さらに,ステップS604では,送信側端末装置10aが,最初の表示画面データを受信側端末装置10bに送信する(ステップS604)。送信側端末装置10aは,例えば,自身の表示画面全体,あるいは発表用ソフトウェアのウィンドウに対応する範囲などの共有対象領域全体の表示画面データを,デコードし,ネットワーク5を介して受信側端末装置10bに送信する。
【0168】
その後,ステップS606では,受信側端末装置10bが,送信側端末装置10aから送信された最初の表示画面データを受信する(ステップS606)。
【0169】
次いで,ステップS608では,受信側端末装置10bが,上記受信した表示画面データをデコードした上で描画処理して,自身の表示画面上に表示させる(ステップS608)。これにより,受信側端末装置10bを利用している参加者は,例えば,最初の発表画面を閲覧することができる。
【0170】
さらに,ステップS610では,受信側端末装置10bが,当該最初の表示画面データについての受取完了信号を生成し,この受取完了信号をネットワーク5を介して送信側端末装置10aに送信する(ステップS610)。
【0171】
その後,ステップS612では,送信側端末装置10aが,上記受取完了信号を受信する(ステップS612)。
【0172】
次いで,ステップS614では,送信側端末装置10aが,受信側端末装置10bの表示画面状態の通知処理を行う(ステップS614)。具体的には,通知部120が,送信側端末装置10aの表示画面上に,上記図7,8等で説明したような通知表示をする。これにより,受信側端末装置10bの表示画面上に最初の発表画面が表示完了したことを,発表者に対して通知することができる。なお,最初の発表画面が共有完了したことを通知不要とする場合などには,例えば,本ステップは省略してもよい。
【0173】
さらに,ステップS616では,送信側端末装置10aが,自身の表示画面の検索処理を行う(ステップS616)。具体的には,検索部130が,例えば,表示画面内に設定した検索対象領域を検索処理して,更新領域を検出する。なお,更新領域を検出できなかった場合には,例えば,所定時間経過後に再度検索処理を行う。
【0174】
その後,ステップS618では,送信側端末装置10aが,更新領域の表示画面データを,受信側端末装置10bに送信する(ステップS618)。具体的には,送信側端末装置10aは,上記ステップS616で検出した更新領域の表示画面データを,デコードした上で,ネットワーク5を介して受信側端末装置10bに送信する。本ステップで送信される表示画面データは,例えば,前回送信した表示画面データと比して更新された部分のみのデータであるので,上記ステップS604で送信した例えば全画面分のデータよりも比較的データ量が少ない。このため,送信側端末装置10aのデコード処理や送信処理,ひいては受信側端末装置10b側の受信処理等にかかる負荷が小さくて済む。
【0175】
その後,ステップS620では,受信側端末装置10bが,送信側端末装置10aから送信された更新領域の表示画面データを受信する(ステップS620)。
【0176】
次いで,ステップS622では,この表示画面データをデコードした上で描画処理して,自身の表示画面上に表示させる(ステップS622)。これにより,受信側端末装置10bの表示画面が更新される。特に,送信側端末装置10a側で発表者によって発表画面の切り替えがあった場合には,受信側端末装置10b側でも表示画面が大幅に更新されて表示される。このため,参加者は,受信側端末装置10bの発表画面が切り替わったことを認識し,新しい発表画面を閲覧することができる。
【0177】
さらに,ステップS624では,受信側端末装置10bが,当該更新領域の表示画面データについての受取完了信号を生成し,この受取完了信号をネットワーク5を介して送信側端末装置10aに送信する(ステップS624)。
【0178】
その後,ステップS626では,送信側端末装置10aが,上記ステップS618で送信した更新領域の表示画面データに対応する受取完了信号を受信する(ステップS626)。
【0179】
次いで,ステップS628では,送信側端末装置10aが,通知処理サブルーチンを行う(ステップS628)。この通知処理サブルーチンは,上述した図16のステップS508〜S516の処理フローと略同一であるので,詳細説明は省略する。かかる通知処理サブルーチンにより,上記送信した表示画面データが発表画面の切り替えに相当するものであり,かつ前回の通知から所定時間経過している場合には,受信側端末装置10bの表示画面状態情報が通知される。具体的には,通知部120が,例えば,送信側端末装置10aの表示画面上に上記通知表示をすることにより,受信側端末装置10bの発表画面の切り替えが完了したことを通知する。これにより,発表者は,送信側端末装置10aおよび受信側端末装置10bの表示画面の内容が一致したことを認識できる。
【0180】
その後は,データ会議が終了する(ステップS630)まで,上記ステップS616〜S628と同様な処理が繰り返される。このようにして,データ会議の進行に伴って,送信側端末装置10aによる表示画面の更新領域の提供と,受信側端末装置10bによる当該更新領域の再生とを繰り返し行うことにより,送信側端末装置10aで随時切り替えられる発表画面を,受信側端末装置10b側で共有することができる。この際,発表者が発表画面を切り替える度に,送信側端末装置10aの表示画面上には,適宜,受信側端末装置10b側で発表画面の切り替えが完了した旨が通知される。
【0181】
ここで,かかる通知が成されるタイミングについて,図18に基づいて,より詳細に説明する。なお,図18は,本実施形態にかかる通知部120による通知タイミングを説明するための説明図である。
【0182】
図18(a)に示すように,会議進行中は,発表者による発表画面の切り替え等により,送信側端末装置10aの表示画面が大幅に変更される(▲のタイミング)とともに,図18(b)に示すように,カーソルの点滅,発表ソフトウェアの自動描画処理機能等が原因で,当該表示画面には微少な変更(●のタイミング)も起こりうる。
【0183】
このような環境下で,図18(c)に示すように,送信側端末装置10aから受信側端末装置10bへの,更新領域の表示画面データの送信(■のタイミング)が繰り返されている。さらに,このような表示画面データの送信に対応して,受信側端末装置10bから送信側端末装置10aへの,受取完了信号の返信も繰り返されている。このため,図18(d)に示すように,送信側端末装置10aは,例えば,送信した表示画面データに応じて,受取完了信号を順次受信している(×のタイミング)。
【0184】
しかし,送信側端末装置10aは,受取完了信号を受信する度に上記通知処理を行うわけではなく,上記のような更新量および経過時間の条件を満たした場合にのみ,上記通知処理を行う。具体的には,図18(e)に示すように,例えば,いったん通知処理が行われた場合(A)には,送信側端末装置10aは,その後,所定の基準時間内は通知処理を不許可とする。このため,この基準時間内に,たとえ発表者による発表画面の切替が行われ,表示画面が大幅に更新されたとしても,送信側端末装置10aは,通知処理を行わない(B)。さらに,この基準時間の経過後であっても,カーソルの点滅等による表示画面の微少な更新に対しては,通知処理を行わず,発表者による発表画面の切替等により表示画面が大幅に更新された場合にはじめて通知処理を行う(C)。
【0185】
このように,送信した表示画面データの更新量および前回通知したときからの経過時間などに基づいて,通知処理を制御することにより,発表者にとって有用な通知のみを行うことができる。
【0186】
(第2の実施の形態)
次に,本発明の第2の実施の形態にかかるデータ会議システム1およびデータ会議方法等について説明する。第2の実施形態にかかるデータ会議システム1は,上記第1の実施形態にかかるデータ会議システム1と比して,受信側端末装置10bを複数備える点で相違するのみであり,その他の機能・構成は上記第1の実施形態の場合と略同一であるので,その説明は省略する。
【0187】
まず,図19に基づいて,本実施形態にかかるデータ会議システム1の全体構成について説明する。なお,図19は,本実施形態にかかるデータ会議システム1の概略的な構成を示すブロック図である。
【0188】
図19に示すように,本実施形態にかかるデータ会議システム1は,例えば,1つの送信側端末装置10aと,複数の受信側端末装置10b−1,10b−2,…,10b−n(以下では,受信側端末装置10bと総称する場合もある。)と,送信側端末装置10aおよび受信側端末装置10bを接続するネットワーク5と,から主に構成される。
【0189】
送信側端末装置10aは,自身の表示画面データを,複数の受信側端末装置10bに対してそれぞれ送信する。一方,各受信側端末装置10bは,例えば,当該表示画面データの受信処理および描画処理を完了した時点で,受取完了信号を送信側端末装置10aに送信する。従って,送信側端末装置10aは,複数の受信側端末装置10bから,受取完了信号を異なるタイミングで受信することとなる。この受取完了信号の受信タイミングのずれが生じる原因は,例えば,受信側端末装置10b自体の処理能力や,経由するネットワーク5の通信速度およびトラフィックなどが受信側端末装置10bごとに相違するためである。
【0190】
かかる受取完了信号の受信タイミングのずれに対応するため,本実施形態にかかる送信側端末装置10aは,例えば,全ての受信側端末装置10bからの受取完了信号の受信を条件として,検索部130による上記検索処理,および通知部120による上記通知処理を行うことを特徴とする。
【0191】
ここで,図20に基づいて,本実施形態にかかる送信側端末装置10aの検索部130の動作フローについて説明する。図20は,本実施形態にかかる検索部部130の動作フローを示すフローチャートである。
【0192】
図20に示すように,本実施形態にかかる検索部130の動作フローは,第1の実施形態にかかる検索部130の動作フロー(図12参照)と比して,ステップS109が追加されている点で相違するのみであり,その他の処理は第1の実施形態の場合と略同一であるので,その説明は省略する。
【0193】
そこで,ステップS109について説明すると,例えば,検索部130は,送信側送受信部112から受取完了信号を受信した旨の通知を受けると,かかる受取完了信号の受信により,全ての受信側端末装置10bから受取完了信号を受信完了したか否かを判定する。(ステップS109)。この結果,全ての受信側端末装置10bから受取完了信号を受信完了したと判定した場合には,ステップS110に進み,検索処理を実行する。一方,全ての受信側端末装置10bから受取完了信号を受信していないと判定した場合には,ステップS106に戻り,他の受信側端末装置10bからの受取完了信号の受信を待機するので,検索処理は行わない。なお,上記のような受取完了信号の判定処理は,例えば,検索部130でなく,送信側送受信部112などで実行してもよい。
【0194】
次に,図21に基づいて,本実施形態にかかる送信側端末装置10aの通知部120の動作フローについて説明する。図21は,本実施形態にかかる通知部120の動作フローを示すフローチャートである。
【0195】
図21に示すように,本実施形態にかかる通知部120の動作フローは,第1の実施形態にかかる通知部120の動作フロー(図16参照)と比して,ステップS507が追加されている点で相違するのみであり,その他の処理は第1の実施形態の場合と略同一であるので,その説明は省略する。
【0196】
そこで,ステップS507について説明すると,例えば,通知部120は,送信側送受信部112から受取完了信号を受信した旨の通知を受けると,その受取完了信号が例えば最後の受信者端末装置10bからのものであるか否かを判定する(ステップS507)。換言すると,例えば,通知部120は,かかる受取完了信号の受信により,全ての受信側端末装置10bから受取完了信号を受信完了したか否かを判定する。この結果,全ての受信側端末装置10bから受取完了信号を受信完了したと判定した場合には,ステップS508に進み,更新量を取得した後,所定の条件(ステップS510およびS512)を満たした場合には,上記のような処理(ステップS514)がなされる。一方,全ての受信側端末装置10bから受取完了信号を受信していないと判定した場合には,ステップS504に戻り,他の受信側端末装置10bからの受取完了信号の受信を待機する。なお,上記のような受取完了信号の判定処理は,例えば,通知部120でなく,送信側送受信部112などで実行してもよい。
【0197】
また,図示はしないが,送信側端末装置10aは,例えば,表示画面データを送信してから所定時間以上経過しても,少なくとも1の受信側端末装置10bから受取完了信号が返信されない場合には,当該受信側端末装置10bとの間で何らかのエラーが生じたものと判断して,エラー処理を実行するようにしてもよい。具体的には,受信側端末装置10bは,例えば,応答のない受信側端末装置10bを無視して,検索処理・通知処理を実行したり,或いは,送信済みの表示画面データを再送信したりしてもよい。これにより,システムの動作保障をすることができる。
【0198】
次に,図22に基づいて,上記のような構成のデータ会議システム1を用いた本実施形態にかかるデータ会議方法について説明する。図22は,本実施形態にかかるデータ会議方法を示すフローチャートである。なお,図22では,上記第1の実施形態にかかるデータ会議方法と比して,特徴的な部分の処理フローのみを抜粋して示してあり,他の部分の処理フローは第1の実施形態の場合と略同一であるので,その説明は省略する。
【0199】
図22に示すように,まず,送信側端末装置10aが,例えば,更新領域の表示画面データを,複数の受信側端末装置10bに対して同時に一括送信する(ステップS700)。
【0200】
一方,各受信側端末装置10bは,上記ステップS700で送信された表示画面データを受信し(ステップS702−1,2,‥n),デコードする。さらに,各受信側端末装置10bは,かかる表示画面データを描画処理して(ステップS704−1,2,‥n),自身の表示画面上に表示する。その後,各受信側端末装置10bは,例えば描画処理が完了した時点で受取完了信号を生成し,受取完了信号を送信側端末装置10aに対してそれぞれ送信する(ステップS706−1,2,‥n)。
【0201】
この結果,送信側端末装置10a側では,各受信側端末装置10bからの受取完了信号を異なるタイミングでそれぞれ受信し(ステップS708−1,2,‥n),全ての受信側端末装置10bから受取完了信号を受信した時点で,上記図17で説明したような通知処理サブルーチンを行う(ステップS710)。
【0202】
より詳細には,送信側端末装置10aは,例えば,比較的高速な受信側端末装置10b−1から受取完了信号を受信した(ステップS708−1)としても,通知処理サブルーチンを行わない。さらに,送信側端末装置10aは,その他の受信側端末装置10b−nから,順次,受取完了信号を受信した(ステップS708−n)としても,まだ受取完了信号を受信していない受信側端末装置10bが存在する場合には,依然として通知処理サブルーチンを行わない。その後,最も遅い受信側端末装置10b−2から受取完了信号を受信した時点(ステップS708−2)ではじめて,送信側端末装置10aは,通知処理サブルーチンを実行し,上記条件を満たせば通知処理を行う(ステップS710)。
【0203】
その後,送信側端末装置10aは,再度,表示画面の検索処理を行い(ステップS712),更新領域を検出した場合には,当該更新領域の表示画面データを抽出して,エンコードする。その後は,ステップS700〜S712を繰り返す。
【0204】
このように,送信側端末装置10aは,例えば,処理能力および通信速度が最も遅い受信側端末装置10bに応じて,通知処理を行うことができる。このため,発表者は,全ての受信側端末装置10bで送信側端末装置10aの発表画面に切り替わったことを確認した上で,説明を開始したり,次の発表画面に切り替えたりできる。従って,一部の遅い受信側端末装置10bで,発表画面と説明内容とにずれが生じることがないので,全ての参加者が発表内容を好適に理解できる。
【0205】
上記のように,本実施形態にかかるデータ会議システム1では,例えば,表示画面の切替が最も遅い受信側端末装置10bに合わせて,送信側端末装置10aで通知処理等を行い,会議を進行させたが,かかる例に限定されない。
【0206】
例えば,複数の受信側端末装置10bのうち,予め選択された1または2以上の特定の受信側端末装置10b(以下では,基準受信側端末装置10bという。)に合わせて,通知処理を行ってもよい。
【0207】
具体的には,例えば会議の開始前に,会議の主要な参加者(例えば,社長または役員等のポストが高い者,議題に対応する部署の者,議事録筆記者,取引先の担当者など)が利用する受信側端末装置10bを,基準受信側端末装置10bとして予め選択しておく。そして,会議中には,例えば,送信側端末装置10aが,かかる基準受信側端末装置10bから受取完了信号を受信した時点で,表示画面上に,当該受信側端末装置10bの表示画面状況情報を通知表示してもよい。
【0208】
これにより,発表者は,上記主要な参加者が利用する基準受信側端末装置10bの表示画面が好適に切り替わったことなどを把握できるので,これら主要な参加者の表示画面の状態に合わせて発表を進行することができる。
【0209】
また,本実施形態でも,上記送信権7を複数の端末装置10間で授受することもできる。具体的には,図16の例では,送信側端末装置10aが有する送信権7を,受信側端末装置10b−1,2,…,nのいずれかに譲渡して,双方の機能を逆転させることができる。このように,端末装置10間で送信権7を授受可能とすることにより,データ会議の発表者は,いずれの端末装置10を用いたとしても,その端末装置10の表示画面データをその他の端末装置10で共有させて,発表を行うことが可能となる。また,データ会議の参加者間で発表者を順次変更する場合にも対応できる。
【0210】
以上説明したように,上記第1および第2の実施形態にかかるデータ会議システム1では,送信側端末装置10aが,例えば,送信した表示画面データに対応する受取完了信号の受信に応じて,受信側端末装置10b側での発表画面の切替状況等を表す表示画面状態情報などを,表示画面上に通知表示できる。これにより,例えば,発表者が利用する送信側端末装置10a表示画面と,参加者が利用する受信側端末装置10bの表示画面とが一致したことを,発表者に対して通知することができる。
【0211】
このため,発表者は,例えば,かかる通知に基づいて,参加者側の発表画面の状態を把握することができるので,安心してプレゼンテーションを進行させることができる。具体的には,発表者は,例えば,参加者側の発表画面が切り替わったことを確認してから,その発表画面についての説明を開始することができるとともに,好適なタイミングで次の発表画面に切り替えることができる。
【0212】
このため,受信側端末装置10b側では,発表画面が切り替わる前に,発表者による当該発表画面の内容についての説明が始まることがない。即ち,受信側端末装置10b側では,表示された発表画面と,発表者による説明内容との間にずれが生じない。従って,参加者は,発表者による発表内容を性格に理解でき,会議の進行が円滑になる。
【0213】
また,上記通知処理を行う条件として,表示画面データの更新量,及び前回通知した時からの経過時間を測定し,この更新料および経過時間が一定量以上となるような表示画面の更新がなされた時にのみ,送信側端末装置10aが通知処理を行う。このため,カーソルの点滅等といった発表内容としてほとんど意味をなさない表示画面の変化に対しては,通知処理を実行しないので,発表者によるプレゼンテーションの進行を妨げないようにすることができる。
【0214】
また,送信側端末装置10aの表示画面上に,私有画面領域をオーバーレイし,この私有画面領域に受信側端末装置10bの表示画面状態情報などを通知表示することができる。このため,受信側端末装置10bの表示画面には,当該通知表示を表示させないようにできる。従って,受信側端末装置10b側での参加者による発表画面の閲覧を妨げることなく,発表者にのみ通知情報を提供することができる。
【0215】
また,かかるデータ会議システム1では,カメラ映像提供手段等の別途の設備を必要とせず,上記のような比較的簡単な構成を用いるだけで,発表者に対して,受信側端末装置10bの表示画面状態を容易かつ正確に通知することができる。
【0216】
さらに,上記第2の実施形態にかかるデータ会議システム1では,例えば,送信側端末装置10aは,複数の受信側端末装置10bの全てから受取完了信号を受信した後に,通知処理を行うので,通信速度などが遅い受信側端末装置10bであっても,発表画面がジャンプしたりすることがない。
【0217】
以上,添付図面を参照しながら本発明の好適な実施形態について説明したが,本発明はかかる例に限定されない。当業者であれば,特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり,それらについても当然に本発明の技術的範囲に属するものと了解される。
【0218】
例えば,上記実施形態にかかるデータ会議システム1では,送信側端末装置10aと受信側端末装置10bとの間で,ネットワーク5を介してダイレクトに各種データを送受信したが,本発明はかかる例に限定されない。例えば,データ会議システム1は,図23に示すように,送信側端末装置10aと受信側端末装置10bとの間に,管理サーバ20を設けることで,送信側端末装置10aおよび受信側端末装置10bをクライアントとした,クライアント/サーバ(Client/Server)型のネットワークシステムとして構成することも可能である。これにより,かかる管理サーバ20が,上記説明したような表示画面データや受取完了信号の送受信,表示画面状態情報の通知等の各種処理の全部または一部を,代行するようにしてもよい。
【0219】
また,上記実施形態では,検索部130は,ウィンドウ単位で設定された検索対象領域を検索処理したが,本発明はかかる例に限定されない。例えば,検索部130は,表示画面の全領域を常に検索する全画面検索,表示画面内の特定領域を常に検索する特定領域検索などを実行するようにしてもよい。また,検索対象領域の形状は,上記のような矩形に限られず,例えば,各種の多角形,円形など任意の形状であってもよい。
【0220】
また,上記実施形態では,受信側端末装置10bは,受信した表示画面データの描画処理が完了した時点で,受取完了信号を生成して送信したが,本発明はかかる例に限定されない。例えば,受信側端末装置10bは,送信されてきた表示画面データの受信処理が完了した時点で,上記受取完了信号を生成して送信するようにしてもよい。また,この場合には,例えば,受取完了信号として,TCP/IPネットワーク上での送受信動作終了信号として一般的に用いられているACKなどを利用してもよい。
【0221】
また,上記実施形態では,送信側端末装置10aおよび受信側端末装置10b間で送信権7を授受可能に構成したが,本発明はかかる例に限定されない。例えば,発表者が用いる所定の端末装置10のみが送信権7を所持できるようにし,その他の端末装置10は,常に受信側端末装置10bとしてのみ機能するように構成してもよい。
【0222】
また,上記実施形態では,通知部120は,受信側端末装置10bの表示画面状態情報として,受信側画面切替完了情報を通知する例について説明したが,本発明はかかる例に限定されない。例えば,通知部120は,受信側端末装置10bの電源のオン/オフ(表示画面が現れているか),過去の所定時間内における参加者による操作の有無(参加者が席について,受信側端末装置10bの表示画面を閲覧しているか否か)など,受信側端末装置10bの状態に関する各種の情報を通知するようにしてもよい。
【0223】
【発明の効果】
以上説明したように,本発明によれば,送信側端末装置が表示画面状態情報を通知することにより,発表者は,受信側端末装置の表示画面状態を容易に把握することができる。
【図面の簡単な説明】
【図1】図1は,第1の実施形態にかかるデータ会議システムの概略的な構成を示すブロック図である。
【図2】図2は,第1の実施形態にかかる端末装置の概略的な構成を示すブロック図である。
【図3】図3は,第1の実施形態にかかる送信側端末装置の表示画面の具体例を示す説明図である。
【図4】図4は,第1の実施形態にかかる送信側端末装置の表示画面上における検索対象領域および更新領域の具体例を示す説明図である。
【図5】図5は,第1の実施形態にかかる送信側端末装置および受信側端末装置の表示部に表示された共有画面の具体例を示す説明図である。
【図6】図6は,第1の実施形態にかかる通知部の構成を示すブロック図である。
【図7】図7は,第1の実施形態にかかる送信側端末装置の表示画面上における通知表示の具体例を示す説明図である。
【図8】図8は,第1の実施形態にかかる通知表示の変更例を示す説明図である。
【図9】図9は,第1の実施形態にかかるカウントダウン通知表示の具体例を示す説明図である。
【図10】図10は,第1の実施形態にかかる送信側端末装置の表示画面の領域分割を説明するための説明図である。
【図11】図11は,第1の実施形態にかかるデータ会議システムの概略的な動作フローを説明するためのブロック図である。
【図12】図12は,第1の実施形態にかかる検索部の動作フローを示すフローチャートである。
【図13】図13は,第1の実施形態にかかる送信側送受信部の動作フローを示すフローチャートである。
【図14】図14は,第1の実施形態にかかる受信側送受信部の動作フローを示すフローチャートである。
【図15】図15は,第1の実施形態にかかる画像描画部の動作フローを示すフローチャートである。
【図16】図16は,第1の実施形態にかかる通知部の動作フローを示すフローチャートである。
【図17】図17は,第1の実施形態にかかるデータ会議方法を示すフローチャートである。
【図18】図18は,第1の実施形態にかかる通知部による通知タイミングを説明するための説明図である。
【図19】図19は,第2の実施形態にかかるデータ会議システムの概略的な構成を示すブロック図である。
【図20】図20は,第2の実施形態にかかる検索部の動作フローを示すフローチャートである。
【図21】図21は,第2の実施形態にかかる検索部の動作フローを示すフローチャートである。
【図22】図22は,第2の実施形態にかかるデータ会議方法を示すフローチャートである。
【図23】図23は,変更例にかかるデータ会議システムの概略的な構成を示すブロック図である。
【符号の説明】
1 : データ会議システム
5 : ネットワーク
7 : 送信権
10 : 端末装置
10a : 送信側端末装置
10b : 送信側端末装置
102 : CPU
104 : 記憶部
106 : 入力部
108 : 表示部
110 : 送受信部
112 : 送信側送受信部
114 : 受信側送受信部
120 : 通知部
122 : 通知実行部
124 : 通知間隔管理部
126 : 更新量管理部
128 : 予測部
130 : 検索部
140 : 画像描画監視部
200 : 送信側端末装置の表示画面
210 : 検索対象領域
220 : 通知領域
250 : 共有画面領域
260 : 私有画面領域
300 : 受信側端末装置の表示画面
302 : 共有ウィンドウ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a data conference system and a data conference method for sharing a display screen among a plurality of terminal devices, and to be used for these. Transmitting terminal device and Regarding the program.
[0002]
[Prior art]
Conventionally, in order to conduct a data conference between remote locations, a plurality of terminal devices are connected via a network, and the display screen of the presenter's terminal device can be shared by other participant's terminal devices. A conference system has been proposed. In this data conferencing system, the presenter's terminal device (transmitting terminal device) encodes and transmits its own display screen data, and the participant's terminal device (receiving device) receives the received display screen data. It is decoded and reproduced on its own display screen (see, for example, Patent Document 1).
[0003]
In such a system, even if the presentation screen is switched at any time on the transmission side terminal device as the conference proceeds, the display screen data of the switched presentation screen is acquired and displayed at any time on the reception side terminal device side. Thus, the participants can browse the presentation contents by the presenter, the presented materials, etc. in order.
[0004]
[Patent Document 1]
JP 2001-331430 A
[0005]
[Problems to be solved by the invention]
However, from when the display screen data is transmitted by the transmitting terminal device to when it is reproduced on the display screen of the receiving terminal device, communication processing via the network and reception / drawing processing of the receiving terminal device are inevitable. A time difference (hereinafter referred to as screen transfer delay time) occurs. If the screen transfer delay time is a short time, such as 0.5 seconds or less, there is no problem in the progress of the conference. However, if the screen transfer delay time is a long time, such as a few seconds, the presenter switches the presentation screen and displays The difference between the timing to start explaining the contents and the timing to display the presentation screen on the receiving side becomes anxious. That is, when the screen transfer delay time is large, there is a possibility that the present terminal screen has not yet switched to the present screen even though the presenter has started to explain the new present screen.
[0006]
In addition, when the presenter switches the presentation screens one after another, if the presentation screen switching interval is earlier than the screen transfer delay time, the presentation screen jumps on the receiving side, and the intended presentation contents There is also a problem that cannot be shared.
[0007]
In order to deal with these problems, it is necessary for the presenter to advance the presentation while confirming that the display screen on the receiving side has been switched.
[0008]
However, in the conventional data conference system, there is a problem that the presenter cannot grasp the display screen state such as the switching state of the presentation screen on the receiving side terminal device side. From this viewpoint, as a method for grasping the display screen state on the receiving side, a method of transferring a camera image obtained by imaging the display screen on the receiving side from the receiving side to the transmitting side can be considered. There is a problem that the obstacle in terms of cost is large.
[0009]
In addition, when the display screen is shared among multiple receiving terminal devices, the screen transfer delay time of each receiving terminal device depends on the communication speed of the network through which it passes, the processing capability of the receiving device, etc. And diverse. For this reason, in the method of visually observing the camera video as described above, the presenter should appropriately determine the presentation screen switching timing while being aware of which receiving terminal device image transmission is delayed. Was very difficult.
[0010]
The present invention has been made in view of the above problems, and an object of the present invention is to provide a new and improved data conference in which a presenter can easily grasp the display screen state of a receiving terminal device. A system, a data conference method, and a terminal device, a program, and the like for realizing the system and data conference method are provided.
[0011]
[Means for Solving the Problems]
In order to solve the above-described problem, according to a first aspect of the present invention, one or two or more transmitting side terminal devices and one or two or more receiving side terminal devices are connected via a network, and the transmitting side terminal A data conferencing system for sharing device display screen data with the receiving terminal device: The transmission-side terminal device includes a search target area setting unit that sets a search target area in a display screen; and searches the set search target area to detect an update area in which the display screen is updated. A search execution unit for extracting display screen data corresponding to the update area from display screen data displayed on the display screen; and a display screen corresponding to the extracted update area for the receiving terminal device A transmitting side transmitting / receiving unit that transmits data and receives a reception completion signal of display screen data corresponding to the update area from the receiving side terminal device; and, upon receiving the reception completion signal, the receiving side terminal A notification unit for notifying display screen state information of the device, wherein the receiving terminal device receives display screen data corresponding to the update area from the transmitting terminal device An image drawing unit for drawing the display screen data corresponding to the received update area on the display screen; a receiving side transmission for sending the reception completion signal to the sending side terminal device after the drawing process; Comprising a part; A data conferencing system is provided.
[0012]
With this configuration, the transmitting terminal device can provide at least a part of the display screen data displayed on the display screen of the transmitting terminal device to the receiving terminal device. Further, the receiving side terminal device can receive and draw the display screen data provided from the transmitting side terminal device in this way, and display it on the display screen of the receiving side terminal device. Thereby, at least a part of the display screen data of the transmission side terminal device can be shared between the transmission side terminal device and the reception side terminal device. In addition, the receiving terminal device can generate a reception completion signal indicating that the received display screen data has been received, and can be transmitted to the transmitting terminal device. Based on the timing of receiving this reception completion signal, the transmitting terminal device displays the display screen status information of the receiving terminal device on the display screen or outputs it to the conference presenter. Can be notified.
[0013]
In order to solve the above problem, according to another aspect of the present invention, there is provided a transmission-side terminal device that allows one or more reception-side terminal devices connected via a network to share display screen data. : A search target area setting unit for setting a search target area in a display screen; search processing for the set search target area to detect an update area in which the display screen is updated, and display on the display screen; A search execution unit for extracting display screen data corresponding to the update area from the displayed display screen data; For the receiving terminal device , Display screen data corresponding to the extracted update area And from the receiving terminal device, Display screen data corresponding to the update area A transmitting-side terminal device comprising: a transmitting-side transmitting / receiving unit that receives a reception completion signal; and a notification unit that notifies display screen state information of the receiving-side terminal device in response to reception of the receiving completion signal. Provided.
[0014]
With this configuration, the transmitting-side transmitting / receiving unit transmits at least part of the display screen data in the display screen of the transmitting-side terminal device via the network, so that the transmitting-side terminal device can Display screen data can be provided. Thereby, the transmission-side terminal device can share its display screen data with the reception-side terminal device. Furthermore, this transmission / reception unit can receive the reception completion signal transmitted by the reception-side terminal device via the network. The reception completion signal is a signal indicating that the receiving terminal device has received the received display screen data and the drawing processing on the display screen of the receiving terminal device has been completed. In addition, the notifying unit displays the display screen status information of the receiving terminal device on the display screen or outputs a voice to the conference presenter based on the timing of receiving the reception completion signal. Can be notified. For this reason, the presenter can grasp the switching state of the display screen on the receiving terminal device side, so the timing for starting the explanation of the presentation screen (presentation timing) and switching the presentation screen to the next presentation screen. Timing (presentation screen switching timing) and the like can be suitably adjusted.
[0015]
The notification unit may be configured to control notification of display screen state information based on the transmitted update amount of the display screen data.
[0016]
With this configuration, for example, when the update amount of the transmitted display screen data is smaller than a specified value, the notification unit can receive the reception completion notification signal corresponding to the display screen data even if the reception side notification device receives the reception completion notification signal. It is possible not to notify the display screen state information. In other words, for example, the notification unit holds the update amount of the transmitted display screen data, and if the update fee is larger than a specified value, the notification unit receives the reception completion notification signal corresponding to the display screen data. Accordingly, the display screen state information of the receiving terminal device can be notified.
[0017]
The notification unit may be configured to control notification of display screen state information based on an elapsed time since the previous notification.
[0018]
With this configuration, for example, when the elapsed time from the previous notification exceeds a specified value, the notification unit receives the reception completion notification signal corresponding to the transmitted display screen data, and receives the reception end notification signal. Notify the display screen status information of the device. Thus, the notification unit can control the notification time interval of the display screen state information of the receiving terminal device.
[0019]
Further, the notification unit may be configured to notify the display screen state information when receiving a reception completion signal from all of the plurality of receiving side terminal devices.
[0020]
With this configuration, when the transmission side terminal device shares display screen data with a plurality of reception side terminal devices, the display screen state information is based on the timing when reception completion signals are completely received from all reception side terminal devices. Can be notified. Thereby, for example, the display screen state information can be notified in accordance with the terminal device on the receiving side where the transfer of the display screen data is the slowest.
[0021]
The notification unit is configured to notify the display screen state information when receiving a reception completion signal from at least one reference receiving terminal device selected in advance from a plurality of receiving terminal devices. May be.
[0022]
With this configuration, when the transmission side terminal device shares display screen data with a plurality of reception side terminal devices, based on the timing of receiving a reception completion signal from a specific reference reception side terminal device selected in advance, Display screen state information can be notified. Thereby, for example, the display screen state information can be notified in accordance with the reference receiving terminal device.
[0023]
The notification unit predicts the reception timing of the reception completion signal based on at least the amount of display screen data transmitted, and notifies the display screen state information based on the predicted reception timing of the reception completion signal. , May be configured as follows.
[0024]
With this configuration, for example, the notifying unit calculates a communication required time based on the data amount of the transmitted display screen data, the past communication performance, and the like, and receives a reception completion signal corresponding to the transmitted display screen data. Can be received. Further, the notifying unit can notify the display screen state information, for example, countdown based on the reception timing of the reception completion signal predicted as described above.
[0025]
The display screen of the transmission side terminal device includes at least a shared screen region shared by the reception side terminal device and a private screen region not shared by the reception side terminal device; the notification unit is included in the private screen region. The display screen state information may be notified by displaying and displaying the display screen state information.
[0026]
With such a configuration, the notification unit can notify the presenter of the display screen state information by displaying and displaying the display screen state information on the display screen of the transmission side terminal device. In addition, since the display screen data in the private screen area is not transmitted to the receiving terminal device, it is not shared by the receiving terminal device. Therefore, when the notification unit displays and outputs the display screen state information in the private screen area, the display screen state information is displayed only on the display screen of the transmitting terminal device, and is displayed on the display screen of the receiving terminal device. It is never displayed.
[0027]
The transmission-side terminal device includes a search unit that searches a search target area in the display screen to detect an update area in the display screen, and the transmission-side transmission / reception unit displays at least the update area. The screen data may be transmitted to the receiving terminal device. With this configuration, the transmission side terminal device can realize the sharing of the display screen data by repeatedly transmitting only the display screen data in the update area to the reception side terminal device. As a result, the amount of display screen data to be transmitted can be greatly reduced compared to the case of transmitting display screen data of the entire screen every time.
[0028]
In order to solve the above-described problem, according to another aspect of the present invention, a computer: a transmission side that allows display terminal data to be shared by one or more reception side terminal devices connected via a network. A terminal device: A search target area setting unit for setting a search target area in a display screen; search processing for the set search target area to detect an update area in which the display screen is updated, and display on the display screen; A search execution unit for extracting display screen data corresponding to the update area from the displayed display screen data; For the receiving terminal device , Display screen data corresponding to the extracted update area And from the receiving terminal device, Display screen data corresponding to the update area A transmission side transmission / reception unit that receives the reception completion signal; and a notification unit that notifies display screen state information of the reception side terminal device in response to reception of the reception completion signal. A program is provided.
[0029]
In order to solve the above-described problem, according to another aspect of the present invention, a computer: a transmission side that allows display terminal data to be shared by one or more reception side terminal devices connected via a network. A terminal device: A search target area setting unit for setting a search target area in a display screen; search processing for the set search target area to detect an update area in which the display screen is updated, and display on the display screen; A search execution unit for extracting display screen data corresponding to the update area from the displayed display screen data; For the receiving terminal device , Display screen data corresponding to the extracted update area And from the receiving terminal device, Display screen data corresponding to the update area A transmission side transmission / reception unit that receives the reception completion signal; and a notification unit that notifies display screen state information of the reception side terminal device in response to reception of the reception completion signal. A recording medium on which a program is recorded is provided.
[0034]
In order to solve the above-mentioned problem, according to another aspect of the present invention, one or two or more transmitting terminal devices and one or two or more receiving terminal devices are connected via a network, and the transmitting side A data conference method in which display screen data of a terminal device is shared by the receiving terminal device: A search target area setting step in which the transmission side terminal apparatus sets a search target area in a display screen; and the transmission side terminal apparatus searches the set search target area to update the display screen. A search step of detecting an update area, and extracting display screen data corresponding to the update area from display screen data displayed on the display screen; and A data transmission step of transmitting display screen data corresponding to the extracted update area; and data reception in which the reception side terminal apparatus receives display screen data corresponding to the update area from the transmission side terminal apparatus A drawing step in which the receiving terminal device draws display screen data corresponding to the received update area on a display screen; and the receiving terminal A reception completion signal transmission step of transmitting a reception completion signal of display screen data corresponding to the update area to the transmission side terminal device after the drawing process; and the transmission side terminal device from the reception side terminal device; A reception completion signal reception step for receiving the reception completion signal; and a notification step in which the transmission side terminal device notifies display screen state information of the reception side terminal device in response to reception of the reception completion signal; Including, A data conferencing method is provided.
[0035]
With this configuration, the transmission-side terminal device can notify the conference presenter of the display-side state information of the reception-side terminal device by displaying it on the display screen or by outputting it by voice. For this reason, the presenter can grasp the switching state of the display screen on the receiving terminal device side, and thus can appropriately adjust the presentation timing, the presentation screen switching timing, and the like.
[0036]
The notification unit may control notification of display screen state information based on the transmitted update amount of the display screen data.
[0037]
Further, the notification unit may control display screen state information notification based on an elapsed time from the previous notification.
[0038]
In addition, the notification unit may notify the display screen state information when receiving a reception completion signal from all of the plurality of receiving side terminal devices.
[0039]
The notification unit may notify the display screen state information when receiving a reception completion signal from at least one reference receiving terminal device selected in advance from a plurality of receiving terminal devices. Good.
[0040]
The notification unit predicts the reception timing of the reception completion signal based on at least the amount of display screen data transmitted, and notifies the display screen state information based on the predicted reception timing of the reception completion signal. You may do it.
[0041]
The display screen of the transmission side terminal device includes at least a shared screen region shared by the reception side terminal device and a private screen region not shared by the reception side terminal device; the notification unit is included in the private screen region. The display screen state information may be notified by displaying and displaying the display screen state information.
[0042]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and drawings, components having substantially the same functional configuration are denoted by the same reference numerals, and redundant description is omitted.
[0043]
(First embodiment)
First, the data conference system and the data conference method according to the first embodiment of the present invention will be described.
[0044]
<1. System configuration>
First, the overall configuration of the data conference system according to the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing a schematic configuration of the data conference system 1 according to the present embodiment.
[0045]
As shown in FIG. 1, the data conference system 1 according to the present embodiment includes, for example, one transmitting terminal device 10a, one receiving terminal device 10b, a transmitting terminal device 10a, and a receiving terminal device 10b. It is mainly composed of a network 5 to be connected.
[0046]
The transmission-side terminal device 10a and the reception-side terminal device 10b (hereinafter sometimes collectively referred to as the terminal device 10) include, for example, at least a central processing unit (CPU), a transmission / reception unit, a storage unit, and a display unit. In general, the information processing apparatus is configured by a computer apparatus such as a personal computer. Note that these terminal devices 10 are not limited to such computer devices, and include various information processing devices such as mobile phones, information appliances, mobile terminals, PDAs, or communication terminals having a video conference function. May be.
[0047]
Among these, the transmission-side terminal device 10a is, for example, a terminal device that is used by a presenter in a data conference and is a terminal device that provides (transmits) its own display screen data. In the transmitting terminal device 10a, for example, various types of presentation software such as presentation software and word processing software are installed, and the presentation contents and presentation materials specified by the presenter (hereinafter referred to as the presentation contents). ) Is displayed as a presentation screen on its own display screen (for example, a desktop screen), and the display content can be switched at any time according to the operation of the presenter.
[0048]
The transmission right 7 is given to the transmission side terminal device 10a. This transmission right 7 is an authority that can transmit its own display screen data to other terminal devices, and corresponds to the authority of the presenter in the data conference. This transmission right 7 is assigned to one or more terminal devices 10 used by the presenter from among a plurality of terminal devices 10 in the data conference system 1, but in the example of FIG. It is assigned only to the device 10 (that is, the transmission side terminal device 10a).
[0049]
By having the transmission right 7, the transmission-side terminal device 10a receives all or part of the image data (display screen data) displayed on its display screen as described above via the network 5. It can transmit to the side terminal device 10b. More specifically, the transmission-side terminal device 10a receives, for example, a presentation software window displaying the presentation contents on its own display screen, or display screen data such as the entire display screen. 10b.
[0050]
Further, for example, the transmission side terminal device 10a suitably controls the timing for searching and transmitting the next display screen data based on the reception completion signal from the reception side terminal device 10b, And the timing of switching the presentation screen, etc., which will be described later in detail.
[0051]
On the other hand, the receiving-side terminal device 10b is a terminal device used by a participant (listener) in the data conference, and is a terminal device that receives (receives) display screen data of other terminal devices. The receiving side terminal device 10b can render the display screen data received from the transmitting side terminal device 10a and display it on its display unit. Further, for example, the reception-side terminal device 10b can generate a reception completion signal when the display screen data drawing process is completed, and can transmit the reception completion signal to the transmission-side terminal device 10a.
[0052]
The network 5 is a communication line network that connects the transmission-side terminal device 10a and the reception-side terminal device 10b to each other so that bidirectional communication is possible. The network 5 is configured by, for example, a public line network such as the Internet, a dedicated line network such as WAN, LAN, and IP-VPN. Further, the connection medium of the network 5 is, for example, an optical fiber cable such as FDDI (Fibre Distributed Data Interface), a coaxial cable or twisted pair cable based on Ethernet (registered trademark), or IEEE802.11b, regardless of wired or wireless. You may comprise so that a communication network etc. may also be included. The terminal device 10 according to the present embodiment is configured to transmit and receive various data such as display screen data in accordance with a protocol defined by, for example, TCP / IP (Transmission Control Protocol / Internet Protocol). However, the present invention is not limited to this example, and may be configured to transmit and receive using UDP (User Datagram Protocol) or the like.
[0053]
In the data conference system 1 configured as described above, as described above, the transmission-side terminal device 10a provides display screen data corresponding to its own display screen to the reception-side terminal device 10b via the network 5. Can do. Further, the receiving terminal device 10b can render the provided display screen data and display it on its own display screen. As a result, the display screen data of the transmitting terminal device 10a can be shared between the transmitting terminal device 10a and the receiving terminal device 10b.
[0054]
Therefore, the participants of the data conference can browse the presentation content displayed on the display screen of the transmission side terminal device 10a almost in real time using the reception side terminal device 10b. In such a data conference, not only when the presenter and the participant are nearby (for example, both in the same conference room, floor or building) but also in a remote location (for example, if one is in the Tokyo head office, Even if the other is in the Hokkaido branch office, or if one is at home and the other is in a moving bullet train, the presentation can be shared between presenters and participants. The degree of freedom of the location of participants and participants is increased and useful.
[0055]
As described above, the data conference system 1 connects two or more remote locations via the network 5 and shares the presentation screen of the transmission side terminal device 10a with the reception side terminal device 10b. The presentations can be made smoothly. In such a data conference, for example, at the same time as sharing the presentation screen as described above, voice information such as the speech content of the presenter or the participant is sent to a separate voice communication means (not shown) such as a microphone and a speaker. Or the like may be shared between the terminal devices 10. Further, for example, the data conference system 1 and the video conference system may be used together so that video information, audio information, and the like of the presenter can be transmitted.
[0056]
In the data conference system 1, the transmission right 7 can be exchanged between the terminal devices 10. Specifically, in the example of FIG. 1, the transmission right 7 possessed by the transmission side terminal device 10a may be transferred to the reception side terminal device 10b. By transferring the transmission right 7, both functions are reversed so that the transmitting terminal device 10a functions as the receiving terminal device 10b as described above, and the receiving terminal device 10b functions as the transmitting terminal device 10a. be able to. In this way, by allowing the transmission right 7 to be exchanged between the terminal devices 10, the presenter of the data conference can use the display screen data of the terminal device 10 on the other terminal, regardless of which terminal device 10 is used. It is possible to share the apparatus 10 and make a presentation. In addition, it is possible to cope with the case where the presenter is sequentially changed among the participants of the data conference.
[0057]
Further, for example, both terminal devices 10 may provide part of their own display screen data to the other party by giving the transmission right 7 to both terminal devices 10. With such a configuration, both terminal devices 10 can share display screen data with each other, and each can display a part of the display screen of the other party on its own display screen. As a result, the data conference system 1 can cope with the case where both of the participants in the data conference are presenters at the same time or the case where the presentation contents are mutually presented and discussed.
[0058]
<2. Configuration of terminal device>
Next, based on FIG. 2, the structure of the terminal device 10 concerning this embodiment is demonstrated. FIG. 2 is a block diagram illustrating a schematic configuration of the terminal device 10 according to the present embodiment.
[0059]
As illustrated in FIG. 2, the terminal device 10 includes a CPU 102, a storage unit 104, an input unit 106, a display unit 108, a voice output unit 109, a transmission / reception unit 110, a notification unit 120, a search unit 130, and the like. , And an image drawing unit 140.
[0060]
The CPU 102 is, for example, a control unit configured by a central processing unit and the like, and can control processing / commands and the like of each unit in the terminal device 10. For example, the CPU 102 can activate various software including presentation software stored in the storage unit 104 and control the operation of the software.
[0061]
The storage unit 104 is a storage device that can temporarily record or store various data and programs. The storage unit 104 includes, for example, a RAM (Read Access Memory), a ROM (Read Only Memory), an EEPROM (Electrically Erasable and Programmable ROM), a DRAM (Dynamic RAM), an SRAM (Static RAM), an SRAM (Static RAM), an SDRAM (Static RAM), and an SDRAM. Magnetoretic RAM), hard disk, flexible disk, magnetic tape, optical disk, and the like.
[0062]
The storage unit 104 stores, for example, various types of presentation software used by the presenter to explain the contents of the presentation. Specific examples of the presenting software include, for example, word processing software such as Microsoft (registered trademark) Word XP (registered trademark), spreadsheet software such as Excel XP (registered trademark), presentation software such as PowerPoint XP (hereinafter referred to as software). In this case, it is referred to as presentation software.) And browsing software such as Internet Explorer (registered trademark). These announcement software may be read from a recording medium such as a flexible disk, CD-ROM, or DVD-ROM using various disk drives, and may be activated via the network 5 or the like. You may activate what was distributed from the outside.
[0063]
The input unit 106 is an operation unit configured with a pointing device such as a mouse, a trackball, a trackpad, a stylus pen, or a joystick, or a keyboard. A user (such as a conference presenter or a participant) of the terminal device 10 operates the input unit 106 to instruct the terminal device 10 to perform various processing operations or input various data. it can. For example, the presenter can operate the input unit 106 to sequentially switch the presentation screen displayed in the presentation software window as the presentation progresses.
[0064]
The display unit 108 is a display device configured by, for example, a CRT display device, a liquid crystal display (LCD) device, or the like. The display unit 108 can display and output various display screen data on the display screen.
[0065]
For example, when the terminal device 10 functions as the transmission-side terminal device 10a, the display unit 108 displays a window corresponding to the presentation software when the presentation software of the terminal device 10 is activated. Display in a part or all of the area. In addition, a notification display generated by the notification unit 120 described later can be displayed and output so that the presenter can recognize the display screen state information of the receiving terminal device 10b.
[0066]
Here, based on FIG. 3, a specific example of the presentation screen displayed on the display unit 108 of the transmission-side terminal device 10 a and switching processing of the presentation screen will be described. FIG. 3 is an explanatory diagram showing a specific example of the display screen of the transmission-side terminal device 10a according to the present embodiment.
[0067]
As shown in FIG. 3A, at the time of presentation, for example, a presentation software window 202 and a spreadsheet software window 204 are displayed on the display screen 200 of the transmitting terminal device 10a. In this state, the presenter explains the slide for presentation (1) related to the “next year management guideline” displayed on the display screen 200 of FIG. Next, in order to switch to the next presentation screen, the presenter operates the mouse or the like which is the input unit 106 to move the pointer 206 to select and click the mark on the presentation slide (2). Then, as shown in FIG. 3B, a presentation slide (2) regarding “cost reduction” is displayed in the window 202 of the presentation software. In this way, on the display screen 200 of the transmitting terminal device 10a, as the presentation progresses, for example, the presentation contents in the presentation software window 202 are sequentially updated, and the presentation screens are switched one after another. .
[0068]
On the other hand, the display unit 108 in the case where the terminal device 10 functions as the receiving-side terminal device 10b, for example, displays display screen data rendered by an image rendering unit 140 described later in a part or all of the display screen. indicate. The display unit 108 of the reception side terminal device 10b displays, for example, a shared window (details will be described later) for displaying a shared screen on the display screen, and the transmission side terminal device 10a displays in the shared window. It is configured to reproduce the display screen.
[0069]
In general, the display screen data displayed by the display unit 108 as described above is, for example, still image data in which the presentation content is statically displayed. However, the present invention is not limited to this example. It may be dynamic image data that changes dynamically.
[0070]
The audio output unit 109 is configured with, for example, a speaker, and can output audio data such as speech contents of a presenter transferred from the outside. In addition, the voice output unit 109 can output a notification voice generated by the notification unit 120 described later to make the presenter recognize the display screen state information of the receiving terminal device 10b.
[0071]
The transmission / reception unit 110 is connected to the network 5 and can transmit / receive various data to / from other terminal apparatuses 10. The transmission / reception unit 110 includes, for example, a transmission side transmission / reception unit 112 and a reception side transmission / reception unit 114.
[0072]
The transmission side transmission / reception unit 112 is a transmission / reception unit that operates when the terminal device 10 functions as the transmission side terminal device 10a, for example. For example, the transmission side transmission / reception unit 112 encodes display screen data input from the search unit 130 described later, and transmits the encoded data to the reception side terminal device 10b via the network 5. Further, for example, the transmission side transmission / reception unit 112 receives a reception completion signal transmitted from the reception side terminal device 10b via the network 5 and outputs it to the notification unit 120 and the search unit 130 described later.
[0073]
On the other hand, the reception side transmission / reception unit 114 is a transmission / reception unit that operates when the terminal device 10 functions as the reception side terminal device 10b, for example. For example, the reception-side transmission / reception unit 114 receives display screen data transmitted from the transmission-side terminal device 10a via the network 5, decodes the received display screen data, and outputs the decoded display screen data to the image drawing unit 140.
[0074]
In addition, for example, when receiving the notification from the image drawing unit 140, the receiving side transmitting / receiving unit 114 normally receives the display screen data on the receiving side terminal device 10b side, and indicates that, for example, the drawing process of the display screen data has been completed. A reception completion signal representing is generated. That is, the receiving side transmitting / receiving unit 114 is also configured as a reception completion signal generating unit (not shown) according to the present embodiment. The reception completion signal generation unit may be configured independently of the reception side transmission / reception unit 114, for example.
[0075]
Further, the reception-side transmission / reception unit 114 transmits the reception completion signal to the transmission-side terminal device 10a via the network 5, for example, reception / drawing of the display screen data on the reception-side terminal device 10b side. It is possible to notify that the processing has been completed and the display screen has been switched.
[0076]
For example, the reception side transmission / reception unit 114 receives the reception completion signal when the reception process of the transmitted display screen data is completed (for example, before the display screen data is decoded or rendered). May be generated and transmitted to the transmitting terminal device 10a. In this case, for example, an ACK (acknowledgement) generally used as a transmission / reception operation end signal on the TCP / IP network may be used as the reception completion signal.
[0077]
The notification unit 120 has a characteristic configuration according to the present embodiment, and operates when the terminal device 10 functions as the transmission-side terminal device 10a (that is, when used by the presenter). The notification unit 120 can notify the presenter of display screen information of the receiving terminal device 10b. For example, the notification unit 120 displays and displays a notification display on the display screen of the display unit 108, and switches the display mode of the notification display according to the reception timing of the reception completion signal. Accordingly, the notification unit 120 can notify the presenter that the presentation screen of the receiving terminal device 10b has been switched. As a result, the presenter can appropriately grasp the suitable presentation timing after switching the presentation screen or the switching timing to the next presentation screen. The detailed function and configuration of the notification unit 120 will be described later.
[0078]
The search unit 130 operates, for example, when the terminal device 10 functions as the transmission-side terminal device 10a. For example, the search unit 130 has a function of setting a search target area in the display screen and searching for this search target area. The search unit 130 includes, for example, a search target area setting unit 132, a search execution unit 134, and a search processing control unit 136.
[0079]
The search target area setting unit 132 can set the search target area in the display screen, for example. More specifically, the search target area setting unit 132, for example, a window in the display screen currently used by the presenter (for example, a window corresponding to the presenting software in which the presentation contents being described are displayed). ) Can be detected and the range of this window can be set as the search target area. As a result, the search target area can be dynamically set by focusing on the area where the presentation screen is likely to be updated. However, the search target area setting unit 132 is not limited to such an example, and the search target area setting unit 132 may be, for example, the entire range of the display screen or a partial area in the display screen (for example, only the upper half of the display screen or only the center portion). May be set as the search target area.
[0080]
For example, the search execution unit 134 can search the set search target area and detect an update area in which the display screen is updated. More specifically, the search execution unit 134 is displayed on the display unit 108 and the display screen data (comparison display screen data) used during the previous search process in the set search target area, for example. The display screen data (actual display screen data) being displayed is compared, for example, in units of predetermined blocks, and an update area is detected. If the comparison / detection process actually causes an update area, the search execution unit 134 extracts, for example, display screen data corresponding to the update area, and outputs the display screen data to the transmission / reception unit 112. Note that the extracted display screen data includes, for example, coordinate information indicating the position of the update area on the display screen.
[0081]
Here, specific examples of the search target area and the update area will be described with reference to FIG. FIG. 4 is an explanatory diagram illustrating a specific example of the search target area and the update area on the display screen of the transmission-side terminal device 10a according to the present embodiment. FIG. 4 shows the case where the presentation screen as shown in FIG. 3 is displayed and switched.
[0082]
As shown in FIG. 4A, the search target area setting unit 132 sets, as the search target area 210, the range of the presentation software window 202 (see FIG. 3) that has been presented by the presenter. . The search target area 210 is, for example, a rectangular area corresponding to the window 202, and is specified by the upper left coordinates (x1, y1) and the lower right coordinates (x2, y2) of the rectangle.
[0083]
As shown in FIG. 4B, the search execution unit 134 detects, for example, two update areas 220a and 220b as a result of searching the search target area 210 set as described above. The update area 220a is an upper left area in the window 202 in which the display contents are updated due to the movement of the pointer 206 described in FIG. 3 and the change in the selection contents of the slide selection portion. The range of this update area 220a is specified by (x3, y3), (x4, y4). In addition, the update area 220b is an area of the central portion in the window 202 in which the display content is updated due to the switching of the presentation slide described in FIG. The range of the update area 220b is specified by (x5, y5), (x6, y6). As in this example, a plurality of update areas 220 may be detected in one search process. Further, since the range of the update area 220 is set to be a minimum range including the updated portion on the display screen, for example, the amount of display screen data to be encoded / transmitted can be reduced.
[0084]
The search processing control unit 136 can permit / disallow the search processing of the search execution unit 134 as described above. More specifically, the search processing control unit 136, for example, turns off the search flag when the search execution unit 134 outputs the display screen data to the transmission / reception unit 112 and executes the subsequent search execution. The search process by the unit 134 is not permitted. On the other hand, the search processing control unit 136 turns on the search flag when the reception completion signal for the display screen data is input from the transmission / reception unit 112, for example, and the search execution unit 134 thereafter Allow search processing. In other words, the search processing control unit 136, for example, executes a search process for the next display screen data after the reception completion signal corresponding to the display screen data transmitted last time is received by the transmission side transmission / reception unit 112. The search execution unit 134 is controlled.
[0085]
As described above, the search unit 130 does not execute the search process within the period from when the display screen data of the update area detected last time is transmitted until the reception completion signal is received. Therefore, it is possible to reduce the load on the transmission-side terminal device 10a.
[0086]
The image drawing unit 140 operates, for example, when the terminal device 10 functions as the receiving terminal device 10b. The image drawing unit 140 performs a drawing process on the display screen data input from the receiving side transmission / reception unit 114 and displays the display screen data on the display screen of the display unit 108. As a result, the receiving terminal device 10b can reproduce at least a part of the announcement screen of the transmitting terminal device 10a on the display screen, so that the sharing of the announcement screen between the two terminal devices 10 is realized. The Further, for example, when the drawing process is completed, the image drawing unit 140 notifies the reception-side transmitting / receiving unit 114 that the drawing process related to the display screen data is completed.
[0087]
Here, a specific example of the shared screen displayed on the display unit 108 of the receiving terminal device 10b will be described with reference to FIG. FIG. 5 is an explanatory diagram illustrating a specific example of the shared screen displayed on the display unit 108 of the transmission-side terminal device 10a and the reception-side terminal device 10b according to the present embodiment.
[0088]
Assume that a presentation screen as shown in FIG. 5A is displayed on the display screen 200 of the transmitting terminal device 10a. In this case, as shown in FIG. 5B, for example, a shared window 302 is displayed in a part of the display screen 300 of the receiving terminal device 10b. The shared window 300 is a window for displaying display screen data (shared screen data) provided from the transmission-side terminal device 10a, for example. For example, when the data conference starts, the image drawing unit 140 generates a shared window 302 in the display screen 300 and, for example, draws the display screen data input from the receiving side transmission / reception unit 114 in the shared window 302. Process and display.
[0089]
By the way, the display screen data transmitted from the transmission-side terminal device 10a is, for example, data only in the update area, and not data of the entire shared screen. For this reason, for example, the image drawing unit 140 newly draws the display screen data of only the acquired update area, and maintains the state where the other areas are already drawn. In this way, by updating and displaying the update area portion, the display screen of the receiving terminal device 10 b is updated, and the latest announcement screen of the transmitting terminal device 10 a can be reproduced in the shared window 302. As a result, the announcement screen (see FIG. 5A) of the transmitting terminal device 10a and the announcement screen (see FIG. 5B) in the shared window 302 of the receiving terminal device 10b become the same, and both terminal devices Sharing the presentation screen among the 10 is realized.
[0090]
As described above, the transmission / reception unit 112, the reception side transmission / reception unit 114, the notification unit 120, the search unit 130, the image drawing unit 140, and the like can be implemented as long as they can realize the processing functions described above. , May be configured as a dedicated device (hardware), or may be configured by installing an application program in the terminal device 10. Further, in the latter case, the application program may be provided to the terminal device 10 by a recording medium such as a CD-ROM, or may be provided by downloading from the outside via the network 5. Good. Further, the application program may be stored in advance in a peripheral device connected to the storage unit 104 or an external interface (not shown) in each terminal device.
[0091]
Heretofore, the schematic configuration of the terminal device 10 according to the present embodiment has been described. In the present embodiment, the configuration of the terminal device 10 as described above corresponds to the configuration of both the transmission-side terminal device 10a and the reception-side terminal device 10b, for example. According to this configuration, both the transmission-side terminal device 10a and the reception-side terminal device 10b are terminal devices that transmit display screen data (presenter side) or terminal devices that receive (participant side). Since either of them can function, the transmission right 7 as described above can be exchanged in the data conference system 1.
[0092]
However, for example, when the transmission right 7 is not exchanged between the terminal devices 10 (that is, when the terminal device 10 used by the presenter is fixed in advance), both of the transmission-side terminal device 10a and the reception-side terminal device 10b. However, it is not always necessary to include all the parts as described above. More specifically, when the terminal device 10 only needs to function as the reception-side terminal device 10b, for example, at least the CPU 102, the storage unit 104, the input unit 106, the display unit 108, the transmission-side transmission / reception unit 112, and the notification unit 120 and the search unit 130 may be provided. Further, when the terminal device 10 only needs to function as the receiving-side terminal device 10b, for example, at least the CPU 102, the storage unit 104, the input unit 106, the display unit 108, the receiving-side transmitting / receiving unit 114, and the image drawing unit 140 are included. It may be provided.
[0093]
<3. Configuration of notification unit>
Next, based on FIG. 6, the structure of the notification part 120 which is the characteristic concerning this embodiment is demonstrated in detail. FIG. 6 is a block diagram illustrating a configuration of the notification unit 120 according to the present embodiment.
[0094]
As illustrated in FIG. 6, the notification unit 120 includes, for example, a notification execution unit 122, a notification interval management unit 124, an update amount management unit 126, and a prediction unit 128.
[0095]
The notification execution unit 122 has a function of notifying the presenter of display screen state information of the receiving terminal device 10b, for example. This display screen state information is various information indicating the state of the display screen of the receiving terminal device 10b. For example, information indicating that the display screen of the receiving terminal device 10b has been switched to the latest announcement screen (hereinafter referred to as “display screen state information”). , Referred to as receiving screen switching completion information).
[0096]
More specifically, for example, the notification execution unit 122 displays a predetermined notification on the display screen of the transmission-side terminal device 10a in response to reception of a reception completion signal from the reception-side terminal device 10b. A process of notifying the presenter that the display screen of the terminal device 10b has been switched to the latest presentation screen is performed.
[0097]
Here, based on FIG. 7, the notification process of the notification execution part 122 is demonstrated with a specific example. FIG. 7 is an explanatory diagram illustrating a specific example of notification display on the display screen of the transmission-side terminal device 10a according to the present embodiment.
[0098]
As shown in FIG. 7, a notification area 210 for notification display is provided on the display screen 200 of the transmission-side terminal device 10a. In the notification area 220, the presentation screen of the transmission side terminal device 10a is switched by the presenter and the display screen data is transmitted until the corresponding reception completion signal is received. For example, nothing is displayed as shown in FIG. Thereafter, a reception completion signal is received from the receiving side terminal device 10b. For example, when a condition described later is satisfied, the notification unit execution unit 122 displays, for example, a blue color in the notification area 220 as shown in FIG. The lamp 230 is turned on. With the notification display that lights up the lamp 230, the presenter can recognize that the switching of the presentation screen of the receiving terminal device 10b has been completed. Therefore, the presenter can determine that the receiving side is ready and the explanation of the presentation screen may be started. It can also be determined that further presentation screen switching may be performed.
[0099]
The notification display mode is not limited to the example of FIG. 7 described above. For example, various modes are possible as shown in FIG.
[0100]
For example, as shown in FIG. 8A, there is no display before the reception completion signal is received, but a character / graphic display such as “Announcement OK” 231 is displayed before the reception completion signal is received. It may be. Further, as shown in FIGS. 8B to 8D, notification display may be performed so as to switch display contents between before and after reception of the reception completion signal. That is, as shown in FIG. 8B, the red lamp 232 may be lit and displayed before reception, and the red lamp 233 may be lit and displayed after reception. Further, as shown in FIG. 8C, an animation 234 representing “STOP” may be displayed before reception, and an animation 235 representing “GO!” May be displayed after reception. Further, as shown in FIG. 8D, the notification area 220 may be displayed darkly before reception, and the notification area 220 may be flash displayed after reception.
[0101]
In the above description, the notification execution unit 122 performs notification processing of display screen state information such as reception-side screen switching completion information by displaying notification in the notification area 220. However, the present invention is not limited to this example. For example, the notification execution unit 122 may perform notification display such as changing the display mode of the entire display screen (for example, changing the color of the wallpaper) in response to reception of the reception completion signal. Further, the notification execution unit 122 outputs voice information (for example, sound effect such as alarm sound, machine voice “switching completed”, etc.) from the notification output unit 109 in response to reception of the reception completion signal. Notification processing may be performed. Further, vibration generation means (not shown) may be attached to the presenter, and notification processing may be performed so that the vibration generation means generates vibration (vibration operation) in response to reception of the reception completion signal.
[0102]
The notification interval control unit 124 has a function of controlling the notification process of the notification execution unit 122 based on the time interval (notification interval) of the notification process. More specifically, the notification interval control unit 124 includes a timer unit (not shown) that measures an elapsed time from the timing when the previous notification process was performed, and the elapsed time is a reference time (for example, 2). The notification execution unit 122 performs control so as not to perform the notification process even when the reception completion notification signal is received. Thereby, it can prevent that the said notification process repeats within a short time. As a result, for example, when the presenter switches a plurality of presentation screens in succession (such as when the presentation screen is fast-forwarded and skipped), a plurality of notifications corresponding to each switching are not made. Absent.
[0103]
The update amount management unit 126 has a function of controlling the notification process of the notification execution unit 122 based on the update amount of the display screen data. The update amount of the display screen data is, for example, the data amount (for example, the number of pixels) of the display screen data corresponding to the update area in the display screen of the transmission-side terminal device 10a. In the present embodiment, as described above, since the transmission-side terminal device 10a transmits display screen data of only the update area to the reception-side terminal device 10b, the update amount according to the present embodiment is, for example, the reception-side terminal. The amount of display screen data to be transmitted to the device 10b is substantially the same.
[0104]
More specifically, for example, when the update amount for the transmitted display screen data is as small as a predetermined amount (for example, 10,000 pixels) or less, the update amount management unit 126 responds to the transmitted display screen data. Even when the reception completion notification signal is received, the notification execution unit 122 is controlled not to perform the notification process. Thereby, it is possible to prevent the notification process from being performed with respect to a change in the display screen that makes little sense as the presentation content, such as blinking of the cursor. Therefore, notification processing can be performed only for a display screen change that is truly worth notifying, such as when the presenter switches presentation screens.
[0105]
The prediction unit 128 can predict the reception timing of the reception completion signal based on, for example, the data amount of the transmitted display screen data and past transmission results. More specifically, for example, the prediction unit 128 transmits the display screen data when the display screen data was transmitted in the past (hereinafter referred to as the past data amount) and the display screen data after transmitting the display screen data. A time until receiving a reception completion signal corresponding to the display screen data (hereinafter referred to as past delay time) is held. Furthermore, the prediction unit 128 receives a reception completion signal for the display screen data from the data amount of the currently transmitted display screen data based on, for example, the correlation between the past data amount and the past delay time. Timing can be predicted. Thereby, the notification execution part 122 can perform the said notification process in a countdown format, for example using the reception timing estimated in this way.
[0106]
Here, a specific example of the countdown notification will be described with reference to FIG. FIG. 9 is an explanatory diagram showing a specific example of the countdown notification display according to the present embodiment.
[0107]
As shown in FIG. 9A, the notification execution unit 122 counts down and displays the time (for example, remaining seconds) until the predicted reception timing in the notification area 220 before receiving the reception completion signal. Later, a countdown notification can be made, such as displaying characters and graphics such as “Complete!”. Further, as shown in FIG. 9B, the time until the predicted reception timing can be displayed in a meter in the notification area 220 or the like.
[0108]
In this way, the predictor 128 predicts the reception timing of the reception completion signal, and the notification execution unit 122 uses this to make a countdown notification, so that the presenter can change the display screen of the receiving terminal device 10b. The estimated time can be grasped. For this reason, the presenter can keep up with the time until the explanation is resumed and is not frustrated.
[0109]
Next, the area division of the display screen of the transmission-side terminal device 10a will be described with reference to FIG. FIG. 10 is an explanatory diagram for explaining area division of the display screen of the transmission-side terminal device 10a according to the present embodiment.
[0110]
As shown in FIG. 10, for example, the display screen 200 of the transmission side terminal device 10 a includes a shared screen area 250 and a private screen area 260 overlaid on the shared screen area 250.
[0111]
The shared screen area 250 is an area to be shared by the receiving terminal device 10b, and is an area in which, for example, the presentation software window 202 and the spreadsheet software window 204 as described above are displayed. For example, all of the shared screen area 250 can be a set range of the search target area.
[0112]
On the other hand, the private screen area 260 is an area that is displayed only on the transmitting terminal device 10a, and includes, for example, a notification area 250 and a taskbar area 262. For example, the private screen area 260 does not become the setting range of the search target area and is not shared by the receiving terminal device 10b.
[0113]
The division of the shared screen area 250 and the private screen area 260 is performed, for example, when various display screen data is displayed on the display unit 108, the memory unit 104 stores the memory area for the shared screen area 250 and the private screen area 250. This can be realized by providing a memory area for the screen area 260 separately.
[0114]
In the present embodiment, for example, since the notification area 220 for displaying the notification is provided in the private screen area 260, the notification display is performed on the private screen area 260. Thereby, the receiving side terminal device 10b can be prevented from sharing the display screen data regarding the notification display in the notification area 220. Specifically, when the presentation screen is shared between the transmitting terminal device 10a and the receiving terminal device 10b, as shown in FIG. 5, a notification area 220 is displayed on the display screen 200 of the transmitting terminal device 10a. On the other hand, the notification area 220 is not displayed in the shared window 302 on the display screen 300 of the receiving terminal device 10b, and the notification display is not displayed.
[0115]
In this way, for example, the display screen 200 of the transmission side terminal device 10a is divided into the shared screen region 250 and the private screen region 260, and the notification screen is displayed in the private screen region 260. On the display screen 300, it is possible to prevent a notification display unnecessary for the participants of the conference from being displayed.
[0116]
<4. Schematic operation of data conferencing system>
Next, a schematic operation flow of the data conference system 1 according to the present embodiment will be described with reference to FIG. FIG. 11 is a block diagram for explaining a schematic operation flow of the data conference system 1 according to the present embodiment. In FIG. 11, for the sake of convenience of explanation, only main components of the transmission-side terminal device 10a and the reception-side terminal device 10b are displayed. The following operation flow starts from a state in which the first display screen of the transmission side terminal device 10a is already shared on the reception side terminal device 20.
[0117]
As shown in FIG. 11, first, the search unit 130 sets a search target area and performs a search process on the search target area. If there is an update area in the search target area as a result of this search process, the display screen data of the update area is output to the transmission / reception unit 112 ((1)). Thereafter, the transmission side transmission / reception unit 112 encodes the display screen data input from the search unit 130, and transmits this display screen data to the reception side transmission / reception unit 114 via the network 5 (2). With the above, one display screen data providing process by the transmission-side terminal device 10a is completed.
[0118]
Next, on the receiving side terminal device 10b side, the receiving side transmission / reception unit 114 receives the display screen data in the update area (3), decodes the display screen data, and outputs it to the image drawing unit 140 ( (4)). Further, the image drawing unit 140 draws the display screen data input from the receiving side transmitting / receiving unit 114, displays the display screen data on the display screen, and notifies the receiving side transmitting / receiving unit 114 that the drawing process is completed. (5). Thereafter, the reception side transmission / reception unit 114 generates a reception completion signal and transmits this reception completion signal to the transmission side transmission / reception unit 112 via the network 5 ((6)).
[0119]
Next, on the transmission side terminal device 10a side, the transmission side transmission / reception unit 112 receives a reception completion signal from the reception side transmission / reception unit 114 (7), and outputs this reception completion signal to the search unit 130 and the notification unit 120. ((8), (9)). Then, for example, when the conditions for the update amount and the notification interval are satisfied, the notification unit 120 displays the display screen state information on the display screen and announces the presenter to the presenter at the receiving terminal device 10b. Notify that the screen has been switched. On the other hand, for example, the search unit 130 sets a search target area again, and performs a search process on the search target area. Thereby, when a new update area is detected, display screen data of the update area is extracted and output ((1)). Thereafter, the same processing flow as the above (2) to (9) and (1) is repeated.
[0120]
As described above, the transmission side terminal device 10a sequentially searches and transmits the display screen data in the update area in its own display screen under a predetermined condition, and the reception side terminal device 10b sequentially transmits the display screen data. By receiving and playing, the presentation screen presented by the presenter of the data conference can be shared between both terminal devices 10. Further, it is possible to notify the presenter by displaying on the transmitting terminal device 10a side that the presentation screen has been updated on the receiving terminal device 10b side.
[0121]
<5. Detailed operation of each part of terminal device>
Next, the operation of each main part of the transmitting terminal device 10a and the receiving terminal device 10b according to the present embodiment will be described in detail.
[0122]
<5.1 Operation of search unit>
First, an operation flow of the search unit 130 of the transmission-side terminal device 10a according to the present embodiment will be described based on FIG. FIG. 12 is a flowchart showing an operation flow of the search unit 130 according to the present embodiment.
[0123]
As shown in FIG. 12, first, in step S100, display screen data of the entire display screen is extracted (step S100). When the data conference system 1 starts operation and the activated presentation software is displayed on the display screen of the transmission-side terminal device 10a, for example, the search unit 130 displays the entire sharing target area without performing search processing. Extract screen data.
[0124]
Next, in step S102, the transmission side transmitting / receiving unit 112 is notified that the first display screen is to be provided (step S102). Specifically, the search unit 130 outputs the extracted display screen data to the transmission side transmission / reception unit 112.
[0125]
Further, in step S104, the notification unit 120 is notified that the data conference has started (step S104). As a result, a timer for measuring the notification interval starts operating on the notification unit 104 side.
[0126]
Thereafter, in step S106, the search unit 130 stands by until a notification is received from the transmission side transmission / reception unit 112 (step S106).
[0127]
Next, in step S108, it is determined whether or not a notification indicating that a reception completion signal has been received from the transmission side transmission / reception unit 112 has been received (step S108). When the notification that the reception completion signal has been received is received from the transmission / reception unit 112, the process proceeds to step S110. On the other hand, if such notification has not been received, the process returns to step S106 and the standby state is continued.
[0128]
Further, in step S110, the search target area is searched (step S110). This step is processing when a notification that a reception completion signal has been received is received from the transmission / reception unit 112. The transmission side transmission / reception unit 112 receives the reception completion signal in this way, for example, after outputting the first display screen data in step S102 or outputting the display screen data in the update area in step S118 described later. This is a case where the drawing processing is completed on the receiving terminal device 10b side with respect to the display screen data and a notification to that effect is received. Therefore, at this time, the receiving terminal device 10b is in a state in which new display screen data can be received. Therefore, in this step, for example, the search execution unit 134 sets a search target area, searches the search target area, and tries to detect an update area.
[0129]
Thereafter, in step S112, it is determined whether or not there is an update area (step S112). If an update region is detected as a result of the search processing by the search execution unit 134 in step S110, the process proceeds to step S114. On the other hand, when the update area is not detected, for example, the process proceeds to step S113, waits for a predetermined time (step S113), returns to step S110, and the search target area is searched again.
[0130]
Next, in step S114, display screen data of the update area is extracted (step S114). Specifically, the search unit 130 extracts display screen data corresponding to one or more detected update areas.
[0131]
In step S116, the display screen update amount is held (step S114). Specifically, for example, the search unit 130 records and holds the data amount of the display screen data of the extracted update area (corresponding to the update amount in the present embodiment) in the storage unit 104, for example. The held update amount is used by the notification unit 120 for controlling the notification process.
[0132]
Thereafter, in step S118, the transmission side transmitting / receiving unit 112 is notified that the update area has been detected (step S118). Specifically, the search unit 130 outputs the display screen data of the update area extracted in step S114 to the transmission side transmission / reception unit 112.
[0133]
After the end of this step, the process returns to step S106, and the search unit 130 waits again until it receives a notification from the transmission side transmission / reception unit 112 that a reception completion signal corresponding to the output display screen data has been received. To do. Thereafter, as in steps S108 to S118, the update area in the display screen of the transmitting terminal device 10a is detected and output repeatedly.
[0134]
<5.2 Operation of transmitting / receiving unit>
Next, based on FIG. 13, the operation flow of the transmission side transmission / reception unit 112 of the transmission side terminal apparatus 10a according to the present embodiment will be described. FIG. 13 is a flowchart showing an operation flow of the transmitting side transmitting / receiving unit 112 according to the present embodiment.
[0135]
As shown in FIG. 13, first, in step S200, the transmission / reception unit 112 waits for notification from either the search unit 130 or the reception side transmission / reception unit 114 (step S200).
[0136]
Next, in step S202, it is determined whether the other party receiving the notification is the search unit 130 or the receiving-side transmitting / receiving unit 114 of the receiving-side terminal device 10b (step S202). Specifically, when display screen data (that is, display screen data in the update area or first display screen data) is input from the search unit 130, the process proceeds to step S 204, while from the receiving-side transmission / reception unit 114. If a reception completion signal is received via the network 5, the process proceeds to step S206.
[0137]
In step S204, the retrieval unit 130 and the notification unit 120 are notified that the reception completion signal has been received (step S204). After the end of this step, the process returns to step S200, and the transmission side transmitting / receiving unit 112 waits for a notification from the search unit 130 again.
[0138]
On the other hand, in step S206, the display screen data input from the search unit 130 is encoded by, for example, the MPEG method (step S206).
[0139]
In step S208, the display screen data encoded in step S206 is transmitted to the receiving terminal device 10b via the network 5 (step S208). After the end of this step, the process returns to step S200, and the transmission side transmission / reception unit 112 again waits for a notification from the reception side transmission / reception unit 114.
[0140]
<5.3 Operation of receiving side transceiver unit>
Next, based on FIG. 14, the operation | movement flow of the receiving side transmission / reception part 114 of the receiving side terminal device 10b concerning this embodiment is demonstrated. FIG. 14 is a flowchart showing an operation flow of the receiving-side transmitting / receiving unit 114 according to the present embodiment.
[0141]
As shown in FIG. 14, first, in step S300, the receiving-side transmitting / receiving unit 114 waits until receiving a notification from either the image drawing unit 140 or the transmitting-side transmitting / receiving unit 112 of the transmitting-side terminal device 10a (step S300). S300).
[0142]
Next, in step S302, it is determined whether the other party receiving the notification is the image drawing unit 140 or the transmission-side transmission / reception unit 112 of the transmission-side terminal device 10a (step S302). When the notification that the display screen data drawing process has been completed is received from the image drawing unit 140, the process proceeds to step S 304, while when the display screen data is received from the transmission side transmission / reception unit 112 via the network 5. Advances to step S308.
[0143]
Further, in step S304, the receiving side transmission / reception unit 114 generates, for example, a reception completion signal indicating that the drawing processing of the received display screen data has been completed (step S304).
[0144]
Thereafter, in step S306, the reception completion signal generated in step S304 is transmitted to the transmission side transmission / reception unit 112 of the transmission side terminal device 10a via the network 5 (step S306). After the end of this step, the process returns to step S300, and the reception side transmission / reception unit 114 again waits for a notification from the transmission side transmission / reception unit 112.
[0145]
On the other hand, in step S308, the receiving-side transmitting / receiving unit 114 decodes the display screen data of the update area received from the transmitting-side terminal device 10a (step S308).
[0146]
Next, in step S310, the receiving side transmission / reception unit 114 outputs the display screen data decoded in step S308 to the image drawing unit 140 (step S310). After the end of this step, the process returns to step S300 and again waits for a notification from the image drawing unit 140.
[0147]
<5.4 Operation of Image Drawing Unit>
Next, an operation flow of the image drawing unit 140 of the receiving terminal device 10b according to the present embodiment will be described based on FIG. FIG. 15 is a flowchart showing an operation flow of the image drawing unit 140 according to the present embodiment.
[0148]
As shown in FIG. 15, first, in step S400, the image drawing unit 140 stands by until a notification is received from the receiving-side transmitting / receiving unit 114 (step S400).
[0149]
Next, in step S402, the display screen data is drawn (step S402). When the display screen data is input from the reception-side transmission / reception unit 114, the image drawing unit 140 performs drawing processing on the display screen data and displays the display screen data in, for example, a shared window in the display screen of the reception-side terminal device 10b. At this time, on the display screen, for example, only the portion corresponding to the update area updated on the transmission side terminal device 10a is updated and displayed, and the original display screen data is displayed as it is in the other areas. As a result of such drawing / display processing of the display screen data provided from the transmitting terminal device 10a, the updating of the display screen of the receiving terminal device 10b is completed, and the transmitting terminal device 10a and the receiving terminal device 10b This means that display screen sharing has been realized.
[0150]
Further, in step S404, the receiving side transmitting / receiving unit 114 is notified that the display screen data drawing processing has been completed. (Step S404). After the end of this step, the process returns to step S400, and the image drawing unit 140 again enters a state of waiting for a notification from the receiving side transmission / reception unit 114.
[0151]
<5.5 Operation of notification unit>
Next, based on FIG. 16, the operation flow of the notification unit 120 of the transmission side terminal device 10a according to the present embodiment will be described. FIG. 16 is a flowchart showing an operation flow of the notification unit 120 according to the present embodiment.
[0152]
As shown in FIG. 16, first, in step S500, the retrieval unit 130 notifies that the data conference has started (step S500).
[0153]
Next, in step S502, a timer for measuring the notification interval is turned on (step S502). Specifically, for example, the notification interval management unit 124 starts the operation of the timer unit, and starts measuring the elapsed time since the transmission-side terminal device 10a transmits the first display screen data.
[0154]
Furthermore, in step S504, the notification unit 120 stands by until a notification is received from the transmission side transmission / reception unit 112 (step S504).
[0155]
Thereafter, in step S506, it is determined whether or not a notification indicating that a reception completion signal has been received from the transmission-side transmitting / receiving unit 112 has been received (step S506). If the notification that the reception completion signal has been received is received from the transmission side transceiver 112, the process proceeds to step S508. On the other hand, if such notification has not been received, the process returns to step S504, and the standby state is continued.
[0156]
Next, in step S508, the update amount is acquired (step S508). This step is processing when a notification that a reception completion signal has been received is received from the transmission side transceiver unit 112. The transmission side transmission / reception unit 112 receives the reception completion signal in this way, for example, when the drawing processing is completed on the reception side terminal device 10b with respect to the transmitted display screen data and a notification to that effect is received. . Therefore, at this time, the display screen of the receiving terminal device 10b has been switched.
[0157]
Therefore, in this step, the update amount management unit 126 accesses the recording unit 104 and reads the update amount recorded by the search unit 130. Thereby, the update amount of the transmitted display screen data can be acquired.
[0158]
Furthermore, in step S510, it is determined whether the update amount is equal to or greater than a specified value (step S510). Specifically, the update amount management unit 126 compares the actual update amount acquired in step S508 with a predetermined reference update amount (for example, 10,000 pixels). If it is determined by the comparison that the actual update amount is equal to or greater than the reference update amount, the update of the shared screen generated in the transmitted display screen data is worthy of notification (that is, the display Since the screen has been significantly updated, it is estimated that the presenter has switched the presentation screen.), And the process proceeds to step S512. On the other hand, when it is determined that the actual update amount is less than the reference update amount, there is no need to perform notification processing (that is, the display screen is only slightly updated because the update of the display screen is very small). It returns to step S504 without making a notification.
[0159]
Thereafter, in step S512, it is determined whether or not the timer value is equal to or greater than a specified value (step S512). Specifically, the notification interval management unit 124 first detects the timer value of the timer unit, and the timing at which the previous notification process was performed (in the case of initial display screen data transmission, when the timer operation starts in step S502). ) To get the elapsed time since. Next, the notification interval management unit 124 compares the elapsed time with a predetermined reference time (for example, 2 seconds). If it is determined by the comparison that the elapsed time is equal to or greater than the reference time, the update of the shared screen generated in the transmitted display screen data is worthy of notification (ie, the previous notification). Since a certain amount of time has passed, it is estimated that the presenter has switched the appropriate presentation screen.), And the process proceeds to step S514. On the other hand, if it is determined that the elapsed time is less than the reference time, it is determined that the notification process is not necessary (that is, the notification interval is too short and the notification process becomes complicated), and the process returns to step S504. .
[0160]
In this way, by controlling the notification process in steps S510 and S512, it is possible to perform a suitable notification process according to the presenter's needs.
[0161]
Next, in step S514, display screen state information of the receiving terminal device 10b is notified (step S514). Specifically, for example, the notification execution unit 122 displays the notification on the display screen of the transmission-side terminal device 10a as described with reference to FIGS. Notify the presenter that the switch has been completed.
[0162]
In step S516, the timer is reset (step S516). Specifically, the notification interval management unit 124 resets the measurement value of the timer unit, for example. As a result, the elapsed time since the notification process in step S514 is performed starts measurement.
[0163]
After the end of this step, the process returns to step S504, and the notification unit 130 waits until a notification that the reception completion signal is received from the transmission side transmission / reception unit 112 again. Thereafter, in the same manner as steps S506 to S516, the notification process is repeated after determining whether or not the notification is appropriate.
[0164]
<6. Data conferencing method>
Next, based on FIG. 17, the data conference method according to the present embodiment using the data conference system 1 as described above will be described. FIG. 17 is a flowchart showing the data conference method according to the present embodiment. Moreover, FIG. 18 is explanatory drawing for demonstrating the notification timing by the notification part 120 concerning this embodiment.
[0165]
As shown in FIG. 17, first, in step S600, a data conference is started (step S600). The preparation of the transmission side terminal device 10a and the reception side terminal device 10b is completed, and data transmission between both sides via the network 5 is also possible.
[0166]
Next, in step S602, the presentation software is activated on the transmission side terminal device 10a (step S602). On the transmitting terminal device 10a side, the presenter activates the presentation software necessary for presenting at the data conference, and reads the data file of the presentation contents. As a result, for example, a presentation software window is displayed on the display screen of the transmitting terminal device 10a, and the first presentation screen of the presentation content data is displayed in this window.
[0167]
Further, in step S604, the transmitting terminal device 10a transmits the first display screen data to the receiving terminal device 10b (step S604). The transmission side terminal device 10 a decodes the display screen data of the entire shared target area such as the entire display screen of itself or the range corresponding to the window of the presentation software, for example, and receives the reception side terminal device 10 b via the network 5. Send to.
[0168]
Thereafter, in step S606, the receiving terminal device 10b receives the first display screen data transmitted from the transmitting terminal device 10a (step S606).
[0169]
Next, in step S608, the receiving terminal device 10b decodes the received display screen data, performs drawing processing, and displays it on its own display screen (step S608). Thereby, the participant using the receiving side terminal device 10b can browse the first presentation screen, for example.
[0170]
Further, in step S610, the receiving terminal device 10b generates a reception completion signal for the first display screen data, and transmits this reception completion signal to the transmitting terminal device 10a via the network 5 (step S610). .
[0171]
Thereafter, in step S612, the transmitting terminal device 10a receives the reception completion signal (step S612).
[0172]
Next, in step S614, the transmission-side terminal device 10a performs notification processing of the display screen state of the reception-side terminal device 10b (step S614). Specifically, the notification unit 120 displays the notification as described in FIGS. 7 and 8 on the display screen of the transmission side terminal device 10a. Thereby, it is possible to notify the presenter that the first presentation screen has been displayed on the display screen of the receiving terminal device 10b. Note that this step may be omitted, for example, when it is not necessary to notify that the first presentation screen has been shared.
[0173]
Further, in step S616, the transmitting terminal device 10a performs a search process for its own display screen (step S616). Specifically, for example, the search unit 130 searches the search target area set in the display screen to detect the update area. If the update area cannot be detected, for example, the search process is performed again after a predetermined time has elapsed.
[0174]
Thereafter, in step S618, the transmitting terminal device 10a transmits the display screen data in the update area to the receiving terminal device 10b (step S618). Specifically, the transmission side terminal device 10a decodes the display screen data of the update area detected in step S616 and transmits it to the reception side terminal device 10b via the network 5. The display screen data transmitted in this step is, for example, only data that has been updated as compared with the display screen data transmitted last time, so that it is relatively more than the data for all screens transmitted in step S604. The amount of data is small. For this reason, the load applied to the decoding process and the transmission process of the transmission side terminal device 10a, and the reception process on the reception side terminal device 10b, etc. can be reduced.
[0175]
Thereafter, in step S620, the receiving terminal device 10b receives the display screen data of the update area transmitted from the transmitting terminal device 10a (step S620).
[0176]
Next, in step S622, the display screen data is decoded and then rendered, and displayed on its own display screen (step S622). Thereby, the display screen of the receiving terminal device 10b is updated. In particular, when the presentation screen is switched by the presenter on the transmission side terminal device 10a side, the display screen is also greatly updated and displayed on the reception side terminal device 10b side. Therefore, the participant can recognize that the presentation screen of the receiving terminal device 10b has been switched and can browse the new presentation screen.
[0177]
Further, in step S624, the receiving terminal device 10b generates a reception completion signal for the display screen data in the update area, and transmits this reception completion signal to the transmitting terminal device 10a via the network 5 (step S624). ).
[0178]
Thereafter, in step S626, the transmitting terminal device 10a receives a reception completion signal corresponding to the display screen data in the update area transmitted in step S618 (step S626).
[0179]
Next, in step S628, the transmitting terminal device 10a performs a notification processing subroutine (step S628). Since this notification processing subroutine is substantially the same as the processing flow of steps S508 to S516 of FIG. 16 described above, detailed description thereof is omitted. When the transmitted display screen data corresponds to the switching of the presentation screen by the notification processing subroutine and the predetermined time has elapsed since the previous notification, the display screen state information of the receiving terminal device 10b is displayed. Be notified. Specifically, the notification unit 120 notifies that the switching of the presentation screen of the receiving terminal device 10b is completed by displaying the notification on the display screen of the transmitting terminal device 10a, for example. Thereby, the presenter can recognize that the contents of the display screens of the transmission-side terminal device 10a and the reception-side terminal device 10b match.
[0180]
Thereafter, the same processing as in steps S616 to S628 is repeated until the data conference ends (step S630). In this way, as the data conference progresses, the transmission side terminal device 10a repeatedly provides the display screen update area and the reception side terminal device 10b reproduces the update area. The presentation screen that can be switched at any time in 10a can be shared on the receiving terminal device 10b side. At this time, every time the presenter switches the presentation screen, the fact that the switching of the presentation screen is completed on the receiving terminal device 10b side is notified appropriately on the display screen of the transmitting terminal device 10a.
[0181]
Here, the timing at which such notification is made will be described in more detail with reference to FIG. FIG. 18 is an explanatory diagram for explaining a notification timing by the notification unit 120 according to the present embodiment.
[0182]
As shown in FIG. 18 (a), while the conference is in progress, the display screen of the transmission side terminal device 10a is significantly changed (timing of ▲) due to switching of the presentation screen by the presenter, and FIG. 18 (b). As shown in (), the display screen may change slightly (timing ●) due to the blinking of the cursor and the automatic drawing processing function of the announcement software.
[0183]
Under such an environment, as shown in FIG. 18 (c), the transmission of the display screen data in the update area from the transmitting terminal device 10a to the receiving terminal device 10b (the timing of ■) is repeated. Further, in response to the transmission of such display screen data, the reception completion signal is repeatedly sent from the receiving terminal device 10b to the transmitting terminal device 10a. For this reason, as shown in FIG. 18D, the transmission-side terminal device 10a sequentially receives reception completion signals in accordance with, for example, the transmitted display screen data (× timing).
[0184]
However, the transmission-side terminal device 10a does not perform the notification process every time a reception completion signal is received, but performs the notification process only when the above update amount and elapsed time conditions are satisfied. Specifically, as shown in FIG. 18 (e), for example, when the notification process is once performed (A), the transmission-side terminal apparatus 10a thereafter does not perform the notification process within a predetermined reference time. Permission. For this reason, even if the presentation screen is switched by the presenter within this reference time and the display screen is significantly updated, the transmission side terminal device 10a does not perform the notification process (B). Furthermore, even after the elapse of this reference time, notification screens are not updated for slight updates of the display screen due to blinking of the cursor, etc., and the display screen is significantly updated by switching the presentation screen by the presenter. For the first time, notification processing is performed (C).
[0185]
As described above, by controlling the notification processing based on the update amount of the transmitted display screen data and the elapsed time since the previous notification, it is possible to perform only notification useful for the presenter.
[0186]
(Second Embodiment)
Next, a data conference system 1 and a data conference method according to the second embodiment of the present invention will be described. The data conference system 1 according to the second embodiment is different from the data conference system 1 according to the first embodiment only in that a plurality of receiving side terminal devices 10b are provided. Since the configuration is substantially the same as in the case of the first embodiment, description thereof is omitted.
[0187]
First, the overall configuration of the data conference system 1 according to the present embodiment will be described with reference to FIG. FIG. 19 is a block diagram showing a schematic configuration of the data conference system 1 according to the present embodiment.
[0188]
As shown in FIG. 19, the data conference system 1 according to the present embodiment includes, for example, one transmitting terminal device 10a and a plurality of receiving terminal devices 10b-1, 10b-2,. Then, it may be collectively referred to as a receiving terminal device 10b.) And a network 5 connecting the transmitting terminal device 10a and the receiving terminal device 10b.
[0189]
The transmitting terminal device 10a transmits its own display screen data to each of the plurality of receiving terminal devices 10b. On the other hand, each reception-side terminal device 10b transmits a reception completion signal to the transmission-side terminal device 10a, for example, when the reception processing and drawing processing of the display screen data are completed. Therefore, the transmission side terminal device 10a receives the reception completion signals from the plurality of reception side terminal devices 10b at different timings. The reason why the reception completion signal reception timing is shifted is because, for example, the processing capability of the receiving terminal device 10b itself, the communication speed and traffic of the network 5 through which the receiving terminal device 10b passes are different for each receiving terminal device 10b. .
[0190]
In order to cope with the difference in the reception timing of the reception completion signal, the transmission-side terminal device 10a according to the present embodiment uses, for example, the search unit 130 on the condition that reception completion signals are received from all reception-side terminal devices 10b. The search process and the notification process by the notification unit 120 are performed.
[0191]
Here, based on FIG. 20, an operation flow of the search unit 130 of the transmission-side terminal device 10a according to the present embodiment will be described. FIG. 20 is a flowchart showing an operation flow of the search unit 130 according to the present embodiment.
[0192]
As shown in FIG. 20, the operation flow of the search unit 130 according to the present embodiment has step S109 added as compared to the operation flow of the search unit 130 according to the first embodiment (see FIG. 12). The only difference is in the points, and the other processes are substantially the same as those in the first embodiment, and a description thereof will be omitted.
[0193]
Thus, step S109 will be described. For example, when the search unit 130 receives a notification that the reception completion signal has been received from the transmission side transmission / reception unit 112, the search unit 130 receives all the reception side terminal devices 10b by receiving the reception completion signal. It is determined whether or not the reception completion signal has been received. (Step S109). As a result, if it is determined that the reception completion signals have been received from all the receiving side terminal devices 10b, the process proceeds to step S110 and the search process is executed. On the other hand, if it is determined that the reception completion signal has not been received from all the reception side terminal devices 10b, the process returns to step S106 and waits for reception of reception completion signals from the other reception side terminal devices 10b. No processing is performed. Note that the reception completion signal determination process as described above may be executed by, for example, the transmission side transmission / reception unit 112 instead of the search unit 130.
[0194]
Next, based on FIG. 21, the operation flow of the notification unit 120 of the transmission side terminal device 10a according to the present embodiment will be described. FIG. 21 is a flowchart showing an operation flow of the notification unit 120 according to the present embodiment.
[0195]
As illustrated in FIG. 21, the operation flow of the notification unit 120 according to the present embodiment includes step S507 compared to the operation flow of the notification unit 120 according to the first embodiment (see FIG. 16). The only difference is in the points, and the other processes are substantially the same as those in the first embodiment, and a description thereof will be omitted.
[0196]
Thus, step S507 will be described. For example, when the notification unit 120 receives a notification that the reception completion signal has been received from the transmission side transmission / reception unit 112, the notification completion signal is received from the last receiver terminal device 10b, for example. It is determined whether or not (step S507). In other words, for example, the notification unit 120 determines whether or not the reception completion signals have been received from all the reception-side terminal devices 10b by receiving the reception completion signals. As a result, when it is determined that the reception completion signal has been received from all the receiving side terminal devices 10b, the process proceeds to step S508, and after the update amount is acquired, the predetermined condition (steps S510 and S512) is satisfied. The above process (step S514) is performed. On the other hand, if it is determined that the reception completion signals have not been received from all the reception side terminal devices 10b, the process returns to step S504 and waits for reception of reception completion signals from the other reception side terminal devices 10b. Note that the reception completion signal determination process as described above may be executed not by the notification unit 120 but by the transmission side transmission / reception unit 112, for example.
[0197]
Although not shown, the transmission side terminal device 10a, for example, if a reception completion signal is not returned from at least one reception side terminal device 10b even after a predetermined time has elapsed since the display screen data was transmitted. Then, it may be determined that some kind of error has occurred between the receiving terminal device 10b and the error processing may be executed. Specifically, for example, the receiving terminal device 10b ignores the receiving terminal device 10b that does not respond and executes search processing / notification processing, or retransmits transmitted display screen data. May be. As a result, the operation of the system can be ensured.
[0198]
Next, a data conference method according to the present embodiment using the data conference system 1 having the above configuration will be described with reference to FIG. FIG. 22 is a flowchart showing the data conference method according to the present embodiment. Note that, in FIG. 22, only the processing flow of the characteristic part is extracted and shown as compared with the data conference method according to the first embodiment, and the processing flow of the other part is shown in the first embodiment. Since this is substantially the same as the case of, the explanation is omitted.
[0199]
As shown in FIG. 22, first, the transmission side terminal device 10a simultaneously transmits, for example, display screen data in an update area to a plurality of reception side terminal devices 10b simultaneously (step S700).
[0200]
On the other hand, each receiving terminal device 10b receives the display screen data transmitted in step S700 (steps S702-1, 2,... N) and decodes it. Furthermore, each receiving-side terminal device 10b draws the display screen data (steps S704-1, 2,... N) and displays it on its own display screen. Thereafter, each reception-side terminal device 10b generates a reception completion signal, for example, when the drawing process is completed, and transmits the reception completion signal to the transmission-side terminal device 10a (steps S706-1, 2,... N). ).
[0201]
As a result, on the transmission side terminal device 10a side, reception completion signals from the reception side terminal devices 10b are received at different timings (steps S708-1, 2,... N), and received from all reception side terminal devices 10b. When the completion signal is received, a notification processing subroutine as described with reference to FIG. 17 is performed (step S710).
[0202]
More specifically, the transmission side terminal device 10a does not perform the notification processing subroutine even if, for example, a reception completion signal is received from the relatively high speed reception side terminal device 10b-1 (step S708-1). Furthermore, even if the transmitting terminal device 10a receives the reception completion signal sequentially from the other receiving terminal devices 10b-n (step S708-n), the receiving terminal device that has not yet received the reception completion signal. If 10b exists, the notification processing subroutine is not performed yet. After that, only when the reception completion signal is received from the latest receiving terminal device 10b-2 (step S708-2), the transmitting terminal device 10a executes a notification processing subroutine, and performs notification processing if the above conditions are satisfied. This is performed (step S710).
[0203]
After that, the transmission-side terminal device 10a performs display screen search processing again (step S712), and when an update area is detected, the display screen data of the update area is extracted and encoded. Thereafter, steps S700 to S712 are repeated.
[0204]
In this way, the transmission-side terminal device 10a can perform notification processing according to, for example, the reception-side terminal device 10b having the slowest processing capability and communication speed. For this reason, the presenter can start explanation or switch to the next presentation screen after confirming that all the receiving side terminal devices 10b have switched to the presentation screen of the transmitting side terminal device 10a. Accordingly, since there is no difference between the presentation screen and the explanation contents in some of the slow receiving side terminal devices 10b, all the participants can properly understand the announcement contents.
[0205]
As described above, in the data conference system 1 according to the present embodiment, for example, in accordance with the reception-side terminal device 10b that has the slowest switching of the display screen, the transmission-side terminal device 10a performs notification processing and the like to advance the conference. However, it is not limited to such an example.
[0206]
For example, notification processing is performed in accordance with one or more specific reception-side terminal devices 10b (hereinafter referred to as reference reception-side terminal devices 10b) selected in advance from among a plurality of reception-side terminal devices 10b. Also good.
[0207]
Specifically, for example, before the start of the meeting, the main participants of the meeting (for example, those who have a high post, such as the president or officers, persons in the department corresponding to the agenda, memoirs, business partners, etc.) ) Is used in advance as the reference receiving terminal device 10b. During the conference, for example, when the transmitting terminal device 10a receives the reception completion signal from the reference receiving terminal device 10b, the display screen status information of the receiving terminal device 10b is displayed on the display screen. A notification may be displayed.
[0208]
As a result, the presenter can grasp that the display screen of the reference receiving side terminal device 10b used by the main participant has been suitably switched. Therefore, the presenter announces according to the state of the display screen of the main participant. Can proceed.
[0209]
Also in this embodiment, the transmission right 7 can be exchanged between a plurality of terminal devices 10. Specifically, in the example of FIG. 16, the transmission right 7 possessed by the transmission-side terminal device 10 a is transferred to any one of the reception-side terminal devices 10 b-1, 2,. be able to. In this way, by allowing the transmission right 7 to be exchanged between the terminal devices 10, the presenter of the data conference can use the display screen data of the terminal device 10 to other terminals regardless of which terminal device 10 is used. It is possible to share the apparatus 10 and make a presentation. It is also possible to change the presenter sequentially among participants in the data conference.
[0210]
As described above, in the data conference system 1 according to the first and second embodiments, the transmission side terminal device 10a receives, for example, the reception completion signal corresponding to the transmitted display screen data. The display screen state information indicating the switching status of the presentation screen on the side terminal device 10b side can be notified and displayed on the display screen. Thereby, for example, it is possible to notify the presenter that the display screen of the transmitting terminal device 10a used by the presenter and the display screen of the receiving terminal device 10b used by the participant match.
[0211]
For this reason, since the presenter can grasp the state of the presentation screen on the part of the participant based on the notification, for example, the presenter can proceed with the presentation with peace of mind. Specifically, for example, the presenter can confirm that the presentation screen on the participant's side has been switched, and then can start explaining the presentation screen, and at the next time the next presentation screen can be displayed at a suitable timing. Can be switched.
[0212]
For this reason, on the receiving side terminal device 10b side, the explanation about the contents of the presentation screen by the presenter does not start before the presentation screen is switched. That is, on the receiving side terminal device 10b side, there is no deviation between the displayed presentation screen and the explanation contents by the presenter. Therefore, the participants can understand the content of the presentation by the presenter and the progress of the conference becomes smooth.
[0213]
In addition, as a condition for performing the above notification process, the amount of update of the display screen data and the elapsed time from the previous notification are measured, and the display screen is updated so that the update fee and the elapsed time become a certain amount or more. Only when the transmission side terminal device 10a does the notification process. For this reason, notification processing is not executed for changes in the display screen that make little sense as presentation contents, such as blinking cursors, so that the presentation progress by the presenter can be prevented.
[0214]
Further, the private screen area can be overlaid on the display screen of the transmission side terminal device 10a, and the display screen state information of the reception side terminal device 10b can be notified and displayed on this private screen area. For this reason, it is possible to prevent the notification display from being displayed on the display screen of the receiving terminal device 10b. Therefore, notification information can be provided only to the presenter without disturbing the viewing of the presentation screen by the participant on the receiving side terminal device 10b side.
[0215]
In addition, such a data conference system 1 does not require a separate facility such as a camera video providing means, and the display of the receiving terminal device 10b is displayed to the presenter only by using the relatively simple configuration as described above. The screen state can be notified easily and accurately.
[0216]
Furthermore, in the data conference system 1 according to the second embodiment, for example, the transmission side terminal device 10a performs the notification process after receiving the reception completion signal from all of the plurality of reception side terminal devices 10b. Even if the receiving terminal device 10b has a low speed, the presentation screen does not jump.
[0217]
As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, this invention is not limited to this example. It will be obvious to those skilled in the art that various changes or modifications can be conceived within the scope of the technical idea described in the claims, and these are naturally within the technical scope of the present invention. It is understood that it belongs.
[0218]
For example, in the data conference system 1 according to the above-described embodiment, various data is directly transmitted and received between the transmitting terminal device 10a and the receiving terminal device 10b via the network 5, but the present invention is limited to such an example. Not. For example, as shown in FIG. 23, in the data conference system 1, the management server 20 is provided between the transmission-side terminal device 10a and the reception-side terminal device 10b, so that the transmission-side terminal device 10a and the reception-side terminal device 10b. It is also possible to configure as a client / server (Client / Server) type network system using as a client. Thereby, the management server 20 may perform all or part of various processes such as transmission / reception of display screen data and reception completion signal and notification of display screen state information as described above.
[0219]
In the above embodiment, the search unit 130 performs a search process on the search target area set in units of windows, but the present invention is not limited to such an example. For example, the search unit 130 may execute a full screen search that always searches the entire area of the display screen, a specific area search that always searches for a specific area in the display screen, and the like. The shape of the search target area is not limited to the rectangle as described above, and may be any shape such as various polygons and circles.
[0220]
Further, in the above embodiment, the receiving terminal device 10b generates and transmits a reception completion signal when the drawing processing of the received display screen data is completed, but the present invention is not limited to such an example. For example, the reception-side terminal device 10b may generate and transmit the reception completion signal when reception processing of the transmitted display screen data is completed. In this case, for example, an ACK generally used as a transmission / reception operation end signal on the TCP / IP network may be used as the reception completion signal.
[0221]
In the above embodiment, the transmission right 7 can be exchanged between the transmission-side terminal device 10a and the reception-side terminal device 10b. However, the present invention is not limited to this example. For example, only the predetermined terminal device 10 used by the presenter may be allowed to possess the transmission right 7, and the other terminal devices 10 may be configured to always function only as the receiving-side terminal device 10b.
[0222]
Moreover, although the notification part 120 demonstrated the example which notifies the receiving side screen switch completion information as display screen state information of the receiving side terminal device 10b in the said embodiment, this invention is not limited to this example. For example, the notification unit 120 turns on / off the power of the receiving terminal device 10b (whether the display screen appears), whether or not there is an operation by the participant within the past predetermined time (the participant is seated, the receiving terminal device Various information regarding the state of the receiving terminal device 10b may be notified, such as whether or not the display screen 10b is being browsed.
[0223]
【The invention's effect】
As described above, according to the present invention, the presenter can easily grasp the display screen state of the receiving terminal device by the display device state information being notified by the transmitting terminal device.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of a data conference system according to a first embodiment;
FIG. 2 is a block diagram illustrating a schematic configuration of a terminal device according to the first embodiment;
FIG. 3 is an explanatory diagram illustrating a specific example of a display screen of the transmission-side terminal device according to the first embodiment.
FIG. 4 is an explanatory diagram illustrating a specific example of a search target area and an update area on the display screen of the transmission-side terminal device according to the first embodiment;
FIG. 5 is an explanatory diagram illustrating a specific example of a shared screen displayed on the display unit of the transmission-side terminal device and the reception-side terminal device according to the first embodiment.
FIG. 6 is a block diagram illustrating a configuration of a notification unit according to the first embodiment.
FIG. 7 is an explanatory diagram illustrating a specific example of notification display on the display screen of the transmission-side terminal device according to the first embodiment;
FIG. 8 is an explanatory diagram illustrating a modification example of the notification display according to the first embodiment;
FIG. 9 is an explanatory diagram illustrating a specific example of a countdown notification display according to the first embodiment.
FIG. 10 is an explanatory diagram for explaining region division of the display screen of the transmission-side terminal device according to the first embodiment;
FIG. 11 is a block diagram for explaining a schematic operation flow of the data conference system according to the first embodiment;
FIG. 12 is a flowchart illustrating an operation flow of a search unit according to the first embodiment;
FIG. 13 is a flowchart illustrating an operation flow of a transmitting-side transmitting / receiving unit according to the first embodiment;
FIG. 14 is a flowchart illustrating an operation flow of a reception-side transmission / reception unit according to the first embodiment;
FIG. 15 is a flowchart illustrating an operation flow of the image drawing unit according to the first embodiment;
FIG. 16 is a flowchart illustrating an operation flow of a notification unit according to the first embodiment;
FIG. 17 is a flowchart illustrating a data conference method according to the first embodiment;
FIG. 18 is an explanatory diagram for explaining a notification timing by a notification unit according to the first embodiment;
FIG. 19 is a block diagram illustrating a schematic configuration of a data conference system according to a second embodiment;
FIG. 20 is a flowchart illustrating an operation flow of a search unit according to the second embodiment;
FIG. 21 is a flowchart illustrating an operation flow of a search unit according to the second embodiment;
FIG. 22 is a flowchart showing a data conference method according to the second embodiment;
FIG. 23 is a block diagram illustrating a schematic configuration of a data conference system according to a modification.
[Explanation of symbols]
1: Data conferencing system
5: Network
7: Transmission right
10: Terminal device
10a: transmitting terminal device
10b: transmitting terminal device
102: CPU
104: Storage unit
106: Input section
108: Display unit
110: Transmission / reception unit
112: Transmission side transceiver
114: Reception side transceiver
120: Notification section
122: Notification execution unit
124: Notification interval management unit
126: Update amount management unit
128: Prediction unit
130: Search section
140: Image drawing monitoring unit
200: Display screen of transmitting terminal device
210: Search target area
220: Notification area
250: Shared screen area
260: Private screen area
300: Display screen of receiving terminal device
302: Shared window

Claims (11)

1または2以上の送信側端末装置と1または2以上の受信側端末装置とがネットワークを介して接続され,前記送信側端末装置の表示画面データを前記受信側端末装置で共有するデータ会議システムであって:
前記送信側端末装置は,
表示画面内に検索対象領域を設定する検索対象領域設定部と;
設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索実行部と;
前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するとともに,前記受信側端末装置から,前記更新領域に対応する表示画面データの受取完了信号を受信する,送信側送受信部と;
前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する,通知部と;
を備え,
前記受信側端末装置は,
前記送信側端末装置から,前記更新領域に対応する表示画面データを受信する受信側受信部と;
受信した前記更新領域に対応する表示画面データを表示画面上に描画処理する画像描画部と;
当該描画処理後に,前記受取完了信号を前記送信側端末装置に送信する,受信側送信部と;
を備える,データ会議システム。
In a data conference system in which one or two or more transmitting terminal devices and one or two or more receiving terminal devices are connected via a network, and display screen data of the transmitting terminal device is shared by the receiving terminal device There:
The transmission side terminal device is:
A search target area setting unit for setting a search target area in the display screen;
The set search target area is searched, an update area where the display screen is updated is detected, and display screen data corresponding to the update area is extracted from the display screen data displayed on the display screen. A search execution unit to perform;
The display screen data corresponding to the extracted update area is transmitted to the receiving terminal device, and the reception completion signal of the display screen data corresponding to the update area is received from the receiving terminal device. A transmitting side transceiver unit;
A notification unit for notifying display screen state information of the receiving terminal device in response to reception of the reception completion signal;
With
The receiving terminal device
A receiving-side receiving unit that receives display screen data corresponding to the update area from the transmitting-side terminal device;
An image drawing unit for drawing the display screen data corresponding to the received update area on the display screen;
A receiving side transmitting unit that transmits the reception completion signal to the transmitting side terminal device after the drawing process;
A data conferencing system.
ネットワークを介して接続された1又は2以上の受信側端末装置に,表示画面データを共有させる送信側端末装置であって:
表示画面内に検索対象領域を設定する検索対象領域設定部と;
設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索実行部と;
前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するとともに,前記受信側端末装置から,前記更新領域に対応する表示画面データの受取完了信号を受信する,送信側送受信部と;
前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する,通知部と;
を備える送信側端末装置。
A transmission-side terminal device that allows one or more reception-side terminal devices connected via a network to share display screen data:
A search target area setting unit for setting a search target area in the display screen;
The set search target area is searched, an update area where the display screen is updated is detected, and display screen data corresponding to the update area is extracted from the display screen data displayed on the display screen. A search execution unit to perform;
The display screen data corresponding to the extracted update area is transmitted to the receiving terminal device, and the reception completion signal of the display screen data corresponding to the update area is received from the receiving terminal device. A transmitting side transceiver unit;
A notification unit for notifying display screen state information of the receiving terminal device in response to receiving the reception completion signal;
The comprising, transmitting terminal device.
前記通知部は,
前記送信された表示画面データの更新量に基づいて,前記表示画面状態情報の通知を制御する請求項2に記載の送信側端末装置。
The notification unit
Based on the update amount of the display screen data to which the transmitted, controls the notification of the display screen state information, the transmission-side terminal apparatus according to claim 2.
前記通知部は,
前回通知したときからの経過時間に基づいて,前記表示画面状態情報の通知を制御する請求項2に記載の送信側端末装置。
The notification unit
Based on the elapsed time from when notification last controls the notification of the display screen state information, the transmission-side terminal apparatus according to claim 2.
前記通知部は,
複数の前記受信側端末装置の全てから前記受取完了信号を受信した場合に,前記表示画面状態情報を通知する請求項2に記載の送信側端末装置。
The notification unit
When all of the plurality of the receiving terminal apparatus receiving the reception completion signal, and notifies the display screen state information, the transmission-side terminal apparatus according to claim 2.
前記通知部は,
複数の前記受信側端末装置の中から予め選択された少なくとも1の基準受信側端末装置から前記受取完了信号を受信した場合に,前記表示画面状態情報を通知する請求項2に記載の送信側端末装置。
The notification unit
When receiving the reception completion signal from at least one reference receiving terminal apparatus preselected from among the plurality of receiving terminal apparatus, and notifies the display screen state information, the transmission side according to claim 2 Terminal device.
前記通知部は,
少なくとも前記送信された表示画面データのデータ量に基づいて,前記受取完了信号の受信タイミングを予測し,
前記予測した受取完了信号の受信タイミングに基づいて,前記表示画面状態情報を通知する請求項2に記載の送信側端末装置。
The notification unit
Predicting the reception timing of the reception completion signal based on at least the data amount of the transmitted display screen data;
The predicted based on the reception timing of the reception completion signal, and notifies the display screen state information, the transmission-side terminal apparatus according to claim 2.
前記送信側端末装置の表示画面は,
少なくとも,前記受信側端末装置が共有する共有画面領域と,前記受信側端末装置が共有しない私有画面領域と,からなり,
前記通知部は,
前記私有画面領域に前記表示画面状態情報を表示出力することにより,前記表示画面状態情報を通知する請求項2に記載の送信側端末装置。
The display screen of the transmitting terminal device is:
At least a shared screen area shared by the receiving terminal device and a private screen area not shared by the receiving terminal device,
The notification unit
By displaying and outputting the display screen state information on the private screen area, and notifies the display screen state information, the transmission-side terminal apparatus according to claim 2.
前記受信側端末装置に前記更新領域に対応する表示画面データを送信してから,前記受信側端末装置から前記受取完了信号を受信するまでの期間は,前記検索実行部による前記検索処理を実行しないよう制御する検索処理制御部をさらに備える,請求項2に記載の送信側端末装置。During the period from when the display screen data corresponding to the update area is transmitted to the receiving terminal device until the reception completion signal is received from the receiving terminal device, the search processing by the search execution unit is not executed. The transmission-side terminal device according to claim 2, further comprising a search processing control unit that controls the transmission side. コンピュータをして:
ネットワークを介して接続された1又は2以上の受信側端末装置に,表示画面データを共有させる送信側端末装置であって:
表示画面内に検索対象領域を設定する検索対象領域設定部と;
設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索実行部と;
前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するとともに,前記受信側端末装置から,前記更新領域に対応する表示画面データの受取完了信号を受信する,送信側送受信部と;
前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する,通知部と;
を備える送信側端末装置として機能せしめるプログラム。
Have a computer:
A transmission-side terminal device that allows one or more reception-side terminal devices connected via a network to share display screen data:
A search target area setting unit for setting a search target area in the display screen;
The set search target area is searched, an update area where the display screen is updated is detected, and display screen data corresponding to the update area is extracted from the display screen data displayed on the display screen. A search execution unit to perform;
The display screen data corresponding to the extracted update area is transmitted to the receiving terminal device, and the reception completion signal of the display screen data corresponding to the update area is received from the receiving terminal device. A transmitting side transceiver unit;
A notification unit for notifying display screen state information of the receiving terminal device in response to receiving the reception completion signal;
A program that causes a transmission-side terminal device to function.
1または2以上の送信側端末装置と1または2以上の受信側端末装置とがネットワークを介して接続され,前記送信側端末装置の表示画面データを前記受信側端末装置で共有するデータ会議方法であって:
前記送信側端末装置が,表示画面内に検索対象領域を設定する検索対象領域設定ステップと;
前記送信側端末装置が,設定された前記検索対象領域を検索処理して,前記表示画面が更新されている更新領域を検出し,前記表示画面に表示されている表示画面データから前記更新領域に対応する表示画面データを抽出する検索ステップと;
前記送信側端末装置が,前記受信側端末装置に対して,抽出された前記更新領域に対応する表示画面データを送信するデータ送信ステップと;
前記受信側端末装置が,前記送信側端末装置から,前記更新領域に対応する表示画面データを受信するデータ受信ステップと;
前記受信側端末装置が,受信した前記更新領域に対応する表示画面データを表示画面上に描画処理する描画ステップと;
前記受信側端末装置が,当該描画処理後に,前記更新領域に対応する表示画面データの受取完了信号を前記送信側端末装置に送信する受取完了信号送信ステップと;
前記送信側端末装置が,前記受信側端末装置から,前記受取完了信号を受信する受取完了信号受信ステップと;
前記送信側端末装置が,前記受取完了信号の受信に応じて,前記受信側端末装置の表示画面状態情報を通知する通知ステップと;
を含む,データ会議方法。
A data conference method in which one or two or more transmitting terminal devices and one or two or more receiving terminal devices are connected via a network, and display screen data of the transmitting terminal device is shared by the receiving terminal device. There:
A search target area setting step in which the transmitting terminal device sets a search target area in the display screen;
The transmitting terminal device searches the set search target area, detects an update area where the display screen is updated, and changes the display screen data displayed on the display screen to the update area. A search step for extracting corresponding display screen data;
A data transmission step in which the transmitting terminal device transmits display screen data corresponding to the extracted update area to the receiving terminal device;
A data receiving step in which the receiving terminal device receives display screen data corresponding to the update area from the transmitting terminal device;
A drawing step in which the receiving terminal device draws display screen data corresponding to the received update area on a display screen;
A reception completion signal transmission step in which the reception side terminal device transmits a reception completion signal of display screen data corresponding to the update area to the transmission side terminal device after the drawing process;
A reception completion signal receiving step in which the transmission side terminal device receives the reception completion signal from the reception side terminal device;
A notification step in which the transmission side terminal device notifies display screen state information of the reception side terminal device in response to reception of the reception completion signal;
Data conferencing methods , including
JP2003051376A 2003-02-27 2003-02-27 Data conferencing system, transmitting terminal device, receiving terminal device, program, data conferencing method Expired - Fee Related JP4264536B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003051376A JP4264536B2 (en) 2003-02-27 2003-02-27 Data conferencing system, transmitting terminal device, receiving terminal device, program, data conferencing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003051376A JP4264536B2 (en) 2003-02-27 2003-02-27 Data conferencing system, transmitting terminal device, receiving terminal device, program, data conferencing method

Publications (2)

Publication Number Publication Date
JP2004259158A JP2004259158A (en) 2004-09-16
JP4264536B2 true JP4264536B2 (en) 2009-05-20

Family

ID=33116530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003051376A Expired - Fee Related JP4264536B2 (en) 2003-02-27 2003-02-27 Data conferencing system, transmitting terminal device, receiving terminal device, program, data conferencing method

Country Status (1)

Country Link
JP (1) JP4264536B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4751647B2 (en) * 2005-06-03 2011-08-17 株式会社リコー Screen sharing apparatus, screen sharing method, screen sharing program, and recording medium
EP1980949A4 (en) * 2006-01-31 2010-04-14 Fujitsu Ltd Content distribution method and device in teleconference
JP4560115B2 (en) * 2008-04-10 2010-10-13 株式会社日立製作所 Distribution management method, distribution management system, and distribution management server
JP5003706B2 (en) * 2009-03-23 2012-08-15 富士ゼロックス株式会社 Information processing apparatus, information processing system, and program
JP5664442B2 (en) 2011-04-27 2015-02-04 ブラザー工業株式会社 Video conference apparatus, display control method, and display control program
JP5935786B2 (en) * 2013-11-21 2016-06-15 キヤノンマーケティングジャパン株式会社 Information processing apparatus, information processing system, control method thereof, and program
JP5999126B2 (en) * 2014-02-28 2016-09-28 キヤノンマーケティングジャパン株式会社 Information processing apparatus, information processing method, and program
US9467514B2 (en) * 2014-03-12 2016-10-11 Cameron International Corporation Token-based data management system and method for a network
JP6382708B2 (en) * 2014-12-22 2018-08-29 Kddi株式会社 Communication terminal, display control system, and display control method
JP2017068530A (en) * 2015-09-30 2017-04-06 ブラザー工業株式会社 Program and remote conference method
JP6455939B2 (en) * 2016-09-27 2019-01-23 株式会社デンソーテン Communication method
JP7400316B2 (en) 2019-10-04 2023-12-19 株式会社リコー Communication systems, data sharing methods, programs, communication terminals

Also Published As

Publication number Publication date
JP2004259158A (en) 2004-09-16

Similar Documents

Publication Publication Date Title
JP3972836B2 (en) Display screen sharing system, transmitting terminal device, program, and display screen sharing method
EP3304942B1 (en) Method and apparatus for sharing application
WO2021098738A1 (en) Method and apparatus for controlling horizontal and vertical screen operation of television, and storage medium
TWI536855B (en) Content sharing method and device
US10735930B2 (en) Method and apparatus for sharing application
JP4264536B2 (en) Data conferencing system, transmitting terminal device, receiving terminal device, program, data conferencing method
WO2019080065A1 (en) Display method and apparatus
JP2012053642A (en) Communication device, communication system, communication control method, and communication control program
JPH11154178A (en) Communication managing device and recording medium
CN117319734A (en) Continuing to play media content via different output devices
JP7443621B2 (en) Video interaction methods, devices, electronic devices and storage media
KR20110085520A (en) Method and apparatus for playing of contents in multimedia data providing system
CN101529867A (en) Sharing multimedia content in a peer-to-peer configuration
WO2016127687A1 (en) Media file playback progress synchronization method, device and system
CN113965807A (en) Message pushing method, device, terminal, server and storage medium
KR20150079371A (en) Apparatus, system, and method for transferring data from a terminal to an electromyography device
JP2024504121A (en) Interaction methods, devices, electronic devices and storage media
KR20180129677A (en) Communication apparatus, communication method, and storage medium
JP2010004359A (en) Controller, control method and control system
CN114007125A (en) Volume control method, mobile terminal, target device and storage medium
JP2005538638A (en) Wireless projection system
JP2022517562A (en) How to run standalone programs, appliances, devices and computer programs
JP4533020B2 (en) Multimedia content providing system, home content server, and viewing device
JP5853003B2 (en) Screen sharing terminal, screen sharing method, program for screen sharing terminal
WO2023237102A1 (en) Voice chat display method and apparatus, electronic device, and computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080924

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees