JP2014195183A - プログラム、通信装置 - Google Patents
プログラム、通信装置 Download PDFInfo
- Publication number
- JP2014195183A JP2014195183A JP2013070742A JP2013070742A JP2014195183A JP 2014195183 A JP2014195183 A JP 2014195183A JP 2013070742 A JP2013070742 A JP 2013070742A JP 2013070742 A JP2013070742 A JP 2013070742A JP 2014195183 A JP2014195183 A JP 2014195183A
- Authority
- JP
- Japan
- Prior art keywords
- input
- display area
- display
- unit
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 198
- 239000000463 material Substances 0.000 claims description 196
- 238000000034 method Methods 0.000 claims description 139
- 238000011156 evaluation Methods 0.000 claims description 112
- 230000008859 change Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 description 126
- 230000006870 function Effects 0.000 description 24
- 238000012545 processing Methods 0.000 description 18
- 230000004044 response Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
- H04L65/1093—In-session procedures by adding participants; by removing participants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
- H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】ネットワークを介した遠隔会議に参加するユーザによって操作される通信装置で共有資料の表示と共有資料への注釈の入力に関する好適な操作性を実現可能な、通信装置を制御するコンピュータが実行可能なプログラムと通信装置を提供する。
【解決手段】通信装置に接続される表示部に表示された遠隔会議画面内の第1表示領域には共有資料の第1部分が表示される。通信装置が共有資料に対する注釈の入力を受け付ける状態である場合、遠隔会議画面内の第2表示領域が、第1部分を共有資料の第2部分に移動させる第1入力を受け付ける領域として設定される。第1入力が取得された場合、第1表示領域に表示される共有資料の部分は第1部分から第2部分に移動され第2部分が表示される。第2表示領域外で且つ第1表示領域内の位置に対する第2入力が取得された場合、第2入力に対応する注釈が第1表示領域に第1部分と共に表示される。
【選択図】図7
【解決手段】通信装置に接続される表示部に表示された遠隔会議画面内の第1表示領域には共有資料の第1部分が表示される。通信装置が共有資料に対する注釈の入力を受け付ける状態である場合、遠隔会議画面内の第2表示領域が、第1部分を共有資料の第2部分に移動させる第1入力を受け付ける領域として設定される。第1入力が取得された場合、第1表示領域に表示される共有資料の部分は第1部分から第2部分に移動され第2部分が表示される。第2表示領域外で且つ第1表示領域内の位置に対する第2入力が取得された場合、第2入力に対応する注釈が第1表示領域に第1部分と共に表示される。
【選択図】図7
Description
本発明は、ネットワークを介した遠隔会議に参加するユーザによって操作される通信装置を制御するコンピュータが実行可能なプログラムと、通信装置に関する。
ネットワークを介した遠隔会議に関する技術が提案されている。例えば、特許文献1には、パーソナルコンピュータ等の計算機上で、電子的なコミュニケーションツールを用いて通信会議や協同作業を行う場合のコミュニケーション支援に関する技術として、共有ビュー表示方法が開示されている。この表示方法では、資料表示レイヤと協同編集のための協同描画レイヤの間に、共有ビュー表示レイヤが新たに作られる。この共有ビュー表示レイヤにそれぞれの参加者が資料中のどこの部分を表示しているかという情報が表示される。これらの各レイヤは、重ね合わせて合成表示される。この表示方法によれば、ユーザは共有資料の表示をスクロールや倍率変更などで自由に変更することができる。さらに、自分と他の参加者がそれぞれ表示している共有資料の表示上の違いや共有資料中のビューの共有状態が容易に把握できるため、協同作業中のポインティングや編集といった操作を容易に行うことができるようになる。
ネットワークを介して複数の通信装置を接続した遠隔会議システムが実用化されている。遠隔会議システムでは、ネットワークを介して接続された各通信装置を、遠隔会議に参加する各ユーザが操作することで、遠隔会議が行われる。遠隔会議では、共有資料データが各通信装置で共有される場合がある。各通信装置では、共有資料データに対応する共有資料が表示され、各通信装置のユーザは、この共有資料を利用して遠隔会議に参加する。さらに、各通信装置では、共有資料に対する注釈を入力することもできる。この場合、所定の通信装置で入力された注釈は、相手方の通信装置でも表示中の共有資料と共に表示される。
通信装置が表示部の画面サイズが小さいスマートフォン又はタブレット端末のような携帯端末である場合、共有資料を表示するための表示領域は狭くなる。狭い表示領域では、共有資料の一部のみが表示されることもある。表示されている共有資料の部分を移動させる場合、通信装置に対して移動のための入力がされる。通信装置では、ユーザ操作による入力が、上述した注釈の入力であるか、移動の入力であるかが判断されなければならない。この判断を行うために、例えば、注釈のためのモードと、移動のためのモードを設定し、ユーザにモードの切り替えを要求することもできる。但し、このような仕様では、ユーザは、切り替えの都度、切り替えの操作を行わなければならない。
本発明は、ネットワークを介した遠隔会議に参加するユーザによって操作される通信装置で共有資料の表示と共有資料への注釈の入力に関する好適な操作性を実現可能な、通信装置を制御するコンピュータが実行可能なプログラムと通信装置を提供することを目的とする。
本発明の一側面は、ネットワークを介した遠隔会議に参加するユーザによって操作される通信装置を制御するコンピュータが実行可能なプログラムであって、前記コンピュータを、前記通信装置に接続される表示部に表示された前記遠隔会議に関する表示が含まれる遠隔会議画面内の第1表示領域に、前記遠隔会議に参加する相手方によって操作される相手方装置との間で共有される共有資料データに対応する共有資料の第1部分を表示する指示を、前記表示部に出力する表示制御手段と、前記通信装置が前記共有資料に対する注釈の入力を受け付ける第1状態である場合、前記遠隔会議画面内の前記第1表示領域よりも面積の小さい第2表示領域を、前記第1表示領域に表示されている前記第1部分を前記共有資料の第2部分に移動させる第1入力を受け付ける領域として設定する設定手段と、前記通信装置に接続される操作部によって受け付けられた、前記遠隔会議画面に対する入力を取得する入力取得手段と、前記設定手段によって前記第2表示領域が設定された状態で、前記入力取得手段によって取得された入力が、前記第2表示領域の位置に対する前記第1入力であるか、前記第2表示領域外で且つ前記第1表示領域内の位置に対する第2入力であるか、を判断する入力判断手段と、前記入力判断手段によって、前記入力取得手段で取得された入力が前記第2入力であると判断される場合、前記第2入力に対応する前記注釈を示すデータを、前記ネットワークに接続された前記通信装置が備える通信部から前記相手方装置に送信する通信制御手段と、して機能させ、前記表示制御手段は、前記設定手段によって設定された前記第2表示領域を、前記第1表示領域と異なる状態で表示する指示を前記表示部に出力し、前記入力判断手段によって、前記入力取得手段で取得された入力が前記第1入力であると判断される場合、前記第1表示領域に表示される前記共有資料の部分を前記第1部分から前記第2部分に移動し、前記第1表示領域に前記第2部分を表示する指示を前記表示部に出力し、前記入力判断手段によって、前記入力取得手段で取得された入力が前記第2入力であると判断される場合、前記第2入力に対応する前記注釈を前記第1表示領域に前記第1部分と共に表示する指示を前記表示部に出力する、機能を含む、プログラムである。
これによれば、遠隔会議画面内で第1入力と第2入力を受け付けることができる。第1入力によって、第1表示領域に表示されている共有資料の第1部分を共有資料の第2部分に移動させることができる。第2入力に対応する注釈を送信し、表示部に表示することができる。例えば、ユーザは、第1入力又は第2入力を行うに際し、モード選択といった所定の操作を行う必要がない。「前記通信装置に接続される表示部」及び「前記通信装置に接続される操作部」は、広く解釈される。即ち、通信装置に対して表示部は、一体又は別体の何れであってもよい。通信装置に対して操作部は、一体又は別体の何れであってもよい。「相手方装置との間で共有される共有資料データ」における「共有」は、広く解釈される。例えば、通信装置及び相手方装置は、同じ共有資料データをそれぞれ取得する場合を含む。「第2表示領域」は、遠隔会議画面内の一部領域であって、例えば、第1表示領域と重複した遠隔会議画面内の領域であってもよい。
このプログラムは、次のようにしてもよい。前記設定手段は、前記相手方装置で撮影され、前記相手方装置から前記ネットワークを介して送信される撮影データ又は前記通信装置に接続される撮影部で撮影された撮影データに対応する撮影画像を表示する前記第1表示領域内の一部領域を、前記第2表示領域として設定し、前記表示制御手段は、前記撮影画像を、前記第1表示領域と異なる状態で表示する指示を前記表示部に出力する、機能を含む、ようにしてもよい。これによれば、相手方装置で撮影された撮影データ又は通信装置で撮影された撮影データに対応した撮影画像を表示する遠隔会議画面内の一部領域に第2表示領域を設定することができる。「前記通信装置に接続される撮影部」は、広く解釈される。即ち、通信装置に対して撮影部は、一体又は別体の何れであってもよい。
前記コンピュータを、前記撮影画像が前記第1表示領域内の一部領域に表示されているか否かを判断する表示判断手段として機能させ、前記設定手段は、前記表示判断手段によって前記撮影画像が表示されていると判断される場合、前記撮影画像を表示する前記第1表示領域内の一部領域を、前記第2表示領域として設定する機能を含む、ようにしてもよい。これによれば、撮影画像の表示に応じて第2表示領域を設定することができる。撮影画像を含むように第2表示領域を設定することで、第1表示領域に対する第2入力が妨げられることを抑制することができる。
前記コンピュータを、前記相手方装置の表示部に表示された前記遠隔会議に関する表示が含まれる相手方会議画面において前記共有資料を表示する表示領域内に表示されている前記共有資料の所定の位置を示し、前記相手方装置から前記ネットワークを介して送信される位置情報を取得する第1取得手段として機能させ、前記設定手段は、前記第1取得手段によって取得された前記位置情報が示す前記所定の位置と、前記第1表示領域上の位置と、の間の距離に対応する第1評価値を、前記第1表示領域上の位置に対して決定し、前記第1評価値に基づいて、前記第2表示領域の位置を特定し、特定された位置に前記第2表示領域を設定する、機能を含む、ようにしてもよい。これによれば、取得された位置情報が示す共有資料の所定の位置と第1表示領域上の位置の間の距離に対応する第1評価値に基づき第2表示領域を設定することができる。
前記設定手段は、前記第1表示領域を分割した前記第1表示領域内の複数の分割領域のそれぞれを、前記第1取得手段によって取得された前記位置情報が示す前記所定の位置に近い前記分割領域程、重み付けの度合いが高くなるように、前記第1評価値を決定する機能を含む、ようにしてもよい。これによれば、第1評価値を決定することができる。
前記設定手段は、前記第1評価値としての前記重み付けの度合いが最も低い前記分割領域を、前記第2表示領域として設定する機能を含む、ようにしてもよい。これによれば、取得された位置情報が示す共有資料の所定の位置から最も離れた分割領域を第2表示領域として設定することができる。前述した第2表示領域として設定される分割領域は、相手方装置において注目されていない共有資料の部分等であると推定することができる。
前記コンピュータを、前記共有資料に対する前記注釈の配置位置を取得する第2取得手段として機能させ、前記設定手段は、前記注釈の配置位置に対応する第2評価値を、前記第1表示領域上の位置に対して決定し、前記第2評価値に基づいて、前記第2表示領域の位置を特定し、特定された位置に前記第2表示領域を設定する、機能を含む、ようにしてもよい。これによれば、共有資料に対する注釈の配置位置に対応する第2評価値に基づき第2表示領域を設定することができる。
前記設定手段は、前記第1表示領域を分割した前記第1表示領域内の複数の分割領域のそれぞれを対象として、前記第2取得手段によって取得された前記注釈の配置位置から、前記分割領域のそれぞれに入力された前記注釈の数を取得し、前記注釈の数が多い前記分割領域程、重み付けの度合いが高くなるように、前記第2評価値を決定する、機能を含む、ようにしてもよい。これによれば、第2評価値を決定することができる。
前記設定手段は、前記第2評価値としての前記重み付けの度合いが最も低い前記分割領域を、前記第2表示領域として設定する機能を含む、ようにしてもよい。これによれば、注釈の数が最も少ない分割領域を第2表示領域として設定することができる。前述した第2表示領域として設定される分割領域は、遠隔会議における話題の中心として注目されていない共有資料の部分等であると推定することができる。
前記設定手段は、前記入力判断手段によって前記第1入力であると判断される前記入力取得手段で取得された入力から所定時間経過した場合、前記第2表示領域を再設定する機能を含む、ようにしてもよい。これによれば、時間の経過に伴い第2表示領域を再設定することができる。第2表示領域が一定の位置に継続して表示されることを防止し、第2表示領域を再配置することができる。
前記設定手段は、前記第2入力が終了した場合、前記第2表示領域を再設定する機能を含む、ようにしてもよい。これによれば、注釈の入力に伴い第2表示領域を再設定することができる。第2表示領域が一定の位置に継続して表示されることを防止し、第2表示領域を再配置することができる。
前記表示制御手段は、前記第1表示領域に表示されている前記第1部分を含む前記共有資料に対応するサムネイル画像を、前記第2表示領域に表示する指示を前記表示部に出力する機能を含む、ようにしてもよい。これによれば、第1表示領域に表示されている第1部分を含む共有資料のサムネイル画像を第2表示領域に表示した状態とすることができる。通信装置のユーザは、サムネイル画像を確認しつつ、第2表示領域に第1入力を入力することができる。
前記設定手段は、前記第1表示領域内の一部領域を、前記第2表示領域として設定し、前記表示制御手段は、前記第2表示領域の位置に対応する前記共有資料の部分を、前記第2表示領域外の位置に対応する前記共有資料の部分と比較して低い輝度で表示する指示を前記表示部に出力する、機能を含む、ようにしてもよい。これによれば、共有資料が表示されている第1表示領域において、第2表示領域を区別可能な状態で表示することができる。通信装置のユーザは、第2表示領域を認識しつつ、第2表示領域の位置に対応する共有資料の部分についても認識することができる。
前記表示制御手段は、前記入力判断手段によって、前記入力取得手段で取得された入力が前記第1入力であると判断される場合、前記第2表示領域に対する操作が示す座標変化量を第1数倍して取得される移動量だけ前記第1部分から離間した前記共有資料の部分を、前記第2部分として前記第1表示領域に表示する指示を前記表示部に出力する機能を含む、ようにしてもよい。これによれば、第2表示領域に対する操作が示す座標変化量を第1数倍し、共有資料の表示部分を変更する移動量を決定することができる。決定された移動量だけ第1部分から離間した第2部分を表示することができる。
前記表示制御手段は、前記入力判断手段によって、前記入力取得手段で取得された入力が前記第1入力であると判断される場合、前記第2表示領域に対する操作が示す座標変化量を、前記第2表示領域のサイズに対する前記第1表示領域のサイズの比に応じた第2数倍して取得される移動量だけ前記第1部分から離間した前記共有資料の部分を、前記第2部分として前記第1表示領域に表示する指示を前記表示部に出力する機能を含む、ようにしてもよい。これによれば、第1表示領域よりも面積の小さい第2表示領域に対する操作が示す座標変化量を、第2表示領域のサイズに対する第1表示領域のサイズの比に応じた第2数倍し、共有資料の表示部分を変更する移動量を決定することができる。決定された移動量だけ第1部分から離間した第2部分を表示することができる。
前記設定手段は、前記入力判断手段によって、前記入力取得手段で取得された入力が前記第2入力であると判断される場合、少なくとも前記第2入力が終了するまでの間、前記第2表示領域を無効化し、前記入力判断手段は、前記第2表示領域が無効化されている場合、前記入力取得手段で取得された入力が前記第2表示領域に対する場合でも前記第2入力と判断する、機能を含む、ようにしてもよい。これによれば、第2表示領域を無効化することができる。第2表示領域が無効化されている間の入力を第2入力として取り扱うことができる。通信装置のユーザは、注釈を入力することができる。
前記コンピュータを、前記入力取得手段で取得された入力に基づいて、前記第1状態と、前記注釈の入力を受け付けない第2状態と、を切り替える切換手段として機能させ、前記設定手段は、前記第1状態である場合、前記第2表示領域を設定し、前記第2状態である場合、前記第2表示領域を設定しない、機能を含む、ようにしてもよい。これによれば、第1状態である場合に第2表示領域を設定し、第2状態である場合には第2表示領域を設定しないようにすることができる。
前記表示部と共にタッチパネルとなり、前記第1入力と前記第2入力とを受け付けるタッチパッドを備える前記操作部が接続された前記通信装置を制御する前記コンピュータが実行可能なプログラム、であってもよい。これによれば、タッチパネルを介して第1入力と第2入力をスムーズに入力することができる。
本発明のさらに他の側面は、ネットワークを介した遠隔会議に参加するユーザによって操作される通信装置であって、前記通信装置に接続される表示部に表示された前記遠隔会議に関する表示が含まれる遠隔会議画面内の第1表示領域に、前記遠隔会議に参加する相手方によって操作される相手方装置との間で共有される共有資料データに対応する共有資料の第1部分を表示する指示を、前記表示部に出力する表示制御手段と、前記通信装置が前記共有資料に対する注釈の入力を受け付ける第1状態である場合、前記遠隔会議画面内の前記第1表示領域よりも面積の小さい第2表示領域を、前記第1表示領域に表示されている前記第1部分を前記共有資料の第2部分に移動させる第1入力を受け付ける領域として設定する設定手段と、前記通信装置に接続される操作部によって受け付けられた、前記遠隔会議画面に対する入力を取得する入力取得手段と、前記設定手段によって前記第2表示領域が設定された状態で、前記入力取得手段によって取得された入力が、前記第2表示領域の位置に対する前記第1入力であるか、前記第2表示領域外で且つ前記第1表示領域内の位置に対する第2入力であるか、を判断する入力判断手段と、前記入力判断手段によって、前記入力取得手段で取得された入力が前記第2入力であると判断される場合、前記第2入力に対応する前記注釈を示すデータを、前記ネットワークに接続された前記通信装置が備える通信部から前記相手方装置に送信する通信制御手段と、を備え、前記表示制御手段は、前記設定手段によって設定された前記第2表示領域を、前記第1表示領域と異なる状態で表示する指示を前記表示部に出力し、前記入力判断手段によって、前記入力取得手段で取得された入力が前記第1入力であると判断される場合、前記第1表示領域に表示される前記共有資料の部分を前記第1部分から前記第2部分に移動し、前記第1表示領域に前記第2部分を表示する指示を前記表示部に出力し、前記入力判断手段によって、前記入力取得手段で取得された入力が前記第2入力であると判断される場合、前記第2入力に対応する前記注釈を前記第1表示領域に前記第1部分と共に表示する指示を前記表示部に出力する、通信装置である。
これによれば、通信装置で、対応する上記のプログラムと同様の作用が実現される。この通信装置は、上記の各プログラムと同様、他の手段を備える通信装置として特定することもできる。この場合、通信装置は、上記の各プログラムのうち、対応するプログラムと同様の作用を奏する。
本発明によれば、ネットワークを介した遠隔会議に参加するユーザによって操作される通信装置で共有資料の表示と共有資料への注釈の入力に関する好適な操作性を実現可能な、通信装置を制御するコンピュータが実行可能なプログラムと通信装置を得ることができる。
本発明を実施するための実施形態について、図面を用いて説明する。本発明は、以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に示す構成の一部は、省略し又は他の構成等に置換してもよい。他の構成を含むようにしてもよい。
<遠隔会議システム>
遠隔会議システム10の概略について、図1を参照して説明する。遠隔会議システム10は、図1に示すように、会議サーバ20と通信装置30と2台の相手方装置71,72を含む。以下では、通信装置30と2台の相手方装置71,72によって行われる遠隔会議を例に説明する。遠隔会議システム10による遠隔会議は、通信装置30と1台の相手方装置、又は、通信装置30と3台以上の相手方装置で行われるようにしてもよい。
遠隔会議システム10の概略について、図1を参照して説明する。遠隔会議システム10は、図1に示すように、会議サーバ20と通信装置30と2台の相手方装置71,72を含む。以下では、通信装置30と2台の相手方装置71,72によって行われる遠隔会議を例に説明する。遠隔会議システム10による遠隔会議は、通信装置30と1台の相手方装置、又は、通信装置30と3台以上の相手方装置で行われるようにしてもよい。
会議サーバ20と通信装置30と2台の相手方装置71,72は、ネットワーク90に接続されている。ネットワーク90は、例えば、インターネットのようなネットワークである。通信装置30及び相手方装置71,72による遠隔会議は、公知の遠隔会議システムと同様、会議サーバ20を経由して行われる。会議サーバ20は、公知の遠隔会議システムにおける会議サーバと同様のサーバ装置である。従って、会議サーバ20に関する説明は、省略する。遠隔会議システム10による遠隔会議は、通信装置30と相手方装置71,72が、ネットワーク90を介して直接通信して行うようにしてもよい。このようなP2P型の遠隔会議では、会議サーバ20は省略される。
通信装置30は、ネットワーク90を介した通信機能を有する端末装置である。通信装置30は、例えば、スマートフォン、タブレット端末又はパーソナルコンピュータのような端末装置である。以下では、通信装置30がスマートフォン又はタブレット端末のような携帯端末である場合を例に説明する。通信装置30の構成については、後述する。相手方装置71,72は、パーソナルコンピュータのような公知の端末装置である。相手方装置71,72は、通信装置30と同様の端末装置であってもよい。従って、相手方装置71,72に関する説明は、省略する。
遠隔会議システム10では、通信装置30で撮影された撮影データが通信装置30から会議サーバ20に送信される。また、相手方装置71で撮影された撮影データが相手方装置71から会議サーバ20に送信され、相手方装置72で撮影された撮影データが相手方装置72から会議サーバ20に送信される。通信装置30及び相手方装置71,72からの撮影データを取得した会議サーバ20は、取得された撮影データを、通信装置30及び相手方装置71,72にそれぞれ送信する。例えば、会議サーバ20は、相手方装置71,72でそれぞれ撮影された撮影データを、通信装置30に送信する。即ち、遠隔会議システム10では、通信装置30で撮影された撮影データが、会議サーバ20を介して通信装置30から相手方装置71,72のそれぞれに送信され、相手方装置71,72でそれぞれ撮影された撮影データが、会議サーバ20を介して相手方装置71,72から通信装置30に送信される。
通信装置30は、通信部50で相手方装置71,72からの撮影データを受信し、これを取得する。通信装置30では、相手方装置71,72からの撮影データが再生され表示される。例えば、相手方装置71で撮影された撮影データに対応した撮影画像381と、相手方装置72で撮影された撮影データに対応した撮影画像382が表示される(図2参照)。また、通信装置30では、自装置で撮影された撮影データに対応した撮影画像380が表示される(図2参照)。
遠隔会議システム10では、通信装置30及び相手方装置71,72の間で、所定の資料(以下、「共有資料」という)12が共有される。通信装置30及び相手方装置71,72では、共有資料12が表示される。通信装置30及び相手方装置71,72をそれぞれ操作する各ユーザは、自装置に表示された共有資料12を利用しながら、遠隔会議に参加する。以下では、相手方装置71,72をそれぞれ操作して遠隔会議に参加する各ユーザを「相手方」という。共有資料12に対応した共有資料データは、会議サーバ20と、通信装置30及び相手方装置71,72の間を送受信される。共有資料データの共有は、後述する資料共有開始処理(図6参照)によって行われる。共有資料データは、ファイル形式のデータファイルである。
通信装置30及び相手方装置71,72では、自装置に表示された共有資料12に対して注釈14を入力することができる。注釈14は、共有資料12に重ねて表示される情報である。例えば、通信装置30のユーザは、注釈入力操作により注釈14を手書き入力する。注釈入力操作は、タッチパッド44上で指又はタッチペンをスライドさせる等して線画等を描画する操作である。通信装置30では、入力された注釈14が、表示中の共有資料12に重ねて表示される(図3参照)。図3では、8個の注釈141〜148が図示されている。「注釈141」〜「注釈148」を含む共有資料12に対して入力された全ての注釈を区別せず、又は、これらを総称する場合、「注釈14」という。
注釈入力操作により共有資料12に注釈14が入力されると、通信装置30では、共有資料12に対して注釈14が入力された入力位置が求められ、描画された注釈14を示すデータと、注釈14の入力位置を示す位置情報を共有資料12に対応付けた注釈データを生成する。なお、相手方装置71,72においても同様の処理が実行される。通信装置30及び相手方装置71,72の各端末装置で生成された注釈データは、会議サーバ20を経由して他の端末装置に送信される。注釈データを受信し取得した他の端末装置では、注釈データに従い、注釈14が表示中の共有資料12に重ねて表示される。但し、位置情報が示す入力位置に対応する共有資料12の部分が非表示である場合、注釈14は表示されない。
<通信装置>
通信装置30は、図1に示すように、CPU32と、記憶部34と、RAM36と、表示部38と、操作部40と、カメラ48と、通信部50と、計時部52を備える。これら各部32〜52は、バス54に接続される。CPU32は、演算処理を実行する。記憶部34は、コンピュータが読み取り可能な媒体、例えば、フラッシュメモリによって構成される。但し、記憶部34は、ハードディスクやROM等で構成されても差し支えない。記憶部34には、各種のプログラムが記憶される。例えば、OS(Operating System)及び各種のアプリケーションが記憶される。記憶部34に記憶されるアプリケーションには、後述する各処理(図4〜図10、図16及び図18〜図20参照)を実行するプログラムが含まれる。後述する各処理を実行するプログラムは、記憶部34に事前にインストールされていてもよいが、遠隔会議への参加に際し、通信装置30が会議サーバ20にアクセスした場合に、会議サーバ20からネットワーク90を介して伝送信号として通信装置30に送信され、そのタイミングで、記憶部34にインストールされるようにしてもよい。この場合、プログラムは、RAM36に保存されても差し支えない。
通信装置30は、図1に示すように、CPU32と、記憶部34と、RAM36と、表示部38と、操作部40と、カメラ48と、通信部50と、計時部52を備える。これら各部32〜52は、バス54に接続される。CPU32は、演算処理を実行する。記憶部34は、コンピュータが読み取り可能な媒体、例えば、フラッシュメモリによって構成される。但し、記憶部34は、ハードディスクやROM等で構成されても差し支えない。記憶部34には、各種のプログラムが記憶される。例えば、OS(Operating System)及び各種のアプリケーションが記憶される。記憶部34に記憶されるアプリケーションには、後述する各処理(図4〜図10、図16及び図18〜図20参照)を実行するプログラムが含まれる。後述する各処理を実行するプログラムは、記憶部34に事前にインストールされていてもよいが、遠隔会議への参加に際し、通信装置30が会議サーバ20にアクセスした場合に、会議サーバ20からネットワーク90を介して伝送信号として通信装置30に送信され、そのタイミングで、記憶部34にインストールされるようにしてもよい。この場合、プログラムは、RAM36に保存されても差し支えない。
事前のインストールは、例えば、光学メディアや半導体メモリ等のコンピュータが読み取り可能な記憶媒体に保存されたプログラムが、通信装置30の読み取り部(不図示)によって読み取られることで行われる。この他、事前のインストールは、ネットワーク90を介して通信装置30に接続されるサーバ(会議サーバ20又は不図示のサーバ)のハードディスク等のコンピュータが読み取り可能な記憶媒体に記憶されたプログラムが、通信装置30の通信部50を介して伝送信号として受信されることで行われるようにしてもよい。何れの形態とするかは、諸事情を考慮し、適宜決定される。なお、コンピュータが読み取り可能な記録媒体は、一時的に伝送される信号を含まなくてもよい。コンピュータ読み取り可能な記録媒体は、非一時的な記録媒体であってもよい。非一時的な記録媒体は、一時的な信号を含まない。非一時的な記録媒体は、情報を記憶する期間に関わらず、情報を記録可能な記録媒体であればよい。記憶部34には、後述する、第3評価値テーブル(図13参照)及び操作性テーブル(図15参照)が記憶される。
RAM36は、CPU32が各種のプログラムを実行する際に利用される記憶領域となる。RAM36には、処理の実行途中に、処理で利用される所定のデータ及び情報が記憶される。CPU32は、記憶部34に記憶されたOS及びプログラムを実行する等して、通信装置30を制御する。これによって、通信装置30では、各種の処理が実行され、各種の機能手段が実現される。
表示部38は、各種の情報を表示する。例えば、表示部38には、遠隔会議画面が表示される(図2及び図3参照)。遠隔会議画面は、遠隔会議に関する表示を含む。遠隔会議画面は、遠隔会議に関する表示として、上述した、撮影画像380,381,382と共有資料12と注釈14を含む。以下では、遠隔会議画面において共有資料12が表示される領域を「第1表示領域38A」という。遠隔会議画面は、第1表示領域38A内に上述した撮影画像380,381,382を含む。通信装置30では、撮影画像380,381,382の表示又は非表示を適宜選択することができる。
操作部40は、通信装置30に対する各種の指令等の入力を受け付ける。操作部40は、例えば、ハードキー42と、タッチパッド44を含む。タッチパッド44は、例えば静電容量式の位置入力装置で、ユーザの指の接触位置に応じた座標位置を示す信号を出力する。なお、タッチパッド44は、抵抗膜方式や超音波方式等、他の形態の位置入力装置によって構成されてもよい。表示部38とタッチパッド44により、タッチパネル(図1で「表示部38」と「タッチパッド44」を囲む破線参照)が実現される。表示部38には、タッチパネルを利用したソフトウェアキー46が表示される(図2及び図3参照)。ソフトウェアキー46は、操作部40を構成する。ソフトウェアキー46としては、注釈キー46Aと、カメラキー46Bと、共有キー46Cと、戻るキー46Dが例示される。通信装置30のユーザは、タッチパッド44に対して、タップ、ドラッグ、フリック、ピンチイン及びピンチアウト等の操作を行う。通信装置30のユーザは、タッチパッド44に振れた指等を所定の方向に移動させ、前述したような各操作を行う。このような各操作に基づいた制御技術及び上述した注釈入力操作に基づく手書き入力技術は、公知のスマートフォン又はタブレット端末でも採用されている。通信装置30でも、このような公知の技術が採用される。操作部40は、さらに、キーボード及びマウスを含む構成であってもよい。なお、通信装置30がパーソナルコンピュータである場合、操作部40は、例えば、キーボード及びマウスを含む。
カメラ48は、外界像を撮影する。具体的に、カメラ48は、通信装置30の正面に存在する通信装置30のユーザを含む外界像を撮影する。従って、カメラ48で撮影された外界像は、上述した撮影画像380となる。通信装置30では、遠隔会議の開始に伴い、カメラ48での撮影が開始され、撮影画像380に対応した撮影データが生成される。生成される撮影データは、所定のフレームレート(例えば、30fps)の動画データである。通信部50は、通信装置30をネットワーク90に接続し、ネットワーク90を介したデータ通信を行う。例えば、遠隔会議の開始に伴い生成される撮影データは、通信部50から会議サーバ20に送信され、会議サーバ20を経由して相手方装置71,72にそれぞれ送信される。計時部52は、カレンダ機能及び時計機能を有し、時間を計測する。計時部52は、OSが有する時計機能により構成されてもよい。通信装置30は、後述する処理のプログラムが記憶部34に記憶されている点が、公知の携帯端末と相違する。但し、通信装置30は、ハードウェア的には、公知の携帯端末と同一の装置である。
<アプリケーション処理>
会議サーバ20を介した相手方装置71,72との遠隔会議において、通信装置30で実行されるアプリケーション処理について、図4及び図5を参照して説明する。遠隔会議システム10では、例えば、遠隔会議の開催予定日時以前に、遠隔会議に参加予定の通信装置30及び相手方装置71,72のそれぞれに対応した各電子メールアドレスを宛先として、会議サーバ20から電子メールが送信される。この電子メールは、通信装置30及び相手方装置71,72による遠隔会議のためのURL(Uniform Resource Locator)を含む。このURLは、遠隔会議の会議室毎に固有である。換言すれば、URLには、遠隔会議の会議IDが含まれている。通信装置30のユーザは、遠隔会議の開催予定日時に、通信装置30を操作する。通信装置30は、前述したURLに基づき会議サーバ20にアクセスし、通信装置30と会議サーバ20の間で遠隔会議のセッションが確立される。会議サーバ20は、URLに含まれる会議IDと、通信装置30の識別情報とを対応付けて保存する。相手方装置71,72でも同様の操作が行われ、相手方装置71,72のそれぞれと会議サーバ20の間で遠隔会議のセッションが確立される。通信装置30及び相手方装置71,72による遠隔会議は、このようにして開始される。
会議サーバ20を介した相手方装置71,72との遠隔会議において、通信装置30で実行されるアプリケーション処理について、図4及び図5を参照して説明する。遠隔会議システム10では、例えば、遠隔会議の開催予定日時以前に、遠隔会議に参加予定の通信装置30及び相手方装置71,72のそれぞれに対応した各電子メールアドレスを宛先として、会議サーバ20から電子メールが送信される。この電子メールは、通信装置30及び相手方装置71,72による遠隔会議のためのURL(Uniform Resource Locator)を含む。このURLは、遠隔会議の会議室毎に固有である。換言すれば、URLには、遠隔会議の会議IDが含まれている。通信装置30のユーザは、遠隔会議の開催予定日時に、通信装置30を操作する。通信装置30は、前述したURLに基づき会議サーバ20にアクセスし、通信装置30と会議サーバ20の間で遠隔会議のセッションが確立される。会議サーバ20は、URLに含まれる会議IDと、通信装置30の識別情報とを対応付けて保存する。相手方装置71,72でも同様の操作が行われ、相手方装置71,72のそれぞれと会議サーバ20の間で遠隔会議のセッションが確立される。通信装置30及び相手方装置71,72による遠隔会議は、このようにして開始される。
アプリケーション処理は、遠隔会議が開始され、通信装置30及び相手方装置71,72の各端末装置と会議サーバ20の間で既に撮影データ等のデータが送受信されている状態で開始される。アプリケーション処理を開始したCPU32は、資料共有開始処理を実行する(S11)。資料共有開始処理については、後述する。資料共有開始処理を実行した後、CPU32は、通信装置30を移動モードに設定する(S13)。具体的には、CPU32は、通信装置30が移動モードに設定されていることを示す設定情報を、RAM36に記憶する。移動モードは、タッチパッド44に対するドラッグ又はフリック等の操作を、第1表示領域38Aに表示されている共有資料12の部分を他の部分に移動させる入力として受け付けるモードである。移動モードでは、注釈14を入力することができない。続けて、CPU32は、モード設定処理を実行する(S15)。モード設定処理については、後述する。モード設定処理を実行した後、CPU32は、操作部40で入力(タッチパッド44に対する操作に基づく入力を含む)で受け付けられたか否かを判断する(S17)。操作部40が入力を受け付けた場合(S17:Yes)、CPU32は、操作部40が受け付けた入力が終了指示であるか否かを判断する(S19)。終了指示は、例えば、終了指示に対応付けられた戻るキー46D(図2及び図3参照)を押下して入力される。
操作部40が受け付けた入力が終了指示ではない場合(S19:No)、CPU32は、ユーザ指示対応処理を実行する(S21)。ユーザ指示対応処理については、後述する。ユーザ指示対応処理を実行した後、CPU32は、処理をS17に戻し、S17以降の処理を実行する。操作部40が受け付けた入力が終了指示である場合(S19:Yes)、CPU32は、会議サーバ20に終了を通知する(S23)。具体的に、CPU32は、終了通知を通信部50から会議サーバ20に送信する。その後、CPU32は、アプリケーション処理を終了する。会議サーバ20では、S23で送信された終了通知が受信される。その後、通信装置30と会議サーバ20の間で、遠隔会議のセッションを終了する処理が適宜実行される。セッションの終了に伴い、CPU32は、遠隔会議の実行も終了する。
説明をS17に戻し、操作部40が入力を受け付けていない場合(S17:No)、CPU32は、通信部50で、会議サーバ20を経由して相手方装置71,72から送信された所定のデータを受信したか否かを判断する(S25)。通信部50で所定のデータが受信された場合(S25:Yes)、CPU32は、受信対応処理を実行する(S27)。受信対応処理については、後述する。受信対応処理を実行した後、CPU32は、処理をS17に戻し、S17以降の処理を実行する。
通信部50で所定のデータが受信されていない場合(S25:No)、CPU32は、処理を図5のS29に移行し、最終移動操作時刻から所定時間が経過したか否かを判断する。最終移動操作時刻は、後述する遠隔会議画面操作処理(図18)のS175で記憶される。所定時間は、諸条件を考慮し、適宜設定される。最終移動操作時刻から所定時間が経過していた場合(S29:Yes)、CPU32は、RAM36の設定情報を参照し、通信装置30が注釈モードに設定されているか否かを判断する(S31)。注釈モードは、タッチパッド44に対する操作を注釈入力操作として受け付けるモードである。注釈モードでは、第1表示領域38Aに表示された共有資料12に対して注釈14を入力することができる。注釈モードではない場合(S31:No)、CPU32は、処理を図4のS17に戻し、S17以降の処理を実行する。通信装置30が移動モードである場合、S31は否定(S31:No)される。注釈モードである場合(S31:Yes)、CPU32は、第2表示領域位置算出処理を実行し(S33)、その後、第2表示領域表示処理を実行する(S35)。第2表示領域位置算出処理及び第2表示領域表示処理については、後述する。第2表示領域表示処理を実行した後、CPU32は、処理を図4のS17に戻し、S17以降の処理を実行する。
最終移動操作時刻から所定時間が経過していない場合(S29:No)、CPU32は、カメラ48からの入力があるか否かを判断する(S37)。上述した通り、カメラ48での撮影に基づく撮影データのフレームレートは、例えば、30fps程度である。フレームレートが30fpsである場合、カメラ48からの入力は、1/30秒単位で繰り返される。S37実行時点がフレーム間のタイミングでカメラ48からの入力がない場合(S37:No)、CPU32は、処理を図4のS17に戻し、S17以降の処理を実行する。カメラ48からの入力がある場合(S37:Yes)、CPU32は、入力された撮影データを通信部50から送信する(S39)。撮影データは、通信部50から会議サーバ20を経由して相手方装置71,72に送信される。
次に、CPU32は、撮影画像380,381,382を表示しているか否かを判断する(S41)。撮影画像380,381,382の表示又は非表示は、後述するユーザ指示対応処理(詳細は図8参照)のS101(表示)又はS105(非表示)で設定される。撮影画像380,381,382が表示されていない場合(S41:No 図3参照)、CPU32は、処理を図4のS17に戻し、S17以降の処理を実行する。撮影画像380,381,382が表示中である場合(S41:Yes 図2参照)、CPU32は、撮影画像380,381,382のうちの撮影画像380を、新たに入力された撮影画像380に更新する指示を表示部38に出力する(S43)。撮影画像380の更新には、カメラ48から入力された撮影データ(S37:Yes参照)が用いられる。表示部38では、新たな撮影画像380が表示される。その後、CPU32は、処理を図4のS17に戻し、S17以降の処理を実行する。
<資料共有開始処理>
図4のS11で実行される資料共有開始処理について、図6を参照して説明する。CPU32は、操作部40が資料共有開始処理の終了指示を受け付けたか否かを判断する(S51)。例えば、資料共有開始処理の終了指示は、上記同様、戻るキー46Dを押下して入力される。操作部40が資料共有開始処理の終了指示を受け付けた場合(S51:Yes)、CPU32は、資料共有開始処理を終了する。操作部40が資料共有開始処理の終了指示を受け付けていない場合(S51:No)、CPU32は、操作部40が共有開始指示を受け付けたか否かを判断する(S53)。共有開始指示は、例えば、共有開始に対応付けられた共有キー46C(図2及び図3参照)を押下して入力される。
図4のS11で実行される資料共有開始処理について、図6を参照して説明する。CPU32は、操作部40が資料共有開始処理の終了指示を受け付けたか否かを判断する(S51)。例えば、資料共有開始処理の終了指示は、上記同様、戻るキー46Dを押下して入力される。操作部40が資料共有開始処理の終了指示を受け付けた場合(S51:Yes)、CPU32は、資料共有開始処理を終了する。操作部40が資料共有開始処理の終了指示を受け付けていない場合(S51:No)、CPU32は、操作部40が共有開始指示を受け付けたか否かを判断する(S53)。共有開始指示は、例えば、共有開始に対応付けられた共有キー46C(図2及び図3参照)を押下して入力される。
共有キー46Cが押下され、これに伴い、操作部40が共有開始指示を受け付けた場合(S53:Yes)、CPU32は、共有資料データを取得する(S55)。通信装置30のユーザは、共有キー46Cを押下した後、例えば、記憶部34に記憶されたデータのうち、所定のデータを共有対象の共有資料データとして指定する。即ち、CPU32は、共有キー46Cが押下された場合、例えば、表示部38に記憶部34内の所定の記憶領域に記憶されたデータを一覧表示する。通信装置30のユーザは、所望のデータ部分をタップする等して、共有資料12とする所定のデータを指定する。S55でCPU32は、指定された所定のデータを、共有資料データとして取得する。続けて、CPU32は、取得された共有資料データを会議サーバ20に対して通信部50から送信する(S57)。共有資料データは、会議サーバ20から相手方装置71,72に送信される。
共有キー46Cが押下されておらず、操作部40が共有開始指示を受け付けていない場合(S53:No)、会議サーバ20から送信された共有開始指示を通信部50で受信したか否かを判断する(S59)。会議サーバ20は、通信装置30及び相手方装置71,72の何れかから送信された資料データを受信した場合、送信元を除く遠隔会議に参加する他の装置に、共有開始指示を送信する。共有開始指示を受信していない場合(S59:No)、CPU32は、処理をS51に戻し、S51以降の処理を実行する。共有開始指示を受信した場合(S59:Yes)、CPU32は、会議サーバ20から送信された相手方装置71,72の何れかからの共有資料データを取得する(S61)。共有資料データは通信部50で受信される。CPU32は、通信部50を介して共有資料データを取得する。
S57又はS61を実行した後、CPU32は、取得済みの共有資料データに対応した共有資料12の表示部38への表示に関し、表示倍率を等倍(表示倍率:100%)に設定し、表示箇所を左上端に設定する(S63)。即ち、共有資料12の左上端が、表示部38の左上端に一致した状態で、共有資料データに対応した共有資料12が表示される。なお、CPU32は、共有資料12の全体のうち、表示部38に表示されている範囲を示す範囲情報を、RAM32に記憶する。続けて、CPU32は、資料表示処理を実行する(S65)。資料表示処理については、後述する。資料表示処理を実行した後、CPU32は、資料共有開始処理を終了する。
<モード設定処理>
図4のS15及び後述する図8のS93で実行されるモード設定処理について、図7を参照して説明する。CPU32は、RAM36の設定情報を参照し、通信装置30が注釈モードに設定されているか否かを判断する(S71)。注釈モードである場合(S71:Yes)、CPU32は、注釈入力領域を第1表示領域38Aの全体に設定する(S73)。注釈入力領域は、注釈14の入力を受け付ける領域である。CPU32は、S73で設定された注釈入力領域を有効化する(S75)。続けて、CPU32は、第2表示領域位置算出処理を実行し(S77)、その後、第2表示領域表示処理を実行する(S79)。第2表示領域位置算出処理及び第2表示領域表示処理については、後述する。
図4のS15及び後述する図8のS93で実行されるモード設定処理について、図7を参照して説明する。CPU32は、RAM36の設定情報を参照し、通信装置30が注釈モードに設定されているか否かを判断する(S71)。注釈モードである場合(S71:Yes)、CPU32は、注釈入力領域を第1表示領域38Aの全体に設定する(S73)。注釈入力領域は、注釈14の入力を受け付ける領域である。CPU32は、S73で設定された注釈入力領域を有効化する(S75)。続けて、CPU32は、第2表示領域位置算出処理を実行し(S77)、その後、第2表示領域表示処理を実行する(S79)。第2表示領域位置算出処理及び第2表示領域表示処理については、後述する。
通信装置30が注釈モードではない場合(S71:No)、CPU32は、注釈入力領域を無効化する(S81)。CPU32は、移動入力領域を第1表示領域38Aの全体に設定する(S83)。移動入力領域は、第1表示領域38Aに表示されている共有資料12の部分を他の部分に移動させる入力を受け付ける領域である。詳細は後述するが、通信装置30が注釈モードである場合の移動入力領域を「第2表示領域38B」(図3及び図17参照)という。第2表示領域38Bは、第1表示領域38Aより面積の小さな領域とされる。CPU32は、S79又はS83を実行した後、モード設定処理を終了する。
<ユーザ指示対応処理>
図4のS21で実行されるユーザ指示対応処理について、図8を参照して説明する。CPU32は、図4のS17が肯定(S17:Yes)される要因となった操作部40が受け付けた入力が、モード切替を指示する入力であるか否かを判断する(S91)。モード切替は、注釈キー46A(図2及び図3参照)の押下により入力される。例えば、CPU32は、操作部40が受け付けた入力が、タッチパッド44に対するものであり、且つ、注釈キー46Aの位置に対応するかを判断する。非選択状態の注釈キー46A(図2参照)が押下されることに対応して、CPU32は、通信装置30が注釈モードに設定されていることを示す設定情報をRAM36に記憶する。CPU32は、注釈キー46Aを選択状態とする指示を表示部38に出力する。表示部38では、注釈キー46Aが選択状態となる(図3参照)。選択状態の注釈キー46Aが押下されることに対応して、CPU32は、通信装置30が移動モードに設定されていることを示す設定情報をRAM36に記憶する。CPU32は、注釈キー46Aを非選択状態とする指示を表示部38に出力する。表示部38では、注釈キー46Aが非選択状態となる。
図4のS21で実行されるユーザ指示対応処理について、図8を参照して説明する。CPU32は、図4のS17が肯定(S17:Yes)される要因となった操作部40が受け付けた入力が、モード切替を指示する入力であるか否かを判断する(S91)。モード切替は、注釈キー46A(図2及び図3参照)の押下により入力される。例えば、CPU32は、操作部40が受け付けた入力が、タッチパッド44に対するものであり、且つ、注釈キー46Aの位置に対応するかを判断する。非選択状態の注釈キー46A(図2参照)が押下されることに対応して、CPU32は、通信装置30が注釈モードに設定されていることを示す設定情報をRAM36に記憶する。CPU32は、注釈キー46Aを選択状態とする指示を表示部38に出力する。表示部38では、注釈キー46Aが選択状態となる(図3参照)。選択状態の注釈キー46Aが押下されることに対応して、CPU32は、通信装置30が移動モードに設定されていることを示す設定情報をRAM36に記憶する。CPU32は、注釈キー46Aを非選択状態とする指示を表示部38に出力する。表示部38では、注釈キー46Aが非選択状態となる。
操作部40が受け付けた入力がモード切替である場合(S91:Yes)、CPU32は、上述したモード設定処理(図7参照)を実行する(S93)。操作部40が受け付けた入力がモード切替ではない場合(S91:No)、CPU32は、操作部40が受け付けた入力が遠隔会議画面に対する画面操作であるか否かを判断する(S95)。例えば、CPU32は、操作部40が受け付けた入力が、タッチパッド44に対するものであり、且つ、第1表示領域38A又は第2表示領域38Bの位置に対応するかを判断する。CPU32は、この判断を、タッチパッド44に対するユーザの指の接触位置に応じた座標位置を示す信号に基づき行う。画面操作としては、上述した注釈入力操作が例示される。この他、画面操作としては、資料移動操作及び表示倍率変更操作が例示される。資料移動操作は、第1表示領域38Aに表示されている共有資料12の部分を他の部分に移動させる操作である。具体的には、タッチパッド44に対するドラッグ又はフリック等が、資料移動操作に対応する。表示倍率変更操作は、第1表示領域38Aに表示されている共有資料12の表示倍率を変更する操作である。具体的には、タッチパッド44に対するピンチイン又はピンチアウトが、表示倍率変更操作に対応する。操作部40が受け付けた入力が遠隔会議画面に対する画面操作である場合(S95:Yes)、CPU32は、遠隔会議画面操作処理を実行する(S97)。遠隔会議画面操作処理については、後述する。
操作部40が受け付けた入力が画面操作ではない場合(S95:No)、CPU32は、操作部40が受け付けた入力がカメラ表示指示であるか否かを判断する(S99)。例えば、CPU32は、操作部40が受け付けた入力が、タッチパッド44に対するものであり、且つ、カメラキー46Bの位置に対応するかを判断する。カメラ表示指示は、撮影画像380,381,382を表示する指示であり、カメラキー46Bの押下により入力される。撮影画像380,381,382を表示する場合、通信装置30のユーザは、非選択状態のカメラキー46B(図3参照)を押下する。カメラキー46Bが非選択状態でカメラキー46Bが押下された場合、CPU32は、カメラ表示指示が受け付けられたと判断する(S99:Yes)。この場合、CPU32は、第1表示領域38A内に撮影画像380,381,382を表示する指示を出力する(S101)。この指示の出力に対応して、CPU32は、第1表示領域38A内に撮影画像380,381,382が表示中であることを示す情報をRAM36に記憶する。その際、CPU32は、カメラキー46Bを選択状態とする指示も表示部38に出力する。表示部38では、撮影画像380,381,382が表示され、カメラキー46Bが選択状態となる(図2参照)。遠隔会議画面内に表示された撮影画像380,381,382のそれぞれに対して、表示サイズ変更操作が行われた場合、CPU32は、撮影画像380,381,382のうち、操作対象の撮影画像の表示サイズを操作に応じた表示サイズに適宜変更する。表示サイズ変更操作は、撮影画像380,381,382のうちの何れかを対象として、その表示サイズを変更する操作である。
操作部40が受け付けた入力がカメラ表示指示ではない場合(S99:No)、CPU32は、操作部40が受け付けた入力がカメラ非表示指示であるか否かを判断する(S103)。例えば、CPU32は、操作部40が受け付けた入力が、タッチパッド44に対するものであり、且つ、カメラキー46Bの位置に対応するかを判断する。カメラ非表示指示は、撮影画像380,381,382を非表示とする指示であり、カメラ表示指示と同様、カメラキー46Bの押下により入力される。撮影画像380,381,382を非表示とする場合、通信装置30のユーザは、選択状態のカメラキー46B(図2参照)を押下する。カメラキー46Bが選択状態でカメラキー46Bが押下された場合、CPU32は、カメラ非表示指示が受け付けられたと判断する(S103:Yes)。この場合、CPU32は、第1表示領域38A内に表示中の撮影画像380,381,382を非表示とする指示を出力する(S105)。この指示の出力に対応して、CPU32は、第1表示領域38A内に撮影画像380,381,382が非表示中であることを示す情報をRAM36に記憶する。その際、CPU32は、カメラキー46Bを非選択状態とする指示も表示部38に出力する。表示部38では、撮影画像380,381,382が非表示となり、カメラキー46Bが非選択状態となる(図3参照)。
操作部40が受け付けた入力がカメラ非表示指示ではない場合(S103:No)、CPU32は、操作部40が受け付けた入力に対応した所定の処理を実行する(S107)。例えば、操作部40が受け付けた入力が、撮影画像380に対する表示サイズ変更操作であった場合、CPU32は、撮影画像380を操作に応じた表示サイズに拡大する指示を表示部38に出力する。表示部38では、表示中の撮影画像380がこの指示に従った表示サイズに拡大表示される。CPU32は、S93、S97、S101、S105又はS107を実行した後、ユーザ指示対応処理を終了する。
<受信対応処理>
図4のS27で実行される受信対応処理について、図9を参照して説明する。受信対応処理では、図4のS25が肯定(S25:Yes)される要因となった、通信部50で受信されたデータに対して処理が行われる。CPU32は、通信部50で受信されたデータが注釈データであるか否かを判断する(S111)。通信部50で受信されたデータが注釈データである場合(S111:Yes)、CPU32は、受信された注釈データを記憶する(S113)。注釈データは、記憶部34又はRAM36に記憶される。続けて、CPU32は、注釈データに含まれる位置情報が示す位置に注釈14を表示する指示を表示部38に出力する(S115)。表示部38では、第1表示領域38Aに表示中の共有資料12に重ねて注釈14が表示される。但し、CPU32は、RAM36に保存される範囲情報を参照し、位置情報が示す入力位置に対応する共有資料12の部分が非表示である場合、注釈14を表示しない。
図4のS27で実行される受信対応処理について、図9を参照して説明する。受信対応処理では、図4のS25が肯定(S25:Yes)される要因となった、通信部50で受信されたデータに対して処理が行われる。CPU32は、通信部50で受信されたデータが注釈データであるか否かを判断する(S111)。通信部50で受信されたデータが注釈データである場合(S111:Yes)、CPU32は、受信された注釈データを記憶する(S113)。注釈データは、記憶部34又はRAM36に記憶される。続けて、CPU32は、注釈データに含まれる位置情報が示す位置に注釈14を表示する指示を表示部38に出力する(S115)。表示部38では、第1表示領域38Aに表示中の共有資料12に重ねて注釈14が表示される。但し、CPU32は、RAM36に保存される範囲情報を参照し、位置情報が示す入力位置に対応する共有資料12の部分が非表示である場合、注釈14を表示しない。
通信部50で受信されたデータが注釈データではない場合(S111:No)、CPU32は、通信部50で受信されたデータが相手方装置71,72からの撮影データであるか否かを判断する(S117)。通信部50で受信されたデータが撮影データである場合(S117:Yes)、CPU32は、撮影画像380,381,382を表示しているか否かを判断する(S119)。撮影画像380,381,382の表示又は非表示を示す情報は、上述した図8のS101(表示)又はS105(非表示)で設定され、RAM36に記憶されている。通信部50で受信されたデータが撮影データではない場合(S117:No)、又は、撮影画像380,381,382が表示されていない場合(S119:No)、CPU32は、受信対応処理を終了する。
撮影画像380,381,382が表示中である場合(S119:Yes)、CPU32は、撮影画像380,381,382のうちの撮影画像381,382を、新たな撮影画像381,382に更新する指示を表示部38に出力する(S121)。撮影画像381,382の更新には、相手方装置71,72でそれぞれ撮影された撮影データが用いられる。表示部38では、新たな撮影画像381,382が表示される。S121を実行した後、CPU32は、受信対応処理を終了する。
<第2表示領域位置算出処理>
図5のS33、図7のS77及び後述する図18のS183で実行される第2表示領域位置算出処理について、図10を参照して説明する。CPU32は、撮影画像380,381,382を表示しているか否かを判断する(S131)。撮影画像380,381,382の表示又は非表示を示す情報は、上述した図8のS101(表示)又はS105(非表示)で設定され、RAM36に記憶されている。撮影画像380,381,382が表示中である場合(S131:Yes)、CPU32は、表示中の撮影画像380,381,382のうち、表示サイズが最も大きい撮影画像の表示部38における表示位置を取得する(S133)。図2に基づけば、S133でCPU32は、表示サイズが最も大きい撮影画像380の表示部38における表示位置を取得する。撮影画像380,381,382の表示サイズが等しい場合、CPU32は、所定の1つを選択する。例えば、CPU32は、自装置の撮影画像380を選択し、撮影画像380の表示位置を取得する。続けて、CPU32は、取得された表示位置を第2表示領域38B(図17参照)として設定する(S135)。その後、CPU32は、第2表示領域位置算出処理を終了する。
図5のS33、図7のS77及び後述する図18のS183で実行される第2表示領域位置算出処理について、図10を参照して説明する。CPU32は、撮影画像380,381,382を表示しているか否かを判断する(S131)。撮影画像380,381,382の表示又は非表示を示す情報は、上述した図8のS101(表示)又はS105(非表示)で設定され、RAM36に記憶されている。撮影画像380,381,382が表示中である場合(S131:Yes)、CPU32は、表示中の撮影画像380,381,382のうち、表示サイズが最も大きい撮影画像の表示部38における表示位置を取得する(S133)。図2に基づけば、S133でCPU32は、表示サイズが最も大きい撮影画像380の表示部38における表示位置を取得する。撮影画像380,381,382の表示サイズが等しい場合、CPU32は、所定の1つを選択する。例えば、CPU32は、自装置の撮影画像380を選択し、撮影画像380の表示位置を取得する。続けて、CPU32は、取得された表示位置を第2表示領域38B(図17参照)として設定する(S135)。その後、CPU32は、第2表示領域位置算出処理を終了する。
撮影画像380,381,382が表示されていない場合(S131:No)、CPU32は、第1表示領域38Aを複数の領域に分割する(S137)。例えば、図11に示すように、25個(5行×5列)の領域に分割する。以下では、第1表示領域38Aを分割した各領域を「分割領域」といい、第1表示領域38Aを25個の分割領域に分割した構成を例に説明する。図11において、第1表示領域38Aの外周に示す「L1」〜「L5」及び「C1」〜「C5」は、「5行×5列」からなる分割領域のそれぞれを特定するための情報である(後述する図12〜図15において同じ)。
続けて、CPU32は、相手方装置71,72のそれぞれにおいて注目されている注目点の位置情報を取得する(S139)。遠隔会議システム10における遠隔会議では、相手方装置71,72においても、相手方装置71,72の表示部に、遠隔会議に関する表示を含む遠隔会議画面がそれぞれ表示される。相手方装置71,72における遠隔会議画面は、共有資料12を表示する表示領域を含み、相手方装置71,72の各相手方は、通信装置30と同様、共有資料12に対して注釈14を入力することができる。前述した注目点の位置情報は、相手方装置71,72のそれぞれにおいて共有資料12を表示する表示領域に表示されている共有資料12の所定の位置を示す情報である。注目点の位置情報としては、前述した表示領域内で共有資料12に重ねて表示されている、相手方装置71,72の各操作部(例えば、マウス)のポインタの位置を示す位置情報が例示される。また、注目点の位置情報としては、相手方装置71,72のそれぞれにおいて表示されている共有資料12に対して、最後に入力された注釈14の入力位置を示す位置情報が例示される。さらに、注目点の位置情報としては、相手方装置71,72の各相手方が視認していると推定される位置(例えば、共有資料12を表示する表示領域に表示されている共有資料12の部分の中心位置)を示す位置情報が例示される。注目点の位置情報として採用される位置情報は、諸条件を考慮し、適宜設定される。
相手方装置71,72は、前述した注目点の位置情報を会議サーバ20に送信する。通信装置30では、会議サーバ20を介して相手方装置71,72のそれぞれからの注目点の位置情報が通信部50で受信され、CPU32は、通信部50を介して相手方装置71,72の各注目点の位置情報を取得する。なお、注目点の位置情報が最後に入力された注釈14の入力位置を示す位置情報である場合、CPU32は、相手方装置71,72からの注釈データから前述した位置情報を取得することができる。
続けて、CPU32は、取得された相手方装置71,72の各注目点の位置情報に基づき、第1表示領域38A内の各分割領域に対する第1評価値を決定する(S141)。第1評価値は、注目点の位置情報が示す所定の位置と、第1表示領域38A上の位置の間の距離に対応して決定される。第1評価値は、注目点の位置情報が示す位置に近い分割領域程、重み付けの度合いが高くなるように決定される。
第1評価値の決定について、図12を参照して具体的に説明する。図12及び後述する図13〜図15では、共有資料12の図示を省略している。図12〜図15において、第1表示領域38Aに表示されている共有資料12の部分と各分割領域の関係は、図11と同様である。図12に示す符号「71P」を付した「○」は、相手方装置71の注目点の位置情報が示す位置を示し、符号「72P」を付した「◎」は、相手方装置72の注目点の位置情報が示す位置を示す。各分割領域を「L1」〜「L5」及び「C1」〜「C5」を用いて特定する。例えば、符号「71P」を付した「○」を含む分割領域は、「L1」行の「C5」列に配置されているから「分割領域(L1・C5)」という。符号「72P」を付した「◎」を含む分割領域は、「L2」行の「C4」列に配置されているから「分割領域(L2・C4)」という。
図12における各分割領域内で「1:」に対応付けて示す「(X,Y,Z)」は、相手方装置71,72の各注目点の位置情報に基づいた第1評価値を示す。「X」は、相手方装置71の注目点の位置情報に基づいた第1評価値(以下、「第1評価値(X)」という)を示し、「Y」は、相手方装置72の注目点の位置情報に基づいた第1評価値(以下、「第1評価値(Y)」という)を示す。「Z」は、「X+Y」を示す(以下、「第1評価値(Z)」という)。図12に示す例では、注目点の位置情報が示す位置を含む分割領域には、第1評価値として2ポイント付与し、注目点の位置情報が示す位置を含む分割領域の周囲にある分割領域には、第1評価値として1ポイント付与することとしている。従って、第1評価値(X),(Y)の最高は「2」であり、第1評価値(Z)の最高は「4」となる。
S141でCPU32は、S139で取得された相手方装置71の注目点の位置情報が示す位置に従い、分割領域(L1・C5)の相手方装置71の第1評価値(X)に「2」を加算する。CPU32は、S139で取得された相手方装置71の注目点の位置情報が示す位置に従い、分割領域(L1・C4),(L2・C4),(L2・C5)の相手方装置71の第1評価値(X)に「1」をそれぞれ加算する。分割領域(L1・C4),(L2・C4),(L2・C5)は、分割領域(L1・C5)の周囲にある分割領域である。
また、S141でCPU32は、S139で取得された相手方装置72の注目点の位置情報が示す位置に従い、分割領域(L2・C4)の相手方装置72の第1評価値(Y)に「2」を加算する。CPU32は、S139で取得された相手方装置72の注目点の位置情報が示す位置に従い、分割領域(L1・C3)〜(L1・C5),(L2・C3),(L2・C5),(L3・C3)〜(L3・C5)の相手方装置72の第1評価値に「1」をそれぞれ加算する。分割領域(L1・C3)〜(L1・C5),(L2・C3),(L2・C5),(L3・C3)〜(L3・C5)は、分割領域(L2・C4)の周囲にある分割領域である。そして、CPU32は、第1評価値(X),(Y)を合計し、第1評価値(Z)を決定する。分割領域(L1・C5),(L2・C4)の第1評価値(Z)は「3」となる。分割領域(L1・C4),(L2・C5)の第1評価値(Z)は「2」となる。分割領域(L1・C3),(L2・C3),(L3・C3)〜(L3・C5)の第1評価値(Z)は「1」となる。その他の分割領域の第1評価値(Z)は「0」である。
相手方装置71,72のそれぞれで表示されている共有資料12の部分と、第1表示領域38Aに表示されている共有資料12の部分が異なり、相手方装置71,72における共有資料12の部分が通信装置30では表示されていない場合も想定される。このような場合、相手方装置71,72の各注目点の位置情報は、何れの分割領域にも含まれない。S141で決定される第1評価値(Z)は、全ての分割領域において「0」となる。
S141を実行した後、CPU32は、第1表示領域38Aにおける注釈14の配置位置に基づき、第2評価値を決定する(S143)。S143でCPU32は、共有資料12に対する全ての注釈14の数(以下、「全注釈数」という)を取得すると共に、注釈14の入力位置を特定する。そして、CPU32は、注釈14、1個あたりのポイント(以下、「基礎点」という)を決定する。基礎点は、基準最大ポイントを全注釈数で除した値とされる。基準最大ポイントは、第1評価値(Z)と第2評価値の評価価値を同一とするため、第1評価値(Z)の最高点と同一の値とされる。上記例に基づけば、基準最大ポイントは、「4」とされる。
第2評価値の決定について、図12を参照して具体的に説明する。全注釈数は「8」とする(図3参照)。図12における各分割領域内で「2:」に対応付けて示す「(X,Z)」について、「X」は、個々の分割領域に入力された注釈14の数を示し、「Z」は、第2評価値を示す。8個の注釈14は、分割領域(L2・C2)に3個、分割領域(L2・C3)に2個、分割領域(L3・C2),(L3・C3),(L4・C4)に各1個、配置されていることとする。基準最大ポイントは「4」とする。S145でCPU32は、全注釈数「8」を取得すると共に、8個の注釈14の入力位置をそれぞれ特定する。注釈14の入力位置は、注釈14の入力位置を示す位置情報に従い特定される。CPU32は、分割領域(L2・C2)内の注釈数「3」と、分割領域(L2・C3)の注釈数「2」と、分割領域(L3・C2),(L3・C3),(L4・C4)の注釈数「1」を特定する。そして、CPU32は、基準最大ポイント「4」を全注釈数「8」で除して基礎点「0.5」を取得する。CPU32は、特定された注釈数に基礎点「0.5」を掛け合わせ、全ての分割領域に対する第2評価値を決定する。分割領域(L2・C2)の第2評価値は「1.5」(3個×0.5)となる。分割領域(L2・C3)の第2評価値は「1.0」(2個×0.5)となる。分割領域(L3・C2),(L3・C3),(L4・C4)の第2評価値は「0.5」(1個×0.5)となる。その他の分割領域の第2評価値は「0」である。
S143を実行した後、CPU32は、分割領域毎に総合評価値を取得する(S145)。総合評価値は、S141で決定された第1評価値(Z)と、S143で決定された第2評価値と、第3評価値を合計して取得される。第3評価値は、図13に示すように、分割領域毎に予め定められている。第3評価値が登録された第3評価値テーブルは、記憶部34に記憶されている。S145でCPU32は、記憶部34に記憶された第3評価値テーブルにアクセスする。第3評価値テーブルにおいて、分割領域毎の第3評価値は、第1表示領域38Aの中心程、重み付けの度合いが高くなるように設定されている。従って、第1表示領域38Aの中心位置を含む分割領域(L3・C3)の第3評価値は、最も高く設定される。分割領域(L3・C3)の第3評価値は、第1評価値(Z)と第2評価値と評価価値を同一とするため、第1評価値(Z)と第2評価値の最高点と同一の値とされる。従って、図13に示す例では、上記の例に基づき、分割領域(L3・C3)の第3評価値は、「4」に設定されている。
S145を図12〜図14に基づき具体的に説明する。CPU32は、同一の分割領域を対象として、第1評価値(Z)と、第2評価値と、第3評価値を合計する。例えば、分割領域(L1・C5)を例とすると、CPU32は、第1評価値(Z)「3」(図12参照)と、第2評価値「0」(図12参照)と、第3評価値「1」(図13参照)を合計し、総合評価値「4」(図14参照)を取得する。CPU32は、全ての分割領域について、前述したようにして総合評価値を取得する。図12及び図13に示す例に基づけば、分割領域(L3・C3)の総合評価値は「5.5」となり、全分割領域の中で最高となる(図14参照)。一方、分割領域(L1・C1),(L1・C2),(L2・C1),(L3・C1),(L4・C1),(L4・C5),(L5・C1)〜(L5・C5)の総合評価値は「1」となり、最低となる(図14参照)。
次に、CPU32は、S145で取得された分割領域毎の総合評価値を対象として、最低の総合評価値となる分割領域が複数存在しているか否かを判断する(S147)。最低の総合評価値の分割領域が複数存在していない場合(S147:No)、CPU32は、最低の総合評価値の分割領域を第2表示領域38Bとして設定する(S149)。最低の総合評価値の分割領域が複数存在する場合(S147:Yes)、CPU32は、最低の総合評価値の分割領域のうち、最も操作性のよい分割領域を第2表示領域38Bとして設定する(S151)。総合評価値が最低である複数の分割領域の中から最も操作性のよい分割領域の特定に際し、CPU32は、記憶部34に記憶された操作性テーブルにアクセスする。操作性テーブルは、図15に示すように、操作性に関する評価値を予め分割領域毎に登録したテーブルである。図15に示す操作性テーブルでは、操作性に優れた分割領域程、小さな評価値が登録されている。即ち、小さな評価値程、操作性に関する重み付けの度合いが高い。
S151を図14及び図15に基づき具体的に説明する。CPU32は、操作性テーブルにアクセスした後、図14に示す総合評価値に基づき、総合評価値が最低である分割領域(L1・C1),(L1・C2),(L2・C1),(L3・C1),(L4・C1),(L4・C5),(L5・C1)〜(L5・C5)を対象として、操作性テーブルからこれらの分割領域に登録された評価値を取得する。続けて、CPU32は、取得された評価値のうち、最も小さな評価値の分割領域として、分割領域(L4・C5)(評価値:11)を特定する。CPU32は、分割領域(L4・C5)を最も操作性のよい分割領域を第2表示領域38Bとして設定する。
CPU32は、S149又はS151を実行した後、第2表示領域位置算出処理を終了する。
<第2表示領域表示処理>
図5のS35及び図7のS79で実行される第2表示領域表示処理について、図16を参照して説明する。CPU32は、上述した図10のS135、S149又はS151での設定に従い、第2表示領域38Bを示す枠線を第1表示領域38A内に表示する指示を表示部38に出力する(S161)。続けて、CPU32は、撮影画像380,381,382を表示しているか否かを判断する(S163)。撮影画像380,381,382の表示又は非表示を示す情報は、上述した図8のS101(表示)又はS105(非表示)で設定され、RAM36に記憶されている。
図5のS35及び図7のS79で実行される第2表示領域表示処理について、図16を参照して説明する。CPU32は、上述した図10のS135、S149又はS151での設定に従い、第2表示領域38Bを示す枠線を第1表示領域38A内に表示する指示を表示部38に出力する(S161)。続けて、CPU32は、撮影画像380,381,382を表示しているか否かを判断する(S163)。撮影画像380,381,382の表示又は非表示を示す情報は、上述した図8のS101(表示)又はS105(非表示)で設定され、RAM36に記憶されている。
撮影画像380,381,382が表示されていない場合(S163:No)、CPU32は、第1表示領域38Aに表示されている共有資料12の表示倍率が予め定めた閾値以上であるか否かを判断する(S165)。閾値としては、例えば、10倍(表示倍率:1000%)が設定される。共有資料12の表示倍率の変更は、上述した通り、表示倍率変更操作にて行われる。具体的に、表示倍率の増加は、ピンチアウトにより行われる。共有資料データの画像サイズに従い、共有資料12が原寸大(等倍)で表示されている場合の表示倍率は、1倍(100%)となる。
表示倍率が閾値以上である場合(S165:Yes)、CPU32は、S161で表示させた第2表示領域38Bの枠内に、第1表示領域38Aに表示されている共有資料12に対応するサムネイル画像を表示する指示を表示部38に出力する(S167)。表示部38では、表示されている第2表示領域38Bの枠内に共有資料12のサムネイル画像が表示される。これにより、サムネイル画像を含む第2表示領域38Bが表示される(図3参照)。サムネイル画像により、共有資料12を把握することができる。なお、図3は、上記の例に対応させ、分割領域(L4・C5)が第2表示領域38Bとして設定されている状態の遠隔会議画面を示している。
撮影画像380,381,382が表示中である場合(S163:Yes)又は表示倍率が閾値以上ではない場合(S165:No)、CPU32は、S161で表示させた第2表示領域38Bの枠内に対応する共有資料12の部分を、第2表示領域38Bの枠外の位置に対応する共有資料12の部分と比較して低い輝度で表示する指示を表示部38に出力する(S169)。例えば、CPU32は、第2表示領域38Bの枠内に含まれる画素のRGBそれぞれの輝度値を、1/2に除算する。表示部38では、第2表示領域38Bの枠内が透過し、第2表示領域38Bの枠内に対応する共有資料12の部分が背景となった第2表示領域38Bが表示される(図17参照)。なお、図17は、自装置の撮影画像380の表示位置が第2表示領域38Bとして設定されている状態の遠隔会議画面を示している。S167又はS169を実行した後、CPU32は、第2表示領域表示処理を終了する。
<遠隔会議画面操作処理>
図8のS97で実行される遠隔会議画面操作処理について、図18を参照して説明する。CPU32は、図4のS17が肯定(S17:Yes)される要因となった操作部40が受け付けた入力の操作箇所が移動入力領域として設定された領域内で、且つ、移動入力領域として設定された領域は有効であるか否かを判断する(S171)。移動入力領域が第1表示領域38Aに設定されている場合(図7のS83参照)、CPU32は、操作部40が受け付けた入力が、タッチパッド44に対するものであり、且つ、第1表示領域38A内の位置に対応するか否かを判断する。移動入力領域が第1表示領域38Aに設定されている場合、第1表示領域38Aに対しては、後述するS191のような処理は実行されない。従って、移動入力領域が第1表示領域38Aに設定されている場合、移動入力領域として設定された領域は有効であると判断される。即ち、移動入力領域が第1表示領域38Aに設定されている場合、S171でCPU32は、実質的には、操作部40が受け付けた入力が第1表示領域38A内の位置に対応するか否かだけを判断する。CPU32は、操作部40が受け付けた入力の操作箇所が第1表示領域38A内である場合、S171を肯定(S171:Yes)し、第1表示領域38A外である場合、S171を否定(S171:No)する。
図8のS97で実行される遠隔会議画面操作処理について、図18を参照して説明する。CPU32は、図4のS17が肯定(S17:Yes)される要因となった操作部40が受け付けた入力の操作箇所が移動入力領域として設定された領域内で、且つ、移動入力領域として設定された領域は有効であるか否かを判断する(S171)。移動入力領域が第1表示領域38Aに設定されている場合(図7のS83参照)、CPU32は、操作部40が受け付けた入力が、タッチパッド44に対するものであり、且つ、第1表示領域38A内の位置に対応するか否かを判断する。移動入力領域が第1表示領域38Aに設定されている場合、第1表示領域38Aに対しては、後述するS191のような処理は実行されない。従って、移動入力領域が第1表示領域38Aに設定されている場合、移動入力領域として設定された領域は有効であると判断される。即ち、移動入力領域が第1表示領域38Aに設定されている場合、S171でCPU32は、実質的には、操作部40が受け付けた入力が第1表示領域38A内の位置に対応するか否かだけを判断する。CPU32は、操作部40が受け付けた入力の操作箇所が第1表示領域38A内である場合、S171を肯定(S171:Yes)し、第1表示領域38A外である場合、S171を否定(S171:No)する。
通信装置30が注釈モードであり(図7のS71:Yes参照)、図10のS135、S149又はS151で移動入力領域としての第2表示領域38Bが設定されている場合、CPU32は、操作部40が受け付けた入力が、タッチパッド44に対するものであり、且つ、第2表示領域38B内の位置に対応するか否かと、第2表示領域38Bが有効であるか否かを判断する。第2表示領域38Bの有効は、RAM36に記憶される無効フラグに基づき判断される。無効フラグがオンの場合、第2表示領域38Bは有効ではないとされ、無効フラグがオフの場合、第2表示領域38Bは有効であるとされる。CPU32は、タッチパッド44への入力が第2表示領域38B内の位置に対応し、且つ、第2表示領域38Bが有効である場合、S171を肯定(S171:Yes)する。一方、CPU32は、タッチパッド44への入力が第2表示領域38B内の位置に対応しない、又は、第2表示領域38Bが有効ではない場合、S171を否定(S171:No)する。
S171が肯定される場合(S171:Yes)、CPU32は、資料移動操作処理を実行する(S173)。資料移動操作処理については、後述する。資料移動操作処理を実行した後、CPU32は、計時部52から取得した現在時刻を最終移動操作時刻として記憶し(S175)、遠隔会議画面操作処理を終了する。最終移動操作時刻は、例えば、RAM36に記憶される。
S171が否定される場合(S171:No)、CPU32は、操作部40が受け付けた入力が注釈入力操作の終了であるか否かを判断する(S177)。S171が否定される場合(S171:No)、図4のS17が肯定(S17:Yes)される要因となった操作部40が受け付けた入力は、注釈入力操作に関連した操作(注釈入力の終了、開始又は注釈入力中)である。CPU32は、タッチパッド44を介した検出結果に基づき、注釈入力の終了、開始又は注釈入力中を判断する。例えば、タッチパッド44で検出されていた指等のスライドが検出されなくなった場合、CPU32は、操作部40が受け付けた入力は注釈入力操作の終了であると判断する。
操作部40が受け付けた入力が注釈入力操作の終了である場合(S177:Yes)、CPU32は、入力された注釈14に対応する注釈データを生成し、これを記憶する(S179)。CPU32は、記憶された注釈データを会議サーバ20に対して通信部50から送信する(S181)。注釈データは、会議サーバ20を介して相手方装置71,72にそれぞれ送信される。続けて、CPU32は、上述した第2表示領域位置算出処理(図10参照)を実行する(S183)。S183での第2表示領域位置算出処理では、今回新たに入力された注釈14も対象として、処理が実行される。第2表示領域位置算出処理を実行した後、CPU32は、第2表示領域38Bを有効化する(S185)。S185でCPU32は、上述した第2表示領域表示処理(図16参照)と同様の処理を実行し、これによって第2表示領域38Bを有効化する。表示部38では、第2表示領域表示処理の場合と同様、第2表示領域38Bが第1表示領域38A内に表示される。CPU32は、RAM36に記憶される無効フラグをオフにする。その後、CPU32は、最終移動操作時刻をリセットし(S187)、遠隔会議画面操作処理を終了する。
操作部40が受け付けた入力が注釈入力操作の終了ではない場合(S177:No)、CPU32は、操作部40が受け付けた入力が注釈入力操作の開始であるか否かを判断する(S189)。未検出状態のタッチパッド44で指等の新たなスライドが検出されることとなった場合、CPU32は、操作部40が受け付けた入力は注釈入力操作の開始であると判断する。操作部40が受け付けた入力が注釈入力操作の開始ではない場合(S189:No)、CPU32は、処理をS193に移行する。この場合、操作部40が受け付けた入力は、入力中の注釈14について、その入力を継続させる注釈入力操作に伴うものである。操作部40が受け付けた入力が注釈入力操作の開始である場合(S189:Yes)、CPU32は、第2表示領域38Bを無効化する(S191)。S191でCPU32は、第1表示領域38A内に表示されている第2表示領域38Bを非表示とする指示を表示部38に出力する。表示部38では、第2表示領域38Bが消える。CPU32は、無効フラグをオンする。その後、CPU32は、処理をS193に移行する。
S193でCPU32は、指等のスライドに対応して描画された注釈14の部分を第1表示領域38Aに表示されている共有資料12に重ねて表示する指示を表示部38に出力する。表示部38では、新たに入力された注釈14の部分が第1表示領域38Aに表示されている共有資料12に重ねて表示される。その後、CPU32は、最終移動操作時刻をリセットし(S195)、遠隔会議画面操作処理を終了する。
<資料移動操作処理>
図18のS173で実行される資料移動操作処理について、図19を参照して説明する。CPU32は、操作部40が受け付けた入力が、タッチパッド44に対する資料移動操作であるか否かを判断する(S201)。判断対象の操作部40が受け付けた入力は、図4のS17及び図18のS171が肯定(S17及びS171:Yes)される要因となった入力である(後述するS213において同じ)。操作部40が受け付けた入力がタッチパッド44に対する資料移動操作である場合(S201:Yes)、CPU32は、第1表示領域38Aと移動入力領域として設定された領域の表示サイズの比に基づき、入力された資料移動操作に対応した移動量を補正する(S203)。例えば、図10のS135、S149又はS151で移動入力領域としての第2表示領域38Bが設定され、第2表示領域38Bの縦横幅が第1表示領域38Aの1/4であったとする。この場合、入力された資料移動操作に対応した移動量は、基準となる座標変化量の4倍に補正される。基準となる座標変化量は、移動入力領域が第1表示領域38Aである場合に、第1表示領域38Aに対して同じ資料移動操作が入力された場合の座標変化量である。また、図7のS83で移動入力領域として第1表示領域38Aが設定されていた場合の補正量は、1倍(補正なし)である。
図18のS173で実行される資料移動操作処理について、図19を参照して説明する。CPU32は、操作部40が受け付けた入力が、タッチパッド44に対する資料移動操作であるか否かを判断する(S201)。判断対象の操作部40が受け付けた入力は、図4のS17及び図18のS171が肯定(S17及びS171:Yes)される要因となった入力である(後述するS213において同じ)。操作部40が受け付けた入力がタッチパッド44に対する資料移動操作である場合(S201:Yes)、CPU32は、第1表示領域38Aと移動入力領域として設定された領域の表示サイズの比に基づき、入力された資料移動操作に対応した移動量を補正する(S203)。例えば、図10のS135、S149又はS151で移動入力領域としての第2表示領域38Bが設定され、第2表示領域38Bの縦横幅が第1表示領域38Aの1/4であったとする。この場合、入力された資料移動操作に対応した移動量は、基準となる座標変化量の4倍に補正される。基準となる座標変化量は、移動入力領域が第1表示領域38Aである場合に、第1表示領域38Aに対して同じ資料移動操作が入力された場合の座標変化量である。また、図7のS83で移動入力領域として第1表示領域38Aが設定されていた場合の補正量は、1倍(補正なし)である。
次に、CPU32は、第2表示領域38Bの枠内にサムネイル画像が表示されているか否かを判断する(S205)。第2表示領域38Bの枠内へのサムネイル画像の表示は、図16のS167にて実行される。サムネイル画像が表示されていない場合(S205:No)、CPU32は、処理をS209に移行する。移動入力領域が第1表示領域38Aに設定されている場合(図7のS83参照)、又は、第2表示領域38Bの枠内が図16のS169による状態である場合、S205は否定(S205:No)される。
サムネイル画像が表示されている場合(S205:Yes)、CPU32は、入力された資料移動操作の操作量に対応した移動量を補正する(S207)。S207での補正に関し、S203が実行されていた場合、S207によって移動量は、基準となる座標変化量をS203におけるサイズ比に応じた数値倍し、さらに、これを予め定めた設定値倍した量に補正される。S203が実行されていない場合、S207によって移動量は、基準となる座標変化量を予め定めた設定値倍した量に補正される。S207での設定値は、例えば、5倍とされる。この他、S207での設定値は、指等のスライドがタッチパッド44によって最後に検出されたサムネイル画像内の位置に対応した共有資料12の位置が、第1表示領域38Aの例えば中心部に表示されるような値としてもよい。S207を実行した後、CPU32は、処理をS209に移行する。
S209でCPU32は、S203〜S207によって補正された移動量に基づき、移動後の共有資料12の表示部分を決定する。続けて、CPU32は、資料表示処理を実行する(S211)。資料表示処理については、後述する。資料表示処理を実行した後、CPU32は、資料移動操作処理を終了する。
説明をS201に戻し、操作部40が受け付けた入力がタッチパッド44に対する資料移動操作ではない場合(S201:No)、CPU32は、操作部40が受け付けた入力が表示倍率変更操作であるか否かを判断する(S213)。操作部40が受け付けた入力が表示倍率変更操作である場合(S213:Yes)、CPU32は、第1表示領域38Aに表示されている共有資料12の表示倍率を変更する(S215)。続けて、CPU32は、資料表示処理を実行する(S217)。資料表示処理については、後述する。資料表示処理を実行した後、CPU32は、資料移動操作処理を終了する。
<資料表示処理>
図6のS65と、図19のS211及びS217で実行される資料表示処理について、図20を参照して説明する。CPU32は、第1表示領域38Aに共有資料12を表示する指示を表示部38に出力する(S221)。CPU32は、共有資料12の表示を、図6のS63で設定され、又は、図19のS209又はS215で決定された条件に従い実行する。表示部38では、共有資料12が新たな状態で第1表示領域38Aに表示される。図6のS65における資料表示処理では、共有資料12の左上端が第1表示領域38Aの左上端に配置され且つ表示倍率が等倍とされた状態で、共有資料12の一部又は全体が第1表示領域38Aに表示される。図19のS211における資料表示処理では、図19のS209で決定された共有資料12の部分が第1表示領域38Aに表示される。図19のS217における資料表示処理では、図19のS215で変更された表示倍率に拡大又は縮小された状態の共有資料12の一部又は全体が第1表示領域38Aに表示される。
図6のS65と、図19のS211及びS217で実行される資料表示処理について、図20を参照して説明する。CPU32は、第1表示領域38Aに共有資料12を表示する指示を表示部38に出力する(S221)。CPU32は、共有資料12の表示を、図6のS63で設定され、又は、図19のS209又はS215で決定された条件に従い実行する。表示部38では、共有資料12が新たな状態で第1表示領域38Aに表示される。図6のS65における資料表示処理では、共有資料12の左上端が第1表示領域38Aの左上端に配置され且つ表示倍率が等倍とされた状態で、共有資料12の一部又は全体が第1表示領域38Aに表示される。図19のS211における資料表示処理では、図19のS209で決定された共有資料12の部分が第1表示領域38Aに表示される。図19のS217における資料表示処理では、図19のS215で変更された表示倍率に拡大又は縮小された状態の共有資料12の一部又は全体が第1表示領域38Aに表示される。
次に、CPU32は、S221で新たな状態で表示されることとなった共有資料12の表示範囲内にある注釈データを取得し、これを表示する指示を表示部38に出力する(S223)。CPU32は、注釈データに含まれる位置情報により、第1表示領域38Aに表示されている共有資料12の表示範囲内にある注釈データを特定し、特定された注釈データを取得する。表示部38では、取得された注釈データに対応した注釈14が共有資料12に重ねて第1表示領域38Aに表示される。その後、CPU32は、資料表示処理を終了する。
<実施形態の効果>
上記の実施形態によれば、次のような効果を得ることができる。
上記の実施形態によれば、次のような効果を得ることができる。
(1)通信装置30のモードとして、移動モードと注釈モードを設け、注釈モードである場合(図5のS31:Yes参照)、第2表示領域位置算出処理(図5のS33(図10)参照)により、移動入力領域としての第2表示領域38Bを設定し(図10のS135、S149又はS151参照)、資料移動操作を第2表示領域38Bにて受け付ける(図18のS171:Yes及びS173(図19)参照)こととした。そのため、通信装置30において、共有資料12の表示と共有資料12への注釈14の入力に関し、好適な操作性を実現することができる。通信装置30のユーザは、資料移動操作と注釈入力操作をスムーズに行うことができる。
(2)撮影画像380,381,382が表示されている場合(図10のS131:Yes参照)、表示サイズが最も大きい撮影画像(図2に示す例では「撮影画像380」参照)の表示位置を第2表示領域38Bとして設定し(図10のS135参照)、第2表示領域38Bを表示する(図16のS161及びS169参照)こととした。そのため、例えば、図17に示すように、第2表示領域38Bを表示サイズが最も大きい撮影画像380に重ねて表示することができる。撮影画像380,381,382の何れかを含むように第2表示領域38Bを設定することで、第1表示領域38Aに対する注釈入力操作が妨げられることを抑制することができる。
共有資料12の表示倍率が閾値以上である場合(図16のS165:Yes参照)、図16のS161で表示させた第2表示領域38Bの枠内に共有資料12に対応するサムネイル画像を表示(図3及び図16のS167参照)することとした。そのため、通信装置30のユーザは、共有資料12のサムネイル画像を確認しつつ、第2表示領域38Bに対して資料移動操作を行うことができる。
(3)撮影画像380,381,382が表示されていない場合(図10のS131:No参照)、第1評価値(図10のS141及び図12の「1:」参照)と、第2評価値(図10のS143及び図12の「2:」参照)と、第3評価値(図13参照)に基づく総合評価値(図10のS145及び図14参照)に従い、総合評価値が最低となる分割領域を第2表示領域38Bとして設定する(図10のS149参照)こととした。その際、最低の総合評価値となる分割領域が複数存在する場合(図10のS147:Yes参照)、操作性テーブル(図15参照)に基づき、最も操作性のよい分割領域を第2表示領域38Bとして設定する(図10のS151参照)こととした。そのため、第2表示領域38Bを相手方装置71,72における注目点及び注釈14の配置位置等を考慮し設定することができる。
(4)図18のS173での資料移動操作処理(図19)を実行した後、最終資料移動操作時刻を記憶し(図18のS175参照)、最終資料移動操作時刻から所定時間が経過した場合(図5のS29:Yes参照)、第2表示領域位置算出処理(図5のS33(図10)参照)を実行し、第2表示領域表示処理(図5のS35(図16)参照)を実行することとした。また、操作部40が受け付けた入力が注釈入力操作の終了である場合(図18のS177:Yes参照)、第2表示領域位置算出処理(図18のS183(図10)参照)を実行し、第2表示領域38Bを有効化する(図18のS185参照)こととした。そのため、時間の経過及び注釈14の入力に伴い、第2表示領域38Bを再設定することができる。第2表示領域38Bが一定の位置に継続して表示されることを防止し、第2表示領域38Bを再配置することができる。
(5)操作部40が受け付けた入力が注釈入力操作の開始である場合(図18のS189:Yes参照)、第2表示領域38Bを無効化する(図18のS191参照)こととした。そのため、注釈14の入力中に注釈入力操作が、無効化前の状態において第2表示領域38Bとして設定されていた領域に対して行われたとしても、この操作を注釈入力操作として取り扱うことができる。通信装置30のユーザは、注釈14を好適に入力することができる。注釈入力操作が終了した場合(図18のS177:Yes)、図18のS183で第2表示領域位置算出処理(図10参照)を実行し、図18のS185で第2表示領域表示処理(図19)と同様の処理を実行することで第2表示領域38Bを有効化し、第2表示領域38Bを表示することとした。そのため、通信装置30のユーザは、注釈14を入力した後、第2表示領域38Bに対して資料移動操作を行うことができる。
(6)第2表示領域38Bに対する資料移動操作については、移動量を補正する(図19のS203及びS205参照)こととした。そのため、表示部38において第1表示領域38Aに表示されている共有資料12の表示部分をスムーズに移動させることができる。
<変形例>
上記の実施形態は次のようにしてもよい。
上記の実施形態は次のようにしてもよい。
(1)上記では、表示部38とタッチパッド44とカメラ48が一体的に接続された通信装置30を例に説明した。通信装置30は、表示部38及びタッチパッド44を別体とした構成であってもよい。
(2)上記では、遠隔会議システム10において、通信装置30で撮影された撮影データが、会議サーバ20を介して通信装置30から相手方装置71,72のそれぞれに送信され、相手方装置71,72でそれぞれ撮影された撮影データが、会議サーバ20を介して相手方装置71,72から通信装置30に送信される、構成を例に説明した。遠隔会議システム10では、撮影データと共に、撮影データに対応した音声データを会議サーバ20を介して送受信するようにしてもよい。通信装置30及び相手方装置71,72では、マイクを介して音声を取得し、取得された音声に対応した音声データが生成され、撮影データと共に送信される。通信装置30及び相手方装置71,72では、他の端末装置の音声データが再生され、スピーカから出力される。この点は、公知の遠隔会議システムと同様である。従って、音声データに関わるこの他の説明は、省略する。
(3)上記では、図10に示す第2表示領域位置算出処理のS133で、表示サイズが最も大きい撮影画像(図2に基づけば、撮影画像380)の表示部38における表示位置を取得し、S135で取得された表示位置を第2表示領域38Bとして設定することとした。S133で取得される表示位置は、表示サイズが最も大きい撮影画像でなくてもよい。また、表示サイズに関わらず自らの撮影画像380の表示位置としてもよい。自らの撮影画像380については、遠隔会議に参加する上で、特に確認しなくてよい場合も多いと考えられる。
10 遠隔会議システム
12 共有資料
14,141,142,143,144,145,146,147,148 注釈
20 会議サーバ
30 通信装置
32 CPU
34 記憶部
36 RAM
38 表示部
38A 第1表示領域
38B 第2表示領域
40 操作部
42 ハードキー
44 タッチパッド
46 ソフトウェアキー
46A 注釈キー
46B カメラキー
46C 共有キー
46D 戻るキー
48 カメラ
50 通信部
52 計時部
54 バス
71,72 相手方装置
90 ネットワーク
380,381,382 撮影画像
12 共有資料
14,141,142,143,144,145,146,147,148 注釈
20 会議サーバ
30 通信装置
32 CPU
34 記憶部
36 RAM
38 表示部
38A 第1表示領域
38B 第2表示領域
40 操作部
42 ハードキー
44 タッチパッド
46 ソフトウェアキー
46A 注釈キー
46B カメラキー
46C 共有キー
46D 戻るキー
48 カメラ
50 通信部
52 計時部
54 バス
71,72 相手方装置
90 ネットワーク
380,381,382 撮影画像
Claims (19)
- ネットワークを介した遠隔会議に参加するユーザによって操作される通信装置を制御するコンピュータが実行可能なプログラムであって、
前記コンピュータを、
前記通信装置に接続される表示部に表示された前記遠隔会議に関する表示が含まれる遠隔会議画面内の第1表示領域に、前記遠隔会議に参加する相手方によって操作される相手方装置との間で共有される共有資料データに対応する共有資料の第1部分を表示する指示を、前記表示部に出力する表示制御手段と、
前記通信装置が前記共有資料に対する注釈の入力を受け付ける第1状態である場合、前記遠隔会議画面内の前記第1表示領域よりも面積の小さい第2表示領域を、前記第1表示領域に表示されている前記第1部分を前記共有資料の第2部分に移動させる第1入力を受け付ける領域として設定する設定手段と、
前記通信装置に接続される操作部によって受け付けられた、前記遠隔会議画面に対する入力を取得する入力取得手段と、
前記設定手段によって前記第2表示領域が設定された状態で、前記入力取得手段によって取得された入力が、前記第2表示領域の位置に対する前記第1入力であるか、前記第2表示領域外で且つ前記第1表示領域内の位置に対する第2入力であるか、を判断する入力判断手段と、
前記入力判断手段によって、前記入力取得手段で取得された入力が前記第2入力であると判断される場合、前記第2入力に対応する前記注釈を示すデータを、前記ネットワークに接続された前記通信装置が備える通信部から前記相手方装置に送信する通信制御手段と、して機能させ、
前記表示制御手段は、
前記設定手段によって設定された前記第2表示領域を、前記第1表示領域と異なる状態で表示する指示を前記表示部に出力し、
前記入力判断手段によって、前記入力取得手段で取得された入力が前記第1入力であると判断される場合、前記第1表示領域に表示される前記共有資料の部分を前記第1部分から前記第2部分に移動し、前記第1表示領域に前記第2部分を表示する指示を前記表示部に出力し、
前記入力判断手段によって、前記入力取得手段で取得された入力が前記第2入力であると判断される場合、前記第2入力に対応する前記注釈を前記第1表示領域に前記第1部分と共に表示する指示を前記表示部に出力する、機能を含む、プログラム。 - 前記設定手段は、前記相手方装置で撮影され、前記相手方装置から前記ネットワークを介して送信される撮影データ又は前記通信装置に接続される撮影部で撮影された撮影データに対応する撮影画像を表示する前記第1表示領域内の一部領域を、前記第2表示領域として設定し、
前記表示制御手段は、前記撮影画像を、前記第1表示領域と異なる状態で表示する指示を前記表示部に出力する、機能を含む、請求項1に記載のプログラム。 - 前記コンピュータを、前記撮影画像が前記第1表示領域内の一部領域に表示されているか否かを判断する表示判断手段として機能させ、
前記設定手段は、前記表示判断手段によって前記撮影画像が表示されていると判断される場合、前記撮影画像を表示する前記第1表示領域内の一部領域を、前記第2表示領域として設定する機能を含む、請求項2に記載のプログラム。 - 前記コンピュータを、前記相手方装置の表示部に表示された前記遠隔会議に関する表示が含まれる相手方会議画面において前記共有資料を表示する表示領域内に表示されている前記共有資料の所定の位置を示し、前記相手方装置から前記ネットワークを介して送信される位置情報を取得する第1取得手段として機能させ、
前記設定手段は、
前記第1取得手段によって取得された前記位置情報が示す前記所定の位置と、前記第1表示領域上の位置と、の間の距離に対応する第1評価値を、前記第1表示領域上の位置に対して決定し、
前記第1評価値に基づいて、前記第2表示領域の位置を特定し、特定された位置に前記第2表示領域を設定する、機能を含む、請求項1から請求項3の何れか1項に記載のプログラム。 - 前記設定手段は、前記第1表示領域を分割した前記第1表示領域内の複数の分割領域のそれぞれを、前記第1取得手段によって取得された前記位置情報が示す前記所定の位置に近い前記分割領域程、重み付けの度合いが高くなるように、前記第1評価値を決定する機能を含む、請求項4に記載のプログラム。
- 前記設定手段は、前記第1評価値としての前記重み付けの度合いが最も低い前記分割領域を、前記第2表示領域として設定する機能を含む、請求項5に記載のプログラム。
- 前記コンピュータを、前記共有資料に対する前記注釈の配置位置を取得する第2取得手段として機能させ、
前記設定手段は、
前記注釈の配置位置に対応する第2評価値を、前記第1表示領域上の位置に対して決定し、
前記第2評価値に基づいて、前記第2表示領域の位置を特定し、特定された位置に前記第2表示領域を設定する、機能を含む、請求項1から請求項6の何れか1項に記載のプログラム。 - 前記設定手段は、
前記第1表示領域を分割した前記第1表示領域内の複数の分割領域のそれぞれを対象として、前記第2取得手段によって取得された前記注釈の配置位置から、前記分割領域のそれぞれに入力された前記注釈の数を取得し、
前記注釈の数が多い前記分割領域程、重み付けの度合いが高くなるように、前記第2評価値を決定する、機能を含む、請求項7に記載のプログラム。 - 前記設定手段は、前記第2評価値としての前記重み付けの度合いが最も低い前記分割領域を、前記第2表示領域として設定する機能を含む、請求項8に記載のプログラム。
- 前記設定手段は、前記入力判断手段によって前記第1入力であると判断される前記入力取得手段で取得された入力から所定時間経過した場合、前記第2表示領域を再設定する機能を含む、請求項1から請求項9の何れか1項に記載のプログラム。
- 前記設定手段は、前記第2入力が終了した場合、前記第2表示領域を再設定する機能を含む、請求項1から請求項10の何れか1項に記載のプログラム。
- 前記表示制御手段は、前記第1表示領域に表示されている前記第1部分を含む前記共有資料に対応するサムネイル画像を、前記第2表示領域に表示する指示を前記表示部に出力する機能を含む、請求項1から請求項11の何れか1項に記載のプログラム。
- 前記設定手段は、前記第1表示領域内の一部領域を、前記第2表示領域として設定し、
前記表示制御手段は、前記第2表示領域の位置に対応する前記共有資料の部分を、前記第2表示領域外の位置に対応する前記共有資料の部分と比較して低い輝度で表示する指示を前記表示部に出力する、機能を含む、請求項1から請求項12の何れか1項に記載のプログラム。 - 前記表示制御手段は、前記入力判断手段によって、前記入力取得手段で取得された入力が前記第1入力であると判断される場合、前記第2表示領域に対する操作が示す座標変化量を第1数倍して取得される移動量だけ前記第1部分から離間した前記共有資料の部分を、前記第2部分として前記第1表示領域に表示する指示を前記表示部に出力する機能を含む、請求項1から請求項13の何れか1項に記載のプログラム。
- 前記表示制御手段は、前記入力判断手段によって、前記入力取得手段で取得された入力が前記第1入力であると判断される場合、前記第2表示領域に対する操作が示す座標変化量を、前記第2表示領域のサイズに対する前記第1表示領域のサイズの比に応じた第2数倍して取得される移動量だけ前記第1部分から離間した前記共有資料の部分を、前記第2部分として前記第1表示領域に表示する指示を前記表示部に出力する機能を含む、請求項1から請求項14の何れか1項に記載のプログラム。
- 前記設定手段は、前記入力判断手段によって、前記入力取得手段で取得された入力が前記第2入力であると判断される場合、少なくとも前記第2入力が終了するまでの間、前記第2表示領域を無効化し、
前記入力判断手段は、前記第2表示領域が無効化されている場合、前記入力取得手段で取得された入力が前記第2表示領域に対する場合でも前記第2入力と判断する、機能を含む、請求項1から請求項15の何れか1項に記載のプログラム。 - 前記コンピュータを、前記入力取得手段で取得された入力に基づいて、前記第1状態と、前記注釈の入力を受け付けない第2状態と、を切り替える切換手段として機能させ、
前記設定手段は、
前記第1状態である場合、前記第2表示領域を設定し、
前記第2状態である場合、前記第2表示領域を設定しない、機能を含む、請求項1から請求項16の何れか1項に記載のプログラム。 - 前記表示部と共にタッチパネルとなり、前記第1入力と前記第2入力とを受け付けるタッチパッドを備える前記操作部が接続された前記通信装置を制御する前記コンピュータが実行可能な請求項1から請求項17の何れか1項に記載のプログラム。
- ネットワークを介した遠隔会議に参加するユーザによって操作される通信装置であって、
前記通信装置に接続される表示部に表示された前記遠隔会議に関する表示が含まれる遠隔会議画面内の第1表示領域に、前記遠隔会議に参加する相手方によって操作される相手方装置との間で共有される共有資料データに対応する共有資料の第1部分を表示する指示を、前記表示部に出力する表示制御手段と、
前記通信装置が前記共有資料に対する注釈の入力を受け付ける第1状態である場合、前記遠隔会議画面内の前記第1表示領域よりも面積の小さい第2表示領域を、前記第1表示領域に表示されている前記第1部分を前記共有資料の第2部分に移動させる第1入力を受け付ける領域として設定する設定手段と、
前記通信装置に接続される操作部によって受け付けられた、前記遠隔会議画面に対する入力を取得する入力取得手段と、
前記設定手段によって前記第2表示領域が設定された状態で、前記入力取得手段によって取得された入力が、前記第2表示領域の位置に対する前記第1入力であるか、前記第2表示領域外で且つ前記第1表示領域内の位置に対する第2入力であるか、を判断する入力判断手段と、
前記入力判断手段によって、前記入力取得手段で取得された入力が前記第2入力であると判断される場合、前記第2入力に対応する前記注釈を示すデータを、前記ネットワークに接続された前記通信装置が備える通信部から前記相手方装置に送信する通信制御手段と、を備え、
前記表示制御手段は、
前記設定手段によって設定された前記第2表示領域を、前記第1表示領域と異なる状態で表示する指示を前記表示部に出力し、
前記入力判断手段によって、前記入力取得手段で取得された入力が前記第1入力であると判断される場合、前記第1表示領域に表示される前記共有資料の部分を前記第1部分から前記第2部分に移動し、前記第1表示領域に前記第2部分を表示する指示を前記表示部に出力し、
前記入力判断手段によって、前記入力取得手段で取得された入力が前記第2入力であると判断される場合、前記第2入力に対応する前記注釈を前記第1表示領域に前記第1部分と共に表示する指示を前記表示部に出力する、通信装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013070742A JP2014195183A (ja) | 2013-03-29 | 2013-03-29 | プログラム、通信装置 |
US14/226,951 US9509733B2 (en) | 2013-03-29 | 2014-03-27 | Program, communication apparatus and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013070742A JP2014195183A (ja) | 2013-03-29 | 2013-03-29 | プログラム、通信装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014195183A true JP2014195183A (ja) | 2014-10-09 |
Family
ID=51622113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013070742A Pending JP2014195183A (ja) | 2013-03-29 | 2013-03-29 | プログラム、通信装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9509733B2 (ja) |
JP (1) | JP2014195183A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016178365A1 (ja) * | 2015-05-07 | 2016-11-10 | 株式会社リコー | 情報処理装置、情報処理方法および情報処理プログラム |
JP2021124771A (ja) * | 2020-01-31 | 2021-08-30 | 株式会社リコー | 通信端末、通信システム、表示方法、及びプログラム |
JP2021170841A (ja) * | 2020-10-15 | 2021-10-28 | マクセル株式会社 | 情報処理システム及び無線端末 |
US11675496B2 (en) | 2021-03-17 | 2023-06-13 | Ricoh Company, Ltd. | Apparatus, display system, and display control method |
JP7554324B2 (ja) | 2019-08-06 | 2024-09-19 | シャープ株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101771400B1 (ko) * | 2017-03-24 | 2017-08-25 | 알서포트 주식회사 | 회의실객체를 이용한 화상회의 방법 |
CN111010529A (zh) * | 2019-12-25 | 2020-04-14 | 杭州席媒科技有限公司 | 可多人实时批注的视频会议方法及系统 |
CN118069007A (zh) * | 2020-08-03 | 2024-05-24 | 腾讯科技(深圳)有限公司 | 一种屏幕共享方法、装置、设备及存储介质 |
CN116197887B (zh) * | 2021-11-28 | 2024-01-30 | 梅卡曼德(北京)机器人科技有限公司 | 生成抓取辅助图像的图像数据处理方法、装置、电子设备和存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7185054B1 (en) * | 1993-10-01 | 2007-02-27 | Collaboration Properties, Inc. | Participant display and selection in video conference calls |
JPH09198228A (ja) | 1996-01-17 | 1997-07-31 | Nippon Telegr & Teleph Corp <Ntt> | 共有ビュー表示方法 |
CN1393083A (zh) * | 2000-05-19 | 2003-01-22 | 索尼株式会社 | 网络会议系统、设备管理方法和数据演示方法 |
WO2003026217A1 (fr) * | 2001-09-14 | 2003-03-27 | Sony Corporation | Systeme de traitement d'informations reseau et procede de traitement d'informations |
JP5069520B2 (ja) | 2007-08-24 | 2012-11-07 | 株式会社Access | 表示装置におけるコンテンツの表示方法、コンテンツ表示プログラム、及び表示装置 |
-
2013
- 2013-03-29 JP JP2013070742A patent/JP2014195183A/ja active Pending
-
2014
- 2014-03-27 US US14/226,951 patent/US9509733B2/en not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016178365A1 (ja) * | 2015-05-07 | 2016-11-10 | 株式会社リコー | 情報処理装置、情報処理方法および情報処理プログラム |
JPWO2016178365A1 (ja) * | 2015-05-07 | 2018-05-24 | 株式会社リコー | 情報処理装置、情報処理方法および情報処理プログラム |
US10419618B2 (en) | 2015-05-07 | 2019-09-17 | Ricoh Company, Ltd. | Information processing apparatus having whiteboard and video conferencing functions |
JP7554324B2 (ja) | 2019-08-06 | 2024-09-19 | シャープ株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
JP2021124771A (ja) * | 2020-01-31 | 2021-08-30 | 株式会社リコー | 通信端末、通信システム、表示方法、及びプログラム |
JP7476548B2 (ja) | 2020-01-31 | 2024-05-01 | 株式会社リコー | 通信端末、通信システム、表示方法、及びプログラム |
JP2021170841A (ja) * | 2020-10-15 | 2021-10-28 | マクセル株式会社 | 情報処理システム及び無線端末 |
JP7149386B2 (ja) | 2020-10-15 | 2022-10-06 | マクセル株式会社 | 情報処理システム及び無線端末 |
US11675496B2 (en) | 2021-03-17 | 2023-06-13 | Ricoh Company, Ltd. | Apparatus, display system, and display control method |
Also Published As
Publication number | Publication date |
---|---|
US9509733B2 (en) | 2016-11-29 |
US20140298205A1 (en) | 2014-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014195183A (ja) | プログラム、通信装置 | |
US11967039B2 (en) | Automatic cropping of video content | |
TWI672629B (zh) | 表情展示方法、裝置及電腦可讀取儲存媒體 | |
KR102377277B1 (ko) | 전자 장치에서 커뮤니케이션 지원 방법 및 장치 | |
CN110457095B (zh) | 多参与者实时通信用户界面 | |
KR20140027835A (ko) | 휴대 단말기 및 메신저 영상 서비스 운용 방법 | |
US20230319413A1 (en) | User interfaces for camera sharing | |
JP2016053940A (ja) | タッチ撮影方法及びそのタッチ端末 | |
TW201537446A (zh) | 電子裝置以及通信方法 | |
JP2015192247A (ja) | プログラム及び端末装置 | |
CN110968364A (zh) | 添加快捷插件的方法、装置及智能设备 | |
KR102448223B1 (ko) | 그래픽 사용자 인터페이스를 위한 미디어 캡처 잠금 어포던스 | |
JP6451625B2 (ja) | 通信端末及び通信方法 | |
CN113918070A (zh) | 同步显示方法、装置、可读存储介质及电子设备 | |
AU2021203903B2 (en) | Multi-participant live communication user interface | |
JP2014194675A (ja) | プログラム、通信装置 | |
KR20150033755A (ko) | 터치 좌표를 이용한 단말기 및 사용자 인터페이스 방법 | |
CN108469926B (zh) | 设备控制方法、装置及设备 | |
JP2020161120A (ja) | 情報伝送システム、情報処理装置、伝送方法、及びプログラム | |
TW201606639A (zh) | 顯示裝置影像擷取程序操作方法 |