JP2015126457A - サーバ装置のプログラム、サーバ装置及び遠隔会議方法 - Google Patents

サーバ装置のプログラム、サーバ装置及び遠隔会議方法 Download PDF

Info

Publication number
JP2015126457A
JP2015126457A JP2013270727A JP2013270727A JP2015126457A JP 2015126457 A JP2015126457 A JP 2015126457A JP 2013270727 A JP2013270727 A JP 2013270727A JP 2013270727 A JP2013270727 A JP 2013270727A JP 2015126457 A JP2015126457 A JP 2015126457A
Authority
JP
Japan
Prior art keywords
communication terminal
terminal device
video data
video
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013270727A
Other languages
English (en)
Inventor
健二 尾池
Kenji Oike
健二 尾池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2013270727A priority Critical patent/JP2015126457A/ja
Priority to US14/581,845 priority patent/US9344680B2/en
Publication of JP2015126457A publication Critical patent/JP2015126457A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】通信端末装置に送信される映像データのデータ量の増加を抑制しつつ、通信端末装置で非表示であった撮影画像の表示をスムーズに行うことができる、サーバ装置のプログラム、サーバ装置及び遠隔会議方法を提供する。
【解決手段】第二通信端末装置からの映像データに対応した撮影画像が、第一通信端末装置の表示部の映像表示領域に含まれないと判断されたことに応じて、第二通信端末装置からの映像データに含まれるフレーム内圧縮画像とフレーム間圧縮画像とのうち、少なくとも一部のフレーム間圧縮画像を非送信対象に設定する更新頻度情報が決定される。撮影画像が映像表示領域に含まれないと判断された第二通信端末装置からの映像データが第一通信端末装置に送信される場合、更新頻度情報で非送信対象として設定された少なくとも一部のフレーム間圧縮画像を含まない映像データが送信される
【選択図】図15

Description

本発明は、ネットワークを介した複数の通信端末装置による遠隔会議を実行するサーバ装置のプログラムと、サーバ装置と、遠隔会議方法に関する。
遠隔会議に関する技術が提案されている。例えば、特許文献1には、通信装置が開示されている。この通信装置は、複数の拠点と接続してテレビ会議を行うテレビ会議システムの拠点に設置される。通信装置はモニタを有する。このモニタには、接続された複数の拠点の通信装置から動画像データを受信することにより、複数の拠点の動画像がそれぞれ個別のウィンドウに表示される。通信装置では、所定の拠点の動画像が表示されるウィンドウが切り替わり、動画像の表示領域の大きさが減少する変化があった場合、動画像データのフレームレート又は解像度の低下を指示する制御コマンドが生成され、動画像の表示領域が消滅する変化があった場合、動画像データの送信停止を指示する制御コマンドが生成される。制御コマンドは、動画像データの送信側拠点に設置された通信装置に対して送信される。
特開2010−35248号公報
遠隔会議は、ネットワークに接続された複数の通信端末装置を用いて行われる。遠隔会議における映像及び音の各データは、ネットワークに接続されたサーバ装置を経由して複数の通信端末装置間を通信される。通信端末装置では、他の通信端末装置のそれぞれからの複数の映像データに対応した各撮影画像が表示される。参加者が多い遠隔会議では、表示される撮影画像の数も多くなり、一度には表示することができなくなる場合もある。通信端末装置のユーザは、非表示であった撮影画像を新たに表示させる場合、表示される撮影画像を変更する操作(例えば、スクロール、スワイプ、タブの切替)を通して通信端末装置に撮影画像の移動指令を入力する。通信端末装置では、この移動指令に従い、非表示の撮影画像が表示される。この場合、非表示であった撮影画像に対応した映像データの受信が停止されていると、移動指令の入力に応じてこの映像データの受信が開始される。映像データは、フレーム内圧縮画像とフレーム間圧縮画像を含む。フレーム内圧縮画像は、単独でデコードすることができるのに対し、フレーム間圧縮画像のデコードには、例えば、フレーム内圧縮画像が必要となる。従って、映像データとしてフレーム間圧縮画像が前述の指令が入力されたタイミングで受信されていると、フレーム内圧縮画像が受信されるまでデコードすることができない。その結果、非表示から表示されることとなる撮影画像の表示がフレーム内圧縮画像が受信されるまで行えず、非表示であった撮影画像を前述した操作に対応させてスムーズに表示させることができない場合がある。
本発明は、通信端末装置に送信される映像データのデータ量の増加を抑制しつつ、通信端末装置で非表示であった撮影画像の表示をスムーズに行うことができる、サーバ装置のプログラム、サーバ装置及び遠隔会議方法を提供することを目的とする。
本発明の一側面は、ネットワークを介した複数の通信端末装置による遠隔会議を実行するサーバ装置を制御するコンピュータが実行可能なプログラムであって、前記コンピュータを、前記複数の通信端末装置のそれぞれで撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記映像データの提供元の前記通信端末装置を識別する識別情報と、を前記ネットワークに接続された前記サーバ装置の通信部を介して、前記複数の通信端末装置のそれぞれから取得する第一取得手段と、前記複数の通信端末装置のうち、第一通信端末装置以外の第二通信端末装置を含む通信端末装置からの前記映像データに対応した前記撮影画像のそれぞれを予め定められた配置設定に従い配置した映像配置領域における前記各撮影画像の前記第一通信端末装置の表示部の映像表示領域での表示に関する状態情報と、前記映像配置領域内の前記各撮影画像に対応した前記映像データの提供元の前記通信端末装置の前記識別情報と、がそれぞれ関連付けられた配置情報を、前記第二通信部を介して、前記第一通信端末装置から取得する第二取得手段と、前記第二取得手段により取得された前記配置情報に含まれる前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に従い、前記第二通信端末装置からの前記映像データに対応した前記撮影画像が前記映像表示領域に含まれているか否かを判断する第一判断手段と、前記第一判断手段で前記第二取得手段により取得された前記第二通信端末装置からの前記映像データに対応した前記撮影画像が前記映像表示領域に含まれないと判断されたことに応じて、前記第二通信端末装置からの前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報を決定する決定手段と、前記第一判断手段で前記撮影画像が前記映像表示領域に含まれないと判断された前記第二通信端末装置からの前記映像データを前記第一通信端末装置に送信する場合、前記決定手段により決定された前記更新頻度情報で非送信対象として設定された少なくとも一部の前記フレーム間圧縮画像を含まない前記映像データを送信する送信制御手段と、して機能させるプログラムである。
これによれば、第一通信端末装置で映像表示領域に表示されていない撮影画像に対応した第二通信端末装置からの映像データについて、少なくとも一部のフレーム間圧縮画像を非送信対象に設定することができる。更新頻度情報で非送信対象に設定されたフレーム間圧縮画像を第一通信端末装置に送信させなくすることができる。サーバ装置は、表示されていない撮影画像であっても、フレーム内圧縮画像、又は、フレーム内圧縮画像及び非送信対象ではないフレーム間圧縮画像を第一通信端末装置に送信する。第一通信端末装置では、前述の圧縮画像を取得することができる。従って、表示されていない撮影画像が表示されることとなった場合には、前述の各圧縮画像に基づいた表示の制御を実行することができる。「状態情報」は、表示に関する情報であって、例えば、表示又は非表示を示す情報を含み、更に、後述する各情報を含む。
このプログラムにおいて、前記決定手段は、全ての前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する機能を含む、ようにしてもよい。これによれば、全てのフレーム間圧縮画像を非送信対象に設定し、全てのフレーム間圧縮画像を第一通信端末装置に送信させなくすることができる。
前記第二取得手段は、前記映像表示領域に含まれない前記映像配置領域の部分に配置された前記撮影画像を前記映像表示領域内へと移動させる移動方向と反対の方向において前記映像表示領域の前記移動方向の後進側の端部からの間隔を示す間隔情報を含む前記状態情報と、前記識別情報と、がそれぞれ関連付けられた前記配置情報を前記第一通信端末装置から取得し、前記決定手段は、前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に含まれる前記間隔情報が第一間隔内である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第一削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定し、前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に含まれる前記間隔情報が前記第一間隔より広い第二間隔である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が前記第一削減量より多い第二削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する、機能を含む、ようにしてもよい。
これによれば、第一通信端末装置で表示されていない撮影画像に対応した第二通信端末装置からの映像データに関し、映像表示領域との位置関係に応じてデータ削減量を変更することができる。第二通信端末装置からの映像データに対応した撮影画像が移動方向と反対の方向において映像表示領域に近い位置に配置されている場合、データ削減量が第一削減量となる条件で、フレーム間圧縮画像を非送信対象に設定することができる。第一通信端末装置で表示されることとなった場合の撮影画像の再生品質を向上させることができる。第二通信端末装置からの映像データに対応した撮影画像が移動方向と反対の方向において映像表示領域から離れた位置に配置されている場合、第一削減量より多い第二削減量となる条件で、フレーム間圧縮画像を非送信対象に設定することができる。映像表示領域の近くにある非表示の撮影画像は表示される可能性が高く、映像表示領域からの距離が遠い撮影画像は近い撮影画像より表示される可能性が低くなる。そのため、表示の可能性の高い非表示の撮影画像は表示された場合の再生品質を向上させることができる一方で、表示される可能性の低い非表示の撮影画像は映像データのデータ量を更に抑制することができる。
前記決定手段は、前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に含まれる前記間隔情報が前記移動方向に対応した方向における前記映像表示領域の幅に対応した前記第一間隔内である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が前記第一削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する機能を含む、ようにしてもよい。これによれば、移動方向に対応した方向における映像表示領域の幅を基準として、データ削減量を変更することができる。「前記移動方向に対応した方向」は、移動方向及び移動方向と反対の方向の両方向を含む。
前記第二取得手段は、前記複数の通信端末装置うち、前記第一通信端末装置以外の前記第二通信端末装置を含む前記通信端末装置からの前記映像データに対応した前記撮影画像のそれぞれが前記映像表示領域に表示された映像累積時間を含む前記状態情報と、前記識別情報と、がそれぞれ関連付けられた前記配置情報を前記第一通信端末装置から取得し、前記決定手段は、前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に含まれる前記映像累積時間が第一映像累積時間である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第三削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定し、前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に含まれる前記映像累積時間が第二映像累積時間である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第四削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する、機能を含む、ようにしてもよい。これによれば、表示された累積時間に応じてデータ削減量を変更することができる。
前記決定手段は、前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に含まれる前記映像累積時間が前記第二映像累積時間より長い前記第一映像累積時間である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が前記第四削減量より少ない前記第三削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する機能を含む、ようにしてもよい。これによれば、長く表示されている撮影画像に対応した第二通信端末装置からの映像データについては、データ削減量が短い場合の第四削減量より少ない第三削減量となる条件で、フレーム間圧縮画像を非送信対象に設定することができる。換言すれば、表示されていない又は表示時間が短い撮影画像に対応した第二通信端末装置からの映像データについては、データ削減量が第三削減量より多い第四削減量となる条件で、フレーム間圧縮画像を非送信対象に設定することができる。第一通信端末装置で現在非表示であっても、これまでに長く表示されている撮影画像については、新たに表示されることとなった場合の再生品質を向上させることができる。
前記決定手段は、前記映像表示領域に含まれない前記映像配置領域の部分に配置された前記撮影画像に対応した前記第二通信端末装置からの前記映像データに所定のタイミングで繰り返して含まれる前記フレーム内圧縮画像のうちの一部を非送信対象に設定する前記更新頻度情報を決定し、前記送信制御手段は、前記第一判断手段で前記撮影画像が前記映像表示領域に含まれないと判断された前記第二通信端末装置からの前記映像データを前記第一通信端末装置に送信する場合、前記決定手段により決定された前記更新頻度情報で非送信対象として設定された一部の前記フレーム内圧縮画像を含まない前記映像データを送信する、機能を含む、ようにしてもよい。これによれば、データ量の大きなフレーム内圧縮画像の一部についても非送信対象に設定することができる。非送信対象に設定された一部のフレーム内圧縮画像を第一通信端末装置に送信させなくすることができる。
前記コンピュータを、前記複数の通信端末装置のそれぞれで集音された音に対応した音データと、前記音データの提供元の前記通信端末装置の前記識別情報と、を前記複数の通信端末装置のそれぞれから取得する第三取得手段と、前記第三取得手段により取得された前記音データのそれぞれを対象として、前記音データの再生時間を累積した音累積時間と、前記音データの提供元である前記通信端末装置の前記識別情報と、を関連付けて登録する登録手段と、して機能させ、前記決定手段は、前記第二通信端末装置の前記識別情報に関連付けられた前記音累積時間が第一音累積時間である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第五削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定し、前記第二通信端末装置の前記識別情報に関連付けられた前記音累積時間が第二音累積時間である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第六削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する、機能を含む、ようにしてもよい。これによれば、遠隔会議における各参加者の発言の累積時間に応じてデータ削減量を変更することができる。
前記決定手段は、前記第二通信端末装置の前記識別情報に関連付けられた前記音累積時間が前記第二音累積時間より長い前記第一音累積時間である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が前記第六削減量より少ない前記第五削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する機能を含む、ようにしてもよい。これによれば、発言機会が多い第二通信端末装置からの映像データについては、データ削減量が発言機会が少ない場合の第六削減量より少ない第五削減量となる条件で、フレーム間圧縮画像を非送信対象に設定することができる。換言すれば、発言していない又は発言機会が少ない第二通信端末装置からの映像データについては、データ削減量が第五削減量より多い第六削減量となる条件で、フレーム間圧縮画像を非送信対象に設定することができる。第一通信端末装置で現在非表示であっても、これまでに発言機会が多い第二通信端末装置の撮影画像については、新たに表示されることとなった場合の再生品質を向上させることができる。
本発明の他の側面は、ネットワークを介した複数の通信端末装置による遠隔会議を実行するサーバ装置であって、前記複数の通信端末装置のそれぞれで撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記映像データの提供元の前記通信端末装置を識別する識別情報と、を前記ネットワークに接続された前記サーバ装置の通信部を介して、前記複数の通信端末装置のそれぞれから取得する第一取得手段と、前記複数の通信端末装置のうち、第一通信端末装置以外の第二通信端末装置を含む通信端末装置からの前記映像データに対応した前記撮影画像のそれぞれを予め定められた配置設定に従い配置した映像配置領域における前記各撮影画像の前記第一通信端末装置の表示部の映像表示領域での表示に関する状態情報と、前記映像配置領域内の前記各撮影画像に対応した前記映像データの提供元の前記通信端末装置の前記識別情報と、がそれぞれ関連付けられた配置情報を、前記第二通信部を介して、前記第一通信端末装置から取得する第二取得手段と、前記第二取得手段により取得された前記配置情報に含まれる前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に従い、前記第二通信端末装置からの前記映像データに対応した前記撮影画像が前記映像表示領域に含まれているか否かを判断する第一判断手段と、前記第一判断手段で前記第二取得手段により取得された前記第二通信端末装置からの前記映像データに対応した前記撮影画像が前記映像表示領域に含まれないと判断されたことに応じて、前記第二通信端末装置からの前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報を決定する決定手段と、前記第一判断手段で前記撮影画像が前記映像表示領域に含まれないと判断された前記第二通信端末装置からの前記映像データを前記第一通信端末装置に送信する場合、前記決定手段により決定された前記更新頻度情報で非送信対象として設定された少なくとも一部の前記フレーム間圧縮画像を含まない前記映像データを送信する送信制御手段と、を備えるサーバ装置である。
これによれば、対応する上記のサーバ装置のプログラムと同様の作用が実現される。このサーバ装置は、上記のサーバ装置の各プログラムと同様、他の機能が実現されるサーバ装置として特定することもできる。この場合、サーバ装置は、上記のサーバ装置の各プログラムのうち、対応するプログラムと同様の作用を奏する。「状態情報」は、上述した通りである。
本発明の更に他の側面は、ネットワークを介した複数の通信端末装置による遠隔会議を実行するサーバ装置で実行される遠隔会議方法であって、前記複数の通信端末装置のそれぞれで撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記映像データの提供元の前記通信端末装置を識別する識別情報と、を前記ネットワークに接続された前記サーバ装置の通信部を介して、前記複数の通信端末装置のそれぞれから取得する第一取得工程と、前記複数の通信端末装置のうち、第一通信端末装置以外の第二通信端末装置を含む通信端末装置からの前記映像データに対応した前記撮影画像のそれぞれを予め定められた配置設定に従い配置した映像配置領域における前記各撮影画像の前記第一通信端末装置の表示部の映像表示領域での表示に関する状態情報と、前記映像配置領域内の前記各撮影画像に対応した前記映像データの提供元の前記通信端末装置の前記識別情報と、がそれぞれ関連付けられた配置情報を、前記第二通信部を介して、前記第一通信端末装置から取得する第二取得工程と、前記第二取得工程により取得された前記配置情報に含まれる前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に従い、前記第二通信端末装置からの前記映像データに対応した前記撮影画像が前記映像表示領域に含まれているか否かを判断する第一判断工程と、前記第一判断工程で前記第二取得工程により取得された前記第二通信端末装置からの前記映像データに対応した前記撮影画像が前記映像表示領域に含まれないと判断されたことに応じて、前記第二通信端末装置からの前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報を決定する決定工程と、前記第一判断工程で前記撮影画像が前記映像表示領域に含まれないと判断された前記第二通信端末装置からの前記映像データを前記第一通信端末装置に送信する場合、前記決定工程により決定された前記更新頻度情報で非送信対象として設定された少なくとも一部の前記フレーム間圧縮画像を含まない前記映像データを送信する送信工程と、を含む遠隔会議方法である。
これによれば、対応する上記のプログラムと同様の作用が実現される。この遠隔会議方法は、上記の各プログラムと同様、他の手順が実現される遠隔会議方法として特定することもできる。この場合、遠隔会議方法は、上記の各プログラムのうち、対応するプログラムと同様の作用を奏する。「状態情報」は、上述した通りである。
本発明の更に他の側面は、ネットワークを介した複数の通信端末装置による遠隔会議を実行するサーバ装置を制御するコンピュータが実行可能なプログラムであって、前記コンピュータを、前記複数の通信端末装置のそれぞれで撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記映像データの提供元の前記通信端末装置を識別する識別情報と、を前記ネットワークに接続された前記サーバ装置の通信部を介して、前記複数の通信端末装置のそれぞれから取得する第三取得手段と、前記複数の通信端末装置のうちの自装置以外の前記通信端末装置からの前記映像データに対応した前記撮影画像のそれぞれを予め定められた配置設定に従い配置した映像配置領域における前記各撮影画像の前記各通信端末装置の表示部の映像表示領域での表示に関する状態情報と、前記映像配置領域内の前記各撮影画像に対応した前記映像データの提供元の前記通信端末装置の前記識別情報と、がそれぞれ関連付けられた配置情報と、前記配置情報の提供元の前記通信端末装置を識別する識別情報と、を前記通信部を介して、前記複数の通信端末装置のそれぞれから取得する第四取得手段と、前記複数の通信端末装置からの前記各配置情報を、前記配置情報の提供元である前記通信端末装置の前記識別情報と関連付けて、前記サーバ装置の記憶領域に記憶する記憶手段と、前記複数の通信端末装置のうちの特定の通信端末装置からの前記映像データが取得された場合、前記特定の通信端末装置の前記識別情報に関連付けられた前記状態情報に従い、前記特定の通信端末装置からの前記映像データに対応した前記撮影画像が、前記特定の通信端末装置以外の前記通信端末装置の前記映像表示領域に含まれているか否かを、前記記憶領域に記憶された前記特定の通信端末装置の前記識別情報とは異なる前記識別情報に関連付けられた前記配置情報のそれぞれを対象として判断する第二判断手段と、前記第二判断手段により前記撮影画像が前記映像表示領域に含まれないと判断されたことに応じて、前記特定の通信端末装置から取得された前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報を決定する決定手段と、前記決定手段により決定された前記更新頻度情報で非送信対象として設定された少なくとも一部の前記フレーム間圧縮画像を含まない前記特定の通信端末装置から取得された前記映像データを、前記第二判断手段による判断対象とされた前記配置情報に関連付けられた前記識別情報の前記通信端末装置に送信する送信制御手段と、して機能させるプログラムである。
これによれば、特定の通信端末装置以外の各通信端末装置で映像表示領域に表示されていない特定の通信端末装置の撮影画像に対応した映像データについて、少なくとも一部のフレーム間圧縮画像を非送信対象に設定することができる。更新頻度情報で非送信対象に設定されたフレーム間圧縮画像を特定の通信端末装置以外の各通信端末装置に送信させなくすることができる。サーバ装置は、表示されていない撮影画像であっても、フレーム内圧縮画像、又は、フレーム内圧縮画像及び非送信対象ではないフレーム間圧縮画像を特定の通信端末装置以外の通信端末装置に送信する。特定の通信端末装置以外の各通信端末装置では、前述の圧縮画像を取得することができる。従って、表示されていない特定の通信端末装置の撮影画像が表示されることとなった場合には、前述の各圧縮画像に基づいた表示の制御を実行することができる。「状態情報」については、上記同様である。
本発明によれば、通信端末装置に送信される映像データのデータ量の増加を抑制しつつ、通信端末装置で非表示であった撮影画像の表示をスムーズに行うことができる、サーバ装置のプログラム、サーバ装置及び遠隔会議方法を得ることができる。
遠隔会議システムの一例を示す図である。 撮影画像が配置された映像配置領域と表示部の映像表示領域の関係の一例を示す図である。 管理テーブルの一例を示す図である。 音送信処理のフローチャートである。 映像送信処理のフローチャートである。 クライアント受信処理のフローチャートである。 配置情報送信処理のフローチャートである。 サーバ転送処理の第一部分のフローチャートである。 サーバ転送処理の第二部分のフローチャートである。 サーバ転送処理の第三部分のフローチャートである。 サーバ装置で管理される配置情報の一例を示す図である。 サーバ装置で管理される更新頻度設定の一例を示す図である。 更新ルールを示す図である。 音累積時間テーブルの一例を示す図である。 更新頻度決定処理のフローチャートである。 転送判断処理のフローチャートである。
本発明を実施するための実施形態について、図面を用いて説明する。本発明は、以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に示す構成の一部は、省略し又は他の構成等に置換してもよい。また、他の構成を含むようにしてもよい。
<遠隔会議システム>
遠隔会議システム10の概略について、図1〜図3を参照して説明する。遠隔会議システム10は、図1に示すように、サーバ装置20と通信端末装置30と5台の相手方装置71,72,73,74,75を含む。以下では、通信端末装置30と5台の相手方装置71,72,73,74,75によって行われる遠隔会議を例に説明する。遠隔会議システム10による遠隔会議は、通信端末装置30と1〜4台の相手方装置、又は、通信端末装置30と6台以上の相手方装置で行われるようにしてもよい。
サーバ装置20と通信端末装置30と相手方装置71,72,73,74,75は、ネットワーク90に接続されている。ネットワーク90は、例えば、インターネットのようなネットワークである。通信端末装置30及び相手方装置71,72,73,74,75による遠隔会議は、公知の遠隔会議システムと同様、サーバ装置20を経由して行われる。
通信端末装置30は、ネットワーク90を介した通信機能を有する通信装置である。通信端末装置30は、例えば、スマートフォン、タブレット端末又はパーソナルコンピュータのような通信装置である。以下では、通信端末装置30がスマートフォン又はタブレット端末のようなモバイル型の通信装置である場合を例に説明する。通信端末装置30の構成については後述する。相手方装置71,72,73,74,75は、公知の通信装置である。相手方装置71,72,73,74,75の一部又は全部は、通信端末装置30と同様の通信装置であってもよい。相手方装置71,72,73,74,75は、パーソナルコンピュータであってもよい。遠隔会議に際し、相手方装置71,72,73,74,75でも、後述する通信端末装置30で実行される各処理(図4〜図7参照)が実行される。「相手方装置」との名称は、通信端末装置30を主として説明する実施形態において、この通信端末装置30と区別するための形式的なものである。相手方装置71,72,73,74,75に関する説明は適宜省略する。
遠隔会議システム10では、通信端末装置30で撮影された撮影画像に対応した映像データと通信端末装置30で集音された音に対応した音データが通信端末装置30からサーバ装置20に送信される。また、相手方装置71で撮影された撮影画像に対応した映像データと相手方装置71で集音された音に対応した音データが相手方装置71からサーバ装置20に送信される。相手方装置72,73,74,75においても、相手方装置71と同様、各々で撮影された撮影画像に対応した映像データと各々で集音された音に対応した音データがサーバ装置20にそれぞれ送信される。通信端末装置30及び相手方装置71,72,73,74,75からの映像データと音データを取得したサーバ装置20は、取得された映像データと音データを、送信元装置以外の通信端末装置30及び相手方装置71,72,73,74,75にそれぞれ送信する。例えば、サーバ装置20は、通信端末装置30からの映像データ及び音データを、通信端末装置30以外の相手方装置71,72,73,74,75にそれぞれ送信する。即ち、遠隔会議システム10では、通信端末装置30からの映像データ及び音データが、サーバ装置20を経由して相手方装置71,72,73,74,75のそれぞれにストリーミング方式で送信され、相手方装置71,72,73,74,75からの映像データ及び音データのそれぞれが、サーバ装置20を経由して通信端末装置30にストリーミング方式で送信される。
映像データは、所定の圧縮方式の動画データである。圧縮方式としては、H.264が例示される。映像データは、公知の映像データと同様、フレーム内圧縮画像とフレーム間圧縮画像を含む。映像データのフレームレートは、例えば、30fpsとされる。フレーム内圧縮画像としてはIフレーム(Intra-coded Frame)が挙げられ、フレーム間圧縮画像としてはPフレーム(Predicted Frame)及びBフレーム(Bi-directional Predicted Frame)が挙げられる。Iフレームは、フレーム間予測を用いずに符号化された画像である。Pフレームは、前方向予測のみを用いて符号化された画像である。Bフレームは、前方向予測、後方向予測及び両方向予測のうちの何れかを用いて符号化された画像である。IフレームとPフレームとBフレームは、既に実用化された圧縮画像である。そのため、これらに関する説明は省略する。IフレームとPフレームとBフレームを区別せず、又は、これらを総称する場合、「圧縮画像」という。
通信端末装置30及び相手方装置71,72,73,74,75からは、映像データ及び音データと共に、送信元装置の識別情報と、参加する遠隔会議を識別する会議IDが送信される。サーバ装置20は、送信元装置以外の通信装置に送信する映像データ及び音データと共に、この送信元装置の識別情報と、参加する遠隔会議を識別する会議IDを送信する。識別情報及び会議IDは、例えば、映像データ及び音データの各ヘッダ部に含ませるようにしてもよい。識別情報は、各通信装置を識別する情報である。通信端末装置30の識別情報は、通信端末装置30を識別する情報であり、相手方装置71,72,73,74,75の各識別情報は、相手方装置71,72,73,74,75をそれぞれ識別する情報である。なお、通信端末装置30及び相手方装置71,72,73,74,75は、所定の会議IDで識別される同一の遠隔会議に参加しているものとする。
通信端末装置30は、相手方装置71,72,73,74,75からの映像データと音データと識別情報と会議IDを受信し、これらを取得する。通信端末装置30では、相手方装置71,72,73,74,75からの各映像データが再生され、各映像データに対応した撮影画像381,382,383,384,385が生成される。通信端末装置30では、自装置で取得された映像データが再生され、この映像データに対応した撮影画像が生成される。映像データの再生は、映像データに含まれる圧縮画像がデコードされる等して行われる。
撮影画像381は、相手方装置71からの映像データに対応した撮影画像である。撮影画像382は、相手方装置72からの映像データに対応した撮影画像である。撮影画像383は、相手方装置73からの映像データに対応した撮影画像である。撮影画像384は、相手方装置74からの映像データに対応した撮影画像である。撮影画像385は、相手方装置75からの映像データに対応した撮影画像である。
生成された撮影画像381,382,383,384,385と通信端末装置30の撮影画像は、配置設定に従い配置される。遠隔会議用の所定のプログラム(例えば、図6に示すクライアント受信処理のプログラム 図10のS43参照)には、撮影画像381,382,383,384,385を含む撮影画像が配置される部分領域を含む全体領域がパターン化され、配置設定として登録されている。この他、通信端末装置30では、撮影画像381,382,383,384,385と通信端末装置30の撮影画像の配置を予め任意に設定することもできる。通信端末装置30では、各撮影画像に対して、表示又は非表示を設定することができる。例えば、通信端末装置30の撮影画像が非表示とされた場合、通信端末装置30の撮影画像は表示されない。通信端末装置30では配置設定と表示又は非表示の設定に応じた遠隔会議画面が表示される(図2参照)。
実施形態では、通信端末装置30の撮影画像が非表示とされ、撮影画像381,382,383,384,385が表示されることとし、撮影画像381,382,383,384,385が水平方向(図2参照)に整列される配置設定(M行×N列:1行×1列〜1行×5列)を例に説明する。配置設定に従い撮影画像381,382,383,384,385が配置される全体領域を「映像配置領域A」という。撮影画像381は、映像配置領域A内の領域A1に配置される。撮影画像382は、映像配置領域A内の領域A2に配置される。撮影画像383は、映像配置領域A内の領域A3に配置される。撮影画像384は、映像配置領域A内の領域A4に配置される。撮影画像385は、映像配置領域A内の領域A5に配置される。領域A1は、「1行×1列」〜「1行×5列」の映像配置領域Aのうちの「1行×1列」の領域である。領域A2は、映像配置領域Aのうちの「1行×2列」の領域である。領域A3は、映像配置領域Aのうちの「1行×3列」の領域である。領域A4は、映像配置領域Aのうちの「1行×4列」の領域である。領域A5は、映像配置領域Aのうちの「1行×5列」の領域である。
通信端末装置30では、表示対象の撮影画像381,382,383,384,385のそれぞれに対応する相手方装置71,72,73,74,75の各識別情報に関連付けられて、撮影画像381,382,383,384,385の状態情報が管理テーブルに登録される(図3参照)。状態情報は、撮影画像381,382,383,384,385の表示に関する情報である。状態情報は、撮影画像381,382,383,384,385の各配置を示す情報を含む。図3に示す例では、配置を示す情報として、「0」、「1」及び「2」が定義されている。配置を示す情報としての「0」、「1」及び「2」については後述する。管理テーブルでは、この他、各識別情報に関連付けて状態情報としての映像累積時間が登録される。映像累積時間は、1回の遠隔会議において、映像表示領域Bに撮影画像381,382,383,384,385がそれぞれ表示された累積時間である。通信端末装置30では、撮影画像381,382,383,384,385がそれぞれ表示された累積時間が計測される。
図3において、識別情報「71」は、相手方装置71の識別情報である。識別情報「72」は、相手方装置72の識別情報である。識別情報「73」は、相手方装置73の識別情報である。識別情報「74」は、相手方装置74の識別情報である。識別情報「75」は、相手方装置75の識別情報である。配置設定に従い配置された撮影画像381,382,383,384,385の表示に関するこの他の説明は後述する。
相手方装置71,72,73,74,75でも、通信端末装置30及び相手方装置71,72,73,74,75のうち、自装置以外の通信装置からの各映像データが再生され、各映像データに対応した撮影画像が生成される。そして、配置設定と表示又は非表示の設定に応じた遠隔会議画面が表示される。相手方装置71,72,73,74,75でも、自装置で取得された映像データを再生し、自装置での撮影画像を表示させることもできる。また、相手方装置71,72,73,74,75でも、通信端末装置30からの音データと、相手方装置71,72,73,74,75のうち、自装置以外の通信装置からの各音データが再生され、各音データに対応した音が出力される。
実施形態では、通信端末装置30と同様、相手方装置71,72,73,74,75では、自装置の撮影画像は非表示とされ、自装置以外の撮影画像が表示されていることとする。また、実施形態における「送信元装置」及び「送信元」について、所定のデータを取得する装置を主体とした場合、所定のデータの「送信元装置」及び「送信元」は、所定のデータの「提供元装置」及び「提供元」ということもできる。
<サーバ装置>
サーバ装置20は、図1に示すように、CPU22と、記憶部24と、RAM26と、計時部27と、通信部28を備える。これら各部22〜28は、バス29に接続される。
CPU22は、演算処理を実行する。記憶部24は、コンピュータが読み取り可能な記憶媒体、例えば、ハードディスクによって構成される。但し、記憶部24は、フラッシュメモリ及び/又はROM等で構成されてもよい。記憶部24には、各種のプログラムが記憶される。例えば、OS(Operating System)及び各種のアプリケーションが記憶部24に記憶される。記憶部24に記憶されるアプリケーションには、後述する各処理(図8〜図10、図15及び図16参照)を実行するプログラムが含まれる。後述する各処理を実行するプログラムは、記憶部24に事前にインストールされる。
事前のインストールは、例えば、半導体メモリ等のコンピュータが読み取り可能な記憶媒体に記憶されたプログラムが、サーバ装置20の読取部(不図示)によって読み取られることで行われる。サーバ装置20が、例えば、光学ドライブ(不図示)を備えている場合、事前のインストールは、光学メディアに記憶されたプログラムが、光学ドライブによって読み取られることで行われるようにしてもよい。この他、事前のインストールは、ネットワーク90に接続されるサーバ装置20とは別のサーバ装置のハードディスク等のコンピュータが読み取り可能な記憶媒体に記憶されたプログラムが、サーバ装置20の通信部28を介して伝送信号として受信されることで行われるようにしてもよい。何れの形態とするかは、諸事情を考慮して適宜決定される。なお、コンピュータが読み取り可能な記憶媒体は、一時的に伝送される信号を含まなくてもよい。コンピュータが読み取り可能な記憶媒体は、一時的な信号を含まない、非一時的な記憶媒体であってもよい。非一時的な記憶媒体は、情報を記憶する期間に関わらず、情報を記憶可能な記憶媒体であればよい。
RAM26は、CPU22が各種のプログラムを実行する際に利用される記憶領域となる。RAM26には、処理の実行途中に、処理で利用される所定のデータ及び情報が所定の記憶領域に記憶される。
サーバ装置20では、CPU22が記憶部24に記憶されたOS及び図8〜図10、図15及び図16に示す各処理のプログラムを実行する等して、サーバ装置20を制御する。これによって、サーバ装置20では、各種の処理が実行され、各種の機能手段が実現される。
計時部27は、カレンダ機能及び時計機能等を有し、時間の経過を計測する。計時部27は、OSが有する時計機能により構成されてもよい。通信部28は、サーバ装置20をネットワーク90に接続し、ネットワーク90を介したデータ通信を行う。サーバ装置20は、受信した映像データ及び音データを、映像データ及び音データと共に送信された会議IDで識別される遠隔会議に参加している通信装置のうち、送信元装置以外の通信装置に対して送信する。例えば、通信端末装置30及び相手方装置71,72,73,74,75のそれぞれからの映像データ及び音データは、通信部28で受信され、送信元装置以外の通信装置に送信される。即ち、通信端末装置30及び相手方装置71,72,73,74,75のそれぞれからの映像データ及び音データは、通信部28を介して送信元装置以外の通信装置に転送される。通信部28によるネットワーク90への接続は、有線接続とされる。但し、通信部28によるネットワーク90への接続は、無線接続であってもよい。
サーバ装置20は、図8〜図10、図15及び図16に示す各処理のプログラムが記憶部24に記憶されている点が、公知のサーバ装置と相違する。但し、サーバ装置20は、ハードウェア的には、公知のサーバ装置と同一の通信機能を有する情報処理装置である。従って、上記では説明を省略したが、サーバ装置20は、上述した各部22〜28の他、公知のサーバ装置が備える構成を備える。
<通信端末装置>
通信端末装置30は、図1に示すように、CPU32と、記憶部34と、RAM36と、表示部38と、操作部40と、カメラ46と、オーディオ部48と、計時部52と、通信部54を備える。これら各部32〜54は、バス56に接続される。
CPU32は、演算処理を実行する。記憶部34は、コンピュータが読み取り可能な記憶媒体、例えば、フラッシュメモリによって構成される。但し、記憶部34は、ハードディスク及び/又はROM等で構成されてもよい。記憶部34には、各種のプログラムが記憶される。例えば、OS(Operating System)及び各種のアプリケーションが記憶部34に記憶される。記憶部34に記憶されるアプリケーションには、後述する各処理(図4〜図7参照)を実行するプログラムが含まれる。後述する各処理を実行するプログラムは、記憶部34に事前にインストールされていてもよいが、遠隔会議への参加に際し、通信端末装置30がサーバ装置20にアクセスした場合に、サーバ装置20からネットワーク90を介して伝送信号として通信端末装置30に送信され、そのタイミングで、記憶部34にインストールされるようにしてもよい。この場合、プログラムは、RAM36に記憶されても差し支えない。
事前のインストールは、例えば、半導体メモリ等のコンピュータが読み取り可能な記憶媒体に記憶されたプログラムが、通信端末装置30の読取部(不図示)によって読み取られることで行われる。通信端末装置30が、例えば、パーソナルコンピュータのように光学ドライブ(不図示)を備えている場合、事前のインストールは、光学メディアに記憶されたプログラムが、光学ドライブによって読み取られることで行われるようにしてもよい。この他、事前のインストールは、ネットワーク90を介して通信端末装置30に接続されるサーバ装置(サーバ装置20又は不図示のサーバ装置)のハードディスク等のコンピュータが読み取り可能な記憶媒体に記憶されたプログラムが、通信端末装置30の通信部54を介して伝送信号として受信されることで行われるようにしてもよい。何れの形態とするかは、諸事情を考慮し適宜決定される。なお、コンピュータが読み取り可能な記憶媒体は、一時的に伝送される信号を含まなくてもよい。コンピュータが読み取り可能な記憶媒体は、一時的な信号を含まない非一時的な記憶媒体であってもよい。非一時的な記憶媒体は、情報を記憶する期間に関わらず、情報を記憶可能な記憶媒体であればよい。
RAM36は、CPU32が各種のプログラムを実行する際に利用される記憶領域となる。RAM36には、処理の実行途中に、処理で利用される所定のデータ及び情報が所定の記憶領域に記憶される。管理テーブル(図3参照)もRAM36に記憶される。
通信端末装置30では、CPU32が記憶部34に記憶されたOS及び図4〜図7に示す各処理のプログラムを実行する等して、通信端末装置30を制御する。これによって、通信端末装置30では、各種の処理が実行され、各種の機能手段が実現される。
表示部38は、各種の情報を表示する。例えば、表示部38には、撮影画像381,382,383,384,385を含む遠隔会議画面が表示される(図2参照)。操作部40は、通信端末装置30に対する各種の指令等の入力を受け付ける。操作部40は、例えば、ハードキー42と、タッチパッド44を含む。タッチパッド44は、例えば、静電容量式の位置入力装置で、ユーザの指の接触位置に応じた座標位置を示す信号を出力する。タッチパッド44は、抵抗膜方式や超音波方式等、他の形態の位置入力装置によって構成されてもよい。表示部38とタッチパッド44により、タッチパネル(図1で「表示部38」と「タッチパッド44」を囲む破線参照)が実現される。
通信端末装置30のユーザは、タッチパッド44に対して、スクロール、スワイプ、フリック、タップ、ドラッグ、ピンチイン及びピンチアウト等の操作を行う。通信端末装置30のユーザは、タッチパッド44に触れた指を所定の方向に移動させる等して、前述したような各操作を行う。操作に応じてタッチパッド44から出力される信号に基づいて、このような各操作に対応する操作情報(例えば、操作の種類や移動距離等)を生成する処理は、公知のスマートフォン又はタブレット端末でも採用されている技術であって、通信端末装置30でも採用される。操作部40は、更に、キーボード及びマウスを含む構成であってもよい。なお、通信端末装置30がパーソナルコンピュータである場合、操作部40は、キーボード及びマウスを含む。
表示部38での撮影画像381,382,383,384,385の表示について、図2を参照して説明する。水平方向において、映像配置領域Aの幅WAは、映像表示領域Bの幅WBより幅広である。映像表示領域Bには、映像配置領域Aの一部が表示される。換言すれば、映像表示領域Bに一度に表示される撮影画像は、撮影画像381,382,383,384,385のうちの一部である。図2に示す例では、映像表示領域Bに一度に表示される撮影画像は、撮影画像381,382,383,384,385のうちの2個である。映像表示領域Bは、表示部38の表示領域のうち、遠隔会議用の表示領域として設定された領域である。表示部38の表示領域の全てが遠隔会議用の表示領域として設定された場合、映像表示領域Bは表示部38の表示領域に一致する。実施形態では、表示部38の表示領域の全てが遠隔会議用の表示領域として設定されている場合を例に説明する。図2上段及び下段において、表示部38に付した「網点模様」は、表示部38の表示領域を示す。
例えば、撮影画像381,382が表示されている状態(図2上段参照)を、撮影画像384,385が表示される状態(図2下段参照)へとする場合、通信端末装置30のユーザは、タッチパッド44に触れた指を右側から左側へと移動させるスワイプ操作を行う。これに伴い、映像表示領域Bに対する映像配置領域Aの位置が水平方向に移動され、撮影画像384,385が表示される。通信端末装置30では、水平方向を基準として、映像表示領域Bに表示されている映像配置領域Aの範囲が特定され管理される。
ここで、上述した管理テーブル(図3参照)に登録される配置を示す情報について説明する。配置を示す情報としての「0」は、識別情報に対応する撮影画像が配置された映像配置領域A内の領域が映像表示領域Bに含まれていることを示す。換言すれば、配置を示す情報としての「0」は、識別情報に対応する撮影画像が表示中であることを示す。配置を示す情報としての「1」及び「2」は、識別情報に対応する撮影画像が配置された映像配置領域A内の領域が映像表示領域Bに含まれていないことを示す。換言すれば、配置を示す情報としての「1」及び「2」は、識別情報に対応する撮影画像が表示されていないことを示す。配置を示す情報としての「1」は、非表示である撮影画像を対象として、映像配置領域A内の領域の位置が移動方向と反対の方向において基準端部から基準間隔WC内であることを示す。配置を示す情報としての「2」は、非表示である撮影画像を対象として、映像配置領域A内の領域の位置が移動方向と反対の方向において基準端部から基準間隔WC外であることを示す。
非表示の撮影画像(図2上段:撮影画像383,384,385 図2下段:撮影画像381,382,383)を表示させるためのスワイプ操作における移動方向は水平方向である。そのため、基準端部は、映像表示領域Bの水平方向の両側の辺部のうち、前述した水平方向への移動に際し、移動の後進側となる辺部である。図2に基づき説明すると、図2上段では、水平方向の右側の辺部が基準端部となり、図2下段では、水平方向の左側の辺部が基準端部となる。基準間隔WCは、隣り合う2枚の撮影画像の水平方向の両側の辺部のうち共通した側の辺部間の距離WDに対応した間隔である。実施形態では、映像表示領域Bに同時に2枚の撮影画像を表示することができることに対応させ、基準間隔WCは、距離WDの2倍の間隔に設定されている(図2参照)。基準間隔WCは、例えば、距離WDと同一、又は、距離WDの3倍以上に設定するようにしてもよい。基準間隔WCは、諸条件を考慮して適宜設定される。
例えば、図2上段に基づけば、映像表示領域Bに表示されている範囲として、領域A1〜A2が特定される。また、映像表示領域Bに表示されていない範囲として領域A3〜A5が特定される。更に、領域A3〜A5のうち、基準端部からの間隔が基準間隔WC内である領域として領域A3,A4が特定され、基準間隔WC外である領域として領域A5が特定される。通信端末装置30では、このような特定に基づき、領域A1,A2に配置される撮影画像381,382に対応した映像データの送信元装置の識別情報「71」及び「72」に関連付けて配置を示す情報として「0」がそれぞれ管理テーブルに登録される(図3参照)。領域A3,A4に配置される撮影画像383,384に対応した映像データの送信元装置の識別情報「73」及び「74」に関連付けて配置を示す情報として「1」がそれぞれ管理テーブルに登録される(図3参照)。領域A5に配置される撮影画像385に対応した映像データの送信元装置の識別情報「75」に関連付けて配置を示す情報として「2」が管理テーブルに登録される(図3参照)。
図2下段に基づけば、映像表示領域Bに表示されている範囲として、領域A4〜A5が特定される。また、映像表示領域Bに表示されていない範囲として領域A1〜A3が特定される。更に、領域A1〜A3のうち、基準端部からの間隔が基準間隔WC内である領域として領域A2,A3が特定され、基準間隔WC外である領域として領域A1が特定される。詳細は省略するが、この場合、管理テーブルには、識別情報「74」及び「75」に関連付けて配置を示す情報として「0」がそれぞれ登録され、識別情報「72」及び「73」に関連付けて配置を示す情報として「1」がそれぞれ登録され、識別情報「71」に関連付けて配置を示す情報として「2」が登録される。
カメラ46は、通信端末装置30の正面の外界像を撮影する。例えば、通信端末装置30の正面に通信端末装置30のユーザが位置する場合、カメラ46は、ユーザを含む外界像を撮影する。オーディオ部48は、スピーカ49とマイク50を含む。スピーカ49は、音を出力する。マイク50は、外界音を集音する。例えば、マイク50は、通信端末装置30のユーザが発した音声を集音する。オーディオ部48は、音データに対応した音をスピーカ49から出力する。また、オーディオ部48は、マイク50で集音された音を所定のサンプリング周波数(例えば11.025kHz又は44.1kHz)でA/D変換された波形データを生成する。通信端末装置30では、遠隔会議の開始に伴い、カメラ46での撮影とマイク50での集音が開始され、カメラ46で撮影された撮影画像に対応した映像データと、マイク50で集音された音(所定のサンプリング周波数でA/D変換された波形データ)に対応した音データが生成される。
計時部52は、カレンダ機能及び時計機能等を有し、時間の経過を計測する。計時部52は、OSが有する時計機能により構成されてもよい。通信部54は、通信端末装置30をネットワーク90に接続し、ネットワーク90を介したデータ通信を行う。例えば、遠隔会議の開始に伴い生成される映像データ及び音データのそれぞれは、通信端末装置30の識別情報及び開始された遠隔会議の会議IDと共に通信部54からサーバ装置20に送信される。そして、映像データ、音データ及び通信端末装置30の識別情報は、この会議IDで識別される遠隔会議に参加する相手方装置71,72,73,74,75にそれぞれサーバ装置20から送信される。通信部54では、サーバ装置20を経由して送信された、相手方装置71,72,73,74,75のそれぞれからの映像データ及び音データと、送信元装置の識別情報が受信される。通信部54によるネットワーク90への接続は、無線接続又は有線接続の何れであってもよい。例えば、通信端末装置30がモバイル型の通信装置である場合、通信部54によるネットワーク90への接続は、無線接続とされる。通信部54は、例えば、Wi−Fi規格、4G規格、3G規格等、公知の通信方式に従った無線通信を行うための通信モジュールである。
通信端末装置30は、図4〜図7に示す各処理のプログラムが記憶部34に記憶されている点が、公知のモバイル型の通信装置と相違する。但し、通信端末装置30は、ハードウェア的には、公知のモバイル型の通信装置と同一の通信装置である。
<通信端末装置で実行される処理>
遠隔会議の実行中に通信端末装置30で実行される処理について説明する。遠隔会議システム10では、例えば、遠隔会議の開催予定日時以前に、遠隔会議に参加予定の通信端末装置30及び相手方装置71,72,73,74,75のそれぞれに対応した各電子メールアドレスを宛先として、サーバ装置20から電子メールが送信される。この電子メールは、通信端末装置30及び相手方装置71,72,73,74,75による遠隔会議のためのURL(Uniform Resource Locator)を含む。このURLは、遠隔会議の会議室毎に固有である。換言すれば、URLには、遠隔会議の会議IDが含まれている。なお、会議IDは、例えば、URLのクエリパラメータとして含まれていてもよい。
通信端末装置30のユーザは、遠隔会議の開催予定日時に、通信端末装置30を操作する。通信端末装置30において、CPU32は、上述した会議IDを含むURLに基づき通信部54からサーバ装置20にアクセスし、サーバ装置20との間でセッションを確立する処理を実行する。以下に示す各処理は、サーバ装置20とのセッションが確立され、サーバ装置20と会議接続された状態で実行される。
CPU32は、サーバ装置20と会議接続されたタイミングで、計時部52での計測を開始する。CPU32は、計測開始からの経過時間をRAM36に記憶する。計時部52での計測は、会議IDによって識別される遠隔会議に参加予定の通信端末装置30及び相手方装置71,72,73,74,75の全てがサーバ装置20と会議接続されたタイミングとしてもよい。サーバ装置20は、通信端末装置30及び相手方装置71,72,73,74,75の全てと会議接続されたタイミングで、全ての通信装置と会議接続がされたことを、各通信装置に通知する。
<音送信処理>
音送信処理について、図4を参照して説明する。音送信処理は、サーバ装置20と会議接続された後、切断されるまで一定間隔で繰り返して実行される。音送信処理が繰り返される間隔は、例えば、所定のエンコード周期(例えば、20msec)とされる。音送信処理を開始させたCPU32は、マイク50で集音された音を取得する(S11)。なお、S11でCPU32が取得する音は、上述した通り、マイク50で集音された音を所定のサンプリング周波数(例えば11.025kHz又は44.1kHz)でA/D変換された波形データを含む概念である。続けて、CPU32は、取得された音のボリューム(dB)を検出し、検出された音のボリュームが閾値より大きいか否かを判断する(S13)。ボリュームの検出は、例えば、S11で取得された音の波形のレベルを検出することで決定される。なお、S11で取得された音は複数のサンプリング点を含むため、例えば、所定時間内に含まれる複数のサンプリング点の平均レベルが音のボリュームとして検出される。複数のサンプリング点の最大レベルを音のボリュームとして検出してもよい。S13で判断基準となる閾値は、通信端末装置30のユーザが遠隔会議において発言したと判断できる場合の音声のボリュームを考慮して予め決定される。閾値は、音送信処理のプログラムに関連付けて記憶部34に記憶されている。閾値は、例えば背景のノイズレベル等に応じて、適宜変更されてもよい。
検出された音のボリュームが閾値より大きい場合(S13:Yes)、CPU32は、取得された音を、例えばMPEG−4 AAC,G.711等の所定の圧縮方式に従ってエンコードする(S15)。これに伴い、圧縮された音データが生成される。CPU32は、生成された音データに対して、通信端末装置30の識別情報を付与する(S17)。続けて、CPU32は、識別情報が付与された音データの送信を制御する(S19)。S19でCPU32は、音データの送信指令を通信部54に出力する。これに伴い、音データが通信部54からサーバ装置20に送信される。検出された音のボリュームが閾値以下である場合(S13:No)、又は、S19を実行した後、CPU32は、音送信処理を終了する。
<映像送信処理>
映像送信処理について、図5を参照して説明する。映像送信処理は、サーバ装置20と会議接続された後、切断されるまで一定間隔で繰り返して実行される。映像送信処理が繰り返される間隔は、映像データのフレームレートに対応した間隔とされる。例えば、フレームレートが30fpsの場合、1/30secの間隔で繰り返される。映像送信処理を開始させたCPU32は、カメラ46で撮影された撮影画像を取得する(S21)。続けて、CPU32は、取得された撮影画像をH.264等の所定の圧縮方式に従ってエンコードする(S23)。これに伴い、圧縮画像が生成される。
次に、CPU32は、生成された圧縮画像を含む映像データに対して、画像種別情報と、通信端末装置30の識別情報を付与する(S25)。画像種別情報は、生成された圧縮画像の種別を示す情報である。例えば、生成された圧縮画像がIフレームである場合、付与される画像種別情報は、Iフレームを示す情報である。生成された圧縮画像がPフレームである場合、付与される画像種別情報は、Pフレームを示す情報である。生成された圧縮画像がBフレームである場合、付与される画像種別情報は、Bフレームを示す情報である。
続けて、CPU32は、通信端末装置30の識別情報と圧縮画像情報が付与された圧縮画像を含む映像データの送信を制御する(S27)。S27でCPU32は、映像データの送信指令を通信部54に出力する。これに伴い、映像データが通信部54からサーバ装置20に送信される。S27を実行した後、CPU32は、映像送信処理を終了する。
<クライアント受信処理>
クライアント受信処理について、図6を参照して説明する。クライアント受信処理は、サーバ装置20と会議接続された後、切断されるまで繰り返して実行される。クライアント受信処理を開始させたCPU32は、サーバ装置20から送信された所定のデータを通信部54を介して取得したか否かを判断する(S31)。所定のデータが取得されていない場合(S31:No)、CPU32は、この判断を繰り返して実行する。
所定のデータが取得された場合(S31:Yes)、CPU32は、取得されたデータが音データであるか否かを判断する(S33)。取得されたデータが音データである場合(S33:Yes)、CPU32は、取得された音データに対応した音の出力を制御する(S35)。S35でCPU32は、取得された音データを再生(デコード)し、再生された音の出力指令をオーディオ部48に出力する。オーディオ部48では、出力指令に従い、音データに対応した音がスピーカ49から出力される。表示部38での表示状態が図2上段である状態で、相手方装置71からの音データが取得されていた場合、スピーカ49から、相手方装置71のユーザが発した音声が出力される。表示部38での表示状態が図2上段である状態で、相手方装置74からの音データが取得されていた場合、スピーカ49から、相手方装置74のユーザが発した音声が出力される。即ち、通信端末装置30では、相手方装置71,72,73,74,75からの各音データについては、相手方装置71,72,73,74,75の各撮影画像381,382,383,384,385の表示又は非表示に関わらず、各音データに対応した音がスピーカ49から出力される。S35を実行した後、CPU32は、処理をS31に戻し、S31以降の処理を実行する。
取得されたデータが音データではない場合(S33:No)、CPU32は、取得されたデータが映像データであるか否かを判断する(S37)。取得されたデータが映像データではない場合(S37:No)、CPU32は、取得されたデータに応じた処理を適宜実行する。その後、CPU32は、処理をS31に戻し、S31以降の処理を実行する。
取得されたデータが映像データである場合(S37:Yes)、CPU32は、取得された映像データの送信元である相手方装置の識別情報を取得する(S39)。例えば、取得された映像データが相手方装置71からの映像データである場合、CPU32は、この映像データに付与された相手方装置71の識別情報を取得する。取得された映像データが相手方装置75からの映像データである場合、CPU32は、この映像データに付与された相手方装置75の識別情報を取得する。
続けて、CPU32は、取得された映像データに関する表示の位置関係を判定する(S41)。例えば、表示部38での表示状態が図2上段である状態で、相手方装置71からの映像データが取得されていたとする。S41でCPU32は、映像表示領域Bに表示されている範囲として、領域A1〜A2を特定する。CPU32は、配置設定に基づき、相手方装置71からの映像データに対応した撮影画像381の映像配置領域Aにおける領域として領域A1を特定する。通信端末装置30では、映像配置領域A内の各領域A1,A2,A3,A4,A5が識別情報に関連付けて記憶されている。CPU32は、S39で取得した識別情報に従い、配置設定に基づいた映像配置領域A内の領域を特定する。そして、CPU32は、特定された情報が重複しているか否かを判定する。前述した例の場合、領域A1が重複しているため、CPU32は、表示の位置関係として映像表示領域B内と判定する。
これに対して、表示部38での表示状態が図2上段である状態で、相手方装置75からの映像データが取得されていたとする。S41でCPU32は、映像表示領域Bに表示されている範囲として、領域A1〜A2を特定する。CPU32は、配置設定に基づき、相手方装置75からの映像データに対応した撮影画像385の映像配置領域Aにおける領域として領域A5を特定する。そして、CPU32は、特定された情報が重複しているか否かを判定する。前述した例の場合、重複した領域が認定されないため、CPU32は、表示の位置関係として映像表示領域B外と判定する。
次に、CPU32は、配置設定に従った表示を制御する(S43)。このとき、CPU32は、S43の判定結果に基づいた処理を行う。例えば、上述した相手方装置71からの映像データに基づいた例の場合、CPU32は、映像表示領域B内との判定結果に従い、撮影画像381の表示を制御する。CPU32は、相手方装置71からの映像データを再生し、撮影画像381を取得する。続けて、CPU32は、撮影画像381の出力指令を表示部38に出力する。表示部38では、出力指令に従い、新たに取得された撮影画像381が領域A1に表示される。S43を実行した後、CPU32は、処理をS31に戻し、S31以降の処理を実行する。
S41での判定結果が映像表示領域B外であった場合、S43の処理は省略される。例えば、上述した相手方装置75からの映像データに基づいた例の場合、CPU32は、相手方装置75からの映像データに対応した撮影画像385の表示の制御を実行しない。CPU32は、S41を実行した後、S43を実行することなく、処理をS31に戻す。
<配置情報送信処理>
配置情報送信処理について、図7を参照して説明する。配置情報送信処理は、通信端末装置30がサーバ装置20と会議接続され、図6のS43に基づき、撮影画像381,382,383,384,385の何れかを含む遠隔会議画面(図2参照)が表示された後、会議接続が切断されるまで一定間隔で繰り返して実行される。配置情報送信処理が繰り返される間隔は、例えば、100msecである。配置情報送信処理を開始させたCPU32は、映像配置領域Aと映像表示領域Bの関係を特定する(S51)。例えば、CPU32は、映像表示領域Bに表示されている映像配置領域Aの範囲と、映像表示領域B外となる映像配置領域Aの範囲を特定する。図2上段に基づけば、CPU32は、映像表示領域Bに表示されている映像配置領域Aの範囲として領域A1〜A2を特定し、映像表示領域B外の範囲として領域A3〜A5を特定する。
続けて、CPU32は、配置情報を生成する(S53)。配置情報の生成に際し、CPU32は、管理テーブル(図3参照)の各情報を更新する。CPU32は、配置設定に基づいた映像配置領域Aにおいて、S51で映像表示領域Bに表示されている映像配置領域Aの範囲として特定された領域に関連付けられた識別情報を特定する。そして、CPU32は、特定された識別情報に関連付けられた配置を示す情報に「0」を登録する。CPU32は、配置設定に基づいた映像配置領域Aにおいて、S51で映像表示領域B外となる映像配置領域Aの範囲として特定された領域のうち、上述した基準間隔WC内にある領域と基準間隔WC外となる領域を特定し、基準間隔WC内又は外の各領域にそれぞれ関連付けられた識別情報を特定する。そして、CPU32は、基準間隔WC内にある領域として特定された識別情報に関連付けられた配置を示す情報に「1」を登録し、基準間隔WC外にある領域として特定された識別情報に関連付けられた配置を示す情報に「2」を登録する。CPU32は、S53での配置情報の生成に際し、S51で映像表示領域Bに表示されている映像配置領域Aの範囲として特定された領域に関連付けられた識別情報に関連付けられた映像累積時間を更新する。
例えば、上述したように映像表示領域Bに表示されている映像配置領域Aの範囲として、領域A1〜A2が特定されていたとする(図2上段参照)。この場合、CPU32は、管理テーブルにおける配置を示す情報を図3に示す状態に更新する。また、CPU32は、識別情報「71」及び「72」に関連付けられた各映像累積時間に、前回のS53から今回のS53の実行に要した一定時間(例えば、100msec)を加算する。
S53でCPU32は、このようにして更新された管理テーブルに従い、管理テーブルにおける各情報及び関連付けに対応した配置情報を生成する。配置情報は、状態情報と識別情報を関連付けた情報である。その後、CPU32は、配置情報と自装置の識別情報の送信を制御する(S55)。S55でCPU32は、サーバ装置20への配置情報と自装置の識別情報の送信指令を通信部54に出力する。これに伴い、更新頻度設定と自装置の識別情報が通信部54からサーバ装置20に送信される。送信元としての通信端末装置30の識別情報は、配置情報の例えばヘッダ部に含ませるようにしてもよい。S55を実行した後、CPU32は、配置情報送信処理を終了する。
<サーバ装置で実行される処理>
遠隔会議の実行中にサーバ装置20で実行される処理について説明する。以下に示す各処理は、通信端末装置30及び相手方装置71,72,73,74,75のうち、会議接続された各通信装置を対象として実行される。CPU22は、通信端末装置30及び相手方装置71,72,73,74,75のうちの何れかと会議接続されたタイミングで、計時部27での計測を開始する。CPU22は、計測開始からの経過時間をRAM26に記憶する。計時部27での計測は、会議IDによって識別される遠隔会議に参加予定の通信端末装置30及び相手方装置71,72,73,74,75の全てと会議接続されたタイミングとしてもよい。サーバ装置20で実行される処理の説明では、会議接続された通信端末装置30及び相手方装置71,72,73,74,75の一部又は全部の通信装置を区別することなく、又は、これらを総称する場合、単に「通信装置」という。
<サーバ転送処理>
サーバ転送処理について、図8〜図10を参照して説明する。サーバ転送処理は、通信端末装置30及び相手方装置71,72,73,74,75のうちの何れか1台の通信装置と会議接続がされた後、会議接続された全ての通信装置との会議接続が切断されるまで実行される。サーバ転送処理を開始させたCPU22は、通信端末装置30及び相手方装置71,72,73,74,75の何れかから送信された所定のデータを通信部28を介して取得したか否かを判断する(S61)。所定のデータが取得されていない場合(S61:No)、CPU22は、この判断を繰り返して実行する。
所定のデータが取得された場合(S61:Yes)、CPU22は、取得されたデータが配置情報であるか否かを判断する(S63)。取得されたデータが配置情報ではない場合(S63:No)、CPU22は、処理を図9のS75に移行する。取得されたデータが配置情報である場合(S63:Yes)、CPU22は、配置情報を記憶する(S65)。配置情報は、配置情報の送信元装置の識別情報に関連付けてRAM26に記憶される(図11参照)。送信元装置の識別情報は、配置情報と共に通信部28で受信される。CPU22は、配置情報と共にこの識別情報を通信部28を介して取得する。
図11において、「識別情報(ターゲット)」は、図3に示す管理テーブルに従い図7のS53で生成される配置情報に含まれる「識別情報(ターゲット)」に対応する。サーバ装置20を経由することなく自装置で取得された映像データから直接自装置の撮影画像を得る構成を例とする実施形態では、各通信装置から送信される配置情報は、自装置に対する状態情報を含まない。そのため、サーバ装置20で管理される各通信装置からの配置情報(図11参照)に関し、送信元装置の識別情報に一致する「識別情報(ターゲット)」に対する更新頻度情報は未登録となる。通信端末装置30からの配置情報は、図7のS55で送信される。相手方装置71,72,73,74,75からの配置情報は、相手方装置71,72,73,74,75のそれぞれで図7のS55に対応した処理が実行されたタイミングで送信される。
続けて、CPU22は、取得後にS65で記憶させた配置情報に含まれる「識別情報(ターゲット)」の各通信装置の全てを対象として、S69〜S73を実行したか否かを判断する。S69〜S73は、S65で記憶させた配置情報に含まれる「識別情報(ターゲット)」の各通信装置に対する更新頻度情報をそれぞれ設定し、この配置情報の送信元装置の識別情報に関連付けた更新頻度設定に各通信装置に対する更新頻度情報を登録する一連の処理である。全ての通信装置を対象としてS69〜S73が実行されており、未処理の通信装置がない場合(S67:No)、CPU22は、処理をS61に戻し、S61以降の処理を実行する。未処理の通信装置がある場合(S67:Yes)、CPU22は、未処理の通信装置のうちの1台を処理対象とする(S69)。例えば、S65で記憶させた配置情報が通信端末装置30からの配置情報であり、相手方装置71,72,73を対象としたS69〜S73は実行済みであるが、相手方装置74,75についてはS69〜S73が未実行である場合、未処理の相手方装置74,75のうちの1台、例えば、相手方装置74を処理対象として選択する。
次に、CPU22は、更新頻度決定処理を実行する(S71)。更新頻度決定処理は、S69で選択された通信装置を対象として実行される。更新頻度決定処理については後述する。その後、CPU22は、S69で選択された通信装置を対象とした更新頻度決定処理において決定された、この通信装置に対する更新頻度情報を、配置情報と共に取得されるこの配置情報の送信元装置の識別情報に関連付けた更新頻度設定に登録する(S73)。更新頻度設定は、配置情報の送信元装置の識別情報に関連付けてRAM26に記憶される(図12参照)。S73を実行した後、CPU22は、処理をS67に戻し、S67以降の処理を実行する。
更新頻度情報は、映像データに含まれる圧縮画像のうちの一部又は全部を非送信対象とするか否かを示すものであり、例えば、図13に示すように定義される。更新頻度情報に関係する更新ルールについて、図13に基づき説明する。実施形態では、更新頻度情報として更新頻度「5」〜「1」が定義される。更新頻度「5」は定義された更新頻度情報のうち、最も高い更新頻度情報である。以下、更新頻度の高い順に、更新頻度「4」、「3」、「2」となり、更新頻度「1」は、最も低い更新頻度情報である。
更新頻度「5」では、Iフレーム、Pフレーム及びBフレームの全てが送信対象とされ、非送信対象とされる圧縮画像は定義されない。更新頻度「5」に対応した映像データについては、Iフレーム、Pフレーム及びBフレームの全ての圧縮画像がサーバ装置20を経由して、この映像データの送信元装置以外の通信装置に送信される。前述した送信元装置以外の通信装置では、撮影画像を各圧縮画像に基づき更新することが可能となる。Iフレーム最短周期は、0secに定義される。Iフレーム最短周期は、サーバ装置20が送信対象となるIフレームを送信する際の送信周期の最短間隔を示す。
更新頻度「4」では、Iフレーム及びPフレームが送信対象とされ、Bフレームが非送信対象として定義される。更新頻度「4」に対応した映像データについては、Iフレーム及びPフレームがサーバ装置20を経由して、この映像データの送信元装置以外の通信装置に送信される。前述した送信元装置以外の通信装置では、撮影画像をIフレームとPフレームに基づき更新することが可能となる。Iフレーム最短周期は、0secに定義される。
更新頻度「3」では、Iフレームが送信対象とされ、Pフレーム及びBフレームが非送信対象として定義されると共に、Iフレームの最短周期が300msecに定義される。更新頻度「3」に対応した映像データについては、Iフレームが300msec以上の間隔でサーバ装置20を経由して、この映像データの送信元装置以外の通信装置に送信される。前述した送信元装置以外の通信装置では、撮影画像を300msec以上の間隔でサーバ装置20から送信されるIフレームに基づき更新することが可能となる。
更新頻度「2」では、Iフレームが送信対象とされ、Pフレーム及びBフレームが非送信対象として定義されると共に、Iフレームの最短周期が2000msecに定義される。更新頻度「2」に対応した映像データについては、Iフレームが2000msec以上の間隔でサーバ装置20を経由して、この映像データの送信元装置以外の通信装置に送信される。前述した送信元装置以外の通信装置では、撮影画像を2000msec以上の間隔でサーバ装置20から送信されるIフレームに基づき更新することが可能となる。
更新頻度「1」では、Iフレーム、Pフレーム及びBフレームの全てが非送信対象として定義される。この場合、更新頻度「1」に対応した映像データについては、サーバ装置20を経由した、この映像データの送信元装置以外の通信装置への送信は停止される。実施形態では、図13に示す更新頻度「5」〜「1」を例に説明する。
S73について、S65で記憶させた配置情報の送信元装置が通信端末装置30で、S69で相手方装置74が処理対象として選択され、且つ、S71の更新頻度決定処理での更新頻度情報が更新頻度「1」であった場合を例に説明する。CPU22は、配置情報の送信元装置である通信端末装置30の識別情報「30」に関連付けて、処理対象の相手方装置74の識別情報「74」に対する更新頻度「1」を登録する(図12参照)。
図12において、「識別情報(ターゲット)」は、配置情報に含まれる「識別情報(ターゲット)」に対応する。上述した通り、配置情報は、自装置に対する状態情報を含まない。そのため、サーバ装置20で管理される更新頻度設定に関し(図12参照)、送信元装置の識別情報に一致する「識別情報(ターゲット)」に対する更新頻度情報は未登録となる。図11に示す配置情報と図12に示す更新頻度設定について、図11に示す状態情報(配置を示す情報及び映像累積時間)と図12に示す更新頻度情報は、何れも任意の値を例示しており、それぞれにおける対応は考慮されていない。
S75でCPU22は、取得されたデータが映像データであるか否かを判断する。取得されたデータが映像データではない場合(S75:No)、CPU22は、処理を図10のS97に移行する。取得されたデータが映像データである場合(S75:Yes)、CPU22は、映像データに付与された識別情報と圧縮画像情報を取得する(S77)。通信端末装置30からの映像データは、図5のS27で送信される。相手方装置71,72,73,74,75からの各映像データは、相手方装置71,72,73,74,75のそれぞれで図5のS27に対応した処理が実行されたタイミングで送信される。CPU22は、取得された識別情報と圧縮画像情報をRAM26に記憶する。
続けて、CPU22は、取得された映像データに含まれる圧縮画像がIフレームであるか否かを判断する(S79)。この判断は、S77で取得された圧縮画像情報に従い行われる。圧縮画像がIフレームである場合(S79:Yes)、CPU22は、取得された映像データの送信元装置に対応付けた使用帯域を取得する(S81)。使用帯域は、同一の通信装置を対象として、前回のIフレーム取得後、今回のIフレーム取得までに取得された全ての圧縮画像のデータ総量を、前回のIフレーム取得後から今回のIフレーム取得までの経過時間で除して算出される。
使用帯域の算出に際し、CPU22は、上述したデータ総量と経過時間を取得する。データ総量は、次のようにして取得される。CPU22は、所定の通信装置からのIフレームが取得された後、その通信装置からの圧縮画像が取得される毎に、取得された圧縮画像のデータ量を累積する。データ量の累積は、前述の通信装置からのIフレームが次に取得されるまで継続される。前述の通信装置からのIフレームが新たに取得されたタイミングで、CPU22は、新たなIフレームのデータ量をそれまでの累積値に加え、データ総量を取得する。CPU22は、データ総量を取得したタイミングで、累積値をリセットし、新たにデータ量のカウントを開始させる。また、経過時間は、後述するS95での記憶に従い、今回のIフレームの取得に対応する時間と前回のIフレームの取得に対応する時間の差により求められる。CPU22は、図9のS77で取得された識別情報に関連付けてS81で取得された使用帯域をRAM26に記憶する。
圧縮画像がIフレームではない場合(S79:No)、又は、S81を実行した後、CPU22は、S77で取得された識別情報の通信装置以外の会議接続された全ての通信装置を対象として、S85〜S95を実行したか否かを判断する(S83)。S85〜S95は、取得された映像データ(S75:Yes参照)がこの映像データの送信元装置以外の各通信装置に送信すべき映像データであるか否かを通信装置毎に判断し、送信すべき映像データである場合に、対象の通信装置に取得された映像データを送信等する一連の処理である。S77で取得された識別情報の通信装置以外の会議接続された全ての通信装置を対象としてS85〜S95が実行されており、未処理の通信装置がない場合(S83:No)、CPU22は、処理を図8のS61に戻し、S61以降の処理を実行する。未処理の通信装置がある場合(S83:Yes)、CPU22は、未処理の通信装置のうちの1台を処理対象とする(S85)。例えば、取得された映像データが相手方装置71からの映像データであり、S77で相手方装置71の識別情報が取得され、且つ、相手方装置72,73,74を対象としたS85〜S95は実行済みであるが、通信端末装置30及び相手方装置75についてはS85〜S95が未実行である場合、未処理の通信端末装置30及び相手方装置75のうちの1台、例えば、通信端末装置30を処理対象として選択する。
次に、CPU22は、転送判断処理を実行する(S89)。転送判断処理については後述する。転送判断処理を実行した後、CPU22は、RAM26に記憶された判断結果が「転送必要」であるか否かを判断する(S91)。判断結果が「転送必要」である場合(S91:Yes)、CPU22は、取得された映像データの送信を制御する(S93)。映像データの送信先は、処理対象の通信装置に設定される。続けて、CPU22は、S93での送信に関し、映像データの送信元装置の識別情報と送信先の通信装置の識別情報と送信時刻と圧縮画像情報を記憶する(S95)。これらは、例えば、RAM26に記憶された送信テーブル(不図示)に登録される。
S93及びS95に関し、取得された映像データが相手方装置71からの映像データであり、S77で相手方装置71の識別情報が取得され、且つ、S85で通信端末装置30が処理対象として選択されていた場合を例に説明する。S93でCPU22は、通信端末装置30を送信先に設定し、相手方装置71からの映像データの送信指令を通信部28に出力する。これに伴い、相手方装置71からの映像データが、通信部28から通信端末装置30に送信される。S95でCPU22は、RAM26に記憶された送信テーブルに、相手方装置71の識別情報と通信端末装置30の識別情報と送信時刻と圧縮画像情報を登録する。
判断結果が「転送不要」であって「転送必要」ではない場合(S91:No)、又は、S95を実行した後、CPU22は、処理をS83に戻し、S83以降の処理を実行する。
図10のS97でCPU22は、取得されたデータが音データであるか否かを判断する。取得されたデータが音データではない場合(S97:No)、CPU22は、取得されたデータに応じた処理を適宜実行する。その後、CPU22は、処理を図8のS61に戻し、S61以降の処理を実行する。
取得されたデータが音データである場合(S97:Yes)、CPU22は、音データに付与された識別情報を取得する(S99)。通信端末装置30からの映像データは、図4のS19で送信される。相手方装置71,72,73,74,75からの各映像データは、相手方装置71,72,73,74,75のそれぞれで図4のS19に対応した処理が実行されたタイミングで送信される。
続けて、CPU22は、取得された識別情報に関連付けられた音累積時間を更新する(S101)。音累積時間は、1回の遠隔会議において、通信端末装置30及び相手方装置71,72,73,74,75からの各音データの再生時間を累積した時間である。遠隔会議システム10で各通信装置間をサーバ装置20を経由して送受信される音データは、再生時間が所定の一定時間となる単位のデータとして送受信される。換言すれば、音データは、所定の一定時間の送信間隔で、個々の通信装置から、サーバ装置20に対して送信される。例えば、音データは、再生時間が20msecとなる単位のデータとして送受信される。なお、再生時間の20msecは、音送信処理(図4参照)が繰り返されるエンコード周期として上記で例示したエンコード周期の20msecに対応する。サーバ装置20では、各通信装置の識別情報に関連付けて各通信装置からの音データの再生時間を累積した音累積時間が音累積時間テーブルで管理される(図14参照)。音累積時間テーブルは、例えば、RAM26に記憶される。
S101でCPU22は、RAM26に記憶された音累積時間テーブルにアクセスし、取得された識別情報に関連付けられた音累積時間に、前述した再生時間を加算する。例えば、再生時間が20msecであって、S99で相手方装置71の識別情報が取得されていたとする。この場合、CPU22は、音累積時間テーブルで相手方装置71の識別情報に関連付けられた音累積時間に0.02secを加算する。再生時間が20msecであって、S99で相手方装置74の識別情報が取得されていたとする。この場合、CPU22は、音累積時間テーブルで相手方装置74の識別情報に関連付けられた音累積時間に0.02secを加算する。
次に、CPU22は、音データの送信を制御する(S103)。音データの送信先は、音データに付与された識別情報とは異なる識別情報の全ての通信装置に設定される。例えば、取得された音データが通信端末装置30からの音データであるとする。この場合、CPU22は、取得された音データに付与された通信端末装置30の識別情報とは異なる識別情報の相手方装置71,72,73,74,75を送信先に設定する。そして、CPU22は、通信端末装置30からの音データの送信指令を通信部28に出力する。これに伴い、通信端末装置30からの音データが、通信部28から相手方装置71,72,73,74,75にそれぞれ送信される。S103を実行した後、CPU22は、処理を図8のS61に戻し、S61以降の処理を実行する。
<更新頻度決定処理>
図8〜図10に示すサーバ転送処理のS71(図8参照)で実行される更新頻度決定処理について、図15を参照して説明する。更新頻度決定処理は、図8のS69で選択された通信装置を対象として実行される。通信端末装置30及び相手方装置71,72,73,74,75に基づく実施形態では、更新頻度決定処理は、図8のS65で記憶させた配置情報の送信元装置である通信装置を除く5台の通信装置を対象として、S65で配置情報を記憶させる毎に5回繰り返される(図8のS67:Yes参照)。CPU22は、通信端末装置30及び相手方装置71,72,73,74,75の何れかを対象とした更新頻度決定処理で設定された更新頻度情報(後述するS113、S115、S119、S113、S117又はS121参照)を、S65で記憶させた配置情報の送信元装置の更新頻度設定において、図8のS69で選択された通信装置に対する更新頻度情報として決定する。
更新頻度決定処理を開始させたCPU22は、S69で選択された更新頻度決定処理の対象となる通信装置の識別情報に関連付けられた配置を示す情報(状態情報)が表示中を示す「0」であるか否かを判断する(S111)。S111でCPU22は、図8のS65で記憶させた配置情報にアクセスし、この配置情報に従い前述した判断を実行する。例えば、S65で記憶させた配置情報の送信元装置が通信端末装置30であり、S65で記憶された配置情報が図11において送信元装置を示す識別情報「30」に関連付けられた状態であるとする。この場合、相手方装置71,72,73,74,75のうち、相手方装置71,72の何れかがS69で選択されている場合、CPU22は、S111を肯定する(S111:Yes)。一方、相手方装置71,72,73,74,75のうち、相手方装置73,74,75の何れかがS69で選択されている場合、CPU22は、S111を否定する(S111:No)。S69で選択された更新頻度決定処理の対象となる通信装置を、「処理対象の通信装置」という。
S111が肯定される場合(S111:Yes)、CPU22は、更新頻度「5」を設定する(S23)。設定された更新頻度「5」は、処理対象の通信装置の識別情報に関連付けてRAM26に記憶される。S111が否定される場合(S111:No)、CPU22は、更新頻度「1」を設定する(S115)。設定された更新頻度「1」は、処理対象の通信装置の識別情報に関連付けてRAM26に記憶される。
S115を実行した後、CPU22は、処理対象の通信装置の識別情報に関連付けられた配置を示す情報(状態情報)が表示中を示す「1」であるか否かを判断する(S117)。S117でCPU22は、図8のS65で記憶させた配置情報にアクセスし、この配置情報に従い前述した判断を実行する。例えば、S65で記憶させた配置情報の送信元装置が通信端末装置30であり、S65で記憶された配置情報が図11において送信元装置を示す識別情報「30」に関連付けられた状態であるとする。この場合、処理対象の通信装置が相手方装置73,74の何れかがS69で選択されている場合、CPU22は、S117を肯定する(S117:Yes)。一方、処理対象の通信装置が相手方装置75である場合、CPU22は、S117を否定する(S117:No)。
S117が肯定される場合(S117:Yes)、CPU22は、S115で設定されRAM26に記憶された更新頻度情報を1ランクアップする(S119)。これにより、RAM26に記憶された更新頻度情報は「2」に設定される。S117が否定される場合(S117:No)、又は、S119を実行した後、CPU22は、処理対象の通信装置の識別情報に関連付けられた映像累積時間の遠隔会議の全体時間に対する比が第一基準値以上であるか否かを判断する(S121)。S121でCPU22は、図8のS65で記憶させた配置情報にアクセスし、処理対象の通信装置の識別情報に関連付けられた映像累積時間を特定する。例えば、S65で記憶させた配置情報の送信元装置が通信端末装置30であり、S65で記憶された配置情報が図11において送信元装置を示す識別情報「30」に関連付けられた状態であり、S69で相手方装置73が処理対象として選択されていたとする。この場合、CPU22は、300.0secを特定する。CPU22は、上述したように会議接続時に計時部27で計測を開始させた経過時間を全体時間として特定する。そして、CPU22は、特定された映像累積時間を全体時間で除して算出された値が第一基準値以上であるか否かを判断する。第一基準値は、諸条件を考慮して設定される。例えば、第一基準値は、0.5(50%)に設定される。第一基準値は、更新頻度決定処理のプログラムに関連付けて記憶部24に記憶されている。
映像累積時間の遠隔会議の全体時間に対する比が第一基準値以上である場合(S121:Yes)、CPU22は、RAM26に記憶された更新頻度情報を1ランクアップする(S123)。S119が実行されていた場合、RAM26に記憶された更新頻度情報は「3」に設定される。S119が実行されていない場合、RAM26に記憶された更新頻度情報は「2」に設定される。
映像累積時間の遠隔会議の全体時間に対する比が第一基準値未満である場合(S121:No)、又は、S123を実行した後、CPU22は、処理対象の通信装置の識別情報に関連付けられた音累積時間の遠隔会議の全体時間に対する比が第二基準値以上であるか否かを判断する(S125)。S125でCPU22は、RAM26に記憶された音累積時間テーブル(図14参照)にアクセスし、処理対象の通信装置の識別情報に関連付けられた音累積時間を特定する。CPU22は、上述したように会議接続時に計時部27で計測を開始させた経過時間を全体時間として特定する。そして、CPU22は、音累積時間を全体時間で除して算出された値が第二基準値以上であるか否かを判断する。第二基準値は、諸条件を考慮して設定される。例えば、第二基準値は、0.2(20%)に設定される。第二基準値は、更新頻度決定処理のプログラムに関連付けて記憶部24に記憶されている。
音累積時間の遠隔会議の全体時間に対する比が第二基準値以上である場合(S125:Yes)、CPU22は、RAM26に記憶された更新頻度情報を1ランクアップする(S127)。S119及びS123が実行されていた場合、RAM26に記憶された更新頻度情報は「4」に設定される。S129又はS123が実行されていた場合、RAM26に記憶された更新頻度情報は「3」に設定される。
映像累積時間の遠隔会議の全体時間に対する比が第二基準値未満である場合(S125:No)、又は、S127を実行した後、CPU22は、図9のS81で処理対象の通信装置の識別情報に関連付けてRAM26に記憶された使用帯域が閾値以上であるか否かを判断する(S129)。閾値は、諸条件を考慮して適宜設定される。例えば、閾値は、1Mbpsに設定される。閾値は、更新頻度決定処理のプログラムに関連付けて記憶部24に記憶されている。
実施形態では、説明の都合上、サーバ転送処理において、図8のS63で取得されたデータが配置情報であるか否かを判断し、S63が否定された場合(S63:No参照)、図9のS75で取得されたデータが映像データであるか否かを判断することとしている。そして、S75が肯定された場合(S75:Yes)、図9のS81で使用帯域を取得することとしている。従って、一見すると、図8のS71で実行される更新頻度決定処理は、S81が未実行の状態でも行われる場合があるように考えられる。しかし、通信端末装置30及び相手方装置71,72,73,74,75との間で会議接続がなされると、上述した通り、各通信装置では、例えば、図5に示す映像送信処理等が開始されると共に、図6に示すクライアント受信処理が開始され、その後、図7に示す配置情報送信処理のS55で配置情報が送信される。従って、CPU22は、S129においてRAM26から比較対象となる使用帯域を取得することができる。なお、例えば、特殊な条件の下、S129のタイミングでRAM26に使用帯域が記憶されていない状態が生じた場合、CPU22は、使用帯域を0Mbpsとして取り扱う。
使用帯域が閾値以上である場合(S129:Yes)、CPU22は、更新頻度情報を1ランクアップする(S131)。S119、S123、S127が実行されていた場合、RAM26に記憶された更新頻度情報は「5」に設定される。S119、S123及びS127のうちの何れか2つが実行されていた場合、RAM26に記憶された更新頻度情報は「4」に設定される。S119、S123及びS127のうちの何れか1つが実行されていた場合、RAM26に記憶された更新頻度情報は「3」に設定される。
使用帯域が閾値未満である場合(S129:No)、又は、S113若しくはS131を実行した後、CPU22は、更新頻度決定処理を終了し、処理を図8のS73に戻す。
<転送判断処理>
図8〜図10に示すサーバ転送処理のS89(図9参照)で実行される転送判断処理について、図16を参照して説明する。転送判断処理の説明では、図9のS75を肯定(S75:Yes)させる要因となった映像データを、「新たな映像データ」という。
転送判断処理を開始させたCPU22は、S85で選択された通信装置の識別情報に関連付けられた更新頻度設定において、S77で取得された識別情報(ターゲット)に対する更新頻度情報を取得する(S151)。続けて、CPU22は、新たな映像データにおける圧縮画像がS151で取得された更新頻度情報において非送信対象となっているか否かを判断する(S153)。新たな映像データにおける圧縮画像の種別は、図9のS77で取得された圧縮画像種別に従い特定される。新たな映像データにおける圧縮画像が非送信対象ではない場合(S153:No)、CPU22は、現在時刻が前回Iフレームが送信されたタイミングから、S151で取得された更新頻度情報において定義されたIフレーム最短周期を経過しているか否かを判断する(S155)。
例えば、S155は、次のようにして行われる。CPU22は、図9のS95において諸情報を登録させたRAM26に記憶された送信テーブルから、映像データの送信元装置の識別情報として図9のS77で取得された識別情報が登録され、送信先の通信装置の識別情報として図9のS85で選択された通信装置の識別情報が登録され、これら各識別情報に関連付けられた前回のIフレームの送信時刻を特定する。また、CPU22は、計時部27から現在時刻を取得する。前回のIフレームの送信時刻の特定において圧縮画像の種別は、送信テーブルにおける圧縮画像情報に基づき認定される。そして、CPU22は、前回の送信時刻と現在時刻から経過時間を取得し、経過時間とIフレーム最短周期との関係を判断する。経過時間とIフレーム最短周期の関係が「経過時間>Iフレーム最短周期」である場合、CPU22は、現在時刻はIフレーム最短周期を経過しているとして、S155を肯定する(S155:Yes)。経過時間とIフレーム最短周期の関係が「経過時間≦Iフレーム最短周期」である場合、CPU22は、現在時刻はIフレーム最短周期を経過していないとして、S155を否定する(S155:No)。但し、「経過時間=Iフレーム最短周期」である場合、S155を肯定(S155:Yes)するようにしてもよい。何れとするかは諸条件を考慮して適宜決定される。
S155が肯定された場合(S155:Yes)、CPU22は、判断結果として「転送必要」をRAM26に記憶する(S157)。新たな映像データにおける圧縮画像がIフレーム最短周期に関係しない種類の圧縮画像である場合、CPU22は、S155を肯定(S155:Yes)し、S157で判断結果として「転送必要」をRAM26に記憶する。実施形態では、最短周期をIフレーム最短周期としているため、前述したIフレーム最短周期に関係しない種類の圧縮画像は、Pフレーム又はBフレームである。S125が肯定された場合(S153:Yes)、又は、S155が否定された場合(S155:No)、CPU22は、判断結果として「判断不要」をRAM26に記憶する(S159)。
S151〜S159を、新たな映像データが相手方装置73からの映像データであり、図11のS77で相手方装置73の識別情報が取得され、且つ、図9のS85で通信端末装置30が選択されている場合を例に説明する。通信端末装置30の識別情報に関連付けられた更新頻度設定において、相手方装置71,72,73,74,75の識別情報に対する更新頻度情報は、図12に示す通りとする。S151でCPU22は、RAM26に記憶された更新頻度設定(図12)から、通信端末装置30の識別情報(送信元)に関連付けられた識別情報「73」に対する更新頻度情報を取得する。図12に基づけば、CPU22は、更新頻度「3」を取得する。更新頻度「3」は、上述した通り、Iフレームが送信対象とされ、Pフレーム及びBフレームが非送信対象として定義されると共に、Iフレームの最短周期が300msecに定義されている(図13参照)。
新たな映像データにおける圧縮画像がIフレームである場合、CPU22は、S153を否定する(S153:No)。そして、前回のIフレームの送信時刻から300msecが経過している場合(S155:Yes)、CPU22は、RAM26に「転送必要」を記憶する(S157)。前回のIフレームの送信時刻から300msecが経過していない場合(S155:No)、CPU22は、RAM26に「転送不要」を記憶する(S159)。新たな映像データにおける圧縮画像がPフレーム又はBフレームである場合、CPU22は、S153を肯定し(S153:Yes)、RAM26に「転送不要」を記憶する(S159)。
S157又はS159を実行した後、CPU22は、転送判断処理を終了し、処理を図9のS91に戻す。
<実施形態の効果>
上述した実施形態によれば、次のような効果を得ることができる。
(1)サーバ装置20では、図8〜図10に示すサーバ転送処理のS65(図8参照)で通信端末装置30及び相手方装置71,72,73,74,75の何れかから送信され(図7のS55参照)、通信部28を介して取得された配置情報を記憶し、図15に示す更新頻度決定処理で、S69で選択された更新頻度決定処理の対象となる通信装置の識別情報に関連付けられた配置を示す情報が表示中を示す「0」であるか否かを判断し(S111参照)、判断が肯定される場合(S111:Yes参照)、更新頻度情報を最高の「5」に設定することとした(S113参照)。一方、判断が否定される場合(S111:No参照)、更新頻度情報を最高の「5」より低い「1」〜「4」又は「5」の何れかに設定することとした(S115、S119、S123、S127又はS131参照)。
サーバ装置20では、図16に示す転送判断処理で、更新頻度設定として登録された更新頻度情報(図8のS73参照)に基づいた判断を実行し(S153又はS155)、判断結果として「転送必要」又は「転送不要」を記憶することとした(S157又はS159参照)。そして、サーバ装置20では、判断結果が「転送必要」である場合(図9のS93:Yes)、図9のS85で処理対象とされた通信装置に映像データを送信することとした(図9のS93参照)。一方、判断結果が「転送不要」である場合(図9のS91:No)、映像データの送信は省略される(図9のS93未実行参照)。
そのため、通信端末装置30及び相手方装置71,72,73,74,75による遠隔会議では、例えば、通信端末装置30で表示の対象とされた撮影画像381,382,383,384,385のうち、通信端末装置30が備える表示部38の映像表示領域Bに表示されていない撮影画像に対応した映像データについて、一部の圧縮画像を非送信対象とすることができる。非送信対象に設定された圧縮画像を含む映像データがサーバ装置20から通信端末装置30に送信されなくすることができる。
例えば、通信端末装置30で非表示であって配置を示す情報が「1」又は「2」であっても(図15のS111:No参照)、更新頻度決定処理のS117、S121、S125又はS129の各判断の少なくとも1つが肯定され(図15のS117、S121、S125又はS129:Yes参照)、更新頻度情報が「2」〜「4」又は「5」に設定される場合(図15のS119、S123、S127又はS131参照)、少なくともIフレームを含む非表示の撮影画像に対応した映像データは、サーバ装置20から通信端末装置30に送信される(図13、図16のS153:No及びS157、図9のS91:Yes及びS93参照)。そのため、スワイプ操作に基づき非表示の撮影画像が表示されることとなった場合であっても、通信端末装置30では、非送信対象ではない圧縮画像を含む映像データが取得され(図6のS37:Yes参照)、この圧縮画像を含む映像データに対応した撮影画像を表示することができる(図6のS43参照)。遠隔会議システム10では通信される映像データのデータ量の増加を抑制しつつ、所定の通信装置(例えば、通信端末装置30)で非表示であった撮影画像の表示をスムーズに行うことができる。
(2)配置情報送信処理(図7参照)では、映像表示領域Bに表示されていない映像配置領域Aの領域であっても、移動方向とは反対の方向において基準端部から基準間隔WC(図2参照)内である領域については、配置を示す情報を「1」とし、基準間隔WC外の領域の場合の「2」より上位の値を登録した配置情報を生成し、これをサーバ装置20に送信することとした(図7のS55参照)。サーバ装置20では、図15に示す更新頻度決定処理で配置情報における配置を示す情報が「1」である場合(S117:Yes参照)、更新頻度情報を1ランクアップすることとした(S119参照)。そのため、映像表示領域Bに表示されていない撮影画像に対応した撮影データに関し、基準間隔WCを基準として更新頻度情報を「1」から「2」にすることができる。非表示の撮影画像が表示されることとなった場合、更新頻度「2」で送信対象となるIフレームにより撮影画像を表示することができる。なお、実施形態において、移動方向及び移動方向と反対の方向の両方向は、移動方向に対応した方向ということもできる。移動方向に対応した方向は、水平方向である(図2参照)。
(3)更新頻度決定処理(図15参照)では、処理対象の通信装置の識別情報に関連付けられた映像累積時間の遠隔会議の全体時間に対する比が第一基準値以上であるか否かを判断し(S121参照)、第一基準値以上である場合(S121:Yes)、更新頻度情報を1ランクアップすることとした(S123参照)。そのため、映像表示領域Bに表示されていない撮影画像に対応した映像データに関し、映像累積時間に応じて更新頻度情報を「1」から「2」(S117未実行の場合)又は「2」から「3」(S117実行済みの場合)にすることができる。更新頻度「2」又は「3」で送信対象となるIフレームにより撮影画像を表示することができる。更新頻度情報が「2」から「3」へのランクアップに伴い、Iフレーム最短周期が短縮(短縮時間:1700msec)されるため、1コマ毎の表示において、撮影画像が切り替わる間隔が短縮され、再生品質を向上させることができる。
(4)更新頻度決定処理(図15参照)では、処理対象の通信装置の識別情報に関連付けられた音累積時間の遠隔会議の全体時間に対する比が第二基準値以上であるか否かを判断し(S125参照)、第二基準値以上である場合(S125:Yes)、更新頻度情報を1ランクアップすることとした(S127参照)。そのため、映像表示領域Bに表示されていない撮影画像に対応した映像データに関し、映像累積時間に応じて更新頻度情報を「1」から「2」(S119及びS123未実行の場合)、「2」から「3」(S119及びS123の一方のみを実行済みの場合)又は「3」から「4」(S119及びS123実行済みの場合)にすることができる。更新頻度「2」又は「3」で送信対象となるIフレームにより撮影画像を表示し、更新頻度「4」で更にPフレームに対応した撮影画像を表示することができる。更新頻度情報が「3」から「4」へのランクアップに伴い、Iフレーム最短周期が短縮(短縮時間:300msec)されると共にPフレームも取得可能であるため、1コマ毎の表示において、撮影画像が切り替わる間隔が短縮され、再生品質を向上させることができる。更新頻度情報の「2」から「3」へのランクアップに伴う効果については、上述した通りである。
<変形例>
上記の実施形態は、次のようにすることもできる。以下に示す変形例のうちの幾つかの構成は、適宜組み合わせて採用することもできる。以下の構成を採用した場合においても、上述した効果と同様の効果を得ることができる。
(1)上記では、領域A1,A2,A3,A4,A5が水平方向に配置され、表示対象の撮影画像381,382,383,384,385が領域A1,A2,A3,A4,A5のそれぞれに配置される配置設定による映像配置領域Aを例に説明した(図2参照)。映像配置領域を設定する配置設定は、領域A1,A2,A3,A4,A5が鉛直方向に整列された状態で配置され、鉛直方向に並ぶ複数の領域A1,A2,A3,A4,A5のそれぞれに表示対象の撮影画像381,382,383,384,385を配置させる設定であってもよい。この場合、水平方向を基準とした幅WA,WBと基準間隔WCと距離WDに対応する各要素は、何れも鉛直方向を基準として定義される。移動方向は、鉛直方向の上側から下側又は下側から上側とされる。図2に基づけば、前述した鉛直方向は、図2で水平方向を示す「両矢の矢印」に対して垂直な方向である。
(2)上記では、配置設定による撮影画像381,382,383,384,385の配置に関し、映像配置領域Aに領域A1,A2,A3,A4,A5を設定した構成を例に説明した(図2参照)。映像配置領域Aにおける撮影画像381,382,383,384,385が配置される各領域は、座標形式で特定するようにしてもよい。この場合、映像表示領域Bに表示されている映像配置領域Aの範囲も座標により特定される。
(3)上記では、状態情報としての配置を示す情報を、表示中を示す「0」と、非表示を示す「1」及び「2」とした構成を例に説明した。配置を示す情報と同等の情報量は、例えば、映像配置領域Aに関する情報と、映像配置領域Aの各領域のうち、映像表示領域B内又は外の範囲を特定できる情報等によっても得ることができる。映像配置領域Aに関する情報としては、例えば、配置設定に基づいた映像配置領域Aにおける複数の領域の配置(M行×N列)を示す情報と、複数の領域と各通信装置の識別情報を関連付けた情報が挙げられる。サーバ装置20において、CPU22は、このような各情報を取得し(図8のS63:Yes参照)、これら各情報から上述した配置を示す情報が示す特徴と同等の特徴を特定し、例えば、上記同様、図8のS65〜S73を実行するようにしてもよい。
(4)上記では、図4に示す音送信処理のS13において、S11で取得された音のボリュームが閾値と同一である場合、判断を否定(S13:No)することとした。S13は、S11で取得された音のボリュームが閾値以上であるか否かに基づき判断し、ボリュームと閾値が等しい場合、判断を肯定(S13:Yes)するようにしてもよい。
(5)上記では、図8〜図10に示すサーバ転送処理のS81(図9参照)で、使用帯域をIフレームの取得間隔に基づき算出することとした。使用帯域は、例えば、GOP(Group Of Pictures)単位で算出するようにしてもよい。何れの単位での使用帯域とするかは、諸条件を考慮して適宜決定される。また、使用帯域が映像データに基づいた使用帯域である場合を例に説明した。映像データに代えて、又は加えて、遠隔会議システム10で通信される映像データ以外のデータ(音データ、共有資料データ、制御データ等)における使用帯域が用いられてもよい。
(6)上記では、図15に示す更新頻度決定処理でS111が否定される場合(S111:No参照)、S115で更新頻度情報を「1」に設定し、S117、S121、S125及びS129の各判断がそれぞれ肯定される場合(S117,S121,S125,S129:Yes参照)、更新頻度情報を1ランクアップさせることとした。更新頻度情報の更新は、更新頻度「1」は「0点」、更新頻度「2」は「20点」、更新頻度「3」は「40点」、更新頻度「4」は「60点」、更新頻度「5」は「80点」というように、各更新頻度情報と点数を関連付けし、得点に応じた更新頻度情報を設定するようにしてもよい。例えば、S111が否定される場合(S111:No)、S115で得点を0点に設定し、これをRAM26に記憶する。そして、S117が肯定される場合(S117:Yes)、S119でCPU22は、20点を加算する。この場合、RAM26には得点「20点」が記憶される。S121が肯定される場合(S121:Yes)、S123でCPU22は、RAM26に記憶された得点に「20点」を加算する。S125が肯定される場合(S125:Yes)、S127でCPU22は、RAM26に記憶された得点に「20点」を加算する。S129が肯定される場合(S129:Yes)、S131でCPU22は、RAM26に記憶された得点に「20点」を加算する。そして、CPU22は、RAM26に記憶された最終的な得点に応じた更新頻度情報を設定する。例えば、RAM26に記憶された得点が「60点」である場合、CPU22は、更新頻度「4」を設定し、図8のS73で更新頻度「4」を登録する。
この他、S111が否定される場合(S111:No)の最高更新頻度情報を定義し、S117、S121、S125及びS129の各判断に応じて最終的に設定される更新頻度情報が最高更新頻度情報以下となるように適宜制御するようにしてもよい。更新頻度決定処理において、更新頻度情報の更新を何れの方式にて行うかは、諸条件を考慮して適宜決定される。
S121において、処理対象の通信装置の識別情報に関連付けられた映像累積時間の遠隔会議の全体時間に対する比が第一基準値である場合、判断を肯定(S121:Yes)することとした。S121は、処理対象の通信装置の識別情報に関連付けられた映像累積時間の遠隔会議の全体時間に対する比が第一基準値より大きいか否かに基づき判断し、前述した比と第一基準値が等しい場合、判断を否定(S121:No)するようにしてもよい。
S125において、処理対象の通信装置の識別情報に関連付けられた音累積時間の遠隔会議の全体時間に対する比が第二基準値である場合、判断を肯定(S125:Yes)することとした。S125は、処理対象の相手方装置の識別情報に関連付けられた音累積時間の遠隔会議の全体時間に対する比が第二基準値より大きいか否かに基づき判断し、前述した比と第二基準値が等しい場合、判断を否定(S125:No)するようにしてもよい。
S129において、使用帯域が閾値と同一である場合、判断を肯定(S129:Yes)することとした。S129は、使用帯域が閾値より広いか否かに基づき判断し、使用帯域と閾値が等しい場合、判断を否定(S129:No)するようにしてもよい。
S117、S121、S125及びS129での各条件に基づいた判断順序は、上記とは異なる順序としてもよい。例えば、上記のS121での条件に基づいた判断をS117のタイミングで行い、上記のS125での条件に基づいた判断をS121のタイミングで行い、上記のS129での条件に基づいた判断をS125のタイミングで行い、上記のS117での条件に基づいた判断をS129のタイミングで行うようにしてもよい。
(7)上記では、図16に示す転送判断処理のS153を、新たな映像データにおける圧縮画像がS151で取得された更新頻度情報において非送信対象となっているか否かに基づき判断することとした。S153は、新たな映像データにおける圧縮画像がS151で取得された更新頻度情報において送信対象となっているか否かに基づき判断するようにしてもよい。圧縮画像が送信対象である場合、CPU22は、判断を肯定し、処理をS155に移行する。圧縮画像が送信対象ではない場合、CPU22は、判断を否定し、処理をS159に移行する。
(8)上記では、映像データの送信に関し、サーバ装置20は、映像データを、この映像データの送信元装置以外の通信装置に送信することとした。そして、映像データの送信元装置では、自装置で取得された映像データに対応した撮影画像を自装置で表示する場合、自装置で取得された映像データを再生し、これによって生成された撮影画像を表示することとした。サーバ装置20は、映像データの送信元装置に対しても、この装置の映像データを送信することとし、送信元装置ではサーバ装置20から送信される自装置の映像データに基づき、この映像データに対応した撮影画像を表示するようにしてもよい。この場合、配置情報は、自装置の識別情報に関連付けられた、自装置の映像データに対応した撮影画像についての状態情報を含む。そして、サーバ装置20では、配置情報に含まれる全ての識別情報の通信装置(通信端末装置30及び相手方装置71,72,73,74,75)を対象として、更新頻度決定処理(図15参照)が実行され、更新頻度情報が決定され(図15のS113、S115、S119、S123、S127及びS131参照)、更新頻度設定に登録される(図8のS73)。転送判断処理(図16参照)についても、通信端末装置30及び相手方装置71,72,73,74,75の全てを対象として実行され、「転送必要」又は「転送不要」が記憶される(S157又はS159参照)。そして、送信元装置の映像データの自装置への送信について、図9のS91の判断が行われ、S91が肯定された場合(S91:Yes)、CPU22は、この映像データの送信を制御する(図9のS93参照)。
10 遠隔会議システム
20 サーバ装置
22 CPU
24 記憶部
26 RAM
27 計時部
28 通信部
29 バス
30 通信端末装置
32 CPU
34 記憶部
36 RAM
38 表示部
40 操作部
42 ハードキー
44 タッチパッド
46 カメラ
48 オーディオ部
49 スピーカ
50 マイク
52 計時部
54 通信部
56 バス
71,72,73,74,75 相手方装置
381,382,383,384,385 撮影画像
A 映像配置領域
A1,A2,A3,A4,A5 領域
B 映像表示領域
WA,WB 幅
WC 基準間隔
WD 距離

Claims (12)

  1. ネットワークを介した複数の通信端末装置による遠隔会議を実行するサーバ装置を制御するコンピュータが実行可能なプログラムであって、
    前記コンピュータを、
    前記複数の通信端末装置のそれぞれで撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記映像データの提供元の前記通信端末装置を識別する識別情報と、を前記ネットワークに接続された前記サーバ装置の通信部を介して、前記複数の通信端末装置のそれぞれから取得する第一取得手段と、
    前記複数の通信端末装置のうち、第一通信端末装置以外の第二通信端末装置を含む通信端末装置からの前記映像データに対応した前記撮影画像のそれぞれを予め定められた配置設定に従い配置した映像配置領域における前記各撮影画像の前記第一通信端末装置の表示部の映像表示領域での表示に関する状態情報と、前記映像配置領域内の前記各撮影画像に対応した前記映像データの提供元の前記通信端末装置の前記識別情報と、がそれぞれ関連付けられた配置情報を、前記第二通信部を介して、前記第一通信端末装置から取得する第二取得手段と、
    前記第二取得手段により取得された前記配置情報に含まれる前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に従い、前記第二通信端末装置からの前記映像データに対応した前記撮影画像が前記映像表示領域に含まれているか否かを判断する第一判断手段と、
    前記第一判断手段で前記第二取得手段により取得された前記第二通信端末装置からの前記映像データに対応した前記撮影画像が前記映像表示領域に含まれないと判断されたことに応じて、前記第二通信端末装置からの前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報を決定する決定手段と、
    前記第一判断手段で前記撮影画像が前記映像表示領域に含まれないと判断された前記第二通信端末装置からの前記映像データを前記第一通信端末装置に送信する場合、前記決定手段により決定された前記更新頻度情報で非送信対象として設定された少なくとも一部の前記フレーム間圧縮画像を含まない前記映像データを送信する送信制御手段と、して機能させるプログラム。
  2. 前記決定手段は、全ての前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する機能を含む、請求項1に記載のプログラム。
  3. 前記第二取得手段は、前記映像表示領域に含まれない前記映像配置領域の部分に配置された前記撮影画像を前記映像表示領域内へと移動させる移動方向と反対の方向において前記映像表示領域の前記移動方向の後進側の端部からの間隔を示す間隔情報を含む前記状態情報と、前記識別情報と、がそれぞれ関連付けられた前記配置情報を前記第一通信端末装置から取得し、
    前記決定手段は、
    前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に含まれる前記間隔情報が第一間隔内である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第一削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定し、
    前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に含まれる前記間隔情報が前記第一間隔より広い第二間隔である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が前記第一削減量より多い第二削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する、機能を含む、請求項1又は請求項2に記載のプログラム。
  4. 前記決定手段は、前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に含まれる前記間隔情報が前記移動方向に対応した方向における前記映像表示領域の幅に対応した前記第一間隔内である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が前記第一削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する機能を含む、請求項3に記載のプログラム。
  5. 前記第二取得手段は、前記複数の通信端末装置うち、前記第一通信端末装置以外の前記第二通信端末装置を含む前記通信端末装置からの前記映像データに対応した前記撮影画像のそれぞれが前記映像表示領域に表示された映像累積時間を含む前記状態情報と、前記識別情報と、がそれぞれ関連付けられた前記配置情報を前記第一通信端末装置から取得し、
    前記決定手段は、
    前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に含まれる前記映像累積時間が第一映像累積時間である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第三削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定し、
    前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に含まれる前記映像累積時間が第二映像累積時間である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第四削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する、機能を含む、請求項1から請求項4の何れか1項に記載のプログラム。
  6. 前記決定手段は、前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に含まれる前記映像累積時間が前記第二映像累積時間より長い前記第一映像累積時間である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が前記第四削減量より少ない前記第三削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する機能を含む、請求項5に記載のプログラム。
  7. 前記決定手段は、前記映像表示領域に含まれない前記映像配置領域の部分に配置された前記撮影画像に対応した前記第二通信端末装置からの前記映像データに所定のタイミングで繰り返して含まれる前記フレーム内圧縮画像のうちの一部を非送信対象に設定する前記更新頻度情報を決定し、
    前記送信制御手段は、前記第一判断手段で前記撮影画像が前記映像表示領域に含まれないと判断された前記第二通信端末装置からの前記映像データを前記第一通信端末装置に送信する場合、前記決定手段により決定された前記更新頻度情報で非送信対象として設定された一部の前記フレーム内圧縮画像を含まない前記映像データを送信する、機能を含む、請求項1から請求項6の何れか1項に記載のプログラム。
  8. 前記コンピュータを、
    前記複数の通信端末装置のそれぞれで集音された音に対応した音データと、前記音データの提供元の前記通信端末装置の前記識別情報と、を前記複数の通信端末装置のそれぞれから取得する第三取得手段と、
    前記第三取得手段により取得された前記音データのそれぞれを対象として、前記音データの再生時間を累積した音累積時間と、前記音データの提供元である前記通信端末装置の前記識別情報と、を関連付けて登録する登録手段と、して機能させ、
    前記決定手段は、
    前記第二通信端末装置の前記識別情報に関連付けられた前記音累積時間が第一音累積時間である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第五削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定し、
    前記第二通信端末装置の前記識別情報に関連付けられた前記音累積時間が第二音累積時間である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第六削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する、機能を含む、請求項1から請求項7の何れか1項に記載のプログラム。
  9. 前記決定手段は、前記第二通信端末装置の前記識別情報に関連付けられた前記音累積時間が前記第二音累積時間より長い前記第一音累積時間である場合、前記第二通信端末装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が前記第六削減量より少ない前記第五削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する機能を含む、請求項8に記載のプログラム。
  10. ネットワークを介した複数の通信端末装置による遠隔会議を実行するサーバ装置であって、
    前記複数の通信端末装置のそれぞれで撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記映像データの提供元の前記通信端末装置を識別する識別情報と、を前記ネットワークに接続された前記サーバ装置の通信部を介して、前記複数の通信端末装置のそれぞれから取得する第一取得手段と、
    前記複数の通信端末装置のうち、第一通信端末装置以外の第二通信端末装置を含む通信端末装置からの前記映像データに対応した前記撮影画像のそれぞれを予め定められた配置設定に従い配置した映像配置領域における前記各撮影画像の前記第一通信端末装置の表示部の映像表示領域での表示に関する状態情報と、前記映像配置領域内の前記各撮影画像に対応した前記映像データの提供元の前記通信端末装置の前記識別情報と、がそれぞれ関連付けられた配置情報を、前記第二通信部を介して、前記第一通信端末装置から取得する第二取得手段と、
    前記第二取得手段により取得された前記配置情報に含まれる前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に従い、前記第二通信端末装置からの前記映像データに対応した前記撮影画像が前記映像表示領域に含まれているか否かを判断する第一判断手段と、
    前記第一判断手段で前記第二取得手段により取得された前記第二通信端末装置からの前記映像データに対応した前記撮影画像が前記映像表示領域に含まれないと判断されたことに応じて、前記第二通信端末装置からの前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報を決定する決定手段と、
    前記第一判断手段で前記撮影画像が前記映像表示領域に含まれないと判断された前記第二通信端末装置からの前記映像データを前記第一通信端末装置に送信する場合、前記決定手段により決定された前記更新頻度情報で非送信対象として設定された少なくとも一部の前記フレーム間圧縮画像を含まない前記映像データを送信する送信制御手段と、を備えるサーバ装置。
  11. ネットワークを介した複数の通信端末装置による遠隔会議を実行するサーバ装置で実行される遠隔会議方法であって、
    前記複数の通信端末装置のそれぞれで撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記映像データの提供元の前記通信端末装置を識別する識別情報と、を前記ネットワークに接続された前記サーバ装置の通信部を介して、前記複数の通信端末装置のそれぞれから取得する第一取得工程と、
    前記複数の通信端末装置のうち、第一通信端末装置以外の第二通信端末装置を含む通信端末装置からの前記映像データに対応した前記撮影画像のそれぞれを予め定められた配置設定に従い配置した映像配置領域における前記各撮影画像の前記第一通信端末装置の表示部の映像表示領域での表示に関する状態情報と、前記映像配置領域内の前記各撮影画像に対応した前記映像データの提供元の前記通信端末装置の前記識別情報と、がそれぞれ関連付けられた配置情報を、前記第二通信部を介して、前記第一通信端末装置から取得する第二取得工程と、
    前記第二取得工程により取得された前記配置情報に含まれる前記第二通信端末装置の前記識別情報に関連付けられた前記状態情報に従い、前記第二通信端末装置からの前記映像データに対応した前記撮影画像が前記映像表示領域に含まれているか否かを判断する第一判断工程と、
    前記第一判断工程で前記第二取得工程により取得された前記第二通信端末装置からの前記映像データに対応した前記撮影画像が前記映像表示領域に含まれないと判断されたことに応じて、前記第二通信端末装置からの前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報を決定する決定工程と、
    前記第一判断工程で前記撮影画像が前記映像表示領域に含まれないと判断された前記第二通信端末装置からの前記映像データを前記第一通信端末装置に送信する場合、前記決定工程により決定された前記更新頻度情報で非送信対象として設定された少なくとも一部の前記フレーム間圧縮画像を含まない前記映像データを送信する送信工程と、を含む遠隔会議方法。
  12. ネットワークを介した複数の通信端末装置による遠隔会議を実行するサーバ装置を制御するコンピュータが実行可能なプログラムであって、
    前記コンピュータを、
    前記複数の通信端末装置のそれぞれで撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記映像データの提供元の前記通信端末装置を識別する識別情報と、を前記ネットワークに接続された前記サーバ装置の通信部を介して、前記複数の通信端末装置のそれぞれから取得する第三取得手段と、
    前記複数の通信端末装置のうちの自装置以外の前記通信端末装置からの前記映像データに対応した前記撮影画像のそれぞれを予め定められた配置設定に従い配置した映像配置領域における前記各撮影画像の前記各通信端末装置の表示部の映像表示領域での表示に関する状態情報と、前記映像配置領域内の前記各撮影画像に対応した前記映像データの提供元の前記通信端末装置の前記識別情報と、がそれぞれ関連付けられた配置情報と、前記配置情報の提供元の前記通信端末装置を識別する識別情報と、を前記通信部を介して、前記複数の通信端末装置のそれぞれから取得する第四取得手段と、
    前記複数の通信端末装置からの前記各配置情報を、前記配置情報の提供元である前記通信端末装置の前記識別情報と関連付けて、前記サーバ装置の記憶領域に記憶する記憶手段と、
    前記複数の通信端末装置のうちの特定の通信端末装置からの前記映像データが取得された場合、前記特定の通信端末装置の前記識別情報に関連付けられた前記状態情報に従い、前記特定の通信端末装置からの前記映像データに対応した前記撮影画像が、前記特定の通信端末装置以外の前記通信端末装置の前記映像表示領域に含まれているか否かを、前記記憶領域に記憶された前記特定の通信端末装置の前記識別情報とは異なる前記識別情報に関連付けられた前記配置情報のそれぞれを対象として判断する第二判断手段と、
    前記第二判断手段により前記撮影画像が前記映像表示領域に含まれないと判断されたことに応じて、前記特定の通信端末装置から取得された前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報を決定する決定手段と、
    前記決定手段により決定された前記更新頻度情報で非送信対象として設定された少なくとも一部の前記フレーム間圧縮画像を含まない前記特定の通信端末装置から取得された前記映像データを、前記第二判断手段による判断対象とされた前記配置情報に関連付けられた前記識別情報の前記通信端末装置に送信する送信制御手段と、して機能させるプログラム。
JP2013270727A 2013-12-27 2013-12-27 サーバ装置のプログラム、サーバ装置及び遠隔会議方法 Pending JP2015126457A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013270727A JP2015126457A (ja) 2013-12-27 2013-12-27 サーバ装置のプログラム、サーバ装置及び遠隔会議方法
US14/581,845 US9344680B2 (en) 2013-12-27 2014-12-23 Server and non-transitory computer readable medium storing program for remote conference

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013270727A JP2015126457A (ja) 2013-12-27 2013-12-27 サーバ装置のプログラム、サーバ装置及び遠隔会議方法

Publications (1)

Publication Number Publication Date
JP2015126457A true JP2015126457A (ja) 2015-07-06

Family

ID=53483406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013270727A Pending JP2015126457A (ja) 2013-12-27 2013-12-27 サーバ装置のプログラム、サーバ装置及び遠隔会議方法

Country Status (2)

Country Link
US (1) US9344680B2 (ja)
JP (1) JP2015126457A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7490146B2 (ja) 2020-12-18 2024-05-24 北京字跳▲網▼絡技▲術▼有限公司 呈示方法、装置及び電子機器

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015126457A (ja) * 2013-12-27 2015-07-06 ブラザー工業株式会社 サーバ装置のプログラム、サーバ装置及び遠隔会議方法
JP2015126456A (ja) 2013-12-27 2015-07-06 ブラザー工業株式会社 通信端末装置のプログラム、通信端末装置、サーバ装置のプログラム、サーバ装置及び遠隔会議システム
JP7121470B2 (ja) * 2017-05-12 2022-08-18 キヤノン株式会社 画像処理システム、制御方法、及び、プログラム
US11363235B2 (en) * 2017-10-16 2022-06-14 Sony Corporation Imaging apparatus, image processing apparatus, and image processing method

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04157889A (ja) 1990-10-20 1992-05-29 Fujitsu Ltd 人物撮像位置の自動調整方法
US5446491A (en) 1993-12-21 1995-08-29 Hitachi, Ltd. Multi-point video conference system wherein each terminal comprises a shared frame memory to store information from other terminals
US6078349A (en) 1995-06-07 2000-06-20 Compaq Computer Corporation Process and system for increasing the display resolution of a point-to-point video transmission relative to the actual amount of video data sent
AU2001251703A1 (en) * 2000-03-06 2001-09-17 Sony Electronics Inc. System and method for effectively implementing an electronic image manager device
US7479983B2 (en) * 2000-03-06 2009-01-20 Sony Corporation System and method for effectively implementing an electronic image hub device
JP2004032131A (ja) 2002-06-24 2004-01-29 Canon Inc 撮像装置及び画像処理装置
US20040008249A1 (en) 2002-07-10 2004-01-15 Steve Nelson Method and apparatus for controllable conference content via back-channel video interface
JP4108623B2 (ja) * 2004-02-18 2008-06-25 シャープ株式会社 液晶表示装置及びその駆動方法
JP4369263B2 (ja) * 2004-03-12 2009-11-18 富士フイルム株式会社 デジタルカメラ及び画像信号生成方法
US8233200B2 (en) * 2005-03-14 2012-07-31 Gtech Corporation Curvature correction and image processing
WO2007063922A1 (ja) 2005-11-29 2007-06-07 Kyocera Corporation 通信端末および通信システム、並びに通信端末の表示方法
JP4994646B2 (ja) 2005-11-29 2012-08-08 京セラ株式会社 通信端末および通信システム、並びに通信端末の表示方法
CA2636010A1 (en) 2006-01-17 2007-07-17 Baker Hughes Inc SYSTEM AND METHOD FOR REMOTE DATA ACQUISITION AND DISTRIBUTION
JP4997783B2 (ja) 2006-02-15 2012-08-08 富士ゼロックス株式会社 電子会議システム、電子会議支援プログラム、電子会議制御装置、情報端末機器、電子会議支援方法
JP5083090B2 (ja) * 2007-09-18 2012-11-28 ソニー株式会社 表示制御装置、撮像装置、表示制御方法およびプログラム
US20110222676A1 (en) 2008-11-20 2011-09-15 Panasonic Corporation Image display apparatus, teleconferencing device, and image display method
JP5251500B2 (ja) 2008-12-26 2013-07-31 カシオ計算機株式会社 クライアント装置、およびプログラム
JP5200928B2 (ja) * 2008-12-29 2013-06-05 ブラザー工業株式会社 テレビ会議システム、帯域制御方法、会議制御装置、テレビ会議端末装置及びプログラム
US8483715B2 (en) * 2009-03-26 2013-07-09 Yahoo! Inc. Computer based location identification using images
JP4987946B2 (ja) 2009-11-17 2012-08-01 パイオニア株式会社 通信装置
CA2742468C (en) * 2010-06-08 2018-04-24 Aastra Technologies Limited Method and system for video communication
JP5392208B2 (ja) * 2010-08-31 2014-01-22 ブラザー工業株式会社 通信装置、通信方法、及び通信プログラム
US8675038B2 (en) * 2010-09-28 2014-03-18 Microsoft Corporation Two-way video conferencing system
US8791977B2 (en) * 2010-10-05 2014-07-29 Fujitsu Limited Method and system for presenting metadata during a videoconference
US8823769B2 (en) * 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
JP5664442B2 (ja) * 2011-04-27 2015-02-04 ブラザー工業株式会社 テレビ会議装置、表示制御方法及び表示制御プログラム
US8581956B2 (en) * 2011-04-29 2013-11-12 Hewlett-Packard Development Company, L.P. Methods and systems for communicating focus of attention in a video conference
US8417233B2 (en) 2011-06-13 2013-04-09 Mercury Mobile, Llc Automated notation techniques implemented via mobile devices and/or computer networks
TWI435299B (zh) * 2011-07-05 2014-04-21 Wistron Corp 偏光面板系統及立體影像系統
US9124765B2 (en) * 2012-12-27 2015-09-01 Futurewei Technologies, Inc. Method and apparatus for performing a video conference
US20150095281A1 (en) * 2013-09-30 2015-04-02 Nokia Corporation Method and apparatus for adjusting the frequency of content updates
US20150103885A1 (en) 2013-10-11 2015-04-16 Oovoo Llc Real time ip video transmission with high resilience to network errors
JP2015106778A (ja) 2013-11-29 2015-06-08 ブラザー工業株式会社 プログラム、通信端末装置及び遠隔会議方法
JP2015126456A (ja) * 2013-12-27 2015-07-06 ブラザー工業株式会社 通信端末装置のプログラム、通信端末装置、サーバ装置のプログラム、サーバ装置及び遠隔会議システム
JP2015126457A (ja) * 2013-12-27 2015-07-06 ブラザー工業株式会社 サーバ装置のプログラム、サーバ装置及び遠隔会議方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7490146B2 (ja) 2020-12-18 2024-05-24 北京字跳▲網▼絡技▲術▼有限公司 呈示方法、装置及び電子機器

Also Published As

Publication number Publication date
US9344680B2 (en) 2016-05-17
US20150189236A1 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
JP7379907B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、情報処理方法
CN108737908B (zh) 一种媒体播放方法、装置及存储介质
CN110213616B (zh) 视频提供方法、获取方法、装置及设备
JP2015126457A (ja) サーバ装置のプログラム、サーバ装置及び遠隔会議方法
US9491427B2 (en) Method and apparatus for recording video image in a portable terminal having dual camera
WO2021031850A1 (zh) 图像处理的方法、装置、电子设备及存储介质
CN106162369A (zh) 一种实现虚拟场景中互动的方法、装置及系统
JP2015126456A (ja) 通信端末装置のプログラム、通信端末装置、サーバ装置のプログラム、サーバ装置及び遠隔会議システム
WO2014201876A1 (zh) 屏幕分享方法和相关设备及通信系统
KR102509939B1 (ko) 전자 장치 및 전자 장치의 영상 인코딩 방법
CN113766324B (zh) 视频播放的控制方法、装置、计算机设备和存储介质
CN108924452A (zh) 局部录屏方法、装置及计算机可读存储介质
KR20170094745A (ko) 영상 인코딩 방법 및 이를 지원하는 전자 장치
US9300914B2 (en) Computer readable recording medium and terminal apparatus
WO2023005060A1 (zh) 拍摄方法、移动终端及存储介质
WO2014155885A1 (ja) 入力装置
US9467655B2 (en) Computer readable recording medium, communication terminal device and teleconferencing method
JP2014050018A (ja) 情報処理装置、ビデオ会議システム及びプログラム
KR101361691B1 (ko) 터치 스크린을 갖는 휴대 단말기의 부분 이미지 획득 방법
JP2014072599A (ja) 会議サーバ、コンピュータプログラム、遠隔会議システム及び端末装置
US9420012B2 (en) Computer readable recording medium, communication terminal device and teleconferencing method
CN105045510B (zh) 实现视频查看操作的方法及装置
JP2015095801A (ja) 再生装置及びその制御方法、管理装置及びその制御方法、映像再生システム、並びにプログラム及び記憶媒体
JP2014194675A (ja) プログラム、通信装置
JP2016096395A (ja) テレビ会議装置、テレビ会議システム及びプログラム