JP2015056855A - 配信管理装置、及び配信管理システム - Google Patents

配信管理装置、及び配信管理システム Download PDF

Info

Publication number
JP2015056855A
JP2015056855A JP2013190689A JP2013190689A JP2015056855A JP 2015056855 A JP2015056855 A JP 2015056855A JP 2013190689 A JP2013190689 A JP 2013190689A JP 2013190689 A JP2013190689 A JP 2013190689A JP 2015056855 A JP2015056855 A JP 2015056855A
Authority
JP
Japan
Prior art keywords
communication terminal
unit
data
information
management device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013190689A
Other languages
English (en)
Inventor
泰弘 久芳
Yasuhiro Hisayoshi
泰弘 久芳
笠谷 潔
Kiyoshi Kasatani
潔 笠谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2013190689A priority Critical patent/JP2015056855A/ja
Priority to US14/465,789 priority patent/US20150082359A1/en
Priority to EP14183078.6A priority patent/EP2849455A1/en
Priority to CN201410460819.6A priority patent/CN104469397A/zh
Publication of JP2015056855A publication Critical patent/JP2015056855A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】1の通信端末で描かれた操作軌跡と、他の通信端末で再生中の映像に関する情報と、を動的に対応づける。【解決手段】配信管理装置2は、ブラウザ20、送受信部31、取得部201、及び記憶部23を備える。ブラウザ20は、コンテンツデータをレンダリングして映像データを生成する。変換部は、映像データを、第1の通信端末及び第2の通信端末を含む通信端末に配信可能なデータ形式に変換する。送受信部31は、変換された映像データを通信端末に配信する。送受信部31は、第1の通信端末から、該第1の通信端末で描かれた操作軌跡を示す軌跡情報及び該操作軌跡の描画タイミングを受信する。取得部201は、該描画タイミングに第2の通信端末で再生されている映像データに対応するコンテンツデータを特定する特定情報を取得する。記憶部23は、軌跡情報と特定情報とを対応づけて記憶する。【選択図】図8

Description

本発明は、配信管理装置、及び配信管理システムに関する。
再生中のコンテンツの特定の場所や部分が指定されると、そのコンテンツに関連する情報を提供可能なシステムが知られている(例えば、特許文献1参照)。特許文献1では、コンテンツと、コンテンツ内の任意の要素に対応する関連情報と、を予めサーバ側のデータベースに登録する。そして、コンテンツの提供を受けている端末装置から、コンテンツ及びコンテンツ内の特定の要素の指定情報を受信したときに、対応する関連情報をサーバから端末装置へ伝達する。
しかしながら、従来では、配信対象のコンテンツに含まれる要素と関連情報とを予め対応づけて登録しておく必要があった。このため、従来では、プロジェクタ等の通信端末に映像を再生させながら、別の通信端末でメモ等の文字や線や画像等の操作軌跡を描く場合、操作軌跡と再生中の映像とを関連づけることはできない。すなわち、従来では、ある通信端末でユーザによって描かれた線や画像等の操作軌跡と、他の通信端末で再生中の映像に関する情報と、を動的に対応づけることは困難であった。
本発明は、上記に鑑みてなされたものであって、1の通信端末で描かれた操作軌跡と、他の通信端末で再生中の映像に関する情報と、を動的に対応づけることができる、配信管理装置及び配信管理システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、コンテンツデータをレンダリングして映像データを生成する生成部と、前記映像データを、第1の通信端末及び第2の通信端末を含む通信端末に配信可能なデータ形式に変換する変換部と、変換された前記映像データを前記通信端末に配信する送受信部と、前記第1の通信端末から、該第1の通信端末で描かれた操作軌跡を示す軌跡情報及び該操作軌跡の描画タイミングを受信する受信部と、前記描画タイミングに前記第2の通信端末で再生されている映像データに対応するコンテンツデータを特定する特定情報を取得する取得部と、前記軌跡情報と前記特定情報とを対応づけて記憶する記憶部と、を備える。
本発明によれば、1の通信端末で描かれた操作軌跡と、他の通信端末で再生中の映像に関する情報と、を動的に対応づけることができる、という効果を奏する。
図1は、本実施形態に係る配信システムの概略図である。 図2は、通信端末にドングルを取り付ける際のイメージ図である。 図3は、基本的な配信方法を示す概念図である。 図4は、マルチキャストの概念図である。 図5は、マルチディスプレイの概念図である。 図6は、複合配信の概念図である。 図7は、配信管理装置のハードウェア構成の一例を示す図である。 図8は、主に配信管理装置の各機能を示す機能ブロック図である。 図9は、描画テーブルの概念図である。 図10は、主に通信端末の各機能を示す機能ブロック図である。 図11は、端末管理装置の各機能を示す機能ブロック図である。 図12は、配信先選択メニュー画面の概念図である。 図13は、端末管理テーブルの概念図である。 図14は、利用可能端末管理テーブルの概念図である。 図15は、エンコーダブリッジ部の詳細図である。 図16は、変換部の各機能を示す機能ブロック図である。 図17は、配信管理装置の基本的な配信処理を示すシーケンス図である。 図18は、配信管理装置と通信端末との間で行われる時刻調整の処理を示すシーケンス図である。 図19は、配信管理装置から通信端末に送信するデータの回線適応制御の処理を示すシーケンス図である。 図20は、通信端末から配信管理装置に送信するデータの回線適応制御の処理を示すシーケンス図である。 図21は、マルチディスプレイの処理を示すシーケンス図である。 図22は、マルチディスプレイの処理を示すシーケンス図である。 図23は、マルチディスプレイの処理を示すシーケンス図である。 図24は、配信管理装置を利用した遠隔共有処理を示すシーケンス図である。 図25は、描画処理を示すフローチャートである。
以下に図面を用いて、本実施形態に係る配信システムを詳細に説明する。以下に示す実施形態は、クラウドコンピューティングを利用してウェブコンテンツを映像データ、音データ、又は映像データ及び音データに変換してパーソナルコンピュータや電子黒板等の通信端末に配信する配信システムとしての適用例である。なお、以下、映像及び音のうち少なくとも一方を示す場合には、「映像(音)」と表記する。
<システム構成の概略>
まず、配信システム1の構成の概略を説明する。
図1は、本実施形態に係る配信システム1の概略図である。図1に示すように、本実施形態の配信システム1は、配信管理装置2、複数の通信端末5a〜5f、端末管理装置7、及びウェブサーバ8を備えて構築されている。なお、以下では、複数の通信端末5a〜5fのうち、任意の通信端末を示す場合には、「通信端末5」と表記する。配信管理装置2、端末管理装置7、及びウェブサーバ8は、いずれもサーバコンピュータによって構築されている。
通信端末5は、配信システム1のサービスを受けるユーザが使用する端末である。このうち、通信端末5aは、ノートPC(Personal Computer)である。通信端末5bは、スマートフォンやタブレット端末等のモバイル端末である。通信端末5cは、コピー、スキャン、プリント、及びファックスの各機能が複合されたMFP(Multifunction Peripheral/Printer/Product)である。通信端末5dは、プロジェクタである。通信端末5eは、カメラ、マイク及びスピーカを備えたテレビ(ビデオ)会議端末である。通信端末5fは、ユーザ等によって描かれた操作軌跡を受け付け、操作軌跡を電子的に変換することが可能な電子黒板(ホワイトボード)である。
なお、通信端末5は、図1に示したような端末だけでなく、腕時計、自動販売機、ガスメータ、カーナビゲーション装置、ゲーム機、エアコン、照明器具、カメラ単体、マイク単体、スピーカ単体等であってもよい。
また、配信管理装置2、通信端末5、端末管理装置7、及びウェブサーバ8は、インターネットやLAN(Local Area Network)等の通信ネットワーク9によって通信することができる。この通信ネットワーク9には、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信によるネットワークも含まれる。
なお、通信端末5によっては、通信端末5d等のように、通信ネットワーク9を介して他の端末やシステムと通信する機能を有していないものがある。しかし、図2に示すように、ユーザが通信端末5dのUSB(Universal Serial Bus)やHDMI(登録商標)(High−Definition Multimedia Interface)等のインターフェース部にドングル99を差し込むことで、通信端末5は通信ネットワーク9を介して他の端末やシステムと通信可能となる。なお、図2は、通信端末にドングル99を取り付ける際のイメージ図である。
配信管理装置2は、クラウド上に存在するウェブブラウザとしての、いわゆるクラウドブラウザ(以下、「ブラウザ20」と表記する)を有する。配信管理装置2は、ブラウザ20を用いてクラウド上でウェブコンテンツをレンダリングし、これにより得られたH.264やMPEG−4等の映像(音)データを通信端末5に配信する。
端末管理装置7は、管理サーバとしての機能を有し、例えば、通信端末5のログイン認証や、通信端末5の契約情報等の管理等を行ったりする。また、端末管理装置7は、電子メールを送信するためのSMTP(Simple Mail Transfer Protocol)サーバの機能を有している。端末管理装置7は、例えば、クラウドのサービス(IaaS:Infrastructure as a Service)上に展開される仮想マシンとして実現することができる。端末管理装置7は、不測の事態に対応して継続的なサービス提供を行うために、多重化して運用することが望ましい。
なお、配信管理装置2のブラウザ20は、リアルタイムコミュニケーション(RTC:Real−time communication/collaboration)を可能にしている。更に、配信管理装置2が備える後述のエンコーダブリッジ部30は、エンコード部19(後述の図15参照)を備える。詳細は後述するが、エンコード部19は、ブラウザ20によって生成された映像(音)データに対して、リアルタイムのエンコードを行うことができる。そのため、配信管理装置2の処理は、例えば、DVDプレーヤによって、DVDに記録されているリアルタイム性のない映像(音)データを読み出して配信する場合等とは異なる。
<各種配信方法の概略>
続いて、各種配信方法の概略について説明する。
(基本配信)
図3は、本実施形態の配信システム1の基本的な配信方法を示す概念図である。配信システム1では、図3に示すように、配信管理装置2のブラウザ20がウェブサーバ8からウェブコンテンツデータ〔A〕を取得し、レンダリングすることにより、映像(音)データ〔A〕を生成する。そして、エンコーダブリッジ部30が、映像(音)データ〔A〕をエンコード等して、通信端末5に配信する。これにより、たとえHTML(Hyper Text Markup Language)やCSS(Cascading Style Sheets)等により作成されたウェブコンテンツがリッチであっても、H.264やMPEG−4等の映像(音)データとして配信されるため、低スペックの通信端末5であってもスムーズに映像(音)を再生することが可能になる。また、本実施形態の配信システム1では、配信管理装置2のブラウザ20を最新化しておくことで、ローカルとしての通信端末5にコンテンツを提供するブラウザを最新化しなくても、最新のリッチなウェブコンテンツをスムーズに再生することが可能となる。
また、配信システム1は、上述の配信方法を応用し、図4乃至図6に示すように、同一拠点又は複数の拠点にある複数の通信端末5に、ウェブコンテンツを映像(音)データとして配信することも可能である。ここで、図4乃至図6に示す配信方法について説明する。
(マルチキャスト)
図4は、マルチキャストの概念図である。図4に示すように、配信管理装置2の単一のブラウザ20は、ウェブサーバ8からウェブコンテンツデータ〔A〕を取得してレンダリングすることで、映像(音)データ〔A〕を生成する。そして、エンコーダブリッジ部30が、映像(音)データ〔A〕をエンコードする。その後、配信管理装置2は、映像(音)データ〔A〕を複数の通信端末5f1,5f2,5f3に配信する。これにより、例えば複数の拠点に配置された複数の通信端末5f1,5f2,5f3において、同じ映像(音)が出力される。なお、この場合、複数の通信端末5f1,5f2,5f3が同じ表示再生能力(解像度が同じ等)を有する必要はない。このような配信方法は、例えば「マルチキャスト」と呼ぶ。
(マルチディスプレイ)
図5は、マルチディスプレイの概念図である。図5に示すように、配信管理装置2の単一のブラウザ20は、ウェブサーバ8からウェブコンテンツデータ〔XYZ〕を取得してレンダリングすることで、単一の映像(音)データ〔XYZ〕を生成する。そして、エンコーダブリッジ部30が、単一の映像(音)データ〔XYZ〕を、複数の映像(音)データ〔X〕,〔Y〕,〔Z〕に分割した後にエンコードする。その後、配信管理装置2は、分割後の映像(音)データ〔X〕を通信端末5f1に配信する。また、同じように、配信管理装置2は、分割後の映像(音)データ〔Y〕を通信端末5f2に配信し、分割後の映像(音)データ〔Z〕を通信端末5f3に配信する。これにより、例えば、横長のウェブコンテンツデータ〔XYZ〕であっても、複数の通信端末5f1,5f2,5f3で分割して映像が表示されるため、これら通信端末5f1,5f2,5f3を一列に並べて設置すれば、1つの大きな映像を表示させることと同様の効果を得ることができる。なお、この場合、通信端末(5f1,5f2,5f3)が同じ表示再生能力(解像度が同じ等)を有する必要がある。このような配信方法は、例えば「マルチディスプレイ」と呼ぶ。
(複合配信)
図6は、配信管理装置2を介して複数の通信端末5を使った複合配信の概念図である。遠隔共有処理の概念図である。図6に示すように、第1の拠点(図6の右側)では、電子黒板としての通信端末5f1及びテレビ会議端末としての通信端末5e1が利用され、第2の拠点(図6の左側)では、同じく電子黒板としての通信端末5f2及びテレビ会議端末としての通信端末5e2が利用されている。また、第1の拠点では、通信端末5f1に操作軌跡による文字等の操作情報を表示させるための電子ペンP1が利用され、第2の拠点では、通信端末5f2に操作軌跡による文字等の操作情報を表示させるための電子ペンP2が利用されている。なお、図6に示す例では、第1の拠点において、電子黒板としての通信端末5f1にテレビ会議端末としての通信端末5e1が接続され、通信端末5e1のカメラ・マイク・スピーカが、通信端末5f1の外付けのカメラ・マイク・スピーカとして利用されている。同様に、第2の拠点において、電子黒板としての通信端末5f2にテレビ会議端末としての通信端末5e2が接続され、通信端末5e2のカメラ・マイク・スピーカが、通信端末5f2の外付けのカメラ・マイク・スピーカとして利用されている。
そして、第1の拠点において、通信端末5e1によって取得された映像(音)データ〔E1〕は、エンコード部60でエンコードされた後に、配信管理装置2に送信される。その後、配信管理装置2のデコード部40でデコードされて、ブラウザ20に入力される。また、電子ペンP1等によって通信端末5f1に描かれた操作軌跡等を示す操作情報〔p1〕は、配信管理装置2に送信され、ブラウザ20に入力される。一方、第2の拠点においても、通信端末5e2によって取得された映像(音)データ〔E2〕は、エンコード部60でエンコードされた後に、配信管理装置2に送信される。その後、配信管理装置2のデコード部40でデコードされて、ブラウザ20に入力される。また、電子ペンP2等によって通信端末5f2に描かれた操作軌跡等の操作情報〔p2〕は、配信管理装置2に送信され、ブラウザ20に入力される。
一方、ブラウザ20は、例えば、ウェブサーバ8から通信端末5f1,5f2のそれぞれのディスプレイに表示される背景画像のウェブコンテンツデータ〔A〕を取得する。そして、ブラウザ20は、ウェブコンテンツデータ〔A〕、操作情報〔p1〕,〔p2〕及び映像(音)データ〔E1〕,〔E2〕を結合してレンダリングすることで、所望のレイアウトに設置した映像(音)データを生成する。そして、エンコーダブリッジ部30は、映像(音)データをエンコードし、配信管理装置2が各拠点に同じ映像(音)データを配信する。これにより、第1の拠点では、通信端末5f1のディスプレイ上に、映像(〔A〕、〔p1〕、〔p2〕、〔E1(映像部分)〕及び〔E2(映像部分)〕)が表示されると共に、通信端末5e1のスピーカから音〔E2(音部分)〕が出力される。一方、第2の拠点でも、通信端末5f2のディスプレイ上に、映像(〔A〕、〔p1〕、〔p2〕、〔E1(映像部分)〕及び〔E2(映像部分)〕)が表示されると共に、通信端末5e2のスピーカから音〔E1(音部分)〕が出力される。なお、第1の拠点では、通信端末5f1のエコーキャンセル機能により、自拠点の音〔E1(音部分)〕は出力されない。一方、第2の拠点では、通信端末5f2のエコーキャンセル機能により、自拠点の音〔E2(音部分)〕は出力されない。
以上により、第1の拠点と第2の拠点とでは、遠隔地間においてリアルタイムで同じ情報を共有する遠隔共有処理を行うことができるため、本実施形態の配信システム1は遠隔会議等に有効である。
〔実施形態の詳細な説明〕
続いて、図7乃至図25を用いて、実施形態の詳細な説明を行う。
<実施形態のハードウェア構成>
まず、図7を用いて、本実施形態のハードウェア構成を説明する。図7は、配信管理装置2のハードウェア構成の一例を示す図である。なお、通信端末5、端末管理装置7、及びウェブサーバ8のハードウェア構成は、図7に示す配信管理装置2のハードウェア構成と同様であるため、説明を省略する。
図7に示すように、配信管理装置2は、配信管理装置2全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、プログラム等の各種データを記憶するHDD204、CPU201の制御にしたがってHDD204に対する各種データの読み出し又は書き込みを制御するHDC(Hard Disk Controller)205、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207、各種情報を表示するディスプレイ208、通信ネットワーク9を利用してデータ送信したり、ドングル99を接続するためのI/F209、キーボード211、マウス212、マイク213、スピーカ214、GPU(Graphics Processing Unit)215、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン220を備えている。
なお、各通信端末、各システム又は各サーバ用のプログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
<実施形態の機能構成>
次に、図8乃至図16を用い、本実施形態の機能構成について説明する。図8は、主に配信管理装置2の各機能を示す機能ブロック図である。図8では、配信管理装置2が通信端末5f1(第1の通信端末に相当)、及び通信端末5f3(第2の通信端末に相当)に対して映像(音)データを配信する場合の機能構成を示している。しかし、配信先が通信端末5f1及び通信端末5f3以外の場合も、同様の機能構成を有する。なお、配信管理装置2は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。
(配信管理装置の機能構成)
配信管理装置2は、図7に例示したハードウェア構成及びプログラムによって、図8に示す各機能構成を実現する。具体的に、配信管理装置2は、ブラウザ20、送受信部21、ブラウザ管理部22、送信用FIFO24、時刻管理部25、時刻取得部26、回線適応制御部27、エンコーダブリッジ部30、送受信部31、受信用FIFO34、認識部35、遅延情報取得部37a、回線適応制御部37b、及びデコード部40を有している。
更に、配信管理装置2は、図7に示したHDD204によって構築される記憶部23を有している。この記憶部23には、認識部35から出力された後述の認識情報23Aが記憶される。なお、ブラウザ20が取得したコンテンツデータは、キャッシュとして、記憶部23に一時的に記憶しておくこともできる。また、記憶部23は、軌跡属性情報23B及び描画テーブル23Cを記憶する(詳細後述)。
上述の各機能構成のうち、ブラウザ20は、配信管理装置2内で動作するウェブブラウザである。ブラウザ20は、ウェブコンテンツデータ等のコンテンツデータをレンダリングすることにより、RGBデータ(又はPCM(Pulse Code Modulation)データ)としての映像(音)データを生成する。ブラウザ20は、ウェブコンテンツのリッチ化に対応させて常に最新化されている。
また、本実施形態の配信システム1では、配信管理装置2内に複数のブラウザ20を用意しており、これら複数のブラウザ20の中からユーザセッションに使用するクラウドブラウザが選択される。
なお、本実施形態では、配信管理装置2は、ブラウザ20としてブラウザ20a及びブラウザ20bを備える場合を説明する。ブラウザ20aは、通信端末5f1に対応するブラウザ20である。ブラウザ20bは、通信端末5f3に対応するブラウザ20である。これらのブラウザ20a及びブラウザ20bを総称する場合には、ブラウザ20と称する。
ブラウザ20は、例えば、Media Player、Flash Player、JavaScript(登録商標)、CSS(Cascading Style Sheet)及びHTML(HyperText Markup Language)レンダラを有する。なお、JavaScript(登録商標)には、標準規格のものと配信システム1独自のものが含まれる。ここで、Media Playerは、映像(音)ファイルなどのマルチメディアファイルをブラウザ20内で再生するためのブラウザプラグインである。Flash Playerは、Flashコンテンツをブラウザ20内で再生するためのブラウザプラグインである。独自のJavaScript(登録商標)は、配信システム1に固有のサービスのAPI(Application Programming Interface)を提供するJavaScript(登録商標)群である。CSSは、HTMLで記述されたウェブページの見栄えやスタイルを効率的に定義するための技術である。HTMLレンダラは、ウェブキットベースのHTMLレンダリングエンジンである。
送受信部21は、端末管理装置7やウェブサーバ8との間で、各種データや要求等の送受信を行う。例えば、送受信部21は、ウェブサーバ8のコンテンツサイトからウェブコンテンツデータを取得する。
ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30の管理を行う。例えば、ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30に、起動又は終了を指示したり、起動又は終了時にエンコーダIDを採番したりする。ここで、エンコーダIDは、ブラウザ管理部22がエンコーダブリッジ部30のプロセスを管理するために採番する識別情報である。また、ブラウザ管理部22は、ブラウザ20が起動されるたびに、ブラウザIDを採番して管理する。ここで、ブラウザIDは、ブラウザ管理部22がブラウザ20のプロセスを管理するために採番し、ブラウザ20を識別するための識別情報である。
また、ブラウザ管理部22は、送受信部31を介して通信端末5から各種操作情報〔p〕を取得し、ブラウザ20aに出力する。ブラウザ20aは、取得部201を備えている。取得部201は、ブラウザ管理部22及び送受信部31を介して通信端末5f1から操作情報〔p〕を取得する。
操作情報〔p〕は、通信端末5での操作イベント(キーボード211やマウス212等による指示情報や、電子ペンPやマウス212等による操作軌跡等)である。
本実施形態では、操作情報〔p〕は、送信元の通信端末5を示す端末ID、軌跡情報、描画タイミング、及び指示情報、を含む。
軌跡情報は、通信端末5におけるユーザによる電子ペンP等の操作によって描かれた、文字や線や画像等の操作軌跡を示す情報である。軌跡情報は、軌跡を示すページ(表示画面)上における位置座標の群と、軌跡属性情報と、を含む。
軌跡属性情報は、操作軌跡の線種(点線や一点鎖線等)や、軌跡の太さ、軌跡の色等、操作軌跡の表示形態を示す。
描画タイミングは、操作軌跡がユーザによって描画されたタイミングを示す。描画タイミングは、時刻や、再生中の映像における再生開始からの経過時間や、再生位置(フレーム等)等によって示されるが、これらの形態に限定されない。
指示情報は、通信端末5を操作するユーザによって指示された処理内容を示す情報である。本実施形態では、指示情報は、描画処理であることを示す描画処理指示、新たな描画を示す描画モード、記載済の描画の消去を示す消去モード、またはメニュー処理指示を含む。
なお、指示情報が、消去モードを含む場合には、操作情報〔p〕は、軌跡情報及び描画タイミングに代えて、消去対象の操作軌跡の画面上の位置情報を含む。
ブラウザ20aは、取得部201で取得した操作情報に基づいて、後述する描画処理を実行する。この描画処理により、記憶部23における描画テーブル23Cが更新される。描画処理については、詳細を後述する。
図9は、描画テーブル23Cの概念図である。描画テーブル23Cは、端末IDと、ホームURL(Uniform Resource Locator)を示す設定情報と、軌跡情報と、特定情報と、を対応づけたテーブルである。
端末IDは、各通信端末5を一意に識別する識別情報である。設定情報は、対応する端末IDによって識別される通信端末5のホームURLを示す。設定情報は、各通信端末5に対応するブラウザ20へのアクセス先を示すURLである。
本実施形態では、描画テーブル23Cには、軌跡情報として、通信端末5から取得した操作情報〔p〕に含まれる軌跡情報から作成した、ページ上の座標と、軌跡画像と、が格納される。軌跡画像は、操作情報〔p〕に含まれる軌跡情報からブラウザ20aによって生成された、操作軌跡を示す画像の描画指示を示すコマンドである。例えば、軌跡情報に含まれる軌跡属性情報が、操作軌跡が太字で赤色の波線であることを示す場合には、この太字で赤字の波線を示し、且つ軌跡を示す位置座標の群を連続させた画像の描画指示が、軌跡画像である。描画テーブル23Cに格納されるページ上の座標は、操作軌跡の描画開始位置を示す。
特定情報は、1の通信端末5(例えば、通信端末5f1)から受信した操作情報〔p〕に含まれる描画タイミングに、遠隔共有処理対象の他の通信端末5(例えば、通信端末5f3)で再生されている映像データに対応するコンテンツデータを特定する情報である。本実施形態では、特定情報は、リンク先URLと、リンク先URL端末IDと、を含む。リンク先URLは、遠隔共有処理対象の、該コンテンツデータに基づく映像(音)データの配信されている通信端末5の設定情報(ホームURL)を示す。リンク先URL端末IDは、該通信端末5の端末IDである。
図8に戻り、なお、通信端末5に、温度センサ、湿度センサ、及び加速度センサ等の各種センサが設けられている場合には、ブラウザ管理部22は、通信端末5から各センサの出力信号であるセンサ情報を取得し、ブラウザ20に出力する。
送信用FIFO24は、ブラウザ20で生成された映像(音)データを格納するバッファである。本実施形態では、配信管理装置2は、送信用FIFO24a及び送信用FIFO24bを備える。送信用FIFO24aは、ブラウザ20aで生成された映像(音)データを格納するバッファである。送信用FIFO24bは、ブラウザ20bで生成された映像(音)データを格納するバッファである。
時刻管理部25は、配信管理装置2独自の時刻Tを管理している。時刻取得部26は、後述の通信端末5における時刻制御部56と連携して、時刻調整の処理を行う。具体的には、時刻取得部26は、時刻管理部25から配信管理装置2における時刻Tを示す時刻情報(T)を取得したり、送受信部31及び送受信部51を介して、後述の時刻制御部56から通信端末5における時刻tを示す時刻情報(t)を受信したり、時刻制御部56に時刻情報(t)及び時刻情報(T)を送信したりする。
回線適応制御部27は、後述の送信遅延時間情報(D)に基づいて、再生遅延時間Uを計算したり、エンコーダブリッジ部30における変換部10のフレームレートやデータの解像度等の動作条件を計算したりする。この再生遅延時間は、再生までにデータがバッファリングされることで、再生を遅延させるための時間である。
エンコーダブリッジ部30は、ブラウザ20で生成されて送信用FIFO24に格納された映像(音)データについて、データ形式の変換等の処理を実行する。そして、エンコーダブリッジ部30は、データ形式を変換した映像(音)データを、配信対象の通信端末5(通信端末5f1、通信端末5f3)に配信する。エンコーダブリッジ部30については、図15及び図16を用いて、更に詳細に説明する。図15は、エンコーダブリッジ部30の詳細図である。また、図16は、変換部10の各機能を示す機能ブロック図である。
図15に示すように、エンコーダブリッジ部30は、作成・選択部310、及び選択部320と、これらの間に構築される複数の変換部10a,10bとを備える。ここでは、2つの変換部10a,10bを示したが、変換部の数はいくつであってもよい。なお、以下、任意の変換部を「変換部10」と表記する。
更に、変換部10は、図16に示すように、トリミング部11、リサイズ部12、分割部13、及びエンコード部19を有する。トリミング部11、リサイズ部12、及び分割部13は、音データの場合は、処理を行わない。
トリミング部11は、映像(画像)の一部だけを切り出す処理を行う。リサイズ部12は、映像(画像)の縮尺を変更する。分割部13は、図5に示したように、ウェブサーバ8から取得したウェブコンテンツを分割する。
後述の図16におけるエンコード部19は、ブラウザ20で生成された映像(音)データをエンコードすることにより、通信ネットワーク9を介して通信端末5に映像(音)データを配信できるように変換する。また、エンコード部19は、映像が動かなければ(フレーム間で変化がなければ)、以降、映像が動くまでスキップフレームを挿入することで帯域をセーブする。なお、音の場合には、エンコードだけが行われる。
作成・選択部310は、新たに変換部10を作成したり、既に作成されている変換部10に対して入力させる映像(音)データを選択したりする。作成・選択部310が新たに変換部10を作成する場合としては、既に作成されている変換部20を選択する。例えば、通信端末5おける映像(音)データの再生能力に応じた変換が可能な変換部10を作成する場合等が挙げられる。また、作成・選択部310が変換部10に対して入力させる映像(音)データを選択する場合の例としては、例えば、通信端末5f1への配信に加えて通信端末5f3への配信を開始するにあたって、通信端末5f1へ配信している映像(音)データと同じ映像(音)データを通信端末5f3へ配信する場合がある。このような場合で、更に、通信端末5f3が通信端末5f1における映像(音)データの再生能力と同じ再生能力を有する場合には、作成・選択部310は、通信端末5f3用に新たな変換部10bを作成せずに、通信端末5f1用に既に作成している変換部10aを利用する。
選択部320は、既に作成されている変換部10から所望のものを選択する。これら作成・選択部310と選択部320による選択によって、図6に示したような様々なパターンの配信を行うことができる。
図8に戻り、送受信部31は、通信端末5との間で、各種データや要求等の送受信を行う。例えば、送受信部31は、通信端末5のログイン処理において、通信端末5の後述する送受信部51に対し、ユーザにログイン要求を促すための認証画面データを送信する。その他に、送受信部31は、HTTPS(Hypertext Transfer Protocol over Secure Socket Layer)サーバを介して、配信システム1独自のプロトコルにより、配信システム1のサービスを受けるために通信端末5にインストールされたアプリケーションプログラム(ユーザアプリやデバイスアプリ)へのデータ送信およびデータ受信を行う。この独自のプロトコルは、配信管理装置2と通信端末5との間でリアルタイムに途切れることなくデータを送受信するためのHTTPSベースのアプリケーション層プロトコルである。また、送受信部31は、送信レスポンス制御、リアルタイムのデータ作成、コマンド送信、受信レスポンス制御、受信データ分析、及びジェスチャ変換の各処理を行う。
送信レスポンス制御は、配信管理装置2から通信端末5にデータを送信するために、通信端末5からリクエスト(要求)されたダウンロード用のHTTPSセッションを管理する処理である。このダウンロード用のHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1〜数分)保持する。送受信部31は、通信端末5に送るデータを動的にレスポンスのBody部に書き込む。また、再接続のコストをなくすため、通信端末5からは前のセッションが終了しないうちに別のリクエストが届くようにする。送受信部31を、前のリクエストが完了するまで待機させておくようにすることで、再接続を行っても、オーバヘッドを削除することができる。
リアルタイムのデータ作成は、後述の図16におけるエンコード部19で生成された圧縮映像(および圧縮音)のデータ(RTPデータ)に独自のヘッダを付与して、通信端末5への下り用のHTTPSのBody部に書き込む処理である。
クライアントコマンド送信は、通信端末5に送信するコマンドデータを生成し、通信端末5への配信用(下り用)のHTTPSのBody部に書き込む処理である。
受信レスポンス制御は、配信管理装置2が通信端末5からデータを受信するために、通信端末5からリクエストされたHTTPSセッションを管理する処理である。このHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1〜数分)保持される。通信端末5は、配信管理装置2の送受信部31に送るデータを動的にリクエストのBody部に書き込む。
受信データ分析は、通信端末5から送られてきたデータを種別ごとに分析し、必要なプロセスにデータを渡す処理である。
ジェスチャ変換は、ユーザが電子黒板としての通信端末5fに電子ペンPや手書きにより入力したジェスチャイベントを、ブラウザ20が受け取れる形式に変換する処理である。
受信用FIFO34は、デコード部40でデコードされた映像(音)データを格納するバッファである。
認識部35は、通信端末5から受信する映像(音)データ〔E〕に対しての処理を行う。具体的には、認識部35は、例えば、サイネージ向けに、後述のカメラ62で撮影された映像から人や動物の顔、年齢、及び性別などを認識する。また、認識部35は、オフィス向けに、後述のカメラ62で撮影された映像から顔認識による名前タグ付けや背景映像の差し替え処理などを行う。認識部35は、認識した内容を示す認識情報23Aを記憶部23に記憶させる。この認識部35は、認識拡張ボードで処理を行うことで高速化が実現される。
遅延情報取得部37aは、上り用(通信端末5から配信管理装置2への通信用)の回線適応制御の処理に用いられる後述の遅延情報取得部57に対応して、下り用(配信管理装置2から通信端末5への通信用)の回線適応制御の処理に用いられる。具体的には、遅延情報取得部37aは、デコード部40から送信遅延時間d1を示す送信遅延時間情報(d1)を取得して一定時間保持しておき、複数の送信遅延時間情報(d1)を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する。
回線適応制御部37bは、上り用の回線適応制御の処理に用いられる上述した回線適応制御部27に対応して、下り用の回線適応制御の処理に用いられる。具体的には、回線適応制御部37bは、送信遅延時間情報(d)に基づいて、エンコード部60の動作条件を計算する。また、回線適応制御部37bは、送受信部31及び後述の送受信部51を介して通信端末5のエンコード部60に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する。
デコード部40は、通信端末5から送信されて来た映像(音)データ〔E〕をデコードする。
(通信端末の機能構成)
続いて、図10を用いて、通信端末5の機能構成について説明する。図10は、主に通信端末5の各機能を示す機能ブロック図である。図10では、通信端末5の1つとして通信端末5f1を例示しているが、通信端末5f1以外の通信端末5であっても、同様の機能構成を有する。なお、通信端末5のうち、ユーザアプリがインストールされた通信端末5は、ユーザが配信システム1へのログインや映像(音)データの配信の開始又は停止などを行うためのインターフェースとなる。一方、デバイスアプリがインストールされた通信端末5は、映像(音)データの送受信や操作情報の送信を行うのみで、上記インターフェースは持たない。以下では、便宜上、通信端末5にユーザアプリがインストールされているものとして説明する。
通信端末5は、図7と同様のハードウェア構成及びプログラム(ユーザアプリ)によって、図10に示す各機能構成を実現する。具体的に、通信端末5は、デコード部50、送受信部51、操作部52、再生制御部53、レンダリング部55、時刻制御部56、遅延情報取得部57、表示部58、及びエンコード部60を有している。更に、通信端末5は、図7に示したRAM203によって構築される記憶部5000を有している。この記憶部5000には、後述の時刻差Δを示す時刻差情報(Δ)、及び通信端末5における時刻tを示す時刻情報(t)が記憶される。
デコード部50は、配信管理装置2から配信され、再生制御部53から出力された映像(音)データ〔AEp〕をデコードする。
送受信部51は、配信管理装置2の送受信部31、及び後述の端末管理装置7の送受信部71aとの間で、各種データや要求等の送受信を行う。例えば、送受信部51は、通信端末5のログイン処理において、操作部52による通信端末5の起動に基づき、端末管理装置7の送受信部71にログイン要求を行う。
操作部52は、ユーザの操作入力を受け付ける処理を行う。例えば、操作部52は、電源スイッチ、キーボード、マウス、または電子ペンP等による入力や、選択等を受け付け、操作情報〔p〕として配信管理装置2のブラウザ管理部22に送信する。
再生制御部53は、送受信部51から受けた映像(音)データ〔AEp〕(リアルタイムデータのパケット)をバッファリングし、再生遅延時間Uを考慮してデコード部50に出力する。
レンダリング部55は、デコード部50によってデコードされたデータをレンダリングする。
時刻制御部56は、配信管理装置2の時刻取得部26と連携して、時刻調整の処理を行う。具体的には、時刻制御部56は、記憶部5000から通信端末5における時刻tを示す時刻情報(t)を取得する。また、時刻制御部56は、送受信部51及び送受信部31を介して、配信管理装置2の時刻取得部26に、配信管理装置2における時刻Tを示す時刻情報(T)を要求する。この場合、時刻情報(T)の要求と共に、時刻情報(t)が送信される。
遅延情報取得部57は、再生制御部53から送信遅延時間D1を示す送信遅延時間情報(D1)を取得して一定時間保持しておき、複数の送信遅延時間情報(D1)を取得したところで、送受信部51及び送受信部31を介して回線適応制御部27に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を送信する。なお、送信遅延時間情報(D)は、例えば、100フレームに1回送信される。
表示部58は、レンダリング部55によってレンダリングされたデータを再生する。
エンコード部60は、内蔵されたマイク213(図7参照)や、外付けのカメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、同じく記憶部5000から取得した時刻差Δを示す時刻差情報(Δ)を、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する。エンコード部60の動作条件は、回線適応制御部37bから受信した回線適応制御信号に基づいて変更される。更に、動作条件が変更されると、エンコード部60は、新たな動作条件に従って、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、記憶部5000から取得した時刻差Δを示す時刻差情報(Δ)とを、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する。
なお、内蔵されたマイク213や、外付けのカメラ62及びマイク63は、入力手段の一例であり、エンコードやデコードが必要な各種デバイスである。入力手段は、映像(音)データの他に、触覚(touch)データや嗅覚(smell)データを出力することができてもよい。入力手段には、温度センサ、方位センサ、加速度センサ等の各種センサも含まれる。
図10では、電子黒板としての通信端末5f1にテレビ会議端末としての通信端末5eが接続された例を示す。すなわち、通信端末5f1が、ユーザによって描かれた操作軌跡を受け付け、操作軌跡を電子的に変換することが可能な電子黒板である場合を示している。また、通信端末5eのカメラ及びマイクが、通信端末5f1の外付けのカメラ62及びマイク63として利用される例を示している。また、図10では、通信端末5f1と遠隔共有処理対象の通信端末5f3は、映像(音)を再生するプロジェクタである場合を想定している。
(端末管理装置の機能構成)
続いて、図11を用いて、端末管理装置7の機能構成について説明する。図11は、端末管理装置7の各機能を示す機能ブロック図である。
端末管理装置7は、図7と同様のハードウェア構成及びプログラムによって、図11に示す各機能構成を実現する。具体的に、端末管理装置7は、送受信部71a、送受信部71b、及び認証部75を有している。更に、端末管理装置7は、図7に示したHDD204によって構築される記憶部7000を有している。この記憶部7000には、配信先選択メニューデータ、端末管理テーブル7010、及び利用可能端末管理テーブル7020が記憶される。
配信先選択メニューは、図12に示すような配信先選択メニュー画面を示すデータである。図12は、配信先選択メニュー画面の概念図である。この図12に示す配信先選択メニュー画面では、映像(音)データの配信先として選択できる通信端末5について、後述の共有ID及び表示名が一覧表示される。ユーザは、この配信先選択メニュー画面上で、映像(音)データの配信先として希望する通信端末5の項目にチェックを入れ、「OK」ボタンを押下することで、希望する通信端末5に映像(音)データを配信させることができる。
図13は、端末管理テーブル7010の概念図である。端末管理テーブル7010では、図13に示すように、登録されている通信端末5の端末ID、ユーザ証明書、ユーザが配信システム1のサービスを利用する際の契約情報、通信端末5の端末種別、各通信端末5のホームURL(Uniform Resource Locator)を示す設定情報、各通信端末5の実行環境情報、共有ID、配置位置、リンク先URL、及び表示名情報が関連付けて管理されている。なお、配置位置を示す情報を、以下、配置位置情報と称する場合がある。
ユーザ証明書は、配信システム1への接続を許可された通信端末5であることを証明する証明書である。ユーザ証明書は、配信システム1への接続を許可された通信端末5に予め与えられている。契約情報は、端末IDによって特定される通信端末5を使用するユーザが配信システム1のサービスを利用する際の契約内容を示す。端末種別は、通信端末5の種別を示す。端末ID、設定情報(ホームURL)、及びリンク先URLは、上述した描画テーブル23C(図9参照)と同様である。
実行環境情報には、各通信端末5の「お気に入り」、「前回のCookie情報」、及び「キャッシュファイル」が含まれており、各通信端末5のログイン後に、設定情報と共に配信管理装置2に送信され、各通信端末5に対して個別のサービスを行うために利用される。
また、共有IDは、各ユーザが、自己の通信端末5に配信されている映像(音)データと同じ内容の映像(音)データを他の通信端末5にも配信させることで、遠隔共有処理を行う場合に利用されるIDであり、他の通信端末又は他の通信端末群を識別する識別情報である。図13に示す例では、端末ID「t006」の共有IDは「v006」であり、端末ID「t007」の共有IDは「v006」である。この場合、端末ID「t001」の通信端末5aから、共有ID「v006」の通信端末5f1,5f3との遠隔共有処理の要求があった場合には、配信管理装置2は、通信端末5f1,5f3に対して、通信端末5aに配信中の映像(音)データと同じ映像(音)データを配信する。但し、通信端末5と通信端末5f1,5f2の表示部58の解像度が異なる場合には、これに応じて、配信管理装置2が映像(音)データを配信する。
配置位置は、例えば、図5に示したように、複数の通信端末5f1,5f2,5f3が並んで設置される場合の位置を示している。表示名は、図12に示した配信先選択メニュー画面の表示名の内容を表す情報である。
図14は、利用可能端末管理テーブル7020の概念図である。利用可能端末管理テーブル7020では、端末ID毎に、この端末IDによって示される通信端末5が遠隔共有処理することが可能な他の通信端末又は他の通信端末群を示す共有IDが関連付けて管理されている。
図11に戻り、また、記憶部7000は、配信システム1のサービスに必要なユーザ情報や、デバイス情報などの永続的なデータを記憶する。また、記憶部7000は、通信端末5の状態(切断状態/待機状態/使用中)を表す配信情報や、配信管理装置2の負荷の状態を表す負荷情報など、配信システム1の管理に用いられる各種情報を記憶する。
なお、記憶部7000は、外部記憶装置に格納し、端末管理装置7と別体として構成してもよい。この場合、記憶部7000は、端末管理装置7と例えばTCP/IP(Transmission Control Protocol/Internet Protocol)により接続すればよい。
送受信部71aは、通信端末5との間で、各種データや要求等の送受信を行う。例えば、送受信部71aは、通信端末5の送受信部51からログイン要求を受信したり、送受信部51に対してログイン要求の認証結果を送信したりする。ログイン要求は、配信管理システム1に対する通信端末5の認証要求である。ログイン要求は、通信端末5を一意に識別する端末IDと、ユーザ証明書を含む。
送受信部71bは、配信管理装置2との間で、各種データや要求等の送受信を行う。例えば、送受信部71bは、配信管理装置2の送受信部21から配信先選択メニューのデータの要求を受信したり、送受信部21に対して、配信先選択メニューのデータを送信したりする。
認証部75は、通信端末5から受信したログイン要求に含まれる端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5aの認証を行う。
〔実施形態の動作または処理〕
続いて、図17乃至図25を用いて、本実施形態の動作または処理について説明する。
<基本的な配信処理>
まず、図17を用いて、配信管理装置2の基本的な配信方法における具体的な配信処理を説明する。図17は、配信管理装置2の基本的な配信処理を示すシーケンス図である。なお、ここでは、通信端末5aを用いてログイン要求する場合について説明するが、通信端末5a以外の通信端末5を用いてログインしてもよい。
図17に示すように、通信端末5aにおいてユーザが電源オンにすると、通信端末5aの送受信部51は、端末管理装置7の送受信部71aを介して認証部75に、ログイン要求を行う(ステップS21)。このログイン要求には、通信端末5aの端末ID及びユーザ証明書が含まれている。
次に、端末管理装置7の認証部75は、通信端末5aから受信した端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5aの認証を行う(ステップS22)。ここでは、端末管理テーブル7010に同じ組み合わせの端末ID及びユーザ証明書がある、即ち、通信端末5aが配信システム1における正当な端末であると認証された場合について、以下に続けて説明する。
次に、端末管理装置7の認証部75は、送受信部71aを介して、通信端末5aの送受信部51に、配信管理装置2のIPアドレスを送信する(ステップS23)。なお、配信管理装置2のIPアドレスは、予め、端末管理装置7によって取得されて、記憶部7000に記憶されている。
次に、端末管理装置7の送受信部71bは、配信管理装置2の送受信部21を介して、ブラウザ管理部22に、ブラウザ20の起動要求を行う(ステップS24)。この起動要求に応じて、配信管理装置2のブラウザ管理部22は、ブラウザ20を起動させる(ステップS25)。次に、エンコーダブリッジ部30の作成・選択部310が、通信端末5aの再生能力(ディスプレイの解像度等)及びコンテンツの種類に従って変換部10を作成する(ステップS26)。
次に、ブラウザ20が、ウェブサーバ8に対して、コンテンツデータ〔A〕を要求する(ステップS27)。これに応じて、ウェブサーバ8は、要求されたコンテンツデータ〔A〕を自己の記憶部(不図示)から読み出す(ステップS28)。そして、ウェブサーバ8は、配信管理装置2の送受信部21を介して、要求元であるブラウザ20にコンテンツデータ〔A〕を送信する(ステップS29)。
次に、ブラウザ20が、コンテンツデータ〔A〕をレンダリングして画像(音)データ〔A〕を生成し、送信用FIFO24に出力する(ステップS30)。そして、変換部10が、送信用FIFO24に格納された画像(音)データ〔A〕をエンコードすることで、通信端末5aに配信すべき映像(音)データ〔A〕に変換する(ステップS31)。
次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、再生制御部53に映像(音)データ〔A〕を送信する(ステップS32)。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像(音)データ〔A〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS33)。
<時刻調整の処理>
続いて、図18を用いて、時刻調整の処理について説明する。図18は、配信管理装置2と通信端末5との間で行われる時刻調整の処理を示すシーケンス図である。
まず、通信端末5の時刻制御部56は、送受信部51が配信管理装置2に時刻情報(T)を要求する時刻を取得するために、記憶部5000から通信端末5における時刻情報(t)を取得する(ステップS81)。そして、送受信部51は送受信部31に、配信管理装置2における時刻情報(T)を要求する(ステップS82)。この場合、時刻情報(T)の要求と共に、上記時刻情報(t)が送信される。
次に、時刻取得部26は、送受信部31が上記ステップS82の要求を受信した時刻を取得するために、時刻管理部25から配信管理装置2における時刻情報(T)を取得する(ステップS83)。更に、時刻取得部26は、送受信部31が上記ステップS82の要求に応答する時刻を取得するために、時刻管理部25から配信管理装置2における時刻情報(T)を取得する(ステップS84)。そして、送受信部31は送受信部51に、時刻情報(t,T,T)を送信する(ステップS85)。
次に、通信端末5の時刻制御部56は、送受信部51が上記ステップS85の応答を受信した時刻を取得するために、記憶部5000から通信端末5における時刻情報(t)を取得する(ステップS86)。そして、通信端末5の時刻制御部56は、配信管理装置2と通信端末5との間の時刻差Δを計算する(ステップS87)。この時刻差Δは、以下の式1によって表される。
Δ=((T+T)/2)−((t+t)/2)・・・(式1)
そして、時刻制御部56は、記憶部5000に時刻差Δを示す時刻差情報(Δ)を記憶する(ステップS88)。この時刻調整の一連の処理は、例えば、毎分定期的に行われる。
<下り用の回線適応制御の処理>
続いて、図19を用いて、配信管理装置2から通信端末5に送信する(下り)データの回線適応制御の処理を説明する。図19は、配信管理装置2から通信端末5に送信するデータの回線適応制御の処理を示すシーケンス図である。
まず、配信管理装置2のエンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5の再生制御部53に、再生までにバッファリングして再生を遅延させるための再生遅延時間を示す再生遅延時間情報(U)を送信する(ステップS101)。また、エンコーダブリッジ部30は、送信用FIFO24から取得してエンコード等を行った映像(音)データ〔A〕に対して、時刻管理部25から取得した現時点の時刻T0をタイムスタンプとして付加し、送受信部31及び送受信部51を介して、通信端末5の再生制御部53に送信する(ステップS102)。
一方、通信端末5では、再生制御部53が、通信端末5における時刻(T+U−Δ)になるまで待ってから、映像(音)データをデコード部50に出力することで、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる(ステップS103)。即ち、以下の式2に示される再生遅延時間Uの範囲内に通信端末5が受信した映像(音)データだけが再生されることになり、範囲外の映像(音)データは再生されずに消去される。
U≧(t+Δ)−T・・・(式2)
また、再生制御部53は、記憶部5000から、通信端末5における現時点の時刻tを読み出す(ステップS104)。この時刻tは、通信端末5が配信管理装置2から映像(音)データを受信した時点の通信端末5における時刻を示す。更に、再生制御部53は、記憶部5000から、上記ステップS86によって記憶されている時刻差Δを示す時刻差情報(Δ)を読み出す(ステップS105)。そして、再生制御部53は、上記の時刻T0と時刻t0と時刻差Δとを用いて、映像(音)データが配信管理装置2から送信されて通信端末5で受信されるまでの時間を示す送信遅延時間D1を計算する(ステップS106)。この計算は、以下の式3によって行われ、通信ネットワーク9が混雑している場合には、送信遅延時間D1が長くなる。
D1=(t+Δ)−T・・・(式3)
次に、遅延情報取得部57が、再生制御部53から送信遅延時間D1を示す送信遅延時間情報(D1)を取得して一定時間保持しておき、複数の送信遅延時間情報(D1)を取得したところで、送受信部51及び送受信部31を介して、配信管理装置2の回線適応制御部27に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を送信する(ステップS107)。
次に、配信管理装置2の回線適応制御部27は、送信遅延時間情報(D)に基づいて、新たに再生遅延情報U’を計算したり、変換部10のフレームレートやデータの解像度等の動作条件を計算したりする(ステップS108)。
次に、配信管理装置2のエンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信装置5の再生制御部53に、上記ステップS108によって計算された新たな再生遅延時間U’を示す再生遅延時間情報(U’)を送信する(ステップS109)。
更に、エンコーダブリッジ部30内の変換部10が、回線適応制御信号に基づいて、動作条件を変更する(ステップS110)。例えば、送信遅延時間D1が長すぎる場合、送信遅延時間D1に応じて再生遅延時間Uを長くすると、スピーカ61や表示部58での再生時間が遅くなり過ぎるため、再生遅延時間Uを長くすることには限界がある。そこで、回線適応制御部27は、エンコーダブリッジ部30に対して、再生遅延時間Uを変更させて再生遅延時間U’とするだけでなく、変換部10に対して、映像(音)データのフレームレートを下げさせたり、映像(音)データの解像度を下げさせたりすることで、通信ネットワーク9の混雑に対応することができる。これにより、エンコーダブリッジ部30は、変更後の動作条件に従って、上記ステップS102のように、現時点の時刻T0をタイムスタンプとして付加した映像(音)データを通信端末5の再生制御部53に送信する(ステップS111)。
次に、通信端末5では、再生制御部53が、通信端末5における時刻(T+U’−Δ)になるまで待ってから、再生遅延時間U’内に受信した映像(音)データをデコード部50に出力することで、上記ステップS103のように、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる(ステップS112)。その後、上記ステップS104以降の処理が続けて行われる。このようにして、下り用の回線適応制御の処理が継続して行われる。
<上り用の回線適応制御の処理>
続いて、図20を用いて、通信端末5から配信管理装置2に送信する(上り)データの回線適応制御の処理を説明する。図20は、通信端末5から配信管理装置2に送信するデータの回線適応制御の処理を示すシーケンス図である。
まず、通信端末5のエンコード部60は、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、記憶部5000から取得した時刻差Δを示す時刻差情報(Δ)とを、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する(ステップS121)。
次に、配信管理装置2では、デコード部40が上記ステップS121によって映像(音)データ〔E〕等を受信した時点の時刻Tを時刻管理部25から読み出す(ステップS122)。そして、デコード部40は、映像(音)データが通信端末5から送信されて配信管理装置2で受信されるまでの時間を示す送信遅延時間d1を計算する(ステップS123)。この計算は、以下の式4によって行われ、通信ネットワーク9が混雑している場合には、送信遅延時間D1が長くなる。
d1=T−(t+Δ)・・・(式4)
次に、配信管理装置2の遅延情報取得部37aは、通信端末5の遅延情報取得部57と同様に、デコード部40から送信遅延時間d1を示す送信遅延時間情報(d1)を取得して一定時間保持しておき、複数の送信遅延時間情報(d1)を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する(ステップS124)。
次に、回線適応制御部37bが、送信遅延時間情報(d)に基づいて、通信端末5のエンコード部60の動作条件を計算する(ステップS125)。そして、回線適応制御部37bは、送受信部31及び送受信部51を介して、通信端末5のエンコード部60に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する(ステップS126)。即ち、下りの場合の回線適応制御部27は、同じ配信管理装置2内でエンコーダブリッジ部30に回線適応制御信号を出力するのに対して、上りの場合の回線適応制御部37bは、配信管理装置2から通信ネットワーク9を介して、通信端末5に回線適応制御信号を送信する。
次に、通信端末5のエンコード部60が、受信した回線適応制御信号に基づいて、動作条件を変更する(ステップS127)。そして、エンコード部60は、新たな動作条件によって、上記ステップS121のように、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、同じく記憶部5000から取得した時刻差Δを示す時刻差情報(Δ)を、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する(ステップS128)。その後、上記ステップS122以降の処理が続けて行われる。このようにして、上り用の回線適応制御の処理が継続して行われる。
<マルチディスプレイの処理>
続いて、図21乃至図23を用いて、マルチディスプレイの処理について説明する。図21乃至図23は、図5に示したマルチディスプレイの処理を示したシーケンス図である。ここでは、通信端末5aで再生されている映像(音)〔XYZ〕を、各通信端末(5f1,5f2,5f3)にも分割して再生させる例である。
また、ここでは、ウェブコンテンツを表示させるためのブラウザ20を「ブラウザ20a」と表記し、ユーザへの設定画面を表示させるためのブラウザ20を「ブラウザ20b」と表記する。更に、ここでは、図17のステップS30に相当する処理から説明する。
まず、図21に示すように、配信管理装置2のブラウザ20aは、ウェブサーバ8から取得したウェブコンテンツデータ〔XYZ〕をレンダリングして画像(音)データを生成し、送信用FIFO24に出力する(ステップS201)。そして、エンコーダブリッジ部30の変換部10が、送信用FIFO24に格納された画像(音)データをエンコードすることで、通信端末5aに配信すべき映像(音)データ〔XYZ〕に変換する(ステップS202)。
次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5aの再生制御部53に、映像(音)データ〔XYZ〕を送信する(ステップS203)。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像(音)データ〔XYZ〕が出力され、レンダリング部55を介して、表示部58にて映像(音)が再生される(ステップS204)。
次に、通信端末5aのユーザによって、表示部58上に表示されている画面が不図示のメニュー要求画面に切り替えられ、操作部52が、メニュー要求画面中の不図示の「配信先選択メニュー」ボタンの押下を受け付ける(ステップS205)。これにより、送受信部51が、端末管理システム7の送受信部71aに、配信先選択メニューへの切り替えを要求する(ステップS206)。この際、通信端末5aの端末IDも送信される。これに対して、送受信部71bは、送受信部21を介して配信管理装置2のブラウザ管理部22に対し、ブラウザ20bの起動要求を行う(ステップS207)。
次に、エンコーダブリッジ部30の作成・選択部310が、ブラウザ20bを起動し(ステップS208)、ブラウザ20aから変換部10(例えば、変換部10a)への出力を、ブラウザ20bから変換部10(例えば、変換部10b)への出力に切り替える(ステップS209)。但し、通信端末5aが他の通信端末5(例えば、通信端末5b)と変換部10(例えば、変換部10a)を共有して上記ステップS203による映像(音)データを受信していた場合には、他の通信端末5(例えば、通信端末5b)はブラウザ20a用に変換部10(例えば、変換部10a)を利用中であるため、エンコーダブリッジ部30の作成・選択部310は、新たに変換部10(例えば、変換部10b)を作成する。
そして、ブラウザ20bは、送受信部21及び送受信部71bを介して、端末管理装置7の記憶部7000に、配信先選択メニューを要求する(ステップS210)。これに対して、端末管理装置7の記憶部7000では、通信端末5aから受信した端末IDに基づいて、記憶部7000に記憶されている利用可能端末管理テーブル7020を検索することにより、対応する共有IDを抽出する(ステップS211)。この共有IDは、通信端末5aが遠隔共有処理をするために利用可能な通信端末5を示している。例えば、通信端末5aの端末IDが「t001」である場合、図14に示した利用可能端末管理テーブル7020を検索することで、共有ID「v003」,「v006」が抽出される。
更に、記憶部7000は、抽出した共有IDに基づいて端末管理テーブル7010を検索することにより、対応する表示名を示す表示名情報を抽出する(ステップS212)。ここでは、図13に示されているように、抽出された共有ID「v003」、「v006」に対応する表示名は、それぞれ「東京本社10F MFP」、「大阪展示場1F マルチプロジェクタ」である。
そして、記憶部7000は、送受信部71b及び送受信部21を介して、配信管理装置2のブラウザ20bにコンテンツデータとして配信先選択メニューのデータを送信する(ステップS213)。この配信先選択メニューは、図12に示したように、チェックボックス、共有ID、及び表示名が含まれている。
次に、図22に示すように、配信管理装置2のブラウザ20bが、端末管理装置7から取得した配信先選択メニュー〔M〕を示すコンテンツデータをレンダリングして画像(音)データを生成し、送信用FIFO24に出力する(ステップS221)。そして、エンコーダブリッジ部30の変換部10が、送信用FIFO24に格納された画像(音)データ〔M〕をエンコードすることで、通信端末5aに配信すべき映像(音)データ〔M〕に変換する(ステップS222)。
次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5aの再生制御部53に映像(音)データ〔M〕を送信する(ステップS223)。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像(音)データ〔M〕が出力され、レンダリング部55を介して、表示部58にて、図12に示したような配信先選択メニュー画面の映像(音)が再生される(ステップS224)。
次に、ユーザによってマルチディスプレイに使用する通信端末5を指定する操作、例えば、図12に示した配信先選択メニュー画面の共有ID「v006」のチェックボックスにチェックが入れられ、「OK」ボタンが押下されると(ステップS225)、操作部52が、送受信部51及び送受信部31を介して、配信管理装置2のブラウザ管理部22に、操作情報としてチェック結果を送信する(ステップS226)。
次に、配信管理装置2のブラウザ20bが、チェック結果から共有IDを選択する(ステップS227)。そして、ブラウザ20bは、送受信部21及び送受信部71bを介して、端末管理装置7の記憶部7000に配信先追加要求を行う(ステップS228)。この配信先追加要求には、上記ステップS227によって選択された共有IDが含まれている。これにより、ブラウザ20bは、役目を終えて終了する(ステップS229)。その後、エンコーダブリッジ部30の作成・選択部310は、ブラウザ20bから変換部10への出力を、ブラウザ20aから変換部10への出力に戻すよう切り替える(ステップS230)。
次に、図23に示すように、端末管理装置7の記憶部7000では、上記ステップS228によって送られて来た共有IDに基づいて、端末管理テーブル7010を検索することにより、対応する端末ID及び配置位置情報を抽出する(ステップS241)。そして、記憶部7000は、送受信部71b及び送受信部21を介して、配信管理装置2のブラウザ管理部22に、配信先の追加指示を行う(ステップS242)。この配信先の追加指示には、上記ステップS241によって抽出された端末ID及び配置位置情報が含まれている。ここでは、端末ID及び配置位置情報が「t006」、「左」と、端末ID及び配置位置情報が「t007」、「中」と、端末ID及び配置位置情報が「t008」、「右」との3組の端末ID及び配置位置情報が含まれているものとする。また、端末ID「t006」、「t007」、「t008」の各々によって識別される通信端末5が、通信端末5f1、通信端末5F2、通信端末5f3であったとする。
次に、エンコーダブリッジ部30の作成・選択部310が、マルチディスプレイ用の変換部10を作成する(ステップS243)。なお、この場合、エンコーダブリッジ部30の作成・選択部310は、ブラウザ管理部22から、端末ID及び配置位置情報を取得する。そして、上記ステップS243によって作成された変換部10の分割部13が、送信用FIFO24に格納されている映像(音)データ〔XYZ〕を分割し、エンコード部19が、分割された各データをエンコードする(ステップS244)。
そして、エンコーダブリッジ部30は、端末ID(「t006」)及び配置位置情報(「左」)に基づいて、送受信部31及び通信端末5f1の送受信部51を介して、通信端末5f1の再生制御部53に映像(音)データ〔X〕を送信する(ステップS245−1)。これにより、通信端末5f1では、再生制御部53からデコード部50に、映像(音)データ〔X〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS246−1)。
また、同様にして、エンコーダブリッジ部30は、端末ID(「t007」)及び配置位置情報(「中」)に基づいて、送受信部31及び通信端末5f2の送受信部51を介して、通信端末5f2の再生制御部53に映像(音)データ〔Y〕を送信する(ステップS245−2)。これにより、通信端末5f2は、再生制御部53からデコード部50に、映像(音)データ〔Y〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS246−2)。
更に、同様にして、エンコーダブリッジ部30は、端末ID(「t008」)及び配置位置情報(「右」)に基づいて、送受信部31及び通信端末5f3の送受信部51を介して、通信端末5f3の再生制御部53に映像(音)データ〔Z〕を送信する(ステップS245−3)。これにより、通信端末5f3は、再生制御部53からデコード部50に、映像(音)データ〔Z〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS246−3)。
<複数の通信端末を使った通信の処理>
続いて、図24を用いて、配信管理装置2を利用した遠隔共有処理を説明する。図24は、配信管理装置2を利用した遠隔共有処理を示すシーケンス図である。ここでは、複数の通信端末5として通信端末5f1,5f3を想定し、図8に示したパターンについて具体的な処理を説明する。
また、図8、及び図24では、通信端末5f1(第1の通信端末)が、ユーザによって描かれた操作軌跡を受け付け、操作軌跡を電子的に変換することが可能な電子黒板である場合を想定している。また、通信端末5f1と遠隔共有処理対象の他の通信端末5が、通信端末5f3(第2の通信端末)であり、該通信端末5f3が、映像(音)を再生するプロジェクタである場合を想定している。
なお、ここでも、図17のステップS21〜ステップS29と同様のログイン処理及びブラウザ起動等の処理が行われるが、図17のステップS21〜ステップS28に対応する処理の説明は省略し、ステップS29に対応するステップS41の処理から説明する。
図24に示すように、配信管理装置2のブラウザ20bは、ウェブサーバ8bから送受信部21を介してコンテンツデータ〔B〕を受信する(ステップS41)。そして、ブラウザ20bは、コンテンツデータ〔B〕をレンダリングすることにより、映像(音)データを生成して、送信用FIFO24bに出力する(ステップS42)。
次に、エンコーダブリッジ部30の変換部10が、送信用FIFO24bに格納された映像(音)データ〔B〕のデータ形式を、通信端末5f3に配信可能なデータ形式に変換する(ステップS43)。そして、配信管理装置2は、変換した映像(音)データ〔B〕を通信端末5f3へ送信する(ステップS44)。
変換された映像(音)データ(〔B〕)は、通信端末5f3のデコード部50でデコードされてスピーカ61に音が出力されると共に、レンダリング部55でレンダリングされて表示部58に映像が出力される(ステップS45)。
一方、配信管理装置2のブラウザ20aは、ウェブサーバ8aから送受信部21を介してコンテンツデータ〔A〕を受信する(ステップS46)。そして、ブラウザ20aは、コンテンツデータ〔A〕をレンダリングすることにより映像(音)データを生成し、送信用FIFO24aに出力する(ステップS47)。
また、通信端末5f1のエンコード部60が、カメラ62及びマイク63からコンテンツデータ〔E〕の入力を受け付けたとする。この場合、通信端末5f1のエンコード部60は、該コンテンツデータ〔E〕をエンコードした後、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する(ステップS48)。
配信管理装置2で受信されたコンテンツデータ〔E〕は、デコード部40でデコードされた後、受信用FIFO34を介して、ブラウザ20aに出力される。ブラウザ20aは、コンテンツデータ〔E〕をレンダリングすることにより、画像(音)データ〔E〕を生成し、送信用FIFO24aに出力する(ステップS49)。この場合、ブラウザ20aは、既に取得しているコンテンツデータ〔A〕に対して、コンテンツデータ〔E〕を結合して出力する。
更に、通信端末5f1の操作部52が、電子ペンP1等によるユーザによる操作を受け付ける(ステップS50)。操作部52は、送受信部51及び送受信部31を介して、ブラウザ管理部22に操作情報〔p〕を送信する(ステップS51)。これにより、操作情報〔p〕は、配信管理装置2のブラウザ管理部22を介してブラウザ20aに入力される。ブラウザ20aでは、取得部201が、操作情報〔p〕を取得する。
次に、ブラウザ20aが描画処理を実行する(ステップS53)。
図25は、描画処理を示すフローチャートである。ブラウザ20aは、描画処理を実行するか否かを判断する(ステップS60)。ブラウザ20aは、ステップS51(図24参照)で取得した操作情報〔p〕に含まれる指示情報によって示される処理内容が、描画処理指示であるか否かを判別することで、ステップS60の判断を行う。
描画処理を実行する場合には(ステップS60:Yes)、ブラウザ20aは、モード判定を行う(ステップS61)。ブラウザ20aは、ステップS51(図24参照)で取得した操作情報〔p〕に含まれる指示情報によって示されるモードが、描画モードであるか否かを判別することで、ステップS61の判定を行う。
描画モードである場合には(ステップS61:Yes)、ブラウザ20aは、ステップS51(図24参照)で取得した操作情報〔p〕に含まれる軌跡情報を読み込む(ステップS62)。ステップS62の処理によって、ブラウザ20aは、操作軌跡の線種や、軌跡の太さ、軌跡の色等の軌跡属性情報と、軌跡を示す位置座標の群と、を読み込む。なお、軌跡を示す位置座標の群は、操作軌跡が「点」を示す場合には、1つの位置座標である場合もある。
次に、ブラウザ20aは、軌跡画像を生成する(ステップS63)。詳細には、ブラウザ20aは、操作情報〔p〕に含まれる軌跡情報に示される、軌跡を示す位置座標の群と、軌跡属性情報と、をレンダリングすることにより、操作軌跡を示す画像の描画指示を示すコマンドである軌跡画像pを生成する。また、ブラウザ20aは、操作情報〔p〕に含まれる、軌跡を示す位置座標の群から、操作軌跡の描画開始位置の座標を、ページ上の座標として作成する。これによって、ブラウザ20aは、軌跡画像p及びページ上の座標を含む軌跡情報(図9参照)を生成する。
次に、ブラウザ20aは、生成した軌跡情報を、描画テーブル23Cに記憶する(ステップS64)。また、このとき、ブラウザ20aは、ステップS51(図24参照)で受信した操作情報〔p〕に含まれる端末IDと、該端末IDによって特定される通信端末5f1のホームURL(設定情報)と、を該軌跡情報に対応づけて描画テーブル23Cに記憶する。
次に、ブラウザ20aは、上記生成した軌跡画像pを、描画レイヤーに追加する(ステップS65)。
ここで、本実施形態では、ブラウザ20で生成する映像データには、レイヤー構造を採用している。本実施形態では、背景画像レイヤー、出力画像レイヤー、描画レイヤー、及びボタンレイヤーを順に積層したレイヤー構造を想定している。なお、積層順は、この順に限られない。背景画像レイヤーは、グリッド線等の背景画像を配置するレイヤーである。出力画像レイヤーは、ウェブサーバ8等から取得したコンテンツデータからブラウザ20で生成した映像データを配置するレイヤーである。描画レイヤーは、軌跡画像を配置するレイヤーである。ボタンレイヤーは、ユーザが各種指示入力を行うためのボタン画像を配置するレイヤーである。
次に、ブラウザ20aは、差分描画を生成する(ステップS66)。ステップS65の処理において、ブラウザ20aは、既に描画レイヤーに軌跡画像が描かれている場合には、上記生成した軌跡画像pを該描画レイヤーに追加する。次に、ブラウザ20aは、ステップS66で生成した差分描画を記憶部23に記憶する(ステップS67)。
次に、ブラウザ20aは、ステップS51(図24参照)で通信端末5f1から取得した操作情報〔p〕に含まれる描画タイミングに、遠隔共有処理対象の他の通信端末5(本実施形態では通信端末5f3)で再生されている映像(音)データを特定するための特定情報を呼び出す(ステップS68)。このステップS68は、図25のステップS52に相当する。
ブラウザ20aは、ブラウザ20bへ該特定情報の取得要求を送信する。取得要求には、該描画タイミングが含まれる。ブラウザ20bは、該取得要求を受信すると、該取得要求に含まれる描画タイミングに、通信端末5f3に配信中であった映像(音)データに対応するコンテンツデータを送信用FIFO24bから特定する。そして、ブラウザ20bは、特定したコンテンツデータを特定するための特定情報を、ブラウザ20aへ送信する(図24のステップS52参照)。
この特定情報は、上述したように、該コンテンツデータを配信するブラウザ20のURLを示リンク先URLと、リンク先URL端末IDを含む。
ブラウザ20aは、ブラウザ20bから特定情報を受信することにより、特定情報を取得する(ステップS69)。次に、ブラウザ20aは、取得した特定情報と、ステップS63で生成した軌跡情報と、を対応づけて描画テーブル23Cに記憶する(ステップS70)。
ステップS70の処理によって、描画テーブル23Cには、例えば、図9に示すように、端末ID(「t006」)と、設定情報(「www.ricoh.co.jp」)と、軌跡情報(ページ上の座標「x1、y2」、「波線で且つ青字で太字の軌跡画像」)と、特定情報(リンク先URL「http:www.skydrive.com」、リンク先URL端末ID「t007」)と、が対応づけて記憶される。
なお、本実施形態では、描画テーブル23Cに格納する軌跡情報は、ページ上の座標と軌跡画像である場合を説明したが、通信端末5(ここでは通信端末5f1)から受信した操作情報〔p〕に含まれる軌跡情報(軌跡を示す位置座標の群、及び軌跡属性情報)を全て格納してもよい。
図25に戻り、次に、ブラウザ20aは、背景画像レイヤーと、既に取得しているコンテンツデータ(〔A〕,〔E〕)を追加した出力画像レイヤーと、軌跡画像pを追加した描画レイヤーと、別途用意したボタンレイヤーと、を積層することでこれらの映像(音)データや軌跡画像pを合成する(ステップS71)。そして、本ルーチンを終了する。
一方、上記ステップS61において、ステップS51(図24参照)で取得した操作情報〔p〕に含まれる指示情報によって示されるモードが、消去モードである場合には否定判断する(ステップS61:No)。そして、ブラウザ20aは、該操作情報〔p〕に含まれる、消去対象の操作軌跡の画面上の位置情報に合致する軌跡画像を描画テーブル23Cから選択する(ステップS72)。
次に、ブラウザ20aは、選択された軌跡画像を、描画レイヤーから消去する(ステップS73)。また、ブラウザ20aは、描画テーブル23Cにおける、選択された軌跡画像を含む行を、該描画テーブル23Cから削除する(ステップS74)。すなわち、選択された軌跡画像と、該軌跡画像に対応する端末ID、設定情報、ページ上の座標、及び特定情報を、描画テーブル23Cから削除する。そして、上記ステップS71へ進む。
一方、上記ステップS60において、ブラウザ20aが描画処理を実行しないと判断すると(ステップS60:No)、ステップS75へ進む。ブラウザ20aは、ステップS51(図24参照)で取得した操作情報〔p〕に含まれる指示情報によって示される処理内容が、メニュー処理指示を含むと判別した場合に、ステップS60で否定判断する。
次に、ブラウザ20aは、該操作情報〔p〕に含まれるメニュー処理によって指示された処理を実行する(ステップS75)。メニュー処理指示は、例えば、表示内容の変更、表示色の変更、軌跡属性情報(表示色、線種、太さ等)の変更、拡大、縮小、キャプチャ等の指示である。
次に、ブラウザ20aは、ステップS75で行ったメニュー処理によって変更された設定を反映させる(ステップS76)。次に、ブラウザ20aは、ステップS75のメニュー処理によって変更した後の設定を、記憶部23に記憶する(ステップS77)。そして、上記ステップS71へ進む。ステップS75〜ステップS77の処理によって、例えば、メニュー処理として、軌跡画像の表示色の変更指示を受け付けた場合、ブラウザ20aは、記憶部23に格納されている軌跡属性情報23Bを、該変更指示に応じた内容に変更する。
ブラウザ20aで取得した操作情報〔p〕に含まれる軌跡属性情報が、「前回と同じ」を示すとする。この場合、ブラウザ20aは、上記ステップS63の処理において、記憶部23に記憶されている軌跡属性情報23Bと、操作情報〔p〕に含まれる軌跡を示す位置座標の群と、から軌跡画像を生成する。
図24に戻り、ブラウザ20aは、ステップS71(図25参照)で合成した、コンテンツデータ〔A〕と、コンテンツデータ〔E〕と、操作画像pと、をレンダリングし、映像(音)データ(〔A〕,〔E〕,〔p〕)を送信用FIFO24aに出力する(ステップS54)。
次に、変換部10が、送信用FIFO24aに格納された、この映像(音)データ(〔A〕,〔E〕,〔p〕)をエンコードすることで、通信端末5f1に配信すべき映像(音)データ(〔A〕,〔E〕,〔p〕)に変換する(ステップS55)。そして、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5f1の再生制御部53に映像(音)データ(〔A〕,〔E〕,〔p〕)を送信する(ステップS56)。その後、映像(音)データ(〔A〕,〔E〕,〔p〕)は、通信端末5f1のデコード部50でデコードされてスピーカ61に音が出力されると共に、レンダリング部55でレンダリングされて表示部58に映像が出力される(ステップS57)。
図24及び図25を用いて説明したステップS46〜ステップS57の処理が実行されることによって、通信端末5f1には、コンテンツデータ〔A〕,〔E〕に応じた映像(音)データに、操作軌跡の軌跡画像pが合成された映像(音)データ(〔A〕,〔E〕,〔p〕)が再生される。また、通信端末5f1で描かれた操作軌跡を示す軌跡情報に対応する特定情報が、順次、配信管理装置2の描画テーブル23Cに格納されていく。この特定情報は、上述したように、操作軌跡の描画タイミングに、他の通信端末5f3で再生されている映像(音)データに対応するコンテンツデータを特定する情報である。
このため、本実施形態の配信管理装置2では、1の通信端末で描かれた操作軌跡と、他の通信端末で再生中の映像に関する情報と、を動的に対応づけることができる。
次に、通信端末5から特定情報を取得するときの処理の流れを説明する。
通信端末5f1は、特定情報の取得要求を配信管理装置2へ送信する。配信管理装置2では、通信端末5f1から取得要求を受け付けると、ブラウザ20aが、取得要求に含まれる通信端末5f1の端末IDに対応する軌跡情報と特定情報を描画テーブル23Cから読取る。そして、ブラウザ20aは、ステップS65(図25参照)と同様にして、読取った軌跡情報に含まれる軌跡画像〔p〕を描画レイヤーに追加する。次に、ブラウザ20aは、特定情報によって特定されるコンテンツデータ(例えば、コンテンツデータ〔B〕)と、軌跡画像と、を合成してレンダリングすることにより映像(音)データ(〔B〕,〔p〕)を生成し、ステップS71と同様にして送信用FIFO24aに出力する。
そして、ブラウザ20aは、送信用FIFO24aに格納された、映像(音)データ(〔B〕,〔p〕)をエンコードすることで、通信端末5f1に配信すべき映像(音)データ(〔B〕,〔p〕)に変換する。そして、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5f1の再生制御部53に映像(音)データ(〔B〕,〔p〕)を送信する。その後、映像(音)データ(〔B〕,〔p〕)は、通信端末5f1のデコード部50でデコードされてスピーカ61に音が出力されると共に、レンダリング部55でレンダリングされて表示部58に映像が出力される。
このため、操作軌跡の描かれた通信端末5f1には、通信端末5f1を操作するユーザの要望に応じて、描いた操作軌跡の軌跡画像と、該操作軌跡を描いた描画タイミングに他の通信端末5で再生されていた映像(音)データと、が提供される。このため、通信端末5f1を操作するユーザは、容易に、操作軌跡の内容と、操作軌跡を描いたときに他の通信端末5で表示されていた映像(音)と、を確認することができる。
〔実施形態の主な効果〕
以上説明したように、本実施形態の配信管理装置2では、図24及び図25を用いて説明したステップS46〜ステップS57の処理が実行されることによって、以下の処理が行われる。すなわち、通信端末5f1で描画された操作軌跡を示す軌跡情報と、該操作軌跡の描画タイミングに他の通信端末5f3で再生されていた映像(音)データに対応するコンテンツデータを特定する特定情報と、が対応づけて描画テーブル23Cに格納されていく。
従って、本実施形態では、1の通信端末で描かれた操作軌跡と、他の通信端末で再生中の映像に関する情報と、を動的に対応づけることができる。
また、通信端末5f1から特定情報の取得要求を受け付けた場合には、軌跡画像と、該軌跡画像の描画タイミングに通信端末5f3で再生されていた映像(音)データと、を合成した映像(音)データが、通信端末5f1に配信される。
例えば、通信端末5f1として電子黒板を用い、通信端末5f3としてプロジェクタを用いた場合を想定する。ユーザが、通信端末5f3に再生されている映像(音)データを見ながら、電子ペンPによって操作軌跡を描くことで、通信端末5f1に操作情報が入力されたとする。このような場合に、電子黒板としての通信端末5f1で入力された操作軌跡を示す軌跡情報と、該操作軌跡の描画タイミングにプロジェクタとしての通信端末5f3で再生されていた映像(音)データに対応するコンテンツデータの特定情報が、動的に対応づけられる。そして、ユーザの操作指示による特定情報の取得要求に応じて、配信管理装置2から通信端末5へ、操作軌跡の軌跡画像と該操作軌跡の描かれた描画タイミングに他の通信端末5で再生されていた映像(音)データとを配信する。
このため、本実施形態では、上記効果に加えて、操作軌跡の描かれた描画タイミングに他の通信端末5で再生されていた映像(音)データを、ユーザに対して再利用可能に容易に提供することができる。
また、本実施形態の配信システム1では、クラウド上で配信管理装置2がブラウザ20及びエンコード等を行うエンコーダブリッジ部30を有する。これにより、ブラウザ20が所定の記述言語で示されたコンテンツデータから映像データ又は音データを生成し、エンコーダブリッジ部30が通信ネットワーク9を介して配信することができるようにデータ形式を変換してから通信端末5に配信する。よって、通信端末5では、所定の記述言語で示されたコンテンツデータを受信する負荷、及び受信後に映像データ又は音データに変換する負荷が低減される。このため、特に、リッチ化されたコンテンツを利用する場合の、通信端末5の負荷が高いという問題を解消することができる。
特に、ブラウザ20は、リアルタイムコミュニケーションを可能にし、変換部10は、ブラウザ20によって生成された映像(音)データに対してリアルタイムのエンコードを行う。よって、例えば、映像(音)データのオンデマンド配信のように、DVDプレーヤがリアルタイム性のない(つまり、予めエンコードされている)映像(音)データを選択して配信する場合とは異なり、配信管理装置2は、配信する直前に取得したコンテンツをレンダリングすることで映像(音)データを生成してからエンコードするため、リアルタイム性に優れた映像(音)データの配信を行うことができる。
〔補足説明〕
本実施形態の配信管理装置2では、配信管理装置2を利用した遠隔共有処理の対象として、操作軌跡の入力等を行う電子黒板としての通信端末5f1と、プロジェクタ等の他の通信端末5f3と、の2台の通信端末5を想定したが、他の通信端末5f3は、複数であってもよい。
この場合、配信管理装置2では、通信端末5f1における描画タイミングに、これらの複数の通信端末5f3の各々で再生されていた映像(音)データに対応するコンテンツデータの各々を特定するための特定情報と、軌跡情報と、を対応づけて描画テーブル23Cに記憶すればよい。そして、特定情報の閲覧要求を通信端末5f1から受信した場合には、ブラウザ20aは、閲覧要求に含まれる通信端末5f1の端末IDに対応する軌跡情報と、複数の特定情報と、を描画テーブル23Cから読取る。そして、ブラウザ20aは、ステップS65(図25参照)と同様にして、読取った軌跡情報に含まれる軌跡画像〔p〕を描画レイヤーに追加する。次に、ブラウザ20aは、複数の特定情報の各々によって特定される複数のコンテンツデータと、軌跡画像と、を合成し、ステップS71と同様にして送信用FIFO24aに出力すればよい。
そして、ブラウザ20aは、送信用FIFO24aに格納された、各コンテンツデータに対応する複数の映像(音)データと軌跡画像を合成した合成画像をエンコードすることで、通信端末5f1に配信すべき映像(音)データに変換する。そして、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5f1の再生制御部53に映像(音)データを送信する。その後、映像(音)データは、通信端末5f1のデコード部50でデコードされてスピーカ61に音が出力されると共に、レンダリング部55でレンダリングされて表示部58に映像が出力される。
また、本実施形態の配信システム1では、端末管理装置7と配信管理装置2とを互いに別個の装置として構成しているが、例えば、配信管理装置2に端末管理装置7の機能を持たせるなどにより、端末管理装置7と配信管理装置2とを一体の装置として構成するようにしてもよい。
また、上記実施形態における配信管理装置2、及び端末管理装置7は、単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
更に、上記実施形態の各プログラムが記憶されたCD−ROM等の記録媒体、並びに、これらプログラムが記憶されたHDD204は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
1 配信システム
2 配信管理装置
5 通信端末
7 端末管理装置
8、8a、8b ウェブサーバ
9 通信ネットワーク
10 変換部
20、20a、20b ブラウザ
21 送受信部
23 記憶部
31 送受信部
201 取得部
特開2009−65551号公報

Claims (6)

  1. コンテンツデータをレンダリングして映像データを生成する生成部と、
    前記映像データを、第1の通信端末及び第2の通信端末を含む通信端末に配信可能なデータ形式に変換する変換部と、
    変換された前記映像データを前記通信端末に配信する送受信部と、
    前記第1の通信端末から、該第1の通信端末で描かれた操作軌跡を示す軌跡情報及び該操作軌跡の描画タイミングを受信する受信部と、
    前記描画タイミングに前記第2の通信端末で再生されている映像データに対応するコンテンツデータを特定する特定情報を取得する取得部と、
    前記軌跡情報と前記特定情報とを対応づけて記憶する記憶部と、
    を備えた配信管理装置。
  2. 前記第2の通信端末は、複数の前記通信端末を含む、請求項1に記載の配信管理装置。
  3. 前記生成部は、前記通信端末から前記特定情報の取得要求を受け付けたときに、前記特定情報によって特定されるコンテンツデータをレンダリングして映像データを生成する、請求項1または請求項2に記載の配信管理装置。
  4. 前記生成部は、コンテンツデータと前記軌跡情報とを合成してレンダリングすることで映像データを生成し、
    前記変換部は、該映像データを前記第1の通信端末に配信可能なデータ形式に変換し、
    前記送受信部は、変換された該映像データを前記第1の通信端末に配信する、
    請求項1〜請求項3の何れか1項に記載の配信管理装置。
  5. 前記第1の通信端末は、ユーザによって描かれた操作軌跡を受け付け、操作軌跡を電子的に変換することが可能な電子黒板である、請求項1〜請求項4の何れか1項に記載の配信管理装置。
  6. 配信管理装置と、前記配信管理装置にネットワークを介して接続された第1の通信端末及び第2の通信端末を含む通信端末と、を備えた配信管理システムであって、
    前記配信管理装置は、
    コンテンツデータをレンダリングして映像データを生成する生成部と、
    前記映像データを、第1の通信端末及び第2の通信端末を含む通信端末に配信可能なデータ形式に変換する変換部と、
    変換された前記映像データを前記通信端末に配信する送受信部と、
    前記第1の通信端末から、該第1の通信端末で描かれた操作軌跡を示す軌跡情報及び該操作軌跡の描画タイミングを受信する受信部と、
    前記描画タイミングに前記第2の通信端末で再生されている映像データに対応するコンテンツデータを特定する特定情報を取得する取得部と、
    前記軌跡情報と前記特定情報とを対応づけて記憶する記憶部と、
    を備える、配信管理システム。
JP2013190689A 2013-09-13 2013-09-13 配信管理装置、及び配信管理システム Pending JP2015056855A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013190689A JP2015056855A (ja) 2013-09-13 2013-09-13 配信管理装置、及び配信管理システム
US14/465,789 US20150082359A1 (en) 2013-09-13 2014-08-21 Distribution management apparatus and distribution management system
EP14183078.6A EP2849455A1 (en) 2013-09-13 2014-09-01 Distribution management apparatus and distribution management system
CN201410460819.6A CN104469397A (zh) 2013-09-13 2014-09-11 分配管理设备和分配管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013190689A JP2015056855A (ja) 2013-09-13 2013-09-13 配信管理装置、及び配信管理システム

Publications (1)

Publication Number Publication Date
JP2015056855A true JP2015056855A (ja) 2015-03-23

Family

ID=51492824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013190689A Pending JP2015056855A (ja) 2013-09-13 2013-09-13 配信管理装置、及び配信管理システム

Country Status (4)

Country Link
US (1) US20150082359A1 (ja)
EP (1) EP2849455A1 (ja)
JP (1) JP2015056855A (ja)
CN (1) CN104469397A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017175419A (ja) * 2016-03-24 2017-09-28 富士通株式会社 描画処理装置、方法、及びプログラム
US10452900B2 (en) 2016-06-01 2019-10-22 Ricoh Company, Ltd. Information sharing system, information sharing method, and recording medium

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807459B2 (en) * 2015-05-14 2017-10-31 At&T Intellectual Property I, L.P. Media interface device
CN105072507B (zh) * 2015-07-24 2019-01-25 南京信通科技有限责任公司 一种多媒体数据的传输方法及系统
JP2017058829A (ja) * 2015-09-15 2017-03-23 株式会社オプティム 無人航空機制御システム、無人航空機制御方法
JP2019180027A (ja) * 2018-03-30 2019-10-17 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
CN111770316B (zh) * 2020-07-22 2021-11-02 广州芯象科技有限公司 一种音视频编码器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7657913B2 (en) * 2000-06-14 2010-02-02 Sony Corporation Method and apparatus for correcting corrupted digital video transport streams
US8576846B2 (en) * 2005-10-05 2013-11-05 Qualcomm Incorporated Peer-to-peer communication in ad hoc wireless network
JP2009065551A (ja) 2007-09-07 2009-03-26 Fujifilm Corp 関連情報伝達方法、関連情報伝達サーバ、端末装置、関連情報伝達システム
US20130125013A1 (en) * 2008-02-29 2013-05-16 Adobe Systems Incorporated Distributed media player branding
US8731371B2 (en) * 2009-08-12 2014-05-20 Sony Corporation Information processing system and information processing device
JP2011044877A (ja) * 2009-08-20 2011-03-03 Sharp Corp 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム
US20110107238A1 (en) * 2009-10-29 2011-05-05 Dong Liu Network-Based Collaborated Telestration on Video, Images or Other Shared Visual Content
US8924864B2 (en) * 2009-11-23 2014-12-30 Foresight Imaging LLC System and method for collaboratively communicating on images and saving those communications and images in a standard known format
JP2012005107A (ja) * 2010-05-17 2012-01-05 Ricoh Co Ltd 多拠点描画画像共有装置、多拠点描画画像共有システム、方法、プログラムおよび記録媒体
JP5621421B2 (ja) * 2010-09-06 2014-11-12 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
WO2013122949A1 (en) * 2012-02-13 2013-08-22 Galeal Zino Video session manager and method for enabling and managing video calling and telepresence communications sessions across multiple domains

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017175419A (ja) * 2016-03-24 2017-09-28 富士通株式会社 描画処理装置、方法、及びプログラム
US10452900B2 (en) 2016-06-01 2019-10-22 Ricoh Company, Ltd. Information sharing system, information sharing method, and recording medium

Also Published As

Publication number Publication date
EP2849455A1 (en) 2015-03-18
US20150082359A1 (en) 2015-03-19
CN104469397A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
JP6354764B2 (ja) 配信管理装置、配信方法、及びプログラム
JP6326855B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6398215B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6337499B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6323048B2 (ja) 配信システム、配信方法、及びプログラム
JP6354195B2 (ja) 配信システム、配信方法、及びプログラム
JP6369043B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP2014200076A (ja) 配信制御システム、配信制御方法、及びプログラム
JP2015056855A (ja) 配信管理装置、及び配信管理システム
JP2014199648A (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP2014200075A (ja) コンピュータシステム、配信制御システム、配信制御方法、及びプログラム
US20150029196A1 (en) Distribution management apparatus
JP6248488B2 (ja) 通信端末及び通信方法
WO2015045787A1 (ja) 配信管理装置、端末及び配信管理方法
JP2015056046A (ja) 配信管理システム、配信システム、配信管理方法、及びプログラム
JP2015069244A (ja) 配信システム、配信方法、及びプログラム
JP2016063247A (ja) 配信システム及び配信方法
JP2015079480A (ja) 配信システム、及び端末管理システム
JP6248492B2 (ja) 配信管理装置、配信管理システム、及び配信管理方法
JP6197535B2 (ja) 配信システム、配信方法、及びプログラム
JP2016004352A (ja) 端末管理システム、端末管理方法、及びプログラム
JP2016058812A (ja) 配信制御システム、配信システム、配信制御システムの制御方法、及びプログラム
JP2015061107A (ja) 配信管理装置、及び配信システム
JP6442832B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP2015053613A (ja) 映像配信装置、及び映像配信システム