JP2015056046A - 配信管理システム、配信システム、配信管理方法、及びプログラム - Google Patents
配信管理システム、配信システム、配信管理方法、及びプログラム Download PDFInfo
- Publication number
- JP2015056046A JP2015056046A JP2013189416A JP2013189416A JP2015056046A JP 2015056046 A JP2015056046 A JP 2015056046A JP 2013189416 A JP2013189416 A JP 2013189416A JP 2013189416 A JP2013189416 A JP 2013189416A JP 2015056046 A JP2015056046 A JP 2015056046A
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- communication terminal
- management system
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】リッチ化されたコンテンツを利用する場合、通信端末の負荷が高いという問題を解消するととともに、画像を複数の通信端末に分割して表示させる。【解決手段】クラウド上で配信管理システム2がブラウザ20及びエンコード等を行うエンコーダブリッジ部30を有する。これにより、ブラウザ20が所定の記述言語で示されたコンテンツデータから映像データを生成し、エンコーダブリッジ部30が通信ネットワーク9を介して配信することができるようにデータ形式を変換してから複数の通信端末5にマルチディスプレイ可能に配信する。【選択図】図5
Description
本発明は、配信管理システム、配信システム、配信管理方法、及びプログラムに関する。さらに詳述すると、パソコンや電子黒板等の通信端末に、通信ネットワークを介して映像データを配信する配信管理システム、配信システム、配信管理方法、及びプログラムに関する。
近年、インターネットの普及に伴い、様々な分野でクラウドコンピューティングが利用されてきている。クラウドコンピューティングは、ユーザが、インターネットに接続した通信端末を用いてインターネット上のサーバが提供するサービス(クラウドサービス)を利用し、その対価を支払うサービス利用形態である。
ところが、インターネット上で扱われるウェブ(Web)コンテンツは、様々な要求に応えるためにリッチ化される傾向にある。従って、インターネットに接続した通信端末を用いて、リッチ化されたコンテンツを利用する場合、通信端末の負荷が高いという問題がある。
ここで、通信端末の負荷を低減させる技術としては、シンクライアントと呼ばれる技術がある(例えば、特許文献1等を参照)。そして、このシンクライアントの技術により、インターネット環境を利用してウェブベースで様々なアプリケーションを通信端末で実行することができる。また、特許文献2には、クラウド上の情報を複数の端末で表示させる技術が開示されている。
しかしながら、シンクライアントの技術を利用しても、リッチ化されたコンテンツを利用する場合、通信端末の負荷が高いという問題は解消しないという課題が生じる。また、この場合において、画像を複数の通信端末に分割して表示させることは考慮されていない。
そこで本発明は、リッチ化されたコンテンツを利用する場合、通信端末の負荷が高いという問題を解消するととともに、画像を複数の通信端末に分割して表示させることができる配信管理システムを提供することを目的とする。
かかる目的を達成するため、本発明に係る配信管理システムは、2以上の通信端末に通信ネットワークを介してデータを配信する配信管理システムであって、所定の記述言語で示されたコンテンツデータを取得して、映像データを生成する生成手段と、前記生成手段によって生成された前記映像データのデータ形式を、前記通信端末に配信できるデータ形式に変換する変換手段と、前記変換手段によって変換された前記映像データを、前記通信端末に配信する配信手段と、を備え、前記変換手段は、前記映像データを分割する分割部を有し、前記配信手段は、前記分割部にて分割された映像データを、通信端末の設置位置情報および実行環境情報に基づいて、前記2以上の通信端末にそれぞれ配信するものである。
本発明によれば、リッチ化されたコンテンツを利用する場合、通信端末の負荷が高いという問題を解消するととともに、画像を複数の通信端末に分割して表示させることができる。
以下、本発明に係る構成を図1から図29に示す実施の形態に基づいて詳細に説明する。
本実施形態に係る配信管理システムは、2以上の通信端末(通信端末5)に通信ネットワーク(通信ネットワーク9)を介してデータを配信する配信管理システム(配信管理システム2)であって、所定の記述言語で示されたコンテンツデータを取得して、映像データを生成する生成手段(ブラウザ20)と、生成手段によって生成された映像データのデータ形式を、通信端末に配信できるデータ形式に変換する変換手段(エンコーダブリッジ部30の変換部10)と、変換手段によって変換された映像データを、通信端末に配信する配信手段(送受信部31)と、を備え、変換手段は、映像データを分割する分割部(変換部10の分割部13)を有し、配信手段は、分割部にて分割された映像データを、通信端末の設置位置情報および実行環境情報に基づいて、2以上の通信端末にそれぞれ配信するものである。なお、括弧内は実施形態での符号、適用例を示す。
以下に図面を用いて、本実施形態に係る配信システム1を詳細に説明する。なお、以下に示す実施形態は、クラウドコンピューティングを利用してウェブコンテンツを映像データ、音データ、又は映像データ及び音データに変換してパソコンや電子黒板等の通信端末に配信する配信システムとしての適用例である。なお、以下、映像及び音のうち少なくとも一方を示す場合には、「映像(音)」と示す。
〔配信システム概略〕
まず、図1を用いて、本発明の一実施形態の概略を説明する。なお、図1は、本実施形態に係る配信システムの概略図である。
まず、図1を用いて、本発明の一実施形態の概略を説明する。なお、図1は、本実施形態に係る配信システムの概略図である。
{システム構成の概略}
まず、配信システム1の構成の概略について説明する。図1に示されているように、本実施形態の配信システム1は、配信管理システム2、複数の通信端末(5a〜5f)、端末管理システム7、及びウェブサーバ8によって構築されている。なお、以下では、複数の通信端末(5a〜5f)のうち、任意の通信端末を「通信端末5」として表す。また、配信管理システム2、端末管理システム7、及びウェブサーバ8は、いずれもサーバコンピュータによって構築されている。
まず、配信システム1の構成の概略について説明する。図1に示されているように、本実施形態の配信システム1は、配信管理システム2、複数の通信端末(5a〜5f)、端末管理システム7、及びウェブサーバ8によって構築されている。なお、以下では、複数の通信端末(5a〜5f)のうち、任意の通信端末を「通信端末5」として表す。また、配信管理システム2、端末管理システム7、及びウェブサーバ8は、いずれもサーバコンピュータによって構築されている。
通信端末5は、配信システム1のサービスを受けるユーザが使用する端末である。このうち、通信端末5aは、ノートPC(Personal Computer)である。通信端末5bは、スマートフォンやタブレット端末等のモバイル端末である。通信端末5cは、コピー、スキャン、プリント、及びファックスの各機能が複合されたMFP(Multifunction Peripheral/Printer/Product)である。通信端末5dは、プロジェクタである。通信端末5eは、カメラ、マイク及びスピーカを備えたテレビ(ビデオ)会議端末である。通信端末5fは、ユーザ等によって描かれた内容を電子的に変換することが可能な電子黒板(ホワイトボード)である。
なお、通信端末5は、図1に示されているような端末だけでなく、腕時計、自動販売機、ガスメータ、カーナビゲーション装置、ゲーム機、エアコン、照明器具、カメラ単体、マイク単体、スピーカ単体等であってもよい。
また、配信管理システム2、通信端末5、端末管理システム7、及びウェブサーバ8は、インターネットやLAN(Local Area Network)等の通信ネットワーク9によって通信することができる。この通信ネットワーク9には、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信によるネットワークも含まれる。
なお、通信端末5によっては、通信端末5d等のように、通信ネットワーク9を介して他の端末やシステムと通信する機能を有していないものがある。しかし、図2に示されているように、ユーザが通信端末5dのUSB(Universal Serial Bus)やHDMI(High-Definition Multimedia Interface)(登録商標)のインターフェース部にドングル99を差し込むことで、通信端末5は通信ネットワーク9を介して他の端末やシステムと通信可能となる。なお、図2は、通信端末にドングルを取り付ける際のイメージ図である。
更に、配信管理システム2は、クラウド上に存在するウェブブラウザとしての、いわゆるクラウドブラウザ(以下、「ブラウザ」と示す)20を有することで、クラウド上でウェブコンテンツをレンダリングし、これにより得られたH.264やMPEG-4等の映像(音)データを通信端末5に配信する。
一方、端末管理システム7は、管理サーバとしての機能を有し、通信端末5のログイン認証を行ったり、通信端末5の契約情報等の管理を行ったりする。また、端末管理システム7は、電子メールを送信するためのSMTP(Simple Mail Transfer Protocol)サーバの機能を有している。端末管理システム7は、例えば、クラウドのサービス(IaaS:Infrastructure as a Service)上に展開される仮想マシンとして実現することができる。端末管理システム7は、不測の事態に対応して継続的なサービス提供を行うために、多重化して運用することが望ましい。
また、ブラウザ20は、リアルタイムコミュニケーション(RTC:Real-time communication/collaboration)を可能にしている。更に、配信管理システム2は後述の図16におけるエンコード部19を有しており、このエンコード部19は、ブラウザ20によって生成された映像(音)データに対して、リアルタイムのエンコードを行うことができる。そのため、配信管理システム2の処理は、DVDプレーヤによって、DVDに記録されているリアルタイム性のない映像(音)データを読み出して配信する場合等とは異なる。
{各種配信処理の概略}
続いて、各種配信方法の概略について説明する。
続いて、各種配信方法の概略について説明する。
(基本配信)
図3は、基本的な配信方法を示した概念図である。配信システム1では、図3に示されているように、配信管理システム2のブラウザ20がウェブサーバ8からウェブコンテンツデータ〔A〕を取得し、レンダリングすることにより、映像(音)データ〔A〕を生成する。そして、エンコーダブリッジ部30が、映像(音)データ〔A〕をエンコード等して、通信端末5に配信する。これにより、たとえHTML(Hyper Text Markup Language)やCSS(Cascading Style Sheets)等により作成されたウェブコンテンツがリッチであっても、H.264やMPEG-4等の映像(音)データとして配信されるため、低スペックの通信端末5であってもスムーズに映像(音)を再生することが可能になる。
図3は、基本的な配信方法を示した概念図である。配信システム1では、図3に示されているように、配信管理システム2のブラウザ20がウェブサーバ8からウェブコンテンツデータ〔A〕を取得し、レンダリングすることにより、映像(音)データ〔A〕を生成する。そして、エンコーダブリッジ部30が、映像(音)データ〔A〕をエンコード等して、通信端末5に配信する。これにより、たとえHTML(Hyper Text Markup Language)やCSS(Cascading Style Sheets)等により作成されたウェブコンテンツがリッチであっても、H.264やMPEG-4等の映像(音)データとして配信されるため、低スペックの通信端末5であってもスムーズに映像(音)を再生することが可能になる。
また、本実施形態の配信管理システム2では、ブラウザ20を最新化しておくことで、ローカルとしての通信端末5にコンテンツを提供するブラウザを最新化しなくても、最新のリッチなウェブコンテンツをスムーズに再生することが可能となる。
また、配信システム1は、上述の配信方法を応用し、図4乃至図7に示されているように、複数のウェブコンテンツを連動させ、複数の拠点に映像(音)データとして配信することも可能である。ここで、図4乃至図7に示されている配信方法について説明する。
(マルチキャスト)
図4は、マルチキャストの概念図である。図4に示されているように、配信管理システム2の単一のブラウザ20は、ウェブサーバ8からウェブコンテンツデータ〔A〕を取得してレンダリングすることで、映像(音)データ〔A〕を生成する。そして、エンコーダブリッジ部30が、映像(音)データ〔A〕をエンコードする。なお、マルチキャストの場合、分割、ブレンディング処理はなされない。その後、配信管理システム2は、映像(音)データ〔A〕を複数の通信端末(5f1,5f2,5f3)に配信する。これにより、複数の拠点では、同じ映像(音)が出力される。なお、この場合、通信端末(5f1,5f2,5f3)が同じ表示再生能力(解像度が同じ等)を有する必要はない。このような配信方法は、例えば「マルチキャスト」と呼ぶ。
図4は、マルチキャストの概念図である。図4に示されているように、配信管理システム2の単一のブラウザ20は、ウェブサーバ8からウェブコンテンツデータ〔A〕を取得してレンダリングすることで、映像(音)データ〔A〕を生成する。そして、エンコーダブリッジ部30が、映像(音)データ〔A〕をエンコードする。なお、マルチキャストの場合、分割、ブレンディング処理はなされない。その後、配信管理システム2は、映像(音)データ〔A〕を複数の通信端末(5f1,5f2,5f3)に配信する。これにより、複数の拠点では、同じ映像(音)が出力される。なお、この場合、通信端末(5f1,5f2,5f3)が同じ表示再生能力(解像度が同じ等)を有する必要はない。このような配信方法は、例えば「マルチキャスト」と呼ぶ。
(マルチディスプレイ)
図5は、マルチディスプレイの概念図である。図5に示されているように、配信管理システム2の単一のブラウザ20は、ウェブサーバ8からウェブコンテンツデータ〔XYZ〕を取得してレンダリングすることで、単一の映像(音)データ〔XYZ〕を生成する。そして、エンコーダブリッジ部30が、単一の映像(音)データ〔XYZ〕を、複数の映像(音)データ(〔X〕,〔Y〕,〔Z〕)に分割した後にエンコードする。その後、配信管理システム2は、分割後の映像(音)データ〔X〕を通信端末5f1に配信する。また、同じように、配信管理システム2は、分割後の映像(音)データ〔Y〕を通信端末5f2に配信し、分割後の映像(音)データ〔Z〕を通信端末5f3に配信する。これにより、例えば、横長のウェブコンテンツデータ〔XYZ〕であっても、複数の通信端末5で分割して映像が表示されるため、通信端末(5f1,5f2,5f3)を一列に並べて設置すれば、1つの大きな映像を表示させることと同様の効果を得ることができる。なお、この場合、通信端末(5f1,5f2,5f3)が同じ表示再生能力(解像度が同じ等)を有する必要がある。このような配信方法は、例えば「マルチディスプレイ」と呼ぶ。
図5は、マルチディスプレイの概念図である。図5に示されているように、配信管理システム2の単一のブラウザ20は、ウェブサーバ8からウェブコンテンツデータ〔XYZ〕を取得してレンダリングすることで、単一の映像(音)データ〔XYZ〕を生成する。そして、エンコーダブリッジ部30が、単一の映像(音)データ〔XYZ〕を、複数の映像(音)データ(〔X〕,〔Y〕,〔Z〕)に分割した後にエンコードする。その後、配信管理システム2は、分割後の映像(音)データ〔X〕を通信端末5f1に配信する。また、同じように、配信管理システム2は、分割後の映像(音)データ〔Y〕を通信端末5f2に配信し、分割後の映像(音)データ〔Z〕を通信端末5f3に配信する。これにより、例えば、横長のウェブコンテンツデータ〔XYZ〕であっても、複数の通信端末5で分割して映像が表示されるため、通信端末(5f1,5f2,5f3)を一列に並べて設置すれば、1つの大きな映像を表示させることと同様の効果を得ることができる。なお、この場合、通信端末(5f1,5f2,5f3)が同じ表示再生能力(解像度が同じ等)を有する必要がある。このような配信方法は、例えば「マルチディスプレイ」と呼ぶ。
{複数端末への配信処理}
図6は、配信管理システムを介して複数の通信端末を使った複合配信の概念図である。図6に示されているように、第1の拠点(図6の右側)では、電子黒板としての通信端末5f1及びテレビ会議端末としての通信端末5e1が利用され、第2の拠点(図6の左側)では、同じく電子黒板としての通信端末5f2、及びテレビ会議端末としての通信端末5e2が利用されている。また、第1の拠点では、通信端末5f1にストロークによる文字等の操作データを表示させるための電子ペンP1が利用され、第2の拠点では、通信端末5f2にストロークによる文字等の操作データを表示させるための電子ペンP2が利用されている。
図6は、配信管理システムを介して複数の通信端末を使った複合配信の概念図である。図6に示されているように、第1の拠点(図6の右側)では、電子黒板としての通信端末5f1及びテレビ会議端末としての通信端末5e1が利用され、第2の拠点(図6の左側)では、同じく電子黒板としての通信端末5f2、及びテレビ会議端末としての通信端末5e2が利用されている。また、第1の拠点では、通信端末5f1にストロークによる文字等の操作データを表示させるための電子ペンP1が利用され、第2の拠点では、通信端末5f2にストロークによる文字等の操作データを表示させるための電子ペンP2が利用されている。
そして、第1の拠点において、通信端末5e1によって取得された映像(音)データは、エンコード部60でエンコードされた後に、配信管理システム2に送信される。その後、配信管理システム2のデコード部40でデコードされて、ブラウザ20に入力される。また、電子ペンP1によって通信端末5f1に描かれたストローク等を示す操作データは、配信管理システム2に送信され、ブラウザ20に入力される。一方、第2の拠点においても、通信端末5e2によって取得された映像(音)データは、エンコード部60でエンコードされた後に、配信管理システム2に送信される。その後、配信管理システム2のデコード部40でデコードされて、ブラウザ20に入力される。また、電子ペンP2によって通信端末5f2に描かれたストローク等の操作データは、配信管理システム2に送信され、ブラウザ20に入力される。
一方、ブラウザ20は、例えば、ウェブサーバ8から通信端末(5f1,5f2)のぞれぞれのディスプレイに表示される背景画像のウェブコンテンツデータ〔A〕を取得する。そして、ブラウザ20は、ウェブコンテンツデータ〔A〕、操作データ(〔p1〕,〔p2〕)及び映像(音)コンテンツデータ(〔E1〕,〔E2〕)を結合してレンダリングすることで、所望のレイアウトに設置した映像(音)データを生成する。そして、エンコーダブリッジ部30は、映像(音)データをエンコードし、配信管理システム2が各拠点に同じ映像(音)データを配信する。これにより、第1の拠点では、通信端末5f1のディスプレイ上に、映像(〔A〕、〔p1〕、〔p2〕、〔E1(映像部分)〕及び〔E2(映像部分)〕)が表示されると共に、通信端末5e1のスピーカから音〔E2(音部分)〕が出力される。一方、第2の拠点でも、通信端末5f2のディスプレイ上に、映像(〔A〕、〔p1〕、〔p2〕、〔E1(映像部分)〕及び〔E2(映像部分)〕)が表示されると共に、通信端末5e2のスピーカから音〔E1(音部分)〕が出力される。なお、第1の拠点では、通信端末5f1のエコーキャンセル機能により、自拠点の音〔E1(音部分)〕は出力されない。一方、第2の拠点では、通信端末5f2のエコーキャンセル機能により、自拠点の音〔E2(音部分)〕は出力されない。
以上により、第1の拠点と第2の拠点とでは、遠隔地間においてリアルタイムで同じ情報を共有する遠隔共有処理を行うことができるため、本実施形態の配信システム1は遠隔会議等に有効である。
〔配信システム詳細〕
{ハードウェア構成}
まず、図7及び図8を用いて、本実施形態のハードウェア構成を説明する。なお、図7は、配信管理システム、通信端末、端末管理システム、及びウェブサーバのハードウェア構成図である。また、図8は、ドングルのハードウェア構成図である。なお、通信端末の通信に関与するハードウェア構成は、通信端末のハードウェア構成の一部と同じであるため、説明を省略する。
{ハードウェア構成}
まず、図7及び図8を用いて、本実施形態のハードウェア構成を説明する。なお、図7は、配信管理システム、通信端末、端末管理システム、及びウェブサーバのハードウェア構成図である。また、図8は、ドングルのハードウェア構成図である。なお、通信端末の通信に関与するハードウェア構成は、通信端末のハードウェア構成の一部と同じであるため、説明を省略する。
図7に示されているように配信管理システム2は、配信管理システム2全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、プログラム等の各種データを記憶するHDD204、CPU201の制御にしたがってHDD204に対する各種データの読み出し又は書き込みを制御するHDC(Hard Disk Controller)205、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207、各種情報を表示するディスプレイ208、通信ネットワーク9を利用してデータ送信したりドングル99を接続するためのI/F209、キーボード211、マウス212、マイク213、スピーカ214、GPU(Graphics Processing Unit)215、上記各構成要素を図7に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン220を備えている。
なお、各通信端末、各システム又は各サーバ用のプログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
次に、図8を用いて、ドングルのハードウェア構成について説明する。図8に示されているように、ドングル99は、ドングル99全体の動作を制御するCPU91、基本入出力プログラムを記憶したROM92、CPU91のワークエリアとして使用されるRAM93、CPU91の制御にしたがってデータの読み出し又は書き込みを行うEEPROM(Electrically Erasable and Programmable ROM)94、通信端末5のI/F209に接続するためのI/F96、アンテナ97a、このアンテナ97aを利用して短距離無線技術により通信を行う通信部97、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン90を備えている。なお、短距離無線技術として、例えば、NFC(Near Field Communication)規格、BlueTooth(登録商標)、WiFi(Wireless Fidelity)、ZigBee等が挙げられる。
{機能構成}
次に、図9乃至図16を用い、本実施形態の機能構成について説明する。図9は、主に配信管理システムの各機能を示す機能ブロック図である。図9では、配信管理システム2が通信端末5f1に対して映像(音)データを配信する場合の機能構成が示されているが、配信先が通信端末5f1以外の場合も、同じ機能構成を有する。なお、配信管理システム2は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。
次に、図9乃至図16を用い、本実施形態の機能構成について説明する。図9は、主に配信管理システムの各機能を示す機能ブロック図である。図9では、配信管理システム2が通信端末5f1に対して映像(音)データを配信する場合の機能構成が示されているが、配信先が通信端末5f1以外の場合も、同じ機能構成を有する。なお、配信管理システム2は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。
(配信管理システム)
図9に示されているように、配信管理システム2は、図7に示されているハードウェア構成及びプログラムによって、図9に示されている各機能構成を有する。具体的に、配信管理システム2は、ブラウザ20、送受信部21、ブラウザ管理部22、送信用FIFO(バッファ)24、時刻管理部25、時刻取得部26、回線適応制御部27、エンコーダブリッジ部30、送受信部31、受信用FIFO34、認識部35、遅延情報取得部37a、回線適応制御部37b、及びデコード部40を有している。更に、配信管理システム2は、図7に示されているHDD204によって構築される記憶部2000を有している。この記憶部2000には、認識部35から出力された後述の認識情報が記憶される。なお、ブラウザ20が取得したコンテンツデータは、キャッシュとして、記憶部2000に一時的に記憶しておくこともできる。
図9に示されているように、配信管理システム2は、図7に示されているハードウェア構成及びプログラムによって、図9に示されている各機能構成を有する。具体的に、配信管理システム2は、ブラウザ20、送受信部21、ブラウザ管理部22、送信用FIFO(バッファ)24、時刻管理部25、時刻取得部26、回線適応制御部27、エンコーダブリッジ部30、送受信部31、受信用FIFO34、認識部35、遅延情報取得部37a、回線適応制御部37b、及びデコード部40を有している。更に、配信管理システム2は、図7に示されているHDD204によって構築される記憶部2000を有している。この記憶部2000には、認識部35から出力された後述の認識情報が記憶される。なお、ブラウザ20が取得したコンテンツデータは、キャッシュとして、記憶部2000に一時的に記憶しておくこともできる。
上述の各機能構成のうち、ブラウザ20は、配信管理システム2内で動作するウェブブラウザである。ブラウザ20は、ウェブコンテンツデータ等のコンテンツデータをレンダリングすることにより、RGBデータ(又はPCM(Pulse Code Modulation)データ)としての映像(音)データを生成する。ブラウザ20は、ウェブコンテンツのリッチ化に対応させて常に最新化されている。
また、本実施形態の配信システム1では、配信管理システム2内に複数のブラウザ20を用意しており、これら複数のブラウザ20の中からユーザセッションに使用するクラウドブラウザが選択される。なお、ここでは、説明を簡略化するため、単一のブラウザ20が用意されている場合について、以下続けて説明する。
ブラウザ20は、例えば、Media Player、Flash Player、JavaScript(登録商標)、CSS(Cascading Style Sheet)及びHTML(Hyper Text Markup Language)レンダラを有する。なお、JavaScriptには、標準規格のものと配信システム1独自のものが含まれる。
ここで、Media Playerは、映像(音)ファイルなどのマルチメディアファイルをブラウザ20内で再生するためのブラウザプラグインである。Flash Playerは、Flashコンテンツをブラウザ20内で再生するためのブラウザプラグインである。独自のJavaScriptは、配信システム1に固有のサービスのAPI(Application Programming Interface)を提供するJavaScript群である。CSSは、HTMLで記述されたウェブページの見栄えやスタイルを効率的に定義するための技術である。HTMLレンダラは、ウェブキットベースのHTMLレンダリングエンジンである。
次に、送受信部21は、端末管理システム7やウェブサーバ8との間で、各種データや要求等の送受信を行う。例えば、送受信部21は、ウェブサーバ8のコンテンツサイトからウェブコンテンツデータを取得する。
ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30の管理を行う。例えば、ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30に、起動又は終了を指示したり、起動又は終了時にエンコーダIDを採番したりする。ここで、エンコーダIDは、ブラウザ管理部22がエンコーダブリッジ部30のプロセスを管理するために採番する識別情報である。また、ブラウザ管理部22は、ブラウザ20が起動されるたびに、ブラウザIDを採番して管理する。ここで、ブラウザIDは、ブラウザ管理部22がブラウザ20のプロセスを管理するために採番し、ブラウザ20を識別するための識別情報である。
なお、ブラウザ管理部22は、送受信部31を介して通信端末5から、各種操作データを取得し、ブラウザ20に出力する。なお、操作データは、通信端末5での操作イベント(キーボード211やマウス212等による操作や電子ペンPによるストローク等)によって生じたデータである。通信端末5に、温度センサ、湿度センサ、及び加速度センサ等の各種センサが設けられている場合には、ブラウザ管理部22は、通信端末5から各センサの出力信号であるセンサ情報を取得し、ブラウザ20に出力する。
送信用FIFO24は、ブラウザ20で生成された映像(音)データを格納するバッファである。
時刻管理部25は、配信管理システム2独自の時刻Tを管理している。
時刻取得部26は、後述の通信端末5における時刻制御部56と連携して、時刻調整の処理を行う。具体的には、時刻取得部26は、時刻管理部25から配信管理システム2における時刻Tを示す時刻情報(T)を取得したり、送受信部31及び送受信部51を介して、後述の時刻制御部56から通信端末5における時刻tを示す時刻情報(t)を受信したり、時刻制御部56に時刻情報(t)及び時刻情報(T)を送信する。
回線適応制御部27は、送信遅延時間情報(D)に基づいて、再生遅延時間Uを計算したり、エンコーダブリッジ部30における変換部10のフレームレートやデータの解像度等の動作条件を計算したりする。この再生遅延時間は、再生までにデータがバッファリングされることで、再生を遅延させるための時間である。
エンコーダブリッジ部30は、ブラウザ20が生成した映像(音)データを、エンコーダブリッジ部30における後述の変換部10に出力する。エンコーダブリッジ部30については、図15及び図16を用いて、更に詳細に説明する。図15は、エンコーダブリッジ部の詳細図である。また、図16は、変換部の各機能を示す機能ブロック図である。
図15に示されているように、エンコーダブリッジ部30は、作成・選択部310、及び選択部320と、これらの間に複数の変換部(10a,10b,10c)が構築されている。ここでは、3つの変換部を示したが、いくつであってもよい。なお、以下、任意の変換部を「変換部10」として表す。
更に、変換部10は、図16に示されているように、トリミング部11、リサイズ部12、分割部13、及びエンコード部19を有する。トリミング部11、リサイズ部12、及び分割部13は、音データの場合は、処理を行わない。
このうち、トリミング部11は、映像(画像)の一部だけを切り出す処理を行う。リサイズ部12は、映像(画像)の拡大/縮小を行って縮尺を変更する。分割部13は、図5に示されているように、ウェブサーバ8から取得したウェブコンテンツを分割する。
また、エンコード部19は、ブラウザ20で生成された画像(音)データをエンコードすることにより、通信ネットワーク9介して通信端末5に画像(音)データを配信できるように変換する。また、エンコード部19は、映像が動かなければ(フレーム間で変化がなければ)、以降、映像が動くまでスキップフレームを挿入することで帯域をセーブする。なお、音の場合には、エンコードだけが行われる。
また、作成・選択部310は、新たに変換部10を作成したり、既に作成されている変換部10に対して入力させる映像(音)データを選択したりする。作成する場合としては、例えば、作成・選択部310は、通信端末5おける映像(音)データの再生能力に応じた変換が可能な変換部10を作成する。また、選択する場合としては、既に作成されている変換部10を選択する。例えば、通信端末5aへの配信に加えて通信端末5bへの配信を開始するにあたって、通信端末5aへ配信している映像(音)データと同じ映像(音)データを通信端末5bへ配信する場合がある。このような場合で、更に、通信端末5bが通信端末5aにおける映像(音)データの再生能力と同じ再生能力を有する場合には、作成・選択部310は通信端末5b用に新たな変換部10bを作成せずに、通信端末5a用に既に作成している変換部10aを利用する。
一方、選択部320は、既に作成されている変換部10から所望のものを選択する。これら作成・選択部310と選択部320による選択によって、図6に示したような様々なパターンの配信を行うことができる。
送受信部31は、通信端末5との間で、各種データや要求等の送受信を行う。例えば、送受信部31は、通信端末5のログイン処理において、通信端末5の送受信部51に対し、ユーザにログイン要求を促すための認証画面データを送信する。その他に、送受信部31は、HTTPS(Hypertext Transfer Protocol over Secure Socket Layer)サーバを介して配信システム1独自のプロトコルにより、通信端末5のユーザアプリや通信端末5のデバイスアプリへのデータ送信およびデータ受信を行う。この独自のプロトコルは、配信管理システム2と通信端末との間でリアルタイムに途切れることなくデータを送受信するためのHTTPSベースのアプリケーション層プロトコルである。また、送受信部31は、送信レスポンス制御、リアルタイムのデータ作成、コマンド送信、受信レスポンス制御、受信データ分析、およびジェスチャ変換を行う。
このうち、送信レスポンス制御は、配信管理システム2から通信端末5にデータを送信するために、通信端末5からリクエスト(要求)されたダウンロード用のHTTPSセッションを管理する処理である。このダウンロード用のHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1〜数分)保持する。送受信部31は、通信端末に送るデータを動的にレスポンスのBody部に書き込む。また、再接続のコストをなくすため、通信端末からは前のセッションが終了しないうちに別のリクエストが届くようにする。送受信部31を、前のリクエストが完了するまで待機させておくようにすることで、再接続を行っても、オーバヘッドを削除することができる。
リアルタイムのデータ作成は、図16におけるエンコード部19で生成された圧縮映像(および圧縮音)のデータに独自のヘッダを付与して、通信端末への下り用のHTTPSのBody部に書き込む処理である。
コマンド送信は、通信端末5に送信するコマンドデータを生成し、通信端末5への配信用(下り用)のHTTPSのBody部に書き込む処理である。
受信レスポンス制御は、配信管理システム2から通信端末5からデータを受信するために、通信端末5からリクエストされたHTTPSセッションを管理する処理である。このHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1〜数分)保持される。通信端末5は、配信管理システム2の送受信部31に送るデータを動的にリクエストのBody部に書き込む。
受信データ分析は、通信端末5から送られてきたデータを種別ごとに分析し、必要なプロセスにデータを渡す処理である。
ジェスチャ変換は、ユーザが電子黒板としての通信端末5fに電子ペンや手書きにより入力したジェスチャイベントを、ブラウザ20が受け取れる形式に変換する処理である。
また、受信用FIFO34は、デコード部40でデコードされた映像(音)データを格納するバッファである。
認識部35は、通信端末5から受信する映像(音)データに対しての処理を行う。具体的には、認識部35は、例えば、サイネージ向けにカメラ62で撮影された映像から人や動物の顔、年齢、及び性別などを認識する。また、認識部35は、オフィス向けに、カメラ62で撮影された映像から顔認識による名前タグ付けや背景映像の差し替え処理などを行う。認識部35は、認識した内容を示す認識情報を記憶部2000に記憶させる。この認識部35は、認識拡張ボードで処理を行うことで高速化が実現される。
遅延情報取得部37aは、上り用の回線適応制御の処理に用いられる遅延情報取得部57に対応して、下り用の回線適応制御の処理に用いられる。具体的には、遅延情報取得部37aは、デコード部40から送信遅延時間d1を示す送信遅延時間情報(d1)を取得して一定時間保持しておき、複数の送信遅延時間情報(d1)を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する。
回線適応制御部37bは、上り用の回線適応制御の処理に用いられる回線適応制御部27に対応して、下り用の回線適応制御の処理に用いられる。具体的には、回線適応制御部37bは、送信遅延時間情報(d)に基づいて、エンコード部60の動作条件を計算する。また、回線適応制御部37bは、送受信部31及び送受信部51を介して通信端末5のエンコード部60に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する。
デコード部40は、通信端末5から送信されて来た映像(音)データをデコードする。
(通信端末)
続いて、図10を用いて、通信端末5の機能構成について説明する。通信端末5は、ユーザが配信システム1へのログインや映像(音)データの配信の開始又は停止などを行うためのインターフェースとなる端末である。
続いて、図10を用いて、通信端末5の機能構成について説明する。通信端末5は、ユーザが配信システム1へのログインや映像(音)データの配信の開始又は停止などを行うためのインターフェースとなる端末である。
図10に示されているように、通信端末5は、デコード部50、送受信部51、操作部52、再生制御部53、レンダリング部55、時刻制御部56、遅延情報取得部57、表示部58、及びエンコード部60を有している。更に、通信端末5は、図7に示されているRAM203によって構築される記憶部5000を有している。この記憶部5000には、後述の時刻差Δを示す時刻差情報(Δ)、及び通信端末5における時刻tを示す時刻情報(t)が記憶される。
このうち、デコード部50は、配信管理システム2から配信され、再生制御部53から出力された映像(音)データをデコードする。
送受信部51は、配信管理システム2の送受信部31、及び後述の端末管理システム7の送受信部71aとの間で、各種データや要求等の送受信を行う。例えば、送受信部51は、通信端末5のログイン処理において、操作部52による通信端末5の起動に基づき、端末管理システム7の送受信部71にログイン要求を行う。
操作部52は、ユーザの操作入力を受け付ける処理を行い、例えば、電源スイッチ、キーボード、マウス、電子ペンP等による入力や選択等を受け付け、操作データとして配信管理システム2のブラウザ管理部22に送信する。
再生制御部53は、送受信部51から受けた映像(音)データ(リアルタイムデータのパケット)をバッファリングし、再生遅延時間Uを考慮してデコード部50に出力する。
レンダリング部55は、デコード部50によってデコードされたデータをレンダリングする。
時刻制御部56は、配信管理システム2の時刻取得部26と連携して、時刻調整の処理を行う。具体的には、時刻制御部56は、記憶部5000から通信端末5における時刻tを示す時刻情報(t)を取得する。また、時刻制御部56は、送受信部51及び送受信部31を介して、配信管理システム2の時刻取得部26に、配信管理システム2における時刻Tを示す時刻情報(T)を要求する。この場合、時刻情報(T)の要求と共に、時刻情報(t)が送信される。
遅延情報取得部57は、再生制御部53から送信遅延時間D1を示す送信遅延時間情報(D1)を取得して一定時間保持しておき、複数の送信遅延時間情報(D1)を取得したところで、送受信部51及び送受信部31を介して回線適応制御部27に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を送信する。なお、送信遅延時間情報(D)は、例えば、100フレームに1回送信される。
表示部58は、レンダリング部55によってレンダリングされたデータを再生する。
エンコード部60は、内蔵されたマイク213や、外付けのカメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、同じく記憶部5000から取得した時間差Δを示す時間差情報(Δ)を、送受信部51及び送受信部31を介して、配信管理システム2のデコード部40に送信する。また、エンコード部60は、回線適応制御部37bから受信した回線適応制御信号で示される動作条件に基づいて、エンコード部60の動作条件を変更する。更に、エンコード部60は、新たな動作条件に従って、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、記憶部5000から取得した時間差Δを示す時間差情報(Δ)とを、送受信部51及び送受信部31を介して、配信管理システム2のデコード部40に送信する。
なお、内蔵されたマイク213や、外付けのカメラ62及びマイク63は、入力手段の一例であり、エンコードやデコードが必要な各種デバイスである。入力手段は、映像(音)データの他に、触覚(touch)データや嗅覚(smell)データを出力することができてもよい。入力手段には、温度センサ、方位センサ、加速度センサ等の各種センサも含まれる。
(端末管理システム)
続いて、図11を用いて、端末管理システム7の機能構成について説明する。図11は、端末管理システムの各機能を示す機能ブロック図である。
続いて、図11を用いて、端末管理システム7の機能構成について説明する。図11は、端末管理システムの各機能を示す機能ブロック図である。
図11に示されているように、端末管理システム7は、送受信部71a、送受信部71b、及び認証部75を有している。更に、端末管理システム7は、図7に示されているHDD204によって構築される記憶部7000を有している。この記憶部7000には、配信先選択メニューデータ、端末管理テーブル7010、及び利用可能端末管理テーブル7020が記憶される。
このうち、配信先選択メニューは、図12に示されているような配信先選択メニュー画面を示すデータである。
端末管理テーブル7010では、図13に示されているように、通信端末5の端末ID、ユーザ証明書、ユーザが配信システム1のサービスを利用する際の契約情報、通信端末5の端末種別、各通信端末5のホームURL(Uniform Resource Locator)を示す設定情報、各通信端末5の実行環境情報、共有ID、設置位置(配置位置)情報、及び表示名情報が関連付けて管理されている。このうち、実行環境情報には、各通信端末5の「お気に入り」、「前回のCookie情報」、「キャッシュファイル」および「解像度」等が含まれており、各通信端末5のログイン後に、設定情報と共に配信管理システム2に送信され、各通信端末5に対して個別のサービスを行うために利用される。
また、共有IDは、各ユーザが、自己の通信端末5に配信されている映像(音)データと同じ内容の映像(音)データを他の通信端末5にも配信させることで、遠隔共有処理を行う場合に利用されるIDであり、他の通信端末又は他の通信端末群を識別する識別情報である。例えば、端末ID「t006」の共有IDは「v006」であり、端末ID「t007」の共有IDは「v006」であり、また、端末ID「t008」の共有IDは「v006」である。更に、端末ID「t001」の通信端末5aから、共有ID「v006」の通信端末(5f1,5f2,5f3)との遠隔共有処理の要求があった場合には、配信管理システム2は、通信端末(5f1,5f2,5f3)に対して、通信端末5aに配信中の映像(音)データと同じ映像(音)データを配信する。但し、通信端末5aと通信端末(5f1,5f2,5f3)の表示部58の解像度が異なる場合には、これに応じて、配信管理システム2が映像(音)データを配信する。
更に、設置位置情報は、例えば、図5に示されているように、通信端末(5f1,5f2,5f3)が並んで設置される場合の設置位置を示している。表示名情報は、図12に示されている配信先選択メニュー画面の表示名の内容を表す情報である。
一方、利用可能端末管理テーブル7020では、端末ID毎に、この端末IDによって示される通信端末5が遠隔共有処理することが可能な通信端末又は通信端末群を示す共有IDが関連付けて管理されている。
次に、図11に戻り、各機能構成について説明する。送受信部71aは、通信端末5との間で、各種データや要求等の送受信を行う。例えば、送受信部71aは、通信端末5の送受信部51からログイン要求を受信したり、送受信部51に対してログイン要求の認証結果を送信したりする。
送受信部71bは、配信管理システム2との間で、各種データや要求等の送受信を行う。例えば、送受信部71bは、配信管理システム2の送受信部21から配信先選択メニューのデータの要求を受信したり、送受信部21に対して、配信先選択メニューのデータを送信したりする。
認証部75は、通信端末5から受信した端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5aの認証を行う。
〔配信システムの動作または処理〕
続いて、図17乃至図24を用いて、本実施形態の動作または処理について説明する。
続いて、図17乃至図24を用いて、本実施形態の動作または処理について説明する。
{基本的な配信処理}
まず、図17を用いて、図3に示されている配信管理システム2の基本的な配信方法における具体的な配信処理を説明する。なお、図17は、配信管理システムの基本的な配信処理を示したシーケンス図である。なお、ここでは、通信端末5aを用いてログイン要求する場合について説明するが、通信端末5a以外の通信端末5を用いてログインしてもよい。
まず、図17を用いて、図3に示されている配信管理システム2の基本的な配信方法における具体的な配信処理を説明する。なお、図17は、配信管理システムの基本的な配信処理を示したシーケンス図である。なお、ここでは、通信端末5aを用いてログイン要求する場合について説明するが、通信端末5a以外の通信端末5を用いてログインしてもよい。
図17に示されているように、通信端末5aにおいてユーザが電源オンにすると、通信端末5aの送受信部51は、端末管理システム7の送受信部71aを介して認証部75に、ログイン要求を行う(ステップS21)。このログイン要求には、通信端末5aの端末ID及びユーザ証明書が含まれている。
次に、認証部75は、受信した端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5aの認証を行う(ステップS22)。ここでは、端末管理テーブル7010に同じ組み合わせの端末ID及びユーザ証明書がある、即ち、通信端末5aが配信システム1における正当な端末であると認証された場合について、以下に続けて説明する。
端末管理システム7の認証部75は、送受信部71aを介して、通信端末5aの送受信部51bに、配信管理システム2のIPアドレスを送信する(ステップS23)。なお、配信管理システム2のIPアドレスは、予め、端末管理システム7によって取得されて、記憶部7000に記憶されている。
次に、端末管理システム7の送受信部71bは、配信管理システム2の送受信部21を介して、ブラウザ管理部22に、ブラウザ20の起動要求を行う(ステップS24)。これにより、ブラウザ管理部22は、ブラウザ20を起動させる(ステップS25)。
次に、エンコーダブリッジ部30の作成・選択部310は、通信端末5aの再生能力(ディスプレイの解像度等)及びコンテンツの種類に従って変換部10を作成する(ステップS26)。
次に、ブラウザ20は、ウェブサーバ8に対して、コンテンツデータ〔A〕を要求する(ステップS27)。これに対して、ウェブサーバ8は、要求されたコンテンツデータ〔A〕を自己の記憶部(不図示)から読み出す(ステップS28)。そして、ウェブサーバ8は、配信管理システム2の送受信部21を介して、要求元であるブラウザ20にコンテンツデータ〔A〕を送信する(ステップS29)。
次に、ブラウザ20が、コンテンツデータ〔A〕をレンダリングして画像(音)データを生成し、送信用FIFO24に出力する(ステップS30)。そして、変換部10が、送信用FIFO24に格納された画像(音)データをエンコードすることで、通信端末5aに配信すべき映像(音)データ〔A〕に変換する(ステップS31)。
次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、再生制御部53に映像(音)データ〔A〕を送信する(ステップS32)。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像(音)データ〔A〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS33)。
{複数の通信端末を使った複合配信の処理}
続いて、図18を用いて、配信管理システムを介して複数の通信端末を使った通信の処理を説明する。なお、図18は、配信管理システムを介して複数の通信端末を使った通信の処理を示すシーケンス図である。ここでは、複数の通信端末5として、図6に示されているパターンについて具体的な処理を説明する。なお、ここでも、上述のステップS21〜S29と同様のログイン処理及びブラウザ起動等の処理を行うため、上述のステップS29に対応する処理から説明する。
続いて、図18を用いて、配信管理システムを介して複数の通信端末を使った通信の処理を説明する。なお、図18は、配信管理システムを介して複数の通信端末を使った通信の処理を示すシーケンス図である。ここでは、複数の通信端末5として、図6に示されているパターンについて具体的な処理を説明する。なお、ここでも、上述のステップS21〜S29と同様のログイン処理及びブラウザ起動等の処理を行うため、上述のステップS29に対応する処理から説明する。
図18に示されているように、配信管理システム2のブラウザ20は、ウェブサーバ8から送受信部21を介してコンテンツデータ〔A〕を受信する(ステップS41)。そして、ブラウザ20は、コンテンツデータ〔A〕をレンダリングすることにより、画像(音)データを生成して、送信用FIFO24に出力する(ステップS42)。一方、通信端末5f1のエンコード部60が、カメラ62及びマイク63からコンテンツデータ〔E〕の入力を受け付けると(ステップS43)、エンコード部60はエンコードした後、送受信部51及び送受信部31を介して、デコード部40にコンテンツデータ〔E〕を送信する(ステップS44)。これにより、コンテンツデータ〔E〕は、デコード部40でデコードされた後、受信用FIFO34を介して、ブラウザ20に入力される。そして、ブラウザ20は、コンテンツデータ〔E〕をレンダリングすることにより、画像(音)データ〔E〕を生成して、送信用FIFO24に出力する(ステップS44)。この場合、ブラウザ20は、既に取得しているコンテンツデータ〔A〕に対して、コンテンツデータ〔E〕を結合して出力する。
更に、通信端末5f1の操作部52が、電子ペンP1によるストローク操作の入力を受け付けると(ステップS46)、操作部52は、送受信部51及び送受信部31を介して、ブラウザ管理部22に操作データ〔p〕を送信する(ステップS47)。これにより、操作データ〔p〕は、ブラウザ管理部22からブラウザ20に入力される。そして、ブラウザ20は、操作データ〔p〕をレンダリングすることにより、画像データ〔p〕を生成して、送信用FIFO24に出力する(ステップS48)。この場合、ブラウザ20は、既に取得しているコンテンツデータ(〔A〕,〔E〕)に対して、操作データ〔p〕を結合して出力する。
次に、変換部10が、送信用FIFO24に格納された画像(音)データ(〔A〕,〔E〕,〔p〕)をエンコードすることで、通信端末5aに配信すべき映像(音)データ(〔A〕,〔E〕,〔p〕)に変換する(ステップS49)。そして、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して再生制御部53に映像(音)データ(〔A〕,〔E〕,〔p〕)を送信する(ステップS50−1)。その後、映像(音)データ(〔A〕,〔E〕,〔p〕)は、デコード部50でデコードされてスピーカ61に音が出力されると共に、デコード部50でデコードされてレンダリング部55でレンダリングされて表示部58に映像が出力される(ステップS51−1)。
また、通信端末5f2に対しても。ステップS50−2と同様に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して再生制御部53に映像(音)データ(〔A〕,〔E〕,〔p〕)を送信する(ステップS50−2)。その後、映像(音)データ(〔A〕,〔E〕,〔p〕)は、デコード部50でデコードされてスピーカ61に音が出力されると共に、デコード部50でデコードされてレンダリング部55でレンダリングされて表示部58に映像が出力される(ステップS51−2)。これにより、通信端末5f1で出力される映像(音)と同じ映像(音)が、通信端末5f2でも出力されることになる。
{時刻調整の処理}
続いて、図19を用いて、時刻調整の処理について説明する。なお、図19は、時刻調整の処理を示したシーケンス図である。
続いて、図19を用いて、時刻調整の処理について説明する。なお、図19は、時刻調整の処理を示したシーケンス図である。
まず、通信端末5の時刻制御部56は、送受信部51が配信管理システム2に時刻情報(T)を要求する時刻を取得するために、記憶部5000から通信端末5における時刻情報(ts)を取得する(ステップS81)。そして、送受信部51は送受信部31に、配信管理システム2における時刻情報(T)を要求する(ステップS82)。この場合、時刻情報(T)の要求と共に、上記時刻情報(ts)が送信される。
次に、時刻取得部26は、送受信部31が上記ステップS82の要求を受信した時刻を取得するために、時刻管理部25から配信管理システム2における時刻情報(Tr)を取得する(ステップS83)。更に、時刻取得部26は、送受信部31が上記ステップS82の要求に応答する時刻を取得するために、時刻管理部25から配信管理システム2における時刻情報(Ts)を取得する(ステップS84)。そして、送受信部31は送受信部51に、時刻情報(ts,Tr,Ts)を送信する(ステップS85)。
次に、通信端末5の時刻制御部56は、送受信部51が上記ステップS85の応答を受信した時刻を取得するために、記憶部5000から通信端末5における時刻情報(tr)を取得する(ステップS86)。
そして、通信端末5の時刻制御部56は、配信管理システム2と通信端末5との間の時刻差Δを計算する(ステップS87)。この時刻差Δは、以下の式1によって表される。
Δ=((Tr+Ts)/2)−((tr+ts)/2)・・・(式1)
Δ=((Tr+Ts)/2)−((tr+ts)/2)・・・(式1)
そして、時刻制御部56は、記憶部5000に時刻差データΔを記憶する(ステップS88)。この時刻調整の一連の処理は、例えば、毎分定期的に行われる。
{下り用の回線適応制御の処理}
続いて、図20を用いて、配信管理システム2から通信端末5に送信する(下り)データの回線適応制御の処理を説明する。なお、図20は、配信管理システムから通信端末に送信するデータの回線適応制御の処理を示したシーケンス図である。
続いて、図20を用いて、配信管理システム2から通信端末5に送信する(下り)データの回線適応制御の処理を説明する。なお、図20は、配信管理システムから通信端末に送信するデータの回線適応制御の処理を示したシーケンス図である。
まず、配信管理システム2のエンコーダブリッジ部30は、送受信部31及び送受信部51を介して再生制御部53に、再生までにバッファリングして再生を遅延させるための再生遅延時間を示す再生遅延時間情報(U)を送信する(ステップS101)。また、エンコーダブリッジ部30は、送信用FIFO24から取得してエンコード等を行った映像(音)データ〔A〕に対して、時刻管理部25から取得した現時点の時刻T0をタイムスタンプとして付加し、送受信部31及び送受信部51を介して、再生制御部53に送信する(ステップS102)。
一方、通信端末5では、再生制御部53が、通信端末5における時刻(T0+U−Δ)になるまで待ってから、再生遅延時間U内に受信した映像(音)データをデコード部50に出力することで、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる(ステップS103)。即ち、以下の式2に示される再生遅延時間Uの範囲内に通信端末5が受信した映像(音)データだけが再生されることになり、範囲外の映像(音)データは再生されずに消去される。
U≧(t0+Δ)−T0・・・(式2)
U≧(t0+Δ)−T0・・・(式2)
また、再生制御部53は、記憶部5000から、通信端末5における現時点の時刻t0を読み出す(ステップS104)。この時刻t0は、通信端末5が配信管理システム2から映像(音)データを受信した時点の通信端末5における時刻を示す。更に、再生制御部53は、記憶部5000から、上記ステップS86によって記憶されている時刻差Δを示す時刻差情報(Δ)を読み出す(ステップS105)。そして、再生制御部53は、映像(音)データが配信管理システム2から送信されて通信端末5で受信されるまでの時間を示す送信遅延時間D1を計算する(ステップS106)。この計算は、以下の式3によって行われ、通信ネットワーク9が混雑している場合には、送信遅延時間D1が長くなる。
る。
D1=(t0+Δ)−T0・・・(式3)
る。
D1=(t0+Δ)−T0・・・(式3)
次に、遅延情報取得部57は、再生制御部53から送信遅延時間D1を示す送信遅延時間情報(D1)を取得して一定時間保持しておき、複数の送信遅延時間情報(D1)を取得したところで、送受信部51及び送受信部31を介して回線適応制御部27に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を送信する(ステップS107)。送信遅延時間情報(D)は、例えば、100フレームに1回送られる。
次に、配信管理システム2の回線適応制御部27は、送信遅延時間情報(D)に基づいて、新たに再生遅延情報U´を計算したり、変換部10のフレームレートやデータの解像度等の動作条件を計算したりする(ステップS108)。例えば、送信遅延時間情報(D)が長すぎると、これに合わせると再生時間も遅くなるため、回線適応制御部27が、エンコーダブリッジ部30に、フレームレートを落としたり、画質の解像度を落とすように指示する。
次に、配信管理システム2のエンコーダブリッジ部30は、送受信部31及び送受信部51を介して再生制御部53に、上記ステップS108によって計算された新たな再生遅延時間U´を示す再生遅延時間情報(U´)を送信する(ステップS109)。
更に、変換部10は、動作条件を示す回線適応制御信号に基づいて、変換部10の動作条件を変更する(ステップS110)。例えば、送信遅延時間D1が長すぎる場合、送信遅延時間D1に応じて再生遅延時間Uを長くすると、スピーカ61や表示部58での再生時間が遅くなり過ぎるため、再生遅延時間Uを長くすることには限界がある。そこで、回線適応制御部27は、エンコーダブリッジ部30に対して、再生遅延時間Uを変更させて再生遅延時間U´とするだけでなく、変換部10に対して、映像(音)データのフレームレートを下げさせたり、映像(音)データの解像度を下げさせたりすることで、通信ネットワーク9の混雑に対応することができる。これにより、エンコーダブリッジ部30は、変更後の動作条件に従って、上記ステップS102のように、現時点の時刻T0をタイムスタンプとして付加した映像(音)データを通信端末5の再生制御部53に送信する(ステップS111)。
次に、通信端末5では、再生制御部53が、通信端末5における時刻(T0+U’−Δ)になるまで待ってから、再生遅延時間U´内に受信した映像(音)データをデコード部50に出力することで、上記ステップS103のように、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる(ステップS112)。
その後、上記ステップS104以降の処理が続けて行われる。このようにして、下り用の回線適応制御の処理が継続して行われる。
{上り用の回線適応制御の処理}
続いて、図21を用いて、通信端末5から配信管理システム2に送信する(上り)データの回線適応制御の処理を説明する。なお、図20は、通信端末から配信管理システムに送信するデータの回線適応制御の処理を示したシーケンス図である。
続いて、図21を用いて、通信端末5から配信管理システム2に送信する(上り)データの回線適応制御の処理を説明する。なお、図20は、通信端末から配信管理システムに送信するデータの回線適応制御の処理を示したシーケンス図である。
まず、通信端末5のエンコード部60は、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、記憶部5000から取得した時間差Δを示す時間差情報(Δ)とを、送受信部51及び送受信部31を介して、配信管理システム2のデコード部40に送信する(ステップS121)。なお、上りの場合は、配信管理システム2では、送信遅延時間が既知であるため送信遅延時間は送信されない。
次に、配信管理システム2では、デコード部40が上記ステップS121によって映像(音)データ〔E〕等を受信した時点の時刻T0を時刻管理部25から読み出す(ステップS122)。そして、デコード部40は、映像(音)データが通信端末5から送信されて配信管理システム2で受信されるまでの時間を示す送信遅延時間d1を計算する(ステップS123)。この計算は、以下の式4によって行われ、通信ネットワーク9が混雑している場合には、送信遅延時間D1が長くなる。
る。
d1=T0−(t0+Δ)・・・(式4)
る。
d1=T0−(t0+Δ)・・・(式4)
次に、配信管理システム2の遅延情報取得部37aは、遅延情報取得部57と同様に、デコード部40から送信遅延時間d1を示す送信遅延時間情報(d1)を取得して一定時間保持しておき、複数の送信遅延時間情報(d1)を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する(ステップS124)。
次に、回線適応制御部37bは、送信遅延時間情報(d)に基づいて、エンコード部60の動作条件を計算する(ステップS108)。そして、回線適応制御部37bは、送受信部31及び送受信部51を介して通信端末5のエンコード部60に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する(ステップS126)。即ち、下りの場合の回線適応制御部27は、同じ配信管理システム2内でエンコーダブリッジ部30に回線適応制御信号を出力するのに対して、上りの場合の回線適応制御部37bは、配信管理システム2から通信ネットワーク9を介して、通信端末5に回線適応制御信号を送信する。
次に、エンコード部60は、受信した回線適応制御信号で示される動作条件に基づいて、エンコード部60の動作条件を変更する(ステップS127)。そして、エンコード部60は、新たな動作条件によって、上記ステップS121のように、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、同じく記憶部5000から取得した時間差Δを示す時間差情報(Δ)を、送受信部51及び送受信部31を介して、配信管理システム2のデコード部40に送信する(ステップS128)。その後、上記ステップS122以降の処理が続けて行われる。このようにして、上り用の回線適応制御の処理が継続して行われる。
{マルチディスプレイの処理}
図5で説明したマルチディスプレイの処理についての詳細を説明する。図22は、ウェブサーバ8にて作成されるなどして、予めウェブサーバ8に保管されている画像(コンテンツデータ、画像データ、映像データも同様)の例を示している。(a)の画像Aは1台の通信端末5のディスプレイでの表示が可能なサイズの画像である(ディスプレイ通常表示)。一方、(b),(c)の画像A’,A’’は、1台の通信端末5のディスプレイの通常表示の大きさでは、表示できないサイズの画像である。画像A’は2台の通信端末5のディスプレイでの表示が可能なサイズの画像(2倍表示)、画像A’’は3台の通信端末5のディスプレイでの表示が可能なサイズの画像(3倍表示)である。
図5で説明したマルチディスプレイの処理についての詳細を説明する。図22は、ウェブサーバ8にて作成されるなどして、予めウェブサーバ8に保管されている画像(コンテンツデータ、画像データ、映像データも同様)の例を示している。(a)の画像Aは1台の通信端末5のディスプレイでの表示が可能なサイズの画像である(ディスプレイ通常表示)。一方、(b),(c)の画像A’,A’’は、1台の通信端末5のディスプレイの通常表示の大きさでは、表示できないサイズの画像である。画像A’は2台の通信端末5のディスプレイでの表示が可能なサイズの画像(2倍表示)、画像A’’は3台の通信端末5のディスプレイでの表示が可能なサイズの画像(3倍表示)である。
画像A’,A’’のように、ディスプレイの通常表示の大きさでは表示できないサイズの画像は、例えば、パノラマ写真のような横長の画像である。また、ウェブサーバ8上で動作するアプリケーションを横長表示に変更させたようなものもこれに含まれる。
ここでは、背景画像のような画像データを配信する場合を例に説明するが、ディスプレイの通常表示の大きさでは表示できないサイズの映像データを配信するもの場合も同様であるのは勿論である。
図23は、画像A,画像A’,画像A’’についてブラウザ20でレンダリングすることにより画像データを生成した例とエンコーダブリッジ部30(詳しくは、エンコーダブリッジ部30の変換部10の分割部13)で分割された様子を示す模式図である。ここで、画像Aについては、1台の通信端末5のディスプレイで通常表示が可能であるため分割の必要はない。一方、図22(b)に示す画像A’を2台の通信端末に表示させるためには、画像A’をエンコーダブリッジ部30で2分割し、表示させるための処理を行うこととなる。また、図22(c)に示す画像A’’を3台の通信端末に表示させるためには、画像A’’をエンコーダブリッジ部30で3分割し、表示させるための処理を行うこととなる。なお、画像A’や画像A’’を1台の通信端末5のディスプレイに表示させる必要がある場合は、ブラウザ20またはエンコーダブリッジ部30で画像A’や画像A’’を縮小する処理を行って、配信するようにしても良い。
図24は、マルチディスプレイの概念図であって、ウェブサーバ8から取得した画像A’’をエンコーダブリッジ部30において分割(A’’1,A’’2,A’’3に3分割)して配信し、3台の通信端末5f1,5f2,5f3にそれぞれ表示させた例を示している。
また、図25は、配信管理システム2を介して2つの通信端末5f1,5f2にマルチディスプレイの処理を行う場合の通信の概念図である。なお、通信端末5f1と通信端末5f2は、同じ拠点にあるものとし、通信端末5f2にユーザが電子ペンで描画情報pを書き込んだ例を示している。図23に示されるような画像A’を分割して、画像A’1とA’2をそれぞれ通信端末5f1と通信端末5f2に表示させている。図9および図10と重複する機能については説明を省略する。
マルチディスプレイの処理では、配信管理システム2のブラウザ管理部22は、端末管理システム7から端末管理情報を取得する。次いで、ブラウザ20は、ブラウザ20の解像度を取得した端末管理情報に対応するものに変更する。ここで、端末管理情報は、少なくとも、図13の端末管理テーブルに示される「端末ID」と、当該端末IDに対応する「設置位置」と、通信端末の「解像度」(「実行環境情報」の一部)と、を含むものである。
次いで、ブラウザ20は、ウェブサーバ8から取得したコンテンツデータA’と、通信端末5f1から取得した描画情報pを結合してレンダリングすることで、映像データを生成する。そして、エンコーダブリッジ部30にて、エンコードおよび画面分割(A’1とA’2Pに分割)を行い、通信端末5f1,5f2にそれぞれ配信することでマルチディスプレイ表示を実現するものである。
以上の処理により、例えば、横長で表示させたい画像データについては、2つの通信端末のディスプレイに分割して表示させることができ、高い閲覧性を確保することができる。
{マルチディスプレイ処理}
以下、図26乃至図28のシーケンスチャートを参照して、マルチディスプレイの処理について説明する。ここでは、図25の例とは異なり、通信端末5aでA’’の表示及びマルチディスプレイの設定を行い、3台の通信端末5f1,5f2,5f3にマルチディスプレイ表示を行う例について説明する。なお、図26乃至図28は、図24に示されているマルチディスプレイの処理を示したシーケンス図である。また、ここでは、ウェブコンテンツを表示させるためのブラウザ20を「ブラウザ20a」と示し、ユーザへの設定画面を表示させるためのブラウザ20を「ブラウザ20b」と示す。更に、ここでは、図17のステップS30に相当する処理から説明する。
以下、図26乃至図28のシーケンスチャートを参照して、マルチディスプレイの処理について説明する。ここでは、図25の例とは異なり、通信端末5aでA’’の表示及びマルチディスプレイの設定を行い、3台の通信端末5f1,5f2,5f3にマルチディスプレイ表示を行う例について説明する。なお、図26乃至図28は、図24に示されているマルチディスプレイの処理を示したシーケンス図である。また、ここでは、ウェブコンテンツを表示させるためのブラウザ20を「ブラウザ20a」と示し、ユーザへの設定画面を表示させるためのブラウザ20を「ブラウザ20b」と示す。更に、ここでは、図17のステップS30に相当する処理から説明する。
まず、図26に示すように、配信管理システム2のブラウザ20aは、ウェブサーバ8から取得したウェブコンテンツデータ〔A’’〕をレンダリングして画像データを生成し、送信用FIFO24に出力する(ステップS201)。そして、変換部10が、送信用FIFO24に格納された画像データをエンコードすることで、通信端末5f1に配信すべき映像データ〔A’’〕に変換する(ステップS202)。
次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5aの再生制御部53に映像データ〔A’’〕を送信する(ステップS203)。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像データ〔A’’〕が出力され、レンダリング部55を介して、表示部58にて映像が再生される(ステップS204)。
次に、通信端末5aのユーザによって、表示部58上に表示されている画面が不図示のメニュー要求画面に切り替えられ、操作部52が、メニュー要求画面中の不図示の「配信先選択メニュー」ボタンの押下を受け付ける(ステップS205)。これにより、送受信部51が、端末管理システム7の送受信部71aに、配信先選択メニューへの切り替えを要求する(ステップS206)。これに対して、送受信部71bは、送受信部21を介して配信管理システム2のブラウザ管理部22に対し、ブラウザ20bの起動要求を行う(ステップS208)。
次に、エンコーダブリッジ部30の作成・選択部310は、ブラウザ20aから変換部10(例えば、変換部10a)への出力を、ブラウザ20bから変換部10(例えば、変換部10b)への出力に切り替える(ステップS209)。但し、通信端末5aが他の通信端末5(例えば、通信端末5b)と変換部10(例えば、変換部10a)を共有して上記ステップS203による映像(音)データを受信していた場合には、他の通信端末5(例えば、通信端末5b)はブラウザ20a用に変換部10(例えば、変換部10a)を利用中であるため、エンコーダブリッジ部30の作成・選択部310は、新たに変換部10(例えば、変換部10b)を作成する。
そして、ブラウザ20bは、送受信部21及び送受信部71bを介して、端末管理システム7の記憶部7000に、配信先選択メニューを要求する(ステップS210)。この際に、通信端末5aの端末IDも送信される。これに対して、端末管理システム7の記憶部7000では、この端末IDに基づいて記憶部7000に記憶されている利用可能端末管理テーブル7020を検索することにより、対応する共有IDを抽出する(ステップS211)。この共有IDは、通信端末5aが遠隔共通処理をするために利用可能な通信端末5を示している。ここでは、図13に示されているように、通信端末5aの端末IDが「t001」であるため、抽出される共有IDは「v003」、「v006」である。
更に、記憶部7000は、抽出した共有IDに基づいて端末管理テーブル7010を検索することにより、対応する表示名を示す表示名情報を抽出する(ステップS212)。ここでは、図12に示されているように、抽出された共有ID「v003」、「v006」に対応する表示名は、それぞれ「東京本社10F MFP」、「大阪展示場1F マルチディスプレイ」である。
そして、記憶部7000は、送受信部71b及び送受信部21を介して、ブラウザ20bにコンテンツデータとして配信先選択メニューのデータを送信する(ステップS213)。この配信先選択メニューは、図12に示されているように、チェックボックス、共有ID、及び表示名が含まれている。
次に、図27に示されているように、ブラウザ20bが、端末管理システム7から取得した配信先選択メニュー〔M〕を示すコンテンツデータをレンダリングして画像(音)データを生成し、送信用FIFO24に出力する(ステップS221)。そして、変換部10が、送信用FIFO24に格納された画像(音)データ〔M〕をエンコードすることで、通信端末5aに配信すべき映像(音)データ〔M〕に変換する(ステップS222)。
次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5aの再生制御部53に映像(音)データ〔M〕を送信する(ステップS223)。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像(音)データ〔M〕が出力され、レンダリング部55を介して、表示部58にて、図12に示されているような映像(音)が再生される(ステップS224)。
次に、ユーザによって共有ID「v006」のチェックボックスにチェックが入れられ、「OK」ボタンが押下されると(ステップS225)、操作部52が、送受信部51及び送受信部31を介してブラウザ管理部22に、操作データとしてチェック結果を送信する(ステップS226)。
次に、ブラウザ20bは、チェック結果から共有IDを選択する(ステップS227)。なお、共有IDの設定を、ユーザの指定によらず、端末ID「t006」,「t007」,「t008」が共有していることを通信端末が備える各種センサの検知結果(センサの検知結果が共通していること)に基づいて認識して、端末管理システム7が共有IDを発行するようにしても良い。
そして、ブラウザ20bは、送受信部21及び送受信部71bを介して、端末管理システム7の記憶部7000に配信先追加要求を行う(ステップS228)。この配信先追加要求には、上記ステップS227によって選択された共有IDが含まれている。そして、ブラウザ20bは、役目を終えて終了する(ステップS229)。これにより、エンコーダブリッジ部30の作成・選択部310は、ブラウザ20bから変換部10への出力を、ブラウザ20aから変換部10への出力に戻すよう切り替える(ステップS230)。なお、図26及び図27では、通信端末5aを用いて共有端末選択メニュー要求を行ったり、チェックボックスのチェックをしたりしているが、図1に示される通信端末5a以外でも処理することができる。
次に、図28に示されているように、端末管理システム7の記憶部7000では、上記ステップS228によって送られて来た共有IDに基づいて、端末管理テーブル7010を検索することにより、対応する端末ID、設置位置情報および当該通信端末の解像度を抽出する(ステップS241)。
次いで、端末管理システム7の記憶部7000は、送受信部71b及び送受信部21を介してブラウザ管理部22に、端末管理情報を送信することで、配信先の追加指示を行う(ステップS242)。この端末管理情報には、上記ステップS241によって抽出された端末ID、設置位置情報および当該通信端末の解像度が含まれている。ここでは、図13に示したように、端末ID及び設置位置情報が「t006」、「左」と、端末ID及び設置位置情報が「t007」、「中」と、端末ID及び設置位置情報が「t008」、「右」との3組の端末ID及び設置位置情報が含まれている。また、実行環境情報のうち通信端末の解像度が含まれている。
ブラウザ20aは、ブラウザ解像度を変換し(ステップS243)、ウェブサーバ8に対してコンテンツデータを要求する(ステップS244)。これを受けたウェブサーバ8は、コンテンツを読出し(ステップS245)、コンテンツデータ〔A’’〕をブラウザ20aに送る(ステップS246)。そして、ブラウザ20aは、コンテンツデータ〔A’’〕をレンダリングして画像データを生成し、送信用FIFO24に出力する(ステップS247)。コンテンツデータ〔A’’〕は、ステップS221で送信用FIFO24に格納されている画像データを用いても良い。
次に、エンコーダブリッジ部30の作成・選択部310は、マルチディスプレイ用の変換部10を作成する(ステップS248)。なお、この場合、エンコーダブリッジ部30の作成・選択部310は、ブラウザ管理部22から、端末ID及び設置位置情報を取得する。
そして、上記ステップS248によって作成された変換部10のリサイズ部12は、画像データ〔A’’〕の解像度と通信端末の解像度とを比較して、必要に応じて、拡大/縮小処理を実行する。また、分割部13が、送信用FIFO24に格納されている画像データ〔A’’〕を分割し、エンコード部19が、分割された各データ〔A’’1〕,〔A’’2〕,〔A’’3〕をエンコードすることで、通信端末5f1、通信端末5f2、通信端末5f3に配信すべき映像データ〔A’’1〕,〔A’’2〕,〔A’’3〕に変換する(ステップS249)。
そして、エンコーダブリッジ部30は、端末ID(「t006」)及び設置位置情報(「左」)に基づいて、送受信部31及び通信端末5f1の送受信部51を介して、通信端末5f1の再生制御部53に映像データ〔A’’1〕を送信する(ステップS250−1)。これにより、通信端末5f1では、再生制御部53からデコード部50に、映像データ〔A’’1〕が出力され、レンダリング部55を介して表示部58にて映像が再生される(ステップS251−1)。
また、同様にして、エンコーダブリッジ部30は、端末ID(「t007」)及び設置位置情報(「中」)に基づいて、送受信部31及び通信端末5f2の送受信部51を介して、通信端末5f2の再生制御部53に映像データ〔A’’2〕を送信する(ステップS250−2)。これにより、通信端末5f2は、再生制御部53からデコード部50に、映像データ〔A’’2〕が出力され、レンダリング部55を介して表示部58にて映像が再生される(ステップS251−2)。
更に、同様にして、エンコーダブリッジ部30は、端末ID(「t008」)及び設置位置情報(「右」)に基づいて、送受信部31及び通信端末5f3の送受信部51を介して、通信端末5f3の再生制御部53に映像データ〔A’’3〕を送信する(ステップS250−3)。これにより、通信端末5f3は、再生制御部53からデコード部50に、映像データ〔A’’3〕が出力され、レンダリング部55を介して表示部58にて映像が再生される(ステップS251−3)。
なお、コンテンツデータ〔A’’〕に対応する音データが含まれている場合については、上記のような分割処理をせずに、分割した画像データを出力するすべての通信端末に対して配信する(マルチキャスト、図4参照)ものであっても、予め設定されたいずれか1つの通信端末に対して配信するものであっても良い。また、画像データと同様に分割した後に、各通信端末に配信し、音データが順に出力されるようにしても良い。
また、図29(a)に示すように、通信端末5f1と通信端末5f2の2台に画像データA’を分割して配信するとともに、該画像データA’の全体を縮小表示させた全体像データAzを作成し、この全体像データAzを、少なくとも分割された画像データA’を配信するいずれかの通信端末に配信することも好ましい。
この全体像データAzを通信端末5f1に配信する際、ブラウザ20は、ウェブサーバ8から取得したコンテンツA’と全体像データのために縮小させたコンテンツAzを結合してレンダリングすることで、映像データを生成する。そして、エンコーダブリッジ部30にて、エンコードおよび画面分割(A’1AzとA’2に分割)を行い、通信端末5f1,5f2にそれぞれ配信することでマルチディスプレイ表示を実現するものである。これによって、通信端末5f1にはA’1だけでなく、全体像データAzも表示される。
また、図29(b)に示すように、全体像データAzを、画像データA’を配信する通信端末以外の通信端末に配信し、全体像データAzが表示された通信端末で画像データA’の全体像を把握可能とすることも好ましい。
この場合、ブラウザ20は、ウェブサーバ8から取得したコンテンツA’と全体像データのために縮小させたコンテンツAzを結合してレンダリングすることで、映像データを生成する。そして、エンコーダブリッジ部30にて、エンコードおよび画面分割(AzとA’1とA’2に分割)を行い、通信端末5f1,通信端末5f2、通信端末5f3にそれぞれ配信することでマルチディスプレイ表示を実現するものである。これによって、通信端末5f1には全体像データAzが表示され、通信端末5f2および通信端末5f3にそれぞれA’1とA’2が表示される。
このように全体像データを併せて配信することで、より閲覧性の高いマルチディスプレイ表示を実現することが可能となる。なお、全体像データAzは予めウェブサーバ8上で作成、保持されるものであっても、配信管理システム2において作成するものであってもよい。
以上、説明した本実施形態の配信システム1によれば、クラウド上で配信管理システム2がブラウザ20及びエンコード等を行うエンコーダブリッジ部30を有する。これにより、ブラウザ20が所定の記述言語で示されたコンテンツデータから映像データ又は音データを生成し、エンコーダブリッジ部30が通信ネットワーク9を介して配信することができるようにデータ形式を変換してから通信端末5に配信する。よって、通信端末5では、所定の記述言語で示されたコンテンツデータを受信する負荷、及び受信後に映像データ又は音データに変換する負荷が低減されるため、コンテンツのリッチ化に対応させるための負荷が高いという問題を解消することができる。
特に、ブラウザ20は、リアルタイムコミュニケーションを可能にし、変換部10は、ブラウザ20によって生成された映像(音)データに対してリアルタイムのエンコードを行う。よって、例えば、映像(音)データのオンデマンド配信のように、DVDプレーヤがリアルタイム性のない(つまり、予めエンコードされている)映像(音)データを選択して配信する場合とは異なり、配信管理システム2は、配信する直前に取得したコンテンツをレンダリングすることで映像(音)データを生成してからエンコードするため、リアルタイム性に優れた映像(音)データの配信を行うことができる。
また、表示範囲の大きな画像を複数の端末に分割して表示することができるため、ユーザにとっての閲覧性を向上させることができる。
尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。
例えば、本実施形態の配信システム1では、端末管理システム7と配信管理システム2とを互いに別個の装置として構成しているが、例えば、配信管理システム2に端末管理システム7の機能を持たせるなどにより、端末管理システム7と配信管理システム2とを一体の装置として構成するようにしてもよい。
また、上記実施形態における配信管理システム2、及び端末管理システム7は、単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
更に、上記実施形態の各プログラムが記憶されたCD−ROM等の記録媒体、並びに、これらプログラムが記憶されたHDD204は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
1 配信システム
2 配信管理システム(配信管理装置)
5 通信端末
7 端末管理システム
8 ウェブサーバ
9 通信ネットワーク
10 変換部(変換手段の一例)
11 トリミング部
12 リサイズ部
13 分割部
19 エンコード部
20 ブラウザ(生成手段の一例)
21 送受信部
22 ブラウザ管理部
23 クラウドブラウザ
24 送信用FIFOバッファ
30 エンコーダブリッジ部
31 送受信部(配信手段の一例)
2 配信管理システム(配信管理装置)
5 通信端末
7 端末管理システム
8 ウェブサーバ
9 通信ネットワーク
10 変換部(変換手段の一例)
11 トリミング部
12 リサイズ部
13 分割部
19 エンコード部
20 ブラウザ(生成手段の一例)
21 送受信部
22 ブラウザ管理部
23 クラウドブラウザ
24 送信用FIFOバッファ
30 エンコーダブリッジ部
31 送受信部(配信手段の一例)
Claims (8)
- 2以上の通信端末に通信ネットワークを介してデータを配信する配信管理システムであって、
所定の記述言語で示されたコンテンツデータを取得して、映像データを生成する生成手段と、
前記生成手段によって生成された前記映像データのデータ形式を、前記通信端末に配信できるデータ形式に変換する変換手段と、
前記変換手段によって変換された前記映像データを、前記通信端末に配信する配信手段と、を備え、
前記変換手段は、前記映像データを分割する分割部を有し、
前記配信手段は、前記分割部にて分割された映像データを、通信端末の設置位置情報および実行環境情報に基づいて、前記2以上の通信端末にそれぞれ配信する
ことを特徴とする配信管理システム。 - 前記変換手段は、前記実行環境情報に基づいて、前記映像データの拡大/縮小処理を行うことを特徴とする請求項1に記載の配信管理システム。
- 前記配信手段は、前記映像データに対応する音データを、前記2以上の通信端末のいずれか、または前記2以上の通信端末のすべてに配信することを特徴とする請求項1または2に記載の配信管理システム。
- 前記生成手段または前記変換手段は、前記分割された映像データとともに、該分割された映像データのそれぞれを合成して、全体を縮小させた全体像データを作成し、
前記配信手段は、前記全体像データを、前記2以上の通信端末のいずれかの通信端末に配信することを特徴とする請求項1から3までのいずれかに記載の配信管理システム。 - 前記生成手段または前記変換手段は、前記分割された映像データとともに、該分割された映像データのそれぞれを合成して、全体を縮小させた全体像データを作成し、
前記配信手段は、前記全体像データを、前記2以上の通信端末以外の通信端末に配信することを特徴とする請求項1から3までのいずれかに記載の配信管理システム。 - 請求項1から5までのいずれかに記載の配信管理システムと、
前記通信端末と、
を有することを特徴とする配信システム。 - 2以上の通信端末に通信ネットワークを介してデータを配信する配信管理システムが実行する配信管理方法であって、
前記配信管理システムは、
所定の記述言語で示されたコンテンツデータを取得して、映像データを生成する生成ステップと、
前記生成ステップによって生成された前記映像データのデータ形式を、前記通信端末に配信できるデータ形式に変換する変換ステップと、
前記変換ステップによって変換された前記映像データを、前記通信端末に配信する配信ステップと、を実行するものであって、
前記変換ステップは、前記映像データを分割するステップを有し、
前記配信ステップは、前記分割された映像データを、通信端末の設置位置情報および実行環境情報に基づいて、前記2以上の通信端末にそれぞれ配信する
ことを特徴とする配信管理方法。 - コンピュータに、請求項7に記載の各ステップを実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013189416A JP2015056046A (ja) | 2013-09-12 | 2013-09-12 | 配信管理システム、配信システム、配信管理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013189416A JP2015056046A (ja) | 2013-09-12 | 2013-09-12 | 配信管理システム、配信システム、配信管理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015056046A true JP2015056046A (ja) | 2015-03-23 |
Family
ID=52820404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013189416A Pending JP2015056046A (ja) | 2013-09-12 | 2013-09-12 | 配信管理システム、配信システム、配信管理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015056046A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102270764B1 (ko) * | 2020-02-07 | 2021-06-30 | 옵티시스 주식회사 | 비디오 월 시스템 |
US11558431B2 (en) | 2017-01-05 | 2023-01-17 | Ricoh Company, Ltd. | Communication terminal, communication system, communication method, and display method |
EP4369163A1 (en) * | 2022-11-14 | 2024-05-15 | Canon Kabushiki Kaisha | Communication apparatus, image generation system, control method of communication apparatus, control method of image generation system, and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007166204A (ja) * | 2005-12-13 | 2007-06-28 | Canon Inc | 映像配信装置、表示装置、及びコンピュータプログラム |
JP2009295016A (ja) * | 2008-06-06 | 2009-12-17 | Sharp Corp | 情報表示の制御方法、表示制御プログラムおよび情報表示装置 |
JP2012015596A (ja) * | 2010-06-29 | 2012-01-19 | Nippon Telegr & Teleph Corp <Ntt> | Htmlコンテンツ映像化装置およびその動作方法 |
JP2012050085A (ja) * | 2010-08-30 | 2012-03-08 | Hitachi Ltd | 管理サーバ、映像配信制御システム及び映像配信制御方法 |
JP2013009098A (ja) * | 2011-06-23 | 2013-01-10 | Ricoh Co Ltd | 多拠点テレビ会議システム |
-
2013
- 2013-09-12 JP JP2013189416A patent/JP2015056046A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007166204A (ja) * | 2005-12-13 | 2007-06-28 | Canon Inc | 映像配信装置、表示装置、及びコンピュータプログラム |
JP2009295016A (ja) * | 2008-06-06 | 2009-12-17 | Sharp Corp | 情報表示の制御方法、表示制御プログラムおよび情報表示装置 |
JP2012015596A (ja) * | 2010-06-29 | 2012-01-19 | Nippon Telegr & Teleph Corp <Ntt> | Htmlコンテンツ映像化装置およびその動作方法 |
JP2012050085A (ja) * | 2010-08-30 | 2012-03-08 | Hitachi Ltd | 管理サーバ、映像配信制御システム及び映像配信制御方法 |
JP2013009098A (ja) * | 2011-06-23 | 2013-01-10 | Ricoh Co Ltd | 多拠点テレビ会議システム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11558431B2 (en) | 2017-01-05 | 2023-01-17 | Ricoh Company, Ltd. | Communication terminal, communication system, communication method, and display method |
KR102270764B1 (ko) * | 2020-02-07 | 2021-06-30 | 옵티시스 주식회사 | 비디오 월 시스템 |
EP4369163A1 (en) * | 2022-11-14 | 2024-05-15 | Canon Kabushiki Kaisha | Communication apparatus, image generation system, control method of communication apparatus, control method of image generation system, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6354197B2 (ja) | 配信制御システム、配信制御方法、及びプログラム | |
JP6398215B2 (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
JP6354764B2 (ja) | 配信管理装置、配信方法、及びプログラム | |
JP6326855B2 (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
JP6337499B2 (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
JP6323048B2 (ja) | 配信システム、配信方法、及びプログラム | |
JP6369043B2 (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
JP6354195B2 (ja) | 配信システム、配信方法、及びプログラム | |
JP2014200076A (ja) | 配信制御システム、配信制御方法、及びプログラム | |
JP2014199648A (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
JP2014200074A (ja) | 配信制御システム、配信制御方法、及びプログラム | |
US20150082359A1 (en) | Distribution management apparatus and distribution management system | |
JP2014200075A (ja) | コンピュータシステム、配信制御システム、配信制御方法、及びプログラム | |
JP6589261B2 (ja) | 配信制御システム、配信制御方法、及びプログラム | |
JP2015056844A (ja) | 通信端末及び通信方法 | |
JP2015056046A (ja) | 配信管理システム、配信システム、配信管理方法、及びプログラム | |
WO2015045787A1 (ja) | 配信管理装置、端末及び配信管理方法 | |
JP2016063247A (ja) | 配信システム及び配信方法 | |
JP6442832B2 (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
JP6387623B2 (ja) | 配信制御システム | |
JP2016058812A (ja) | 配信制御システム、配信システム、配信制御システムの制御方法、及びプログラム | |
JP2015061107A (ja) | 配信管理装置、及び配信システム | |
JP2016004352A (ja) | 端末管理システム、端末管理方法、及びプログラム | |
JP6375638B2 (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
JP6197535B2 (ja) | 配信システム、配信方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170815 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180403 |