JP2016143236A - 配信制御装置、配信制御方法、及びプログラム - Google Patents

Abstract

【課題】映像の配信後も操作入力を表示して利便性を向上させる。【解決手段】通信端末５とネットワークを介して接続される配信制御装置２において、通信端末５から、利用者による操作を示す操作データを受信する送受信部３１と、当該操作がストロークの指示であった場合、操作データにおける通信端末５に入力された座標を座標蓄積部１２２に保存し、保存された座標からストロークを示すストロークデータを生成するホワイトボード制御部２２と、生成されたストロークデータをデータ管理部１２０に保存するとともに、ストロークをレンダリングしてフレームデータを生成するホワイトボード部２０と、を備え、送受信部３１は、生成されたフレームデータが配信可能なデータ形式に変換された変換後のフレームデータを通信端末５に送信する。【選択図】図７

Description

本発明は、配信制御装置、配信制御方法、及びプログラムに関する。

近年、インターネットの普及に伴い、様々な分野でクラウドコンピューティングが利用されてきている。クラウドコンピューティングは、ユーザが、インターネットに接続した通信端末を用いてインターネット上のサーバ（システム）が提供するサービス（クラウドサービス）を利用し、その対価を支払うサービス利用形態である。

映像データを配信するサービスを提供する場合、ビデオ圧縮技術により配信可能なデータ形式に変換した変換映像データを通信端末に配信している。このような技術を利用して、例えば、リモートインターラクションに応答してビデオコンテンツを配信するためのアーキテクチャーが開示されている（特許文献１参照）。当該アーキテクチャーは、連続するビデオフレームを対話形式である装置に対して通信するものである。

しかしながら、従来技術では、例えば、会議などにおいて、対話形式で映像が配信された通信端末に対してユーザによる手書き入力などの操作入力を受け付けた場合、当該操作入力を会議終了後に見ることができなかった。

本発明は、上記に鑑みてなされたものであって、映像の配信時におけるユーザによる操作入力を保存することで、映像の配信後も当該操作入力を表示して利便性を向上させる配信制御装置、配信制御方法、及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、通信端末とネットワークを介して接続される配信制御装置において、前記通信端末から、利用者による操作を示す操作データを受信する受信部と、前記操作がストロークの指示であった場合、前記操作データにおける前記通信端末に入力された座標を第１記憶部に保存し、保存された前記座標からストロークを示すストロークデータを生成するホワイトボード制御部と、生成された前記ストロークデータを第２記憶部に保存するとともに、前記ストロークをレンダリングして映像データを生成するホワイトボード部と、生成された前記映像データが配信可能なデータ形式に変換された変換映像データを前記通信端末に送信する送信部と、を備える。

本発明によれば、映像の配信後も当該操作入力を表示して利便性を向上させることができるという効果を奏する。

図１は、実施形態にかかる配信システムの概略図である。 図２は、基本的な配信方法を示した概念図である。 図３は、マルチキャストの概念図である。 図４は、マルチディスプレイの概念図である。 図５は、配信制御装置２を介して複数の通信端末を使った複合配信の概念図である。 図６は、実施形態にかかる配信制御装置及び端末管理装置のハードウェア構成図である。 図７は、実施形態にかかる配信制御装置の各機能を示す機能ブロック図である。 図８は、エンコーダブリッジ部の詳細図である。 図９は、変換部の各機能を示す機能ブロック図である。 図１０は、実施形態にかかる通信端末の各機能を示す機能ブロック図である。 図１１は、実施形態にかかる配信制御装置の基本的な配信処理を示したシーケンス図である。 図１２は、実施形態にかかる配信制御装置を介して複数の通信端末を使った配信の処理を示すシーケンス図である。 図１３は、本実施形態の配信制御装置のホワイトボード部によるレンダリング処理の流れを示すフローチャートである。 図１４は、メタストローク情報の一例を示す図である。

以下に添付図面を参照して、配信制御装置、配信制御方法、及びプログラムの実施形態を詳細に説明する。以下に示される「画像」には、静止画及び動画が含まれる。また、以下に示される「映像」は、基本的に動画を意味し、動画が停止されて静止画状態になった場合も含まれる。更に、静止画及び音のうち少なくとも一方を示す場合には、「静止画（音）」と示す。また、画像及び音のうち少なくとも一方を示す場合には、「画像（音）」と示す。映像及び音のうち少なくとも一方を示す場合には、「映像（音）」と示す。

＜システム構成＞
まず、配信システム１の構成について説明する。図１は、実施形態にかかる配信システムの概略図である。

図１に示されているように、本実施形態の配信システム１は、配信制御装置２、複数の通信端末（５ａ〜５ｆ）、及び端末管理装置７によって構築されている。以下では、複数の通信端末（５ａ〜５ｆ）のうち、任意の通信端末を「通信端末５」として表す。また、配信制御装置２及び端末管理装置７は、いずれもサーバコンピュータによって構築されている。

通信端末５は、配信システム１のサービスを受けるユーザが使用する端末である。このうち、通信端末５ａは、ノートＰＣ（Personal Computer）である。通信端末５ｂは、スマートフォンやタブレット端末等のモバイル端末である。通信端末５ｃは、コピー、スキャン、プリント、及びファックスの各機能が複合されたＭＦＰ（Multifunction Peripheral／Printer／Product）である。通信端末５ｄは、プロジェクタである。通信端末５ｅは、カメラ、マイク及びスピーカを備えたテレビ（ビデオ）会議端末である。通信端末５ｆは、ユーザ等によって描かれた内容を電子的に変換することが可能な電子黒板（ホワイトボード）である。

なお、通信端末５は、図１に示されているような端末だけでなく、腕時計、自動販売機、ガスメータ、カーナビゲーション装置、ゲーム機、エアコン、照明器具、カメラ単体、マイク単体、スピーカ単体等であって、インターネット等の通信ネットワークを介して通信可能な装置であってもよい。

また、配信制御装置２、通信端末５、及び端末管理装置７は、インターネットやＬＡＮ（Local Area Network）等の通信ネットワーク９によって通信することができる。この通信ネットワーク９には、３Ｇ（3rd Generation）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＬＴＥ（Long Term Evolution）等の無線通信によるネットワークも含まれる。

通信端末５によっては、通信端末５ｄ等のように、通信ネットワーク９を介して他の端末やシステムと通信する機能を有していないものがある。しかし、ユーザが通信端末５ｄのＵＳＢ（Universal Serial Bus）やＨＤＭＩ（登録商標）（High−Definition Multimedia Interface）のインターフェース部にドングルを差し込むことで、通信端末５ｄは通信ネットワーク９を介して他の端末やシステムと通信可能となる。

また、配信制御装置２は、ホワイトボード部２０を有する。ホワイトボード部２０におけるレンダラ（Renderer）の機能が、所定の記述言語で示された単一又は複数のコンテンツデータを取得して、レンダリングする。これにより、ＲＧＢ（Red Green Blue）によるビットマップデータ等の静止画データやＰＣＭ（Pulse Code Modulation）データ等の音データ（即ち、静止画（音）データ）としてのフレームデータを生成することができる。コンテンツデータは、任意の通信端末等から取得されたデータであって、ＨＴＭＬ（Hypertext Markup Language）やＣＳＳ（Cascading Style Sheets）による画像（音）データ、ＭＰ４（MPEG-4）による画像（音）データ、ＡＡＣ（Advanced Audio Coding）による音データ等が含まれる。

更に、配信制御装置２は、エンコード部１９を有し、エンコード部１９がエンコーダとしての役割を果たすことにより、静止画（音）データとしての各フレームデータを、Ｈ.２６４（MPEG-4 AVC）、Ｈ.２６５、Ｍｏｔｉｏｎ ＪＰＥＧ等の圧縮符号化方式の映像（音）データに変換する。

一方、端末管理装置７は、通信端末５のログイン認証を行ったり、通信端末５の契約情報等の管理を行ったりする。また、端末管理装置７は、電子メールを送信するためのＳＭＴＰ（Simple Mail Transfer Protocol）サーバの機能を有している。端末管理装置７は、例えば、クラウドのサービス（ＩａａＳ:Infrastructure as a Service）上に展開される仮想マシンとして実現することができる。端末管理装置７は、不測の事態に対応して継続的なサービスを提供するために、多重化して運用することが望ましい。

また、ホワイトボード部２０は、リアルタイムコミュニケーション（ＲＴＣ：Real−time communication／collaboration）を可能にしている。更に、配信制御装置２は後述の図９におけるエンコード部１９を有しており、このエンコード部１９は、ホワイトボード部２０によって出力されたフレームデータに対して、リアルタイムのエンコードを行い、Ｈ.２６４の規格等に基づく変換により生成された映像（音）データを出力することができる。そのため、配信制御装置２の処理は、ＤＶＤプレーヤによって、ＤＶＤに記録されているリアルタイム性のない映像（音）データを読み出して配信する場合等とは異なる。

なお、配信制御装置２だけでなく、通信端末５もホワイトボード部を有してもよい。この場合、配信制御装置２のホワイトボード部２０を最新化することで、各通信端末５のホワイトボード部を起動させる必要はなくなる。

＜各種配信方法＞
次に、各種配信方法について説明する。

（基本配信）
図２は、基本的な配信方法を示した概念図である。配信システム１では、図２に示されているように、配信制御装置２のホワイトボード部２０が、任意の通信端末等から画像（音）データとしてのコンテンツデータ〔Ａ〕を取得してレンダリングすることにより、静止画（音）データとしての各フレームデータ〔Ａ〕を生成する。そして、エンコード部１９を含むエンコーダブリッジ部３０が、各フレームデータ〔Ａ〕をエンコード等することによりＨ.２６４等の圧縮符号化方式の映像（音）データ〔Ａ〕（送信データの一例）に変換する。配信制御装置２は、変換された後の映像（音）データ〔Ａ〕を通信端末５に配信する。

更に、配信システム１は、上述の配信方法を応用し、コンテンツデータを複数の拠点に映像（音）データとして配信することも可能である。以下に、図３〜図５を参照してコンテンツデータを複数の拠点に配信する方法について説明する。

（マルチキャスト）
図３は、マルチキャストの概念図である。図３に示されているように、配信制御装置２のホワイトボード部２０は、任意の通信端末等から画像（音）データとしてのコンテンツデータ〔Ａ〕を取得してレンダリングすることにより、静止画（音）データとしての各フレームデータ〔Ａ〕を生成する。そして、エンコーダブリッジ部３０が、各フレームデータ〔Ａ〕をエンコードして、映像（音）データに変換する。その後、配信制御装置２は、映像（音）データ〔Ａ〕（送信データの一例）を複数の通信端末（５ｆ１，５ｆ２，５ｆ３）に配信する。

以上により、複数の拠点では、同じ映像（音）が再生される。この場合、通信端末（５ｆ１，５ｆ２，５ｆ３）は同じ表示再生能力（解像度が同じ等）を有する必要はない。このような配信方法は、例えば「マルチキャスト」と呼ぶ。

（マルチディスプレイ）
図４は、マルチディスプレイの概念図である。図４に示されているように、配信制御装置２のホワイトボード部２０は、任意の通信端末等から画像（音）データとしてのコンテンツデータ〔ＸＹＺ〕を取得してレンダリングすることにより、静止画（音）データとしての各フレームデータ〔ＸＹＺ〕を生成する。そして、エンコーダブリッジ部３０が、フレームデータ〔ＸＹＺ〕毎に、複数のフレームデータ（〔Ｘ〕，〔Ｙ〕，〔Ｚ〕）に分割した後にエンコードすることで、複数の映像（音）データ（〔Ｘ〕，〔Ｙ〕，〔Ｚ〕）に変換する。その後、配信制御装置２は、映像（音）データ〔Ｘ〕（送信データの一例）を通信端末５ｆ１に配信する。また、同じように、配信制御装置２は、映像（音）データ〔Ｙ〕（送信データの一例）を通信端末５ｆ２に配信し、映像（音）データ〔Ｚ〕（送信データの一例）を通信端末５ｆ３に配信する。

以上により、例えば、横長のコンテンツ〔ＸＹＺ〕であっても、複数の通信端末５で分割して映像（音）が再生されるため、通信端末（５ｆ１，５ｆ２，５ｆ３）を一列に並べて設置すれば、１つの大きな映像を再生させることと同様の効果を得ることができる。この場合、通信端末（５ｆ１，５ｆ２，５ｆ３）は同じ表示再生能力（解像度が同じ等）を有する必要がある。このような配信方法は、例えば「マルチディスプレイ」と呼ぶ。

（複合配信）
図５は、配信制御装置２を介して複数の通信端末を使った複合配信の概念図である。図５に示されているように、第１の拠点（図５の右側）では、電子黒板としての通信端末５ｆ１及びテレビ会議端末としての通信端末５ｅ１が利用され、第２の拠点（図５の左側）では、同じく電子黒板としての通信端末５ｆ２、及びテレビ会議端末としての通信端末５ｅ２が利用されている。また、第１の拠点では、通信端末５ｆ１にストロークによる文字等を描画させるための電子ペンＰ１が利用され、第２の拠点では、通信端末５ｆ２にストロークによる文字等を描画させるための電子ペンＰ２が利用されている。

そして、第１の拠点において、通信端末５ｅ１によって取得された映像（音）データは、エンコード部６０でエンコードされた後に、配信制御装置２に送信される。その後、配信制御装置２のデコード部４０でデコードされて、ホワイトボード部２０に入力される。また、電子ペンＰ１によって通信端末５ｆ１に描かれたストロークを示す操作データ（この場合、通信端末５ｆ１のディスプレイ上における座標データ等）は、配信制御装置２に送信され、ホワイトボード部２０に入力される。

一方、第２の拠点においても、通信端末５ｅ２によって取得された映像（音）データは、エンコード部６０でエンコードされた後に、配信制御装置２に送信される。その後、配信制御装置２のデコード部４０でデコードされて、ホワイトボード部２０に入力される。また、電子ペンＰ２によって通信端末５ｆ２に描かれたストロークを示す操作データ（この場合、通信端末５ｆ２のディスプレイ上における座標データ等）は、配信制御装置２に送信され、ホワイトボード部２０に入力される。

一方、ホワイトボード部２０は、例えば、任意の通信端末等から通信端末（５ｆ１，５ｆ２）のそれぞれのディスプレイに表示される背景画像であるコンテンツデータ〔Ａ〕を取得する。そして、ホワイトボード部２０は、コンテンツデータ〔Ａ〕、操作データ（〔ｐ１〕，〔ｐ２〕）及び映像（音）コンテンツデータ（〔Ｅ１〕，〔Ｅ２〕）を結合してレンダリングすることで、各コンテンツ（〔Ａ〕，〔ｐ１〕，〔ｐ２〕，〔Ｅ１〕，〔Ｅ２〕）が所望のレイアウトに設置された静止画（音）データとしてのフレームデータを生成する。そして、エンコーダブリッジ部３０は、各フレームデータをエンコードし、配信制御装置２が各拠点に同じコンテンツ（〔Ａ〕，〔ｐ１〕，〔ｐ２〕，〔Ｅ１〕，〔Ｅ２〕）を示す映像（音）データ（送信データの一例）を配信する。

これにより、第１の拠点では、通信端末５ｆ１のディスプレイ上に、映像（〔Ａ〕、〔ｐ１〕、〔ｐ２〕、〔Ｅ１（映像部分）〕及び〔Ｅ２（映像部分）〕）が表示されると共に、通信端末５ｅ１のスピーカから音〔Ｅ２（音部分）〕が出力される。一方、第２の拠点でも、通信端末５ｆ２のディスプレイ上に、映像（〔Ａ〕、〔ｐ１〕、〔ｐ２〕、〔Ｅ１（映像部分）〕及び〔Ｅ２（映像部分）〕）が表示されると共に、通信端末５ｅ２のスピーカから音〔Ｅ１（音部分）〕が出力される。

第１の拠点では、通信端末５ｆ１のエコーキャンセル機能により、自拠点の音〔Ｅ１（音部分）〕は出力されない。一方、第２の拠点では、通信端末５ｆ２のエコーキャンセル機能により、自拠点の音〔Ｅ２（音部分）〕は出力されない。

以上により、第１の拠点と第２の拠点とでは、遠隔地間においてリアルタイムで同じ情報を共有する遠隔共有処理を行うことができるため、本実施形態の配信システム１は遠隔会議等に有効である。

＜ハードウェア構成＞
図６を用いて、本実施形態にかかる装置のハードウェア構成を説明する。図６は、実施形態にかかる配信制御装置及び端末管理装置のハードウェア構成図である。

まず、配信制御装置２について説明する。図６に示されているように、配信制御装置２は、配信制御装置２全体の動作を制御する（ホスト）ＣＰＵ（Central Processing Unit）２０１、ＩＰＬ（Initial Program Loader）等のＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ（Read Only Memory）２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ（Random Access Memory)２０３、プログラム等の各種データを記憶するＨＤＤ（Hard Disk Drive）２０４、ＣＰＵ２０１の制御にしたがってＨＤＤ２０４に対する各種データの読み出し又は書き込みを制御するＨＤＣ（Hard Disk Controller）２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ２０７、各種情報を表示するディスプレイ２０８、通信ネットワーク９を利用してデータ送信したりドングルを接続したりするためのＩ／Ｆ２０９、キーボード２１１、マウス２１２、マイク２１３、スピーカ２１４、ＧＰＵ（Graphics Processing Unit）２１５、ＧＰＵ２１５の駆動に用いられるプログラムを記憶したＲＯＭ２１６、ＧＰＵ２１５のワークエリアとして使用されるＲＡＭ２１７、上記各構成要素を図６に示されているように電気的に接続するためのアドレスバスやデータバス等の拡張バスライン２２０を備えている。なお、プロジェクタとしての通信端末５ｄのように、ＧＰＵが備えられていない場合もある。また、端末管理装置７のハードウェア構成は、配信制御装置２のハードウェア構成と同様であるため、それらの説明を省略する。

＜機能構成＞
次に、図７〜１０を用いて、本実施形態にかかる装置の機能構成について説明する。

（配信制御装置の機能構成）
まずは、図７を用いて、配信制御装置２の機能構成について説明する。図７は、実施形態にかかる配信制御装置の各機能を示す機能ブロック図である。図７では、配信制御装置２が通信端末５ｆ１に対して映像（音）データを配信する場合の機能構成が示されているが、配信先が通信端末５ｆ１以外の場合も、同じ機能構成を有する。なお、配信制御装置２は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。

図７に示されているように、配信制御装置２は、図６に示されているＣＰＵ２０１又はＧＰＵ２１５であるプロセッサ等のハードウェア構成及びプログラムによって、図７に示されている各機能構成を有する。

具体的に、配信制御装置２は、ホワイトボード部２０、送受信部２１、ホワイトボード制御部２２、送信用ＦＩＦＯ（First-In First-Out）２４、時刻管理部２５、時刻取得部２６、回線適応制御部２７、エンコーダブリッジ部３０、送受信部３１、受信用ＦＩＦＯ３４、認識部３５、遅延情報取得部３７ａ、回線適応制御部３７ｂ、及びデコード部４０を有している。

更に、配信制御装置２は、図６に示されているＨＤＤ２０４によって構築される記憶部２０００、座標蓄積部１２２、及びデータ管理部１２０を有している。この記憶部２０００には、認識部３５から出力されホワイトボード制御部２２を介して送られた後述の認識情報が記憶される。ホワイトボード部２０が取得したコンテンツデータは、キャッシュとして、記憶部２０００に一時的に記憶しておくこともできる。座標蓄積部１２２は、通信端末５に入力された座標が記憶される。また、データ管理部１２０は、当該座標から生成されたストロークを示すストロークデータが記憶される。

送受信部２１は、端末管理装置７や任意の通信端末との間で、各種データ、各種要求、各種指示等の送受信を行う。例えば、送受信部２１は、任意の通信端末からコンテンツデータを取得する。また、送受信部２１は、端末管理装置７から取得した各種データを配信制御装置２内の各機能構成に出力したり、端末管理装置７から取得した各種データ、各種要求、又は各種指示等に基づいて配信制御装置２内の各機能構成を制御したりする。例えば、送受信部２１は、端末管理装置７からの配信の切替え要求に基づいて、図８に示されているエンコーダブリッジ部３０内の各構成の組み合わせの切替えを行う。

ホワイトボード制御部２２は、ホワイトボード部２０の制御を行う。具体的には、ホワイトボード制御部２２は、送受信部３１を介して通信端末５から、ユーザによる操作を示す各種操作データを取得し、ホワイトボード部２０に出力する。操作データは、通信端末５での操作イベント（キーボード２１１やマウス２１２等による操作や電子ペンＰによるストローク等）によって生じたデータである。ユーザによる操作がストロークコマンド（ストロークの指示）であった場合、ホワイトボード制御部２２は、操作データにおける通信端末５のディスプレイに入力された座標を、座標蓄積部１２２に保存する。そして、ホワイトボード制御部２２は、座標蓄積部１２２に保存されて蓄積した全ての座標から、ユーザからの操作によるストロークを示すストロークデータを生成し、ホワイトボード部２０に出力する。

また、ホワイトボード制御部２２は、ユーザによる操作がページコマンド（ページの追加指示）であった場合、追加されたページをホワイトボード部２０に出力する。また、ホワイトボード制御部２２は、ユーザによる操作が画像コマンド（画像の追加指示）であった場合、追加された画像をホワイトボード部２０に出力する。また、ホワイトボード制御部２２は、ユーザによる操作がいずれでもなかった場合、マウスイベントとしてホワイトボード部２０に出力する。

また、通信端末５に、温度センサ、湿度センサ、及び加速度センサ等の各種センサが設けられている場合には、ホワイトボード制御部２２は、通信端末５から各センサの出力信号であるセンサ情報を取得し、ホワイトボード部２０に出力する。更に、ホワイトボード制御部２２は、認識部３５から画像（音）データを取得してホワイトボード部２０に出力したり、認識部３５から後述の認識情報を取得して記憶部２０００に記憶したりする。また、ホワイトボード制御部２２は、受信用ＦＩＦＯ３４から映像（音）データを取得してホワイトボード部２０に出力する。

ホワイトボード部２０は、レンダラの機能によって、画像（音）データとしてのコンテンツデータ等をレンダリングすることにより、静止画（音）データとしての各フレームデータを生成する。また、レンダラは、図５に示されているように、複数種類のコンテンツ（〔ｐ１〕，〔ｐ２〕，〔Ｅ１〕，〔Ｅ２〕）のレイアウトを行うレイアウトエンジン（Layout Engine）でもある。

また、ホワイトボード部２０は、ホワイトボード制御部２２により生成されたストロークデータを取得すると、データ管理部１２０に保存する。このときホワイトボード部２０は、ストロークデータを例えばＰＤＦ（Portable Document Format）形式で保存する。そして、ホワイトボード部２０は、取得したストロークデータをレンダリングすることにより、静止画（音）データとしてのフレームデータを生成する。この時、ホワイトボード部２０は、既に取得しているコンテンツデータがあった場合、当該コンテンツデータに対して、操作データであるストロークデータを結合したレイアウトにして出力する。

また、ホワイトボード部２０は、ユーザによる操作がページコマンド（ページの追加指示）であった場合、取得したページをデータ管理部１２０に保存する。また、ホワイトボード部２０は、ユーザによる操作が画像コマンド（画像の追加指示）であった場合、取得した画像をデータ管理部１２０に保存する。

送信用ＦＩＦＯ２４は、ホワイトボード部２０で生成された静止画（音）データとしての各フレームデータを格納するバッファである。

時刻管理部２５は、配信制御装置２独自の時刻Ｔを管理している。

時刻取得部２６は、後述の通信端末５における時刻制御部５６と連携して、時刻調整の処理を行う。具体的には、時刻取得部２６は、時刻管理部２５から配信制御装置２における時刻Ｔを示す時刻情報（Ｔ）を取得したり、送受信部３１及び送受信部５１を介して、後述の時刻制御部５６から通信端末５における時刻ｔを示す時刻情報（ｔ）を受信したり、時刻制御部５６に時刻情報（ｔ）及び時刻情報（Ｔ）を送信する。

回線適応制御部２７は、送信遅延時間情報（Ｄ）に基づいて、再生遅延時間Ｕを計算したり、エンコーダブリッジ部３０における変換部１０のフレームレートやデータの解像度等の動作条件を計算したりする。この再生遅延時間Ｕは、再生までにデータがバッファリングされることで、再生を遅延させるための時間である。つまり、回線適応制御部２７は、送信遅延時間情報（Ｄ）とデータのサイズ（ビット数やバイト数等）に基づき、エンコーダブリッジ部３０の動作を変更する。この送信遅延時間情報（Ｄ）は、通信端末５における遅延情報取得部５７が再生制御部５３から取得した複数の送信遅延時間Ｄ１によって構成された度数分布情報を示す。各送信遅延時間Ｄ１は、映像（音）データが配信制御装置２によって送信されてから通信端末５によって受信されるまでの時間を示す。

エンコーダブリッジ部３０は、ホワイトボード部２０が生成した静止画（音）データとしての各フレームデータを、エンコーダブリッジ部３０における変換部１０（図８参照）に出力する。この際、変換部１０は、回線適応制御部２７で計算された動作条件を考慮して各処理を行なう。エンコーダブリッジ部３０については、図８及び図９を用いて、更に詳細に説明する。図８は、エンコーダブリッジ部の詳細図である。また、図９は、変換部の各機能を示す機能ブロック図である。

図８に示されているように、エンコーダブリッジ部３０は、作成・選択・転送部３１０、及び選択部３２０と、これらの間に複数の変換部（１０ａ，１０ｂ，１０ｃ）が構築されている。ここでは、３つの変換部を示したが、いくつであってもよい。以下、任意の変換部を「変換部１０」として表す。

更に、変換部１０は、ホワイトボード部２０によって生成された静止画（音）データとしての各フレームデータのデータ形式を、通信ネットワーク９を介して通信端末５に配信できるＨ.２６４等のデータ形式に変換する。そのため、変換部１０は、図９に示されているように、トリミング部１１、リサイズ部１２、分割部１３、及びエンコード部１９を有することで、フレームデータに各種処理を施す。トリミング部１１、リサイズ部１２、及び分割部１３は、音データの場合は、処理を行わない。

このうち、トリミング部１１は、静止画の一部だけを切り出す処理を行う。リサイズ部１２は、静止画の縮尺を変更する。分割部１３は、図４に示されているように、静止画を分割する。

また、エンコード部１９は、ホワイトボード部２０で生成された、静止画（音）データとしての各フレームデータをエンコードすることにより、通信ネットワーク９を介して通信端末５に映像（音）データを配信できるように変換する。また、エンコード部１９は、映像が動かなければ（フレーム間で更新（変化）がなければ）、以降、映像が動くまでスキップフレーム（「フレームスキップ」ともいう）データを挿入することで帯域をセーブする。

なお、レンダリングにより静止画データと共に音データが生成される場合には、これら両方のデータがエンコードされるが、音データだけが生成される場合には、トリミングやリサイズ、分割は行われることはなく、エンコードだけが行われてデータ圧縮される。

また、作成・選択・転送部３１０は、新たに変換部１０を作成したり、既に作成されている変換部１０に対して入力させる静止画（音）データとしてのフレームデータを選択したり、変換部１０にフレームデータを転送したりする。作成する場合としては、作成・選択・転送部３１０は、通信端末５における映像（音）データの再生能力に応じた変換が可能な変換部１０を作成する。また、選択する場合としては、作成・選択・転送部３１０は、既に作成されている変換部１０を選択する。例えば、通信端末５ａへの配信に加えて通信端末５ｂへの配信を開始するにあたって、通信端末５ａへ配信している映像（音）データと同じ映像（音）データを通信端末５ｂへ配信する場合がある。このような場合で、更に、通信端末５ｂが通信端末５ａにおける映像（音）データの再生能力と同じ再生能力を有する場合には、作成・選択・転送部３１０は通信端末５ｂ用に新たな変換部１０ｂを作成せずに、通信端末５ａ用に既に作成している変換部１０ａを利用する。また、転送する場合としては、作成・選択・転送部３１０は、送信用ＦＩＦＯ２４に記憶されているフレームデータを、変換部１０に転送する。

一方、選択部３２０は、既に作成されている変換部１０から所望のものを選択する。これら作成・選択・転送部３１０と選択部３２０による選択によって、図５に示したような様々なパターンの配信を行うことができる。

図７に戻り、送受信部３１は、通信端末５との間で、各種データや要求等の送受信を行う。この送受信部３１が、クラウド上から通信ネットワーク９を介して通信端末５に各種データや要求等を送信することで、配信制御装置２は通信端末５に対して、各種データや要求等を配信することができる。

例えば、送受信部３１は、通信端末５のログイン処理において、通信端末５の送受信部５１に対し、ユーザにログイン要求を促すための認証画面データを送信する。また、送受信部３１は、通信端末５から、ユーザによる操作を示す操作データを受信する。さらに、送受信部３１は、変換部１０によって静止画（音）データとしての各フレームデータが通信ネットワーク９を介して通信端末５に配信可能なデータ形式に変換されたフレームデータ（変換映像データ）を通信端末５に送信する。送受信部３１が、受信部と送信部に相当する。

その他に、送受信部３１は、ＨＴＴＰＳ（Hypertext Transfer Protocol over Secure Socket Layer）サーバを介して配信システム１独自のプロトコルにより、通信端末５のユーザアプリや通信端末５のデバイスアプリへのデータ送信およびデータ受信を行う。この独自のプロトコルは、配信制御装置２と通信端末との間でリアルタイムに途切れることなくデータを送受信するためのＨＴＴＰＳベースのアプリケーション層プロトコルである。また、送受信部３１は、送信レスポンス制御、リアルタイムのデータ作成、コマンド送信、受信レスポンス制御、受信データ分析、及びジェスチャ変換を行う。

このうち、送信レスポンス制御は、配信制御装置２から通信端末５にデータを送信するために、通信端末５からリクエスト（要求）されたダウンロード用のＨＴＴＰＳセッションを管理する処理である。このダウンロード用のＨＴＴＰＳセッションのレスポンスはすぐに終了せず、一定時間（１〜数分）保持する。送受信部３１は、通信端末５に送るデータを動的にレスポンスのＢｏｄｙ部に書き込む。また、再接続のコストをなくすため、通信端末５からは前のセッションが終了しないうちに別のリクエストが届くようにする。送受信部３１を、前のリクエストが完了するまで待機させておくようにすることで、再接続を行っても、オーバヘッドを削除することができる。

リアルタイムのデータ作成は、図９におけるエンコード部１９で生成された圧縮映像（および圧縮音）のデータに独自のヘッダを付与して、ＨＴＴＰＳのＢｏｄｙ部に書き込む処理である。

コマンド送信は、通信端末５に送信するコマンドデータを生成し、通信端末５へのＨＴＴＰＳのＢｏｄｙ部に書き込む処理である。

受信レスポンス制御は、配信制御装置２が通信端末５からデータを受信するために、通信端末５からリクエストされたＨＴＴＰＳセッションを管理する処理である。このＨＴＴＰＳセッションのレスポンスはすぐに終了せず、一定時間（１〜数分）保持される。通信端末５は、配信制御装置２の送受信部３１に送るデータを動的にリクエストのＢｏｄｙ部に書き込む。

受信データ分析は、通信端末５から送られてきたデータを種別ごとに分析し、必要なプロセスにデータを渡す処理である。

ジェスチャ変換は、ユーザが電子黒板としての通信端末５ｆに電子ペンや手書きにより入力したジェスチャイベントを、ホワイトボード部２０が受け取れる形式のデータに変換する処理である。

また、受信用ＦＩＦＯ３４は、デコード部４０でデコードされた後の映像（音）データを格納するバッファである。

認識部３５は、通信端末５から受信する画像（音）データに対しての処理を行う。具体的には、認識部３５は、例えば、サイネージ向けにカメラ６２で撮影された画像から人や動物の顔、年齢、及び性別などを認識する。また、認識部３５は、オフィス向けに、カメラ６２で撮影された画像から顔認識による名前タグ付けや背景画像の差し替え処理などを行う。認識部３５は、認識した内容を示す認識情報を記憶部２０００に記憶させる。この認識部３５は、認識拡張ボードで処理を行うことで高速化が実現される。

遅延情報取得部３７ａは、下り用の回線適応制御の処理に用いられる通信端末５側の遅延情報取得部５７に対応して、上り用の回線適応制御の処理に用いられる。具体的には、遅延情報取得部３７ａは、デコード部４０から送信遅延時間ｄ１を示す送信遅延時間情報（ｄ１）を取得して一定時間保持しておき、複数の送信遅延時間情報（ｄ１）を取得したところで、回線適応制御部３７ｂに、複数の送信遅延時間ｄ１による度数分布情報を示す送信遅延時間情報（ｄ）を出力する。送信遅延時間情報（ｄ１）は、映像（音）データが通信端末５によって送信されてから配信制御装置２によって受信されるまでの時間を示す。

回線適応制御部３７ｂは、下り用の回線適応制御の処理に用いられる回線適応制御部２７に対応して、上り用の回線適応制御の処理に用いられる。具体的には、回線適応制御部３７ｂは、送信遅延時間情報（ｄ）に基づいて、通信端末５側のエンコード部６０の動作条件を計算する。また、回線適応制御部３７ｂは、送受信部３１及び送受信部５１を介して通信端末５のエンコード部６０に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する。

デコード部４０は、通信端末５から送信されて来た映像（音）データをデコードする。また、デコード部４０は、送信遅延時間ｄ１を示す送信遅延時間情報（ｄ１）を遅延情報取得部３７ａに出力する。

（通信端末の機能構成）
次に、図１０を用いて、通信端末５の機能構成について説明する。図１０は、実施形態にかかる通信端末の各機能を示す機能ブロック図である。通信端末５は、ユーザが配信システム１へのログインや映像（音）データの配信の開始又は停止などを行うためのインターフェースとなる端末である。

図１０に示されているように、通信端末５は、図６に示されているＣＰＵ２０１等のハードウェア構成及びプログラムによって、図１０に示されている各機能構成を有する。ドングルを差し込まれることで通信端末５が通信ネットワーク９を介して他の端末やシステムと通信可能となる場合には、図６に示されているハードウェア構成及びプログラムによって、図１０に示されている各機能構成を有する。

具体的に、通信端末５は、デコード部５０、送受信部５１、操作部５２、再生制御部５３、レンダリング部５５、時刻制御部５６、遅延情報取得部５７、表示部５８、及びエンコード部６０を有している。更に、通信端末５は、図６に示されているＲＡＭ２０３によって構築される記憶部５０００を有している。この記憶部５０００には、後述の時刻差Δを示す時刻差情報（Δ）、及び通信端末５における時刻ｔを示す時刻情報（ｔ）が記憶される。

このうち、デコード部５０は、配信制御装置２から配信され、再生制御部５３から出力された映像（音）データをデコードする。デコードした映像（音）データに音声が含まれている場合は、スピーカ６１により出力する。

送受信部５１は、配信制御装置２の送受信部３１、及び端末管理装置７との間で、各種データや要求等の送受信を行う。例えば、送受信部５１は、通信端末５のログイン処理において、操作部５２による通信端末５の起動に基づき、端末管理装置７にログイン要求を行う。

操作部５２は、ユーザの操作入力を受け付ける処理を行い、例えば、電源スイッチ、キーボード、マウス、電子ペンＰ等による入力や選択等を受け付け、操作データとして配信制御装置２のホワイトボード制御部２２に送信する。

再生制御部５３は、送受信部５１から受けた映像（音）データ（リアルタイムデータのパケット）をバッファリングし、再生遅延時間Ｕを考慮してデコード部５０に出力する。また、再生制御部５３は、送信遅延時間Ｄ１を示す送信遅延時間情報（Ｄ１）を算出し、遅延情報取得部５７に出力する。

レンダリング部５５は、デコード部５０によってデコードされたデータをレンダリングする。

時刻制御部５６は、配信制御装置２の時刻取得部２６と連携して、時刻調整の処理を行う。具体的には、時刻制御部５６は、記憶部５０００から通信端末５における時刻ｔを示す時刻情報（ｔ）を取得する。また、時刻制御部５６は、送受信部５１及び送受信部３１を介して、配信制御装置２の時刻取得部２６に、配信制御装置２における時刻Ｔを示す時刻情報（Ｔ）を要求する。この場合、時刻情報（Ｔ）の要求と共に、時刻情報（ｔ）が送信される。

遅延情報取得部５７は、再生制御部５３から送信遅延時間Ｄ１を示す送信遅延時間情報（Ｄ１）を取得して一定時間保持しておき、複数の送信遅延時間情報（Ｄ１）を取得したところで、送受信部５１及び送受信部３１を介して回線適応制御部２７に、複数の送信遅延時間Ｄ１による度数分布情報を示す送信遅延時間情報（Ｄ）を送信する。送信遅延時間情報（Ｄ）は、例えば、１００フレームに１回送信される。

表示部５８は、レンダリング部５５によってレンダリングされたデータを再生する。

エンコード部６０は、内蔵されたマイク２１３や、外付けのカメラ６２及びマイク６３から取得してエンコードした映像（音）データ〔Ｅ〕と、記憶部５０００から取得した現時点の通信端末５における時刻ｔ０を示す時刻情報（ｔ０）と、同じく記憶部５０００から取得した時刻差Δを示す時刻差情報（Δ）を、送受信部５１及び送受信部３１を介して、配信制御装置２のデコード部４０に送信する。時刻差Δとは、配信制御装置２独自で管理されている時刻と通信端末５独自で管理されている時刻との差である。

また、エンコード部６０は、回線適応制御部３７ｂから受信した回線適応制御信号で示される動作条件に基づいて、エンコード部６０の動作条件を変更する。更に、エンコード部６０は、新たな動作条件に従って、カメラ６２及びマイク６３から取得してエンコードした映像（音）データ〔Ｅ〕と、記憶部５０００から取得した現時点の通信端末５における時刻ｔ０を示す時刻情報（ｔ０）と、記憶部５０００から取得した時刻差Δを示す時刻差情報（Δ）とを、送受信部５１及び送受信部３１を介して、配信制御装置２のデコード部４０に送信する。

なお、内蔵されたマイク２１３、外付けのカメラ６２及びマイク６３等は、入力手段の一例であり、エンコードやデコードが必要な各種デバイスである。入力手段は、映像（音）データの他に、触覚（touch）データや嗅覚（smell）データを出力することができてもよい。入力手段には、温度センサ、方位センサ、加速度センサ等の各種センサも含まれる。

＜動作または処理＞
続いて、図１１〜１４を用いて、本実施形態の動作または処理について説明する。これらの処理は、配信制御装置２、通信端末５、及び端末管理装置７における各ＣＰＵが、それぞれに格納されているプログラムに従って実行される処理である。

（基本的な配信処理）
まず、図１１を用いて、図２に示されている基本的な配信方法における具体的な配信処理を説明する。図１１は、実施形態にかかる配信制御装置の基本的な配信処理を示したシーケンス図である。ここでは、通信端末５ａを用いてログイン要求する場合について説明するが、通信端末５ａ以外の通信端末５を用いてログインしてもよい。

図１１に示されているように、通信端末５ａにおいてユーザが電源オンにすると、通信端末５ａの送受信部５１は、端末管理装置７にログイン要求する（ステップＳ２２）。これにより、端末管理装置７は、ログイン要求を受信し、通信端末５ａの認証を行う（ステップＳ２４）。ここでは、通信端末５ａが配信システム１における正当な端末であると認証された場合について、以下に続けて説明する。

端末管理装置７は、通信端末５ａの送受信部５１に、配信制御装置２のＩＰアドレスを送信する（ステップＳ２６）。配信制御装置２のＩＰアドレスは、予め、端末管理装置７によって配信制御装置２から取得されて記憶されている。

次に、端末管理装置７は、配信制御装置２の送受信部２１に、配信処理の開始要求を行う（ステップＳ２８）。これにより、送受信部２１は、配信制御装置処理の開始要求を受信する。そして、ホワイトボード制御部２２は、送受信部２１によって受信された開始要求に基づいて、ホワイトボード部２０を制御する。

次に、エンコーダブリッジ部３０の作成・選択・転送部３１０は、通信端末５ａの再生能力（ディスプレイの解像度等）及びコンテンツの種類に従って変換部１０を作成する（ステップＳ３０）。次に、送受信部２１は、ホワイトボード部２０の命令に従い、任意の通信端末からコンテンツデータ〔Ａ〕を取得する（ステップＳ３２）。

次に、ホワイトボード部２０が、送受信部２１によって取得されたコンテンツデータ〔Ａ〕をレンダリングすることにより、静止画（音）データとしての各フレームデータを生成して、送信用ＦＩＦＯ２４に出力する（ステップＳ３４）。そして、変換部１０が、送信用ＦＩＦＯ２４に格納された各フレームデータをエンコードすることで、通信端末５ａに配信すべき映像（音）データ〔Ａ〕に変換する（ステップＳ３６）。

次に、送受信部３１は、通信端末５ａの送受信部５１に映像（音）データ〔Ａ〕を送信する（ステップＳ３８）。これにより、通信端末５ａの送受信部５１は、映像（音）データ〔Ａ〕を受信して、再生制御部５３に出力する。

次に、通信端末５ａでは、デコード部５０が再生制御部５３から映像（音）データ〔Ａ〕を取得してデコードする（ステップＳ４０）。その後、スピーカ６１は、デコードされた音データ〔Ａ〕に基づいて音を再生すると共に、表示部５８は、レンダリング部５５によってデコード部５０から取得されてレンダリングされた映像データ〔Ａ〕に基づいて映像を再生する（ステップＳ４２）。

（複数の通信端末を使った複合配信の処理）
次に、図１２を用いて、配信制御装置を介して複数の通信端末を使った通信の処理を説明する。図１２は、実施形態にかかる配信制御装置を介して複数の通信端末を使った配信の処理を示すシーケンス図である。ここでは、複数の通信端末５として、図５に示されているパターンについて具体的な処理を説明する。図１２では、図１１におけるステップＳ２２〜Ｓ３０と同様のログイン処理、開始要求、及び変換部の作成を行った後の処理とする。

通信端末５ｆ１のエンコード部６０が、カメラ６２及びマイク６３から映像（音）データ〔Ｅ〕としてのコンテンツデータの入力を受け付けると（ステップＳ５２）、エンコード部６０はコンテンツデータ〔Ｅ〕をエンコードする（ステップＳ５４）。送受信部５１は、エンコード部６０によってエンコードされたコンテンツデータ〔Ｅ〕を、配信制御装置２の送受信部３１に送信する（ステップＳ５６）。これにより、配信制御装置２の送受信部３１は、コンテンツデータ〔Ｅ〕を受信する。

次に、配信制御装置２のデコード部４０は、送受信部３１によって受信されたコンテンツデータ〔Ｅ〕をデコードして、受信用ＦＩＦＯ３４に出力する（ステップＳ５８）。そして、ホワイトボード部２０が、受信用ＦＩＦＯ３４に格納されたコンテンツデータ〔Ｅ〕をレンダリングすることにより、静止画（音）データとしてのフレームデータ〔Ｅ〕を生成して、送信用ＦＩＦＯ２４に出力する（ステップＳ６０）。この場合、ホワイトボード部２０は、既に取得しているコンテンツデータがあった場合、コンテンツデータ〔Ｅ〕を結合したレイアウトにして出力する。

更に、通信端末５ｆ１の操作部５２が、電子ペンＰ１によるストローク操作の入力を受け付けると（ステップＳ６２）、送受信部５１は、操作部５２によって受け付けられたストローク操作の内容を示す操作データ〔ｐ〕を、配信制御装置２の送受信部３１に送信する（ステップＳ６４）。これにより、配信制御装置２の送受信部３１は、操作データ〔ｐ〕を受信する。そして、ホワイトボード制御部２２は、送受信部３１によって受信された操作データ〔ｐ〕をホワイトボード部２０に出力する。

次に、ホワイトボード部２０は、操作データ〔ｐ〕をレンダリングすることにより、静止画（音）データとしてのフレームデータ〔ｐ〕を生成して、送信用ＦＩＦＯ２４に出力する（ステップＳ６６）。この場合、ホワイトボード部２０は、既に取得しているコンテンツデータ〔Ｅ〕に対して、操作データ〔ｐ〕を結合したレイアウトにして出力する。

次に、変換部１０が、送信用ＦＩＦＯ２４に格納された静止画（音）データとしての各フレームデータ（〔Ｅ〕，〔ｐ〕）をエンコードすることで、通信端末５ａに配信すべき映像（音）データ（〔Ｅ〕，〔ｐ〕）に変換する（ステップＳ６８）。

次に、送受信部３１は、変換部１０を含むエンコーダブリッジ部３０からエンコード後の映像（音）データ（〔Ｅ〕，〔ｐ〕）を取得し、通信端末５ｆ１の送受信部５１に送信する（ステップＳ７０−１）。これにより、通信端末５ｆ１の送受信部５１は、映像（音）データ（〔Ｅ〕，〔ｐ〕）を受信し、通信端末５ｆ１の再生制御部５３が送受信部５１から映像（音）データ（〔Ｅ〕，〔ｐ〕）を取得する。

そして、通信端末５ｆ１では、デコード部５０が再生制御部５３から映像（音）データ（〔Ｅ〕，〔ｐ〕）を取得してデコードする（ステップＳ７２−１）。その後、スピーカ６１は、デコードされた音データ〔Ｅ〕に基づいて音を再生すると共に、表示部５８は、レンダリング部５５によってデコード部５０から取得されてレンダリングされた映像データ（〔Ｅ〕，〔ｐ〕）に基づいて映像を再生する（ステップＳ７４−１）。

また、通信端末５ｆ２に対しても、ステップＳ７０−１と同様に、送受信部３１は、エンコーダブリッジ部３０からエンコード後の映像（音）データ（〔Ｅ〕，〔ｐ〕）を取得し、通信端末５ｆ２の送受信部５１に送信する（ステップＳ７０−２）。これにより、通信端末５ｆ２の再生制御部５３が映像（音）データ（〔Ｅ〕，〔ｐ〕）を取得する。

そして、通信端末５ｆ２では、デコード部５０が再生制御部５３から映像（音）データ（〔Ｅ〕，〔ｐ〕）を取得してデコードする（ステップＳ７２−２）。その後、スピーカ６１は、デコードされた音データ〔Ｅ〕に基づいて音を再生すると共に、表示部５８は、レンダリング部５５によってデコード部５０から取得されてレンダリングされた映像データ（〔Ｅ〕，〔ｐ〕）に基づいて映像を再生する（ステップＳ７４−２）。

以上より、通信端末５ｆ１で出力される映像（音）と同じ映像（音）が、通信端末５ｆ２でも出力されることになる。

次に、図１２のステップＳ６６におけるホワイトボード部２０のレンダリング処理の詳細について説明する。図１３は、本実施形態の配信制御装置のホワイトボード部によるレンダリング処理の流れを示すフローチャートである。

まず、ホワイトボード制御部２２は、送受信部３１によって受信したデータが操作データ〔ｐ〕であるか否かを判断する（ステップＳ８２）。受信したデータが操作データでなかった場合（ステップＳ８２：Ｎｏ）、すなわちコンテンツデータ〔Ｅ〕であった場合、ホワイトボード部２０は、コンテンツデータ〔Ｅ〕をレンダリングする（ステップＳ８４）。この処理が図１２におけるステップＳ６０のレンダリング処理となる。

一方、受信したデータが操作データであった場合（ステップＳ８２：Ｙｅｓ）、ホワイトボード制御部２２は、操作データに含まれるコマンドがストロークコマンドか否かを判断する（ステップＳ８６）。操作データに含まれるコマンドがストロークコマンドであった場合（ステップＳ８６：Ｙｅｓ）、ホワイトボード制御部２２は、マウスアップイベントを受信したか否かを判断する（ステップＳ８８）。

マウスアップイベントを受信していない場合（ステップＳ８８：Ｎｏ）、ホワイトボード制御部２２は、送信ＩＤとともに操作データに含まれる座標を座標蓄積部１２２に保存する（ステップＳ９０）。送信ＩＤとは、スクロールコマンドを含む操作データを受信した際に付される識別番号である。

ここで、座標蓄積部１２２には、図１４に示すように、操作データに含まれる色、太さのようなメタストローク情報を蓄積してもよい。また、座標はＸ，Ｙ座標に加え、時刻や圧力の情報を含んで構成してもよい。以下では、ストロークデータはメタストローク情報と座標列とから生成されているものとする。

一方、ステップＳ８８において、マウスアップイベントを受信した場合（ステップＳ８８：Ｙｅｓ）、ホワイトボード制御部２２は、座標蓄積部１２２に送信ＩＤに関連する座標が蓄積されているか否かを判断する（ステップＳ９２）。座標蓄積部１２２に送信ＩＤに関連する座標が蓄積されていない場合（ステップＳ９２：Ｎｏ）、何もせず処理を終了する。

一方、座標蓄積部１２２に送信ＩＤに関する座標が蓄積されている場合（ステップＳ９２：Ｙｅｓ）、ホワイトボード制御部２２は、座標蓄積部１２２に蓄積されている全ての座標を取り出し、取り出した全ての座標からストロークを示すストロークデータを生成する（ステップＳ９４）。なお、ホワイトボード制御部２２は、取り出した座標は座標蓄積部１２２から削除する。

次に、ホワイトボード制御部２２は、生成したストロークデータをホワイトボード部２０に出力する（ステップＳ９６）。ホワイトボード部２０は、取得したストロークデータをデータ管理部１２０に保存する（ステップＳ９８）。そして、ホワイトボード部２０は、取得したストロークデータをレンダリングする（ステップＳ８４）。

ステップＳ８６において、操作データに含まれるコマンドがストロークコマンドでなかった場合（ステップＳ８６：Ｎｏ）、ホワイトボード制御部２２は、操作データに含まれるコマンドがページコマンドか否かを判断する（ステップＳ１００）。

操作データに含まれるコマンドがページコマンドであった場合（ステップＳ１００：Ｙｅｓ）、ホワイトボード制御部２２は、追加ページをホワイトボード部２０に出力する（ステップＳ１０２）。ホワイトボード部２０は、取得したページをデータ管理部１２０に保存し（ステップＳ１０４）、レンダリングする（ステップＳ８４）。

一方、操作データに含まれるコマンドがページコマンドでなかった場合（ステップＳ１００：Ｎｏ）、ホワイトボード制御部２２は、操作データに含まれるコマンドが画像コマンドか否かを判断する（ステップＳ１０６）。

操作データに含まれるコマンドが画像コマンドであった場合（ステップＳ１０６：Ｙｅｓ）、ホワイトボード制御部２２は、追加画像をホワイトボード部２０に出力する（ステップＳ１０８）。ホワイトボード部２０は、取得した画像をデータ管理部１２０に保存し（ステップＳ１１０）、レンダリングする（ステップＳ８４）。

一方、操作データに含まれるコマンドが画像コマンドでなかった場合（ステップＳ１０６：Ｎｏ）、ホワイトボード制御部２２は、マウスイベントとしてホワイトボード部２０に出力し（ステップＳ１１２）、ホワイトボード部２０がレンダリングする（ステップＳ８４）。なお、データ管理部１２０でのデータ登録時に、ホワイトボード部２０は、全ページからＰＤＦデータを生成し、バックアップデータとしてデータ管理部１２０に保存する。

ここで、通信端末５と配信制御装置２との間で行われる時刻調整の処理、下り用の回線適応制御の処理、上り用の回線適応制御の処理、および通信端末５と配信制御装置２と端末管理装置７との間で行われるマルチディスプレイの処理、各種フレームデータを生成する処理については、特開２０１４−２０００７４号公報に詳細が開示されているため説明を省略する。

このように、本実施形態にかかる配信制御装置２では、通信端末５のディスプレイに入力された座標を保存し、蓄積した全ての座標からユーザからの操作によるストロークを示すストロークデータを生成する。そして、生成されたストロークデータを保存した上で、取得したストロークデータをレンダリングすることにより、静止画（音）データとしてのフレームデータを生成する。この時、既に取得しているコンテンツデータがあった場合、当該コンテンツデータに対して、操作データであるストロークデータを結合したレイアウトにして出力する。そして、静止画（音）データとしての各フレームデータを通信端末５に配信可能なデータ形式に変換されたフレームデータを通信端末５に送信すると、通信端末５のディスプレイに再生される。このように、フレームデータ（映像データ）の配信時におけるユーザによる操作入力を保存することで、フレームデータの配信後もストローク等の操作入力をディスプレイに表示でき、利便性を向上させる。

本実施形態の配信制御装置２で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の配信制御装置２で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の配信制御装置２で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の配信制御装置２で実行さえるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態の配信制御装置２で実行されるプログラムは、上述した各部（送受信部２１、ホワイトボード制御部２２、送信用ＦＩＦＯ２４、時刻管理部２５、時刻取得部２６、回線適応制御部２７、エンコーダブリッジ部３０、送受信部３１、受信用ＦＩＦＯ３４、認識部３５、遅延情報取得部３７ａ、回線適応制御部３７ｂ、デコード部４０）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。また、例えば、上述した各部の機能のうちの一部または全部が専用のハードウェア回路で実現されてもよい。

１ 配信システム
２ 配信制御装置
５（５ａ、５ｂ、５ｃ、５ｄ、５ｅ、５ｆ） 通信端末
７ 端末管理装置
９ 通信ネットワーク
１０（１０ａ、１０ｂ、１０ｃ） 変換部
１１ トリミング部
１２ リサイズ部
１３ 分割部
１９ エンコード部
２０ ホワイトボード部
２１ 送受信部
２２ ホワイトボード制御部
２４ 送信用ＦＩＦＯ
２５ 時刻管理部
２６ 時刻取得部
２７ 回線適応制御部
３０ エンコーダブリッジ部
３１ 送受信部
３４ 受信用ＦＩＦＯ
３５ 認識部
３７ａ 遅延情報取得部
３７ｂ 回線適応制御部
４０ デコード部
５０ デコード部
５１ 送受信部
５２ 操作部
５３ 再生制御部
５５ レンダリング部
５６ 時刻制御部
５７ 遅延情報取得部
５８ 表示部
６０ エンコード部
６１ スピーカ
６２ カメラ
６３ マイク
１２０ データ管理部
１２２ 座標蓄積部
３１０ 作成・選択・転送部
３２０ 選択部
２０００ 記憶部
５０００ 記憶部

特許第５４５１３９７号公報

Claims (6)

1. 通信端末とネットワークを介して接続される配信制御装置において、
   前記通信端末から、利用者による操作を示す操作データを受信する受信部と、
   前記操作がストロークの指示であった場合、前記操作データにおける前記通信端末に入力された座標を第１記憶部に保存し、保存された前記座標からストロークを示すストロークデータを生成するホワイトボード制御部と、
   生成された前記ストロークデータを第２記憶部に保存するとともに、前記ストロークをレンダリングして映像データを生成するホワイトボード部と、
   生成された前記映像データが配信可能なデータ形式に変換された変換映像データを前記通信端末に送信する送信部と、を備える配信制御装置。
2. 前記ホワイトボード部は、前記操作がページの追加指示であった場合、追加された前記ページを前記第２記憶部に保存する、請求項１に記載の配信制御装置。
3. 前記ホワイトボード部は、前記操作が画像の追加指示であった場合、追加された画像を前記第２記憶部に保存する、請求項１または２に記載の配信制御装置。
4. 前記ホワイトボード部は、前記ストロークデータをＰＤＦ（Portable Document Format）形式で保存する、請求項１〜３のいずれか一つに記載の配信制御装置。
5. 通信端末とネットワークを介して接続される配信制御装置で実行される配信制御方法において、
   前記通信端末から、利用者による操作を示す操作データを受信する受信ステップと、
   前記操作がストロークの指示であった場合、前記操作データにおける前記通信端末に入力された座標を第１記憶部に保存し、保存された前記座標からストロークを示すストロークデータを生成するホワイトボード制御ステップと、
   生成された前記ストロークデータを第２記憶部に保存するとともに、前記ストロークをレンダリングして映像データを生成するホワイトボードステップと、
   生成された前記映像データが配信可能なデータ形式に変換された変換映像データを前記通信端末に送信する送信ステップと、を含む配信制御方法。
6. ネットワークを介して接続される通信端末から、利用者による操作を示す操作データを受信する受信ステップと、
   前記操作がストロークの指示であった場合、前記操作データにおける前記通信端末に入力された座標を第１記憶部に保存し、保存された前記座標からストロークを示すストロークデータを生成するホワイトボード制御ステップと、
   生成された前記ストロークデータを第２記憶部に保存するとともに、前記ストロークをレンダリングして映像データを生成するホワイトボードステップと、
   生成された前記映像データが配信可能なデータ形式に変換された変換映像データを前記通信端末に送信する送信ステップと、をコンピュータに実行させるためのプログラム。

Images