JP6197535B2 - Distribution system, distribution method, and program - Google Patents

Distribution system, distribution method, and program Download PDF

Info

Publication number
JP6197535B2
JP6197535B2 JP2013200552A JP2013200552A JP6197535B2 JP 6197535 B2 JP6197535 B2 JP 6197535B2 JP 2013200552 A JP2013200552 A JP 2013200552A JP 2013200552 A JP2013200552 A JP 2013200552A JP 6197535 B2 JP6197535 B2 JP 6197535B2
Authority
JP
Japan
Prior art keywords
data
unit
sound
communication terminal
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013200552A
Other languages
Japanese (ja)
Other versions
JP2015069243A (en
Inventor
村田 憲彦
憲彦 村田
笠谷 潔
潔 笠谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2013200552A priority Critical patent/JP6197535B2/en
Publication of JP2015069243A publication Critical patent/JP2015069243A/en
Application granted granted Critical
Publication of JP6197535B2 publication Critical patent/JP6197535B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、通信端末に通信ネットワークを介してデータを配信する配信システム、配信方法、及びプログラムに関する。   The present invention relates to a distribution system, a distribution method, and a program for distributing data to a communication terminal via a communication network.

従来、映像データや音声データをインデックス情報とともに記憶手段に格納する技術が知られている。例えば、特許文献1には、電子会議システムにおいて、マイク及びカメラから入力された音声及び映像と、その時点で電子黒板に表示された表示情報とを対応付けるインデックス情報を生成し、記憶手段に格納することが記載されている。   Conventionally, a technique for storing video data and audio data in a storage unit together with index information is known. For example, in Patent Document 1, in an electronic conference system, index information that associates audio and video input from a microphone and a camera with display information displayed on the electronic blackboard at that time is generated and stored in a storage unit. It is described.

具体的には、特許文献1に記載の技術では、ユーザがペンやキーボードで電子黒板に入力を行うタイミング又はユーザ入力が一定時間途切れたことを検知したタイミングで、インデックス情報を生成する。このインデックス情報は、その時点で電子黒板に表示されて記憶手段に格納された表示情報と、その時点でマイク及びカメラから入力されて記憶手段に格納された音声及び映像とを対応付ける情報である。音声及び映像を再生する際には、表示情報に含まれる特定のユーザ入力の一つを指定することにより、その指定されたユーザ入力がなされたときに入力された音声及び映像を、インデックス情報に基づいて記憶手段から読み出して再生することができる。   Specifically, in the technique described in Patent Document 1, index information is generated at the timing when the user inputs to the electronic blackboard with a pen or keyboard or when the user input is detected to be interrupted for a certain period of time. The index information is information that associates display information that is displayed on the electronic blackboard and stored in the storage unit at that time with audio and video that are input from the microphone and camera and stored in the storage unit at that time. When reproducing audio and video, by designating one of the specific user inputs included in the display information, the audio and video input when the designated user input is made are used as index information. Based on this, it can be read out from the storage means and reproduced.

しかし、従来技術では、記憶手段に格納する映像や音声のインデックス情報を生成する処理の負荷が大きいという問題がある。   However, the conventional technique has a problem that the processing load for generating index information of video and audio stored in the storage means is large.

本発明は、上記に鑑みてなされたものであって、記憶手段に格納する映像データ又は音データに関するインデックス情報を簡便に生成することができる配信システム、配信方法、及びプログラムを提供することを主な目的とする。   The present invention has been made in view of the above, and mainly provides a distribution system, a distribution method, and a program capable of easily generating index information related to video data or sound data stored in a storage unit. With a purpose.

上述した課題を解決し、目的を達成するために、本発明は、通信端末に通信ネットワークを介してデータを配信する配信システムであって、所定の記述言語で示されたコンテンツデータを取得して、映像データ又は音データを生成する第1生成手段と、前記第1生成手段によって生成された前記映像データ又は前記音データのデータ形式を、通信ネットワークを介して前記通信端末に配信できるデータ形式に変換する変換手段と、前記変換手段によって変換された前記映像データ又は前記音データを、前記通信端末に配信する配信手段と、前記変換手段によって変換された前記映像データ又は前記音データを、記憶手段に格納する第1格納手段と、前記記憶手段に格納する前記映像データ又は前記音データに関するインデックス情報を、前記第1生成手段から取得した情報に基づいて生成する第2生成手段と、前記第2生成手段によって生成された前記インデックス情報を、前記記憶手段に格納する第2格納手段と、を備えることを特徴とする。   In order to solve the above-described problems and achieve the object, the present invention is a distribution system that distributes data to a communication terminal via a communication network, and acquires content data indicated in a predetermined description language. First data generating means for generating video data or sound data, and a data format of the video data or the sound data generated by the first generating means in a data format that can be distributed to the communication terminal via a communication network Conversion means for converting, distribution means for distributing the video data or sound data converted by the conversion means to the communication terminal, and storage means for the video data or sound data converted by the conversion means First storage means for storing the index information relating to the video data or the sound data stored in the storage means, A second generation unit that generates based on information acquired from the first generation unit; and a second storage unit that stores the index information generated by the second generation unit in the storage unit. To do.

本発明によれば、第2生成手段が、映像データ又は音データを生成する第1生成手段からの情報に基づいて、記憶手段に格納する映像データ又は音データに関するインデックス情報を生成するので、インデックス情報の生成を簡便に行うことができるという効果を奏する。   According to the present invention, the second generation unit generates index information related to video data or sound data stored in the storage unit based on information from the first generation unit that generates video data or sound data. There is an effect that information can be easily generated.

図1は、本実施形態に係る配信システムの概略図である。FIG. 1 is a schematic diagram of a distribution system according to the present embodiment. 図2は、通信端末にドングルを取り付ける際のイメージ図である。FIG. 2 is an image diagram when a dongle is attached to the communication terminal. 図3は、基本的な配信方法を示す概念図である。FIG. 3 is a conceptual diagram showing a basic distribution method. 図4は、マルチキャストの概念図である。FIG. 4 is a conceptual diagram of multicast. 図5は、マルチディスプレイの概念図である。FIG. 5 is a conceptual diagram of a multi-display. 図6は、配信管理装置を介して複数の通信端末を使った複合配信の概念図である。FIG. 6 is a conceptual diagram of composite distribution using a plurality of communication terminals via the distribution management device. 図7は、配信管理装置のハードウェア構成の一例を示す図である。FIG. 7 is a diagram illustrating an example of a hardware configuration of the distribution management apparatus. 図8は、ドングルのハードウェア構成の一例を示す図である。FIG. 8 is a diagram illustrating an example of a hardware configuration of the dongle. 図9は、主に配信管理装置の各機能を示す機能ブロック図である。FIG. 9 is a functional block diagram mainly showing each function of the distribution management apparatus. 図10は、エンコーダブリッジ部の詳細図である。FIG. 10 is a detailed view of the encoder bridge unit. 図11は、変換部の各機能を示す機能ブロック図である。FIG. 11 is a functional block diagram illustrating each function of the conversion unit. 図12は、インデックス情報の一例を示す概念図である。FIG. 12 is a conceptual diagram illustrating an example of index information. 図13は、主に通信端末の各機能を示す機能ブロック図である。FIG. 13 is a functional block diagram mainly showing each function of the communication terminal. 図14は、端末管理装置の各機能を示す機能ブロック図である。FIG. 14 is a functional block diagram illustrating each function of the terminal management apparatus. 図15は、配信先選択メニュー画面の概念図である。FIG. 15 is a conceptual diagram of a distribution destination selection menu screen. 図16は、端末管理テーブルの概念図である。FIG. 16 is a conceptual diagram of the terminal management table. 図17は、利用可能端末管理テーブルの概念図である。FIG. 17 is a conceptual diagram of the available terminal management table. 図18は、保存データ管理テーブルの概念図である。FIG. 18 is a conceptual diagram of a stored data management table. 図19は、配信管理装置の基本的な配信処理を示すシーケンス図である。FIG. 19 is a sequence diagram illustrating basic distribution processing of the distribution management apparatus. 図20は、映像(音)データの保存を伴う配信処理を示すシーケンス図である。FIG. 20 is a sequence diagram showing a distribution process involving storage of video (sound) data. 図21は、複数の通信端末を使った複合配信の処理を示すシーケンス図である。FIG. 21 is a sequence diagram showing a composite distribution process using a plurality of communication terminals. 図22は、配信管理装置と通信端末との間で行われる時刻調整の処理を示すシーケンス図である。FIG. 22 is a sequence diagram illustrating a time adjustment process performed between the distribution management device and the communication terminal. 図23は、配信管理装置から通信端末に送信するデータの回線適応制御の処理を示すシーケンス図である。FIG. 23 is a sequence diagram illustrating a process of line adaptation control of data transmitted from the distribution management apparatus to the communication terminal. 図24は、通信端末から配信管理装置に送信するデータの回線適応制御の処理を示すシーケンス図である。FIG. 24 is a sequence diagram illustrating a process of line adaptation control of data transmitted from the communication terminal to the distribution management apparatus. 図25は、マルチディスプレイの処理を示すシーケンス図である。FIG. 25 is a sequence diagram illustrating multi-display processing. 図26は、マルチディスプレイの処理を示すシーケンス図である。FIG. 26 is a sequence diagram showing multi-display processing. 図27は、マルチディスプレイの処理を示すシーケンス図である。FIG. 27 is a sequence diagram illustrating multi-display processing.

以下に図面を用いて、本実施形態に係る配信システムを詳細に説明する。以下に示す実施形態は、クラウドコンピューティングを利用してウェブコンテンツを映像データ、音データ、又は映像データ及び音データに変換してパーソナルコンピュータや電子黒板等の通信端末に配信する配信システムとしての適用例である。なお、以下、映像及び音のうち少なくとも一方を示す場合には、「映像(音)」と表記する。   The distribution system according to the present embodiment will be described in detail below with reference to the drawings. The embodiment shown below is applied as a distribution system that uses cloud computing to convert web content into video data, sound data, or video data and sound data and distribute them to communication terminals such as personal computers and electronic blackboards. It is an example. Hereinafter, when at least one of video and sound is indicated, it is referred to as “video (sound)”.

〔実施形態の概略〕
まず、図1を用いて、本実施形態の概略を説明する。図1は、本実施形態に係る配信システム1の概略図である。
[Outline of Embodiment]
First, the outline of the present embodiment will be described with reference to FIG. FIG. 1 is a schematic diagram of a distribution system 1 according to the present embodiment.

<システム構成の概略>
まず、配信システム1の構成の概略について説明する。図1に示すように、本実施形態の配信システム1は、配信管理装置2、複数の通信端末5a〜5f、端末管理装置7、及びウェブサーバ8を備えて構築されている。なお、以下では、複数の通信端末5a〜5fのうち、任意の通信端末を示す場合には、「通信端末5」と表記する。配信管理装置2、端末管理装置7、及びウェブサーバ8は、いずれもサーバコンピュータによって構築されている。
<Outline of system configuration>
First, an outline of the configuration of the distribution system 1 will be described. As shown in FIG. 1, the distribution system 1 according to the present embodiment includes a distribution management device 2, a plurality of communication terminals 5 a to 5 f, a terminal management device 7, and a web server 8. In the following, when an arbitrary communication terminal is shown among the plurality of communication terminals 5a to 5f, it is expressed as “communication terminal 5”. The distribution management device 2, the terminal management device 7, and the web server 8 are all constructed by a server computer.

通信端末5は、配信システム1のサービスを受けるユーザが使用する端末である。このうち、通信端末5aは、ノートPC(Personal Computer)である。通信端末5bは、スマートフォンやタブレット端末等のモバイル端末である。通信端末5cは、コピー、スキャン、プリント、及びファックスの各機能が複合されたMFP(Multifunction Peripheral/Printer/Product)である。通信端末5dは、プロジェクタである。通信端末5eは、カメラ、マイク及びスピーカを備えたテレビ(ビデオ)会議端末である。通信端末5fは、ユーザ等によって描かれた文字や図形等を電子的に変換することが可能な電子黒板(ホワイトボード)である。   The communication terminal 5 is a terminal used by a user who receives the service of the distribution system 1. Among these, the communication terminal 5a is a notebook PC (Personal Computer). The communication terminal 5b is a mobile terminal such as a smartphone or a tablet terminal. The communication terminal 5c is an MFP (Multifunction Peripheral / Printer / Product) in which copy, scan, print, and fax functions are combined. The communication terminal 5d is a projector. The communication terminal 5e is a television (video) conference terminal provided with a camera, a microphone, and a speaker. The communication terminal 5f is an electronic blackboard (whiteboard) capable of electronically converting characters, figures, etc. drawn by a user or the like.

なお、通信端末5は、図1に示したような端末だけでなく、腕時計、自動販売機、ガスメータ、カーナビゲーション装置、ゲーム機、エアコン、照明器具、カメラ単体、マイク単体、スピーカ単体等であってもよい。   The communication terminal 5 is not only a terminal as shown in FIG. 1, but also a wristwatch, a vending machine, a gas meter, a car navigation device, a game machine, an air conditioner, a lighting fixture, a camera alone, a microphone alone, a speaker alone, and the like. May be.

また、配信管理装置2、通信端末5、端末管理装置7、及びウェブサーバ8は、インターネットやLAN(Local Area Network)等の通信ネットワーク9によって通信することができる。この通信ネットワーク9には、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信によるネットワークも含まれる。   Further, the distribution management device 2, the communication terminal 5, the terminal management device 7, and the web server 8 can communicate via a communication network 9 such as the Internet or a LAN (Local Area Network). The communication network 9 includes a network by wireless communication such as 3G (3rd Generation), WiMAX (Worldwide Interoperability for Microwave Access), and LTE (Long Term Evolution).

なお、通信端末5によっては、通信端末5d等のように、通信ネットワーク9を介して他の端末やシステムと通信する機能を有していないものがある。しかし、図2に示すように、ユーザが通信端末5dのUSB(Universal Serial Bus)やHDMI(登録商標)(High-Definition Multimedia Interface)等のインターフェース部にドングル99を差し込むことで、通信端末5は通信ネットワーク9を介して他の端末やシステムと通信可能となる。なお、図2は、通信端末にドングル99を取り付ける際のイメージ図である。   Some communication terminals 5, such as the communication terminal 5d, do not have a function of communicating with other terminals or systems via the communication network 9. However, as shown in FIG. 2, the user inserts the dongle 99 into an interface unit such as USB (Universal Serial Bus) or HDMI (registered trademark) (High-Definition Multimedia Interface) of the communication terminal 5d, so that the communication terminal 5 It becomes possible to communicate with other terminals and systems via the communication network 9. FIG. 2 is an image diagram when the dongle 99 is attached to the communication terminal.

配信管理装置2は、クラウド上に存在するウェブブラウザとしての、いわゆるクラウドブラウザ(以下、「ブラウザ20」と表記する)を有する。配信管理装置2は、ブラウザ20を用いてクラウド上でウェブコンテンツをレンダリングし、これにより得られたH.264やMPEG−4等の映像(音)データを通信端末5に配信する。   The distribution management device 2 has a so-called cloud browser (hereinafter referred to as “browser 20”) as a web browser existing on the cloud. The distribution management device 2 renders web content on the cloud using the browser 20, and the H.264 obtained by this rendering. Video (sound) data such as H.264 and MPEG-4 is distributed to the communication terminal 5.

端末管理装置7は、管理サーバとしての機能を有し、例えば、通信端末5のログイン認証や、通信端末5の契約情報等の管理等を行う。また、端末管理装置7は、電子メールを送信するためのSMTP(Simple Mail Transfer Protocol)サーバの機能を有している。端末管理装置7は、例えば、クラウドのサービス(IaaS:Infrastructure as a Service)上に展開される仮想マシンとして実現することができる。端末管理装置7は、不測の事態に対応して継続的なサービス提供を行うために、多重化して運用することが望ましい。   The terminal management apparatus 7 has a function as a management server, and performs, for example, login authentication of the communication terminal 5, management of contract information of the communication terminal 5, and the like. Further, the terminal management device 7 has a function of an SMTP (Simple Mail Transfer Protocol) server for transmitting electronic mail. The terminal management device 7 can be realized as, for example, a virtual machine deployed on a cloud service (IaaS: Infrastructure as a Service). The terminal management device 7 is desirably operated in a multiplexed manner in order to provide continuous service in response to unforeseen circumstances.

また、配信管理装置2のブラウザ20は、リアルタイムコミュニケーション(RTC:Real-time communication/collaboration)を可能にしている。更に、配信管理装置2は、図11に示す後述のエンコード部19を有しており、このエンコード部19は、ブラウザ20によって生成された映像(音)データに対して、リアルタイムのエンコードを行うことができる。そのため、配信管理装置2の処理は、例えば、DVDプレーヤによって、DVDに記録されているリアルタイム性のない映像(音)データを読み出して配信する場合等とは異なる。   In addition, the browser 20 of the distribution management device 2 enables real-time communication (RTC: Real-time communication / collaboration). Furthermore, the distribution management apparatus 2 includes an encoding unit 19 described later shown in FIG. 11, and the encoding unit 19 performs real-time encoding on video (sound) data generated by the browser 20. Can do. Therefore, the processing of the distribution management device 2 is different from, for example, the case where video (sound) data having no real time property recorded on a DVD is read and distributed by a DVD player.

<各種配信方式の概略>
続いて、本実施形態の配信システム1における各種配信方式の概略について説明する。
<Outline of various delivery methods>
Next, an outline of various distribution methods in the distribution system 1 of the present embodiment will be described.

(基本配信)
図3は、本実施形態の配信システム1における基本的な配信方法を示す概念図である。配信システム1では、図3に示すように、配信管理装置2のブラウザ20がウェブサーバ8からウェブコンテンツデータ〔A〕を取得し、レンダリングすることにより、映像(音)データ〔A〕を生成する。そして、エンコーダブリッジ部30が、映像(音)データ〔A〕をエンコード等して、通信端末5に配信する。これにより、たとえHTML(Hyper Text Markup Language)やCSS(Cascading Style Sheets)等により作成されたウェブコンテンツがリッチであっても、H.264やMPEG−4等の映像(音)データとして配信されるため、低スペックの通信端末5であってもスムーズに映像(音)を再生することが可能になる。また、本実施形態の配信システム1では、配信管理装置2のブラウザ20を最新化しておくことで、ローカルとしての通信端末5にコンテンツを提供するブラウザを最新化しなくても、最新のリッチなウェブコンテンツをスムーズに再生することが可能となる。
(Basic delivery)
FIG. 3 is a conceptual diagram showing a basic distribution method in the distribution system 1 of the present embodiment. In the distribution system 1, as shown in FIG. 3, the browser 20 of the distribution management device 2 acquires web content data [A] from the web server 8 and renders it, thereby generating video (sound) data [A]. . Then, the encoder bridge unit 30 encodes the video (sound) data [A] and distributes it to the communication terminal 5. As a result, even if the web content created by HTML (Hyper Text Markup Language), CSS (Cascading Style Sheets), or the like is rich, Since it is distributed as video (sound) data such as H.264 and MPEG-4, it is possible to smoothly reproduce the video (sound) even with the low-spec communication terminal 5. Also, in the distribution system 1 of the present embodiment, the browser 20 of the distribution management device 2 is updated, so that the latest rich web can be updated without updating the browser that provides content to the communication terminal 5 as a local. The content can be played back smoothly.

また、配信システム1は、上述の配信方法を応用し、図4乃至図6に示すように、同一拠点又は複数の拠点にある複数の通信端末5に、ウェブコンテンツを映像(音)データとして配信することも可能である。ここで、図4乃至図6に示す配信方法について説明する。   Further, the distribution system 1 applies the above-described distribution method and distributes web content as video (sound) data to a plurality of communication terminals 5 at the same site or a plurality of sites as shown in FIGS. 4 to 6. It is also possible to do. Here, the distribution method shown in FIGS. 4 to 6 will be described.

(マルチキャスト)
図4は、マルチキャストの概念図である。図4に示すように、配信管理装置2の単一のブラウザ20は、ウェブサーバ8からウェブコンテンツデータ〔A〕を取得してレンダリングすることで、映像(音)データ〔A〕を生成する。そして、エンコーダブリッジ部30が、映像(音)データ〔A〕をエンコードする。その後、配信管理装置2は、映像(音)データ〔A〕を複数の通信端末5f1,5f2,5f3に配信する。これにより、例えば複数の拠点に設置された複数の通信端末5f1,5f2,5f3において、同じ映像(音)が出力される。なお、この場合、複数の通信端末5f1,5f2,5f3が同じ表示再生能力(解像度が同じ等)を有する必要はない。このような配信方法は、例えば「マルチキャスト」と呼ぶ。
(Multicast)
FIG. 4 is a conceptual diagram of multicast. As shown in FIG. 4, the single browser 20 of the distribution management device 2 generates video (sound) data [A] by acquiring and rendering web content data [A] from the web server 8. Then, the encoder bridge unit 30 encodes the video (sound) data [A]. Thereafter, the distribution management device 2 distributes the video (sound) data [A] to the plurality of communication terminals 5f1, 5f2, and 5f3. Thereby, for example, the same video (sound) is output from a plurality of communication terminals 5f1, 5f2, and 5f3 installed at a plurality of bases. In this case, the plurality of communication terminals 5f1, 5f2, and 5f3 do not need to have the same display reproduction capability (the same resolution, etc.). Such a distribution method is called, for example, “multicast”.

(マルチディスプレイ)
図5は、マルチディスプレイの概念図である。図5に示すように、配信管理装置2の単一のブラウザ20は、ウェブサーバ8からウェブコンテンツデータ〔XYZ〕を取得してレンダリングすることで、単一の映像(音)データ〔XYZ〕を生成する。そして、エンコーダブリッジ部30が、単一の映像(音)データ〔XYZ〕を、複数の映像(音)データ〔X〕,〔Y〕,〔Z〕に分割した後にエンコードする。その後、配信管理装置2は、分割後の映像(音)データ〔X〕を通信端末5f1に配信する。また、同じように、配信管理装置2は、分割後の映像(音)データ〔Y〕を通信端末5f2に配信し、分割後の映像(音)データ〔Z〕を通信端末5f3に配信する。これにより、例えば、横長のウェブコンテンツデータ〔XYZ〕であっても、複数の通信端末5f1,5f2,5f3で分割して映像が表示されるため、これら通信端末5f1,5f2,5f3を一列に並べて設置すれば、1つの大きな映像を表示させることと同様の効果を得ることができる。なお、この場合、通信端末5f1,5f2,5f3が同じ表示再生能力(解像度が同じ等)を有する必要がある。このような配信方法は、例えば「マルチディスプレイ」と呼ぶ。
(Multi-display)
FIG. 5 is a conceptual diagram of a multi-display. As shown in FIG. 5, the single browser 20 of the distribution management device 2 obtains the web content data [XYZ] from the web server 8 and renders it, thereby rendering the single video (sound) data [XYZ]. Generate. Then, the encoder bridge unit 30 divides the single video (sound) data [XYZ] into a plurality of video (sound) data [X], [Y], and [Z] and then encodes them. Thereafter, the distribution management device 2 distributes the divided video (sound) data [X] to the communication terminal 5f1. Similarly, the distribution management device 2 distributes the divided video (sound) data [Y] to the communication terminal 5f2, and distributes the divided video (sound) data [Z] to the communication terminal 5f3. Thereby, for example, even in the case of horizontally long web content data [XYZ], the video is displayed by being divided by the plurality of communication terminals 5f1, 5f2, and 5f3. If installed, the same effect as displaying one large image can be obtained. In this case, the communication terminals 5f1, 5f2, and 5f3 need to have the same display reproduction capability (the same resolution, etc.). Such a distribution method is called “multi-display”, for example.

(複合配信)
図6は、配信管理装置2を介して複数の通信端末5を使った複合配信の概念図である。図6に示すように、第1の拠点(図6の右側)では、電子黒板としての通信端末5f1及びテレビ会議端末としての通信端末5e1が利用され、第2の拠点(図6の左側)では、同じく電子黒板としての通信端末5f2及びテレビ会議端末としての通信端末5e2が利用されている。また、第1の拠点では、通信端末5f1にストロークによる文字等の操作データを表示させるための電子ペンP1が利用され、第2の拠点では、通信端末5f2にストロークによる文字等の操作データを表示させるための電子ペンP2が利用されている。なお、図6に示す例では、第1の拠点において、電子黒板としての通信端末5f1にテレビ会議端末としての通信端末5e1が接続され、通信端末5e1のカメラ・マイク・スピーカが、通信端末5f1の外付けのカメラ・マイク・スピーカとして利用されている。同様に、第2の拠点において、電子黒板としての通信端末5f2にテレビ会議端末としての通信端末5e2が接続され、通信端末5e2のカメラ・マイク・スピーカが、通信端末5f2の外付けのカメラ・マイク・スピーカとして利用されている。
(Composite delivery)
FIG. 6 is a conceptual diagram of composite distribution using a plurality of communication terminals 5 via the distribution management device 2. As shown in FIG. 6, at the first base (right side in FIG. 6), the communication terminal 5f1 as an electronic blackboard and the communication terminal 5e1 as a video conference terminal are used, and at the second base (left side in FIG. 6). Similarly, a communication terminal 5f2 as an electronic blackboard and a communication terminal 5e2 as a video conference terminal are used. In the first base, the electronic pen P1 is used to display operation data such as characters by stroke on the communication terminal 5f1, and in the second base, operation data such as characters by stroke is displayed on the communication terminal 5f2. An electronic pen P2 is used for this purpose. In the example shown in FIG. 6, the communication terminal 5e1 as the video conference terminal is connected to the communication terminal 5f1 as the electronic blackboard at the first base, and the camera, microphone, and speaker of the communication terminal 5e1 are connected to the communication terminal 5f1. It is used as an external camera, microphone, and speaker. Similarly, at the second base, a communication terminal 5e2 as a video conference terminal is connected to a communication terminal 5f2 as an electronic blackboard, and a camera / microphone / speaker of the communication terminal 5e2 is connected to an external camera / microphone of the communication terminal 5f2.・ It is used as a speaker.

そして、第1の拠点において、通信端末5e1によって取得された映像(音)データ〔E1〕は、エンコード部60でエンコードされた後に、配信管理装置2に送信される。その後、配信管理装置2のデコード部40でデコードされて、ブラウザ20に入力される。また、電子ペンP1によって通信端末5f1に描かれたストローク等を示す操作データ〔p1〕は、配信管理装置2に送信され、ブラウザ20に入力される。一方、第2の拠点においても、通信端末5e2によって取得された映像(音)データ〔E2〕は、エンコード部60でエンコードされた後に、配信管理装置2に送信される。その後、配信管理装置2のデコード部40でデコードされて、ブラウザ20に入力される。また、電子ペンP2によって通信端末5f2に描かれたストローク等の操作データ〔p2〕は、配信管理装置2に送信され、ブラウザ20に入力される。   The video (sound) data [E1] acquired by the communication terminal 5e1 at the first base is encoded by the encoding unit 60 and then transmitted to the distribution management device 2. Thereafter, the data is decoded by the decoding unit 40 of the distribution management device 2 and input to the browser 20. In addition, operation data [p1] indicating a stroke or the like drawn on the communication terminal 5f1 by the electronic pen P1 is transmitted to the distribution management device 2 and input to the browser 20. On the other hand, also at the second base, the video (sound) data [E2] acquired by the communication terminal 5e2 is encoded by the encoding unit 60 and then transmitted to the distribution management device 2. Thereafter, the data is decoded by the decoding unit 40 of the distribution management device 2 and input to the browser 20. In addition, operation data [p2] such as a stroke drawn on the communication terminal 5f2 by the electronic pen P2 is transmitted to the distribution management device 2 and input to the browser 20.

一方、ブラウザ20は、例えば、ウェブサーバ8から通信端末5f1,5f2のぞれぞれのディスプレイに表示される背景画像のウェブコンテンツデータ〔A〕を取得する。そして、ブラウザ20は、ウェブコンテンツデータ〔A〕、操作データ〔p1〕,〔p2〕及び映像(音)データ〔E1〕,〔E2〕を結合してレンダリングすることで、所望のレイアウトに設置した映像(音)データを生成する。そして、エンコーダブリッジ部30は、映像(音)データをエンコードし、配信管理装置2が各拠点に同じ映像(音)データを配信する。これにより、第1の拠点では、通信端末5f1のディスプレイ上に、映像(〔A〕、〔p1〕、〔p2〕、〔E1(映像部分)〕及び〔E2(映像部分)〕)が表示されると共に、通信端末5e1のスピーカから音〔E2(音部分)〕が出力される。一方、第2の拠点でも、通信端末5f2のディスプレイ上に、映像(〔A〕、〔p1〕、〔p2〕、〔E1(映像部分)〕及び〔E2(映像部分)〕)が表示されると共に、通信端末5e2のスピーカから音〔E1(音部分)〕が出力される。なお、第1の拠点では、通信端末5f1のエコーキャンセル機能により、自拠点の音〔E1(音部分)〕は出力されない。一方、第2の拠点では、通信端末5f2のエコーキャンセル機能により、自拠点の音〔E2(音部分)〕は出力されない。   On the other hand, the browser 20 acquires, for example, the web content data [A] of the background image displayed on the respective displays of the communication terminals 5f1 and 5f2 from the web server 8. Then, the browser 20 combines the web content data [A], the operation data [p1], [p2], and the video (sound) data [E1], [E2] and renders them, thereby setting the desired layout. Video (sound) data is generated. Then, the encoder bridge unit 30 encodes the video (sound) data, and the distribution management device 2 distributes the same video (sound) data to each site. As a result, at the first location, the video ([A], [p1], [p2], [E1 (video part)] and [E2 (video part)]) is displayed on the display of the communication terminal 5f1. In addition, a sound [E2 (sound part)] is output from the speaker of the communication terminal 5e1. On the other hand, at the second site, the video ([A], [p1], [p2], [E1 (video part)] and [E2 (video part)]) is displayed on the display of the communication terminal 5f2. At the same time, sound [E1 (sound part)] is output from the speaker of the communication terminal 5e2. At the first site, the sound [E1 (sound part)] of the site is not output by the echo cancellation function of the communication terminal 5f1. On the other hand, at the second site, the sound [E2 (sound part)] of the local site is not output by the echo cancellation function of the communication terminal 5f2.

以上により、第1の拠点と第2の拠点とでは、遠隔地間においてリアルタイムで同じ情報を共有する遠隔共有処理を行うことができるため、本実施形態の配信システム1は遠隔会議等に有効である。   As described above, since the first base and the second base can perform remote sharing processing for sharing the same information in real time between remote locations, the distribution system 1 of the present embodiment is effective for remote conferences and the like. is there.

〔実施形態の詳細な説明〕
続いて、図7乃至図27を用いて、実施形態の詳細な説明を行う。
[Detailed Description of Embodiment]
Subsequently, the embodiment will be described in detail with reference to FIGS.

<実施形態のハードウェア構成>
まず、図7及び図8を用いて、本実施形態のハードウェア構成を説明する。図7は、配信管理装置2のハードウェア構成の一例を示す図である。また、図8は、ドングル99のハードウェア構成の一例を示す図である。なお、通信端末5、端末管理装置7、及びウェブサーバ8のハードウェア構成は、図7に示す配信管理装置2のハードウェア構成と同様であるため、説明を省略する。
<Hardware Configuration of Embodiment>
First, the hardware configuration of this embodiment will be described with reference to FIGS. 7 and 8. FIG. 7 is a diagram illustrating an example of a hardware configuration of the distribution management device 2. FIG. 8 is a diagram illustrating an example of a hardware configuration of the dongle 99. Note that the hardware configurations of the communication terminal 5, the terminal management device 7, and the web server 8 are the same as the hardware configuration of the distribution management device 2 shown in FIG.

図7に示すように、配信管理装置2は、配信管理装置2全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、プログラム等の各種データを記憶するHDD204、CPU201の制御にしたがってHDD204に対する各種データの読み出し又は書き込みを制御するHDC(Hard Disk Controller)205、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207、各種情報を表示するディスプレイ208、通信ネットワーク9を利用してデータ送信したりドングル99を接続するためのI/F209、キーボード211、マウス212、マイク213、スピーカ214、GPU(Graphics Processing Unit)215、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン220を備えている。   As shown in FIG. 7, the distribution management device 2 includes a CPU 201 that controls the operation of the distribution management device 2 as a whole, a ROM 202 that stores a program used to drive the CPU 201 such as an IPL, a RAM 203 that is used as a work area for the CPU 201, HDD 204 that stores various data such as programs, HDC (Hard Disk Controller) 205 that controls reading or writing of various data to the HDD 204 under the control of the CPU 201, and data reading or writing (storage) to a recording medium 206 such as a flash memory A media drive 207 for controlling the information, a display 208 for displaying various information, an I / F 209 for transmitting data or connecting a dongle 99 using the communication network 9, a keyboard 211, a mouse 212, a microphone 2 13, a speaker 214, a GPU (Graphics Processing Unit) 215, and a bus line 220 such as an address bus and a data bus for electrically connecting the above components.

なお、各通信端末、各システム又は各サーバ用のプログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。   The program for each communication terminal, each system, or each server is a file in an installable or executable format, and is recorded and distributed on a computer-readable recording medium such as the recording medium 206. May be.

次に、図8を用いて、ドングル99のハードウェア構成について説明する。図8に示すように、ドングル99は、ドングル99全体の動作を制御するCPU91、基本入出力プログラムを記憶したROM92、CPU91のワークエリアとして使用されるRAM93、CPU91の制御にしたがってデータの読み出し又は書き込みを行うEEPROM(Electrically Erasable and Programmable ROM)94、各種の画像処理を行うGPU(Graphics Processing Unit)95、通信端末5のI/F209に接続するためのI/F96、アンテナ97a、このアンテナ97aを利用して短距離無線技術により通信を行う通信部97、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン90を備えている。なお、短距離無線技術として、例えば、NFC(Near Field Communication)規格、BlueTooth(登録商標)、WiFi(Wireless Fidelity)、ZigBee(登録商標)等が挙げられる。   Next, the hardware configuration of the dongle 99 will be described with reference to FIG. As shown in FIG. 8, the dongle 99 includes a CPU 91 that controls the operation of the dongle 99 as a whole, a ROM 92 that stores basic input / output programs, a RAM 93 that is used as a work area for the CPU 91, and data reading or writing according to the control of the CPU 91. An EEPROM (Electrically Erasable and Programmable ROM) 94, a GPU (Graphics Processing Unit) 95 for performing various image processing, an I / F 96 for connecting to the I / F 209 of the communication terminal 5, an antenna 97a, and the antenna 97a A communication unit 97 that performs communication using a short-range wireless technology, and a bus line 90 such as an address bus and a data bus for electrically connecting the above-described units are provided. Examples of the short-range wireless technology include NFC (Near Field Communication) standard, BlueTooth (registered trademark), WiFi (Wireless Fidelity), and ZigBee (registered trademark).

<実施形態の機能構成>
次に、図9乃至図18を用い、本実施形態の機能構成について説明する。
<Functional Configuration of Embodiment>
Next, the functional configuration of the present embodiment will be described with reference to FIGS. 9 to 18.

(配信管理装置の機能構成)
図9は、主に配信管理装置2の各機能を示す機能ブロック図である。図9では、配信管理装置2が通信端末5f1に対して映像(音)データを配信する場合の機能構成を示しているが、配信先が通信端末5f1以外の場合も、同様の機能構成を有する。なお、配信管理装置2は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。
(Functional configuration of distribution management device)
FIG. 9 is a functional block diagram mainly showing each function of the distribution management device 2. Although FIG. 9 shows a functional configuration when the distribution management device 2 distributes video (sound) data to the communication terminal 5f1, it has the same functional configuration even when the distribution destination is other than the communication terminal 5f1. . The distribution management device 2 includes a plurality of distribution engine servers. However, in order to simplify the description, a case where a single distribution engine server is included will be described below.

配信管理装置2は、図7に例示したハードウェア構成及びプログラムによって、図9に示す各機能構成を実現する。具体的に、配信管理装置2は、ブラウザ20、送受信部21、ブラウザ管理部22、送信用FIFO24、時刻管理部25、時刻取得部26、回線適応制御部27、エンコーダブリッジ部30、送受信部31、インデックス生成部32、受信用FIFO34、認識部35、遅延情報取得部37a、回線適応制御部37b、及びデコード部40を有している。更に、配信管理装置2は、図7に示したHDD204によって構築される記憶部2000を有している。この記憶部2000には、認識部35から出力された後述の認識情報が記憶される。なお、ブラウザ20が取得したコンテンツデータは、キャッシュとして、記憶部2000に一時的に記憶しておくこともできる。   The distribution management apparatus 2 implements each functional configuration shown in FIG. 9 by the hardware configuration and program illustrated in FIG. Specifically, the distribution management device 2 includes a browser 20, a transmission / reception unit 21, a browser management unit 22, a transmission FIFO 24, a time management unit 25, a time acquisition unit 26, a line adaptation control unit 27, an encoder bridge unit 30, and a transmission / reception unit 31. , An index generation unit 32, a reception FIFO 34, a recognition unit 35, a delay information acquisition unit 37a, a line adaptive control unit 37b, and a decoding unit 40. Furthermore, the distribution management apparatus 2 has a storage unit 2000 constructed by the HDD 204 shown in FIG. The storage unit 2000 stores later-described recognition information output from the recognition unit 35. The content data acquired by the browser 20 can be temporarily stored in the storage unit 2000 as a cache.

上述の各機能構成のうち、ブラウザ20は、配信管理装置2内で動作するウェブブラウザである。ブラウザ20は、ウェブコンテンツデータ等のコンテンツデータをレンダリングすることにより、RGBデータ(又はPCM(Pulse Code Modulation)データ)を生成する。また、ブラウザ20は、例えば後述のプラグインを用いて映像(音)ファイルを再生することにより、映像(音)データを生成することができる。本実施形態では、ブラウザ20が生成するデータが、映像(音)データであるものとして説明する。ブラウザ20は、ウェブコンテンツのリッチ化に対応させて常に最新化されている。   Among the above-described functional configurations, the browser 20 is a web browser that operates within the distribution management device 2. The browser 20 generates RGB data (or PCM (Pulse Code Modulation) data) by rendering content data such as web content data. The browser 20 can generate video (sound) data by playing back a video (sound) file using a plug-in described later, for example. In the present embodiment, description will be made assuming that the data generated by the browser 20 is video (sound) data. The browser 20 is constantly updated in response to the richness of web content.

また、本実施形態の配信システム1では、配信管理装置2内に複数のブラウザ20を用意しており、これら複数のブラウザ20の中からユーザセッションに使用するクラウドブラウザが選択される。なお、ここでは、説明を簡略化するため、単一のブラウザ20が用意されている場合について、以下続けて説明する。   Further, in the distribution system 1 of the present embodiment, a plurality of browsers 20 are prepared in the distribution management device 2, and a cloud browser to be used for a user session is selected from the plurality of browsers 20. Here, in order to simplify the description, the case where a single browser 20 is prepared will be described below.

ブラウザ20は、例えば、Media Player、Flash Player、JavaScript(登録商標)、CSS(Cascading Style Sheet)及びHTML(HyperText Markup Language)レンダラを有する。なお、JavaScript(登録商標)には、標準規格のものと配信システム1独自のものが含まれる。ここで、Media Playerは、映像(音)ファイルなどのマルチメディアファイルをブラウザ20内で再生するためのブラウザプラグインである。Flash Playerは、Flashコンテンツをブラウザ20内で再生するためのブラウザプラグインである。独自のJavaScript(登録商標)は、配信システム1に固有のサービスのAPI(Application Programming Interface)を提供するJavaScript(登録商標)群である。CSSは、HTMLで記述されたウェブページの見栄えやスタイルを効率的に定義するための技術である。HTMLレンダラは、ウェブキットベースのHTMLレンダリングエンジンである。   The browser 20 includes, for example, Media Player, Flash Player, JavaScript (registered trademark), CSS (Cascading Style Sheet), and HTML (HyperText Markup Language) renderer. Note that JavaScript (registered trademark) includes a standard specification and a distribution system 1 original. Here, Media Player is a browser plug-in for reproducing multimedia files such as video (sound) files in the browser 20. Flash Player is a browser plug-in for reproducing Flash content in the browser 20. The unique JavaScript (registered trademark) is a group of JavaScript (registered trademark) that provides an API (Application Programming Interface) of a service unique to the distribution system 1. CSS is a technology for efficiently defining the appearance and style of a web page described in HTML. The HTML renderer is a web kit based HTML rendering engine.

送受信部21は、端末管理装置7やウェブサーバ8との間で、各種データや要求等の送受信を行う。例えば、送受信部21は、ウェブサーバ8のコンテンツサイトからウェブコンテンツデータを受信し、ブラウザ20に渡す。また、送受信部21は、端末管理装置7に設けられた後述のユーザストレージ領域に格納する映像(音)データやインデックス情報を端末管理装置7に送信する。   The transmission / reception unit 21 transmits / receives various data and requests to / from the terminal management device 7 and the web server 8. For example, the transmission / reception unit 21 receives web content data from the content site of the web server 8 and passes it to the browser 20. The transmission / reception unit 21 transmits video (sound) data and index information stored in a user storage area (described later) provided in the terminal management device 7 to the terminal management device 7.

ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30の管理を行う。例えば、ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30に、起動又は終了を指示したり、起動又は終了時にエンコーダIDを採番したりする。ここで、エンコーダIDは、ブラウザ管理部22がエンコーダブリッジ部30のプロセスを管理するために採番する識別情報である。また、ブラウザ管理部22は、ブラウザ20が起動されるたびに、ブラウザIDを採番して管理する。ここで、ブラウザIDは、ブラウザ管理部22がブラウザ20のプロセスを管理するために採番し、ブラウザ20を識別するための識別情報である。   The browser management unit 22 manages the browser 20 and the encoder bridge unit 30. For example, the browser management unit 22 instructs the browser 20 or the encoder bridge unit 30 to start or end, or assigns an encoder ID when starting or ending. Here, the encoder ID is identification information that is assigned by the browser management unit 22 to manage the process of the encoder bridge unit 30. The browser management unit 22 assigns and manages a browser ID every time the browser 20 is activated. Here, the browser ID is identification information for identifying the browser 20 by the browser management unit 22 in order to manage the process of the browser 20.

また、ブラウザ管理部22は、送受信部31を介して通信端末5から各種操作データ〔p〕を取得し、ブラウザ20に出力する。なお、操作データ〔p〕は、通信端末5での操作イベント(キーボード211やマウス212等による操作や電子ペンPによるストローク等)によって生じたデータである。通信端末5に、温度センサ、湿度センサ、及び加速度センサ等の各種センサが設けられている場合には、ブラウザ管理部22は、通信端末5から各センサの出力信号であるセンサ情報を取得し、ブラウザ20に出力する。   Further, the browser management unit 22 acquires various operation data [p] from the communication terminal 5 via the transmission / reception unit 31 and outputs the operation data [p] to the browser 20. The operation data [p] is data generated by an operation event (such as an operation using the keyboard 211 or the mouse 212 or a stroke using the electronic pen P) in the communication terminal 5. When the communication terminal 5 is provided with various sensors such as a temperature sensor, a humidity sensor, and an acceleration sensor, the browser management unit 22 acquires sensor information that is an output signal of each sensor from the communication terminal 5, Output to the browser 20.

送信用FIFO24は、ブラウザ20で生成された映像(音)データ〔AEp〕を格納するバッファである。   The transmission FIFO 24 is a buffer for storing video (sound) data [AEp] generated by the browser 20.

時刻管理部25は、配信管理装置2独自の時刻Tを管理している。時刻取得部26は、後述の通信端末5における時刻制御部56と連携して、時刻調整の処理を行う。具体的には、時刻取得部26は、時刻管理部25から配信管理装置2における時刻Tを示す時刻情報(T)を取得したり、送受信部31及び送受信部51を介して、後述の時刻制御部56から通信端末5における時刻tを示す時刻情報(t)を受信したり、時刻制御部56に時刻情報(t)及び時刻情報(T)を送信したりする。   The time management unit 25 manages the time T unique to the distribution management device 2. The time acquisition unit 26 performs time adjustment processing in cooperation with a time control unit 56 in the communication terminal 5 described later. Specifically, the time acquisition unit 26 acquires time information (T) indicating the time T in the distribution management device 2 from the time management unit 25, or performs time control described later via the transmission / reception unit 31 and the transmission / reception unit 51. The time information (t) indicating the time t in the communication terminal 5 is received from the unit 56, or the time information (t) and the time information (T) are transmitted to the time control unit 56.

回線適応制御部27は、後述の送信遅延時間情報(D)に基づいて、再生遅延情報Uを計算したり、エンコーダブリッジ部30における変換部10のフレームレートやデータの解像度等の動作条件を計算したりする。この再生遅延時間は、再生までにデータがバッファリングされることで、再生を遅延させるための時間である。   The line adaptive control unit 27 calculates reproduction delay information U based on transmission delay time information (D) described later, and calculates operating conditions such as a frame rate and data resolution of the conversion unit 10 in the encoder bridge unit 30. To do. This reproduction delay time is a time for delaying reproduction by buffering data before reproduction.

エンコーダブリッジ部30は、ブラウザ20で生成されて送信用FIFO24に格納された映像(音)データ〔AEp〕について、データ形式の変換等の処理を実行する。エンコーダブリッジ部30によってデータ形式の変換等が行われた映像(音)データは、送受信部31を介して、配信対象の通信端末5に配信される。また、本実施形態の配信管理装置2は、エンコーダブリッジ部30によってデータ形式の変換等が行われた映像(音)データを、送受信部21を介して端末管理装置7に送信し、端末管理装置7に設けられた後述のユーザストレージ領域に格納することもできる。   The encoder bridge unit 30 performs processing such as data format conversion on the video (sound) data [AEp] generated by the browser 20 and stored in the transmission FIFO 24. Video (sound) data whose data format has been converted by the encoder bridge unit 30 is distributed to the communication terminal 5 to be distributed via the transmission / reception unit 31. Also, the distribution management device 2 of the present embodiment transmits video (sound) data that has been subjected to data format conversion or the like by the encoder bridge unit 30 to the terminal management device 7 via the transmission / reception unit 21, and the terminal management device 7 can be stored in a user storage area described later.

エンコーダブリッジ部30については、図10及び図11を用いて、更に詳細に説明する。図10は、エンコーダブリッジ部30の詳細図である。また、図11は、変換部10の各機能を示す機能ブロック図である。   The encoder bridge unit 30 will be described in more detail with reference to FIGS. 10 and 11. FIG. 10 is a detailed view of the encoder bridge unit 30. FIG. 11 is a functional block diagram showing each function of the conversion unit 10.

図10に示すように、エンコーダブリッジ部30は、作成・選択部310、及び選択部320と、これらの間に構築される複数の変換部10a,10b,10cとを備える。ここでは、3つの変換部10a,10b,10cを示したが、変換部の数はいくつであってもよい。なお、以下、任意の変換部を「変換部10」と表記する。   As shown in FIG. 10, the encoder bridge unit 30 includes a creation / selection unit 310, a selection unit 320, and a plurality of conversion units 10a, 10b, and 10c constructed between them. Here, three conversion units 10a, 10b, and 10c are shown, but the number of conversion units may be any number. Hereinafter, an arbitrary conversion unit is referred to as “conversion unit 10”.

更に、変換部10は、ブラウザ20によって生成された映像(音)データのデータ形式を、通信ネットワーク9を介して通信端末5に配信できるデータ形式に変換する。そのため、変換部10は、図11に示すように、トリミング部11、リサイズ部12、分割部13、及びエンコード部19を有する。トリミング部11、リサイズ部12、及び分割部13は、音データの場合は、処理を行わない。   Furthermore, the conversion unit 10 converts the data format of the video (sound) data generated by the browser 20 into a data format that can be distributed to the communication terminal 5 via the communication network 9. Therefore, the conversion unit 10 includes a trimming unit 11, a resizing unit 12, a dividing unit 13, and an encoding unit 19, as shown in FIG. The trimming unit 11, the resizing unit 12, and the dividing unit 13 do not perform processing in the case of sound data.

トリミング部11は、映像(画像)の一部だけを切り出す処理を行う。リサイズ部12は、映像(画像)の縮尺を変更する。分割部13は、図5に示したように、ウェブサーバ8から取得したウェブコンテンツを分割する。   The trimming unit 11 performs a process of cutting out only a part of the video (image). The resizing unit 12 changes the scale of the video (image). As shown in FIG. 5, the dividing unit 13 divides the web content acquired from the web server 8.

エンコード部19は、ブラウザ20で生成された画像(音)データをエンコードすることにより、通信ネットワーク9を介して通信端末5に画像(音)データを配信できるように変換する。また、エンコード部19は、映像が動かなければ(フレーム間で変化がなければ)、以降、映像が動くまでスキップフレームを挿入することで帯域をセーブする。なお、音の場合には、エンコードだけが行われる。   The encoding unit 19 converts the image (sound) data generated by the browser 20 so that the image (sound) data can be distributed to the communication terminal 5 via the communication network 9. In addition, if the video does not move (if there is no change between frames), the encoding unit 19 subsequently saves the bandwidth by inserting skip frames until the video moves. In the case of sound, only encoding is performed.

作成・選択部310は、新たに変換部10を作成したり、既に作成されている変換部10に対して入力させる映像(音)データを選択したりする。作成・選択部310が新たに変換部10を作成する場合の例としては、例えば、通信端末5における映像(音)データの再生能力に応じた変換が可能な変換部10を作成する場合等が挙げられる。また、作成・選択部310が変換部10に対して入力させる映像(音)データを選択する場合の例としては、例えば、既に作成されている変換部10を選択する場合等が挙げられる。例えば、通信端末5aへの配信に加えて通信端末5bへの配信を開始するにあたって、通信端末5aへ配信している映像(音)データと同じ映像(音)データを通信端末5bへ配信する場合がある。このような場合で、更に、通信端末5bが通信端末5aにおける映像(音)データの再生能力と同じ再生能力を有する場合等が挙げられる。すなわち、このような場合、作成・選択部310は、通信端末5b用に新たな変換部10bを作成せずに、通信端末5a用に既に作成している変換部10aを利用する。   The creation / selection unit 310 creates a new conversion unit 10 or selects video (sound) data to be input to the conversion unit 10 that has already been created. An example of the case where the creation / selection unit 310 newly creates the conversion unit 10 is, for example, a case where the conversion unit 10 capable of conversion according to the reproduction capability of video (sound) data in the communication terminal 5 is created. Can be mentioned. An example of the case where the creation / selection unit 310 selects video (sound) data to be input to the conversion unit 10 is, for example, a case where the conversion unit 10 that has already been created is selected. For example, when starting distribution to the communication terminal 5b in addition to distribution to the communication terminal 5a, the same video (sound) data as the video (sound) data distributed to the communication terminal 5a is distributed to the communication terminal 5b. There is. In such a case, there is a case where the communication terminal 5b further has the same reproduction capability as the reproduction capability of video (sound) data in the communication terminal 5a. That is, in such a case, the creation / selection unit 310 does not create a new conversion unit 10b for the communication terminal 5b but uses the conversion unit 10a already created for the communication terminal 5a.

選択部320は、既に作成されている変換部10から所望のものを選択する。これら作成・選択部310と選択部320による選択によって、例えば図6に示した複数の通信端末5を使った複合配信等、様々なパターンの配信を行うことができる。   The selection unit 320 selects a desired one from the conversion units 10 that have already been created. By the selection by the creation / selection unit 310 and the selection unit 320, various patterns of distribution such as composite distribution using a plurality of communication terminals 5 illustrated in FIG. 6 can be performed.

図9に戻り、送受信部31は、通信端末5との間で、各種データや要求等の送受信を行う。例えば、送受信部31は、通信端末5のログイン処理において、通信端末5の後述する送受信部51に対し、ユーザにログイン要求を促すための認証画面データを送信する。その他に、送受信部31は、HTTPS(Hypertext Transfer Protocol over Secure Socket Layer)サーバを介して、配信システム1独自のプロトコルにより、配信システム1のサービスを受けるために通信端末5にインストールされたアプリケーションプログラム(ユーザアプリやデバイスアプリ)へのデータ送信およびデータ受信を行う。この独自のプロトコルは、配信管理装置2と通信端末5との間でリアルタイムに途切れることなくデータを送受信するためのHTTPSベースのアプリケーション層プロトコルである。また、送受信部31は、送信レスポンス制御、リアルタイムデータの作成、クライアントコマンド送信、受信レスポンス制御、受信データ分析、及びジェスチャ変換の各処理を行う。   Returning to FIG. 9, the transmission / reception unit 31 transmits / receives various data and requests to / from the communication terminal 5. For example, in the login process of the communication terminal 5, the transmission / reception unit 31 transmits authentication screen data for prompting the user to make a login request to the transmission / reception unit 51 described later of the communication terminal 5. In addition, the transmission / reception unit 31 receives an application program (installed in the communication terminal 5 to receive the service of the distribution system 1 by a protocol unique to the distribution system 1 via an HTTPS (Hypertext Transfer Protocol over Secure Socket Layer) server. Data transmission and data reception to user applications and device applications). This unique protocol is an HTTPS-based application layer protocol for transmitting and receiving data between the distribution management device 2 and the communication terminal 5 without interruption in real time. The transmission / reception unit 31 performs processing of transmission response control, real-time data creation, client command transmission, reception response control, reception data analysis, and gesture conversion.

送信レスポンス制御は、配信管理装置2から通信端末5にデータを送信するために、通信端末5からリクエスト(要求)されたダウンロード用のHTTPSセッションを管理する処理である。このダウンロード用のHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1〜数分)保持する。送受信部31は、通信端末5に送るデータを動的にレスポンスのBody部に書き込む。また、再接続のコストをなくすため、通信端末5からは前のセッションが終了しないうちに別のリクエストが届くようにする。送受信部31を、前のリクエストが完了するまで待機させておくようにすることで、再接続を行っても、オーバヘッドを削除することができる。   The transmission response control is a process for managing a download HTTPS session requested (requested) from the communication terminal 5 in order to transmit data from the distribution management device 2 to the communication terminal 5. The response of the download HTTPS session does not end immediately, but is held for a certain time (1 to several minutes). The transmission / reception unit 31 dynamically writes the data to be transmitted to the communication terminal 5 in the body part of the response. In order to eliminate the cost of reconnection, another request is received from the communication terminal 5 before the previous session ends. By making the transmission / reception unit 31 wait until the previous request is completed, the overhead can be deleted even if reconnection is performed.

リアルタイムデータの作成は、図11に示したエンコード部19で生成された圧縮映像(および圧縮音)のデータに独自のヘッダを付与して、通信端末5への下り用のHTTPSのBody部に書き込む処理である。   The real-time data is created by adding a unique header to the compressed video (and compressed sound) data generated by the encoding unit 19 shown in FIG. 11 and writing it in the body part of the HTTPS for downloading to the communication terminal 5. It is processing.

クライアントコマンド送信は、通信端末5に送信するコマンドデータを生成し、通信端末5への配信用(下り用)のHTTPSのBody部に書き込む処理である。   The client command transmission is a process of generating command data to be transmitted to the communication terminal 5 and writing it in the Body part of the HTTPS for distribution (downlink) to the communication terminal 5.

受信レスポンス制御は、配信管理装置2が通信端末5からデータを受信するために、通信端末5からリクエストされた送信用(上り用)のHTTPSセッションを管理する処理である。このHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1〜数分)保持される。通信端末5は、配信管理装置2の送受信部31に送るデータを動的にリクエストのBody部に書き込む。   The reception response control is processing for managing a transmission (upstream) HTTPS session requested from the communication terminal 5 in order for the distribution management device 2 to receive data from the communication terminal 5. The response of this HTTPS session does not end immediately, but is held for a certain time (1 to several minutes). The communication terminal 5 dynamically writes the data to be transmitted to the transmission / reception unit 31 of the distribution management device 2 in the Body part of the request.

受信データ分析は、通信端末5から送られてきたデータを種別ごとに分析し、必要なプロセスにデータを渡す処理である。   The received data analysis is a process of analyzing data sent from the communication terminal 5 for each type and passing the data to a necessary process.

ジェスチャ変換は、ユーザが電子黒板としての通信端末5fに電子ペンPや手書きにより入力したジェスチャイベントを、ブラウザ20が受け取れる形式に変換する処理である。   Gesture conversion is a process of converting a gesture event input by the user into the communication terminal 5f as an electronic blackboard by the electronic pen P or handwriting into a format that the browser 20 can receive.

インデックス生成部32は、端末管理装置7に設けられた後述のユーザストレージ領域に格納する映像(音)データに関するインデックス情報を生成する。本実施形態の配信管理装置2では、上述したように、エンコーダブリッジ部30によってデータ形式の変換等が行われた映像(音)データを、端末管理装置7に設けられた後述のユーザストレージ領域に格納できるようにしている。この際、インデックス生成部32がユーザストレージ領域に格納された映像(音)データの索引として利用可能なインデックス情報を生成し、このインデックス情報を映像(音)データとともにユーザストレージ領域に格納しておくことで、ユーザストレージ領域に格納された映像(音)データの検索を容易に行えるようにしている。   The index generation unit 32 generates index information related to video (sound) data stored in a user storage area (described later) provided in the terminal management device 7. In the distribution management device 2 of the present embodiment, as described above, video (sound) data that has been subjected to data format conversion or the like by the encoder bridge unit 30 is stored in a user storage area (described later) provided in the terminal management device 7. It can be stored. At this time, the index generation unit 32 generates index information that can be used as an index of video (sound) data stored in the user storage area, and stores this index information in the user storage area together with the video (sound) data. This makes it easy to search for video (sound) data stored in the user storage area.

インデックス生成部32は、端末管理装置7に設けられた後述のユーザストレージ領域に映像(音)データを格納する際に、ブラウザ20から取得される情報に基づいて、インデックス情報を生成する。インデックス情報は、例えば、映像(音)データの格納開始からの相対時刻を示すタイムスタンプと、その相対時刻にブラウザ20が生成した映像(音)データの属性情報と、を含む。映像(音)データの属性情報としては、例えば、相対時刻にブラウザが映像(音)データの生成に用いたウェブコンテンツデータ等のコンテンツデータの取得先を示すURL(Uniform Resource Locator)等を用いることができる。   The index generation unit 32 generates index information based on information acquired from the browser 20 when video (sound) data is stored in a user storage area (described later) provided in the terminal management device 7. The index information includes, for example, a time stamp indicating a relative time from the start of storage of the video (sound) data, and attribute information of the video (sound) data generated by the browser 20 at the relative time. As the attribute information of video (sound) data, for example, a URL (Uniform Resource Locator) indicating the acquisition destination of content data such as web content data used by the browser to generate video (sound) data at a relative time is used. Can do.

図12は、インデックス生成部32が生成するインデックス情報の一例を示す概念図である。図12に示すインデックス情報では、タイムスタンプ(ミリ秒)T001,T002,T003,・・・と、それぞれのタイムスタンプで示される相対時刻にブラウザ20が映像(音)データの生成に用いたコンテンツデータのURLとが対応付けられている。インデックス情報に含まれるタイムスタンプやコンテンツデータのURLは、いずれもブラウザ20が映像(音)データを生成する際に取得して、インデックス生成部32に渡される。インデックス生成部32が生成したインデックス情報は、映像(音)データとともに送受信部21を介して端末管理装置7に送信され、映像(音)データとともに端末管理装置7に設けられた後述のユーザストレージ領域に格納される。   FIG. 12 is a conceptual diagram illustrating an example of index information generated by the index generation unit 32. In the index information shown in FIG. 12, time stamps (milliseconds) T001, T002, T003,... And content data used by the browser 20 for generating video (sound) data at relative times indicated by the respective time stamps. Are associated with each other. Both the time stamp and the content data URL included in the index information are acquired when the browser 20 generates video (sound) data and passed to the index generation unit 32. The index information generated by the index generation unit 32 is transmitted to the terminal management device 7 through the transmission / reception unit 21 together with the video (sound) data, and is described later in a user storage area provided in the terminal management device 7 together with the video (sound) data. Stored in

なお、図12に示すインデックス情報はスプレッドシート形式となっているが、これに限らない。映像(音)データを後に再生する際にアプリケーションの処理が容易となるように、例えば、XML(Extensible Markup Language)、JASON(JavaScript(登録商標) Object Notation)、YAML(YAML Ain't Markup Language)等、別形式であってもよい。   In addition, although the index information shown in FIG. 12 is a spreadsheet format, it is not restricted to this. For example, XML (Extensible Markup Language), JASON (JavaScript (registered trademark) Object Notation), and YAML (YAML Ain't Markup Language) so that application processing is facilitated when video (sound) data is reproduced later. Other formats may be used.

図9に戻り、受信用FIFO34は、デコード部40でデコードされた映像(音)データを格納するバッファである。   Returning to FIG. 9, the reception FIFO 34 is a buffer for storing video (sound) data decoded by the decoding unit 40.

認識部35は、通信端末5から受信する映像(音)データ〔E〕に対しての処理を行う。具体的には、認識部35は、例えば、サイネージ向けに、後述のカメラ62で撮影された映像から人や動物の顔、年齢、及び性別などを認識する。また、認識部35は、オフィス向けに、後述のカメラ62で撮影された映像から顔認識による名前タグ付けや背景映像の差し替え処理などを行う。認識部35は、認識した内容を示す認識情報を記憶部2000に記憶させる。この認識部35は、認識拡張ボードで処理を行うことで高速化が実現される。   The recognition unit 35 performs processing on video (sound) data [E] received from the communication terminal 5. Specifically, for example, for the signage, the recognition unit 35 recognizes the face, age, sex, and the like of a person or an animal from an image captured by a camera 62 described later. In addition, the recognition unit 35 performs name tagging by face recognition, background image replacement processing, and the like from an image captured by a camera 62 described later for the office. The recognition unit 35 causes the storage unit 2000 to store recognition information indicating the recognized content. The recognition unit 35 is speeded up by performing processing with a recognition expansion board.

遅延情報取得部37aは、上り用(通信端末5から配信管理装置2への通信用)の回線適応制御の処理に用いられる後述の遅延情報取得部57に対応して、下り用(配信管理装置2から通信端末5への通信用)の回線適応制御の処理に用いられる。具体的には、遅延情報取得部37aは、デコード部40から送信遅延時間d1を示す送信遅延時間情報(d1)を取得して一定時間保持しておき、複数の送信遅延時間情報(d1)を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する。   The delay information acquisition unit 37a corresponds to a later-described delay information acquisition unit 57 used for processing of line adaptation control for uplink (for communication from the communication terminal 5 to the distribution management device 2). 2 for communication from the communication terminal 5 to the communication terminal 5). Specifically, the delay information acquisition unit 37a acquires transmission delay time information (d1) indicating the transmission delay time d1 from the decoding unit 40, holds the transmission delay time information (d1) for a predetermined time, and stores a plurality of transmission delay time information (d1). Once acquired, transmission delay time information (d) indicating frequency distribution information based on a plurality of transmission delay times d1 is output to the line adaptive control unit 37b.

回線適応制御部37bは、上り用の回線適応制御の処理に用いられる上述した回線適応制御部27に対応して、下り用の回線適応制御の処理に用いられる。具体的には、回線適応制御部37bは、送信遅延時間情報(d)に基づいて、エンコード部60の動作条件を計算する。また、回線適応制御部37bは、送受信部31及び後述の送受信部51を介して通信端末5のエンコード部60に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する。   The channel adaptation control unit 37b is used for downlink channel adaptation control processing corresponding to the above-described channel adaptation control unit 27 used for uplink channel adaptation control processing. Specifically, the line adaptive control unit 37b calculates the operating condition of the encoding unit 60 based on the transmission delay time information (d). Also, the line adaptation control unit 37b transmits a line adaptation control signal indicating an operation condition such as a frame rate and data resolution to the encoding unit 60 of the communication terminal 5 via the transmission / reception unit 31 and the transmission / reception unit 51 described later.

デコード部40は、通信端末5から送信されて来た映像(音)データ〔E〕をデコードする。   The decoding unit 40 decodes the video (sound) data [E] transmitted from the communication terminal 5.

(通信端末の機能構成)
続いて、図13を用いて、通信端末5の機能構成について説明する。図13は、主に通信端末5の各機能を示す機能ブロック図である。図13では、通信端末5の1つとして通信端末5f1を例示しているが、通信端末5f1以外の通信端末5であっても、同様の機能構成を有する。なお、通信端末5のうち、ユーザアプリがインストールされた通信端末5は、ユーザが配信システム1へのログインや映像(音)データの配信の開始又は停止などを行うためのインターフェースとなる。一方、デバイスアプリがインストールされた通信端末5は、映像(音)データの送受信や操作データの送信を行うのみで、上記インターフェースは持たない。以下では、便宜上、通信端末5にユーザアプリがインストールされているものとして説明する。
(Functional configuration of communication terminal)
Next, the functional configuration of the communication terminal 5 will be described with reference to FIG. FIG. 13 is a functional block diagram mainly showing each function of the communication terminal 5. In FIG. 13, the communication terminal 5f1 is illustrated as one of the communication terminals 5, but the communication terminals 5 other than the communication terminal 5f1 have the same functional configuration. Of the communication terminals 5, the communication terminal 5 in which the user application is installed serves as an interface for the user to log in to the distribution system 1 or start or stop the distribution of video (sound) data. On the other hand, the communication terminal 5 in which the device application is installed only performs transmission / reception of video (sound) data and transmission of operation data, and does not have the interface. In the following, for the sake of convenience, description will be made assuming that the user application is installed in the communication terminal 5.

通信端末5は、図7と同様のハードウェア構成及びプログラム(ユーザアプリ)によって、図13に示す各機能構成を実現する。具体的に、通信端末5は、デコード部50、送受信部51、操作部52、再生制御部53、レンダリング部55、時刻制御部56、遅延情報取得部57、表示部58、及びエンコード部60を有している。更に、通信端末5は、図7に示したRAM203によって構築される記憶部5000を有している。この記憶部5000には、後述の時刻差Δを示す時刻差情報(Δ)、及び通信端末5における時刻tを示す時刻情報(t)が記憶される。   The communication terminal 5 implements each functional configuration shown in FIG. 13 with the same hardware configuration and program (user application) as in FIG. Specifically, the communication terminal 5 includes a decoding unit 50, a transmission / reception unit 51, an operation unit 52, a playback control unit 53, a rendering unit 55, a time control unit 56, a delay information acquisition unit 57, a display unit 58, and an encoding unit 60. Have. Further, the communication terminal 5 has a storage unit 5000 constructed by the RAM 203 shown in FIG. The storage unit 5000 stores time difference information (Δ) indicating a time difference Δ described later, and time information (t) indicating a time t in the communication terminal 5.

デコード部50は、配信管理装置2から配信され、再生制御部53から出力された映像(音)データ〔AEp〕をデコードする。   The decoding unit 50 decodes the video (sound) data [AEp] distributed from the distribution management device 2 and output from the reproduction control unit 53.

送受信部51は、配信管理装置2の送受信部31、及び後述の端末管理装置7の送受信部71aとの間で、各種データや要求等の送受信を行う。例えば、送受信部51は、通信端末5のログイン処理において、操作部52による通信端末5の起動に基づき、端末管理装置7の送受信部71にログイン要求を行う。   The transmission / reception unit 51 transmits and receives various data and requests between the transmission / reception unit 31 of the distribution management device 2 and the transmission / reception unit 71a of the terminal management device 7 described later. For example, in the login process of the communication terminal 5, the transmission / reception unit 51 makes a login request to the transmission / reception unit 71 of the terminal management device 7 based on the activation of the communication terminal 5 by the operation unit 52.

操作部52は、ユーザの操作入力を受け付ける処理を行う。例えば、操作部52は、電源スイッチ、キーボード、マウス、電子ペンP等による入力や選択等を受け付け、操作データとして配信管理装置2のブラウザ管理部22に送信する。   The operation unit 52 performs a process of receiving a user operation input. For example, the operation unit 52 accepts input or selection using a power switch, a keyboard, a mouse, an electronic pen P, and the like, and transmits it as operation data to the browser management unit 22 of the distribution management device 2.

再生制御部53は、送受信部51から受けた映像(音)データ(リアルタイムデータのパケット)をバッファリングし、再生遅延時間Uを考慮してデコード部50に出力する。   The reproduction control unit 53 buffers the video (sound) data (real-time data packet) received from the transmission / reception unit 51 and outputs it to the decoding unit 50 in consideration of the reproduction delay time U.

レンダリング部55は、デコード部50によってデコードされたデータをレンダリングする。   The rendering unit 55 renders the data decoded by the decoding unit 50.

時刻制御部56は、配信管理装置2の時刻取得部26と連携して、時刻調整の処理を行う。具体的には、時刻制御部56は、記憶部5000から通信端末5における時刻tを示す時刻情報(t)を取得する。また、時刻制御部56は、送受信部51及び送受信部31を介して、配信管理装置2の時刻取得部26に、配信管理装置2における時刻Tを示す時刻情報(T)を要求する。この場合、時刻情報(T)の要求と共に、時刻情報(t)が送信される。   The time control unit 56 performs time adjustment processing in cooperation with the time acquisition unit 26 of the distribution management device 2. Specifically, the time control unit 56 acquires time information (t) indicating the time t in the communication terminal 5 from the storage unit 5000. In addition, the time control unit 56 requests time information (T) indicating the time T in the distribution management device 2 from the time acquisition unit 26 of the distribution management device 2 via the transmission / reception unit 51 and the transmission / reception unit 31. In this case, time information (t) is transmitted together with a request for time information (T).

遅延情報取得部57は、再生制御部53から送信遅延時間D1を示す送信遅延時間情報(D1)を取得して一定時間保持しておき、複数の送信遅延時間情報(D1)を取得したところで、送受信部51及び送受信部31を介して回線適応制御部27に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を送信する。なお、送信遅延時間情報(D)は、例えば、100フレームに1回送信される。   The delay information acquisition unit 57 acquires the transmission delay time information (D1) indicating the transmission delay time D1 from the reproduction control unit 53, holds the transmission delay time information for a certain time, and acquires the plurality of transmission delay time information (D1). Transmission delay time information (D) indicating frequency distribution information based on a plurality of transmission delay times D1 is transmitted to the line adaptation control unit 27 via the transmission / reception unit 51 and the transmission / reception unit 31. The transmission delay time information (D) is transmitted once every 100 frames, for example.

表示部58は、レンダリング部55によってレンダリングされたデータを再生する。   The display unit 58 plays back the data rendered by the rendering unit 55.

エンコード部60は、内蔵されたマイク213(図7参照)や、外付けのカメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、同じく記憶部5000から取得した時間差Δを示す時間差情報(Δ)を、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する。エンコード部60の動作条件は、回線適応制御部37bから受信した回線適応制御信号に基づいて変更される。更に、動作条件が変更されると、エンコード部60は、新たな動作条件に従って、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、記憶部5000から取得した時間差Δを示す時間差情報(Δ)とを、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する。   The encoding unit 60 includes video (sound) data [E] acquired and encoded from the built-in microphone 213 (see FIG. 7), the external camera 62 and the microphone 63, and the current communication acquired from the storage unit 5000. The time information (t0) indicating the time t0 in the terminal 5 and the time difference information (Δ) indicating the time difference Δ obtained from the storage unit 5000 are also transmitted via the transmission / reception unit 51 and the transmission / reception unit 31 to the decoding unit of the distribution management device 2. 40. The operating condition of the encoding unit 60 is changed based on the channel adaptation control signal received from the channel adaptation control unit 37b. Further, when the operation condition is changed, the encoding unit 60, according to the new operation condition, encodes the video (sound) data [E] acquired from the camera 62 and the microphone 63 and the current time acquired from the storage unit 5000. The time information (t0) indicating the time t0 in the communication terminal 5 and the time difference information (Δ) indicating the time difference Δ acquired from the storage unit 5000 are decoded by the distribution management device 2 via the transmission / reception unit 51 and the transmission / reception unit 31. To the unit 40.

なお、内蔵されたマイク213や、外付けのカメラ62及びマイク63は、入力手段の一例であり、エンコードやデコードが必要な各種デバイスである。入力手段は、映像(音)データの他に、触覚(touch)データや嗅覚(smell)データを出力することができてもよい。図13では、電子黒板としての通信端末5f1にテレビ会議端末としての通信端末5eが接続され、通信端末5eのカメラ及びマイクが、通信端末5f1の外付けのカメラ62及びマイク63として利用される例を示している。   Note that the built-in microphone 213, the external camera 62, and the microphone 63 are examples of input means, and are various devices that require encoding and decoding. The input means may be capable of outputting touch data and smell data in addition to video (sound) data. In FIG. 13, a communication terminal 5e as a video conference terminal is connected to a communication terminal 5f1 as an electronic blackboard, and the camera and microphone of the communication terminal 5e are used as an external camera 62 and microphone 63 of the communication terminal 5f1. Is shown.

(端末管理装置の機能構成)
続いて、図14を用いて、端末管理装置7の機能構成について説明する。図14は、端末管理装置7の各機能を示す機能ブロック図である。
(Functional configuration of terminal management device)
Next, the functional configuration of the terminal management device 7 will be described with reference to FIG. FIG. 14 is a functional block diagram showing each function of the terminal management device 7.

端末管理装置7は、図7と同様のハードウェア構成及びプログラムによって、図14に示す各機能構成を実現する。具体的に、端末管理装置7は、送受信部71a、送受信部71b、及び認証部75を有している。また、端末管理装置7は、図7に示したHDD204によって構築される記憶部7000を有している。更に、端末管理装置7は、データ格納部76、インデックス格納部77、管理情報生成部78、及び管理情報格納部79を有している。   The terminal management device 7 implements each functional configuration shown in FIG. 14 by the same hardware configuration and program as in FIG. Specifically, the terminal management device 7 includes a transmission / reception unit 71a, a transmission / reception unit 71b, and an authentication unit 75. Further, the terminal management device 7 has a storage unit 7000 constructed by the HDD 204 shown in FIG. Further, the terminal management device 7 includes a data storage unit 76, an index storage unit 77, a management information generation unit 78, and a management information storage unit 79.

送受信部71aは、通信端末5との間で、各種データや要求等の送受信を行う。例えば、送受信部71aは、通信端末5の送受信部51からログイン要求を受信したり、送受信部51に対してログイン要求の認証結果を送信したりする。ログイン要求は、配信システム1に対する通信端末5の認証要求である。ログイン要求は、通信端末5を一意に識別する端末IDと、ユーザ証明書を含む。   The transmission / reception unit 71 a transmits and receives various data and requests to and from the communication terminal 5. For example, the transmission / reception unit 71 a receives a login request from the transmission / reception unit 51 of the communication terminal 5 or transmits an authentication result of the login request to the transmission / reception unit 51. The login request is an authentication request for the communication terminal 5 to the distribution system 1. The login request includes a terminal ID that uniquely identifies the communication terminal 5 and a user certificate.

送受信部71bは、配信管理装置2との間で、各種データや要求等の送受信を行う。例えば、送受信部71bは、配信管理装置2の送受信部21から、後述の配信先選択メニューデータ7030の要求を受信したり、送受信部21に対して、配信先選択メニューデータ7030を送信したりする。また、送受信部71bは、配信管理装置2の送受信部21から、後述のユーザストレージ領域7050に格納する映像(音)データやインデックス情報を受信する。   The transmission / reception unit 71b transmits and receives various data and requests to and from the distribution management device 2. For example, the transmission / reception unit 71b receives a request for distribution destination selection menu data 7030 described later from the transmission / reception unit 21 of the distribution management device 2, or transmits the distribution destination selection menu data 7030 to the transmission / reception unit 21. . Further, the transmission / reception unit 71b receives video (sound) data and index information stored in a user storage area 7050 described later from the transmission / reception unit 21 of the distribution management device 2.

認証部75は、通信端末5から受信したログイン要求に含まれる端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5aの認証を行う。   The authentication unit 75 searches the terminal management table 7010 based on the terminal ID and user certificate included in the login request received from the communication terminal 5 to determine whether there are the same combination of terminal ID and user certificate. Is determined, the communication terminal 5a is authenticated.

記憶部7000には、配信先選択メニューデータ7030、端末管理テーブル7010、利用可能端末管理テーブル7020、及び保存データ管理テーブル7040が記憶される。また、記憶部7000には、ユーザごとに割り当てられたデータの保存領域であるユーザストレージ領域7050が設けられている。   The storage unit 7000 stores distribution destination selection menu data 7030, a terminal management table 7010, an available terminal management table 7020, and a saved data management table 7040. In addition, the storage unit 7000 is provided with a user storage area 7050 which is a data storage area assigned to each user.

配信先選択メニューデータ7030は、図15に示すような配信先選択メニュー画面を表示させるためのデータである。図15は、配信先選択メニュー画面の概念図である。この図15に示す配信先選択メニュー画面では、映像(音)データの配信先として選択できる通信端末5について、後述の共有ID及び表示名が一覧表示される。ユーザは、この配信先選択メニュー画面上で、映像(音)データの配信先として希望する通信端末5の項目にチェックを入れ、「OK」ボタンを押下することで、希望する通信端末5に映像(音)データを配信させることができる。   Distribution destination selection menu data 7030 is data for displaying a distribution destination selection menu screen as shown in FIG. FIG. 15 is a conceptual diagram of a distribution destination selection menu screen. On the delivery destination selection menu screen shown in FIG. 15, a list of later-described shared IDs and display names is displayed for communication terminals 5 that can be selected as delivery destinations of video (sound) data. On the distribution destination selection menu screen, the user checks the item of the communication terminal 5 that is desired as the distribution destination of the video (sound) data, and presses the “OK” button to display the video on the desired communication terminal 5. (Sound) data can be distributed.

図16は、端末管理テーブル7010の概念図である。端末管理テーブル7010では、図16に示すように、登録されている通信端末5の端末ID、ユーザ証明書、ユーザが配信システム1のサービスを利用する際の契約情報、通信端末5の端末種別、各通信端末5のホームURL(Uniform Resource Locator)を示す設定情報、各通信端末5の実行環境情報、共有ID、設置位置情報、及び表示名情報が関連付けて管理されている。   FIG. 16 is a conceptual diagram of the terminal management table 7010. In the terminal management table 7010, as shown in FIG. 16, the registered terminal ID of the communication terminal 5, the user certificate, the contract information when the user uses the service of the distribution system 1, the terminal type of the communication terminal 5, Setting information indicating a home URL (Uniform Resource Locator) of each communication terminal 5, execution environment information of each communication terminal 5, shared ID, installation position information, and display name information are managed in association with each other.

ユーザ証明書は、配信システム1への接続を許可された通信端末5であることを証明する証明書である。ユーザ証明書は、配信システム1への接続を許可された通信端末5に予め与えられている。契約情報は、端末IDによって特定される通信端末5を使用するユーザが配信システム1のサービスを利用する際の契約内容を示す。端末種別は、通信端末5の種別を示す。設定情報は、対応する端末IDによって識別される通信端末5のホームURLを示す。   The user certificate is a certificate that proves that the communication terminal 5 is permitted to connect to the distribution system 1. The user certificate is given in advance to the communication terminal 5 that is permitted to connect to the distribution system 1. The contract information indicates the contract contents when the user using the communication terminal 5 specified by the terminal ID uses the service of the distribution system 1. The terminal type indicates the type of the communication terminal 5. The setting information indicates the home URL of the communication terminal 5 identified by the corresponding terminal ID.

実行環境情報には、各通信端末5の「お気に入り」、「前回のCookie情報」、及び「キャッシュファイル」が含まれており、各通信端末5のログイン後に、設定情報と共に配信管理装置2に送信され、各通信端末5に対して個別のサービスを行うために利用される。   The execution environment information includes “favorites”, “previous cookie information”, and “cache file” of each communication terminal 5, and is transmitted to the distribution management apparatus 2 together with setting information after each communication terminal 5 is logged in. And used for providing individual services to each communication terminal 5.

また、共有IDは、各ユーザが、自己の通信端末5に配信されている映像(音)データと同じ内容の映像(音)データを他の通信端末5にも配信させることで、遠隔共有処理を行う場合に利用されるIDであり、他の通信端末又は他の通信端末群を識別する識別情報である。図16に示す例では、端末ID「t006」の共有IDは「v006」であり、端末ID「t007」の共有IDは「v006」であり、更に、端末ID「t008」の共有IDは「v006」である。この場合、端末ID「t001」の通信端末5aから、共有ID「v006」の通信端末5f1,5f2,5f3との遠隔共有処理の要求があった場合には、配信管理装置2は、通信端末5f1,5f2,5f3に対して、通信端末5aに配信中の映像(音)データと同じ映像(音)データを配信する。但し、通信端末5aと通信端末5f1,5f2,5f3の表示部58の解像度が異なる場合には、これに応じて、配信管理装置2が映像(音)データを配信する。   In addition, the sharing ID allows each user to distribute video (sound) data having the same content as the video (sound) data distributed to his / her communication terminal 5 to other communication terminals 5, thereby enabling remote sharing processing. This ID is used when performing the above, and is identification information for identifying another communication terminal or another communication terminal group. In the example illustrated in FIG. 16, the shared ID of the terminal ID “t006” is “v006”, the shared ID of the terminal ID “t007” is “v006”, and the shared ID of the terminal ID “t008” is “v006”. It is. In this case, if there is a request for remote sharing processing from the communication terminal 5a with the terminal ID “t001” to the communication terminals 5f1, 5f2, and 5f3 with the share ID “v006”, the distribution management device 2 determines that the communication terminal 5f1 , 5f2, 5f3, the same video (sound) data as the video (sound) data being distributed is distributed to the communication terminal 5a. However, when the resolutions of the display units 58 of the communication terminal 5a and the communication terminals 5f1, 5f2, and 5f3 are different, the distribution management device 2 distributes video (sound) data accordingly.

設置位置情報は、例えば、図5に示したように、複数の通信端末5f1,5f2,5f3が並んで設置される場合の設置位置を示している。表示名情報は、図15に示した配信先選択メニュー画面の表示名の内容を表す情報である。   The installation position information indicates, for example, an installation position when a plurality of communication terminals 5f1, 5f2, and 5f3 are installed side by side as shown in FIG. The display name information is information representing the contents of the display name on the distribution destination selection menu screen shown in FIG.

図17は、利用可能端末管理テーブル7020の概念図である。利用可能端末管理テーブル7020では、端末ID毎に、この端末IDによって示される通信端末5が遠隔共有処理することが可能な他の通信端末又は他の通信端末群を示す共有IDが関連付けて管理されている。   FIG. 17 is a conceptual diagram of the available terminal management table 7020. In the available terminal management table 7020, for each terminal ID, a shared ID indicating another communication terminal or another communication terminal group that can be remotely shared by the communication terminal 5 indicated by the terminal ID is managed in association with each other. ing.

図18は、保存データ管理テーブル7040の概念図である。保存データ管理テーブル7040では、ユーザストレージ領域7050に格納された映像(音)データを識別するためのコンテンツIDと、このコンテンツIDで識別される映像(音)データに関するインデックス情報を識別するためのインデックスIDとが関連付けて管理されている。この保存データ管理テーブル7040の各エントリに登録される情報(管理情報)は、ユーザストレージ領域7050に映像(音)データが格納されるたびに後述の管理情報生成部78により生成され、後述の管理情報格納部79によって、保存データ管理テーブル7040に反映(記憶部7000に格納)される。   FIG. 18 is a conceptual diagram of the saved data management table 7040. In the saved data management table 7040, a content ID for identifying video (sound) data stored in the user storage area 7050 and an index for identifying index information regarding the video (sound) data identified by the content ID. IDs are managed in association with each other. Information (management information) registered in each entry of the saved data management table 7040 is generated by a management information generation unit 78 (to be described later) every time video (sound) data is stored in the user storage area 7050. The information is stored in the stored data management table 7040 (stored in the storage unit 7000) by the information storage unit 79.

ユーザストレージ領域7050は、エンコーダブリッジ部30によってデータ形式の変換等が行われた映像(音)データ、つまり通信端末5に配信された映像(音)データと同じデータを保存するためにユーザに割り当てられた領域である。ユーザストレージ領域7050は、例えば、ユーザごとに契約によって割り当てられる。ユーザストレージ領域7050への映像(音)データの保存(格納)は、例えばユーザ操作に応じて行われる。つまり、ユーザ操作により指定されたタイミングで映像(音)データの保存が開始され、ユーザ操作により指定されたタイミングで映像(音)データの保存が終了する。また、ユーザストレージ領域7050に保存(格納)された映像(音)データは、例えばユーザ操作に応じて適宜再生することができる。この際、上述したインデックス情報を用いて、再生する映像(音)データの検索を容易に行うことができる。   The user storage area 7050 is allocated to the user in order to store the video (sound) data that has been converted in data format by the encoder bridge unit 30, that is, the same data as the video (sound) data distributed to the communication terminal 5. This is the area that was created. The user storage area 7050 is allocated by contract for each user, for example. Storage (storage) of video (sound) data in the user storage area 7050 is performed in accordance with, for example, a user operation. That is, saving of video (sound) data is started at a timing designated by a user operation, and saving of video (sound) data is finished at a timing designated by a user operation. Also, the video (sound) data saved (stored) in the user storage area 7050 can be appropriately reproduced according to, for example, a user operation. At this time, it is possible to easily search for video (sound) data to be reproduced using the index information described above.

なお、本実施形態ではユーザストレージ領域7050を端末管理装置7の記憶部7000に設けているが、ユーザストレージ領域7050を端末管理装置7とは別体の外部記憶装置に設ける構成としてもよい。また、記憶部7000に格納しているその他の情報も同様に、端末管理装置7とは別体の外部記憶装置に格納してもよい。この場合、端末管理装置7と外部記憶装置を、例えばTCP/IP(Transmission Control Protocol/Internet Protocol)により接続すればよい。   In the present embodiment, the user storage area 7050 is provided in the storage unit 7000 of the terminal management device 7, but the user storage area 7050 may be provided in an external storage device separate from the terminal management device 7. Similarly, other information stored in the storage unit 7000 may be stored in an external storage device separate from the terminal management device 7. In this case, the terminal management device 7 and the external storage device may be connected by, for example, TCP / IP (Transmission Control Protocol / Internet Protocol).

データ格納部76は、送受信部71bが配信管理装置2から受信した映像(音)データを、記憶部7000のユーザストレージ領域7050に格納する。映像(音)データを格納するユーザストレージ領域7050の判別は、例えば、通信端末5の認証時に通信端末5から送信される端末IDをもとに、図16に示した端末管理テーブル7010からユーザに関する情報を取得することで実現できる。具体的には、例えば、図16では図示していないが、端末管理テーブル7010の端末IDに対応する契約情報として契約IDを格納し、端末管理テーブル7010とは別のテーブルとして、契約IDとユーザ情報を含む契約の詳細情報とを対応付けて管理する契約テーブルを設けておく。そして、通信端末5の端末IDをもとに契約IDを特定し、契約IDをもとに契約テーブルからユーザ情報を取得し、取得したユーザ情報に対応するユーザストレージ領域7050に映像(音)データを格納するといった方法が考えられる。   The data storage unit 76 stores the video (sound) data received by the transmission / reception unit 71b from the distribution management device 2 in the user storage area 7050 of the storage unit 7000. For example, the user storage area 7050 for storing the video (sound) data is identified from the terminal management table 7010 shown in FIG. 16 based on the terminal ID transmitted from the communication terminal 5 when the communication terminal 5 is authenticated. This can be achieved by acquiring information. Specifically, for example, although not shown in FIG. 16, the contract ID is stored as the contract information corresponding to the terminal ID of the terminal management table 7010, and the contract ID and the user are stored as a table different from the terminal management table 7010. A contract table that manages detailed information of contracts including information in association with each other is provided. Then, the contract ID is specified based on the terminal ID of the communication terminal 5, user information is acquired from the contract table based on the contract ID, and video (sound) data is stored in the user storage area 7050 corresponding to the acquired user information. It is possible to store the data.

インデックス格納部77は、送受信部71bが配信管理装置2から受信したインデックス情報を、記憶部7000のユーザストレージ領域7050に格納する。   The index storage unit 77 stores the index information received from the distribution management device 2 by the transmission / reception unit 71b in the user storage area 7050 of the storage unit 7000.

管理情報生成部78は、例えば、ユーザストレージ領域7050への映像(音)データ及びインデックス情報の格納が終了したときに、これら映像(音)データとインデックス情報にそれぞれコンテンツIDとインデックスIDとを割り当てる。そして、これらコンテンツIDとインデックスIDとを関連付けて、保存データ管理テーブル7040のエントリに登録する管理情報を生成する。   For example, when the storage of the video (sound) data and the index information in the user storage area 7050 is finished, the management information generation unit 78 assigns a content ID and an index ID to the video (sound) data and the index information, respectively. . Then, the management information to be registered in the entry of the saved data management table 7040 is generated by associating the content ID and the index ID.

管理情報格納部79は、管理情報生成部78によって生成された管理情報、すなわちコンテンツIDとインデックスIDとを関連付けた管理情報を記憶部7000に格納し、保存データ管理テーブル7040に反映させる。   The management information storage unit 79 stores the management information generated by the management information generation unit 78, that is, the management information in which the content ID and the index ID are associated with each other in the storage unit 7000, and reflects the management information in the saved data management table 7040.

端末管理装置7では、保存データ管理テーブル7040を用いて、ユーザストレージ領域7050に格納された映像(音)データとインデックス情報との関係を特定できる。なお、端末管理装置7は、図示を省略するが、ユーザストレージ領域7050に格納された映像(音)データの格納場所とその映像(音)データに割り当てられたコンテンツIDとの関係や、ユーザストレージ領域7050に格納されたインデックス情報の格納場所とそのインデックス情報に割り当てられたインデックスIDとの関係を別途管理している。そして、端末管理装置7は、これらコンテンツIDやインデックスIDをもとに、ユーザストレージ領域7050から映像(音)データやインデックス情報を取り出すことができる。   The terminal management apparatus 7 can specify the relationship between the video (sound) data stored in the user storage area 7050 and the index information using the saved data management table 7040. Although not shown, the terminal management device 7 does not show the relationship between the storage location of the video (sound) data stored in the user storage area 7050 and the content ID assigned to the video (sound) data, the user storage The relationship between the storage location of the index information stored in the area 7050 and the index ID assigned to the index information is separately managed. Then, the terminal management device 7 can extract video (sound) data and index information from the user storage area 7050 based on these content IDs and index IDs.

〔実施形態の動作または処理〕
続いて、図19乃至図27を用いて、本実施形態の動作または処理について説明する。
[Operation or Processing of Embodiment]
Subsequently, the operation or processing of the present embodiment will be described with reference to FIGS.

<基本的な配信処理>
まず、図19を用いて、配信管理装置2の基本的な配信方法における具体的な配信処理を説明する。図19は、配信管理装置2の基本的な配信処理を示すシーケンス図である。なお、ここでは、通信端末5aを用いてログイン要求する場合について説明するが、通信端末5a以外の通信端末5を用いてログインしてもよい。
<Basic delivery processing>
First, a specific distribution process in the basic distribution method of the distribution management device 2 will be described with reference to FIG. FIG. 19 is a sequence diagram illustrating basic distribution processing of the distribution management device 2. Here, a case where a login request is made using the communication terminal 5a will be described, but login may be made using a communication terminal 5 other than the communication terminal 5a.

図19に示すように、通信端末5aにおいてユーザが電源オンにすると、通信端末5aの送受信部51は、端末管理装置7の送受信部71aを介して認証部75に、ログイン要求を行う(ステップS21)。このログイン要求には、通信端末5aの端末ID及びユーザ証明書が含まれている。   As shown in FIG. 19, when the user turns on the power in the communication terminal 5a, the transmission / reception unit 51 of the communication terminal 5a makes a login request to the authentication unit 75 via the transmission / reception unit 71a of the terminal management device 7 (step S21). ). This login request includes the terminal ID of the communication terminal 5a and the user certificate.

次に、端末管理装置7の認証部75は、通信端末5aから受信した端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5aの認証を行う(ステップS22)。ここでは、端末管理テーブル7010に同じ組み合わせの端末ID及びユーザ証明書がある、即ち、通信端末5aが配信システム1における正当な端末であると認証された場合について、以下に続けて説明する。   Next, the authentication unit 75 of the terminal management device 7 searches the terminal management table 7010 based on the terminal ID and user certificate received from the communication terminal 5a, so that there are the same combination of terminal ID and user certificate. Or not, authentication of the communication terminal 5a is performed (step S22). Here, the case where the terminal management table 7010 has the same combination of terminal ID and user certificate, that is, the case where the communication terminal 5a is authenticated as a valid terminal in the distribution system 1 will be described below.

次に、端末管理装置7の認証部75は、送受信部71aを介して、通信端末5aの送受信部51bに、配信管理装置2のIPアドレスを送信する(ステップS23)。なお、配信管理装置2のIPアドレスは、予め端末管理装置7によって取得されて、記憶部7000に記憶されている。   Next, the authentication unit 75 of the terminal management device 7 transmits the IP address of the distribution management device 2 to the transmission / reception unit 51b of the communication terminal 5a via the transmission / reception unit 71a (step S23). The IP address of the distribution management device 2 is acquired in advance by the terminal management device 7 and stored in the storage unit 7000.

次に、端末管理装置7の送受信部71bは、配信管理装置2の送受信部21を介して、ブラウザ管理部22に、ブラウザ20の起動要求を行う(ステップS24)。この起動要求に応じて、配信管理装置2のブラウザ管理部22は、ブラウザ20を起動させる(ステップS25)。   Next, the transmission / reception unit 71b of the terminal management device 7 requests the browser management unit 22 to start the browser 20 via the transmission / reception unit 21 of the distribution management device 2 (step S24). In response to the activation request, the browser management unit 22 of the distribution management device 2 activates the browser 20 (step S25).

次に、エンコーダブリッジ部30の作成・選択部310が、通信端末5aの再生能力(ディスプレイの解像度等)及びコンテンツの種類に従って変換部10を作成する(ステップS26)。   Next, the creation / selection unit 310 of the encoder bridge unit 30 creates the conversion unit 10 according to the reproduction capability (display resolution, etc.) of the communication terminal 5a and the type of content (step S26).

次に、ブラウザ20が、ウェブサーバ8に対して、コンテンツデータ〔A〕を要求する(ステップS27)。これに応じて、ウェブサーバ8は、要求されたコンテンツデータ〔A〕を自己の記憶部(不図示)から読み出す(ステップS28)。そして、ウェブサーバ8は、配信管理装置2の送受信部21を介して、要求元であるブラウザ20にコンテンツデータ〔A〕を送信する(ステップS29)。   Next, the browser 20 requests content data [A] from the web server 8 (step S27). In response to this, the web server 8 reads the requested content data [A] from its own storage unit (not shown) (step S28). Then, the web server 8 transmits the content data [A] to the browser 20 that is the request source via the transmission / reception unit 21 of the distribution management device 2 (step S29).

次に、ブラウザ20が、コンテンツデータ〔A〕をレンダリングして画像(音)データ〔A〕を生成し、送信用FIFO24に出力する(ステップS30)。そして、変換部10が、送信用FIFO24に格納された画像(音)データ〔A〕をエンコードすることで、通信端末5aに配信すべき映像(音)データ〔A〕に変換する(ステップS31)。   Next, the browser 20 renders the content data [A] to generate image (sound) data [A], and outputs it to the transmission FIFO 24 (step S30). Then, the conversion unit 10 encodes the image (sound) data [A] stored in the transmission FIFO 24 to convert it into video (sound) data [A] to be distributed to the communication terminal 5a (step S31). .

次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、再生制御部53に映像(音)データ〔A〕を送信する(ステップS32)。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像(音)データ〔A〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS33)。   Next, the encoder bridge unit 30 transmits the video (sound) data [A] to the reproduction control unit 53 via the transmission / reception unit 31 and the transmission / reception unit 51 (step S32). As a result, in the communication terminal 5 a, the video (sound) data [A] is output from the reproduction control unit 53 to the decoding unit 50, the sound is reproduced from the speaker 61, and also displayed on the display unit 58 via the rendering unit 55. The video is reproduced (step S33).

<映像(音)データの保存を伴う配信処理>
次に、図20を用いて、映像(音)データの保存(ユーザストレージ領域7050への格納)を伴う配信処理を説明する。図20は、映像(音)データの保存を伴う配信処理を示すシーケンス図である。なお、図20のステップS21〜ステップS33の処理は図19のステップS21〜ステップS33と同様であるため、重複した説明は省略し、ステップS34の処理から説明する。
<Distribution processing with storage of video (sound) data>
Next, with reference to FIG. 20, a distribution process accompanied by storage of video (sound) data (storage in the user storage area 7050) will be described. FIG. 20 is a sequence diagram showing a distribution process involving storage of video (sound) data. Note that the processing in steps S21 to S33 in FIG. 20 is the same as that in steps S21 to S33 in FIG.

図20のステップS34以降の処理は、例えば、通信端末5aを使用するユーザが現在配信されている映像(音)データの保存を開始するユーザ操作を行った場合に実施される。このようなユーザ操作があった場合、エンコーダブリッジ部30は、ステップS31にて変換部10により変換された映像(音)データ〔A〕を、送受信部21を介して端末管理装置7に送信する(ステップS34)。この映像(音)データ〔A〕は、端末管理装置7の送受信部71bにより受信される。   The processing after step S34 in FIG. 20 is performed, for example, when a user using the communication terminal 5a performs a user operation to start saving the currently distributed video (sound) data. When there is such a user operation, the encoder bridge unit 30 transmits the video (sound) data [A] converted by the conversion unit 10 in step S31 to the terminal management device 7 via the transmission / reception unit 21. (Step S34). This video (sound) data [A] is received by the transmission / reception unit 71 b of the terminal management device 7.

次に、端末管理装置7のデータ格納部76が、送受信部71bにより受信された映像(音)データ〔A〕を、ユーザ操作を行ったユーザに割り当てられた記憶部7000のユーザストレージ領域7050に格納(保存)する(ステップS35)。   Next, the data storage unit 76 of the terminal management device 7 stores the video (sound) data [A] received by the transmission / reception unit 71b in the user storage area 7050 of the storage unit 7000 assigned to the user who performed the user operation. Store (save) (step S35).

また、映像(音)データ〔A〕の保存が開始されると、配信管理装置2のインデックス生成部32が、映像(音)データ〔A〕の保存を開始してからの相対時刻を示すタイムスタンプと、その相対時刻において映像(音)データ〔A〕の生成に用いたコンテンツデータのURLをブラウザ20から取得し、これらの情報を含むインデックス情報を生成する(ステップS36)。そして、インデックス生成部32は、生成したインデックス情報を、送受信部21を介して端末管理装置7に送信する(ステップS37)。このインデックス情報は、端末管理装置7の送受信部71bにより受信される。   When the storage of the video (sound) data [A] is started, the time indicating the relative time from when the index generation unit 32 of the distribution management apparatus 2 starts to store the video (sound) data [A]. The stamp and the URL of the content data used to generate the video (sound) data [A] at the relative time are acquired from the browser 20, and index information including these pieces of information is generated (step S36). And the index production | generation part 32 transmits the produced | generated index information to the terminal management apparatus 7 via the transmission / reception part 21 (step S37). This index information is received by the transmission / reception unit 71b of the terminal management device 7.

次に、端末管理装置7のインデックス格納部77が、送受信部71bにより受信されたインデックス情報を、ユーザ操作を行ったユーザに割り当てられた記憶部7000のユーザストレージ領域7050に格納(保存)する(ステップS38)。上記ステップS34〜ステップS38の処理は、ユーザが映像(音)データの保存を終了するユーザ操作を行うまで継続される。そして、このようなユーザ操作に応じて上記ステップS34〜ステップS38の処理が終了すると、端末管理装置7の管理情報生成部78が、ステップS35でユーザストレージ領域7050に格納された映像(音)データにコンテンツIDを割り当てるとともに、ステップS38でユーザストレージ領域7050に格納されたインデックス情報にインデックスIDを割り当てて、これらコンテンツIDとインデックスIDとを関連付けた管理情報を生成する(ステップS39)。そして、管理情報格納部79が、管理情報生成部78によって生成された管理情報を記憶部7000に格納し、保存データ管理テーブル7040に反映させる(ステップS40)。   Next, the index storage unit 77 of the terminal management device 7 stores (saves) the index information received by the transmission / reception unit 71b in the user storage area 7050 of the storage unit 7000 assigned to the user who performed the user operation ( Step S38). The processes in steps S34 to S38 are continued until the user performs a user operation for ending the saving of the video (sound) data. When the processing in steps S34 to S38 is completed in response to such a user operation, the management information generation unit 78 of the terminal management device 7 stores the video (sound) data stored in the user storage area 7050 in step S35. A content ID is assigned to the index information, and an index ID is assigned to the index information stored in the user storage area 7050 in step S38, and management information that associates the content ID with the index ID is generated (step S39). Then, the management information storage unit 79 stores the management information generated by the management information generation unit 78 in the storage unit 7000 and reflects it in the saved data management table 7040 (step S40).

<複数の通信端末を使った複合配信の処理>
続いて、図21を用いて、配信管理装置2を介して複数の通信端末5を使った複合配信の処理を説明する。図21は、複数の通信端末5を使った複合配信の処理を示すシーケンス図である。ここでは、複数の通信端末5として通信端末5f1,5f2を想定し、図6に示したパターンについて具体的な処理を説明する。なお、ここでも、図19のステップS21〜ステップS29と同様のログイン処理及びブラウザ起動等の処理が行われるが、図19のステップS21〜ステップS28に対応する処理の説明は省略し、ステップS29に対応するステップS41の処理から説明する。
<Processing of composite delivery using multiple communication terminals>
Next, a composite distribution process using a plurality of communication terminals 5 via the distribution management device 2 will be described with reference to FIG. FIG. 21 is a sequence diagram showing a composite distribution process using a plurality of communication terminals 5. Here, assuming the communication terminals 5f1 and 5f2 as the plurality of communication terminals 5, a specific process will be described for the pattern shown in FIG. Also here, the login process and the browser activation process similar to steps S21 to S29 in FIG. 19 are performed, but the description of the processes corresponding to steps S21 to S28 in FIG. The process from the corresponding step S41 will be described.

図21に示すように、配信管理装置2のブラウザ20は、ウェブサーバ8から送受信部21を介してコンテンツデータ〔A〕を受信する(ステップS41)。そして、ブラウザ20は、コンテンツデータ〔A〕をレンダリングすることにより、画像(音)データを生成して、送信用FIFO24に出力する(ステップS42)。   As shown in FIG. 21, the browser 20 of the distribution management device 2 receives content data [A] from the web server 8 via the transmission / reception unit 21 (step S41). Then, the browser 20 renders the content data [A] to generate image (sound) data and outputs it to the transmission FIFO 24 (step S42).

一方、通信端末5f1のエンコード部60が、カメラ62及びマイク63からコンテンツデータ〔E〕の入力を受け付けると(ステップS43)、エンコード部60はエンコードした後、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40にコンテンツデータ〔E〕を送信する(ステップS44)。これにより、コンテンツデータ〔E〕は、デコード部40でデコードされた後、受信用FIFO34を介して、ブラウザ20に入力される。そして、ブラウザ20は、コンテンツデータ〔E〕をレンダリングすることにより、画像(音)データ〔E〕を生成して、送信用FIFO24に出力する(ステップS45)。この場合、ブラウザ20は、既に取得しているコンテンツデータ〔A〕に対して、コンテンツデータ〔E〕を結合して出力する。   On the other hand, when the encoding unit 60 of the communication terminal 5f1 receives the input of the content data [E] from the camera 62 and the microphone 63 (step S43), the encoding unit 60 encodes, and then transmits via the transmission / reception unit 51 and the transmission / reception unit 31. Then, the content data [E] is transmitted to the decoding unit 40 of the distribution management device 2 (step S44). Accordingly, the content data [E] is decoded by the decoding unit 40 and then input to the browser 20 via the reception FIFO 34. Then, the browser 20 renders the content data [E] to generate image (sound) data [E] and outputs it to the transmission FIFO 24 (step S45). In this case, the browser 20 combines the content data [E] with the already acquired content data [A] and outputs the result.

更に、通信端末5f1の操作部52が、電子ペンP1によるストローク操作の入力を受け付けると(ステップS46)、操作部52は、送受信部51及び送受信部31を介して、ブラウザ管理部22に操作データ〔p〕を送信する(ステップS47)。これにより、操作データ〔p〕は、配信管理装置2のブラウザ管理部22からブラウザ20に入力される。そして、ブラウザ20は、操作データ〔p〕をレンダリングすることにより、画像データ〔p〕を生成して、送信用FIFO24に出力する(ステップS48)。この場合、ブラウザ20は、既に取得しているコンテンツデータ(〔A〕,〔E〕)に対して、操作データ〔p〕を結合して出力する。   Furthermore, when the operation unit 52 of the communication terminal 5f1 receives an input of a stroke operation with the electronic pen P1 (step S46), the operation unit 52 transmits operation data to the browser management unit 22 via the transmission / reception unit 51 and the transmission / reception unit 31. [P] is transmitted (step S47). Accordingly, the operation data [p] is input to the browser 20 from the browser management unit 22 of the distribution management device 2. Then, the browser 20 renders the operation data [p] to generate image data [p] and outputs it to the transmission FIFO 24 (step S48). In this case, the browser 20 combines the operation data [p] with the already acquired content data ([A], [E]) and outputs it.

次に、変換部10が、送信用FIFO24に格納された画像(音)データ(〔A〕,〔E〕,〔p〕)をエンコードすることで、通信端末5aに配信すべき映像(音)データ(〔A〕,〔E〕,〔p〕)に変換する(ステップS49)。そして、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5f1の再生制御部53に映像(音)データ(〔A〕,〔E〕,〔p〕)を送信する(ステップS50−1)。その後、映像(音)データ(〔A〕,〔E〕,〔p〕)は、通信端末5f1のデコード部50でデコードされてスピーカ61に音が出力されると共に、レンダリング部55でレンダリングされて表示部58に映像が出力される(ステップS51−1)。   Next, the conversion unit 10 encodes the image (sound) data ([A], [E], [p]) stored in the transmission FIFO 24 so that the video (sound) to be distributed to the communication terminal 5a. Data ([A], [E], [p]) is converted (step S49). Then, the encoder bridge unit 30 transmits video (sound) data ([A], [E], [p]) to the reproduction control unit 53 of the communication terminal 5f1 via the transmission / reception unit 31 and the transmission / reception unit 51 ( Step S50-1). Thereafter, the video (sound) data ([A], [E], [p]) is decoded by the decoding unit 50 of the communication terminal 5f1 to output sound to the speaker 61 and is also rendered by the rendering unit 55. An image is output to the display unit 58 (step S51-1).

また、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5f2の再生制御部53に対しても、同様の映像(音)データ(〔A〕,〔E〕,〔p〕)を送信する(ステップS50−2)。その後、映像(音)データ(〔A〕,〔E〕,〔p〕)は、通信端末5f2のデコード部50でデコードされてスピーカ61に音が出力されると共に、レンダリング部55でレンダリングされて表示部58に映像が出力される(ステップS51−2)。これにより、通信端末5f1で出力される映像(音)と同じ映像(音)が、通信端末5f2でも出力されることになる。   The encoder bridge unit 30 also sends similar video (sound) data ([A], [E], [p] to the reproduction control unit 53 of the communication terminal 5f2 via the transmission / reception unit 31 and the transmission / reception unit 51. ]) Is transmitted (step S50-2). Thereafter, the video (sound) data ([A], [E], [p]) is decoded by the decoding unit 50 of the communication terminal 5f2 to output sound to the speaker 61 and is also rendered by the rendering unit 55. The video is output to the display unit 58 (step S51-2). As a result, the same video (sound) as the video (sound) output from the communication terminal 5f1 is also output from the communication terminal 5f2.

<時刻調整の処理>
続いて、図22を用いて、時刻調整の処理について説明する。図22は、配信管理装置2と通信端末5との間で行われる時刻調整の処理を示すシーケンス図である。
<Time adjustment processing>
Next, the time adjustment process will be described with reference to FIG. FIG. 22 is a sequence diagram illustrating a time adjustment process performed between the distribution management device 2 and the communication terminal 5.

図22に示すように、まず、通信端末5の時刻制御部56は、送受信部51が配信管理装置2に時刻情報(T)を要求する時刻を取得するために、記憶部5000から通信端末5における時刻情報(t)を取得する(ステップS81)。そして、送受信部51は送受信部31に、配信管理システム2における時刻情報(T)を要求する(ステップS82)。この場合、時刻情報(T)の要求と共に、上記時刻情報(t)が送信される。 As shown in FIG. 22, first, the time control unit 56 of the communication terminal 5 acquires the time when the transmission / reception unit 51 requests time information (T) from the distribution management device 2 from the storage unit 5000. It acquires the time information (t s) in (step S81). Then, the transmission / reception unit 51 requests the time information (T) in the distribution management system 2 from the transmission / reception unit 31 (step S82). In this case, the time information (t s ) is transmitted together with a request for time information (T).

次に、時刻取得部26は、送受信部31が上記ステップS82の要求を受信した時刻を取得するために、時刻管理部25から配信管理装置2における時刻情報(T)を取得する(ステップS83)。更に、時刻取得部26は、送受信部31が上記ステップS82の要求に応答する時刻を取得するために、時刻管理部25から配信管理装置2における時刻情報(T)を取得する(ステップS84)。そして、送受信部31は送受信部51に、時刻情報(t, T,T)を送信する(ステップS85)。 Next, the time acquisition unit 26 acquires time information (T r ) in the distribution management device 2 from the time management unit 25 in order to acquire the time when the transmission / reception unit 31 receives the request in step S82 (step S83). ). Furthermore, the time acquisition unit 26 acquires time information (T s ) in the distribution management device 2 from the time management unit 25 in order to acquire the time at which the transmission / reception unit 31 responds to the request in step S82 (step S84). . Then, the transmission / reception unit 31 transmits time information (t s , T r , T s ) to the transmission / reception unit 51 (step S85).

次に、通信端末5の時刻制御部56は、送受信部51が上記ステップS85の応答を受信した時刻を取得するために、記憶部5000から通信端末5における時刻情報(t)を取得する(ステップS86)。そして、通信端末5の時刻制御部56は、配信管理システム2と通信端末5との間の時刻差Δを計算する(ステップS87)。この時刻差Δは、下記式(1)によって表される。
Δ=((T+T)/2)−((t+t)/2) ・・・(1)
Next, the time control unit 56 of the communication terminal 5 acquires the time information (t r ) in the communication terminal 5 from the storage unit 5000 in order to acquire the time when the transmission / reception unit 51 received the response in step S85 ( Step S86). Then, the time control unit 56 of the communication terminal 5 calculates a time difference Δ between the distribution management system 2 and the communication terminal 5 (step S87). This time difference Δ is expressed by the following equation (1).
Δ = ((T r + T s ) / 2) − ((t r + t s ) / 2) (1)

そして、時刻制御部56は、記憶部5000に時刻差Δを示す時刻差情報(Δ)を記憶する(ステップS88)。この時刻調整の一連の処理は、例えば、毎分定期的に行われる。   Then, the time control unit 56 stores time difference information (Δ) indicating the time difference Δ in the storage unit 5000 (step S88). This series of time adjustment processes is performed periodically, for example, every minute.

<下り用の回線適応制御の処理>
続いて、図23を用いて、配信管理装置2から通信端末5に送信する(下り)データの回線適応制御の処理を説明する。図23は、配信管理装置2から通信端末5に送信するデータの回線適応制御の処理を示すシーケンス図である。
<Process of downlink adaptive control>
Next, a description will be given of the process of line adaptive control of (downstream) data transmitted from the distribution management device 2 to the communication terminal 5 with reference to FIG. FIG. 23 is a sequence diagram illustrating a process of line adaptive control of data transmitted from the distribution management device 2 to the communication terminal 5.

まず、配信管理装置2のエンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5の再生制御部53に、再生までにバッファリングして再生を遅延させるための再生遅延時間を示す再生遅延時間情報(U)を送信する(ステップS101)。また、エンコーダブリッジ部30は、送信用FIFO24から取得してエンコード等を行った映像(音)データ〔A〕に対して、時刻管理部25から取得した現時点の時刻Tをタイムスタンプとして付加し、送受信部31及び送受信部51を介して、通信端末5の再生制御部53に送信する(ステップS102)。 First, the encoder bridge unit 30 of the distribution management device 2 uses the transmission / reception unit 31 and the transmission / reception unit 51 to cause the reproduction control unit 53 of the communication terminal 5 to buffer the reproduction before reproduction and delay the reproduction. The reproduction delay time information (U) indicating is transmitted (step S101). The encoder bridge unit 30 adds the current time T 0 acquired from the time management unit 25 as a time stamp to the video (sound) data [A] acquired from the transmission FIFO 24 and encoded. Then, the data is transmitted to the reproduction control unit 53 of the communication terminal 5 via the transmission / reception unit 31 and the transmission / reception unit 51 (step S102).

一方、通信端末5では、再生制御部53が、通信端末5における時刻(T+U−Δ)になるまで待ってから、映像(音)データをデコード部50に出力することで、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる(ステップS103)。即ち、下記式(2)に示される再生遅延時間Uの範囲内に通信端末5が受信した映像(音)データだけが再生されることになり、範囲外の映像(音)データは再生されずに消去される。
U≧(t+Δ)−T ・・・(2)
On the other hand, in the communication terminal 5, the reproduction control unit 53 waits until the time (T 0 + U−Δ) in the communication terminal 5 is reached, and then outputs the video (sound) data to the decoding unit 50, so that the speaker 61 The sound is reproduced, and the video is reproduced from the display unit 58 via the rendering unit 55 (step S103). That is, only the video (sound) data received by the communication terminal 5 is reproduced within the range of the reproduction delay time U shown in the following formula (2), and the video (sound) data outside the range is not reproduced. Will be erased.
U ≧ (t 0 + Δ) −T 0 (2)

また、再生制御部53は、記憶部5000から、通信端末5における現時点の時刻tを読み出す(ステップS104)。この時刻tは、通信端末5が配信管理装置2から映像(音)データを受信した時点の通信端末5における時刻を示す。更に、再生制御部53は、記憶部5000から、図22のステップS88によって記憶されている時刻差Δを示す時刻差情報(Δ)を読み出す(ステップS105)。そして、再生制御部53は、上記の時刻Tと時刻tと時刻差Δとを用いて、映像(音)データが配信管理装置2から送信されて通信端末5で受信されるまでの時間を示す送信遅延時間D1を計算する(ステップS106)。この計算は、下記式(3)によって行われる。通信ネットワーク9が混雑している場合には、送信遅延時間D1が長くなる。
D1=(t+Δ)−T ・・・(3)
Further, the reproduction control unit 53 reads the current time t 0 in the communication terminal 5 from the storage unit 5000 (step S104). This time t 0 indicates the time at the communication terminal 5 when the communication terminal 5 receives the video (sound) data from the distribution management device 2. Furthermore, the reproduction control unit 53 reads time difference information (Δ) indicating the time difference Δ stored in step S88 of FIG. 22 from the storage unit 5000 (step S105). Then, the playback control unit 53 uses the time T 0 , the time t 0, and the time difference Δ to time until video (sound) data is transmitted from the distribution management device 2 and received by the communication terminal 5. Is calculated (step S106). This calculation is performed by the following equation (3). When the communication network 9 is congested, the transmission delay time D1 becomes long.
D1 = (t 0 + Δ) −T 0 (3)

次に、遅延情報取得部57が、再生制御部53から送信遅延時間D1を示す送信遅延時間情報(D1)を取得して一定時間保持しておき、複数の送信遅延時間情報(D1)を取得したところで、送受信部51及び送受信部31を介して、配信管理装置2の回線適応制御部27に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を送信する(ステップS107)。   Next, the delay information acquisition unit 57 acquires the transmission delay time information (D1) indicating the transmission delay time D1 from the reproduction control unit 53 and holds it for a predetermined time, and acquires a plurality of transmission delay time information (D1). Then, the transmission delay time information (D) indicating the frequency distribution information by the plurality of transmission delay times D1 is transmitted to the line adaptation control unit 27 of the distribution management device 2 via the transmission / reception unit 51 and the transmission / reception unit 31 (step). S107).

次に、配信管理装置2の回線適応制御部27は、送信遅延時間情報(D)に基づいて、新たに再生遅延情報U’を計算したり、変換部10のフレームレートやデータの解像度等の動作条件を計算したりする(ステップS108)。   Next, the line adaptation control unit 27 of the distribution management device 2 newly calculates the reproduction delay information U ′ based on the transmission delay time information (D), and determines the frame rate and data resolution of the conversion unit 10. The operating conditions are calculated (step S108).

次に、配信管理装置2のエンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信装置5の再生制御部53に、上記ステップS108によって計算された新たな再生遅延時間U’を示す再生遅延時間情報(U’)を送信する(ステップS109)。   Next, the encoder bridge unit 30 of the distribution management device 2 sends the new reproduction delay time U ′ calculated in step S108 to the reproduction control unit 53 of the communication device 5 via the transmission / reception unit 31 and the transmission / reception unit 51. The reproduction delay time information (U ′) shown is transmitted (step S109).

更に、エンコーダブリッジ部30内の変換部10が、回線適応制御信号に基づいて、動作条件を変更する(ステップS110)。例えば、送信遅延時間D1が長すぎる場合、送信遅延時間D1に応じて再生遅延時間Uを長くすると、スピーカ61や表示部58での再生時間が遅くなり過ぎるため、再生遅延時間Uを長くすることには限界がある。そこで、回線適応制御部27は、エンコーダブリッジ部30に対して、再生遅延時間Uを変更させて再生遅延時間U’とするだけでなく、変換部10に対して、映像(音)データのフレームレートを下げさせたり、映像(音)データの解像度を下げさせたりすることで、通信ネットワーク9の混雑に対応することができる。これにより、エンコーダブリッジ部30は、変更後の動作条件に従って、上記ステップS102のように、現時点の時刻Tをタイムスタンプとして付加した映像(音)データを通信端末5の再生制御部53に送信する(ステップS111)。 Further, the conversion unit 10 in the encoder bridge unit 30 changes the operating condition based on the line adaptive control signal (step S110). For example, when the transmission delay time D1 is too long, if the reproduction delay time U is lengthened in accordance with the transmission delay time D1, the reproduction time on the speaker 61 or the display unit 58 becomes too late, so the reproduction delay time U is lengthened. Has its limits. Therefore, the line adaptive control unit 27 not only changes the reproduction delay time U to the encoder bridge unit 30 to obtain the reproduction delay time U ′, but also provides the conversion unit 10 with a frame of video (sound) data. The congestion of the communication network 9 can be dealt with by lowering the rate or lowering the resolution of the video (sound) data. Thereby, the encoder bridge unit 30 transmits the video (sound) data to which the current time T 0 is added as a time stamp to the reproduction control unit 53 of the communication terminal 5 according to the changed operation condition as in step S102. (Step S111).

次に、通信端末5では、再生制御部53が、通信端末5における時刻(T+U’−Δ)になるまで待ってから、映像(音)データをデコード部50に出力することで、上記ステップS103のように、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる(ステップS112)。その後、上記ステップS104以降の処理が続けて行われる。このようにして、下り用の回線適応制御の処理が継続して行われる。 Next, in the communication terminal 5, the reproduction control unit 53 waits until the time (T 0 + U′−Δ) in the communication terminal 5 is reached, and then outputs the video (sound) data to the decoding unit 50. As in step S103, sound is reproduced from the speaker 61, and video is reproduced from the display unit 58 via the rendering unit 55 (step S112). Thereafter, the processing after step S104 is continued. In this way, the downlink channel adaptive control process is continuously performed.

<上り用の回線適応制御の処理>
続いて、図24を用いて、通信端末5から配信管理装置2に送信する(上り)データの回線適応制御の処理を説明する。図24は、通信端末5から配信管理装置2に送信するデータの回線適応制御の処理を示すシーケンス図である。
<Processing of uplink adaptive control>
Next, the processing of line adaptive control of (upstream) data transmitted from the communication terminal 5 to the distribution management device 2 will be described using FIG. FIG. 24 is a sequence diagram illustrating a process of line adaptive control of data transmitted from the communication terminal 5 to the distribution management device 2.

まず、通信端末5のエンコード部60は、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻tを示す時刻情報(t)と、記憶部5000から取得した時間差Δを示す時間差情報(Δ)とを、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する(ステップS121)。 First, the encoding unit 60 of the communication terminal 5 displays the video (sound) data [E] acquired from the camera 62 and the microphone 63 and the time t 0 at the current communication terminal 5 acquired from the storage unit 5000. The information (t 0 ) and the time difference information (Δ) indicating the time difference Δ acquired from the storage unit 5000 are transmitted to the decoding unit 40 of the distribution management device 2 via the transmission / reception unit 51 and the transmission / reception unit 31 (step S121). ).

次に、配信管理装置2では、デコード部40が上記ステップS121によって映像(音)データ〔E〕等を受信した時点の時刻Tを、時刻管理部25から読み出す(ステップS122)。そして、デコード部40は、映像(音)データが通信端末5から送信されて配信管理装置2で受信されるまでの時間を示す送信遅延時間d1を計算する(ステップS123)。この計算は、下記式(4)によって行われる。通信ネットワーク9が混雑している場合には、送信遅延時間D2が長くなる。
d1=T−(t+Δ) ・・・(4)
Next, in the distribution management device 2, the time T 0 when the decoding unit 40 receives the video (sound) data [E] and the like in step S121 is read from the time management unit 25 (step S122). Then, the decoding unit 40 calculates a transmission delay time d1 indicating the time from when the video (sound) data is transmitted from the communication terminal 5 until it is received by the distribution management device 2 (step S123). This calculation is performed by the following equation (4). When the communication network 9 is congested, the transmission delay time D2 becomes long.
d1 = T 0 − (t 0 + Δ) (4)

次に、配信管理装置2の遅延情報取得部37aは、通信端末5の遅延情報取得部57と同様に、デコード部40から送信遅延時間d1を示す送信遅延時間情報(d1)を取得して一定時間保持しておき、複数の送信遅延時間情報(d1)を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する(ステップS124)。   Next, similarly to the delay information acquisition unit 57 of the communication terminal 5, the delay information acquisition unit 37a of the distribution management device 2 acquires transmission delay time information (d1) indicating the transmission delay time d1 from the decoding unit 40, and is constant. When a plurality of transmission delay time information (d1) is acquired, the transmission delay time information (d) indicating the frequency distribution information by the plurality of transmission delay times d1 is output to the line adaptive control unit 37b ( Step S124).

次に、回線適応制御部37bが、送信遅延時間情報(d)に基づいて、通信端末5のエンコード部60の動作条件を計算する(ステップS125)。そして、回線適応制御部37bは、送受信部31及び送受信部51を介して、通信端末5のエンコード部60に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する(ステップS126)。即ち、下りの場合の回線適応制御部27は、同じ配信管理装置2内でエンコーダブリッジ部30に回線適応制御信号を出力するのに対して、上りの場合の回線適応制御部37bは、配信管理装置2から通信ネットワーク9を介して、通信端末5に回線適応制御信号を送信する。   Next, the line adaptation control unit 37b calculates the operating condition of the encoding unit 60 of the communication terminal 5 based on the transmission delay time information (d) (step S125). Then, the channel adaptation control unit 37b transmits a channel adaptation control signal indicating an operation condition such as a frame rate and data resolution to the encoding unit 60 of the communication terminal 5 via the transmission / reception unit 31 and the transmission / reception unit 51 (step). S126). That is, the channel adaptation control unit 27 in the case of downlink outputs a channel adaptation control signal to the encoder bridge unit 30 in the same distribution management device 2, whereas the channel adaptation control unit 37b in the case of uplink has a distribution management. A line adaptation control signal is transmitted from the apparatus 2 to the communication terminal 5 through the communication network 9.

次に、通信端末5のエンコード部60が、受信した回線適応制御信号に基づいて、動作条件を変更する(ステップS127)。そして、エンコード部60は、新たな動作条件によって、上記ステップS121のように、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻tを示す時刻情報(t)と、同じく記憶部5000から取得した時間差Δを示す時間差情報(Δ)を、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する(ステップS128)。その後、上記ステップS122以降の処理が続けて行われる。このようにして、上り用の回線適応制御の処理が継続して行われる。 Next, the encoding unit 60 of the communication terminal 5 changes the operating condition based on the received line adaptation control signal (step S127). The encoding unit 60 then encodes the video (sound) data [E] acquired and encoded from the camera 62 and the microphone 63 and the current communication acquired from the storage unit 5000 according to the new operation condition as in step S121. The time information (t 0 ) indicating the time t 0 in the terminal 5 and the time difference information (Δ) indicating the time difference Δ obtained from the storage unit 5000 are also transmitted to the distribution management device 2 via the transmission / reception unit 51 and the transmission / reception unit 31. The data is transmitted to the decoding unit 40 (step S128). Thereafter, the processing after step S122 is continued. In this way, the uplink channel adaptive control process is continuously performed.

<マルチディスプレイの処理>
続いて、図25乃至図27を用いて、マルチディスプレイの処理について説明する。図25乃至図27は、図5に示したマルチディスプレイの処理を示すシーケンス図である。ここでは、通信端末5aで再生されている映像(音)〔XYZ〕を、通信端末5f1,5f2,5f3にも分割して再生させる例である。また、ここでは、ウェブコンテンツを表示させるためのブラウザ20を「ブラウザ20a」と表記し、ユーザへの設定画面を表示させるためのブラウザ20を「ブラウザ20b」と表記する。更に、ここでは、図20のステップS30に相当する処理から説明する。
<Multi-display processing>
Next, multi-display processing will be described with reference to FIGS. 25 to 27 are sequence diagrams showing processing of the multi-display shown in FIG. In this example, the video (sound) [XYZ] reproduced on the communication terminal 5a is also divided and reproduced on the communication terminals 5f1, 5f2, and 5f3. In addition, here, the browser 20 for displaying the web content is referred to as “browser 20a”, and the browser 20 for displaying the setting screen for the user is referred to as “browser 20b”. Furthermore, the processing corresponding to step S30 in FIG. 20 will be described here.

まず、図25に示すように、配信管理装置2のブラウザ20aは、ウェブサーバ8から取得したウェブコンテンツデータ〔XYZ〕をレンダリングして画像(音)データを生成し、送信用FIFO24に出力する(ステップS201)。そして、エンコーダブリッジ部30の変換部10が、送信用FIFO24に格納された画像(音)データをエンコードすることで、通信端末5aに配信すべき映像(音)データ〔XYZ〕に変換する(ステップS202)。   First, as shown in FIG. 25, the browser 20a of the distribution management device 2 renders the web content data [XYZ] acquired from the web server 8 to generate image (sound) data, and outputs it to the transmission FIFO 24 ( Step S201). Then, the conversion unit 10 of the encoder bridge unit 30 encodes the image (sound) data stored in the transmission FIFO 24 to convert it into video (sound) data [XYZ] to be distributed to the communication terminal 5a (step) S202).

次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5aの再生制御部53に、映像(音)データ〔XYZ〕を送信する(ステップS203)。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像(音)データ〔XYZ〕が出力され、レンダリング部55を介して、表示部58にて映像(音)が再生される(ステップS204)。   Next, the encoder bridge unit 30 transmits the video (sound) data [XYZ] to the reproduction control unit 53 of the communication terminal 5a via the transmission / reception unit 31 and the transmission / reception unit 51 (step S203). Thereby, in the communication terminal 5a, the video (sound) data [XYZ] is output from the playback control unit 53 to the decoding unit 50, and the video (sound) is played back on the display unit 58 via the rendering unit 55. (Step S204).

次に、通信端末5aのユーザによって、表示部58上に表示されている画面が不図示のメニュー要求画面に切り替えられ、操作部52が、メニュー要求画面中の不図示の「配信先選択メニュー」ボタンの押下を受け付ける(ステップS205)。これにより、送受信部51が、端末管理装置7の送受信部71aに、配信先選択メニューへの切り替えを要求する(ステップS206)。この際、通信端末5aの端末IDも送信される。これに対して、送受信部71bは、送受信部21を介して配信管理装置2のブラウザ管理部22に対し、ブラウザ20bの起動要求を行う(ステップS207)。   Next, the user of the communication terminal 5a switches the screen displayed on the display unit 58 to a menu request screen (not shown), and the operation unit 52 displays a “delivery destination selection menu” (not shown) in the menu request screen. A button press is accepted (step S205). Thereby, the transmission / reception unit 51 requests the transmission / reception unit 71a of the terminal management device 7 to switch to the distribution destination selection menu (step S206). At this time, the terminal ID of the communication terminal 5a is also transmitted. In response to this, the transmission / reception unit 71b requests the browser management unit 22 of the distribution management device 2 to start the browser 20b via the transmission / reception unit 21 (step S207).

次に、ブラウザ管理部22が設定用のブラウザ20bを起動し(ステップS208)、エンコーダブリッジ部30の作成・選択部310が、ブラウザ20aから変換部10(例えば、変換部10a)への出力を、ブラウザ20bから変換部10(例えば、変換部10b)への出力に切り替える(ステップS209)。但し、通信端末5aが他の通信端末5(例えば、通信端末5b)と変換部10(例えば、変換部10a)を共有して上記ステップS203による映像(音)データを受信していた場合には、他の通信端末5(例えば、通信端末5b)はブラウザ20a用に変換部10(例えば、変換部10a)を利用中であるため、エンコーダブリッジ部30の作成・選択部310は、新たに変換部10(例えば、変換部10b)を作成する。   Next, the browser management unit 22 activates the setting browser 20b (step S208), and the creation / selection unit 310 of the encoder bridge unit 30 outputs the output from the browser 20a to the conversion unit 10 (for example, the conversion unit 10a). Then, the output is switched from the browser 20b to the conversion unit 10 (for example, the conversion unit 10b) (step S209). However, when the communication terminal 5a shares the conversion unit 10 (for example, the conversion unit 10a) with another communication terminal 5 (for example, the communication terminal 5b) and receives the video (sound) data in the above step S203. Since the other communication terminal 5 (for example, the communication terminal 5b) is using the conversion unit 10 (for example, the conversion unit 10a) for the browser 20a, the creation / selection unit 310 of the encoder bridge unit 30 performs a new conversion. The unit 10 (for example, the conversion unit 10b) is created.

そして、ブラウザ20bは、送受信部21及び送受信部71bを介して、端末管理装置7の記憶部7000に、配信先選択メニューを要求する(ステップS210)。これに対して、端末管理装置7の記憶部7000では、通信端末5aから受信した端末IDに基づいて、記憶部7000に記憶されている利用可能端末管理テーブル7020を検索することにより、対応する共有IDを抽出する(ステップS211)。この共有IDは、通信端末5aが遠隔共通処理をするために利用可能な通信端末5を示している。例えば、通信端末5aの端末IDが「t001」である場合、図17に示した利用可能端末管理テーブル7020を検索することで、共有ID「v003」,「v006」が抽出される。   Then, the browser 20b requests a delivery destination selection menu from the storage unit 7000 of the terminal management device 7 via the transmission / reception unit 21 and the transmission / reception unit 71b (step S210). On the other hand, the storage unit 7000 of the terminal management device 7 searches the available terminal management table 7020 stored in the storage unit 7000 on the basis of the terminal ID received from the communication terminal 5a, thereby corresponding corresponding sharing. ID is extracted (step S211). This shared ID indicates the communication terminal 5 that can be used by the communication terminal 5a for remote common processing. For example, when the terminal ID of the communication terminal 5a is “t001”, the shared IDs “v003” and “v006” are extracted by searching the available terminal management table 7020 shown in FIG.

更に、記憶部7000は、抽出した共有IDに基づいて端末管理テーブル7010を検索することにより、対応する表示名を示す表示名情報を抽出する(ステップS212)。ここでは、図16に示されているように、抽出された共有ID「v003」,「v006」に対応する表示名は、それぞれ「東京本社10F MFP」、「大阪展示場1F マルチディスプレイ」である。   Further, the storage unit 7000 searches the terminal management table 7010 based on the extracted shared ID, thereby extracting display name information indicating the corresponding display name (step S212). Here, as shown in FIG. 16, the display names corresponding to the extracted shared IDs “v003” and “v006” are “Tokyo head office 10F MFP” and “Osaka exhibition hall 1F multi-display”, respectively. .

そして、記憶部7000は、送受信部71b及び送受信部21を介して、配信管理装置2のブラウザ20bにコンテンツデータとして配信先選択メニューデータ7030を送信する(ステップS213)。この配信先選択メニューデータ7030は、図15に示した配信先選択メニュー画面を表示させるための情報であり、チェックボックス、共有ID、及び表示名が含まれている。   And the memory | storage part 7000 transmits the delivery destination selection menu data 7030 as content data to the browser 20b of the delivery management apparatus 2 via the transmission / reception part 71b and the transmission / reception part 21 (step S213). This distribution destination selection menu data 7030 is information for displaying the distribution destination selection menu screen shown in FIG. 15, and includes a check box, a shared ID, and a display name.

次に、図26に示すように、配信管理装置2のブラウザ20bが、端末管理装置7から取得した配信先選択メニュー〔M〕を示すコンテンツデータをレンダリングして画像(音)データを生成し、送信用FIFO24に出力する(ステップS221)。そして、エンコーダブリッジ部30の変換部10が、送信用FIFO24に格納された画像(音)データ〔M〕をエンコードすることで、通信端末5aに配信すべき映像(音)データ〔M〕に変換する(ステップS222)。   Next, as shown in FIG. 26, the browser 20b of the distribution management apparatus 2 renders content data indicating the distribution destination selection menu [M] acquired from the terminal management apparatus 7 to generate image (sound) data, The data is output to the transmission FIFO 24 (step S221). Then, the conversion unit 10 of the encoder bridge unit 30 encodes the image (sound) data [M] stored in the transmission FIFO 24, thereby converting the image (sound) data [M] to be distributed to the communication terminal 5a. (Step S222).

次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5aの再生制御部53に映像(音)データ〔M〕を送信する(ステップS223)。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像(音)データ〔M〕が出力され、レンダリング部55を介して、表示部58にて、図15に示したような配信先選択メニュー画面の映像(音)が再生される(ステップS224)。   Next, the encoder bridge unit 30 transmits the video (sound) data [M] to the reproduction control unit 53 of the communication terminal 5a via the transmission / reception unit 31 and the transmission / reception unit 51 (step S223). As a result, in the communication terminal 5a, the video (sound) data [M] is output from the playback control unit 53 to the decoding unit 50, and is displayed on the display unit 58 via the rendering unit 55 as shown in FIG. The video (sound) on the distribution destination selection menu screen is reproduced (step S224).

次に、ユーザによってマルチディスプレイに使用する通信端末5を指定する操作、例えば、図15に示した配信先選択メニュー画面の共有ID「v006」のチェックボックスにチェックが入れられ、「OK」ボタンが押下されると(ステップS225)、操作部52が、送受信部51及び送受信部31を介して、配信管理装置2のブラウザ管理部22に、操作データとしてチェック結果を送信する(ステップS226)。   Next, an operation for designating the communication terminal 5 used for the multi-display by the user, for example, the check box of the shared ID “v006” on the distribution destination selection menu screen shown in FIG. 15 is checked, and the “OK” button is displayed. When pressed (step S225), the operation unit 52 transmits a check result as operation data to the browser management unit 22 of the distribution management device 2 via the transmission / reception unit 51 and the transmission / reception unit 31 (step S226).

次に、配信管理装置2のブラウザ20bが、チェック結果から共有IDを選択する(ステップS227)。そして、ブラウザ20bは、送受信部21及び送受信部71bを介して、端末管理装置7の記憶部7000に配信先追加要求を行う(ステップS228)。この配信先追加要求には、上記ステップS227によって選択された共有IDが含まれている。これにより、ブラウザ20bは、役目を終えて終了する(ステップS229)。その後、エンコーダブリッジ部30の作成・選択部310は、ブラウザ20bから変換部10への出力を、ブラウザ20aから変換部10への出力に戻すよう切り替える(ステップS230)。   Next, the browser 20b of the distribution management device 2 selects a shared ID from the check result (step S227). Then, the browser 20b makes a distribution destination addition request to the storage unit 7000 of the terminal management device 7 via the transmission / reception unit 21 and the transmission / reception unit 71b (step S228). This distribution destination addition request includes the shared ID selected in step S227. Thus, the browser 20b finishes its role and ends (step S229). Thereafter, the creation / selection unit 310 of the encoder bridge unit 30 switches the output from the browser 20b to the conversion unit 10 to return to the output from the browser 20a to the conversion unit 10 (step S230).

次に、図27に示すように、端末管理装置7の記憶部7000では、上記ステップS228によって送られて来た共有IDに基づいて、端末管理テーブル7010を検索することにより、対応する端末ID及び設置位置情報を抽出する(ステップS241)。そして、記憶部7000は、送受信部71b及び送受信部21を介して、配信管理装置2のブラウザ管理部22に、配信先の追加指示を行う(ステップS242)。この配信先の追加指示には、上記ステップS241によって抽出された端末ID及び設置位置情報が含まれている。ここでは、端末ID及び設置位置情報が「t006」、「左」と、端末ID及び設置位置情報が「t007」、「中」と、端末ID及び設置位置情報が「t008」、「右」との3組の端末ID及び設置位置情報が含まれているものとする。   Next, as shown in FIG. 27, the storage unit 7000 of the terminal management device 7 searches the terminal management table 7010 based on the shared ID sent in step S228, thereby matching the corresponding terminal ID and Installation position information is extracted (step S241). Then, the storage unit 7000 instructs the browser management unit 22 of the distribution management device 2 to add a distribution destination via the transmission / reception unit 71b and the transmission / reception unit 21 (step S242). This distribution destination addition instruction includes the terminal ID and installation position information extracted in step S241. Here, the terminal ID and installation position information are “t006” and “left”, the terminal ID and installation position information are “t007” and “middle”, and the terminal ID and installation position information are “t008” and “right”. It is assumed that three sets of terminal IDs and installation position information are included.

次に、エンコーダブリッジ部30の作成・選択部310が、マルチディスプレイ用の変換部10を作成する(ステップS243)。なお、この場合、エンコーダブリッジ部30の作成・選択部310は、ブラウザ管理部22から、端末ID及び設置位置情報を取得する。そして、上記ステップS243によって作成された変換部10の分割部13が、送信用FIFO24に格納されている映像(音)データ〔XYZ〕を分割し、エンコード部19が、分割された各データをエンコードする(ステップS244)。   Next, the creation / selection unit 310 of the encoder bridge unit 30 creates the conversion unit 10 for multi-display (step S243). In this case, the creation / selection unit 310 of the encoder bridge unit 30 acquires the terminal ID and the installation position information from the browser management unit 22. Then, the dividing unit 13 of the converting unit 10 created in step S243 divides the video (sound) data [XYZ] stored in the transmission FIFO 24, and the encoding unit 19 encodes each divided data. (Step S244).

そして、エンコーダブリッジ部30は、端末ID(「t006」)及び設置位置情報(「左」)に基づいて、送受信部31及び通信端末5f1の送受信部51を介して、通信端末5f1の再生制御部53に映像(音)データ〔X〕を送信する(ステップS245_1)。これにより、通信端末5f1では、再生制御部53からデコード部50に、映像(音)データ〔X〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS246_1)。   Then, the encoder bridge unit 30 is based on the terminal ID (“t006”) and the installation position information (“left”), and the reproduction control unit of the communication terminal 5f1 via the transmission / reception unit 31 and the transmission / reception unit 51 of the communication terminal 5f1. The video (sound) data [X] is transmitted to 53 (step S245_1). Thus, in the communication terminal 5f1, the video (sound) data [X] is output from the reproduction control unit 53 to the decoding unit 50, and the sound is reproduced from the speaker 61, and also displayed on the display unit 58 via the rendering unit 55. The video is reproduced (step S246_1).

また、同様にして、エンコーダブリッジ部30は、端末ID(「t007」)及び設置位置情報(「中」)に基づいて、送受信部31及び通信端末5f2の送受信部51を介して、通信端末5f2の再生制御部53に映像(音)データ〔Y〕を送信する(ステップS245_2)。これにより、通信端末5f2は、再生制御部53からデコード部50に、映像(音)データ〔Y〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS246_2)。   Similarly, the encoder bridge unit 30 communicates with the communication terminal 5f2 via the transmission / reception unit 31 and the transmission / reception unit 51 of the communication terminal 5f2 based on the terminal ID (“t007”) and the installation position information (“middle”). The video (sound) data [Y] is transmitted to the reproduction control unit 53 (step S245_2). As a result, the communication terminal 5f2 outputs the video (sound) data [Y] from the reproduction control unit 53 to the decoding unit 50, reproduces the sound from the speaker 61, and displays it on the display unit 58 via the rendering unit 55. The video is reproduced (step S246_2).

更に、同様にして、エンコーダブリッジ部30は、端末ID(「t008」)及び設置位置情報(「右」)に基づいて、送受信部31及び通信端末5f3の送受信部51を介して、通信端末5f3の再生制御部53に映像(音)データ〔Z〕を送信する(ステップS245_3)。これにより、通信端末5f3は、再生制御部53からデコード部50に、映像(音)データ〔Z〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS246_3)。   Further, similarly, the encoder bridge unit 30 communicates with the communication terminal 5f3 via the transmission / reception unit 31 and the transmission / reception unit 51 of the communication terminal 5f3 based on the terminal ID (“t008”) and the installation position information (“right”). The video (sound) data [Z] is transmitted to the reproduction control unit 53 (step S245_3). Accordingly, the communication terminal 5f3 outputs the video (sound) data [Z] from the reproduction control unit 53 to the decoding unit 50, reproduces the sound from the speaker 61, and also displays the sound on the display unit 58 via the rendering unit 55. The video is reproduced (step S246_3).

〔実施形態の主な効果〕
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の配信システム1では、クラウド上の配信管理装置2がブラウザ20及びエンコード等を行うエンコーダブリッジ部30を有し、ブラウザ20が所定の記述言語で示されたコンテンツデータから映像(音)データを生成し、エンコーダブリッジ部30が通信ネットワーク9を介して配信することができるようにデータ形式を変換してから通信端末5に配信する。また、エンコーダブリッジ部30によって変換された映像(音)データは、端末管理装置7の記憶部7000に設けたユーザストレージ領域7050に格納することができる。映像(音)データをユーザストレージ領域7050に格納する場合は、これと同時に、配信管理装置2のインデックス生成部32が、ブラウザ20から取得される情報に基づいて、記憶部7000に格納する映像(音)データに関するインデックス情報を生成する。このインデックス情報は、映像(音)データと同様にユーザストレージ領域7050に格納される。
[Main effects of the embodiment]
As described above in detail with specific examples, in the distribution system 1 of this embodiment, the distribution management device 2 on the cloud includes the browser 20 and the encoder bridge unit 30 that performs encoding and the like. Generates video (sound) data from content data represented in a predetermined description language, converts the data format so that the encoder bridge unit 30 can distribute the data via the communication network 9, and then transmits the data to the communication terminal 5. To deliver. The video (sound) data converted by the encoder bridge unit 30 can be stored in a user storage area 7050 provided in the storage unit 7000 of the terminal management device 7. When the video (sound) data is stored in the user storage area 7050, at the same time, the index generation unit 32 of the distribution management apparatus 2 stores the video (sound) stored in the storage unit 7000 based on the information acquired from the browser 20. Index information on sound) data is generated. This index information is stored in the user storage area 7050 in the same manner as the video (sound) data.

このように、本実施形態の配信システム1では、映像(音)データが配信される通信端末5ではなく、映像(音)データを配信するクラウド側(配信管理装置2及び端末管理装置7)で映像(音)データを保存(ユーザストレージ領域7050に格納)するようにしている。このため、保存する映像(音)データに関する様々な情報を容易に取得することができ、これらの情報を用いて、保存する映像(音)データに関するインデックス情報を簡便に生成することができる。   As described above, in the distribution system 1 of the present embodiment, not the communication terminal 5 to which the video (sound) data is distributed, but the cloud side (the distribution management device 2 and the terminal management device 7) that distributes the video (sound) data. Video (sound) data is saved (stored in the user storage area 7050). For this reason, various information regarding the video (sound) data to be stored can be easily acquired, and index information regarding the video (sound) data to be stored can be easily generated using the information.

また、本実施形態の配信システム1では、映像(音)データ及びインデックス情報の保存が終了すると、映像(音)データを識別するためのコンテンツIDとインデックス情報を識別するためのインデックスIDとを関連付けた管理情報を生成し、保存データ管理テーブル7040に登録するようにしている。したがって、この保存データ管理テーブル7040を用いて、ユーザストレージ領域7050に格納された映像(音)データとインデックス情報とを効率よく管理することができる。   Further, in the distribution system 1 of the present embodiment, when the storage of the video (sound) data and the index information is completed, the content ID for identifying the video (sound) data is associated with the index ID for identifying the index information. Management information is generated and registered in the saved data management table 7040. Therefore, it is possible to efficiently manage the video (sound) data and the index information stored in the user storage area 7050 using the saved data management table 7040.

また、本実施形態の配信システム1では、映像(音)データの格納開始からの相対時刻を示すタイムスタンプと、その相対時刻にブラウザ20が生成していた映像(音)データの属性情報とを含むインデックス情報を生成する。したがって、インデックス情報に含まれる属性情報をもとにその映像(音)データの内容を把握し、タイムスタンプに従って所望の映像(音)データの再生を開始させるなど、保存された映像(音)データの検索を容易に行うことができる。   In the distribution system 1 of the present embodiment, the time stamp indicating the relative time from the start of the storage of the video (sound) data and the attribute information of the video (sound) data generated by the browser 20 at the relative time are displayed. Generate index information including. Therefore, the stored video (sound) data such as grasping the content of the video (sound) data based on the attribute information included in the index information and starting the reproduction of the desired video (sound) data according to the time stamp. Can be easily searched.

また、インデックス情報に含まれる属性情報として、ブラウザ20が映像(音)データの生成に用いたコンテンツデータのURLを用いることにより、保存された映像(音)データを再生する際に、その映像(音)データの元になったコンテンツデータの最新版にアクセスできるという効果が得られる。   Further, when the saved video (sound) data is reproduced by using the URL of the content data used by the browser 20 for generating the video (sound) data as the attribute information included in the index information, the video (sound) is reproduced. Sound) It is possible to access the latest version of the content data that is the source of the data.

〔変形例〕
本実施形態の配信システム1では、端末管理装置7と配信管理装置2とを互いに別個の装置として構成しているが、例えば、配信管理装置2に端末管理装置7の機能を持たせるなどにより、端末管理装置7と配信管理装置2とを一体の装置として構成するようにしてもよい。
[Modification]
In the distribution system 1 of the present embodiment, the terminal management device 7 and the distribution management device 2 are configured as separate devices. For example, the distribution management device 2 is provided with the function of the terminal management device 7. The terminal management device 7 and the distribution management device 2 may be configured as an integrated device.

また、上記実施形態における配信管理装置2、及び端末管理装置7は、単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。   In addition, the distribution management device 2 and the terminal management device 7 in the above embodiment may be constructed by a single computer, or a plurality of units arbitrarily assigned by dividing each unit (function, means, or storage unit). It may be constructed by a computer.

更に、上記実施形態の各プログラムが記憶されたCD−ROM等の記録媒体、並びに、これらプログラムが記憶されたHDD204は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。   Further, a recording medium such as a CD-ROM in which the programs of the above-described embodiments are stored, and the HDD 204 in which these programs are stored may be provided domestically or abroad as a program product. it can.

また、本実施形態の配信システム1では、映像(音)データを保存する際に、配信管理装置2から端末管理装置7に対して映像(音)データを随時送信して、端末管理装置7の記憶部7000に設けたユーザストレージ領域7050に格納するようにしている。しかし、映像(音)データの保存終了を指示するユーザ操作があるまでは、映像(音)データを配信管理装置2の記憶部2000に一時的に保持しておき、映像(音)データの保存終了を指示するユーザ操作があった後に、配信管理装置2の記憶部2000に一時的に保持しておいた映像(音)データを端末管理装置7に転送して、端末管理装置7の記憶部7000に設けたユーザストレージ領域7050に格納するようにしてもよい。   Further, in the distribution system 1 of the present embodiment, when storing video (sound) data, video (sound) data is transmitted from the distribution management device 2 to the terminal management device 7 as needed, and the terminal management device 7 The data is stored in a user storage area 7050 provided in the storage unit 7000. However, the video (sound) data is temporarily stored in the storage unit 2000 of the distribution management apparatus 2 until the user operation for instructing the end of the storage of the video (sound) data, and the video (sound) data is saved. After a user operation for instructing termination, the video (sound) data temporarily stored in the storage unit 2000 of the distribution management device 2 is transferred to the terminal management device 7 and the storage unit of the terminal management device 7 It may be stored in the user storage area 7050 provided in 7000.

また、本実施形態では、インデックス情報に含まれる映像(音)データの属性情報として、その映像(音)データの生成に用いたコンテンツデータのURLを用いる例を示したが、属性情報はこれに限らない。例えば、保存する映像データについてサムネイル画像を生成していずれかの記憶部に格納する構成の場合、そのサムネイル画像の格納場所を属性情報として用いてもよい。同様に、保存する音データについてサンプル音を生成していずれかの記憶部に格納する構成の場合、そのサンプル音の格納場所を属性情報として用いてもよい。インデックス情報に含まれる映像(音)データの属性情報として、サムネイル画像やサンプル音の格納場所を用いた場合は、保存した映像(音)データの再生時に、属性情報で示される格納場所からサムネイル画像やサンプル音を取得し、映像(音)データの頭出しをするための「しおり」として活用することができる。   In the present embodiment, the example of using the URL of the content data used to generate the video (sound) data as the attribute information of the video (sound) data included in the index information has been shown. Not exclusively. For example, in the case of a configuration in which a thumbnail image is generated for video data to be stored and stored in any storage unit, the storage location of the thumbnail image may be used as attribute information. Similarly, in the case of a configuration in which sample sound is generated for sound data to be stored and stored in any storage unit, the storage location of the sample sound may be used as attribute information. When the storage location of the thumbnail image or sample sound is used as the attribute information of the video (sound) data included in the index information, the thumbnail image is stored from the storage location indicated by the attribute information when the stored video (sound) data is played back. And sample sounds can be acquired and used as a “bookmark” to cue video (sound) data.

1 配信システム
2 配信管理装置
5 通信端末
7 端末管理装置
8 ウェブサーバ
9 通信ネットワーク
20 ブラウザ
21 送受信部
30 エンコーダブリッジ部
31 送受信部
32 インデックス生成部
71b 送受信部
76 データ格納部
77 インデックス格納部
78 管理情報生成部
79 管理情報格納部
7000 記憶部
7050 ユーザストレージ領域
DESCRIPTION OF SYMBOLS 1 Distribution system 2 Distribution management apparatus 5 Communication terminal 7 Terminal management apparatus 8 Web server 9 Communication network 20 Browser 21 Transmission / reception part 30 Encoder bridge part 31 Transmission / reception part 32 Index generation part 71b Transmission / reception part 76 Data storage part 77 Index storage part 78 Management information Generation unit 79 Management information storage unit 7000 Storage unit 7050 User storage area

特許第3266959号公報Japanese Patent No. 3266959

Claims (7)

通信端末に通信ネットワークを介してデータを配信する配信システムであって、
所定の記述言語で示されたコンテンツデータを取得して、映像データ又は音データを生成する第1生成手段と、
前記第1生成手段によって生成された前記映像データ又は前記音データのデータ形式を、通信ネットワークを介して前記通信端末に配信できるデータ形式に変換する変換手段と、
前記変換手段によって変換された前記映像データ又は前記音データを、前記通信端末に配信する配信手段と、
前記変換手段によって変換された前記映像データ又は前記音データを、記憶手段に格納する第1格納手段と、
前記記憶手段に格納する前記映像データ又は前記音データに関するインデックス情報を、前記第1生成手段から取得した情報に基づいて生成する第2生成手段と、
前記第2生成手段によって生成された前記インデックス情報を、前記記憶手段に格納する第2格納手段と、を備えることを特徴とする配信システム。
A distribution system for distributing data to a communication terminal via a communication network,
First generation means for acquiring content data expressed in a predetermined description language and generating video data or sound data;
Conversion means for converting the data format of the video data or the sound data generated by the first generation means into a data format that can be distributed to the communication terminal via a communication network;
Distribution means for distributing the video data or the sound data converted by the conversion means to the communication terminal;
First storage means for storing in the storage means the video data or the sound data converted by the conversion means;
Second generation means for generating index information related to the video data or the sound data stored in the storage means based on information acquired from the first generation means;
A distribution system comprising: second storage means for storing the index information generated by the second generation means in the storage means.
前記記憶手段に格納された前記映像データ又は前記音データを識別するための第1識別情報と、該第1識別情報で識別される前記映像データ又は前記音データに関する前記インデックス情報を識別するための第2識別情報とを関連付けた管理情報を生成する第3生成手段と、
前記第3生成手段によって生成された前記管理情報を、前記記憶手段に格納する第3格納手段と、をさらに備えることを特徴とする請求項1に記載の配信システム。
First identification information for identifying the video data or the sound data stored in the storage means, and the index information relating to the video data or the sound data identified by the first identification information Third generation means for generating management information associated with the second identification information;
The distribution system according to claim 1, further comprising third storage means for storing the management information generated by the third generation means in the storage means.
前記第2生成手段は、前記映像データ又は前記音データの前記記憶手段への格納開始からの相対時刻と、該相対時刻に前記第1生成手段が生成した前記映像データ又は前記音データの属性情報と、を含む前記インデックス情報を生成することを特徴とする請求項1又は2に記載の配信システム。   The second generation means includes a relative time from the start of storage of the video data or the sound data in the storage means, and attribute information of the video data or the sound data generated by the first generation means at the relative time. The distribution system according to claim 1 or 2, wherein the index information including: 前記属性情報は、前記相対時刻に前記第1生成手段が前記映像データ又は前記音データの生成に用いた前記コンテンツデータの取得先を示す取得先情報であることを特徴とする請求項3に記載の配信システム。   The attribute information is acquisition destination information indicating an acquisition destination of the content data used by the first generation unit to generate the video data or the sound data at the relative time. Delivery system. 前記第1生成手段と、前記変換手段と、前記配信手段と、前記第2生成手段と、を含む第1装置と、
前記第1装置に前記通信ネットワークを介して接続され、前記第1格納手段と、前記第2格納手段と、を含む第2装置と、を備え、
前記第1装置は、前記第1生成手段によって生成された前記映像データ又は前記音データと、前記第2生成手段によって生成された前記インデックス情報と、を前記第2装置に送信する送信手段をさらに含み、
前記第2装置は、前記第1装置の前記送信手段により送信された前記映像データ又は前記音データと、前記インデックス情報と、を受信する受信手段をさらに含み、
前記第1格納手段は、前記受信手段によって受信された前記映像データ又は前記音データを前記記憶手段に格納し、
前記第2格納手段は、前記受信手段によって受信された前記インデックス情報を前記記憶手段に格納することを特徴とする請求項1に記載の配信システム。
A first device comprising: the first generating means; the converting means; the distributing means; and the second generating means;
A second device connected to the first device via the communication network and including the first storage means and the second storage means;
The first device further includes transmission means for transmitting the video data or the sound data generated by the first generation means and the index information generated by the second generation means to the second device. Including
The second device further includes receiving means for receiving the video data or the sound data and the index information transmitted by the transmitting means of the first device,
The first storage means stores the video data or the sound data received by the receiving means in the storage means,
The distribution system according to claim 1, wherein the second storage unit stores the index information received by the receiving unit in the storage unit.
通信端末に通信ネットワークを介してデータを配信する配信システムにおいて実行される配信方法であって、
前記配信システムの第1生成手段が、所定の記述言語で示されたコンテンツデータを取得して、映像データ又は音データを生成する工程と、
前記配信システムの変換手段が、前記第1生成手段によって生成された前記映像データ又は前記音データのデータ形式を、通信ネットワークを介して前記通信端末に配信できるデータ形式に変換する工程と、
前記配信システムの配信手段が、前記変換手段によって変換された前記映像データ又は前記音データを、前記通信端末に配信する工程と、
前記配信システムの第1格納手段が、前記変換手段によって変換された前記映像データ又は前記音データを、記憶手段に格納する工程と、
前記配信システムの第2生成手段が、前記記憶手段に格納する前記映像データ又は前記音データに関するインデックス情報を、前記第1生成手段から取得した情報に基づいて生成する工程と、
前記配信システムの第2格納手段が、前記第2生成手段によって生成された前記インデックス情報を、前記記憶手段に格納する工程と、を含むことを特徴とする配信方法。
A distribution method executed in a distribution system for distributing data to a communication terminal via a communication network,
First generation means of the distribution system acquires content data represented in a predetermined description language and generates video data or sound data;
A step of converting the data format of the video data or the sound data generated by the first generation unit into a data format that can be distributed to the communication terminal via a communication network;
A delivery means of the delivery system delivering the video data or the sound data converted by the conversion means to the communication terminal;
A step of storing in the storage means the video data or the sound data converted by the conversion means by the first storage means of the distribution system;
A second generation unit of the distribution system generates index information related to the video data or the sound data stored in the storage unit based on information acquired from the first generation unit;
A second storage unit of the distribution system including the step of storing the index information generated by the second generation unit in the storage unit.
通信端末に通信ネットワークを介して接続されるコンピュータに、
所定の記述言語で示されたコンテンツデータを取得して、映像データ又は音データを生成する第1生成手段と、
前記第1生成手段によって生成された前記映像データ又は前記音データのデータ形式を、通信ネットワークを介して前記通信端末に配信できるデータ形式に変換する変換手段と、
前記変換手段によって変換された前記映像データ又は前記音データを、前記通信端末に配信する配信手段と、
前記変換手段によって変換された前記映像データ又は前記音データを、記憶手段に格納する第1格納手段と、
前記記憶手段に格納する前記映像データ又は前記音データに関するインデックス情報を、前記第1生成手段から取得した情報に基づいて生成する第2生成手段と、
前記第2生成手段によって生成された前記インデックス情報を、前記記憶手段に格納する第2格納手段と、を実現させるためのプログラム。
To a computer connected to a communication terminal via a communication network,
First generation means for acquiring content data expressed in a predetermined description language and generating video data or sound data;
Conversion means for converting the data format of the video data or the sound data generated by the first generation means into a data format that can be distributed to the communication terminal via a communication network;
Distribution means for distributing the video data or the sound data converted by the conversion means to the communication terminal;
First storage means for storing in the storage means the video data or the sound data converted by the conversion means;
Second generation means for generating index information related to the video data or the sound data stored in the storage means based on information acquired from the first generation means;
A program for realizing the second storage unit that stores the index information generated by the second generation unit in the storage unit.
JP2013200552A 2013-09-26 2013-09-26 Distribution system, distribution method, and program Active JP6197535B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013200552A JP6197535B2 (en) 2013-09-26 2013-09-26 Distribution system, distribution method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013200552A JP6197535B2 (en) 2013-09-26 2013-09-26 Distribution system, distribution method, and program

Publications (2)

Publication Number Publication Date
JP2015069243A JP2015069243A (en) 2015-04-13
JP6197535B2 true JP6197535B2 (en) 2017-09-20

Family

ID=52835890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013200552A Active JP6197535B2 (en) 2013-09-26 2013-09-26 Distribution system, distribution method, and program

Country Status (1)

Country Link
JP (1) JP6197535B2 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4551668B2 (en) * 2004-02-25 2010-09-29 パイオニア株式会社 Minute file generation method, minutes file management method, conference server, and network conference system
JP2005267279A (en) * 2004-03-18 2005-09-29 Fuji Xerox Co Ltd Information processing system and information processing method, and computer program
JP2005341015A (en) * 2004-05-25 2005-12-08 Hitachi Hybrid Network Co Ltd Video conference system with minute creation support function
JP2006085440A (en) * 2004-09-16 2006-03-30 Fuji Xerox Co Ltd Information processing system, information processing method and computer program
JP5127895B2 (en) * 2010-08-26 2013-01-23 キヤノン株式会社 Recording apparatus and recording method
JP2013080270A (en) * 2011-09-30 2013-05-02 Jvc Kenwood Corp Mutual advertisement provision system, advertisement distribution planning device, advertisement distribution planning method and computer program

Also Published As

Publication number Publication date
JP2015069243A (en) 2015-04-13

Similar Documents

Publication Publication Date Title
JP6354197B2 (en) Delivery control system, delivery control method, and program
JP6354764B2 (en) Distribution management apparatus, distribution method, and program
JP6398215B2 (en) Delivery control system, delivery system, delivery control method, and program
JP6337499B2 (en) Delivery control system, delivery system, delivery control method, and program
JP6326855B2 (en) Delivery control system, delivery system, delivery control method, and program
JP6369043B2 (en) Delivery control system, delivery system, delivery control method, and program
JP6323048B2 (en) Distribution system, distribution method, and program
JP6354195B2 (en) Distribution system, distribution method, and program
JP2014200076A (en) Distribution control system, distribution control method, and program
JP2014199648A (en) Distribution control system, distribution system, distribution control method, and program
JP2015056855A (en) Distribution management device and distribution management system
JP2014200075A (en) Computer system, distribution control system, distribution control method, and program
JP6248488B2 (en) Communication terminal and communication method
JP6589261B2 (en) Delivery control system, delivery control method, and program
WO2015045787A1 (en) Distribution management device, terminal, and distribution management method
JP2015069244A (en) Distribution system, distribution method, and program
JP2016063247A (en) Distribution system and distribution method
JP2015056046A (en) Distribution management system, distribution system, distribution management method, and program
JP6197535B2 (en) Distribution system, distribution method, and program
JP2016015597A (en) Distribution control system, distribution control method, and program
JP2016058812A (en) Distribution control system, distribution system, distribution control system control method, and program
JP2016004352A (en) Terminal management system, terminal management method, and program
JP6248492B2 (en) Distribution management device, distribution management system, and distribution management method
JP2015061107A (en) Distribution management device and distribution system
JP6442832B2 (en) Delivery control system, delivery system, delivery control method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170807

R151 Written notification of patent or utility model registration

Ref document number: 6197535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151