JP2015056844A - Communication terminal and communication method - Google Patents
Communication terminal and communication method Download PDFInfo
- Publication number
- JP2015056844A JP2015056844A JP2013190422A JP2013190422A JP2015056844A JP 2015056844 A JP2015056844 A JP 2015056844A JP 2013190422 A JP2013190422 A JP 2013190422A JP 2013190422 A JP2013190422 A JP 2013190422A JP 2015056844 A JP2015056844 A JP 2015056844A
- Authority
- JP
- Japan
- Prior art keywords
- communication terminal
- unit
- management system
- data
- distribution management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、通信ネットワークを介してウェブコンテンツのデータを送受信する通信端末及び通信方法に関する。 The present invention relates to a communication terminal and a communication method for transmitting and receiving web content data via a communication network.
近年、インターネットの普及に伴い、様々な分野でクラウドコンピューティングが利用されてきている。クラウドコンピューティングを利用する形態としては、ユーザが、通信ネットワークに接続した通信端末を用いて通信ネットワーク上のサーバが提供するサービス(クラウドサービス)を利用するものがある。特に、離れた場所でクラウドコンピューティングを利用するシステムが注目されている。 In recent years, with the spread of the Internet, cloud computing has been used in various fields. As a form of using cloud computing, there is one in which a user uses a service (cloud service) provided by a server on a communication network using a communication terminal connected to the communication network. In particular, a system that uses cloud computing at a distant place is attracting attention.
例えば、複数の参加者がネットワーク上で協働的かつリアルタイムのミーティングで異なるタイプのメディアコンテンツを伝達及び共有できるマルチメディア会議システムが提案されている。この提案によれば、ホワイトボード(電子黒板)上のペンストロークのデジタルデータが、マルチメディア会議サーバを介して、遠隔地のユーザに配信して共有化を図ることができる(例えば、特許文献1参照)。 For example, multimedia conferencing systems have been proposed that allow multiple participants to communicate and share different types of media content in collaborative and real-time meetings over a network. According to this proposal, digital data of pen strokes on a whiteboard (electronic blackboard) can be distributed and shared to users at remote locations via a multimedia conference server (for example, Patent Document 1). reference).
このような従来の会議システムにおいては、ある通信端末(例えば、電子黒板)に入力された画像データは、サーバ等の配信管理システムに送信されて処理される。配信管理システムは、その画像データに対してデータ変換等の処理を施して、その送信元の通信端末及び他の通信端末に対して同時に配信する。送信元の通信端末及び他の通信端末は、配信管理システムから同時に配信された画像データを再生して各自の表示部に表示する。 In such a conventional conference system, image data input to a certain communication terminal (for example, an electronic blackboard) is transmitted to a distribution management system such as a server for processing. The distribution management system performs processing such as data conversion on the image data and distributes the image data simultaneously to the transmission source communication terminal and other communication terminals. The transmission source communication terminal and other communication terminals reproduce the image data simultaneously distributed from the distribution management system and display them on their respective display units.
しかしながら、画像データの送信元の通信端末は、入力された画像データを送信して、配信管理システムから配信された画像データを再生するまでの時間(これを「再生遅延時間」という)は、入力された画像データをリアルタイムで表示することができないという問題があった。 However, the communication terminal that is the transmission source of the image data transmits the input image data and the time required to reproduce the image data distributed from the distribution management system (this is referred to as “reproduction delay time”) There has been a problem that the processed image data cannot be displayed in real time.
特に、インターネット上で取り扱われるウェブコンテンツがリッチ化するに伴って、再生遅延時間が長くなるため、送信元の通信端末は、入力された画像データをリアルタイムで表示することができない時間も更に長くなってしまう。よって、ユーザの操作性が低下していた。 In particular, as the web content handled on the Internet becomes richer, the playback delay time becomes longer, so that the time during which the transmission source communication terminal cannot display the input image data in real time becomes even longer. End up. Therefore, the user operability has been reduced.
上述した課題を解決するために、本発明は、通信ネットワークを介して接続された通信端末であって、前記通信ネットワークを介して、前記通信端末に入力された座標を前記配信管理システムに送信する送信手段と、前記座標に基づく画像データを表示させる表示制御手段と、を有する。 In order to solve the above-described problem, the present invention is a communication terminal connected via a communication network, and transmits coordinates input to the communication terminal to the distribution management system via the communication network. A transmission unit; and a display control unit that displays image data based on the coordinates.
本発明によれば、通信端末は、入力された座標を送信手段によって配信管理システムに送信し、配信管理システムから配信された座標をリアルタイムで表示することができるので、ユーザの操作性が向上する。 According to the present invention, the communication terminal transmits the input coordinates to the distribution management system by the transmission unit, and can display the coordinates distributed from the distribution management system in real time, so that the operability for the user is improved. .
以下に図面を用いて、本発明の第1及び第2の実施の形態に係る配信システムを詳細に説明する。第1の実施の形態は、クラウドコンピューティングを利用してウェブコンテンツを映像データ、音データ、又は映像データ及び音データ等に変換してパソコンや電子黒板等の通信端末に配信する配信システムとしての適用例である。なお、以下、映像及び音のうち少なくとも一方を示す場合には、「映像(音)」として表す。 Hereinafter, the distribution system according to the first and second embodiments of the present invention will be described in detail with reference to the drawings. The first embodiment is a distribution system that uses cloud computing to convert web content into video data, sound data, or video data and sound data, and distributes them to communication terminals such as personal computers and electronic blackboards. This is an application example. Hereinafter, when at least one of video and sound is shown, it is expressed as “video (sound)”.
また、第2の実施の形態は、パソコン、電子黒板、タブレット端末、多機能情報処理装置(MFP)その他の通信端末に対して、特に電子ペン、手書き操作その他によって入力されたストローク座標を処理する配信システムとしての適用例である。 In the second embodiment, stroke coordinates input by an electronic pen, handwriting operation, and the like are processed with respect to a personal computer, an electronic blackboard, a tablet terminal, a multi-function information processing apparatus (MFP) and other communication terminals. It is an application example as a delivery system.
〔第1の実施の形態の概略〕
まずは、図1を用いて、本発明の第1の実施の形態の概略を説明する。図1は、本実施の形態に係る配信システムの概略図である。
[Outline of First Embodiment]
First, the outline of the first embodiment of the present invention will be described with reference to FIG. FIG. 1 is a schematic diagram of a distribution system according to the present embodiment.
<システム構成の概略>
まず、配信システム1の構成の概略について説明する。
<Outline of system configuration>
First, an outline of the configuration of the
図1に示されているように、本実施の形態の配信システム1は、配信管理システム2、複数の通信端末(5a〜5f)、端末管理システム7、及びウェブサーバ8によって構築されている。なお、以下では、複数の通信端末(5a〜5f)のうち、任意の通信端末は「通信端末5」として表される。また、配信管理システム2、端末管理システム7、及びウェブサーバ8は、いずれもサーバコンピュータによって構築されている。
As shown in FIG. 1, the
通信端末5は、配信システム1のサービスを受けるユーザが使用する端末である。このうち、通信端末5aは、ノートPCである。通信端末5bは、スマートフォンやタブレット端末等のモバイル端末である。通信端末5cは、コピー、スキャン、プリント、及びファックスの各機能が複合された多機能情報処理装置(MFP)である。
The
通信端末5dは、プロジェクタである。通信端末5eは、カメラ、マイク及びスピーカを備えたテレビ(ビデオ)会議端末である。通信端末5fは、ユーザ等によって描かれた内容を電子的に変換することが可能な電子黒板(ホワイトボード)である。 The communication terminal 5d is a projector. The communication terminal 5e is a television (video) conference terminal provided with a camera, a microphone, and a speaker. The communication terminal 5f is an electronic blackboard (whiteboard) capable of electronically converting content drawn by a user or the like.
なお、通信端末5は、図1に示されているような端末だけでなく、腕時計、自動販売機、ガスメータ、カーナビゲーション装置、ゲーム機、エアコン、照明器具、カメラ単体、マイク単体、スピーカ単体等であってもよい。
The
また、配信管理システム2、通信端末5、端末管理システム7、及びウェブサーバ8は、インターネットやLAN等の通信ネットワーク9によって通信することができる。この通信ネットワーク9には、3G、WiMAX(登録商標)、LTE(登録商標)等の無線通信によるネットワークも含まれる。
The
なお、通信端末5によっては、通信端末5d等のように、通信ネットワーク9を介して他の端末やシステムと通信する機能を有していないものがある。図2は、通信端末にドングルを取り付ける際のイメージ図である。しかし、図2に示すように、ユーザが通信端末5dのUSBやHDMI(登録商標)(High−Definition Multimedia Interface)のインターフェース部にドングル99を差し込むことで、通信端末5は通信ネットワーク9を介して他の端末やシステムと通信可能になる。
Some
更に、配信管理システム2は、クラウド上に存在するウェブブラウザとしての、いわゆるクラウドブラウザ(以下、「ブラウザ」と示す)20を有する。これにより、配信管理システム2は、クラウド上でウェブコンテンツをレンダリングし、これにより得られたH.264(動画圧縮符号化方式)やMPEG−4(携帯端末用の動画圧縮符号化方式)等の映像(音)データを通信端末5に配信する。
Further, the
一方、端末管理システム7は、管理サーバとしての機能を有する。端末管理システム7は、通信端末5のログイン認証を行い、通信端末5の契約情報等の管理を行ったりする。また、端末管理システム7は、電子メールを送信するためのSMTPサーバの機能を有している。
On the other hand, the
端末管理システム7は、例えば、クラウドのサービス上に展開される仮想マシンとして実現することができる。端末管理システム7は、不測の事態に対応して継続的なサービス提供を行うために、多重化して運用することが望ましい。
The
また、ブラウザ20は、リアルタイムコミュニケーション(RTC)を可能にしている。更に、後述の図16におけるエンコード部19を有しており、このエンコード部19は、ブラウザ20によって生成された映像(音)データに対して、リアルタイムのエンコード(符号化)を行うことができる。
The
そのため、配信管理システム2の処理は、DVDプレーヤによって、DVDに記録されているリアルタイム性のない映像(音)データを読み出して配信する場合等とは異なる。
Therefore, the processing of the
<各種配信方法の概略>
続いて、各種配信方法の概略について説明する。
<Outline of various delivery methods>
Next, an outline of various delivery methods will be described.
(基本配信)
図3は、基本的な配信方法を示した概念図である。配信システム1では、図3に示されているように、配信管理システム2のブラウザ20がウェブサーバ8からウェブコンテンツデータ〔A〕を取得する。ブラウザ20は、取得したウェブコンテンツデータ〔A〕をレンダリングすることにより、映像(音)データ〔A〕を生成する。
(Basic delivery)
FIG. 3 is a conceptual diagram showing a basic distribution method. In the
そして、エンコーダブリッジ部30が、映像(音)データ〔A〕をエンコード等して、通信端末5に配信する。これにより、例えHTMLやCSS(Cascading Style Sheets)等により作成されたウェブコンテンツがリッチであっても、H.264やMPEG−4等の映像(音)データとして配信される。したがって、通信端末5が低スペックであってもスムーズに映像(音)を再生することが可能になる。
Then, the
また、本実施の形態の配信管理システム2では、ブラウザ20が最新化されているので、ローカルとしての通信端末5にコンテンツを提供するブラウザを最新化しなくても、最新のリッチなウェブコンテンツをスムーズに再生することが可能となる。
In the
また、配信システム1は、上述の配信方法を応用し、図4乃至図6に示されているように、複数のウェブコンテンツを連動させ、複数の拠点に映像(音)データとして配信することも可能である。ここで、図4乃至図6に示されている配信方法について説明する。
In addition, the
(マルチキャスト)
図4は、マルチキャストの概念図である。図4に示されているように、配信管理システム2の単一のブラウザ20は、ウェブサーバ8から取得したウェブコンテンツデータ〔A〕をレンダリングすることで、映像(音)データ〔A〕を生成する。そして、エンコーダブリッジ部30が、映像(音)データ〔A〕をエンコードする。その後、配信管理システム2は、映像(音)データ〔A〕を複数の通信端末(5f1,5f2,5f3)に配信する。
(Multicast)
FIG. 4 is a conceptual diagram of multicast. As shown in FIG. 4, the
これにより、複数の拠点では、同じ映像(音)が出力される。なお、この場合、通信端末(5f1,5f2,5f3)が同じ表示再生能力(解像度が同じ等の動作環境)を有する必要はない。このような配信方法は、例えば「マルチキャスト」と呼ばれる。 As a result, the same video (sound) is output at a plurality of locations. In this case, the communication terminals (5f1, 5f2, 5f3) do not need to have the same display reproduction capability (an operating environment with the same resolution, etc.). Such a distribution method is called, for example, “multicast”.
(マルチディスプレイ)
図5は、マルチディスプレイの概念図である。図5に示されているように、配信管理システム2の単一のブラウザ20は、ウェブサーバ8から取得したウェブコンテンツデータ〔XYZ〕をレンダリングすることで、単一の映像(音)データ〔XYZ〕を生成する。そして、エンコーダブリッジ部30が、単一の映像(音)データ〔XYZ〕を、複数の映像(音)データ(〔X〕,〔Y〕,〔Z〕)に分割した後にエンコードする。
(Multi-display)
FIG. 5 is a conceptual diagram of a multi-display. As shown in FIG. 5, the
その後、配信管理システム2は、分割後の映像(音)データ〔X〕を通信端末5f1に配信する。また、同じように、配信管理システム2は、分割後の映像(音)データ〔Y〕を通信端末5f2に配信し、分割後の映像(音)データ〔Z〕を通信端末5f3に配信する。
Thereafter, the
これにより、例えば、横長のウェブコンテンツデータ〔XYZ〕であっても、複数の通信端末5で分割して映像が表示される。その結果、通信端末(5f1,5f2,5f3)を一列に並べて設置すれば、1つの大きな映像を表示させることと同様の効果が得られる。なお、この場合、通信端末(5f1,5f2,5f3)が同じ表示再生能力(解像度が同じ等)を有する必要がある。このような配信方法は、例えば「マルチディスプレイ」と呼ばれる。
Thereby, for example, even horizontally long web content data [XYZ] is divided and displayed by the plurality of
(複合配信)
図6は、配信管理システム2を介して複数の通信端末を使った複合配信の概念図である。図6に示されているように、第1の拠点(図6の右側)では、電子黒板としての通信端末5f1及びテレビ会議端末としての通信端末5e1が利用されている。第2の拠点(図7の左側)では、同じく電子黒板としての通信端末5f2、及びテレビ会議端末としての通信端末5e2が利用されている。
(Composite delivery)
FIG. 6 is a conceptual diagram of composite distribution using a plurality of communication terminals via the
また、第1の拠点では、通信端末5f1にストロークによる文字等の操作データを表示させるための電子ペンP1が利用されている。第2の拠点では、通信端末5f2にストロークによる文字等の操作データを表示させるための電子ペンP2が利用されている。 Further, at the first base, an electronic pen P1 for displaying operation data such as characters by stroke on the communication terminal 5f1 is used. At the second base, an electronic pen P2 for displaying operation data such as characters by stroke on the communication terminal 5f2 is used.
そして、第1の拠点において、通信端末5e1によって取得された映像(音)データは、エンコード部60でエンコードされた後に、配信管理システム2に送信される。その後、映像(音)データは、配信管理システム2のデコード部40でデコードされて、ブラウザ20に入力される。また、電子ペンP1によって通信端末5f1に描かれたストローク等を示す操作データ(ストローク座標)は、配信管理システム2に送信され、ブラウザ20に入力される。
The video (sound) data acquired by the communication terminal 5e1 at the first base is encoded by the
一方、第2の拠点においても、通信端末5e2によって取得された映像(音)データは、エンコード部60でエンコードされた後に、配信管理システム2に送信される。その後、映像(音)データは、配信管理システム2のデコード部40でデコードされて、ブラウザ20に入力される。また、電子ペンP2によって通信端末5f2に描かれたストローク等の操作データ(ストローク座標)は、配信管理システム2に送信され、ブラウザ20に入力される。
On the other hand, also at the second site, the video (sound) data acquired by the communication terminal 5e2 is encoded by the
一方、ブラウザ20は、例えば、ウェブサーバ8から通信端末(5e1,5e2)のそれぞれのディスプレイに表示される背景画像のウェブコンテンツデータ〔A〕を取得する。
On the other hand, the
そして、ブラウザ20は、ウェブコンテンツデータ〔A〕、操作データ(〔p1〕,〔p2〕)及び映像(音)コンテンツデータ(〔E1〕,〔E2〕)を結合する。ブラウザ20は、その結合したコンテンツデータをレンダリングすることで、所望のレイアウトに設置した映像(音)データを生成する。
Then, the
そして、エンコーダブリッジ部30は、映像(音)データをエンコードし、配信管理システム2が各拠点に同じ映像(音)データを配信する。これにより、第1の拠点では、通信端末5f1のディスプレイ上に、映像(〔A〕、〔p1〕、〔p2〕、〔E1(映像部分)〕及び〔E2(映像部分)〕)が表示されると共に、通信端末5e1のスピーカから音〔E2(音部分)〕が出力される。
Then, the
一方、第2の拠点でも、通信端末5f2のディスプレイ上に、映像(〔A〕、〔p1〕、〔p2〕、〔E1(映像部分)〕及び〔E2(映像部分)〕)が表示されると共に、通信端末5e2のスピーカから音〔E1(音部分)〕が出力される。 On the other hand, at the second site, the video ([A], [p1], [p2], [E1 (video part)] and [E2 (video part)]) is displayed on the display of the communication terminal 5f2. At the same time, sound [E1 (sound part)] is output from the speaker of the communication terminal 5e2.
なお、第1の拠点では、通信端末5e1のエコーキャンセル機能により、自拠点の音〔E1(音部分)〕は出力されない。一方、第2の拠点では、通信端末5e2のエコーキャンセル機能により、自拠点の音〔E2(音部分)〕は出力されない。 At the first site, the sound [E1 (sound part)] of the site is not output by the echo cancellation function of the communication terminal 5e1. On the other hand, at the second site, the sound [E2 (sound part)] of the local site is not output by the echo cancellation function of the communication terminal 5e2.
一方、第1の拠点では、通信端末5f1のディスプレイ上に、電子ペンP1によって描かれた自拠点の映像〔p1〕を表示するとともに、エンコーダブリッジ部30でエンコードして配信管理システム2から各拠点に同じ映像(音)データが配信される前には、自拠点の映像データ〔p1〕を消去し、配信された映像データ〔p1〕に差し替えて表示する。
On the other hand, at the first base, the video [p1] of the local base drawn by the electronic pen P1 is displayed on the display of the communication terminal 5f1 and encoded by the
第2の拠点では、通信端末5f2のディスプレイ上に、電子ペンP2によって描かれた自拠点の映像〔p2〕を表示するとともに、エンコーダブリッジ部30でエンコードして配信管理システム2から各拠点に同じ映像(音)データが配信される前には、自拠点の映像データ〔p2〕を消去し、配信された映像データ〔p2〕に差し替えて表示する。
At the second base, the video [p2] of the local base drawn by the electronic pen P2 is displayed on the display of the communication terminal 5f2, and is encoded by the
以上により、第1の拠点と第2の拠点とでは、遠隔地間においてリアルタイムで同じ情報を共有する遠隔共有処理を行うことができるため、本実施の形態の配信システム1は遠隔会議等に有効である。
As described above, since the first base and the second base can perform remote sharing processing for sharing the same information in real time between remote locations, the
〔実施の形態の詳細な説明〕
続いて、図7乃至図24を用いて、実施の形態の詳細な説明を行う。
[Detailed Description of Embodiment]
Subsequently, the embodiment will be described in detail with reference to FIGS.
<実施の形態のハードウェア構成>
まずは、図7及び図8を用いて、本実施の形態のハードウェア構成を説明する。なお、図7は、配信管理システム、通信端末、端末管理システム、及びウェブサーバのハードウェア構成図である。また、図8は、ドングルのハードウェア構成図である。なお、通信端末の通信に関与するハードウェア構成は、通信端末のハードウェア構成の一部と同じであるため、説明を省略する。
<Hardware Configuration of Embodiment>
First, the hardware configuration of this embodiment will be described with reference to FIGS. FIG. 7 is a hardware configuration diagram of the distribution management system, the communication terminal, the terminal management system, and the web server. FIG. 8 is a hardware configuration diagram of the dongle. Note that the hardware configuration involved in the communication of the communication terminal is the same as part of the hardware configuration of the communication terminal, and thus the description thereof is omitted.
図7に示すように、配信管理システム2は、配信管理システム2全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203を備えている。
As shown in FIG. 7, the
また、配信管理システム2は、プログラム等の各種データを記憶するHDD204、CPU201の制御にしたがってHDD204に対する各種データの読み出し又は書き込みを制御するHDC(Hard Disk Controller)205を備えている。
The
また、配信管理システム2は、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207、各種情報を表示するディスプレイ208を備えている。また、配信管理システム2は、通信ネットワーク9を利用してデータ送信したり、ドングル99を接続したりするためのI/F209、キーボード211を備えている。
The
また、配信管理システム2は、マウス212、マイク213、スピーカ214、GPU215、上記各構成要素を図8に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン220を備えている。
In addition, the
なお、各通信端末、各システム又は各サーバ用のプログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
The program for each communication terminal, each system, or each server is a file in an installable or executable format, and is recorded and distributed on a computer-readable recording medium such as the
次に、図8を用いて、ドングルのハードウェア構成について説明する。図8に示されているように、ドングル99は、ドングル99全体の動作を制御するCPU91、基本入出力プログラムを記憶したROM92、CPU91のワークエリアとして使用されるRAM93を備えている。
Next, the hardware configuration of the dongle will be described with reference to FIG. As shown in FIG. 8, the dongle 99 includes a
また、ドングル99は、CPU91の制御にしたがってデータの読み出し又は書き込みを行うEEPROM94、通信端末5のI/F209に接続するためのI/F96を備えている。
The dongle 99 also includes an
また、ドングル99は、アンテナ97a、このアンテナ97aを利用して近距離無線技術により通信を行う通信部97、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン90を備えている。
Further, the dongle 99 includes an
なお、近距離無線技術として、例えば、NFC(Near Field Communication)規格、BlueTooth(登録商標)、Wi−Fi(登録商標)、ZigBee(登録商標)等が挙げられる。 Examples of the short-range wireless technology include NFC (Near Field Communication) standard, BlueTooth (registered trademark), Wi-Fi (registered trademark), and ZigBee (registered trademark).
<実施の形態の機能構成>
次に、図9乃至図16を用い、本実施の形態の機能構成について説明する。図9は、主に配信管理システムの各機能を示す機能ブロック図である。図9では、配信管理システム2が通信端末5f1に対して映像(音)データを配信する場合の機能構成が示されているが、配信先が通信端末5f1以外の場合も、同じ機能構成を有する。
<Functional configuration of the embodiment>
Next, the functional configuration of the present embodiment will be described with reference to FIGS. FIG. 9 is a functional block diagram mainly showing each function of the distribution management system. Although FIG. 9 shows a functional configuration when the
なお、配信管理システム2は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。
The
(配信管理システムの機能構成)
図9に示されているように、配信管理システム2は、図7に示されているハードウェア構成及びプログラムによって、図9に示されている各機能構成を有する。
(Functional configuration of distribution management system)
As shown in FIG. 9, the
具体的には、配信管理システム2は、ブラウザ20、送受信部21、ブラウザ管理部22、送信用FIFO24、時刻管理部25、時刻取得部26、回線適応制御部27、エンコーダブリッジ部30を有している。
Specifically, the
また、配信管理システム2は、送受信部31、受信用FIFO34、認識部35、遅延情報取得部37a、回線適応制御部37b、及びデコード部40を有している。更に、配信管理システム2は、図8に示されているHDD204によって構築される記憶部5003を有している。
The
この記憶部5003には、認識部35から出力された後述の認識情報、電子ペン情報、及び描画情報が記憶される。電子ペン情報及び描画情報とは、例えば通信端末5f1や通信端末5f2に関連する情報である。なお、ブラウザ20が取得したコンテンツデータは、キャッシュとして、記憶部5003に一時的に記憶しておくこともできる。
The
電子ペン情報555は、電子黒板である通信端末5の電子ペンPの属性情報である線の太さ、色、線種(直線、破線、など)、及び透明度、その他の情報が含まれる。描画情報は、通信端末5のデバイスID、コンテンツ[A]のウェブサーバ8のURLもしくはディレクトリ名・ファイル名、コンテンツ[A]におけるストローク座標[p]の位置情報、描画コマンド等が含まれる。
The
上述の各機能構成のうち、ブラウザ20は、配信管理システム2内で動作するウェブブラウザである。ブラウザ20は、ウェブコンテンツデータ等のコンテンツデータをレンダリングすることにより、RGBデータ(又はPCMデータ)としての映像(音)データを生成する。ブラウザ20は、ウェブコンテンツのリッチ化に対応させて常に最新化されている。
Among the above functional configurations, the
また、本実施の形態の配信システム1では、配信管理システム2内に複数のブラウザ20を用意しており、これら複数のブラウザ20の中からユーザセッションに使用するクラウドブラウザが選択される。なお、ここでは、説明を簡略化するため、単一のブラウザ20が用意されている場合について、以下続けて説明する。
Further, in the
ブラウザ20は、例えば、Media Player(登録商標)、Flash Player(登録商標)、JavaScript(登録商標)、CSS(Cascading Style Sheet)及びHTMLレンダラを有する。なお、JavaScript(登録商標)には、標準規格のものと配信システム1独自のものが含まれる。
The
ここで、Media Playerは、映像(音)ファイルなどのマルチメディアファイルをブラウザ20内で再生するためのブラウザプラグインである。Flash Playerは、Flashコンテンツをブラウザ20内で再生するためのブラウザプラグインである。独自のJavaScript(登録商標)は、配信システム1に固有のサービスのAPI(Application Programming Interface)を提供するJavaScript(登録商標)群である。
Here, Media Player is a browser plug-in for reproducing multimedia files such as video (sound) files in the
CSSは、HTMLで記述されたウェブページの見栄えやスタイルを効率的に定義するための技術である。HTMLレンダラは、ウェブキットベースのHTMLレンダリングエンジンである。 CSS is a technology for efficiently defining the appearance and style of a web page described in HTML. The HTML renderer is a web kit based HTML rendering engine.
次に、送受信部21は、端末管理システム7やウェブサーバ8との間で、各種データや要求等の送受信を行う。例えば、送受信部21は、ウェブサーバ8のコンテンツサイトからウェブコンテンツデータを取得する。
Next, the transmission / reception unit 21 transmits / receives various data and requests to / from the
ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30の管理を行う。例えば、ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30に、起動又は終了を指示したり、起動又は終了時にエンコーダIDを採番したりする。ここで、エンコーダIDは、ブラウザ管理部22がエンコーダブリッジ部30のプロセスを管理するために採番する識別情報である。
The
また、ブラウザ管理部22は、ブラウザ20が起動されるたびに、ブラウザIDを採番して管理する。ここで、ブラウザIDは、ブラウザ管理部22がブラウザ20のプロセスを管理するために採番し、ブラウザ20を識別するための識別情報である。
The
なお、ブラウザ管理部22は、送受信部31を介して通信端末5から各種操作データを取得し、ブラウザ20に出力する。なお、操作データは、通信端末5での操作イベント(キーボード211やマウス212等による操作や電子ペンPによるストローク等)によって生じたデータである。
The
通信端末5に、温度センサ、湿度センサ、及び加速度センサ等の各種センサが設けられている場合には、ブラウザ管理部22は、通信端末5から各センサの出力信号であるセンサ情報を取得し、ブラウザ20に出力する。
When the
送信用FIFO24は、ブラウザ20で生成された映像(音)データを格納するバッファである。時刻管理部25は、配信管理システム2独自の時刻Tを管理している。時刻取得部26は、後述の通信端末5における時刻制御部56と連携して、時刻調整の処理を行う。
The
具体的には、時刻取得部26は、時刻管理部25から配信管理システム2における時刻Tを示す時刻情報(T)を取得する。また、時刻取得部26は、送受信部31及び送受信部51を介して、後述の時刻制御部56から通信端末5における時刻tを示す時刻情報(t)を受信し、時刻制御部56に時刻情報(t)及び時刻情報(T)を送信する。
Specifically, the
回線適応制御部27は、送信遅延時間情報(D)に基づいて、再生遅延時間Uを計算し、エンコーダブリッジ部30における変換部10のフレームレートやデータの解像度等の動作条件を計算したりする。この再生遅延時間は、再生までにデータがバッファリングされることで、再生を遅延させるための時間である。
The line
エンコーダブリッジ部30は、ブラウザ20が生成した映像(音)データを、エンコーダブリッジ部30における後述の変換部10に出力する。エンコーダブリッジ部30については、図15及び図16を用いて、更に詳細に説明する。図15は、エンコーダブリッジ部の詳細図である。また、図16は、変換部の各機能を示す機能ブロック図である。
The
図15に示されているように、エンコーダブリッジ部30は、作成・選択部310、及び選択部320と、これらの間に複数の変換部(10a,10b,10c)が構築されている。ここでは、3つの変換部を示したが、いくつであってもよい。なお、以下、任意の変換部を「変換部10」として表す。
As shown in FIG. 15, the
更に、変換部10は、図16に示されているように、トリミング部11、リサイズ部12、分割部13、及びエンコード部19を有する。トリミング部11、リサイズ部12、及び分割部13は、音データの場合は、処理を行わない。
Further, the conversion unit 10 includes a trimming unit 11, a resizing
このうち、トリミング部11は、映像(画像)の一部だけを切り出す処理を行う。リサイズ部12は、映像(画像)の縮尺を変更する。分割部13は、図5に示されているように、ウェブサーバ8から取得したウェブコンテンツを分割する。
Among these, the trimming unit 11 performs a process of cutting out only a part of the video (image). The resizing
また、エンコード部19は、ブラウザ20で生成された画像(音)データをエンコードすることにより、通信ネットワーク9を介して通信端末5に画像(音)データを配信できるように変換する。また、エンコード部19は、映像が動かなければ(フレーム間で変化がなければ)、以降、映像が動くまでスキップフレームを挿入することで帯域をセーブする。なお、音の場合には、エンコードだけが行われる。
The
また、作成・選択部310は、新たに変換部10を作成し、既に作成されている変換部10に対して入力させる映像(音)データを選択したりする。作成する場合としては、例えば、作成・選択部310は、通信端末5における映像(音)データの再生能力に応じた変換が可能な変換部10を作成する。
The creation /
また、選択する場合としては、既に作成されている変換部20を選択する。例えば、通信端末5aへの配信に加えて通信端末5bへの配信を開始するにあたって、通信端末5aへ配信している映像(音)データと同じ映像(音)データを通信端末5bへ配信する場合がある。
Moreover, as a case of selecting, a
このような場合で、更に、通信端末5bが通信端末5aにおける映像(音)データの再生能力と同じ再生能力を有する場合には、作成・選択部310は通信端末5b用に新たな変換部10bを作成せずに、通信端末5a用に既に作成している変換部10aを利用する。
In such a case, when the communication terminal 5b has the same reproduction capability as the reproduction capability of the video (sound) data in the
一方、選択部320は、既に作成されている変換部10から所望のものを選択する。これら作成・選択部310と選択部320による選択は、図6に示したような様々なパターンの配信を行うことを可能にする。
On the other hand, the
送受信部31は、通信端末5との間で、各種データや要求等の送受信を行う。例えば、送受信部31は、通信端末5のログイン処理において、通信端末5の送受信部51に対し、ユーザにログイン要求を促すための認証画面データ(図12参照)を送信する。
The transmission / reception unit 31 transmits / receives various data and requests to / from the
その他に、送受信部31は、HTTPSサーバを介して配信システム1独自のプロトコルにより、通信端末5のユーザアプリや通信端末5のデバイスアプリへのデータ送信およびデータ受信を行う。
In addition, the transmission / reception unit 31 performs data transmission and data reception to the user application of the
この独自のプロトコルは、配信管理システム2と通信端末との間でリアルタイムに途切れることなくデータを送受信するためのHTTPSベースのアプリケーション層プロトコルである。また、送受信部31は、送信レスポンス制御、リアルタイムのデータ作成、クライアントコマンド送信、受信レスポンス制御、受信データ分析、及びジェスチャ変換を行う。
This unique protocol is an HTTPS-based application layer protocol for transmitting and receiving data between the
このうち、送信レスポンス制御は、配信管理システム2から通信端末5にデータを送信するために、通信端末5からリクエスト(要求)されたダウンロード用のHTTPSセッションを管理する処理である。このダウンロード用のHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1〜数分)保持する。送受信部31は、通信端末に送るデータを動的にレスポンスのBody部に書き込む。
Among these, the transmission response control is a process for managing a download HTTPS session requested (requested) from the
また、送受信部31は、再接続のコストをなくすため、通信端末からは前のセッションが終了しないうちに別のリクエストが届くようにする。前のリクエストが完了するまで送受信部31が待機することで、再接続を行っても、オーバヘッドを削除することができる。 In addition, in order to eliminate the cost of reconnection, the transmission / reception unit 31 allows another request to arrive from the communication terminal before the previous session ends. Since the transmission / reception unit 31 waits until the previous request is completed, the overhead can be deleted even if reconnection is performed.
リアルタイムのデータ作成は、後述の図16におけるエンコード部19で生成された圧縮映像(および圧縮音)のデータ(RTPデータ)に独自のヘッダを付与して、通信端末への下り用のHTTPSのBody部に書き込む処理である。
In real-time data creation, a unique header is added to the data (RTP data) of the compressed video (and compressed sound) generated by the
クライアントコマンド送信は、通信端末5に送信するコマンドデータを生成し、通信端末5への配信用(下り用)のHTTPSのBody部に書き込む処理である。
The client command transmission is a process of generating command data to be transmitted to the
受信レスポンス制御は、配信管理システム2が通信端末5からデータを受信するために、通信端末5からリクエストされた送信用(上り用)のHTTPSセッションを管理する処理である。このHTTPSセッションのリクエストはすぐに終了せず、一定時間(1〜数分)保持される。通信端末5は、配信管理システム2の送受信部31に送るデータを動的にリクエストのBody部に書き込む。
The reception response control is processing for managing a transmission (upstream) HTTPS session requested from the
受信データ分析は、通信端末5から送られてきたデータを種別ごとに分析し、必要なプロセスにデータを渡す処理である。
The received data analysis is a process of analyzing data sent from the
ジェスチャ変換は、ユーザが電子黒板としての通信端末5fに電子ペンや手書きにより入力したジェスチャイベントを、ブラウザ20が受け取れる形式に変換する処理である。また、受信用FIFO34は、デコード部40でデコードされた映像(音)データを格納するバッファである。
The gesture conversion is a process of converting a gesture event input by the user into the communication terminal 5f as an electronic blackboard by an electronic pen or handwriting into a format that the
認識部35は、通信端末5から受信する映像(音)データに対しての処理を行う。具体的には、認識部35は、例えば、サイネージ向けにカメラ62で撮影された映像から人や動物の顔、年齢、及び性別などを認識する。
The
また、認識部35は、オフィス向けに、カメラ62で撮影された映像から顔認識による名前タグ付けや背景映像の差し替え処理などを行う。認識部35は、認識した内容を示す認識情報を記憶部5003に記憶させる。この認識部35は、認識拡張ボードで処理を行うことで高速化が実現される。
In addition, the
遅延情報取得部37aは、上り用の回線適応制御の処理に用いられる遅延情報取得部57に対応して、下り用の回線適応制御の処理に用いられる。具体的には、遅延情報取得部37aは、デコード部40から送信遅延時間d1を示す送信遅延時間情報(d1)を取得して一定時間保持する。
The delay
次に、遅延情報取得部37aは、複数の送信遅延時間情報(d1)を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する。
Next, when the delay
回線適応制御部37bは、上り用の回線適応制御の処理に用いられる回線適応制御部27に対応して、下り用の回線適応制御の処理に用いられる。具体的には、回線適応制御部37bは、送信遅延時間情報(d)に基づいて、エンコード部60の動作条件を計算する。
The channel
また、回線適応制御部37bは、送受信部31及び送受信部51を介して通信端末5のエンコード部60に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する。デコード部40は、通信端末5から送信されて来た映像(音)データをデコードする。
Also, the line
(通信端末の機能構成)
続いて、図10を用いて、通信端末5の機能構成について説明する。通信端末5は、ユーザが配信システム1へのログインや映像(音)データの配信の開始又は停止などを行うためのインターフェースとなる端末である。
(Functional configuration of communication terminal)
Next, the functional configuration of the
図10に示されているように、通信端末5は、デコード部50、送受信部51、操作部52、再生制御部53、レンダリング部55、時刻制御部56、遅延情報取得部57、表示部58、エンコード部60、及びストローク制御部550を有している。更に、通信端末5は、図8に示されているRAM203によって構築される記憶部6000を有している。
As illustrated in FIG. 10, the
記憶部6000には、後述の時刻差Δを示す時刻差情報(Δ)、及び通信端末5における時刻tを示す時刻情報(t)が記憶される。
The
このうち、デコード部50は、配信管理システム2から配信され、再生制御部53から出力された映像(音)データをデコードする。
Among these, the
送受信部51は、配信管理システム2の送受信部31、及び後述の端末管理システム7の送受信部71aとの間で、各種データや要求等の送受信を行う。例えば、送受信部51は、通信端末5のログイン処理において、操作部52による通信端末5の起動に基づき、端末管理システム7の送受信部71bにログイン要求を行う。
The transmission / reception unit 51 transmits and receives various data and requests between the transmission / reception unit 31 of the
操作部52は、ユーザの操作入力を受け付ける処理を行い、例えば、電源スイッチ、キーボード、マウス、電子ペンP等による入力や選択等を受け付け、操作データとして配信管理システム2のブラウザ管理部22に送信する。
The
再生制御部53は、送受信部51から受けた映像(音)データ(リアルタイムデータのパケット)をバッファリングし、再生遅延時間Uを考慮してデコード部50に出力する。レンダリング部55は、デコード部50によってデコードされたデータをレンダリングする。時刻制御部56は、配信管理システム2の時刻取得部26と連携して、時刻調整の処理を行う。具体的には、時刻制御部56は、記憶部6000から通信端末5における時刻tを示す時刻情報(t)を取得する。
The
また、時刻制御部56は、送受信部51及び送受信部31を介して、配信管理システム2の時刻取得部26に、配信管理システム2における時刻Tを示す時刻情報(T)を要求する。この場合、時刻情報(T)の要求と共に、時刻情報(t)が送信される。
Further, the
遅延情報取得部57は、再生制御部53から送信遅延時間D1を示す送信遅延時間情報(D1)を取得して一定時間保持する。次に、遅延情報取得部57は、複数の送信遅延時間情報(D1)を取得したところで、送受信部51及び送受信部31を介して回線適応制御部27に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を送信する。なお、送信遅延時間情報(D)は、例えば、100フレームに1回送信される。
The delay
表示部58は、レンダリング部55によってレンダリングされたデータを再生する。
The
エンコード部60は、内蔵されたマイク213や、外付けのカメラ62及びマイク63から取得したエンコードした映像(音)データ〔E〕を、送受信部51及び送受信部31を介して、配信管理システム2のデコード部40に送信する。また、エンコード部60は、記憶部6000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)及び時間差Δを示す時間差情報(Δ)を、送受信部51及び送受信部31を介して、配信管理システム2のデコード部40に送信する。
The
また、エンコード部60は、回線適応制御部37bから受信した回線適応制御信号で示される動作条件に基づいて、エンコード部60の動作条件を変更する。
In addition, the
更に、エンコード部60は、新たな動作条件に従って、カメラ62及びマイク63から取得したエンコードした映像(音)データ〔E〕を、送受信部51及び送受信部31を介して、配信管理システム2のデコード部40に送信する。またエンコード部60は、記憶部6000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)及び時間差Δを示す時間差情報(Δ)を、送受信部51及び送受信部31を介して、配信管理システム2のデコード部40に送信する。
Furthermore, the
なお、内蔵されたマイク213や、外付けのカメラ62及びマイク63は、入力手段の一例であり、エンコードやデコードが必要な各種デバイスである。入力手段は、映像(音)データの他に、触覚(touch)データや嗅覚(smell)データを出力することができてもよい。入力手段には、温度センサ、方位センサ、加速度センサ等の各種センサも含まれる。
Note that the built-in
(端末管理システムの機能構成)
続いて、図11を用いて、端末管理システム7の機能構成について説明する。図11は、端末管理システムの各機能を示す機能ブロック図である。
(Functional configuration of terminal management system)
Next, the functional configuration of the
図11に示されているように、端末管理システム7は、送受信部71a、送受信部71b、及び認証部75を有している。更に、端末管理システム7は、図7に示されているHDD204によって構築される記憶部7000を有している。この記憶部7000には、配信先選択メニューデータ、端末管理テーブル7010、及び利用可能端末管理テーブル7020が記憶される。
As illustrated in FIG. 11, the
このうち、配信先選択メニューは、図12に示されているような配信先選択メニュー画面を示すデータである。 Among these, the delivery destination selection menu is data indicating a delivery destination selection menu screen as shown in FIG.
図13に端末管理テーブル7010の構成を示す。端末管理テーブルでは、通信端末5の端末ID、ユーザ証明書、契約情報、通信端末5の端末種別、各通信端末5のURLを示す設定情報、各通信端末5の実行環境情報、共有ID、設置位置情報、及び表示名情報が関連付けて管理されている。契約情報は、ユーザが配信システム1のサービスを利用する際の情報である。
FIG. 13 shows the configuration of the terminal management table 7010. In the terminal management table, the terminal ID of the
このうち、実行環境情報には、各通信端末5の「お気に入り」、「前回のCookie情報」、及び「キャッシュファイル」が含まれている。そして、各通信端末5のログイン後に、設定情報と共に配信管理システム2に送信され、各通信端末5に対して個別のサービスを行うために利用される。
Among these, the execution environment information includes “favorite”, “previous cookie information”, and “cache file” of each
また、共有IDは、各ユーザが、自己の通信端末5に配信されている映像(音)データと同じ内容の映像(音)データを他の通信端末5にも配信させる。これにより、遠隔共有処理を行う場合に利用されるIDであり、他の通信端末又は他の通信端末群を識別する識別情報である。
In addition, the shared ID allows each user to distribute video (sound) data having the same contents as the video (sound) data distributed to his / her
例えば、端末ID「t006」の共有IDは「v006」であり、端末ID「t007」の共有IDは「v006」であり、また、端末ID「t008」の共有IDは「v006」である。 For example, the shared ID of the terminal ID “t006” is “v006”, the shared ID of the terminal ID “t007” is “v006”, and the shared ID of the terminal ID “t008” is “v006”.
更に、端末ID「t001」の通信端末5aから、共有ID「v006」の通信端末(5f1,5f2,5f3)との遠隔共有処理の要求があったとする。この場合には、配信管理システム2は、通信端末(5f1,5f2,5f3)に対して、通信端末5aに配信中の映像(音)データと同じ映像(音)データを配信する。
Furthermore, it is assumed that the
但し、通信端末5aと通信端末(5f1,5f2,5f3)の表示部58の解像度が異なる場合には、これに応じて、配信管理システム2が映像(音)データを配信する。
However, when the resolutions of the
更に、設置位置情報は、例えば、図5に示されているように、通信端末(5f1,5f2,5f3)が並んで設置される場合の設置位置を示している。表示名情報は、図12に示されている配信先選択メニュー画面の表示名の内容を表す情報である。 Furthermore, the installation position information indicates the installation position when the communication terminals (5f1, 5f2, 5f3) are installed side by side, for example, as shown in FIG. The display name information is information representing the contents of the display name on the distribution destination selection menu screen shown in FIG.
一方、利用可能端末管理テーブル7020では、端末ID毎に、この端末IDによって示される通信端末5が遠隔共有処理することが可能な通信端末又は通信端末群を示す共有IDが関連付けて管理されている。
On the other hand, in the available terminal management table 7020, for each terminal ID, a shared ID indicating a communication terminal or a communication terminal group that can be remotely shared by the
次に、図11に戻り、各機能構成について説明する。 Next, returning to FIG. 11, each functional configuration will be described.
送受信部71aは、通信端末5との間で、各種データや要求等の送受信を行う。例えば、送受信部71aは、通信端末5の送受信部51からログイン要求を受信し、送受信部51に対してログイン要求の認証結果を送信したりする。
The transmission / reception unit 71 a transmits and receives various data and requests to and from the
送受信部71bは、配信管理システム2との間で、各種データや要求等の送受信を行う。例えば、送受信部71bは、配信管理システム2の送受信部21から配信先選択メニューのデータの要求を受信し、送受信部21に対して、配信先選択メニューのデータを送信したりする。
The transmission / reception unit 71b transmits / receives various data and requests to / from the
認証部75は、通信端末5から受信した端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5aの認証を行う。
The
〔第1の実施の形態の動作または処理〕
続いて、図17乃至図24を用いて、第1の実施の形態の動作または処理について説明する。
[Operation or Processing of First Embodiment]
Next, the operation or processing of the first embodiment will be described with reference to FIGS.
<基本的な配信処理>
まず、図17を用いて、配信管理システム2の基本的な配信方法における具体的な配信処理を説明する。図17は、配信管理システムの基本的な配信処理を示したシーケンス図である。なお、ここでは、通信端末5aを用いてログイン要求する場合について説明するが、通信端末5a以外の通信端末5を用いてログインしてもよい。
<Basic delivery processing>
First, specific distribution processing in the basic distribution method of the
図17に示されているように、通信端末5aにおいてユーザが電源オンにすると、通信端末5aの送受信部51は、端末管理システム7の送受信部71aを介して認証部75に、ログイン要求を行う(ステップS21)。このログイン要求には、通信端末5aの端末ID及びユーザ証明書が含まれている。
As shown in FIG. 17, when the user turns on the power in the
次に、認証部75は、受信した端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5aの認証を行う(ステップS22)。ここでは、端末管理テーブル7010に同じ組み合わせの端末ID及びユーザ証明書がある、即ち、通信端末5aが配信システム1における正当な端末であると認証された場合について、以下に続けて説明する。
Next, the
端末管理システム7の認証部75は、送受信部71aを介して、通信端末5aの送受信部51bに、配信管理システム2のIPアドレスを送信する(ステップS23)。なお、配信管理システム2のIPアドレスは、予め、端末管理システム7によって取得されて、記憶部7000に記憶されている。更に、端末管理システム7の送受信部71bは、配信管理システム2の送受信部21を介して、ブラウザ管理部22に、ブラウザ20の起動要求を行う(ステップS24)。これにより、ブラウザ管理部22は、ブラウザ20を起動させる(ステップS25)。
The
次に、エンコーダブリッジ部30の作成・選択部310は、通信端末5aの再生能力(ディスプレイの解像度等)及びコンテンツの種類に従って変換部10を作成する(ステップS26)。
Next, the creation /
次に、ブラウザ20は、ウェブサーバ8に対して、コンテンツデータ〔A〕を要求する(ステップS27)。これに対して、ウェブサーバ8は、要求されたコンテンツデータ〔A〕を自己の記憶部(不図示)から読み出す(ステップS28)。そして、ウェブサーバ8は、配信管理システム2の送受信部21を介して、要求元であるブラウザ20にコンテンツデータ〔A〕を送信する(ステップS29)。
Next, the
次に、ブラウザ20が、コンテンツデータ〔A〕をレンダリングして画像(音)データを生成し、送信用FIFO24に出力する(ステップS30)。そして、変換部10が、送信用FIFO24に格納された画像(音)データをエンコードすることで、通信端末5aに配信すべき映像(音)データ〔A〕に変換する(ステップS31)。
Next, the
次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、再生制御部53に映像(音)データ〔A〕を送信する(ステップS32)。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像(音)データ〔A〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS33)。
Next, the
<時刻調整の処理>
続いて、図19を用いて、時刻調整の処理について説明する。なお、図19は、時刻調整の処理を示したシーケンス図である。まず、通信端末5の時刻制御部56は、送受信部51が配信管理システム2に時刻情報(T)を要求する時刻を取得するために、記憶部5000から通信端末5における時刻情報(ts)を取得する(ステップS81)。そして、送受信部51は送受信部31に、配信管理システム2における時刻情報(T)を要求する(ステップS82)。この場合、時刻情報(T)の要求と共に、上記時刻情報(ts)が送信される。
<Time adjustment processing>
Next, time adjustment processing will be described with reference to FIG. FIG. 19 is a sequence diagram showing time adjustment processing. First, the
次に、時刻取得部26は、送受信部31が上記ステップS82の要求を受信した時刻を取得するために、時刻管理部25から配信管理システム2における時刻情報(Tr)を取得する(ステップS83)。更に、時刻取得部26は、送受信部31が上記ステップS82の要求に応答する時刻を取得するために、時刻管理部25から配信管理システム2における時刻情報(Ts)を取得する(ステップS84)。そして、送受信部31は送受信部51に、時刻情報(ts,Tr,Ts)を送信する(ステップS85)。
Next, the
次に、通信端末5の時刻制御部56は、送受信部51が上記ステップS85の応答を受信した時刻を取得するために、記憶部5000から通信端末5における時刻情報(tr)を取得する(ステップS86)。
Next, the
そして、通信端末5の時刻制御部56は、配信管理システム2と通信端末5との間の時刻差Δを計算する(ステップS87)。この時刻差Δは、以下の式1によって表される。
Δ=((Tr+Ts)/2)−((tr+ts)/2)・・・(式1)
Then, the
Δ = ((Tr + Ts) / 2) − ((tr + ts) / 2) (Equation 1)
そして、時刻制御部56は、記憶部6000に時刻差データΔを記憶する(ステップS88)。この時刻調整の一連の処理は、例えば、毎分定期的に行われる。
Then, the
<下り用の回線適応制御の処理>
続いて、図20を用いて、配信管理システム2から通信端末5に送信する(下り)データの回線適応制御の処理を説明する。なお、図20は、配信管理システムから通信端末に送信するデータの回線適応制御の処理を示したシーケンス図である。
<Process of downlink adaptive control>
Next, a description will be given of the channel adaptive control processing of (downstream) data transmitted from the
まず、配信管理システム2のエンコーダブリッジ部30は、送受信部31及び送受信部51を介して再生制御部53に、再生までにバッファリングして再生を遅延させるための再生遅延時間を示す再生遅延時間情報(U)を送信する(ステップS101)。
First, the
また、エンコーダブリッジ部30は、送信用FIFO24から取得してエンコード等を行った映像(音)データ〔A〕に対して、時刻管理部25から取得した現時点の時刻T0をタイムスタンプとして付加する。次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、再生制御部53に送信する(ステップS102)。
The
一方、通信端末5では、再生制御部53が、通信端末5における時刻(T0+U−Δ)になるまで待ってから、再生遅延時間U内に受信した映像(音)データをデコード部50に出力することで、スピーカ61から音を再生させ、レンダリング部55を介して表示部58で映像を再生させる(ステップS103)。
On the other hand, in the
即ち、以下の式2に示される再生遅延時間Uの範囲内に通信端末5が受信した映像(音)データだけが再生されることになり、範囲外の映像(音)データは再生されずに消去される。
U≧(t0+Δ)−T0・・・(式2)
That is, only the video (sound) data received by the
U ≧ (t 0 + Δ) −T 0 (Expression 2)
また、再生制御部53は、記憶部6000から、通信端末5における現時点の時刻t0を読み出す(ステップS104)。この時刻t0は、通信端末5が配信管理システム2から映像(音)データを受信した時点の通信端末5における時刻を示す。更に、再生制御部53は、記憶部6000から、上記ステップS86によって記憶されている時刻差Δを示す時刻差情報(Δ)を読み出す(ステップS105)。
Further, the
そして、再生制御部53は、映像(音)データが配信管理システム2から送信されて通信端末5で受信されるまでの時間を示す送信遅延時間D1を計算する(ステップS106)。この計算は、以下の式3によって行われ、通信ネットワーク9が混雑している場合には、送信遅延時間D1が長くなる。
D1=(t0+Δ)−T0・・・(式3)
Then, the
D1 = (t 0 + Δ) −T 0 (Equation 3)
次に、遅延情報取得部57は、再生制御部53から送信遅延時間D1を示す送信遅延時間情報(D1)を取得して一定時間保持する。次に、遅延情報取得部57は、複数の送信遅延時間情報(D1)を取得したところで、送受信部51及び送受信部31を介して回線適応制御部27に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を送信する(ステップS107)。
Next, the delay
次に、配信管理システム2の回線適応制御部27は、送信遅延時間情報(D)に基づいて、新たに再生遅延情報U´を計算し、変換部10のフレームレートやデータの解像度等の動作条件を計算したりする(ステップS108)。
Next, the line
次に、配信管理システム2のエンコーダブリッジ部30は、送受信部31及び送受信部51を介して再生制御部53に、上記ステップS108によって計算された新たな再生遅延時間U´を示す再生遅延時間情報(U´)を送信する(ステップS109)。
Next, the
更に、変換部10は、動作条件を示す回線適応制御信号に基づいて、変換部10の動作条件を変更する(ステップS110)。例えば、送信遅延時間D1が長すぎる場合、送信遅延時間D1に応じて再生遅延時間Uを長くすると、スピーカ61や表示部58での再生時間が遅くなり過ぎるため、再生遅延時間Uを長くすることには限界がある。
Furthermore, the conversion unit 10 changes the operation condition of the conversion unit 10 based on the line adaptive control signal indicating the operation condition (step S110). For example, when the transmission delay time D1 is too long, if the reproduction delay time U is lengthened in accordance with the transmission delay time D1, the reproduction time on the
そこで、回線適応制御部27は、エンコーダブリッジ部30に対して、再生遅延時間Uを変更させて再生遅延時間U´とするだけでなく、変換部10に対して、映像(音)データのフレームレートを下げさせ、映像(音)データの解像度を下げさせたりする。したがって、通信ネットワーク9の混雑に対応することができる。
Therefore, the line
これにより、エンコーダブリッジ部30は、変更後の動作条件に従って、上記ステップS102のように、現時点の時刻T0をタイムスタンプとして付加した映像(音)データを通信端末5の再生制御部53に送信する(ステップS111)。
Thereby, the
次に、通信端末5では、再生制御部53が、通信端末5における時刻(T0+U'−Δ)になるまで待ってから、再生遅延時間U´内に受信した映像(音)データをデコード部50に出力する。これにより、再生制御部53は、上記ステップS103のように、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる(ステップS112)。その後、上記ステップS104以降の処理が続けて行われる。このようにして、下り用の回線適応制御の処理が継続して行われる。
Next, in the
<上り用の回線適応制御の処理>
続いて、図21を用いて、通信端末5から配信管理システム2に送信する(上り)データの回線適応制御の処理を説明する。なお、図21は、通信端末から配信管理システムに送信するデータの回線適応制御の処理を示したシーケンス図である。
<Processing of uplink adaptive control>
Next, the processing of line adaptation control of (upstream) data transmitted from the
まず、通信端末5のエンコード部60は、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕を送受信部51及び送受信部31を介して、配信管理システム2のデコード部40に送信する(ステップS121)。
First, the
また、エンコード部60は、記憶部6000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)を、送受信部51及び送受信部31を介して、配信管理システム2のデコード部40に送信する(ステップS121)。更に、エンコード部60は、記憶部6000から取得した時間差Δを示す時間差情報(Δ)を、送受信部51及び送受信部31を介して、配信管理システム2のデコード部40に送信する(ステップS121)。
In addition, the
次に、配信管理システム2では、デコード部40が上記ステップS121によって映像(音)データ〔E〕等を受信した時点の時刻T0を時刻管理部25から読み出す(ステップS122)。そして、デコード部40は、映像(音)データが通信端末5から送信されて配信管理システム2で受信されるまでの時間を示す送信遅延時間d1を計算する(ステップS123)。
Next, in the
この計算は、以下の式4によって行われ、通信ネットワーク9が混雑している場合には、送信遅延時間D1が長くなる。
d1=T0−(t0+Δ)・・・(式4)
This calculation is performed according to the following Expression 4, and when the communication network 9 is congested, the transmission delay time D1 becomes long.
d1 = T 0 − (t 0 + Δ) (Formula 4)
次に、配信管理システム2の遅延情報取得部37aは、遅延情報取得部57と同様に、デコード部40から送信遅延時間d1を示す送信遅延時間情報(d1)を取得して一定時間保持する。遅延情報取得部37aは、複数の送信遅延時間情報(d1)を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する(ステップS124)。
Next, similarly to the delay
次に、回線適応制御部37bは、送信遅延時間情報(d)に基づいて、エンコード部60の動作条件を計算する(ステップS108)。そして、回線適応制御部37bは、送受信部31及び送受信部51を介して通信端末5のエンコード部60に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する(ステップS126)。
Next, the line
即ち、下りの場合の回線適応制御部27は、同じ配信管理システム2内でエンコーダブリッジ部30に回線適応制御信号を出力する。これに対して、上りの場合の回線適応制御部37bは、配信管理システム2から通信ネットワーク9を介して、通信端末5に回線適応制御信号を送信する。
That is, the downlink channel
次に、エンコード部60は、受信した回線適応制御信号で示される動作条件に基づいて、エンコード部60の動作条件を変更する(ステップS127)。
Next, the
そして、エンコード部60は、新たな動作条件によって、上記ステップS121のように、カメラ62及びマイク63からエンコードした映像(音)データ〔E〕を取得する。エンコード部60は、その取得した映像(音)データ〔E〕を送受信部51及び送受信部31を介して、配信管理システム2のデコード部40に送信する(ステップS128)。
Then, the
また、エンコード部60は、記憶部6000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)を、送受信部51及び送受信部31を介して、配信管理システム2のデコード部40に送信する(ステップS128)。
In addition, the
更に、エンコード部60は、同じく記憶部6000から取得した時間差Δを示す時間差情報(Δ)を、送受信部51及び送受信部31を介して、配信管理システム2のデコード部40に送信する(ステップS128)。その後、上記ステップS122以降の処理が続けて行われる。このようにして、上り用の回線適応制御の処理が継続して行われる。
Furthermore, the
<マルチディスプレイの処理>
続いて、図22乃至図24を用いて、マルチディスプレイの処理について説明する。なお、図22乃至図24は、図5に示されているマルチディスプレイの処理を示したシーケンス図である。ここでは、通信端末5aで再生されている映像(音)〔XYZ〕を、各通信端末(5f1,5f2,5f3)にも分割して再生させる例である。
<Multi-display processing>
Next, multi-display processing will be described with reference to FIGS. 22 to 24 are sequence diagrams showing the processing of the multi-display shown in FIG. In this example, the video (sound) [XYZ] reproduced on the
また、ここでは、ウェブコンテンツを表示させるためのブラウザ20を「ブラウザ20a」と示し、ユーザへの設定画面を表示させるためのブラウザ20を「ブラウザ20b」と示す。更に、ここでは、図17のステップS30に相当する処理から説明する。
Further, here, the
まず、配信管理システム2のブラウザ20aは、ウェブサーバ8から取得したウェブコンテンツデータ〔XYZ〕をレンダリングして画像(音)データを生成し、送信用FIFO24に出力する(ステップS201)。そして、変換部10が、送信用FIFO24に格納された画像(音)データをエンコードすることで、通信端末5aに配信すべき映像(音)データ〔XYZ〕に変換する(ステップS202)。
First, the browser 20a of the
次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5aの再生制御部53に映像(音)データ〔XYZ〕を送信する(ステップS203)。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像(音)データ〔XYZ〕が出力され、レンダリング部55を介して、表示部58にて映像(音)が再生される(ステップS204)。
Next, the
次に、通信端末5aのユーザによって、表示部58上に表示されている画面が不図示のメニュー要求画面に切り替えられ、操作部52が、メニュー要求画面中の不図示の「配信先選択メニュー」ボタンの押下を受け付ける(ステップS205)。これにより、送受信部51が、端末管理システム7の送受信部71aに、配信先選択メニューへの切り替えを要求する(ステップS206)。これに対して、送受信部71bは、送受信部21を介して配信管理システム2のブラウザ管理部22に対し、ブラウザ20bの起動要求を行う(ステップS208)。
Next, the user of the
次に、エンコーダブリッジ部30の作成・選択部310は、ブラウザ20aから変換部10(例えば、変換部10a)への出力を、ブラウザ20bから変換部10(例えば、変換部10b)への出力に切り替える(ステップS209)。但し、通信端末5aが他の通信端末5(例えば、通信端末5b)と変換部10(例えば、変換部10a)を共有して上記ステップS203による映像(音)データを受信していた場合には、他の通信端末5(例えば、通信端末5b)はブラウザ20a用に変換部10(例えば、変換部10a)を利用中であるため、エンコーダブリッジ部30の作成・選択部310は、新たに変換部10(例えば、変換部10b)を作成する。そして、ブラウザ20bは、送受信部21及び送受信部71bを介して、端末管理システム7の記憶部7000に、配信先選択メニューを要求する(ステップS210)。
Next, the creation /
この際に、通信端末5aの端末IDも送信される。これに対して、端末管理システム7の記憶部7000では、この端末IDに基づいて記憶部7000に記憶されている利用可能端末管理テーブル7020を検索することにより、対応する共有IDを抽出する(ステップS211)。
At this time, the terminal ID of the
この共有IDは、通信端末5aが遠隔共通処理をするために利用可能な通信端末5を示している。ここでは、図14に示されているように、通信端末5aの端末IDが「t001」であるため、抽出される共有IDは「v003」、「v006」である。
This shared ID indicates the
更に、記憶部7000は、抽出した共有IDに基づいて端末管理テーブル7010を検索することにより、対応する表示名を示す表示名情報を抽出する(ステップS212)。ここでは、図13に示されているように、抽出された共有ID「v003」、「v006」に対応する表示名は、それぞれ「東京本社10F MFP」、「大阪展示場1F マルチディスプレイ」である。そして、記憶部7000は、送受信部71b及び送受信部21を介して、ブラウザ20bにコンテンツデータとして配信先選択メニューのデータを送信する(ステップS213)。
Further, the
この配信先選択メニューは、図13に示されているように、チェックボックス、共有ID、及び表示名が含まれている。 As shown in FIG. 13, the distribution destination selection menu includes a check box, a shared ID, and a display name.
次に、図23に示されているように、ブラウザ20bが、端末管理システム7から取得した配信先選択メニュー〔M〕を示すコンテンツデータをレンダリングして画像(音)データを生成し、送信用FIFO24に出力する(ステップS221)。そして、変換部10が、送信用FIFO24に格納された画像(音)データ〔M〕をエンコードすることで、通信端末5aに配信すべき映像(音)データ〔M〕に変換する(ステップS222)。
Next, as shown in FIG. 23, the browser 20b renders content data indicating the distribution destination selection menu [M] acquired from the
次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5aの再生制御部53に映像(音)データ〔M〕を送信する(ステップS223)。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像(音)データ〔M〕が出力され、レンダリング部55を介して、表示部58にて、図12に示されているような映像(音)が再生される(ステップS224)。
Next, the
次に、ユーザが共有ID「v006」のチェックボックスにチェックを入れ、「OK」ボタンを押下する。その結果、操作部52が、送受信部51及び送受信部31を介してブラウザ管理部22に、操作データとしてチェック結果を送信する(ステップS226)。
Next, the user checks the check box of the shared ID “v006” and presses the “OK” button. As a result, the
次に、ブラウザ20bは、チェック結果から共有IDを選択する(ステップS227)。 Next, the browser 20b selects a shared ID from the check result (step S227).
そして、ブラウザ20bは、送受信部21及び送受信部71bを介して、端末管理システム7の記憶部7000に配信先追加要求を行う(ステップS228)。この配信先追加要求には、上記ステップS227によって選択された共有IDが含まれている。そして、ブラウザ20bは、役目を終えて終了する(ステップS229)。
Then, the browser 20b makes a distribution destination addition request to the
これにより、エンコーダブリッジ部30の作成・選択部310は、ブラウザ20bから変換部10への出力を、ブラウザ20aから変換部10への出力に戻すよう切り替える(ステップS230)。
Thereby, the creation /
次に、図24に示されているように、端末管理システム7の記憶部7000では、上記ステップS228によって送られて来た共有IDに基づいて、端末管理テーブル7010を検索して、対応する端末ID及び設置位置情報を抽出する(ステップS241)。そして、記憶部7000は、送受信部71b及び送受信部21を介してブラウザ管理部22に、配信先の追加指示を行う(ステップS242)。
Next, as shown in FIG. 24, in the
配信先の追加指示には、ステップS241によって抽出された端末ID及び設置位置情報が含まれている。図14の大阪展示場のマルチディスプレイの例では、「t006」及び「左」、「t007」及び「中」、「t008」及び「右」からなる3組の端末ID及び設置位置情報が含まれている。ブラウザ管理部22は、ブラウザ20及び送信用FIFO24経由で、これらの端末ID及び設置位置情報をエンコーダブリッジ部30に出力する。
The distribution destination addition instruction includes the terminal ID and installation position information extracted in step S241. In the example of the multi-display in the Osaka exhibition hall of FIG. 14, three sets of terminal IDs and installation position information including “t006” and “left”, “t007” and “middle”, “t008” and “right” are included. ing. The
次に、エンコーダブリッジ部30の作成・選択部310は、マルチディスプレイ用の変換部10を作成する(ステップS243)。なお、この場合、エンコーダブリッジ部30の作成・選択部310は、ブラウザ管理部22から、端末ID及び設置位置情報を取得する。そして、上記ステップS243によって作成された変換部10の分割部13が、送信用FIFO24に格納されている画像(音)データ〔XYZ〕を分割し、エンコード部19が、分割された各データをエンコードする(ステップS244)。
Next, the creation /
そして、エンコーダブリッジ部30は、端末ID(「t006」)及び設置位置情報(「左」)に基づいて、送受信部31及び通信端末5f1の送受信部51を介して、通信端末5f1の再生制御部53に映像(音)データ〔X〕を送信する(ステップS245−1)。
Then, the
これにより、通信端末5f1では、再生制御部53からデコード部50に、映像(音)データ〔X〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS246−1)。
Thus, in the communication terminal 5f1, the video (sound) data [X] is output from the
また、同様にして、エンコーダブリッジ部30は、端末ID(「t007」)及び設置位置情報(「中」)に基づいて、送受信部31及び通信端末5f2の送受信部51を介して、通信端末5f2の再生制御部53に映像(音)データ〔Y〕を送信する(ステップS245−2)。
Similarly, the
これにより、通信端末5f2は、再生制御部53からデコード部50に、映像(音)データ〔Y〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS246−2)。
As a result, the communication terminal 5f2 outputs the video (sound) data [Y] from the
更に、同様にして、エンコーダブリッジ部30は、端末ID(「t008」)及び設置位置情報(「右」)に基づいて、送受信部31及び通信端末5f3の送受信部51を介して、通信端末5f3の再生制御部53に映像(音)データ〔Z〕を送信する(ステップS245−3)。
Further, similarly, the
これにより、通信端末5f3は、再生制御部53からデコード部50に、映像(音)データ〔Z〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS246−3)。
Accordingly, the communication terminal 5f3 outputs the video (sound) data [Z] from the
[第1の実施の形態の主な効果]
以上、詳細に説明したように、本実施形態の配信システム1では、クラウド上で配信管理システム2がブラウザ20及びエンコード等を行うエンコーダブリッジ部30を有する。これにより、ブラウザ20が所定の記述言語で示されたコンテンツデータから映像データ又は音データを生成し、エンコーダブリッジ部30が通信ネットワーク9を介して配信することができるようにデータ形式を変換してから通信端末5に配信する。
[Main effects of the first embodiment]
As described above in detail, in the
よって、通信端末5では、所定の記述言語で示されたコンテンツデータを受信する負荷、及び受信後に映像データ又は音データに変換する負荷が低減されるため、コンテンツのリッチ化に対応させるための負荷が高いという問題を解消することができる。
Therefore, in the
特に、ブラウザ20は、リアルタイムコミュニケーションを可能にし、変換部10は、ブラウザ20によって生成された映像(音)データに対してリアルタイムのエンコードを行う。このため、配信管理システム2は、配信する直前に取得したコンテンツをレンダリングすることで映像(音)データを生成してからエンコードするため、リアルタイム性に優れた映像(音)データの配信を行うことができる。
In particular, the
したがって、例えば、オンデマンド配信のように、DVDプレーヤがリアルタイム性のない予めエンコードされている映像(音)データを選択して配信する場合とは異なり、リアルタイム性に優れた映像(音)データの配信を行うことができる。 Therefore, for example, unlike a case where a DVD player selects and distributes pre-encoded video (sound) data without real-time characteristics, such as on-demand distribution, video (sound) data with excellent real-time characteristics is distributed. Distribution can be performed.
〔第2の実施の形態の概略〕
次に、本発明の第2の実施の形態における電子ペンP等や指入力等によるに基づくストローク座標[p]のローカル表示の制御について説明する。ローカル表示については後述するとして、まず、配信管理システム2によるデータの配信について説明する。なお、第2の実施の形態のハードウェア構成は、第1の実施の形態のものとほぼ同一であるので、第1の実施の形態の説明及び図面を援用するとともに、重複した説明は省略する。
[Outline of Second Embodiment]
Next, the local display control of the stroke coordinate [p] based on the electronic pen P or the like or finger input or the like in the second embodiment of the present invention will be described. The local display will be described later. First, data distribution by the
配信管理システム2は、通信ネットワーク9を介して接続された通信端末に対して、通信端末から送信されたデータに基づいて画像データを生成する。また、この画像データを変換した映像データを通信端末に配信する。配信される通信端末は、データが送信された通信端末だけでなく、これ以外の複数の通信端末に各々配信することも可能である。
The
例えば、複数の通信端末が通信ネットワークを介して配信管理システム2と接続されている例を説明する。複数の通信端末の各々は、自己の通信端末に対して電子ペンPや指等によって入力されたストローク座標[p]であっても、原則として、そのストローク座標[p]を配信管理システム2に送信した後、配信管理システム2から他の通信端末にも同時に配信されたストローク座標[p]に基づく画像データを表示することになっている。
For example, an example in which a plurality of communication terminals are connected to the
すなわち、ある特定の通信端末に入力されたストローク座標[p]は、一旦、配信管理システム2に送信された後、その特定の通信端末及び他の通信端末も、配信管理システム2から同時に配信されたストローク座標[p]に基づく画像データをそれぞれ表示する。しかし、この第2の実施の形態に記載する発明においては、ストローク座標[p]が入力された通信端末は、他の通信端末とは異なり、変則的な表示処理(後述する「ローカル表示」)を行う。もちろん、複数の通信端末でなく、1つの通信端末であってもローカル表示を行うことは可能である。
That is, the stroke coordinates [p] input to a specific communication terminal are once transmitted to the
[第2の実施の形態の詳細な説明]
次に、図10及び図11を参照して、第2の実施の形態の詳細な説明を行う。例えば、上記した複数の通信端末は、図11の通信端末5f1,5f2であり、1の通信端末は、通信端末5f1である。
[Detailed Description of Second Embodiment]
Next, a detailed description of the second embodiment will be given with reference to FIGS. 10 and 11. For example, the plurality of communication terminals described above are the communication terminals 5f1 and 5f2 in FIG. 11, and the one communication terminal is the communication terminal 5f1.
図11において、通信端末5f1は、表示部58と、入力されたペンストローク(描画軌跡)に基づくストローク座標[p]を、通信ネットワーク9を介して配信管理システム2に送信する送受信部51とを有する。また、通信端末5f1は、入力されたペンストローク(描画軌跡)に基づくストローク座標[p]から画像データを生成し、表示部58に表示するためのストローク制御部550及びレンダリング部55を有する。
In FIG. 11, the communication terminal 5
入力されたペンストローク(描画軌跡)は、例えば、電子ペンP1の描画操作に応じて、電子黒板等の表示部58に描画されたものがあげられる。以下、説明の簡便のため、入力されたペンストローク(描画軌跡)は、電子ペンP1の描画操作に応じて電子黒板の表示部58に入力されたストローク座標[p]画像データとする。
The input pen stroke (drawing locus) is, for example, that drawn on the
もちろん、通信端末5f1は、複写機能、ファクシミリ機能、及びスキャナ機能を任意に組み合わせた多機能情報処理装置(MFP)、又はテレビ会議システム用の電子黒板若しくはタブレット端末等を含むものである。 Of course, the communication terminal 5f1 includes a multi-function information processing apparatus (MFP) arbitrarily combining a copy function, a facsimile function, and a scanner function, or an electronic blackboard or tablet terminal for a video conference system.
図11の操作部52は、電子ペンによって電子黒板としての通信端末5f1に描画されたペンストローク(描画軌跡)の入力を受け付け、ストローク座標[p]を配信管理システム2に送信する。同時に、操作部52は、そのストローク座標[p]をストローク制御部550に出力する。
The
ストローク制御部550は、操作部52から取得したストローク座標[p]をストローク命令とともにレンダリング部55に出力する。レンダリング部55は、そのストローク命令に応じて、ストローク座標[p]に基づいてレンダリングして、画像データを生成し、表示部58に表示する。
The
すなわち、通信端末5f1は、入力されたストローク座標[p]を送受信部51によって配信管理システム2に送信するとともに、通信端末5f1のストローク制御部550及びレンダリング部55によって表示部58に独自して所定時間表示させる。所定時間、ペンストローク(描画軌跡)を表示部58に独立してすなわちローカル的に表示するので、この表示処理をローカルストローク描画又はローカル表示という。
In other words, the communication terminal 5f1 transmits the input stroke coordinates [p] to the
ストローク制御部550は、配信管理システム2の記憶部5003に記憶される属性情報と同一の属性情報をあらかじめ記憶している記憶部551を有する。ストローク制御部550は、記憶部551に記憶された属性情報に基づいて、レンダリング部55でレンダリングして生成した画像データを表示部58に表示させる。
The
例えば、電子ペンP1が電子黒板の表示画面に表示されるメニューから"赤色"を選択した場合を考える。この際、選択したストローク座標[p]に基づいて、記憶部551に記憶されるストローク座標[p]に対応する属性情報として赤色を読み出し、レンダリング部55で赤色の画像データを生成する。
For example, consider a case where the electronic pen P1 selects “red” from a menu displayed on the display screen of the electronic blackboard. At this time, red is read as attribute information corresponding to the stroke coordinates [p] stored in the
更に、ストローク制御部550の記憶部551は、配信管理システム2から送信された画像データを表示させることが可能な表示可能領域情報を記憶する。ストローク制御部550は、記憶部551に記憶された表示可能領域情報に一致する表示部58の表示領域を設定する。
Further, the
例えば、通信端末5f1の表示部58に表示されるメニューの領域は、表示可能領域とはしない。表示可能領域を設定することによって、メニューとストロークが重畳して表示されることはない。
For example, the menu area displayed on the
通信端末5f1の送受信部51は、配信管理システム2から配信される映像データを受信する。ストローク制御部550及びレンダリング部55は、あらかじめ設定されている所定時間の経過の後に、表示部58に表示されたストローク座標[p]の画像データを消去する。次に、送受信部51によって配信管理システム2に送信された配信に係る画像データを送受信部51から取得して、ストローク座標[p]の画像データを消去した後の表示部58に表示する。
The transmission / reception unit 51 of the communication terminal 5f1 receives video data distributed from the
通信端末5f1は、入力されたストローク座標[p]を配信管理システム2に送信した時から、そのストローク座標[p]が配信管理システム2に到達するまでの上り遅延時間(これを「第1の遅延時間」という)を取得する。
The communication terminal 5f1 transmits the input stroke coordinate [p] to the
なお、この上りに関する第1の遅延時間の取得は実行しなくてもよい。すなわち、この上りに関しては、配信管理システム2にストローク座標[p]を送るだけの非常に短い時間であるため、無視することが可能な程度の遅延時間ともいえる。また、通信速度等を考慮して予め既知な時間であるなどの場合にも取得は不要である。
Note that the acquisition of the first delay time related to this uplink need not be executed. In other words, since this is an extremely short time for only sending the stroke coordinates [p] to the
通信端末5f1は、送信したストローク座標[p]が配信管理システム2に到達した時から、そのストローク座標[p]に基づく画像データが通信端末5f1に配信されて、表示のための再生処理が開始するまでの下り遅延時間(これを「第2の遅延時間」という)を取得する。
When the transmitted stroke coordinate [p] reaches the
次に、通信端末5f1は、第1の遅延時間と第2の遅延時間とを合算して、その合算した値を再生遅延時間Uとして記憶部551に記憶する。すなわち、再生遅延時間Uは、入力されたストローク座標[p]を配信管理システム2に送信した時から、そのストローク座標[p]に基づく画像データが通信端末5f1に配信されて、表示のための再生処理が開始するまでの往復の通信遅延時間である。
Next, the communication terminal 5f1 adds the first delay time and the second delay time, and stores the added value in the
通信端末5f1は、ストローク制御部550内に記憶部551を有する。ストローク制御部550は、第1の遅延時間と第2の遅延時間とを合算した再生遅延時間Uをその記憶部551に記憶する。なお、上述したように、第1の遅延時間を取得しなかった場合にはこの合算処理は不要である。ストローク制御部550及びレンダリング部55は、記憶部551に記憶された再生遅延時間Uより短い時間を所定時間Tsとして設定する。
The communication terminal 5f1 has a
通信端末5f1は、配信管理システム2から受信した第1の遅延時間の変化を検出する再生制御部53を有する。
The communication terminal 5f1 includes a
なお、ストローク制御部550は、所定時間としてストローク座標[p]を配信管理システム2に送信した時から、ストローク削除予定時刻に達したとき、表示部58に表示されているストローク座標[p]に基づく画像データを消去する。
The
より具体的には、ストローク制御部550は、操作部52がストローク座標[p]を取得した時刻に第2の遅延時間を加算したストローク削除予定時刻になった時に、画像データを表示部58から消去する。そして、配信管理システム58から配信された映像データを表示する。このストローク削除予定時刻は、ストローク座標[p]に関連付けられて記憶部551に記憶される。
More specifically, the
通信端末5f1の送受信部51は、ストローク座標[p]を配信管理システム2に送信するとともに、配信管理システム2から配信されるストローク座標[p]に基いて生成された画像データを受信する。ストローク制御部550及びレンダリング部55は、送受信部51が配信管理システム2に送信した配信に係る画像データを折り返し受信したときは、表示部58に表示された画像データを消去した後に、その受信した画像データを表示部58に表示する。
The transmission / reception unit 51 of the communication terminal 5f1 transmits the stroke coordinates [p] to the
あるいは、他の変形例として、ストローク制御部550及びレンダリング部55は、ストローク座標に係る画像データを表示部58に表示した後、送受信部51が受信した画像データを表示することなく廃棄する。すなわち、ローカル表示の画像データを消去せずにそのまま利用する。この場合は、ストローク制御部550及びレンダリング部55は、消去処理及びその後の再度の表示処理を割愛できる。
Alternatively, as another modification, the
[第2の実施の形態の動作または処理]
続いて、図18を用いて、通信端末5f1に入力されたペンストローク(描画軌跡)を、配信管理システム2を介して通信端末5f1及び他の通信端末5f2に配信する場合の処理について説明する。図18は、配信管理システム2と通信端末5f1及び通信端末5f2との間における通信方法を示すシーケンス図である。
[Operation or Processing of Second Embodiment]
Next, a process for distributing a pen stroke (drawing locus) input to the communication terminal 5f1 to the communication terminal 5f1 and other communication terminals 5f2 via the
ここでは、図10に示した通信端末5f1から図9に示した配信管理システム2に対して、ペンストローク(描画軌跡)に基づくストローク座標[p]を送信する。そして、配信管理システム2は、通信端末5f1及び通信端末5f2に対して、そのストローク座標[p]に基づく画像データを同時に配信する。
Here, the stroke coordinate [p] based on the pen stroke (drawing locus) is transmitted from the communication terminal 5f1 shown in FIG. 10 to the
なお、図6等の、配信管理システム2は、少なくとも映像(音)データ[A]、映像(音)データ[E]、ストローク座標[p]のうち1つ以上が含まれるコンテンツデータを通信端末に配信した例である。図18では、電子ペンP1によるストローク座標[p]の配信について説明する。ここでストローク座標[p]のみの配信であってもよいし、映像(音)データ[A]または映像(音)データ[E]の上に描かれたストローク座標[p]の配信であってもよい。もちろん、映像(音)データ[A]および映像(音)データ[E]の上に描かれたストローク座標[p]の配信であってもよい。
6 or the like, the
図18において、配信管理システム2のブラウザ20は、図1に示したウェブサーバ8から送受信部21を介してコンテンツデータ[A]を受信する(ステップS60)。そして、ブラウザ20はコンテンツデータ[A]をレンダリングすることにより、画像(音)データを生成して、送信用FIFO24に出力する(ステップS61)。
18, the
次に、通信端末5f1は、コンテンツデータ[E]を配信管理システム2に対して送信する(ステップS62)。このコンテンツデータ[E]は、通信端末5f1のエンコード部60が、カメラ62及びマイク63等からコンテンツデータ[E]の入力を受け付けたものである。エンコード部60はエンコードした後、送受信部51及び送受信部31を介して、デコード部40にコンテンツデータ[E]を送信する。これにより、コンテンツデータ〔E〕は、デコード部40でデコードされた後、受信用FIFO34を介して、ブラウザ20に入力される。配信管理システム2のブラウザ20は、そのコンテンツデータ[E]をレンダリングすることにより、画像(音)データ[E]を生成して、送信用FIFO24に出力する(ステップS63)。
Next, the communication terminal 5f1 transmits the content data [E] to the distribution management system 2 (step S62). The content data [E] is obtained by the
通信端末5f1の操作部52は、電子ペンP1のペンストローク(描画軌跡)に応じた操作データであるストローク座標[p]を受け付ける(ステップS64)。次に、通信端末5f1は、ストローク座標[p]を操作結果情報として配信管理システム2に送信する(ステップS65−1)。このとき、操作部52によって、送受信部51及び送受信部31を介して、ブラウザ管理部22にストローク座標[p]が送信される。
The
通信端末5f1の操作部52は、ステップS65−1の送信と同時に、操作データであるストローク座標[p]をストローク制御部550に出力する。ストローク制御部550は、レンダリング部55に対して、ストローク命令を出力する。このストローク命令によってレンダリング部55は、ストローク座標[p]に基づいてレンダリングして画像データを生成し、ローカルストローク描画処理を行う(ステップS501)。
The
すなわち、ローカルストローク描画処理とは、配信管理システム2から配信されるストローク座標[p]に基づく画像データとは別に、通信端末5f1がストローク座標[p]に基づく画像データを生成し、生成した画像データを表示部58に独立して(ローカル的に)表示するための処理のことである。
That is, in the local stroke drawing process, the communication terminal 5f1 generates image data based on the stroke coordinates [p] separately from the image data based on the stroke coordinates [p] distributed from the
次に、通信端末5f1のストローク制御部550は、ステップS64でストローク座標[p]を受け付けた時刻に第2の遅延時間を加算したストローク削除予定時刻に達したか否か(所定時間経過したか否か)を判別する時刻検出処理を行う(ステップS502)。ストローク削除予定時刻に達していれば、ステップS501で表示された画像データを削除する。ストローク削除予定時刻に達していなければ、画像データの表示は削除されず、ストローク削除予定時刻になるまで表示される。
Next, whether or not the
第1の遅延時間は、配信管理システム2にストローク座標[p]を送るだけの非常に短い時間である。ここでは、第2の遅延時間のみを考慮し、第1の遅延時間を考慮していない。第1の遅延時間もさらに加算した時刻をストローク削除予定時刻とすれば、より正確な処理が可能である。
The first delay time is a very short time for sending the stroke coordinates [p] to the
通信端末5f1のストローク制御部550は、現在時刻がストローク削除予定時刻に達した時は、レンダリング部55に命令して表示部58の表示を消去するローカルストローク削除処理を行う(ステップS503)。
When the current time reaches the scheduled stroke deletion time, the
一方、配信管理システム2のブラウザ20は、通信端末5f1の操作部52から受信したストローク座標[p]をレンダリングすることにより、画像データ〔p〕を生成して、送信用FIFO24に出力する(ステップS66−1)。
On the other hand, the
次に、エンコーダブリッジ部30の変換部10は、送信用FIFO24に格納されたストローク座標[p](画像データ)を含むコンテンツデータ[AEp]を映像(音)データ[AEp]に変換する(ステップS67)。
Next, the conversion unit 10 of the
次に、エンコーダブリッジ部30は、映像(音)データ[AEp]を通信端末5f1に配信する(ステップS68−1)。また、エンコーダブリッジ部30は、映像(音)データ[AEp]を通信端末5f2に配信する(ステップS68−2)。
Next, the
通信端末5f1のストローク制御部550は、配信管理システム2から配信された映像(音)データ[AEp]をレンダリング部55に出力する。レンダリング部55は、映像(音)データ[AEp]をレンダリングして、ローカルストローク削除処理によって画像が消去された直後の表示部58に、電子ペンP1による画像データを含む映像(音)データを再生して表示する(ステップS69−1)。
The
同様に、通信端末5f2のストローク制御部は、配信管理システム2から配信された映像(音)データ[AEp]をレンダリング部に出力する。レンダリング部は、映像(音)データ[AEp]をレンダリングして、電子ペンP1による画像データを含む映像(音)を再生して表示部に表示する(ステップS69−2)。
Similarly, the stroke control unit of the communication terminal 5f2 outputs the video (sound) data [AEp] distributed from the
図18において、ステップS64からステップS68−1までの時間が、再生遅延時間Uに相当する。このため、再生遅延時間Uから調整時間uを減算した所定時間Tsが経過した時に、ローカル表示の画像データを消去することで、ローカル表示の画像と配信に係る画像とが画面上で混在しない。 In FIG. 18, the time from step S64 to step S68-1 corresponds to the reproduction delay time U. For this reason, when a predetermined time Ts obtained by subtracting the adjustment time u from the reproduction delay time U has elapsed, the local display image data is deleted, so that the local display image and the image related to distribution do not coexist on the screen.
このように、通信端末5f1は、通信ネットワーク9を介して接続された配信管理システム2との間でデータの送受信を行う通信方法を実行する。
Thus, the communication terminal 5f1 executes a communication method for transmitting and receiving data to and from the
すなわち、入力されたストローク座標[p]を、通信ネットワーク9を介して配信管理システム2に配信に係る画像データとして送信する送信ステップと、入力された画像データを表示部58に配信管理システム2の配信とは独立して表示する表示制御ステップと、を実行する。
That is, a transmission step of transmitting the input stroke coordinates [p] as image data related to distribution to the
なお、このような通信方法は、プログラムによって実行される。図7に示すように、通信端末5f1は、コンピュータとしてのCPU201及びプログラムを記憶できるROM202を有する。したがって、通信端末5f1のコンピュータ(CPU201)は、上記した各ステップを実行させるためのプログラムをROM202から読み出して実行する。
Such a communication method is executed by a program. As shown in FIG. 7, the communication terminal 5f1 has a
〔第2の実施の形態の主な効果〕
以上、具体的な例を挙げながら詳細に説明したように、通信端末5f1は、表示部58と、入力されたストローク座標[p]を、通信ネットワーク9を介して配信管理システム2に配信に係るストローク座標[p]として送信する送受信部51とを有する。また、通信端末5f1は、入力されたストローク座標[p]を表示部58に表示するストローク制御部550及びレンダリング部55を有する。
[Main effects of the second embodiment]
As described above in detail with specific examples, the communication terminal 5f1 relates to the distribution of the
すなわち、入力された画像データを配信管理システム2に配信に係るストローク座標[p]として送信するとともに、配信管理システム2の配信とは独立して、入力されたストローク座標[p]を表示部58にローカル表示する。
That is, the input image data is transmitted to the
すなわち、送信元の通信端末は、上り通信時間(入力されたストローク座標を配信管理システムに送信する時間)である第1の遅延時間、配信管理システムの処理時間、及び下り通信時間(配信管理システムから配信された画像データを再生するまでの時間)である第2の遅延時間、の合計(これを「再生遅延時間」という)の間においても、画像データに基づく画像を表示することができる。 That is, the transmission source communication terminal transmits the first delay time, which is the uplink communication time (time for transmitting the input stroke coordinates to the distribution management system), the processing time of the distribution management system, and the downlink communication time (distribution management system). The image based on the image data can also be displayed during the total of the second delay time, which is the time from when the image data delivered to the time of reproduction is reproduced (referred to as “reproduction delay time”).
したがって、入力された画像データを配信管理システム2に送信した後、その画像データが配信されるまでの往復の遅延時間の間も、入力された画像データをリアルタイムで表示することができるので、ユーザの操作性が向上する。
Therefore, the input image data can be displayed in real time during the round-trip delay time until the image data is distributed after the input image data is transmitted to the
すなわち、送信元の通信端末が電子黒板である場合には、描画操作に応じたストローク座標[p]に係る画像データが再生遅延時間だけ遅れて表示されるため、ユーザの操作性が著しく低下するという問題があった。また、送信元の通信端末がスキャナやスキャン機能を有する複合機等である場合には、スキャン動作の開始に応じた画像データが再生遅延時間だけ遅れて表示されるため、操作ミス又は複合機等の故障ではないかとの疑義をユーザに抱かせるおそれがあった。これに対し、本実施の形態では、このような問題を解決することができる。 That is, when the communication terminal of the transmission source is an electronic blackboard, the image data related to the stroke coordinate [p] corresponding to the drawing operation is displayed with a delay of the reproduction delay time, so that the user operability is significantly reduced. There was a problem. In addition, when the communication terminal of the transmission source is a scanner or a multifunction device having a scanning function, image data corresponding to the start of the scanning operation is displayed with a delay of the reproduction delay time. There is a risk that the user may be suspected of having a malfunction. In contrast, the present embodiment can solve such a problem.
ストローク制御部550は、配信管理システム2から各通信端末に対して配信される映像データに伴って配信される映像データの属性情報と同一の属性情報をあらかじめ記憶している記憶部551を有する。ストローク制御部550は、記憶部551に記憶された属性情報に基づいて、レンダリング部55に対して入力されたストローク座標[p]に係る画像を表示部58に表示させる。
The
したがって、配信管理システム2から配信される映像データの線の太さや色等と同一の属性を有する画像データを表示部58にローカル表示することができる。その結果、ローカル表示した画像データに代えて配信された映像データの画像を表示した場合に、ユーザに対して画面上の変化を意識させることがない。
Therefore, the image data having the same attributes as the line thickness and color of the video data distributed from the
ストローク制御部550の記憶部551は、配信管理システム2から送信された映像データの表示可能領域情報を記憶する。ストローク制御部550は、記憶部551に記憶された表示可能領域情報に一致する表示部58の表示領域を設定する。
The
したがって、配信管理システム2から配信される映像データの画像の表示指定領域内に、入力されたストローク座標[p]に係る画像をローカル表示することができる。例えば、配信される映像データに伴う操作バーの画像によって、ローカル表示の画像が隠れる事態が回避できる。
Therefore, the image related to the input stroke coordinate [p] can be locally displayed in the display designation area of the image of the video data distributed from the
通信端末5f1の送受信部51は、配信管理システム2から配信される映像データを受信する。ストローク制御部550及びレンダリング部55は、あらかじめ設定されている所定時間の経過の後に、表示部58に表示された入力されたストローク座標[p]の画像を消去する。次に、送受信部51によって配信管理システム2に送信された配信に係る映像データを送受信部51から取得して、画像を消去した後の表示部58に表示する。
The transmission / reception unit 51 of the communication terminal 5f1 receives video data distributed from the
したがって、通信端末5f1は、ローカル表示の画像を表示部58から消去した後に、配信管理システム2から配信された映像データの画像を表示部58に表示するので、ローカル表示の画像と配信された画像とが、表示部58に重なって表示されることがない。
Therefore, the communication terminal 5f1 deletes the local display image from the
通信端末5f1の送受信部51は、入力されたストローク座標[p]を配信管理システム2に送信するとともに、配信管理システム2から配信される映像データを受信する。ストローク制御部550及びレンダリング部55は、送受信部51が配信管理システム2に送信したストローク座標[p]に対して、映像データを折り返し受信したときは、表示部58に表示された画像を消去した後に、その受信した映像データに係る画像を表示部58に表示する。
The transmission / reception unit 51 of the communication terminal 5f1 transmits the input stroke coordinates [p] to the
したがって、通信端末5f1は、ローカル表示の画像を表示部58から消去した後に、配信管理システム2から配信された映像データに係る画像を表示部58に表示するので、ローカル表示の画像と配信された画像とが、表示部58に重なって表示されることがない。
Therefore, the communication terminal 5f1 deletes the local display image from the
通信端末5f1の再生制御部53は、配信管理システム2から受信した第1の遅延時間の変化を検出する。ストローク制御部550及びレンダリング部55は、第1の遅延時間の変化に応じて、記憶部551に記憶されている配信遅延時間Uを更新する。
The
したがって、通信ネットワーク9の回線状態により再生遅延時間Uが変化した場合でも、適切なタイミングでローカル表示の画像を消去することができる。 Therefore, even when the reproduction delay time U changes depending on the line state of the communication network 9, the locally displayed image can be erased at an appropriate timing.
通信端末5f1は、入力されたストローク座標[p]を特定のデータ形式で配信管理システム2に送信する機能を有する。例えば、通信端末5f1は、JPEGのデータ形式でストローク座標[p]を配信管理システム2に送信する。
The communication terminal 5f1 has a function of transmitting the input stroke coordinates [p] to the
配信管理システム2は、通信端末5f1から取得したデータ形式のストローク座標[p]を複数種類のデータ形式の画像データに変換する複数の変換部10a,10b,10cを、エンコーダブリッジ部30内に有する。例えば、変換部10aはJPEGのデータ形式をGIFのデータ形式に変換する。変換部10bはJPEGのデータ形式をPNGのデータ形式に変換する。変換部10aはJPEGのデータ形式をH.264のデータ形式に変換する。
The
エンコーダブリッジ部30内の選択部320は、変換部10a,10b,10cによって変換された複数種類のデータ形式の画像データの中から、配信対象の通信端末に配信可能な少なくとも1つの種類のデータ形式の画像データを選択する。配信管理システム2の送受信部31は、選択部320によって選択された映像データを配信対象の通信端末に配信する。
The
したがって、映像データを配信する通信端末の動作環境に合わせて、その通信端末に適切なデータ形式で映像データを配信することができる。 Therefore, video data can be distributed in an appropriate data format to the communication terminal in accordance with the operating environment of the communication terminal that distributes the video data.
なお、図10に示した通信端末5f1は、テレビ会議システム用の電子黒板に限らず、電子ペンP1での描画操作が可能なタブレット端末、複写機能、ファクシミリ機能、及びスキャナ機能を任意に組み合わせた多機能情報処理装置(MFP)であってもよい。 Note that the communication terminal 5f1 shown in FIG. 10 is not limited to the electronic blackboard for the video conference system, but arbitrarily combines a tablet terminal capable of drawing operation with the electronic pen P1, a copying function, a facsimile function, and a scanner function. It may be a multi-function information processing apparatus (MFP).
したがって、それぞれの通信端末において、描画操作によって入力されたストローク座標[p]を配信管理システム2に送信してから、そのストローク座標[p]に係る映像データが配信されるまでの再生遅延時間Uの間も、入力されたストローク座標[p]に係る画像をリアルタイムでローカル表示するので、操作性が向上する。
Therefore, in each communication terminal, the reproduction delay time U from when the stroke coordinate [p] input by the drawing operation is transmitted to the
第2の実施の形態の通信方法は、入力されたストローク座標[p]を、配信管理システム2に配信に係る画像データとして送信する送信ステップと、入力されたストローク座標[p]に係る画像を表示部58に配信管理システム2の配信とは独立してローカル表示する表示制御ステップと、を実行する。
In the communication method according to the second embodiment, a transmission step of transmitting the input stroke coordinates [p] as image data related to distribution to the
したがって、入力されたストローク座標[p]を配信管理システム2に送信してから、そのストローク座標[p]に係る映像データが配信されるまでの再生遅延時間Uの間も、入力された画像をリアルタイムでローカル表示するので、操作性が向上する。
Therefore, the input image is displayed during the reproduction delay time U from when the input stroke coordinate [p] is transmitted to the
上記第1及び第2の実施の形態の配信システム1では、端末管理システム7と配信管理システム2とを互いに別個の装置として構成している。しかしながら、例えば、配信管理システム2に端末管理システム7の機能を持たせるなどにより、端末管理システム7と配信管理システム2とを一体の装置として構成するようにしてもよい。
In the
上記第1及び第2の実施の形態における配信管理システム2、及び端末管理システム7は、単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
The
また、上記第1及び第2の実施の形態において、図10のストローク制御部550とレンダリング部55とを別個の構成要素にしたが、レンダリング部55がストローク制御部550の機能を有する構成にしてもよい。
In the first and second embodiments, the
以上説明したように、本発明に係る通信端末及び通信方法は、ストローク座標[p]の送信元の通信端末が、入力されたストローク座標[p]を送信して、配信管理システムから配信された映像データを再生するまでの時間も、入力されたストローク座標[p]に係る画像をリアルタイムで表示することができるので、ユーザの操作性が向上するという効果を有し、通信ネットワークを介してウェブコンテンツのデータを送受信する通信端末及び通信方法の全般に有用である。 As described above, in the communication terminal and the communication method according to the present invention, the communication terminal that is the transmission source of the stroke coordinates [p] transmits the input stroke coordinates [p] and is distributed from the distribution management system. Since the image related to the input stroke coordinates [p] can also be displayed in real time until the video data is played back, it has the effect of improving the operability for the user, and the web can be accessed via the communication network. It is useful for communication terminals and communication methods that transmit and receive content data in general.
1 配信システム
2 配信管理システム
5 通信端末
7 端末管理システム
8 ウェブサーバ
9 通信ネットワーク
10 変換部(変換手段)
11 トリミング部
12 リサイズ部
13 分割部
19 エンコード部
20 ブラウザ(生成手段)
21 送受信部
22 ブラウザ管理部
23 クラウドブラウザ
24 送信用FIFO
30 エンコーダブリッジ部
31 送受信部(配信手段)
53 再生制御部(再生制御手段)
55 レンダリング部(表示制御手段の部分)
58 表示部(表示手段)
550 ストローク制御部(表示制御手段の部分)
551 記憶手段(記憶手段)
DESCRIPTION OF
DESCRIPTION OF SYMBOLS 11 Trimming
21 Transmission /
30 Encoder bridge 31 Transmitter / receiver (distribution means)
53 Reproduction control unit (reproduction control means)
55 Rendering part (part of display control means)
58 Display section (display means)
550 Stroke control section (display control means)
551 Storage means (storage means)
Claims (10)
前記通信ネットワークを介して、前記通信端末に入力された座標を前記配信管理システムに送信する送信手段と、
前記座標に基づく映像データを表示させる表示制御手段と、
を有することを特徴とする通信端末。 A communication terminal connected to the distribution management system via a communication network,
Transmitting means for transmitting coordinates input to the communication terminal to the distribution management system via the communication network;
Display control means for displaying video data based on the coordinates;
A communication terminal comprising:
前記表示制御手段は、所定時間の経過の後に、前記表示された映像データを消去し、前記受信手段で受信した映像データを表示させる
ことを特徴とする請求項1に記載の通信端末。 The communication terminal further includes receiving means for receiving video data distributed from the distribution management system,
The communication terminal according to claim 1, wherein the display control unit deletes the displayed video data and displays the video data received by the receiving unit after a predetermined time has elapsed.
ことを特徴とする請求項2に記載の通信端末。 The communication terminal according to claim 2, wherein the predetermined time is a time obtained by adding a delay time to a time when the coordinates are input to the communication terminal.
前記座標に基づいて、前記配信管理システムの生成手段で映像データを生成し、当該映像が変換されて映像データとして配信されたものである
ことを特徴とする請求項1乃至3のいずれか1の請求項に記載の通信端末。 The video data received by the receiving means is
The video data is generated by the generation means of the distribution management system based on the coordinates, and the video is converted and distributed as video data. The communication terminal according to claim.
前記配信管理システムが前記通信端末から座標を受信してから、前記通信端末で映像データの表示を開始するまでの時間である
ことを特徴とする請求項3乃至4のいずれか1の請求項に記載の通信端末。 The delay time is
The time from the time when the distribution management system receives coordinates from the communication terminal to the time when the communication terminal starts displaying video data. The claim according to any one of claims 3 to 4, The communication terminal described.
ことを特徴とする請求項5に記載の通信端末。 The predetermined time is further obtained by adding a time obtained by further adding a time from when the coordinates are transmitted from the communication terminal to the distribution management system until the coordinates are received by the distribution management system. 5. The communication terminal according to 5.
ことを特徴とする請求項1に記載の通信端末。 The display control means has storage means for storing in advance the same attribute information as the attribute information of the video data distributed along with the video data distributed from the distribution management system to the communication terminal, The communication terminal according to claim 1, wherein video data based on the attribute information stored in the storage unit is generated and the video data is displayed.
ことを特徴とする請求項1に記載の通信端末。 The display control means has storage means for storing displayable area information capable of displaying the video data, and sets the display area of the display means that matches the displayable area information stored in the storage means. The communication terminal according to claim 1.
ことを特徴とする請求項1乃至7のいずれか1の請求項に記載の通信端末。 The communication terminal includes a multi-function information processing apparatus arbitrarily combining a copy function, a facsimile function, and a scanner function, or an electronic blackboard for a video conference system. The communication terminal according to claim.
前記通信ネットワークを介して、前記通信端末に入力された座標を前記配信管理システムに送信する送信ステップと、
前記座標に基づく映像データを表示させる表示制御ステップと、
を有することを特徴とする通信方法。 A communication method of communicating by a communication terminal connected to a distribution management system via a communication network,
A transmission step of transmitting coordinates input to the communication terminal to the distribution management system via the communication network;
A display control step of displaying video data based on the coordinates;
A communication method characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013190422A JP6248488B2 (en) | 2013-09-13 | 2013-09-13 | Communication terminal and communication method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013190422A JP6248488B2 (en) | 2013-09-13 | 2013-09-13 | Communication terminal and communication method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015056844A true JP2015056844A (en) | 2015-03-23 |
JP6248488B2 JP6248488B2 (en) | 2017-12-20 |
Family
ID=52820896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013190422A Active JP6248488B2 (en) | 2013-09-13 | 2013-09-13 | Communication terminal and communication method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6248488B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3119084A1 (en) | 2015-07-16 | 2017-01-18 | Ricoh Company, Ltd. | Electronic information terminal, image processing apparatus and image processing system |
US10148708B2 (en) | 2014-11-26 | 2018-12-04 | Ricoh Company, Ltd. | Electronic information terminal, image processing apparatus, and information processing method |
JP2020046772A (en) * | 2018-09-14 | 2020-03-26 | 株式会社Tbsテレビ | Drawing system, server, and method of transmitting drawing instruction information |
JPWO2022131325A1 (en) * | 2020-12-16 | 2022-06-23 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004164307A (en) * | 2002-11-13 | 2004-06-10 | Ricoh Co Ltd | Display device, scroll information generation method and program |
JP2011151613A (en) * | 2010-01-21 | 2011-08-04 | Nippon Telegr & Teleph Corp <Ntt> | Information-sharing device, information sharing method, and program |
JP2011253307A (en) * | 2010-06-01 | 2011-12-15 | Dainippon Printing Co Ltd | Information processing system and program |
-
2013
- 2013-09-13 JP JP2013190422A patent/JP6248488B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004164307A (en) * | 2002-11-13 | 2004-06-10 | Ricoh Co Ltd | Display device, scroll information generation method and program |
JP2011151613A (en) * | 2010-01-21 | 2011-08-04 | Nippon Telegr & Teleph Corp <Ntt> | Information-sharing device, information sharing method, and program |
JP2011253307A (en) * | 2010-06-01 | 2011-12-15 | Dainippon Printing Co Ltd | Information processing system and program |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10148708B2 (en) | 2014-11-26 | 2018-12-04 | Ricoh Company, Ltd. | Electronic information terminal, image processing apparatus, and information processing method |
EP3119084A1 (en) | 2015-07-16 | 2017-01-18 | Ricoh Company, Ltd. | Electronic information terminal, image processing apparatus and image processing system |
JP2020046772A (en) * | 2018-09-14 | 2020-03-26 | 株式会社Tbsテレビ | Drawing system, server, and method of transmitting drawing instruction information |
JPWO2022131325A1 (en) * | 2020-12-16 | 2022-06-23 | ||
WO2022131325A1 (en) * | 2020-12-16 | 2022-06-23 | 株式会社ワコム | Image drawing method |
JP7200446B2 (en) | 2020-12-16 | 2023-01-06 | 株式会社ワコム | Image processing method |
EP4266679A1 (en) * | 2020-12-16 | 2023-10-25 | Wacom Co., Ltd. | Image drawing method |
Also Published As
Publication number | Publication date |
---|---|
JP6248488B2 (en) | 2017-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6354197B2 (en) | Delivery control system, delivery control method, and program | |
JP6398215B2 (en) | Delivery control system, delivery system, delivery control method, and program | |
JP6354764B2 (en) | Distribution management apparatus, distribution method, and program | |
JP6337499B2 (en) | Delivery control system, delivery system, delivery control method, and program | |
JP6326855B2 (en) | Delivery control system, delivery system, delivery control method, and program | |
JP6323048B2 (en) | Distribution system, distribution method, and program | |
JP6369043B2 (en) | Delivery control system, delivery system, delivery control method, and program | |
JP6354195B2 (en) | Distribution system, distribution method, and program | |
US20150082359A1 (en) | Distribution management apparatus and distribution management system | |
JP2014199648A (en) | Distribution control system, distribution system, distribution control method, and program | |
JP6248488B2 (en) | Communication terminal and communication method | |
JP6589261B2 (en) | Delivery control system, delivery control method, and program | |
WO2015045787A1 (en) | Distribution management device, terminal, and distribution management method | |
JP2015056046A (en) | Distribution management system, distribution system, distribution management method, and program | |
JP2016063247A (en) | Distribution system and distribution method | |
US9525901B2 (en) | Distribution management apparatus for distributing data content to communication devices, distribution system, and distribution management method | |
JP6197535B2 (en) | Distribution system, distribution method, and program | |
JP6248492B2 (en) | Distribution management device, distribution management system, and distribution management method | |
JP6442832B2 (en) | Delivery control system, delivery system, delivery control method, and program | |
JP6387623B2 (en) | Distribution control system | |
JP2016058812A (en) | Distribution control system, distribution system, distribution control system control method, and program | |
JP2016004352A (en) | Terminal management system, terminal management method, and program | |
JP2015053613A (en) | Video distribution device and video distribution system | |
JP6375638B2 (en) | Delivery control system, delivery system, delivery control method, and program | |
JP2016058959A (en) | Distribution control system, distribution system, distribution control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171106 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6248488 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |