JP5915604B2 - Information processing apparatus, program, and information processing method - Google Patents

Information processing apparatus, program, and information processing method Download PDF

Info

Publication number
JP5915604B2
JP5915604B2 JP2013180214A JP2013180214A JP5915604B2 JP 5915604 B2 JP5915604 B2 JP 5915604B2 JP 2013180214 A JP2013180214 A JP 2013180214A JP 2013180214 A JP2013180214 A JP 2013180214A JP 5915604 B2 JP5915604 B2 JP 5915604B2
Authority
JP
Japan
Prior art keywords
moving image
image data
divided
layer
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013180214A
Other languages
Japanese (ja)
Other versions
JP2015050572A (en
Inventor
建太郎 牛山
建太郎 牛山
英輝 松尾
英輝 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2013180214A priority Critical patent/JP5915604B2/en
Publication of JP2015050572A publication Critical patent/JP2015050572A/en
Application granted granted Critical
Publication of JP5915604B2 publication Critical patent/JP5915604B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、動画データを含むコンテンツをクライアント端末へ配信する配信サーバとの間でネットワークを介して通信可能な情報処理装置等の技術分野に関する。   The present invention relates to a technical field such as an information processing apparatus capable of communicating via a network with a distribution server that distributes content including moving image data to a client terminal.

従来、発信者側となる端末に接続されたカメラにより撮影された動画データをライブ配信する技術が知られている。例えば特許文献１に開示されたシステムでは、端末は、カメラにより撮影された動画データを、インターネットを介してストリーミング配信サーバへアップロードする。そして、ストリーミング配信サーバは、端末からアップロードされた動画データを、インターネットを介してクライアント端末へ配信するようになっている。   2. Description of the Related Art Conventionally, a technique for live distribution of moving image data captured by a camera connected to a terminal on the caller side is known. For example, in the system disclosed in Patent Document 1, a terminal uploads moving image data captured by a camera to a streaming distribution server via the Internet. The streaming distribution server distributes the video data uploaded from the terminal to the client terminal via the Internet.

特開２００３−２９６２３９号公報JP 2003-296239 A

しかしながら、特許文献１の技術では、端末とストリーミング配信サーバとの間のネットワークの帯域が狭い場合、カメラにより撮影された複数の解像度の動画データとして、所定の解像度の動画データと高解像度の動画データの両方をストリーミング配信サーバへアップロードするには時間を要し、ライブ配信することが困難であった。   However, in the technique of Patent Document 1, when the network bandwidth between the terminal and the streaming distribution server is narrow, the moving image data having a predetermined resolution and the moving image data having a high resolution are captured as moving image data having a plurality of resolutions captured by the camera. It took time to upload both to the streaming delivery server, and it was difficult to deliver live.

本発明は、以上の点に鑑みてなされたものである。端末からクライアント端末へ動画データをライブ配信するために、端末からストリーミング配信サーバへアップロードするためのネットワークの帯域幅に応じて、端末から解像度の異なる動画データをストリーミング配信サーバへ柔軟にアップロードすることが可能なことが可能な情報処理装置、プログラム及び情報処理方法を提供する。   The present invention has been made in view of the above points. In order to distribute video data live from the terminal to the client terminal, video data with different resolutions can be flexibly uploaded from the terminal to the streaming distribution server according to the network bandwidth for uploading from the terminal to the streaming distribution server. An information processing apparatus, a program, and an information processing method capable of being provided are provided.

上記課題を解決するために、請求項１に記載の発明は、撮影手段により撮影された動画データを取得する取得手段と、前記取得手段により取得された動画データに基づいて、第１の解像度の第１の動画データと、前記第１の解像度より高い第２の解像度の第２の動画データと、を生成する第１生成手段と、前記第１生成手段により生成された第２の動画データを構成する画像フレームの領域を複数の分割領域に分割し、前記複数の分割領域に対応する複数の分割動画データを生成する第２生成手段と、端末装置と情報処理装置との間のネットワークの帯域幅、または、前記端末装置へ動画データを配信する配信装置と前記情報処理装置との間のネットワークの帯域幅に応じて、前記第２生成手段により生成された複数の分割動画データの中から、前記第１の動画データとともに前記配信装置へアップロードするアップロード対象の前記分割動画データを決定する第１決定手段であって、前記第１の解像度のレイヤと前記第２の解像度のレイヤを含む複数のレイヤごとに、前記アップロード対象のデータストリームを決定する決定処理を行う第１決定手段と、前記取得手段により取得された動画データを構成する画像フレームの中の１画素以上を含む特定画素領域を決定する第２決定手段と、前記端末装置、または、前記配信装置へ、前記第１の動画データと、前記第１決定手段により決定された前記分割動画データとをアップロードするアップロード手段と、を備え、前記第１決定手段は、前記データストリームの決定処理中の前記ネットワークの帯域幅から、前記第１の解像度のレイヤに対応する第１のデータストリームのビットレートを引いた差分ビットレート中で、前記第１の解像度のレイヤ以外の前記レイヤに対応する第２のデータストリームのビットレートに応じて、前記分割動画データを含む前記第２のデータストリームを前記アップロード対象として決定し、決定した前記第２のデータストリームにおいて前記分割領域の前記特定画素領域に占める割合が所定値以上の前記レイヤがある場合、前記割合が所定値以上の前記レイヤに対応する前記第２のデータストリームを前記アップロード対象として決定し、前記アップロード手段は、前記第１の動画データを含む前記第１のデータストリームと、前記第１決定手段により決定された前記第２のデータストリームをアップロードすることを特徴とする。 In order to solve the above-mentioned problem, the invention described in claim 1 is characterized in that an acquisition unit that acquires moving image data shot by a shooting unit, and a first resolution based on the moving image data acquired by the acquisition unit. First generating means for generating first moving image data and second moving image data having a second resolution higher than the first resolution, and second moving image data generated by the first generating means A network bandwidth between the terminal device and the information processing device, and a second generation unit that divides a region of the image frame to be configured into a plurality of divided regions and generates a plurality of divided moving image data corresponding to the plurality of divided regions Depending on the width or the bandwidth of the network between the distribution device that distributes moving image data to the terminal device and the information processing device, it is among a plurality of divided moving image data generated by the second generation means A plurality including the together with the first moving image data a first determination means for determining the moving image data segment to be uploaded to upload to the distribution device, the first resolution layer and the second resolution layer A first determination unit that performs a determination process for determining a data stream to be uploaded for each layer, and a specific pixel region including one or more pixels in an image frame that constitutes the moving image data acquired by the acquisition unit. A second determining means for determining; and an uploading means for uploading the first moving image data and the divided moving image data determined by the first determining means to the terminal device or the distribution device. The first determination means determines the first resolution from the network bandwidth during the data stream determination process. The divided moving image according to the bit rate of the second data stream corresponding to the layer other than the layer of the first resolution in the differential bit rate obtained by subtracting the bit rate of the first data stream corresponding to the ear. If the second data stream including data is determined as the upload target, and the ratio of the divided area to the specific pixel area in the determined second data stream is greater than or equal to a predetermined value, the ratio The second data stream corresponding to the layer having a predetermined value or more is determined as the upload target, and the upload unit includes the first data stream including the first moving image data, and the first determination unit. And uploading the second data stream determined by the method.

請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記第１決定手段は、前記割合が所定値以上の前記レイヤが複数ある場合、前記割合が所定値以上の複数の前記レイヤの中で画質が最も高い前記レイヤに対応する前記第２のデータストリームを前記アップロード対象として決定することを特徴とする。 Invention according to claim 2, the information processing apparatus according to claim 1, wherein the first determining means, when the proportion is more than said layer of more than a predetermined value, the ratio is more than the predetermined value The second data stream corresponding to the layer having the highest image quality among the layers is determined as the upload target.

請求項３に記載の発明は、請求項１または２に記載の情報処理装置において、前記第１決定手段は、前記割合が所定値以上の前記レイヤがない場合、前記割合が最も高い前記レイヤに対応する前記第２のデータストリームを前記アップロード対象として決定することを特徴とする。 According to a third aspect of the present invention, in the information processing device according to the first or second aspect , the first determining means determines that the layer having the highest ratio is the layer having the highest ratio when the ratio has a predetermined value or more. The corresponding second data stream is determined as the upload target.

請求項４に記載の発明は、撮影手段により撮影された動画データを取得する取得手段と、前記取得手段により取得された動画データに基づいて、第１の解像度の第１の動画データと、前記第１の解像度より高い第２の解像度の第２の動画データと、を生成する第１生成手段と、前記第１生成手段により生成された第２の動画データを構成する画像フレームの領域を複数の分割領域に分割し、前記複数の分割領域に対応する複数の分割動画データを生成する第２生成手段と、端末装置と情報処理装置との間のネットワークの帯域幅、または、前記端末装置へ動画データを配信する配信装置と前記情報処理装置との間のネットワークの帯域幅に応じて、前記第２生成手段により生成された複数の分割動画データの中から、前記第１の動画データとともに前記配信装置へアップロードするアップロード対象の前記分割動画データを決定する第１決定手段と、前記取得手段により取得された動画データを構成する画像フレームの中の１画素以上を含む特定画素領域を決定する第２決定手段と、前記端末装置、または、前記配信装置へ、前記第１の動画データと、前記第１決定手段により決定された前記分割動画データとをアップロードするアップロード手段と、を備え、前記第１決定手段は、前記第２決定手段により決定された特定描画領域に占める割合が最も高い前記特定画素領域に対応する分割動画データを優先して前記アップロード対象として決定することを特徴とする。 According to a fourth aspect of the present invention, there is provided an acquisition unit that acquires moving image data captured by an imaging unit , first moving image data having a first resolution based on the moving image data acquired by the acquisition unit, A first generation means for generating second moving image data having a second resolution higher than the first resolution; and a plurality of image frame regions constituting the second moving image data generated by the first generation means. A second generation unit that generates a plurality of divided moving image data corresponding to the plurality of divided regions, and a network bandwidth between the terminal device and the information processing device, or the terminal device. In accordance with the bandwidth of the network between the distribution device that distributes moving image data and the information processing device, the first moving image data and the first moving image data are selected from among the plurality of divided moving image data generated by the second generation unit. A first determination means for determining the moving image data segment to be uploaded to upload to the delivery device to be a specific pixel region including one or more pixels in the image frames constituting the moving image data obtained by the obtaining means A second determining means for determining; and an uploading means for uploading the first moving image data and the divided moving image data determined by the first determining means to the terminal device or the distribution device. the first determining means, and characterized in that determined by priority to the moving image data segment percentage of specific drawing area determined by the second determination means corresponding to the highest said specific pixel area as the uploaded To do.

請求項５に記載の発明は、情報処理装置のコンピュータに、撮影手段により撮影された動画データを取得するステップと、前記取得された動画データに基づいて、第１の解像度の第１の動画データと、前記第１の解像度より高い第２の解像度の第２の動画データと、を生成するステップと、前記生成された第２の動画データを構成する画像フレームの領域を複数の分割領域に分割し、前記複数の分割領域に対応する複数の分割動画データを生成するステップと、端末装置と前記情報処理装置との間のネットワークの帯域幅、または、前記端末装置へ動画データを配信する配信装置と前記情報処理装置との間のネットワークの帯域幅に応じて、前記生成された複数の分割動画データの中から、前記第１の動画データとともに前記配信装置へアップロードするアップロード対象の前記分割動画データを決定するステップと、前記撮影された動画データを取得するステップにより取得された動画データを構成する画像フレームの中の１画素以上を含む特定画素領域を決定するステップと、前記端末装置、または、前記配信装置へ、前記第１の動画データと、前記決定された前記分割動画データとをアップロードするステップと、を実行させ、前記分割動画データを決定するステップは、前記特定画素領域を決定するステップにより決定された特定描画領域に占める割合が最も高い前記特定画素領域に対応する分割動画データを優先して前記アップロード対象として決定することを特徴とする。 According to a fifth aspect of the present invention, the step of acquiring the moving image data shot by the shooting unit in the computer of the information processing apparatus, and the first moving image data having the first resolution based on the acquired moving image data. Generating a second moving image data having a second resolution higher than the first resolution, and dividing a region of an image frame constituting the generated second moving image data into a plurality of divided regions. And generating a plurality of divided moving image data corresponding to the plurality of divided regions, a network bandwidth between the terminal device and the information processing device, or a distribution device for distributing the moving image data to the terminal device And the first moving image data to the distribution device from among the generated divided moving image data according to the bandwidth of the network between the information processing device and the information processing device. Determining and determining the moving image data segment to be uploaded to load, the specific pixel region including one or more pixels in the image frames constituting the moving image data obtained by the step of acquiring video data to which the taken A step of uploading the first moving image data and the determined divided moving image data to the terminal device or the distribution device, and determining the divided moving image data; The divided moving image data corresponding to the specific pixel area having the highest ratio in the specific drawing area determined in the step of determining the specific pixel area is preferentially determined as the upload target .

請求項６に記載の発明は、情報処理装置により実行される情報処理方法であって、情報処理装置により実行される情報処理方法であって、撮影手段により撮影された動画データを取得するステップと、前記取得された動画データに基づいて、第１の解像度の第１の動画データと、前記第１の解像度より高い第２の解像度の第２の動画データと、を生成するステップと、前記生成された第２の動画データを構成する画像フレームの領域を複数の分割領域に分割し、前記複数の分割領域に対応する複数の分割動画データを生成するステップと、端末装置と前記情報処理装置との間のネットワークの帯域幅、または、前記端末装置へ動画データを配信する配信装置と前記情報処理装置との間のネットワークの帯域幅に応じて、前記生成された複数の分割動画データの中から、前記第１の動画データとともに前記配信装置へアップロードするアップロード対象の前記分割動画データを決定するステップと、前記撮影された動画データを取得するステップにより取得された動画データを構成する画像フレームの中の１画素以上を含む特定画素領域を決定するステップと、 前記端末装置、または、前記配信装置へ、前記第１の動画データと、前記決定された前記分割動画データとをアップロードするステップと、を含み、前記分割動画データを決定するステップは、前記特定画素領域を決定するステップにより決定された特定描画領域に占める割合が最も高い前記特定画素領域に対応する分割動画データを優先して前記アップロード対象として決定することを特徴とする。 The invention according to claim 6 is an information processing method executed by the information processing device, the information processing method executed by the information processing device, and acquiring the moving image data shot by the shooting means; Generating the first moving image data having the first resolution and the second moving image data having the second resolution higher than the first resolution based on the acquired moving image data; Dividing a region of an image frame constituting the second moving image data into a plurality of divided regions, generating a plurality of divided moving image data corresponding to the plurality of divided regions, a terminal device, and the information processing device, Or the network bandwidth between the distribution device that distributes moving image data to the terminal device and the information processing device. From the split moving image data, and determining the moving image data segment to be uploaded to upload together with the first moving image data to the distribution apparatus, the moving image data obtained by the step of acquiring the moving image data to which the taken Determining a specific pixel region including one or more pixels in an image frame to be configured ; and sending the first moving image data and the determined divided moving image data to the terminal device or the distribution device. seen containing a step of uploading, the step of determining the moving image data segment is divided moving image data a percentage of specific drawing area determined by determining the specific pixel region corresponding to the highest said specific pixel region Is determined as the upload target .

請求項１、５または６に記載の発明によれば、情報処理装置から端末装置へ動画データをライブ配信するために、情報処理装置から配信装置または端末装置へアップロードするためのネットワークの帯域幅に応じて、情報処理装置から解像度の異なる動画データを配信装置または端末装置へ柔軟にアップロードすることができ、より高画質の分割動画データを含む第２のデータストリームを、配信装置または端末装置へ柔軟にアップロードすることができる。 According to the first, fifth, or sixth aspect of the invention, in order to perform live distribution of moving image data from the information processing device to the terminal device, the bandwidth of the network for uploading from the information processing device to the distribution device or the terminal device is increased. Accordingly, video data with different resolutions can be flexibly uploaded from the information processing device to the distribution device or terminal device, and the second data stream including the divided video data with higher image quality can be flexibly transmitted to the distribution device or terminal device. Can be uploaded to .

請求項２に記載の発明によれば、より高画質の分割動画データを含む第２のデータストリームを、配信装置または端末装置へ柔軟にアップロードすることができる。 According to the second aspect of the present invention, it is possible to flexibly upload the second data stream including the higher-quality divided moving image data to the distribution device or the terminal device.

請求項３に記載の発明によれば、より高画質の分割動画データを含む第２のデータストリームを、配信装置または端末装置へ柔軟にアップロードすることができる。 According to the third aspect of the present invention, the second data stream including the divided video data with higher image quality can be flexibly uploaded to the distribution device or the terminal device.

請求項４に記載の発明によれば、より高画質の分割動画データを、配信装置または端末装置へ柔軟にアップロードすることができる。 According to the invention described in claim 4 , it is possible to flexibly upload the divided moving image data with higher image quality to the distribution device or the terminal device.

第１の実施形態の通信システムＳ１の概要構成例を示す図である。It is a figure showing an example of outline composition of communications system S1 of a 1st embodiment. （Ａ）は、エンコードサーバ３の制御部３１またはＣＰＵにより実行されるアップロード処理を示すフローチャートである。（Ｂ）は、エンコードサーバ３の制御部３１またはＣＰＵにより実行されるアップロードストリーム生成処理の詳細を示すフローチャートである。(A) is a flowchart showing an upload process executed by the control unit 31 or the CPU of the encoding server 3. (B) is a flowchart showing details of upload stream generation processing executed by the control unit 31 or CPU of the encoding server 3. エンコードサーバ３の制御部３１またはＣＰＵにより実行されるアップロードストリーム決定処理の詳細を示すフローチャートである。4 is a flowchart showing details of upload stream determination processing executed by a control unit 31 or CPU of the encoding server 3. 各レイヤの動画データを構成する１画像フレームを示す図である。It is a figure which shows 1 image frame which comprises the moving image data of each layer. （Ａ）は、レイヤ２の画像フレームにおける特定画素領域を示す図である。（Ｂ）,（Ｃ）は、レイヤ２に対応する動画データストリームにおいて、動画データブロックが決定される様子を示す図である。(A) is a figure which shows the specific pixel area | region in the image frame of the layer 2. FIG. (B), (C) is a figure which shows a mode that a moving image data block is determined in the moving image data stream corresponding to the layer 2. FIG. 第２の実施形態の通信システムＳ２の概要構成例を示す図である。It is a figure which shows the schematic structural example of communication system S2 of 2nd Embodiment.

以下、本発明の実施形態を図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

（１．第１実施形態）
始めに、図１等を参照して、本発明の第１実施形態の通信システムＳ１の構成及び動作概要について説明する。図１は、第１の実施形態の通信システムＳ１の概要構成例を示す図である。図１に示すように、通信システムＳ１は、カメラ１、マイクロフォン２、エンコードサーバ３、配信サーバ４、及びクライアント端末５を含んで構成される。カメラ１は、本発明の撮影手段の一例である。エンコードサーバ３は、本発明の情報処理装置の一例である。配信サーバ４は、本発明の配信装置の一例である。クライアント端末５は、本発明の端末装置の一例である。カメラ１及びマイクロフォン２は、それぞれ、例えば通信ケーブルを介してエンコードサーバ３に接続される。なお、カメラ１及びマイクロフォン２は、それぞれ、無線によりエンコードサーバ３に接続されてもよい。エンコードサーバ３、配信サーバ４、及びクライアント端末５は、ネットワークＮＷに接続される。ネットワークＮＷは、例えば、インターネット等により構成される。なお、配信サーバ４は、ネットワークＮＷを介してクライアント端末５からの要求を受け、この要求に応じて応答するＷｅｂサーバの機能を有する。 (1. First embodiment)
First, with reference to FIG. 1 etc., the structure and operation | movement outline | summary of communication system S1 of 1st Embodiment of this invention are demonstrated. FIG. 1 is a diagram illustrating a schematic configuration example of a communication system S1 according to the first embodiment. As shown in FIG. 1, the communication system S1 includes a camera 1, a microphone 2, an encoding server 3, a distribution server 4, and a client terminal 5. The camera 1 is an example of a photographing unit of the present invention. The encoding server 3 is an example of an information processing apparatus according to the present invention. The distribution server 4 is an example of a distribution apparatus of the present invention. The client terminal 5 is an example of a terminal device of the present invention. The camera 1 and the microphone 2 are each connected to the encoding server 3 via a communication cable, for example. The camera 1 and the microphone 2 may be connected to the encoding server 3 by radio. The encoding server 3, the distribution server 4, and the client terminal 5 are connected to the network NW. The network NW is configured by, for example, the Internet. The distribution server 4 has a function of a Web server that receives a request from the client terminal 5 via the network NW and responds in response to the request.

カメラ１は、撮影者の指示に従って被写体を撮影し、その動画データを、通信ケーブルを介してエンコードサーバ３へ送信する。マイクロフォン２は、撮影者の指示に従って被写体の周囲の音声を集音し、その音声データを、通信ケーブルを介してエンコードサーバ３へ送信する。カメラ１により撮影された動画データを、以下、「オリジナル動画データ」という。オリジナル動画データの一例として、例えばパノラマ動画データがある。パノラマ動画データは、例えば高解像度のカメラ１で、且つ広範囲を撮影可能なレンズを搭載するカメラ１により被写体が撮影された動画データである。広範囲を撮影可能なレンズには、ワイドレンズ、魚眼レンズ、３６０度レンズ等がある。なお、カメラ１により撮影されたオリジナル動画データは、撮影者の端末を介してエンコードサーバ３に送信されてもよい。   The camera 1 shoots a subject in accordance with a photographer's instruction, and transmits the moving image data to the encoding server 3 via a communication cable. The microphone 2 collects sound around the subject according to the instruction of the photographer, and transmits the sound data to the encoding server 3 via the communication cable. The moving image data shot by the camera 1 is hereinafter referred to as “original moving image data”. One example of the original moving image data is panoramic moving image data. The panorama moving image data is moving image data in which a subject is photographed by, for example, a high-resolution camera 1 and a camera 1 equipped with a lens capable of photographing a wide range. Examples of lenses capable of photographing a wide range include a wide lens, a fisheye lens, and a 360 degree lens. Note that the original moving image data captured by the camera 1 may be transmitted to the encoding server 3 via the photographer's terminal.

エンコードサーバ３は、カメラ１からのオリジナル動画データを、通信ケーブルを介して取得する。また、エンコードサーバ３は、マイクロフォン２からの音声データを、通信ケーブルを介して取得する。また、エンコードサーバ３は、カメラ１からのオリジナル動画データに基づいて、解像度の異なる複数の動画データを生成する。つまり、解像度に応じた複数のレイヤごとに動画データが生成される。例えば、１つのオリジナル動画データから、低解像度の動画データ、中解像度の動画データ、及び高解像度の動画データが生成される。ここで、低解像度の動画データは、第１の解像度の第１の動画データの一例である。中解像度の動画データ、または高解像度の動画データは、第１の解像度より高い第２の解像度の第２の動画データの一例である。低解像度のレイヤを、以下、「レイヤ１」という。レイヤ１は最下位層である。中解像度のレイヤを、以下、「レイヤ２」という。高解像度のレイヤを、以下、「レイヤ３」という。なお、本実施形態では、レイヤ１からレイヤ３までの３つのレイヤを例にとっているが、これに限定されるものではない。そして、エンコードサーバ３は、生成した各レイヤの動画データのうち、所定のレイヤの動画データを構成する画像フレームの領域を複数の分割領域に分割する。例えば、レイヤ２及びレイヤ３の動画データを構成する画像フレームの領域が複数の分割領域に分割され、複数の分割領域に対応する複数の分割動画データが生成される。なお、画像フレーム中の分割領域で囲まれるフレームを、以下、「分割フレーム」という。   The encoding server 3 acquires original moving image data from the camera 1 via a communication cable. In addition, the encoding server 3 acquires audio data from the microphone 2 via a communication cable. The encoding server 3 generates a plurality of moving image data having different resolutions based on the original moving image data from the camera 1. That is, moving image data is generated for each of a plurality of layers according to the resolution. For example, low-resolution moving image data, medium-resolution moving image data, and high-resolution moving image data are generated from one original moving image data. Here, the low-resolution moving image data is an example of the first moving image data having the first resolution. The medium resolution moving image data or the high resolution moving image data is an example of second moving image data having a second resolution higher than the first resolution. Hereinafter, the low-resolution layer is referred to as “layer 1”. Layer 1 is the lowest layer. The medium resolution layer is hereinafter referred to as “layer 2”. The high resolution layer is hereinafter referred to as “layer 3”. In the present embodiment, three layers from layer 1 to layer 3 are taken as an example, but the present invention is not limited to this. Then, the encoding server 3 divides the region of the image frame constituting the moving image data of the predetermined layer among the generated moving image data of each layer into a plurality of divided regions. For example, the image frame regions constituting the layer 2 and layer 3 moving image data are divided into a plurality of divided regions, and a plurality of divided moving image data corresponding to the plurality of divided regions are generated. Note that a frame surrounded by a divided region in an image frame is hereinafter referred to as a “divided frame”.

エンコードサーバ３と配信サーバ４との間のネットワークＮＷの帯域幅（ｂｐｓ）に応じて、例えばレイヤ２またはレイヤ３の複数の分割動画データの中から、レイヤ１の動画データとともに配信サーバ４へアップロードするアップロード対象の分割動画データを決定する。ここで、ネットワークＮＷの帯域幅とは、ネットワークＮＷで伝送可能なビットレートを意味する。ネットワークＮＷで伝送可能なビットレートとは、ネットワークＮＷの伝送路容量である。エンコードサーバ３は、レイヤ１の動画データと、決定された分割動画データとをネットワークＮＷを介して配信サーバ４へアップロードする。なお、エンコードサーバ３は、マイクロフォン２からの音声データを取得した場合、取得した音声データを、レイヤ１の動画データとともに配信サーバ４へアップロードする。   Depending on the bandwidth (bps) of the network NW between the encoding server 3 and the distribution server 4, for example, uploading to the distribution server 4 together with the layer 1 moving image data from a plurality of layer 2 or layer 3 divided moving image data Determine the divided video data to be uploaded. Here, the bandwidth of the network NW means a bit rate that can be transmitted by the network NW. The bit rate that can be transmitted by the network NW is the transmission path capacity of the network NW. The encoding server 3 uploads the layer 1 moving image data and the determined divided moving image data to the distribution server 4 via the network NW. Note that when the audio data from the microphone 2 is acquired, the encoding server 3 uploads the acquired audio data to the distribution server 4 together with the moving image data of the layer 1.

配信サーバ４は、エンコードサーバ３からアップロードされた動画データ、分割動画データ、及び音声データを記憶する。そして、配信サーバ４は、例えばクライアント端末５からのコンテンツの要求に応じて、動画データ、及び分割動画データを含むコンテンツをクライアント端末５へ配信する。なお、コンテンツは、音声データを含んでもよい。コンテンツの配信は、例えば、ネットワークＮＷを介してストリーミングで行われる。クライアント端末５は、配信サーバ４から配信されたコンテンツを受信する。   The distribution server 4 stores the moving image data, the divided moving image data, and the audio data uploaded from the encoding server 3. Then, the distribution server 4 distributes the content including the moving image data and the divided moving image data to the client terminal 5 in response to the content request from the client terminal 5, for example. Note that the content may include audio data. Content distribution is performed, for example, by streaming via the network NW. The client terminal 5 receives the content distributed from the distribution server 4.

また、配信サーバ４は、例えばクライアント端末５からのカメラワークデータのリクエストに応じて、コンテンツのカメラワークデータをクライアント端末５へ送信する。カメラワークデータは、仮想スクリーンに表れる動画に対して、二次元平面または三次元仮想空間における仮想カメラの位置または仮想カメラの向きと、画角（視野範囲）と、仮想カメラの位置または仮想カメラの向きが指定された時間とが対応付けられたデータである。なお、三次元仮想空間は、例えば、コンピュータを用いて表示可能な仮想的な三次元空間を示す。ここで、本実施形態において、仮想カメラとは、二次元平面または三次元仮想空間における仮想スクリーンに表れる動画に対して仮想的に設定された視点をいう。カメラワークデータによれば、二次元平面または三次元仮想空間における仮想スクリーンに表れる動画の全部または一部を仮想的に撮影する仮想カメラの動きを規定することができる。そして、カメラワークデータにより動画における表示範囲が特定される。この表示範囲は、１画像フレームのうち表示画面に描画される描画領域に相当する。言い換えれば、表示範囲は、画像フレームから切り出される範囲である。また、仮想カメラの動きは、疑似的なカメラワーク（以下、「疑似カメラワーク」という）により制御される。つまり、疑似カメラワークにより、動画に対する仮想カメラの向きや視界の広さなどが決定される。本実施形態のカメラワークデータによれば、疑似カメラワークを再現することができる。また、１つのカメラワークデータは、例えば、動画データの再生開始からの再生終了までの再生時間に対応するとは限らない。つまり、１つのカメラワークデータは、再生時間における一部の時間範囲に対応する場合もある。クライアント端末５は、例えば、ストリーミングでコンテンツを受信しながら、取得したカメラワークデータに応じた範囲内の動画を表示画面に表示する。   Further, the distribution server 4 transmits the camera work data of the content to the client terminal 5 in response to a camera work data request from the client terminal 5, for example. The camera work data includes the position of the virtual camera or the orientation of the virtual camera in the two-dimensional plane or the three-dimensional virtual space, the angle of view (viewing range), the position of the virtual camera or the virtual camera. This data is associated with the time when the direction is designated. The three-dimensional virtual space indicates a virtual three-dimensional space that can be displayed using a computer, for example. Here, in the present embodiment, the virtual camera refers to a viewpoint virtually set for a moving image appearing on a virtual screen in a two-dimensional plane or a three-dimensional virtual space. According to the camera work data, it is possible to define the movement of a virtual camera that virtually captures all or part of a moving image appearing on a virtual screen in a two-dimensional plane or a three-dimensional virtual space. And the display range in a moving image is specified by camera work data. This display range corresponds to a drawing area drawn on the display screen in one image frame. In other words, the display range is a range cut out from the image frame. The movement of the virtual camera is controlled by pseudo camera work (hereinafter referred to as “pseudo camera work”). That is, the direction of the virtual camera with respect to the moving image, the field of view, and the like are determined by the pseudo camera work. According to the camera work data of the present embodiment, the pseudo camera work can be reproduced. In addition, one camera work data does not always correspond to the playback time from the start of playback of moving image data to the end of playback, for example. That is, one camera work data may correspond to a partial time range in the reproduction time. For example, the client terminal 5 displays a moving image within a range corresponding to the acquired camera work data on the display screen while receiving content by streaming.

エンコードサーバ３は、図１に示すように、制御部３１、記憶部３２、及びインターフェース部３３，３４等を備えて構成される。これらの構成要素は、バス３５に接続されている。制御部３１は、コンピュータとしてのＣＰＵ、ＲＯＭ、及びＲＡＭ等により構成される。制御部３１は、本発明の取得手段、第１生成手段、第２生成手段、第１決定手段、第２決定手段、第３決定手段、判定手段、及びアップロード手段の一例である。記憶部３２は、例えば、例えばハードディスクドライブ（ＨＤＤ）により構成される。記憶部３２には、ＯＳ（Operating System）、及びサーバプログラム等が記憶されている。制御部３１は、サーバプログラムを実行することで上述する処理を行う。   As shown in FIG. 1, the encoding server 3 includes a control unit 31, a storage unit 32, interface units 33 and 34, and the like. These components are connected to the bus 35. The control unit 31 includes a CPU, ROM, RAM, and the like as a computer. The control unit 31 is an example of an acquisition unit, a first generation unit, a second generation unit, a first determination unit, a second determination unit, a third determination unit, a determination unit, and an upload unit according to the present invention. The storage unit 32 is configured by, for example, a hard disk drive (HDD). The storage unit 32 stores an OS (Operating System), a server program, and the like. The control unit 31 performs the above-described processing by executing a server program.

配信サーバ４は、図１に示すように、制御部４１、記憶部４２、及びインターフェース部４３等を備えて構成される。これらの構成要素は、バス４４に接続されている。制御部４１は、コンピュータとしてのＣＰＵ、ＲＯＭ、及びＲＡＭ等により構成される。記憶部４２は、例えば、例えばハードディスクドライブにより構成される。記憶部４２には、ＯＳ、及びサーバプログラム等が記憶されている。記憶部４２には、クライアント端末５からの要求に応じて、クライアント端末５へ送信されるＷｅｂページのデータが記憶される。さらに、記憶部４２には、動画データ記憶領域４２ａ、音声データ記憶領域４２ｂ、及びワークファイル記憶領域４２ｃが設けられている。   As shown in FIG. 1, the distribution server 4 includes a control unit 41, a storage unit 42, an interface unit 43, and the like. These components are connected to the bus 44. The control unit 41 includes a CPU, ROM, RAM, and the like as a computer. The storage unit 42 is configured by, for example, a hard disk drive. The storage unit 42 stores an OS, a server program, and the like. The storage unit 42 stores Web page data transmitted to the client terminal 5 in response to a request from the client terminal 5. Further, the storage unit 42 is provided with a moving image data storage area 42a, an audio data storage area 42b, and a work file storage area 42c.

動画データ記憶領域４２ａには、エンコードサーバ３からアップロードされた複数の動画データ、及び分割動画データが記憶される。音声データ記憶領域４２ｂには、エンコードサーバ３からアップロードされた音声データが記憶される。ワークファイル記憶領域４２ｃには、ワークファイルがコンテンツごとに対応付けられて記憶される。ワークファイルには、例えば、コンテンツのタイトル、疑似カメラワークの特徴を示す情報、及びカメラワークデータ等が格納される。疑似カメラワークの特徴を示す情報には、例えば疑似カメラワークにより表示画面に表示される被写体やシーンの名称や説明文等が含まれる。コンテンツのタイトル及び疑似カメラワークの特徴を示す情報は、カメラワークデータの検索に用いられる。なお、ワークファイルには、コンテンツを識別するコンテンツＩＤが含まれてもよい。ワークファイル記憶領域４２ｃに記憶されるワークファイルには、例えば、クライアント端末５からアップロードされたワークファイルも含まれる。なお、１つのコンテンツには、複数のワークファイルが対応付けられる場合もある。例えば、あるコンテンツに対して、複数のユーザそれぞれにより行われた疑似カメラワークに対応するカメラワークデータが対応付けられる。   In the moving image data storage area 42a, a plurality of moving image data uploaded from the encoding server 3 and divided moving image data are stored. Audio data uploaded from the encoding server 3 is stored in the audio data storage area 42b. In the work file storage area 42c, work files are stored in association with each content. The work file stores, for example, content titles, information indicating the characteristics of pseudo camera work, camera work data, and the like. The information indicating the characteristics of the pseudo camera work includes, for example, the names and descriptions of subjects and scenes displayed on the display screen by the pseudo camera work. Information indicating the title of the content and the characteristics of the pseudo camera work is used for searching the camera work data. Note that the work file may include a content ID for identifying the content. The work file stored in the work file storage area 42c includes, for example, a work file uploaded from the client terminal 5. A single content may be associated with a plurality of work files. For example, camera work data corresponding to pseudo camera work performed by each of a plurality of users is associated with a certain content.

クライアント端末５は、図１に示すように、制御部５１、記憶部５２、ビデオＲＡＭ５３、映像制御部５４、操作処理部５５、音声制御部５６、及びインターフェース部５７等を備えて構成される。これらの構成要素は、バス５８に接続されている。映像制御部５４には、ディスプレイを備える表示部５４ａが接続される。操作処理部５５には、操作部５５ａが接続される。操作部５５ａには、例えば、マウス、キーボード、リモコン等がある。表示部５４ａと操作部５５ａとを兼ねるタッチパネルが適用されてもよい。制御部５１は、ユーザによる操作部５５ａからの操作指示を、操作処理部５５を介して受け付ける。ユーザは、操作部５５ａを用いて、上述した疑似カメラワークの操作を行うことができる。音声制御部５６には、スピーカ５６ａが接続される。インターフェース部５７は、ネットワークＮＷに接続される。制御部５１は、コンピュータとしてのＣＰＵ、ＲＯＭ、及びＲＡＭ等により構成される。記憶部５２は、例えば、ハードディスクドライブ（ＨＤＤ）により構成される。記憶部５２には、ＯＳ、及びプレイヤーソフトウェア等が記憶されている。プレイヤーソフトウェアは、コンテンツを再生するためのプログラムである。   As shown in FIG. 1, the client terminal 5 includes a control unit 51, a storage unit 52, a video RAM 53, a video control unit 54, an operation processing unit 55, an audio control unit 56, an interface unit 57, and the like. These components are connected to the bus 58. A display unit 54 a having a display is connected to the video control unit 54. An operation unit 55 a is connected to the operation processing unit 55. Examples of the operation unit 55a include a mouse, a keyboard, and a remote controller. A touch panel serving both as the display unit 54a and the operation unit 55a may be applied. The control unit 51 receives an operation instruction from the operation unit 55 a by the user via the operation processing unit 55. The user can perform the above-described pseudo camera work operation using the operation unit 55a. A speaker 56 a is connected to the sound control unit 56. The interface unit 57 is connected to the network NW. The control unit 51 includes a CPU, ROM, RAM, and the like as a computer. The storage unit 52 is configured by, for example, a hard disk drive (HDD). The storage unit 52 stores an OS, player software, and the like. The player software is a program for playing back content.

制御部５１は、プレイヤーソフトウェアを実行することでコンテンツを再生するプレイヤーとして機能する。制御部５１はプレイヤーの機能により、配信サーバ４からストリーミングで配信されたコンテンツを順次取得し、コンテンツを再生させる。また、プレイヤーの機能により、ディスプレイには、動画を表示する表示画面が表示される。制御部５１におけるＲＡＭにはバッファメモリが設けられている。バッファメモリには、例えば配信サーバ４から配信されたコンテンツに含まれる動画データ等が一時的に保持される。また、バッファメモリには、例えば配信サーバ４から配信されたカメラワークデータが一時的に保持される。制御部５１は、バッファメモリからビデオＲＡＭ５３へ動画データを出力する。ビデオＲＡＭ５３には、描画データを格納するフレームバッファがＲＡＭに設けられている。映像制御部５４は、制御部５１からの制御信号に従って、フレームバッファに書き込まれた描画データを表示画面に描画することで表示させる。また、例えば配信サーバ４からバッファメモリに保持されたコンテンツに音声データが含まれる場合がある。この場合、制御部５１は、バッファメモリから音声データを再生して音声制御部５６へ出力する。音声制御部５６は、音声データからアナログ音声信号を生成し、生成したアナログ音声信号をスピーカ５６ａへ出力する。   The control unit 51 functions as a player that reproduces content by executing player software. The control unit 51 sequentially acquires the contents distributed by streaming from the distribution server 4 by the function of the player, and reproduces the contents. Further, a display screen for displaying a moving image is displayed on the display by the function of the player. The RAM in the control unit 51 is provided with a buffer memory. In the buffer memory, for example, moving image data included in the content distributed from the distribution server 4 is temporarily stored. The buffer memory temporarily stores, for example, camera work data distributed from the distribution server 4. The control unit 51 outputs moving image data from the buffer memory to the video RAM 53. The video RAM 53 is provided with a frame buffer for storing drawing data. The video control unit 54 displays the drawing data written in the frame buffer by drawing on the display screen in accordance with the control signal from the control unit 51. Further, for example, audio data may be included in the content held in the buffer memory from the distribution server 4. In this case, the control unit 51 reproduces audio data from the buffer memory and outputs it to the audio control unit 56. The audio control unit 56 generates an analog audio signal from the audio data, and outputs the generated analog audio signal to the speaker 56a.

次に、図２を参照して、エンコードサーバ３が配信サーバ４へ動画データ及び音声データをアップロードするときの動作について説明する。図２（Ａ）は、エンコードサーバ３の制御部３１またはＣＰＵにより実行されるアップロード処理を示すフローチャートである。図２（Ｂ）は、エンコードサーバ３の制御部３１またはＣＰＵにより実行されるアップロードストリーム生成処理の詳細を示すフローチャートである。図３は、エンコードサーバ３の制御部３１またはＣＰＵにより実行されるアップロードストリーム決定処理の詳細を示すフローチャートである。図２（Ａ）に示す処理は、例えば、カメラ２により撮影されたオリジナル動画データの取得開始指示があった場合に開始される。図２（Ａ）に示す処理が開始されると、エンコードサーバ３の制御部３１は、カメラ２により撮影されたオリジナル動画データ、及びマイクロフォン２により集音された音声データの取得を開始する。   Next, an operation when the encoding server 3 uploads moving image data and audio data to the distribution server 4 will be described with reference to FIG. FIG. 2A is a flowchart showing upload processing executed by the control unit 31 or CPU of the encoding server 3. FIG. 2B is a flowchart showing details of upload stream generation processing executed by the control unit 31 or CPU of the encoding server 3. FIG. 3 is a flowchart showing details of the upload stream determination process executed by the control unit 31 or the CPU of the encoding server 3. The process illustrated in FIG. 2A is started, for example, when there is an instruction to start acquisition of original moving image data captured by the camera 2. When the processing shown in FIG. 2A is started, the control unit 31 of the encoding server 3 starts to acquire original moving image data captured by the camera 2 and audio data collected by the microphone 2.

図２（Ａ）に示す処理が開始されると、制御部３１は、アップロードストリーム生成処理を開始する（ステップＳ１）。アップロードストリーム生成処理は、複数のレイヤごとにアップロード対象の動画データストリームを生成する生成処理である。アップロードストリーム生成処理は、例えばＯＳのマルチタスクにより、アップロード処理におけるステップＳ２以降の処理と並列して実行される。なお、図２（Ｂ）の例では、アップロードストリーム生成処理により、音声データストリームについても生成される。   When the process illustrated in FIG. 2A is started, the control unit 31 starts an upload stream generation process (step S1). The upload stream generation process is a generation process for generating a video data stream to be uploaded for each of a plurality of layers. The upload stream generation process is executed in parallel with the processes after step S2 in the upload process, for example, by multitasking of the OS. In the example of FIG. 2B, an audio data stream is also generated by the upload stream generation process.

図２（Ｂ）に示すアップロードストリーム生成処理では、制御部３１は、カメラ１から新たな画像フレームを取得したか否かを判定する（ステップＳ１１）。カメラ１から新たな画像フレームを取得したと判定された場合（ステップＳ１１：ＹＥＳ）、ステップＳ１２へ進む。一方、カメラ１から新たな画像フレームを取得していないと判定された場合（ステップＳ１１：ＮＯ）、ステップＳ１７へ進む。ステップＳ１２では、制御部３１は、ステップＳ１１で取得した画像フレームに基づいて、レイヤ１の画像フレームを生成する。例えば、制御部３１は、ステップＳ１１で取得した画像フレームのピクセル数を例えば１／１６にリサイズしてレイヤ１の画像フレームを生成する。   In the upload stream generation process shown in FIG. 2B, the control unit 31 determines whether or not a new image frame has been acquired from the camera 1 (step S11). When it is determined that a new image frame has been acquired from the camera 1 (step S11: YES), the process proceeds to step S12. On the other hand, when it is determined that a new image frame has not been acquired from the camera 1 (step S11: NO), the process proceeds to step S17. In step S12, the control unit 31 generates an image frame of layer 1 based on the image frame acquired in step S11. For example, the control unit 31 generates a layer 1 image frame by resizing the number of pixels of the image frame acquired in step S11 to, for example, 1/16.

次いで、制御部１３は、ステップＳ１２で生成したレイヤ１の画像フレームを、レイヤ１に対応する動画データストリームに追加して例えば記憶部３２に記憶する（ステップＳ１３）。ここで、動画データストリームは、ストリーミングで配信可能なデータ例である。動画データストリームには、１以上の動画データブロックを含む。動画データブロックは、例えば、動画データの先頭位置から終了位置までが所定の時間範囲で区切られたデータである。１つの動画データブロックには、例えば、複数の画像フレームが含まれることになる。なお、ステップＳ１３の処理は、画像フレームが取得される度に行われるので、動画データストリームには、動画データを構成する画像フレームが時系列で追加されていくことになる。つまり、画像フレームが追加される処理過程においてレイヤ１の動画データが生成される。なお、この処理過程において、制御部３１は、動画データをエンコードしてもよい。例えば、動画データは、ＭＰＥＧ等の所定の圧縮形式でエンコードされる。   Next, the control unit 13 adds the image frame of layer 1 generated in step S12 to the moving image data stream corresponding to layer 1 and stores it in, for example, the storage unit 32 (step S13). Here, the moving image data stream is an example of data that can be distributed by streaming. The moving image data stream includes one or more moving image data blocks. The moving image data block is, for example, data obtained by dividing the moving image data from the start position to the end position within a predetermined time range. One moving image data block includes, for example, a plurality of image frames. In addition, since the process of step S13 is performed every time an image frame is acquired, the image frame which comprises moving image data is added to a moving image data stream in time series. That is, layer 1 moving image data is generated in the process of adding an image frame. In this process, the control unit 31 may encode the moving image data. For example, moving image data is encoded in a predetermined compression format such as MPEG.

次いで、制御部３１は、ステップＳ１１で取得した画像フレームに基づいて、レイヤ１以外のレイヤの画像フレームを生成する（ステップＳ１４）。例えば、制御部３１は、ステップＳ１１で取得した画像フレームのピクセル数を例えば１／４にリサイズしてレイヤ２の画像フレームを生成する。また、、制御部３１は、ステップＳ１１で取得した画像フレームをレイヤ３の画像フレームとして生成する。なお、レイヤ３の画像フレームについてもリサイズして生成してもよい。   Subsequently, the control part 31 produces | generates the image frame of layers other than the layer 1 based on the image frame acquired by step S11 (step S14). For example, the control unit 31 generates a layer 2 image frame by resizing the number of pixels of the image frame acquired in step S11 to, for example, ¼. In addition, the control unit 31 generates the image frame acquired in step S <b> 11 as an image frame of layer 3. Note that the layer 3 image frame may be resized and generated.

次いで、制御部３１は、ステップＳ１４で生成されたレイヤ１以外のレイヤの画像フレームの領域を複数の分割領域に分割して分割フレームを生成する（ステップＳ１５）。例えば、レイヤ２及びレイヤ３の画像フレームの領域が複数の分割領域に分割される。   Next, the control unit 31 divides the image frame area of the layer other than the layer 1 generated in step S14 into a plurality of divided areas to generate a divided frame (step S15). For example, the regions of the layer 2 and layer 3 image frames are divided into a plurality of divided regions.

図４は、各レイヤの動画データを構成する１画像フレームを示す図である。図４の例では、レイヤ１の１画像フレームあたりのピクセル数は、１Ｍ（メガ）ピクセルである。また、レイヤ２の１画像フレームあたりのピクセル数は、４Ｍピクセルである。また、レイヤ３の１画像フレームあたりのピクセル数は、１６Ｍピクセルである。そして、図４の例では、レイヤ２の１画像フレームの領域は４等分に分割されている。つまり、レイヤ２の１画像フレームから、パート１から４までの４つの分割フレームが得られる。一方、レイヤ３の１画像フレームの領域は１６等分に分割されている。つまり、レイヤ３の１画像フレームから、パート１から１６までの１６つの分割フレームが得られる。このように、図４の例では、レイヤ２及びレイヤ３それぞれの分割フレームのピクセル数は、レイヤ１の画像フレームのピクセル数と同一になっている。なお、レイヤ１の動画データを構成する画像フレームについても、分割されるように構成してもよい。また、図４の例では、画像フレームが格子状に分割されるように構成したが、その他の形状に分割されてもよい。また、図４の例では、同じレイヤにおける画像フレーム全体の面積が均等になるように分割されているが、不均等になるように分割されてもよい。   FIG. 4 is a diagram showing one image frame constituting the moving image data of each layer. In the example of FIG. 4, the number of pixels per image frame in layer 1 is 1M (mega) pixels. The number of pixels per image frame in layer 2 is 4M pixels. The number of pixels per image frame in layer 3 is 16M pixels. In the example of FIG. 4, the area of one image frame of layer 2 is divided into four equal parts. That is, four divided frames of parts 1 to 4 are obtained from one image frame of layer 2. On the other hand, the area of one image frame of layer 3 is divided into 16 equal parts. That is, 16 divided frames of parts 1 to 16 are obtained from one image frame of layer 3. As described above, in the example of FIG. 4, the number of pixels in the divided frames of layer 2 and layer 3 is the same as the number of pixels in the image frame of layer 1. Note that the image frames constituting the layer 1 moving image data may also be divided. In the example of FIG. 4, the image frame is divided into a lattice shape, but may be divided into other shapes. In the example of FIG. 4, the areas of the entire image frame in the same layer are divided so as to be equal, but may be divided so as to be unequal.

次いで、制御部３１は、ステップＳ１５で生成したレイヤ１以外のレイヤの各パートの分割フレームを、各パートの動画データストリームに追加して例えば記憶部３２に記憶する（ステップＳ１６）。例えば、制御部３１は、レイヤ２のパートごとの分割フレームを、レイヤ２に対応するパートごとの動画データストリームに追加して例えば記憶部３２に記憶する。更に、制御部３１は、レイヤ３のパートごとの分割フレームを、レイヤ３に対応するパートごとの動画データストリームに追加して例えば記憶部３２に記憶する。なお、各パートごとの動画データブロックには、各パートに対応する複数の分割フレームが含まれることになる。この場合、動画データストリームには、分割動画データを構成する分割フレームが時系列で追加されていくことになる。つまり、分割フレームが追加される処理過程において各パートの分割動画データが生成される。なお、この処理過程において、制御部３１は、分割動画データをエンコードしてもよい。また、所定数の画像フレームが記憶された場合に、各画像フレームの領域が複数の分割領域に分割され、それぞれの分割動画データが生成されるように構成してもよい。   Next, the control unit 31 adds the divided frames of each part of the layer other than the layer 1 generated in step S15 to the moving image data stream of each part and stores the frame in, for example, the storage unit 32 (step S16). For example, the control unit 31 adds the divided frames for each part of the layer 2 to the moving image data stream for each part corresponding to the layer 2 and stores them in the storage unit 32, for example. Further, the control unit 31 adds the divided frames for each part of the layer 3 to the moving image data stream for each part corresponding to the layer 3 and stores the frame in, for example, the storage unit 32. The moving image data block for each part includes a plurality of divided frames corresponding to each part. In this case, the divided frames constituting the divided moving image data are added to the moving image data stream in time series. That is, the divided moving image data of each part is generated in the process of adding the divided frames. In this process, the control unit 31 may encode the divided moving image data. Further, when a predetermined number of image frames are stored, the area of each image frame may be divided into a plurality of divided areas, and the respective divided moving image data may be generated.

次いで、制御部３１は、マイクロフォン２から取得された音声データを、音声データストリームに追加して例えば記憶部１２記憶し（ステップＳ１７）、ステップＳ１１に戻る。なお、マイクロフォン２から取得された音声データが所定の圧縮形式でエンコードされてもよい。ステップＳ１１に戻ると、制御部１１は、直前のステップＳ１２〜Ｓ１６で処理された画像フレームの後に続く画像フレームを取得したか否かを判定することになる。   Next, the control unit 31 adds the audio data acquired from the microphone 2 to the audio data stream and stores it, for example, in the storage unit 12 (step S17), and returns to step S11. Note that the audio data acquired from the microphone 2 may be encoded in a predetermined compression format. Returning to step S11, the control unit 11 determines whether or not an image frame following the image frame processed in the immediately preceding steps S12 to S16 has been acquired.

次いで、制御部３１は、アップロードストリーム決定処理を行う（ステップＳ２）。アップロードストリーム決定処理は、実行中のアップロードストリーム生成処理において記憶される複数のストリームデータのうち、複数のレイヤごとにアップロード対象の動画データストリームを決定する決定処理である。言い換えれば、アップロードストリーム決定処理は、クライアント端末５へ配信対象となる動画データストリームを決定する処理である。なお、図３の例では、アップロードストリーム決定処理により、アップロード対象の音声データストリームについても決定される。   Next, the control unit 31 performs upload stream determination processing (step S2). The upload stream determination process is a determination process for determining a moving image data stream to be uploaded for each of a plurality of layers among a plurality of stream data stored in the upload stream generation process being executed. In other words, the upload stream determination process is a process for determining a moving image data stream to be distributed to the client terminal 5. In the example of FIG. 3, the upload target audio data stream is also determined by the upload stream determination process.

図３に示すアップロードストリーム決定処理では、制御部３１は、エンコードサーバ３と配信サーバ４との間のネットワークＮＷの帯域幅を取得する（ステップＳ２１）。つまり、データストリームの決定処理中のネットワークＮＷの帯域幅を取得する。例えば、制御部３１は、データストリームを配信サーバ４へアップロードしながら現在のアップロード速度を計測することでネットワークＮＷの帯域幅を取得する。   In the upload stream determination process shown in FIG. 3, the control unit 31 acquires the bandwidth of the network NW between the encoding server 3 and the distribution server 4 (step S21). That is, the bandwidth of the network NW during the data stream determination process is acquired. For example, the control unit 31 acquires the bandwidth of the network NW by measuring the current upload speed while uploading the data stream to the distribution server 4.

次いで、制御部３１は、アップロードストリーム生成処理において記憶された音声データストリームをアップロード対象として決定する（ステップＳ２２）。次いで、制御部３１は、アップロードストリーム生成処理において記憶された動画データストリームのうち、最下位層であるレイヤ１に対応する動画データストリームをアップロード対象として決定する（ステップＳ２３）。レイヤ１に対応する動画データストリームは、第１のデータストリームの一例である。一方、レイヤ２に対応する動画データストリームとレイヤ３に対応する動画データストリームは、それぞれ、第２のデータストリームの一例である。   Next, the control unit 31 determines the audio data stream stored in the upload stream generation process as an upload target (step S22). Next, the control unit 31 determines a video data stream corresponding to layer 1 as the lowest layer among video data streams stored in the upload stream generation process as an upload target (step S23). The moving image data stream corresponding to layer 1 is an example of a first data stream. On the other hand, the moving image data stream corresponding to layer 2 and the moving image data stream corresponding to layer 3 are examples of the second data stream, respectively.

次いで、制御部３１は、規定のクライアント端末の描画性能を示す値を、例えば記憶部３２から取得する（ステップＳ２４）。ここで、規定のクライアント端末とは、例えば平均的な性能を有するクライアント端末である。また、描画性能は、表示画面に単位時間あたり何ピクセル描画できるかを示すレンダリング能力である。言い換えれば、描画性能は、フレームバッファが１表示画面あたり何ピクセル分のデータをバッファリングできるかを示す。   Next, the control unit 31 acquires a value indicating the drawing performance of the specified client terminal from, for example, the storage unit 32 (step S24). Here, the prescribed client terminal is a client terminal having an average performance, for example. The rendering performance is a rendering ability indicating how many pixels can be rendered per unit time on the display screen. In other words, the drawing performance indicates how many pixels of data can be buffered per display screen by the frame buffer.

次いで、制御部３１は、ステップＳ２４で取得された描画性能を示す値に基づいて、描画対象とするレイヤを決定する（ステップＳ２５）。つまり、描画対象となるレイヤの範囲が決定される。なお、ステップＳ２５の決定対象となるレイヤからレイヤ１は除かれる。例えば、規定のクライアント端末の描画性能を示す値が、４Ｍ（pixels/frame）であるとする。この場合、図４の例では、レイヤ１及びレイヤ２の画像フレームは、１画像フレーム全体を描画できる。一方、レイヤ３の画像フレームは、画像フレームの１／４しか描画できない。そのため、この場合、上記ステップＳ２５では、描画対象とするレイヤとして、レイヤ２が決定される。また、例えば、規定のクライアント端末の描画性能を示す値が、１６Ｍ（pixels/frame）であるとする。この場合、図４の例では、レイヤ１〜３の画像フレームは、１画像フレーム全体を描画できる。そのため、この場合、上記ステップＳ２５では、描画対象とするレイヤとして、レイヤ２及びレイヤ３が決定される。   Next, the control unit 31 determines a layer to be drawn based on the value indicating the drawing performance acquired in step S24 (step S25). That is, the range of the layer to be drawn is determined. Note that layer 1 is excluded from the layers to be determined in step S25. For example, it is assumed that the value indicating the drawing performance of the specified client terminal is 4M (pixels / frame). In this case, in the example of FIG. 4, the entire image frame of the layer 1 and layer 2 can be drawn. On the other hand, the image frame of layer 3 can draw only 1/4 of the image frame. Therefore, in this case, in step S25, layer 2 is determined as the layer to be rendered. Further, for example, it is assumed that the value indicating the drawing performance of the specified client terminal is 16M (pixels / frame). In this case, in the example of FIG. 4, the entire image frames of layers 1 to 3 can be drawn. Therefore, in this case, in step S25, layers 2 and 3 are determined as layers to be rendered.

次いで、制御部３１は、カメラ１から取得されたオリジナル動画データを構成する画像フレームの中の１画素以上を含む特定画素領域を、例えば複数の画像フレームごとに決定する（ステップＳ２６）。例えばカメラ１の撮影画面の中心、或いはカメラ１で撮影されたステージの中心等を含む領域が、特定画素領域として予め設定される。言い換えれば、視聴者により最も注目されると推定される領域が予め設定される。この場合、制御部３１は、予め設定された特定画素領域を例えば複数の画像フレームごとに決定する。   Next, the control unit 31 determines a specific pixel region including one or more pixels in the image frames constituting the original moving image data acquired from the camera 1 for each of a plurality of image frames, for example (step S26). For example, an area including the center of the shooting screen of the camera 1 or the center of the stage shot by the camera 1 is preset as the specific pixel area. In other words, an area that is estimated to receive the most attention by the viewer is set in advance. In this case, the control unit 31 determines a preset specific pixel region for each of a plurality of image frames, for example.

或いは、撮影者が、映像に登場する話し手や歌い手等を中心とする領域を特定画素領域として指定してもよい。例えば、撮影者は、例えばカメラ１を持ち、被写体に対する距離やアングルを適宜変更しながら特定画素領域をカメラ１から指定する。撮影者により指定された特定画素領域を示す情報は、カメラ１からエンコードサーバ３へ送信される。そして、制御部３１は、撮影者による指示に従って指定された特定画素領域を例えば複数の画像フレームごとに決定する。   Alternatively, the photographer may designate an area centering on a speaker or a singer appearing in the video as the specific pixel area. For example, the photographer holds the camera 1 and designates a specific pixel area from the camera 1 while appropriately changing the distance and angle with respect to the subject. Information indicating the specific pixel area designated by the photographer is transmitted from the camera 1 to the encoding server 3. And the control part 31 determines the specific pixel area designated according to the instruction | indication by a photographer for every several image frame, for example.

或いは、カメラ１により撮影されたオリジナル動画データが撮影者の端末を介してエンコードサーバ３に送信される場合がある。この場合、撮影者が、端末の表示画面に表示された動画に対して、上述した疑似カメラワークの操作を行うことで特定される表示範囲を特定画素領域として指定する。撮影者により指定された特定画素領域を示す情報は、撮影者の端末からエンコードサーバ３へ送信される。そして、制御部３１は、撮影者により指定された特定画素領域を例えば複数の画像フレームごとに決定する。   Alternatively, original moving image data captured by the camera 1 may be transmitted to the encoding server 3 via the photographer's terminal. In this case, the photographer designates the display range specified by performing the above-described pseudo camera work operation as the specific pixel region for the moving image displayed on the display screen of the terminal. Information indicating the specific pixel region designated by the photographer is transmitted from the photographer's terminal to the encoding server 3. And the control part 31 determines the specific pixel area designated by the photographer for every several image frame, for example.

或いは、制御部３１は、例えば視聴者の上記動画に対する現在の視聴領域を示す情報を収集し集計処理することで、視聴者により注目されている領域を特定画素領域として決定してもよい。例えば、オリジナル動画における複数の部分領域ごとに集計した表示回数に基づいて特定画素領域が決定されるように構成するとよい。ここで、部分領域は、１画素以上を含む領域である。部分領域ごとの表示回数は、例えば、視聴者が注目する度合いを示す数値である。表示回数が高い部分領域を含むシーンほど、多くの視聴者が注目していると考えられる。表示回数が多い部分領域は、視聴者による疑似カメラワークの操作によって、よく表示される領域である。部分領域ごとの表示回数は、例えば配信サーバ４により決定される。例えば、配信サーバ４は、ワークファイル記憶領域４２ｃに記憶される複数のカメラワークデータそれぞれが示す表示範囲に基づいて、上記オリジナル動画データを構成する複数の画像フレームそれぞれにおける部分領域ごとに表示回数を決定する。つまり、表示範囲の重なりに応じて、部分領域ごとの表示回数が算出される。エンコードサーバ３の制御部３１は、部分領域ごとの表示回数を示す表示回数情報を、ネットワークＮＷを介して配信サーバ４から取得する。そして、制御部３１は、エンコードサーバ３から取得した表示回数情報に基づいて、例えば表示回数が閾値より多い上位の部分領域により構成される領域を、特定画素領域を例えば複数の画像フレームごとに決定する。   Or the control part 31 may determine the area | region which attracted attention by the viewer as a specific pixel area | region by collecting the information which shows the present viewing area with respect to the said moving image of a viewer, for example, and carrying out an aggregation process. For example, the specific pixel region may be determined based on the number of times of display aggregated for each of the plurality of partial regions in the original moving image. Here, the partial area is an area including one or more pixels. The number of times of display for each partial area is a numerical value indicating the degree of attention of the viewer, for example. It is considered that many viewers are paying attention to a scene including a partial area with a high display count. The partial area where the number of times of display is large is an area that is often displayed by the operation of the pseudo camera work by the viewer. The number of times of display for each partial area is determined by, for example, the distribution server 4. For example, the distribution server 4 sets the display count for each partial area in each of the plurality of image frames constituting the original moving image data based on the display range indicated by each of the plurality of camera work data stored in the work file storage area 42c. decide. That is, the display count for each partial area is calculated according to the overlap of the display ranges. The control unit 31 of the encoding server 3 acquires display count information indicating the display count for each partial area from the distribution server 4 via the network NW. Then, based on the display count information acquired from the encoding server 3, the control unit 31 determines a specific pixel area, for example, for each of a plurality of image frames, for example, an area composed of upper partial areas whose display count is greater than the threshold To do.

次いで、制御部３１は、ステップＳ２５で決定されたレイヤに対応する動画データストリームに含まれる分割フレームの描画率を、動画データブロックごとに算出する（ステップＳ２７）。ここで、分割フレームの描画率とは、分割フレームの上記特定画素領域に占める割合をいう。図５（Ａ）は、レイヤ２の画像フレームにおける特定画素領域を示す図である。図５（Ａ）の例では、パート１における先頭の分割フレームの描画率は１７％である。また、パート２における先頭の分割フレームの描画率は５０％である。また、パート３における先頭の分割フレームの描画率は８％である。また、パート４における先頭の分割フレームの描画率は２５％である。この場合、パート２の先頭の分割フレームの描画率が最も大きい。また、図５（Ａ）の例では、破線で示すように、動画データブロック内で特定画素領域の位置が画像フレームごとに変化している。なお、ステップＳ２７で算出される分割フレームの描画率は、例えば、動画データブロックに含まれる複数の分割フレームの描画率の平均または合計となる。   Next, the control unit 31 calculates the drawing rate of the divided frames included in the moving image data stream corresponding to the layer determined in step S25 for each moving image data block (step S27). Here, the drawing rate of the divided frame refers to the ratio of the divided frame to the specific pixel region. FIG. 5A is a diagram illustrating a specific pixel region in an image frame of layer 2. In the example of FIG. 5A, the drawing rate of the first divided frame in Part 1 is 17%. In addition, the drawing rate of the first divided frame in Part 2 is 50%. In addition, the drawing rate of the first divided frame in Part 3 is 8%. In addition, the drawing rate of the first divided frame in Part 4 is 25%. In this case, the drawing rate of the first divided frame of Part 2 is the highest. In the example of FIG. 5A, the position of the specific pixel region changes for each image frame in the moving image data block, as indicated by a broken line. Note that the drawing rate of the divided frames calculated in step S27 is, for example, the average or the sum of the drawing rates of a plurality of divided frames included in the moving image data block.

次いで、制御部３１は、ステップＳ２１で取得されたネットワークＮＷの帯域幅から、レイヤ１に対応する動画データストリームのビットレートを引いた差分ビットレートを算出する（ステップＳ２８）。つまり、ネットワークＮＷの帯域幅から、動画データストリームのビットレートが減算された差分ビットレートが算出される。ここで、差分ビットレートは、ネットワークＮＷの帯域幅と、レイヤ１に対応する動画データストリームを配信サーバ４へアップロードするために消費する帯域との差である。なお、動画データストリームのビットレートは、例えば動画データストリームに含まれる動画データブロックごとに算出されるビットレートの平均である。   Next, the control unit 31 calculates a differential bit rate obtained by subtracting the bit rate of the moving image data stream corresponding to layer 1 from the bandwidth of the network NW acquired in step S21 (step S28). That is, a differential bit rate obtained by subtracting the bit rate of the moving image data stream from the bandwidth of the network NW is calculated. Here, the differential bit rate is the difference between the bandwidth of the network NW and the bandwidth consumed for uploading the video data stream corresponding to layer 1 to the distribution server 4. The bit rate of the moving image data stream is an average of the bit rates calculated for each moving image data block included in the moving image data stream, for example.

次いで、制御部３１は、ステップＳ２５で決定されたレイヤに対応する動画データストリームのビットレートと、ステップＳ２８で算出された差分ビットレートとに基づいて、最適の動画データストリームを決定する（ステップＳ２９）。例えば、ステップＳ２５で決定されたレイヤごとに、「動画データストリームのビットレート≦差分ビットレート」の条件を満たすように、動画データストリームの中から動画データブロックが決定される。つまり、動画データストリームのビットレートが、差分ビットレート以下になるように、動画データブロックが決定される。図５（Ｂ）,（Ｃ）は、レイヤ２に対応する動画データストリームにおいて、動画データブロックが決定される様子を示す図である。図５（Ｂ）,（Ｃ）の例では、パート１からパート４の動画データストリームにおいて時間範囲Ｔ１〜Ｔ４ごとに動画データブロックが決定されている。例えば、時間範囲Ｔ１では、描画率が５０％の動画データブロックと、描画率が２５％の動画データブロックとが決定されている。つまり、描画率が高い分割フレームを含む動画データブロックが優先してアップロード対象として決定される。これにより、より高画質の分割動画データをアップロードすることができる。なお、時間範囲Ｔ１では描画率の合計は７５％である。また、例えば、時間範囲Ｔ２では、描画率が２０％の動画データブロックと、描画率が７０％の動画データブロックとが決定されている。なお、時間範囲Ｔ２では、描画率の合計は９０％である。このように、時間範囲Ｔ１〜Ｔ４ごとに決定された動画データブロックが含まれる動画データストリームが、最適の動画データストリームとして決定される。   Next, the control unit 31 determines an optimal moving image data stream based on the bit rate of the moving image data stream corresponding to the layer determined in step S25 and the difference bit rate calculated in step S28 (step S29). ). For example, for each layer determined in step S25, a moving image data block is determined from the moving image data stream so as to satisfy the condition of “bit rate of moving image data stream ≦ difference bit rate”. That is, the moving image data block is determined so that the bit rate of the moving image data stream is equal to or less than the differential bit rate. FIGS. 5B and 5C are diagrams illustrating how a moving image data block is determined in a moving image data stream corresponding to layer 2. In the example of FIGS. 5B and 5C, the moving image data block is determined for each of the time ranges T1 to T4 in the moving image data streams of part 1 to part 4. For example, in the time range T1, a moving image data block with a drawing rate of 50% and a moving image data block with a drawing rate of 25% are determined. That is, a moving image data block including a divided frame having a high drawing rate is preferentially determined as an upload target. Thereby, it is possible to upload the divided moving image data with higher image quality. In the time range T1, the total drawing rate is 75%. For example, in the time range T2, a moving image data block with a drawing rate of 20% and a moving image data block with a drawing rate of 70% are determined. In the time range T2, the total drawing rate is 90%. As described above, the moving image data stream including the moving image data block determined for each of the time ranges T1 to T4 is determined as the optimum moving image data stream.

次いで、制御部３１は、ステップＳ２９で決定された最適の動画データストリームにおいて時間範囲Ｔ１〜Ｔｎ（ｎは自然数）ごとの描画率または描画率の合計が所定値以上のレイヤがあるかを判定する（ステップＳ３０）。ここで、所定値は例えば７０％程度に設定される。所定値を７０％程度に設定すれば、高画質の動画データを提供することができる。なお、時間範囲Ｔ１〜Ｔｎ全ての中の所定割合（例えば、８０％）以上の時間範囲で描画率または描画率の合計が所定値以上のレイヤがあるか否かが判定されるように構成してもよい。そして、上記描画率または描画率の合計が所定値以上のレイヤがないと判定された場合（ステップＳ３０：ＮＯ）、ステップＳ３１へ進む。一方、上記描画率または描画率の合計が所定値以上のレイヤがあると判定された場合（ステップＳ３０：ＹＥＳ）、ステップＳ３２へ進む。   Next, the control unit 31 determines whether there is a layer in which the drawing rate for each time range T1 to Tn (n is a natural number) or the sum of the drawing rates is greater than or equal to a predetermined value in the optimal moving image data stream determined in step S29. (Step S30). Here, the predetermined value is set to about 70%, for example. If the predetermined value is set to about 70%, high-quality moving image data can be provided. In addition, it is configured such that it is determined whether or not there is a layer whose drawing rate or the sum of the drawing rates is a predetermined value or more in a time range of a predetermined ratio (for example, 80%) or more in all the time ranges T1 to Tn. May be. If it is determined that there is no layer having the drawing rate or the sum of the drawing rates equal to or greater than a predetermined value (step S30: NO), the process proceeds to step S31. On the other hand, when it is determined that there is a layer having the drawing rate or the sum of the drawing rates equal to or greater than a predetermined value (step S30: YES), the process proceeds to step S32.

ステップＳ３１では、制御部３１は、ステップＳ２５で決定されたレイヤのうち、描画率が最も高いレイヤに対応する最適の動画データストリームをアップロード対象として決定し、図２（Ａ）に示す処理に戻る。ここで、描画率が最も高いとは、例えば、最適の動画データストリームに含まれる所定数の動画ブロックデータに対応する描画率の平均または合計が最も高いことを意味する。この所定数は、最適の動画データストリームに含まれる全ての動画ブロックデータの数であってもよい。一方、ステップＳ３２では、制御部３１は、描画率または描画率の合計が所定値以上のレイヤの中で、画質が最も高いレイヤに対応する最適の動画データストリームをアップロード対象として決定し、図２（Ａ）に示す処理に戻る。なお、描画率または描画率の合計が所定値以上のレイヤが複数ある場合、複数のレイヤの中で画質が最も高いレイヤに対応する最適の動画データストリームがアップロード対象として決定される。例えば、レイヤ１〜レイヤ３の中で、画質が最も高いレイヤはレイヤ３である。   In step S31, the control unit 31 determines an optimum moving image data stream corresponding to the layer having the highest drawing rate among the layers determined in step S25 as an upload target, and returns to the process illustrated in FIG. . Here, the highest drawing rate means that, for example, the average or total drawing rate corresponding to a predetermined number of moving image block data included in the optimum moving image data stream is the highest. This predetermined number may be the number of all moving image block data included in the optimal moving image data stream. On the other hand, in step S32, the control unit 31 determines the optimum moving image data stream corresponding to the layer having the highest image quality among the layers having the drawing rate or the sum of the drawing rates equal to or higher than a predetermined value as the upload target. The process returns to (A). When there are a plurality of layers having a drawing rate or a total drawing rate equal to or greater than a predetermined value, an optimal moving image data stream corresponding to the layer having the highest image quality among the plurality of layers is determined as an upload target. For example, among layers 1 to 3, the layer with the highest image quality is layer 3.

図２（Ａ）に示すステップＳ３では、制御部３１は、ステップＳ２のアップロードストリーム決定処理によりアップロード対象として決定された動画データストリーム及び音声データストリームを配信サーバ４へアップロードし、ステップＳ４へ進む。このアップロードは、例えば、エンコードサーバ３から配信サーバ４へのストリーミング配信により行われる。これにより、レイヤ１に対応する動画データストリーム、及びレイヤ２またはレイヤ３に対応する動画データストリーム等が、図２（Ａ）に示す処理の終了まで配信サーバ４へストリーミングし続けられる。   In step S3 shown in FIG. 2A, the control unit 31 uploads the video data stream and audio data stream determined as upload targets by the upload stream determination process in step S2 to the distribution server 4, and proceeds to step S4. This upload is performed, for example, by streaming distribution from the encoding server 3 to the distribution server 4. Thus, the moving image data stream corresponding to layer 1 and the moving image data stream corresponding to layer 2 or layer 3 are continuously streamed to the distribution server 4 until the end of the process shown in FIG.

ステップＳ４では、制御部３１は、アップロード処理の終了指示があったか否かを判定する。終了指示がない場合（ステップＳ４：ＮＯ）、ステップＳ５へ進む。一方、例えば撮影者から終了指示があった場合（ステップＳ４：ＹＥＳ）、図２（Ａ）に示すアップロード処理が終了する。なお、終了指示があった場合、図２（Ｂ）に示すアップロードストリーム生成処理も終了する。ステップＳ５では、制御部３１は、撮影者による疑似カメラワークの操作があったか否かを判定する。例えば、上述したように、撮影者の疑似カメラワークの操作により指定された特定画素領域を示す情報は、撮影者の端末からエンコードサーバ３へ送信される。制御部３１は、端末から受信した情報が示す特定画素領域に変更があった場合、撮影者による疑似カメラワークの操作があったと判定する（ステップＳ５：ＹＥＳ）。この場合、制御部３１は、ステップＳ２に戻り、アップロードストリーム決定処理をやり直す。これは、特定画素領域の変更によりステップＳ２９で決定される最適の動画データストリームが変わる場合があるためである。一方、撮影者による疑似カメラワークの操作がないと判定された場合（ステップＳ５：ＮＯ）、ステップＳ６へ進む。   In step S4, the control unit 31 determines whether there is an instruction to end the upload process. If there is no end instruction (step S4: NO), the process proceeds to step S5. On the other hand, for example, when an end instruction is issued from the photographer (step S4: YES), the upload process shown in FIG. If there is an end instruction, the upload stream generation process shown in FIG. 2B is also ended. In step S <b> 5, the control unit 31 determines whether or not a pseudo camera work has been operated by the photographer. For example, as described above, information indicating the specific pixel region designated by the photographer's pseudo camera work operation is transmitted from the photographer's terminal to the encoding server 3. When there is a change in the specific pixel area indicated by the information received from the terminal, the control unit 31 determines that the pseudo camera work has been operated by the photographer (step S5: YES). In this case, the control unit 31 returns to step S2 and redoes the upload stream determination process. This is because the optimal moving image data stream determined in step S29 may change due to the change of the specific pixel region. On the other hand, when it is determined that there is no pseudo camera work operation by the photographer (step S5: NO), the process proceeds to step S6.

ステップＳ６では、制御部３１は、計測している現在のアップロード速度に閾値以上の変化があったか否かを判定する。アップロード速度に閾値以上の変化があったと判定された場合（ステップＳ６：ＹＥＳ）、ステップＳ２に戻り、アップロードストリーム決定処理がやり直される。これは、ステップＳ２８で算出される差分ビットレートの変化によりステップＳ２９で決定される最適の動画データストリームが変わる場合があるためである。一方、アップロード速度に閾値以上の変化がないと判定された場合（ステップＳ６：ＮＯ）、ステップＳ３に戻る。   In step S6, the control unit 31 determines whether or not the current upload speed being measured has changed more than a threshold value. If it is determined that the upload speed has changed more than the threshold (step S6: YES), the process returns to step S2 and the upload stream determination process is performed again. This is because the optimum moving image data stream determined in step S29 may change due to a change in the differential bit rate calculated in step S28. On the other hand, if it is determined that the upload speed does not change more than the threshold (step S6: NO), the process returns to step S3.

一方、配信サーバ４は、アップロードされた動画データストリーム、及び音声データストリームを取得して記憶する。このとき、配信サーバ４は、動画データストリームからレイヤ１の動画データ、及びレイヤ２またはレイヤ３の分割動画データを取得して動画データ記憶領域４２ａに記憶してもよい。また、配信サーバ４は、アップロードされた音声データストリームから音声データを取得して音声データ記憶領域４２ｂに記憶してもよい。そして、クライアント端末５は、クライアント端末５と配信サーバ１との間のネットワークＮＷの帯域幅と、クライアント端末５の描画性能との少なくとも何れか一方に応じて、例えばレイヤ２またはレイヤ３に対応する最適な動画データブロックを決定する。例えば、ユーザの疑似カメラワークの操作により指定された表示範囲を特定画素領域として、上記ステップＳ２７〜Ｓ２９と同様の処理により最適な動画データブロックが決定される。次いで、クライアント端末５は、音声データブロック、レイヤ１に対応する動画データブロック、及びレイヤ２またはレイヤ３に対応する上記最適な動画データブロックを配信サーバ４へ要求する。配信サーバ４は、要求されたレイヤの動画データブロックを配信対象として例えば動画データ記憶領域４２ａから取得し、要求された音声データブロックを例えば音声データ記憶領域４２ｂから配信対象として取得する。なお、クライアント端末５から要求されたレイヤ２またはレイヤ３の分割画像データが動画データ記憶領域４２ａに記憶されていない場合がある。この場合、記憶されていない分割画像データに対応する動画データブロックは配信対象から除外される。   On the other hand, the distribution server 4 acquires and stores the uploaded moving image data stream and audio data stream. At this time, the distribution server 4 may acquire the moving image data of layer 1 and the divided moving image data of layer 2 or layer 3 from the moving image data stream and store them in the moving image data storage area 42a. Further, the distribution server 4 may acquire the audio data from the uploaded audio data stream and store it in the audio data storage area 42b. The client terminal 5 corresponds to, for example, layer 2 or layer 3 according to at least one of the bandwidth of the network NW between the client terminal 5 and the distribution server 1 and the drawing performance of the client terminal 5. Determine the best video data block. For example, the optimal moving image data block is determined by the same processing as steps S27 to S29, with the display range specified by the user's pseudo camera work operation as the specific pixel region. Next, the client terminal 5 requests the distribution server 4 for an audio data block, a moving image data block corresponding to layer 1, and the optimum moving image data block corresponding to layer 2 or layer 3. The distribution server 4 acquires the moving image data block of the requested layer as a distribution target, for example, from the moving image data storage area 42a, and acquires the requested audio data block as a distribution target, for example, from the audio data storage area 42b. Note that the layer 2 or layer 3 divided image data requested from the client terminal 5 may not be stored in the moving image data storage area 42a. In this case, the moving image data block corresponding to the non-stored divided image data is excluded from the distribution target.

そして、配信サーバ４は、取得した動画データブロックを含む動画データストリーム、及び音声データブロックを含む音声データストリームをストリーミングでクライアント端末５へ配信する。これにより、疑似的なライブ配信を実現することができる。クライアント端末５は、配信サーバ４から配信された動画データブロック、及び音声データブロックを受信してバッファメモリに一時的に保持させる。次いで、クライアント端末５は、バッファメモリに保持された動画データブロックに含まれるレイヤ２またはレイヤ３の分割フレームをフレームバッファに書き込む。次いで、クライアント端末５は、フレームバッファに書き込まれなかった領域に、動画データブロックに含まれるレイヤ１の画像フレームを書き込む。そして、フレームバッファへの書き込みが完了すると、クライアント端末５は、フレームバッファに書き込まれた画像フレームを表示画面に表示させる。これにより、低解像度の動画データを構成する画像フレームにおいて例えばユーザが注目する領域に、中解像度または高解像度の分割動画データを構成する分割フレームを表示させることができる。   Then, the distribution server 4 distributes the acquired moving image data stream including the moving image data block and the audio data stream including the audio data block to the client terminal 5 by streaming. Thereby, pseudo live distribution can be realized. The client terminal 5 receives the moving image data block and audio data block distributed from the distribution server 4 and temporarily stores them in the buffer memory. Next, the client terminal 5 writes the layer 2 or layer 3 divided frame included in the moving image data block held in the buffer memory into the frame buffer. Next, the client terminal 5 writes the layer 1 image frame included in the moving image data block in an area that has not been written in the frame buffer. When the writing to the frame buffer is completed, the client terminal 5 displays the image frame written to the frame buffer on the display screen. As a result, in the image frames constituting the low-resolution moving image data, for example, the divided frames constituting the medium-resolution or high-resolution divided moving image data can be displayed in the region of interest of the user.

以上説明したように、第１の実施形態によれば、エンコードサーバ３は、カメラ１により取得されたオリジナル動画データに基づいて低解像度の動画データと、中解像度及び高解像度の動画データとを生成し、中解像度及び高解像度の動画データに基づいて複数の分割動画データを生成する。そして、エンコードサーバ３は、エンコードサーバ３と配信サーバ４との間のネットワークＮＷの帯域幅に応じて、複数の分割動画データの中から、低解像度の動画データとともにアップロード対象の分割動画データを決定する。そして、エンコードサーバ３は、配信サーバ４へ、低解像度の動画データと、分割動画データとをアップロードするように構成した。そのため、エンコードサーバ３は、クライアント端末５へ動画データをライブ配信するために、配信サーバ４との間のネットワークＮＷの帯域幅に応じて、解像度の異なる動画データを配信サーバ４へ柔軟にアップロードすることができる。   As described above, according to the first embodiment, the encoding server 3 generates low-resolution video data and medium-resolution and high-resolution video data based on the original video data acquired by the camera 1. Then, a plurality of divided moving image data is generated based on the medium resolution and high resolution moving image data. Then, the encoding server 3 determines the divided moving image data to be uploaded together with the low resolution moving image data from the plurality of divided moving image data according to the bandwidth of the network NW between the encoding server 3 and the distribution server 4. To do. Then, the encoding server 3 is configured to upload the low resolution moving image data and the divided moving image data to the distribution server 4. Therefore, the encoding server 3 flexibly uploads moving image data having different resolutions to the distribution server 4 according to the bandwidth of the network NW with the distribution server 4 in order to distribute the moving image data to the client terminal 5 live. be able to.

（２．第２の実施形態）
次に、図６等を参照して、本発明の第２実施形態の通信システムＳ２の構成及び動作概要について説明する。第１の実施形態の通信システムＳ１では、動画データ及び分割動画データがエンコードサーバ３から配信サーバ４を介してクライアント端末５へ配信されるように構成した。第２実施形態の通信システムＳ２では、動画データ及び分割動画データがエンコード配信サーバ３ａからクライアント端末５へ配信されるように構成する。図６は、第２の実施形態の通信システムＳ２の概要構成例を示す図である。なお、第２実施形態の通信システムＳ２において、第１の実施形態の通信システムＳ１と同様の構成については同一の符号を付し、重複する説明を省略するものとする。 (2. Second Embodiment)
Next, with reference to FIG. 6 etc., the structure and operation | movement outline | summary of communication system S2 of 2nd Embodiment of this invention are demonstrated. In the communication system S1 of the first embodiment, the moving image data and the divided moving image data are distributed from the encoding server 3 to the client terminal 5 via the distribution server 4. The communication system S2 of the second embodiment is configured such that moving image data and divided moving image data are distributed from the encoded distribution server 3a to the client terminal 5. FIG. 6 is a diagram illustrating a schematic configuration example of the communication system S2 according to the second embodiment. In addition, in the communication system S2 of 2nd Embodiment, the code | symbol same about the structure similar to the communication system S1 of 1st Embodiment is attached | subjected, and the overlapping description shall be abbreviate | omitted.

図６は、第２の実施形態の通信システムＳ２の概要構成例を示す図である。図６に示すように、通信システムＳ２は、カメラ１、マイクロフォン２、エンコード配信サーバ３ａ、転送サーバ４ａ、及びクライアント端末５を含んで構成される。エンコード配信サーバ３ａは、本発明の情報処理装置の一例である。カメラ１及びマイクロフォン２は、それぞれ、例えば通信ケーブルＣを介してエンコード配信サーバ３ａに接続される。エンコード配信サーバ３ａ、及び転送サーバ４ａは、ネットワークＮＷに接続される。なお、転送サーバ４ａは、ネットワークＮＷを介してクライアント端末５からの要求を受け、この要求に応じて応答するＷｅｂサーバの機能を有する。   FIG. 6 is a diagram illustrating a schematic configuration example of the communication system S2 according to the second embodiment. As shown in FIG. 6, the communication system S2 includes a camera 1, a microphone 2, an encode distribution server 3a, a transfer server 4a, and a client terminal 5. The encode distribution server 3a is an example of an information processing apparatus according to the present invention. The camera 1 and the microphone 2 are each connected to the encode distribution server 3a via, for example, a communication cable C. The encoding distribution server 3a and the transfer server 4a are connected to the network NW. The transfer server 4a has a function of a Web server that receives a request from the client terminal 5 via the network NW and responds in response to the request.

エンコード配信サーバ３ａは、カメラ１からのオリジナル動画データを、通信ケーブルＣを介して取得する。また、エンコード配信サーバ３ａは、マイクロフォン２からの音声データを、通信ケーブルＣを介して取得する。また、エンコード配信サーバ３ａは、エンコードサーバ３と同様に、カメラ１からのオリジナル動画データに基づいて、解像度の異なる複数の動画データを生成する。エンコード配信サーバ３ａは、クライアント端末５とエンコード配信サーバ３ａとの間のネットワークＮＷの帯域幅に応じて、例えばレイヤ２またはレイヤ３の複数の分割動画データの中から、レイヤ１の動画データとともにクライアント端末５へアップロードするアップロード対象の分割動画データを決定する。そして、エンコード配信サーバ３ａは、動画データ、分割動画データ、及び音声データを記憶する。更に、エンコード配信サーバ３ａは、記憶した動画データ、分割動画データ、及び音声データそれぞれにアクセスするためのＵＲＬ（Uniform Resource Locator）を、転送サーバ４ａへ通知する。このＵＲＬには、エンコード配信サーバ３ａのアドレス情報と、動画データ、分割動画データ、及び音声データそれぞれの記憶場所を示すパス名とが含まれる。アドレス情報は、エンコード配信サーバ３ａのＩＰアドレスまたはドメイン名を示す。転送サーバ４ａは、クライアント端末５からのコンテンツの要求に応じて、エンコード配信サーバ３ａから通知されたＵＲＬをクライアント端末５へ送信する。これにより、クライアント端末５は、転送サーバ４ａから取得したＵＲＬに従ってエンコード配信サーバ３ａへアクセスしてコンテンツを要求する。この要求に応じて、エンコード配信サーバ３ａは、レイヤ１の動画データ、上記決定された分割動画データ、及び音声データを、ネットワークＮＷを介してクライアント端末５へアップロードする。第２実施形態の通信システムＳ２におけるアップロードは、例えば、エンコード配信サーバ３ａからクライアント端末５へのストリーミング配信により行われる。   The encode distribution server 3a acquires the original moving image data from the camera 1 via the communication cable C. Further, the encode distribution server 3a acquires the audio data from the microphone 2 through the communication cable C. Similarly to the encode server 3, the encode distribution server 3a generates a plurality of moving image data having different resolutions based on the original moving image data from the camera 1. The encode distribution server 3a is a client together with layer 1 moving image data, for example, from a plurality of layer 2 or layer 3 divided moving image data according to the bandwidth of the network NW between the client terminal 5 and the encode distribution server 3a. The divided moving image data to be uploaded to the terminal 5 is determined. The encode distribution server 3a stores moving image data, divided moving image data, and audio data. Further, the encode distribution server 3a notifies the transfer server 4a of a URL (Uniform Resource Locator) for accessing the stored moving image data, divided moving image data, and audio data. This URL includes address information of the encoding distribution server 3a and path names indicating the storage locations of the moving image data, the divided moving image data, and the audio data. The address information indicates the IP address or domain name of the encode distribution server 3a. The transfer server 4 a transmits the URL notified from the encode distribution server 3 a to the client terminal 5 in response to a content request from the client terminal 5. Thereby, the client terminal 5 requests the content by accessing the encode distribution server 3a according to the URL acquired from the transfer server 4a. In response to this request, the encode distribution server 3a uploads the layer 1 moving image data, the determined divided moving image data, and the audio data to the client terminal 5 via the network NW. The upload in the communication system S2 of the second embodiment is performed by streaming delivery from the encoding delivery server 3a to the client terminal 5, for example.

また、エンコード配信サーバ３ａは、エンコードサーバ３と同様、図６に示すように、制御部３１、記憶部３２、及びインターフェース部３３、３４等を備えて構成される。なお、上述したワークファイル記憶領域４２ｃは、例えば、転送サーバ４ａの記憶部に設けられる。ワークファイル記憶領域４２ｃは、エンコード配信サーバ３ａの記憶部３２に設けられてもよい。また、上述した図２（Ａ）に示すアップロード処理、図２（Ｂ）に示すアップロードストリーム生成処理、及び図３に示すアップロードストリーム決定処理は、エンコード配信サーバ３ａに対しても適用される。この場合、図２（Ａ）に示す処理は、クライアント端末５からのコンテンツの要求に応じて開始される。ただし、エンコード配信サーバ３ａの制御部３１によるステップＳ２１では、エンコード配信サーバ３ａとクライアント端末５との間のネットワークＮＷの帯域幅が取得される。この場合のステップＳ２８では、エンコード配信サーバ３ａとクライアント端末５との間のネットワークＮＷの帯域幅から、レイヤ１に対応する動画データストリームのビットレートを引いた差分ビットレートが算出され、ステップＳ２９以降で用いられる。そして、この場合のステップＳ３では、エンコード配信サーバ３ａの制御部３１は、アップロード対象として決定された動画データストリーム及び音声データストリームのうち、クライアント端末５から要求されたデータストリームをクライアント端末５へストリーミングで配信することになる。これにより、レイヤ１に対応する動画データストリーム、及びレイヤ２またはレイヤ３に対応する動画データストリーム等がネットワークＮＷを介してクライアント端末５へアップロードされる。なお、この場合のクライアント端末５は、第１の実施形態と同じように、エンコード配信サーバ３ａとの間のネットワークＮＷの帯域幅と、クライアント端末５の描画性能との少なくとも何れか一方に応じて、例えばレイヤ２またはレイヤ３に対応する最適な動画データブロックを決定し、エンコード配信サーバ３ａへ要求することになる。また、この場合のステップＳ６におけるアップロード速度は、エンコード配信サーバ３ａがデータストリームをクライアント端末５へアップロードしながら計測する。   Similarly to the encode server 3, the encode distribution server 3a includes a control unit 31, a storage unit 32, interface units 33 and 34, and the like as shown in FIG. The work file storage area 42c described above is provided, for example, in the storage unit of the transfer server 4a. The work file storage area 42c may be provided in the storage unit 32 of the encode distribution server 3a. Further, the upload process shown in FIG. 2A, the upload stream generation process shown in FIG. 2B, and the upload stream determination process shown in FIG. 3 are also applied to the encode distribution server 3a. In this case, the process shown in FIG. 2A is started in response to a content request from the client terminal 5. However, in step S21 by the control unit 31 of the encode distribution server 3a, the bandwidth of the network NW between the encode distribution server 3a and the client terminal 5 is acquired. In step S28 in this case, a differential bit rate is calculated by subtracting the bit rate of the video data stream corresponding to layer 1 from the bandwidth of the network NW between the encode distribution server 3a and the client terminal 5, and after step S29 Used in In step S3 in this case, the control unit 31 of the encode distribution server 3a streams the data stream requested from the client terminal 5 to the client terminal 5 out of the moving image data stream and audio data stream determined as upload targets. It will be delivered in. Thereby, the moving image data stream corresponding to layer 1, the moving image data stream corresponding to layer 2 or layer 3, and the like are uploaded to the client terminal 5 via the network NW. Note that the client terminal 5 in this case depends on at least one of the bandwidth of the network NW between the encoding distribution server 3a and the drawing performance of the client terminal 5 as in the first embodiment. For example, an optimal moving image data block corresponding to layer 2 or layer 3 is determined and requested to the encode distribution server 3a. In this case, the upload speed in step S <b> 6 is measured while the encode distribution server 3 a uploads the data stream to the client terminal 5.

以上説明したように、第２の実施形態によれば、エンコード配信サーバ３ａは、カメラ１により取得されたオリジナル動画データに基づいて低解像度の動画データと、中解像度及び高解像度の動画データとを生成し、中解像度及び高解像度の動画データに基づいて複数の分割動画データを生成する。そして、エンコード配信サーバ３ａは、エンコード配信サーバ３ａとクライアント端末５との間のネットワークＮＷの帯域幅に応じて、複数の分割動画データの中から、低解像度の動画データとともにアップロード対象の分割動画データを決定する。そして、エンコード配信サーバ３ａは、クライアント端末５へ、低解像度の動画データと、分割動画データとをアップロードするように構成した。そのため、エンコード配信サーバ３ａは、クライアント端末５へ動画データをライブ配信するために、クライアント端末５との間のネットワークＮＷの帯域幅に応じて、解像度の異なる動画データをクライアント５へ柔軟にストリーミング配信することができる。   As described above, according to the second embodiment, the encode distribution server 3a generates low-resolution video data and medium-resolution and high-resolution video data based on the original video data acquired by the camera 1. And generating a plurality of divided moving image data based on the medium-resolution and high-resolution moving image data. Then, the encoded distribution server 3a, according to the bandwidth of the network NW between the encoded distribution server 3a and the client terminal 5, from among the plurality of divided video data, the divided video data to be uploaded together with the low-resolution video data To decide. Then, the encode distribution server 3a is configured to upload the low-resolution moving image data and the divided moving image data to the client terminal 5. Therefore, the encoding distribution server 3a flexibly distributes moving image data having different resolutions to the client 5 according to the bandwidth of the network NW with the client terminal 5 in order to distribute the moving image data to the client terminal 5 live. can do.

なお、上記実施形態において、クライアント端末５は配信サーバ４またはエンコード配信サーバ３ａからコンテンツを受信する構成を示した。しかし、ハイブリッド型またはピア型のピアツーピアネットワークにおいて、クライアント端末５が他のクライアント端末５からコンテンツを受信する場合に対しても本発明は適用できる。この場合、クライアント端末５が本発明の情報処理装置として機能する。   In the above embodiment, the client terminal 5 is configured to receive content from the distribution server 4 or the encoded distribution server 3a. However, the present invention can also be applied to a case where the client terminal 5 receives content from another client terminal 5 in a hybrid type or peer type peer-to-peer network. In this case, the client terminal 5 functions as the information processing apparatus of the present invention.

１ カメラ
２ マイクロフォン
３ エンコードサーバ
３ａ エンコード配信サーバ
４ 配信サーバ
４ａ 転送サーバ
５ クライアント端末
Ｓ１、Ｓ２ 通信システム DESCRIPTION OF SYMBOLS 1 Camera 2 Microphone 3 Encoding server 3a Encoding delivery server 4 Distribution server 4a Transfer server 5 Client terminal S1, S2 Communication system

Claims (6)

撮影手段により撮影された動画データを取得する取得手段と、
前記取得手段により取得された動画データに基づいて、第１の解像度の第１の動画データと、前記第１の解像度より高い第２の解像度の第２の動画データと、を生成する第１生成手段と、
前記第１生成手段により生成された第２の動画データを構成する画像フレームの領域を複数の分割領域に分割し、前記複数の分割領域に対応する複数の分割動画データを生成する第２生成手段と、
端末装置と情報処理装置との間のネットワークの帯域幅、または、前記端末装置へ動画データを配信する配信装置と前記情報処理装置との間のネットワークの帯域幅に応じて、前記第２生成手段により生成された複数の分割動画データの中から、前記第１の動画データとともに前記配信装置へアップロードするアップロード対象の前記分割動画データを決定する第１決定手段であって、前記第１の解像度のレイヤと前記第２の解像度のレイヤを含む複数のレイヤごとに、前記アップロード対象のデータストリームを決定する決定処理を行う第１決定手段と、
前記取得手段により取得された動画データを構成する画像フレームの中の１画素以上を含む特定画素領域を決定する第２決定手段と、
前記端末装置、または、前記配信装置へ、前記第１の動画データと、前記第１決定手段により決定された前記分割動画データとをアップロードするアップロード手段と、を備え、
前記第１決定手段は、前記データストリームの決定処理中の前記ネットワークの帯域幅から、前記第１の解像度のレイヤに対応する第１のデータストリームのビットレートを引いた差分ビットレート中で、前記第１の解像度のレイヤ以外の前記レイヤに対応する第２のデータストリームのビットレートに応じて、前記分割動画データを含む前記第２のデータストリームを前記アップロード対象として決定し、決定した前記第２のデータストリームにおいて前記分割領域の前記特定画素領域に占める割合が所定値以上の前記レイヤがある場合、前記割合が所定値以上の前記レイヤに対応する前記第２のデータストリームを前記アップロード対象として決定し、
前記アップロード手段は、前記第１の動画データを含む前記第１のデータストリームと、前記第１決定手段により決定された前記第２のデータストリームをアップロードすることを特徴とする情報処理装置。 Obtaining means for obtaining moving image data photographed by the photographing means;
First generation for generating first moving image data having a first resolution and second moving image data having a second resolution higher than the first resolution based on the moving image data acquired by the acquisition unit. Means,
Second generation means for dividing the image frame area constituting the second moving image data generated by the first generation means into a plurality of divided areas and generating a plurality of divided moving picture data corresponding to the plurality of divided areas. When,
The second generation means according to the bandwidth of the network between the terminal device and the information processing device or the bandwidth of the network between the distribution device that distributes moving image data to the terminal device and the information processing device from among the plurality of divided moving image data generated by, a first determining means for determining the moving image data segment to be uploaded to upload together with the first moving image data to the distribution apparatus, the first resolution First determination means for performing determination processing for determining a data stream to be uploaded for each of a plurality of layers including a layer and a layer of the second resolution;
Second determination means for determining a specific pixel region including one or more pixels in an image frame constituting the moving image data acquired by the acquisition means;
Uploading means for uploading the first moving image data and the divided moving image data determined by the first determining means to the terminal device or the distribution device ;
The first determination means includes a difference bit rate obtained by subtracting a bit rate of the first data stream corresponding to the layer of the first resolution from the bandwidth of the network during the determination process of the data stream. According to the bit rate of the second data stream corresponding to the layer other than the layer of the first resolution, the second data stream including the divided moving image data is determined as the upload target, and the determined second When there is the layer whose ratio of the divided area to the specific pixel area in the data stream is equal to or greater than a predetermined value, the second data stream corresponding to the layer whose ratio is equal to or greater than the predetermined value is determined as the upload target. And
The information processing apparatus , wherein the upload unit uploads the first data stream including the first moving image data and the second data stream determined by the first determination unit . 前記第１決定手段は、前記割合が所定値以上の前記レイヤが複数ある場合、前記割合が所定値以上の複数の前記レイヤの中で画質が最も高い前記レイヤに対応する前記第２のデータストリームを前記アップロード対象として決定することを特徴とする請求項１に記載の情報処理装置。 When there are a plurality of the layers having the ratio equal to or greater than a predetermined value, the first determination unit includes the second data stream corresponding to the layer having the highest image quality among the plurality of layers having the ratio equal to or greater than the predetermined value. The information processing apparatus according to claim 1 , wherein the information is determined as the upload target. 前記第１決定手段は、前記割合が所定値以上の前記レイヤがない場合、前記割合が最も高い前記レイヤに対応する前記第２のデータストリームを前記アップロード対象として決定することを特徴とする請求項１または２に記載の情報処理装置。 The said 1st determination means determines the said 2nd data stream corresponding to the said layer with the said highest ratio as the said upload object, when the said ratio is not the said layer more than predetermined value. The information processing apparatus according to 1 or 2 . 撮影手段により撮影された動画データを取得する取得手段と、
前記取得手段により取得された動画データに基づいて、第１の解像度の第１の動画データと、前記第１の解像度より高い第２の解像度の第２の動画データと、を生成する第１生成手段と、
前記第１生成手段により生成された第２の動画データを構成する画像フレームの領域を複数の分割領域に分割し、前記複数の分割領域に対応する複数の分割動画データを生成する第２生成手段と、
端末装置と情報処理装置との間のネットワークの帯域幅、または、前記端末装置へ動画データを配信する配信装置と前記情報処理装置との間のネットワークの帯域幅に応じて、前記第２生成手段により生成された複数の分割動画データの中から、前記第１の動画データとともに前記配信装置へアップロードするアップロード対象の前記分割動画データを決定する第１決定手段と、
前記取得手段により取得された動画データを構成する画像フレームの中の１画素以上を含む特定画素領域を決定する第２決定手段と、
前記端末装置、または、前記配信装置へ、前記第１の動画データと、前記第１決定手段により決定された前記分割動画データとをアップロードするアップロード手段と、を備え、
前記第１決定手段は、前記第２決定手段により決定された特定描画領域に占める割合が最も高い前記特定画素領域に対応する分割動画データを優先して前記アップロード対象として決定することを特徴とする情報処理装置。 Obtaining means for obtaining moving image data photographed by the photographing means;
First generation for generating first moving image data having a first resolution and second moving image data having a second resolution higher than the first resolution based on the moving image data acquired by the acquisition unit. Means,
Second generation means for dividing the image frame area constituting the second moving image data generated by the first generation means into a plurality of divided areas and generating a plurality of divided moving picture data corresponding to the plurality of divided areas. When,
The second generation means according to the bandwidth of the network between the terminal device and the information processing device or the bandwidth of the network between the distribution device that distributes moving image data to the terminal device and the information processing device First determining means for determining the divided moving image data to be uploaded to be uploaded to the distribution device together with the first moving image data from among the plurality of divided moving image data generated by
Second determination means for determining a specific pixel region including one or more pixels in an image frame constituting the moving image data acquired by the acquisition means ;
Uploading means for uploading the first moving image data and the divided moving image data determined by the first determining means to the terminal device or the distribution device;
The first determining means preferentially determines the divided moving image data corresponding to the specific pixel area having the highest ratio in the specific drawing area determined by the second determining means as the upload target. that information processing apparatus. 情報処理装置のコンピュータに、
撮影手段により撮影された動画データを取得するステップと、
前記取得された動画データに基づいて、第１の解像度の第１の動画データと、前記第１の解像度より高い第２の解像度の第２の動画データと、を生成するステップと、
前記生成された第２の動画データを構成する画像フレームの領域を複数の分割領域に分割し、前記複数の分割領域に対応する複数の分割動画データを生成するステップと、
端末装置と前記情報処理装置との間のネットワークの帯域幅、または、前記端末装置へ動画データを配信する配信装置と前記情報処理装置との間のネットワークの帯域幅に応じて、前記生成された複数の分割動画データの中から、前記第１の動画データとともに前記配信装置へアップロードするアップロード対象の前記分割動画データを決定するステップと、
前記撮影された動画データを取得するステップにより取得された動画データを構成する画像フレームの中の１画素以上を含む特定画素領域を決定するステップと、
前記端末装置、または、前記配信装置へ、前記第１の動画データと、前記決定された前記分割動画データとをアップロードするステップと、を実行させ、
前記分割動画データを決定するステップは、前記特定画素領域を決定するステップにより決定された特定描画領域に占める割合が最も高い前記特定画素領域に対応する分割動画データを優先して前記アップロード対象として決定することを特徴とするプログラム。 In the computer of the information processing device,
Acquiring moving image data photographed by the photographing means;
Generating, based on the acquired moving image data, first moving image data having a first resolution and second moving image data having a second resolution higher than the first resolution;
Dividing a region of an image frame constituting the generated second moving image data into a plurality of divided regions, and generating a plurality of divided moving image data corresponding to the plurality of divided regions;
The network bandwidth between the terminal device and the information processing device or the network bandwidth between the information processing device and the distribution device that distributes moving image data to the terminal device is generated. Determining the divided moving image data to be uploaded to be uploaded to the distribution device together with the first moving image data from a plurality of divided moving image data;
Determining a specific pixel region including one or more pixels in an image frame constituting the moving image data acquired by the step of acquiring the captured moving image data;
Uploading the first moving image data and the determined divided moving image data to the terminal device or the distribution device ;
In the step of determining the divided moving image data, the divided moving image data corresponding to the specific pixel region having the highest ratio in the specific drawing region determined in the step of determining the specific pixel region is preferentially determined as the upload target. The program characterized by doing. 情報処理装置により実行される情報処理方法であって、
撮影手段により撮影された動画データを取得するステップと、
前記取得された動画データに基づいて、第１の解像度の第１の動画データと、前記第１の解像度より高い第２の解像度の第２の動画データと、を生成するステップと、
前記生成された第２の動画データを構成する画像フレームの領域を複数の分割領域に分割し、前記複数の分割領域に対応する複数の分割動画データを生成するステップと、
端末装置と前記情報処理装置との間のネットワークの帯域幅、または、前記端末装置へ動画データを配信する配信装置と前記情報処理装置との間のネットワークの帯域幅に応じて、前記生成された複数の分割動画データの中から、前記第１の動画データとともに前記配信装置へアップロードするアップロード対象の前記分割動画データを決定するステップと、
前記撮影された動画データを取得するステップにより取得された動画データを構成する画像フレームの中の１画素以上を含む特定画素領域を決定するステップと、
前記端末装置、または、前記配信装置へ、前記第１の動画データと、前記決定された前記分割動画データとをアップロードするステップと、を含み、
前記分割動画データを決定するステップは、前記特定画素領域を決定するステップにより決定された特定描画領域に占める割合が最も高い前記特定画素領域に対応する分割動画データを優先して前記アップロード対象として決定することを特徴とする情報処理方法。 An information processing method executed by an information processing apparatus,
Acquiring moving image data photographed by the photographing means;
Generating, based on the acquired moving image data, first moving image data having a first resolution and second moving image data having a second resolution higher than the first resolution;
Dividing a region of an image frame constituting the generated second moving image data into a plurality of divided regions, and generating a plurality of divided moving image data corresponding to the plurality of divided regions;
The network bandwidth between the terminal device and the information processing device or the network bandwidth between the information processing device and the distribution device that distributes moving image data to the terminal device is generated. Determining the divided moving image data to be uploaded to be uploaded to the distribution device together with the first moving image data from a plurality of divided moving image data;
Determining a specific pixel region including one or more pixels in an image frame constituting the moving image data acquired by the step of acquiring the captured moving image data;
The terminal device, or, to the distribution apparatus, said first video data, look including the steps of: uploading and said moving image data segment which said determined
In the step of determining the divided moving image data, the divided moving image data corresponding to the specific pixel region having the highest ratio in the specific drawing region determined in the step of determining the specific pixel region is preferentially determined as the upload target. An information processing method characterized by:
JP2013180214A 2013-08-30 2013-08-30 Information processing apparatus, program, and information processing method Active JP5915604B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013180214A JP5915604B2 (en) 2013-08-30 2013-08-30 Information processing apparatus, program, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013180214A JP5915604B2 (en) 2013-08-30 2013-08-30 Information processing apparatus, program, and information processing method

Publications (2)

Publication Number Publication Date
JP2015050572A JP2015050572A (en) 2015-03-16
JP5915604B2 true JP5915604B2 (en) 2016-05-11

Family

ID=52700253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013180214A Active JP5915604B2 (en) 2013-08-30 2013-08-30 Information processing apparatus, program, and information processing method

Country Status (1)

Country Link
JP (1) JP5915604B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6551107B2 (en) * 2015-09-24 2019-07-31 ブラザー工業株式会社 Server apparatus, server program, terminal program, moving image transmission method, moving image display method, communication system
CN108574735B (en) * 2018-04-11 2022-07-12 柴森森 Data processing method, terminal and computer readable storage medium
CN111078601B (en) * 2019-12-18 2022-11-15 成都国科微电子有限公司 Method and device for adjusting bus bandwidth use peak value
CN113507629B (en) * 2021-06-30 2022-09-20 中标慧安信息技术股份有限公司 Data transmission control method and system between video end and communication end in Internet of things
JP7382689B1 (en) 2023-06-13 2023-11-17 株式会社Tomody Streaming distribution system, distribution server and photographer terminal

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3576502B2 (en) * 2001-05-09 2004-10-13 松下電器産業株式会社 Image generation device
JP5487074B2 (en) * 2010-03-18 2014-05-07 日本電信電話株式会社 Video transmission method and video transmission system

Also Published As

Publication number Publication date
JP2015050572A (en) 2015-03-16

Similar Documents

Publication Publication Date Title
EP3459252B1 (en) Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
US20180204381A1 (en) Image processing apparatus for generating virtual viewpoint image and method therefor
US20120291080A1 (en) Image delivery system with image quality varying with frame rate
JP5915604B2 (en) Information processing apparatus, program, and information processing method
JP5838925B2 (en) COMMUNICATION SYSTEM, TERMINAL DEVICE, MOVIE DISPLAY METHOD, AND PROGRAM
JP6541309B2 (en) Transmission apparatus, transmission method, and program
JP6270555B2 (en) Image processing system, imaging apparatus, and control method thereof
JP2013255210A (en) Video display method, video display device and video display program
JP2006254366A (en) Image processing apparatus, camera system, video system, network data system, and image processing method
JP5928196B2 (en) Communication system, terminal device, registration method, and program
JP2020524450A (en) Transmission system for multi-channel video, control method thereof, multi-channel video reproduction method and device thereof
US20230162435A1 (en) Information processing apparatus, information processing method, and storage medium
US10841490B2 (en) Processing method and processing system for video data
JP6987567B2 (en) Distribution device, receiver and program
JP5850012B2 (en) Information processing apparatus, program, and communication system
JP6355634B2 (en) Data processing apparatus, data processing method, program, recording medium, and data processing system
WO2018055984A1 (en) Information processing device, method for controlling same, and computer program
WO2019031306A1 (en) Generation device, reproduction device, generation method, reproduction method, control program, and recording medium
JP6970143B2 (en) Distribution server, distribution method and program
JP7319340B2 (en) Distribution server, distribution method and program
JP2015162815A (en) Terminal, and program
JP6548538B2 (en) Image delivery system and server
JP2023075860A (en) Information processing apparatus, information processing method, and program
JP2017041707A (en) Reproduction device, information processing method, and communication system
JP2006005968A (en) Control unit, control method, receiving system, receiving method, image reproducing unit, image reproducing method, and transmission medium

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150728

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160321

R150 Certificate of patent or registration of utility model

Ref document number: 5915604

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150