JP2014116836A - Video encoding device and video encoding program - Google Patents
Video encoding device and video encoding program Download PDFInfo
- Publication number
- JP2014116836A JP2014116836A JP2012270292A JP2012270292A JP2014116836A JP 2014116836 A JP2014116836 A JP 2014116836A JP 2012270292 A JP2012270292 A JP 2012270292A JP 2012270292 A JP2012270292 A JP 2012270292A JP 2014116836 A JP2014116836 A JP 2014116836A
- Authority
- JP
- Japan
- Prior art keywords
- tile
- video
- video encoding
- resolution
- tiles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009826 distribution Methods 0.000 claims description 57
- 238000000034 method Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000007792 addition Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、映像を指定した大きさでタイル状に分割して符号化する映像符号化装置及び映像符号化プログラムに関する。 The present invention relates to a video encoding device and a video encoding program that divide and encode a video in a tile shape with a specified size.
従来から、高解像度映像を限られたネットワーク帯域において伝送するために、高解像度映像を複数解像度に変換し、変換された複数解像度の映像を指定した大きさにタイル状に分割し、タイル分割された映像を符号化する映像伝送装置が知られている（例えば、特許文献１、非特許文献１参照）。この映像伝送装置によれば、伝送レートを上げ過ぎることなく、一定の帯域以内の伝送レートで高解像度パノラマ映像を伝送することができ、また映像品質を最大化でき、ユーザの注視領域の急激な操作に対しても、一定の帯域以内の伝送レートで映像を表示することができる。さらに、注視領域の移動時にユーザが目的とする注視領域の受信を早めることができる。
Conventionally, in order to transmit high-resolution video over a limited network bandwidth, the high-resolution video is converted into multiple resolutions, and the converted multi-resolution video is divided into tiles in a specified size and tiled. There is known a video transmission device that encodes a video (for example, see
しかしながら、特許文献１に記載の映像伝送装置にあっては、１ＨＤ（ハイディフニッション）の高解像度映像を符号化する場合、タイル分割処理に時間を要するという問題がある。また、４Ｋ解像度（１ＨＤ×４枚）のような高解像度映像を符号化する場合、タイル分割処理にさらなる時間を要してしまうという問題がある。
However, the video transmission device described in
本発明は、このような事情に鑑みてなされたもので、高解像度の映像を高速に符号化することができる映像符号化装置及び映像符号化プログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a video encoding device and a video encoding program capable of encoding high-resolution video at high speed.
本発明は、複数の分配映像として入力した映像を符号化する映像符号化装置であって、入力された複数の前記分配映像のうち、一つの前記分配映像を指定された解像度の映像に変換し、タイル分割するためのタイルサイズが定義されたタイルマップ情報を参照して、解像度を変換した前記映像を前記タイルサイズに分割した分割映像を生成し、前記分割映像の出力先が定義されたエンコーダマップ情報を参照して、前記分割映像を所定の出力先へ出力する処理を複数の前記分配映像について並行して行う複数のタイル分割手段と、前記タイル分割手段から出力した前記分割映像を指定された符号化条件に従って符号化する際に、２つ以上の前記タイル分割手段から出力する前記分割映像が入力された場合には、入力された前記分割映像を結合した後に符号化して出力する処理を複数の前記分割映像について並行して行う複数の映像符号化手段とを備えたことを特徴とする。 The present invention is a video encoding apparatus that encodes video input as a plurality of distribution videos, and converts one of the plurality of distribution videos to a video having a designated resolution. An encoder that generates a divided video obtained by dividing the video whose resolution is converted into the tile size with reference to tile map information in which a tile size for dividing the tile is defined, and an output destination of the divided video is defined With reference to map information, a plurality of tile dividing means for performing the process of outputting the divided video to a predetermined output destination in parallel for the plurality of distributed videos, and the divided video output from the tile dividing means are designated. When the divided video output from two or more tile dividing means is input when encoding is performed according to the encoding conditions, the input divided video is combined. Characterized by comprising a plurality of video coding means for performing parallel processing for outputting the encoded for a plurality of the segmented images to after.
本発明は、前記タイルマップ情報は、各タイルが重なることがないように前記タイルサイズが定義されていることを特徴とする。 The tile map information is characterized in that the tile size is defined so that the tiles do not overlap each other.
本発明は、前記タイルマップ情報は、各タイルが横方向または縦方向に所定の量ずれて重なりあうように前記タイルサイズが定義されていることを特徴とする。 The present invention is characterized in that the tile size is defined in the tile map information so that the tiles overlap each other with a predetermined amount shifted in a horizontal direction or a vertical direction.
本発明は、コンピュータを、前記映像符号化装置として機能させるための映像符号化プログラムである。 The present invention is a video encoding program for causing a computer to function as the video encoding device.
本発明によれば、符号化に必要な処理を並行して行うようにしたため、高解像度の映像であっても高速に符号化を行うことができるという効果が得られる。これにより、ライブ映像等のリアルタイム性を必要とする高解像度映像の符号化データの配信に対応することが可能となる。 According to the present invention, since the processing necessary for encoding is performed in parallel, there is an effect that even high-resolution video can be encoded at high speed. As a result, it is possible to cope with distribution of encoded data of high-resolution video that requires real-time performance such as live video.
以下、図面を参照して、本発明の一実施形態による映像符号化装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、映像を入力して、符号化を行う映像符号化装置である。符号１１は、映像符号化装置１の処理動作を統括して制御する制御部である。符号１２は、映像データを出力する映像出力部であり、カメラや映像データが記憶された記憶装置から構成する。符号１３−１〜１３−Ｘは、映像出力部１２から出力した映像データをキャプチャするＸ個（Ｘは自然数）のキャプチャ部である。符号１４−１〜１４−Ｙは、キャプチャした映像データをタイルに分割するＹ個（Ｙは自然数）のタイル分割部である。符号１５−１〜１５−Ｚはタイル分割した映像データを符号化して符号化データを出力するＺ個（Ｚは自然数）の映像符号化部である。制御部１１は、Ｘ、Ｙ、Ｚの値を事前に把握している。制御部１１は、キャプチャ部１３−１〜１３−Ｘ、タイル分割部１４−１〜１４−Ｙ、映像符号化部１５−１〜１５−Ｚの処理動作を制御する。図１において、制御部１１から出力する制御情報を破線の矢印で表し、映像データの流れを実線の矢印で表している。
Hereinafter, a video encoding apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the embodiment. In this figure,
次に、図１に示す映像符号化装置１の処理動作を説明する。制御部１１は、映像出力部１２からキャプチャ部１３−１〜１３−Ｘに対して出力する映像データの映像全体の大きさ、映像の分配数、分配された各映像の大きさ、解像度の数、各解像度値、解像度に対応した各タイルサイズを事前に把握している。分配数とは、映像全体を切り分ける数であり、映像出力部１２から出力される映像ソース（分配映像）の数である。分配映像とは、映像全体を分配数をもとに切り分けた映像である。タイルサイズとは、指定した大きさに映像全体を分割する領域の大きさであり、各々の領域がタイルである。
Next, the processing operation of the
制御部１１は、映像の分配数から分配マップを作成する。さらに、分配映像対応表を作成する。分配マップとは、映像全体を構成する各映像ソースの配置関係を示すものであり、分配映像対応表とは、各分配映像を処理するキャプチャ部１３−１〜１３−Ｘ及びタイル分割部１４−１〜１４−Ｙを示すものである。
The
図２は、分配マップの一例を示す図である。制御部１１は、映像の分配数から分配マップを作成する。ここでは、分配数４をもとに映像全体を４つに分配し、分配された４つの映像を分配Ａ、分配Ｂ、分配Ｃ、分配ＤとＩＤを付与した分配マップを作成する。なお、ＩＤの付け方は、任意である。
FIG. 2 is a diagram illustrating an example of a distribution map. The
図３は、分配映像対応表の一例を示す図である。制御部１１は、各映像ソース（分配映像）の入力先（キャプチャ部１３−１〜１３−Ｘ）を事前に把握しているため、分配マップ、映像ソース（分配映像）の入力先（キャプチャ部１３−１〜１３−Ｘ）をもとに、分配映像とキャプチャ部１３−１〜１３−Ｘとを対応させる。ここでは、分配Ａをキャプチャ部１３−１、分配Ｂをキャプチャ部１３−２、分配Ｃをキャプチャ部１３−３、分配Ｄをキャプチャ部１３−４に入力する。映像ソース（分配映像）とキャプチャ部１３−１〜１３−Ｘは、１対１であるがどのキャプチャ部１３に入力してもよい。
FIG. 3 is a diagram illustrating an example of the distribution video correspondence table. Since the
そして、キャプチャ部１３−１〜１３−Ｘとタイル分割部１４−１〜１４−Ｙを１対１とし、順番にキャプチャ部１３−１（分配Ａ）はタイル分割部１４−１、キャプチャ部１３−２（分配Ｂ）はタイル分割部１４−２、キャプチャ部１３−３（分配Ｃ）はタイル分割部１４−３、キャプチャ部１３−４（分配Ｄ）はタイル分割部１４−４とする。このように分配映像とキャプチャ部１３−１〜１３−Ｘとタイル分割部１４−１〜１４−Ｙが対応する一覧表を作成する。なお、キャプチャ部１３とタイル分割部１４が２対１で、キャプチャ部１３−１、１３−２がタイル分割部１４−１であってもよい。キャプチャ部１３とタイル分割部１４が必ずしも１対１である必要はない。
Then, the capture units 13-1 to 13-X and the tile division units 14-1 to 14-Y are set to 1: 1, and the capture unit 13-1 (distribution A) in order is the tile division unit 14-1 and the capture unit 13 -2 (distribution B) is the tile division unit 14-2, the capture unit 13-3 (distribution C) is the tile division unit 14-3, and the capture unit 13-4 (distribution D) is the tile division unit 14-4. In this way, the distribution video, the capture units 13-1 to 13-X, and the tile division units 14-1 to 14-Y create corresponding lists. The
次に、制御部１１は、解像度毎にタイルマップ情報を作成する。タイルマップ情報とは、分配マップが示す各映像ソースの配置関係にタイル分割の様子を重ね合わせて表現したものである。図４は、タイルマップ情報の一例を示す図である。制御部１１は、各タイル分割部１４−１〜１４−Ｙが担当する映像の大きさ、タイルの大きさを元に分割し、例えば左上からラスタ順に番号を付与し、タイルが分配マップの境界をまたいだ場合は、タイル番号に各分配領域を示す記号等（図４においては英字）を付与し、タイルマップ情報を作成する。そして、解像度映像毎に、タイルマップを作成する。
Next, the
タイルには、番号等任意のＩＤを付与し、解像度毎に異なるＩＤを用いる。各解像度映像と各解像度の符号化条件との対応が付くＩＤを付与する。例えば、解像度を３段階とした場合、一番上の解像度はタイル１、タイル６、タイル１１Ａ、……．、２番目の解像度は２−タイル１、２−タイル６、２−タイル１１Ａ、……．、３番目の解像度は３−タイル１、３−タイル６、３−タイル１１Ａ、……．のようにする。映像符号化部１５−１〜１５−Ｚは、制御部１１から受け取った解像毎の符号化条件から、タイルＩＤがタイルで始まるタイル１、タイル６、タイル１１Ａは、一番上の解像度の符号化条件、２−タイルで始まる２−タイル１、２−タイル６、２−タイル１１Ａは、２番目の解像度の符号化条件、３−タイルで始まる３−タイル１、３−タイル６、３−タイル１１Ａは、３番目の解像度の符号化条件と判断する。ここでは、タイル分割部１４−１〜１４−Ｙはキャプチャ部１３−１〜１３−Ｘ（映像分配数）と同じ４台とするが同じである必要はない。
An arbitrary ID such as a number is assigned to the tile, and a different ID is used for each resolution. An ID for assigning a correspondence between each resolution video and the encoding condition of each resolution is assigned. For example, if the resolution is 3 levels, the top resolution is
次に、制御部１１は、解像度毎にエンコードマップ情報を作成する。エンコードマップ情報とは、タイルマップ情報に各タイルを符号化する映像符号化部１５−１〜１５−Ｚの情報を追記したものである。図５は、エンコーダマップ情報の一例を示す図である。ここでは、横方向に、映像符号化部１５を割り当てた例であり、映像符号化部１５の数は、横タイル数と同じ５台とする。
Next, the
制御部１１は、タイルマップ情報をもとに、映像符号化部１５−１を一番左側の縦の列、映像符号化部１５−２を右へ１つ隣の縦の列、映像符号化部１５−３を真ん中の縦の列、映像符号化部１５−４を右へ１つ隣の縦の列、映像符号化部１５−５を一番右側の縦の列に対応したエンコーダマップ情報を作成する。ここでは、映像符号化部１５−１〜１５−５は横タイル数と同じ５台とするが、５台である必要はない。また、各タイル映像は、どの映像符号化部１５によって符号化してもよい。
Based on the tile map information, the
ただし、タイル３Ａ、３Ｂの様に横にまたがる場合、タイル１１Ａ、１１Ｃの様に縦にまたがる場合、タイル１３Ａ、１３Ｃと、タイル１３Ｂ、１３Ｄのように上下左右にまたがる場合は、同じ映像符号化部１５にする必要がある。なお、制御部１１は、解像度毎に、エンコーダマップ情報を作成する。
However, if the
図６は、エンコーダマップ情報の他の例を示す図である。図６に示すエンコーダマップ情報は、縦方向に、映像符号化部１５を割り当てた例であり、映像符号化部１５の数は、縦タイル数と同じ５台とする。制御部１１は、タイルマップ情報をもとに、映像符号化部１５−１を一番上の横の列、映像符号化部１５−２を１つ下の横の列、映像符号化部１５−３を真ん中の横の列、映像符号化部１５−４を１つ下の横の列、映像符号化部１５−５を一番下の横の列に対応したエンコーダマップ情報を作成する。ここでは、映像符号化部１５は縦タイル数と同じ５台とするが、５台である必要はない。また、各タイル映像は、どの映像符号化部１５で符号化してもよい。
FIG. 6 is a diagram illustrating another example of the encoder map information. The encoder map information shown in FIG. 6 is an example in which
ただし、タイル３Ａ、３Ｂの様に横にまたがる場合、タイル１１Ａ、１１Ｃの様に縦にまたがる場合、タイル１３Ａ、１３Ｃと、タイル１３Ｂ、１３Ｄのように上下左右にまたがる場合は、同じ映像符号化部１５にする必要がある。なお、制御部１１は、解像度毎に、エンコーダマップ情報を作成する。
However, if the
次に、制御部１１は、映像ソース入力前に以下（１）〜（４）の通知を行う。
（１）各映像符号化部１５−１〜１５−Ｚに対して各解像度の符号化条件を通知する。解像度毎の符号化条件は、解像度毎のタイルとの対応づけができる。解像度毎の符号化条件の中に、タイルＩＤと解像度との対応づけができる記載がある。
（２）各タイル分割部１４−１〜１４−Ｙに対して解像度数と各解像度値、各解像度のタイルサイズを通知する。
（３）各キャプチャ部１３−１〜１３−Ｘ、各タイル分割部１４−１〜１４−Ｙに対して映像分配マップ、分配映像対応表を通知する。
（４）各タイル分割部１４−１〜１４−Ｙ、各映像符号化部１５−１〜１５−Ｚに対して各解像度のエンコーダマップ情報を通知する。
Next, the
(1) Notifying the video encoding units 15-1 to 15-Z of the encoding conditions for each resolution. The encoding condition for each resolution can be associated with the tile for each resolution. In the encoding conditions for each resolution, there is a description that can associate the tile ID with the resolution.
(2) The number of resolutions, the resolution values, and the tile sizes of the resolutions are notified to the tile division units 14-1 to 14-Y.
(3) Notifying the capture units 13-1 to 13-X and the tile division units 14-1 to 14-Y of the video distribution map and the distribution video correspondence table.
(4) Notify the tile division units 14-1 to 14-Y and the video encoding units 15-1 to 15-Z of the encoder map information of each resolution.
次に、制御部１１は、キャプチャ部１３−１〜１３−Ｘ、タイル分割部１４−１〜１４−Ｙ、映像符号化部１５−１〜１５−Ｚに対して各制御情報を送信後、キャプチャ部１３−１〜１３−Ｘ、タイル分割部１４−１〜１４−Ｙ、映像符号化部１５−１〜１５−Ｚに対して入力開始を通知する。
Next, the
映像出力部１２は、映像ソース（分配映像）とキャプチャ部１３−１〜１３−Ｘの対応づけをしておく。そして、入力開始後に映像出力部１２から映像ソース（カメラからのライブ映像データや記憶装置に記憶されている映像データ）を各キャプチャ部１３−１〜１３−Ｘに対して出力する。キャプチャ部１３−１〜１３−Ｘに対して出力する映像は必ずしもライブ映像とは限らない。また、出力はカメラが出力する映像とは限らない。他の媒体から出力する映像データでもよい。事前に記憶装置に録画した映像をキャプチャ部１３−１〜１３−Ｘへ出力してもよい。
The
次に、キャプチャ部１３−１〜１３−Ｘは、映像出力部１２から分配映像を受け取り、制御部１１から受け取った映像分配マップ、分配映像対応表をもとに対応するタイル分割部１４−１〜１４−Ｙへこの映像データを送る。
Next, the capture units 13-1 to 13 -X receive the distribution video from the
タイル分割部１４−１〜１４−Ｙは、制御部１１から受け取った解像度数と各解像度値をもとに、解像度変換を行う。図７は、タイル分割部１４−１〜１４−Ｙが行う複数解像度変換を示す図である。タイル分割部１４−１〜１４−Ｙは、制御部１１から受け取った解像度数と各解像度値をもとに指定数の解像度に変換する。さらに、制御部１１から受け取った解像度毎のエンコーダマップ情報と各解像度のタイルサイズをもとに、解像度毎にタイル分割を行い、対応する映像符号化部１５−１〜１５−Ｚへタイル分割映像を送る。このとき、タイル分割部１４−１〜１４−Ｙは並行処理する。
The tile dividing units 14-1 to 14-Y perform resolution conversion based on the number of resolutions and each resolution value received from the
次に、映像符号化部１５−１〜１５−Ｚは、受け取ったタイル映像を制御部１１から受け取った符号化条件で符号化する。タイルＩＤから解像度毎の符号化条件の対応ができる。このとき、映像符号化部１５−１〜１５−Ｚは並行処理する。分配領域をまたがったタイルは、映像符号化部１５が１つのタイルに結合後に符号化する。制御部１１から受け取ったエンコーダマップ情報をもとに結合するタイルが分かる。
Next, the video encoding units 15-1 to 15-Z encode the received tile video under the encoding condition received from the
次に、図１、図５を参照して、図１に示すタイル分割部１４−１〜１４−Ｙ、映像符号化部１５−１〜１５−Ｚの処理動作を説明する。タイル分割部１４−１〜１４−Ｙは、制御部１１から受け取った解像度数、各解像度値、解像度毎のタイルサイズをもとに、解像度変換処理、タイル分割処理を並行して行う。各映像符号化部１５−１〜１５−Ｚは、制御部１１から受け取った解像度毎のエンコーダマップ情報、解像度毎の符号化条件をもとに、映像の符号化を並行して行う。
Next, processing operations of the tile dividing units 14-1 to 14-Y and the video encoding units 15-1 to 15-Z illustrated in FIG. 1 will be described with reference to FIGS. The tile division units 14-1 to 14-Y perform resolution conversion processing and tile division processing in parallel based on the number of resolutions received from the
各映像符号化部１５−１〜１５−Ｚは、制御部１１から受け取った各解像度の符号化条件の中で、解像度毎のタイルと対応する各解像度の符号化条件で符号化する。ここで示すタイルＩＤは、一番上の解像度である。タイル分割部１４−１は、分配映像Ａの解像度変換、変換された各解像度映像のタイル分割を行い、タイル１、６、１１Ａを映像符号化部１５−１に送る。映像符号化部１５−１は、タイル１、６を符号化する。そして、映像符号化部１５−１は、タイル１１Ａ、タイル１１Ｃが揃った時に１枚のタイルに結合し、タイル１１として符号化する。映像符号化部１５−１は、制御部１１からエンコーダマップ情報を受け取っているため、結合するタイルが分かる。
Each of the video encoding units 15-1 to 15 -Z performs encoding under the encoding conditions of each resolution corresponding to the tile for each resolution among the encoding conditions of each resolution received from the
次に、タイル分割部１４−１は、タイル２、７、１２Ａを映像符号化部１５−２に送り、映像符号化部１５−２は、タイル２、７を符号化する。映像符号化部１５−２は、タイル１２Ａ、タイル１２Ｃが揃った時に１枚のタイルに結合し、タイル１２として符号化する。映像符号化部１５−２は、制御部１１からエンコーダマップ情報を受け取っているため、結合するタイルが分かる。
Next, the tile dividing unit 14-1 sends the
次に、タイル分割部１４−１は、タイル３Ａ、８Ａ、１３Ａを映像符号化部１５−３に送り、映像符号化部１５−３は、タイル３Ａ、タイル３Ｂが揃った時に１枚のタイルに結合し、タイル３として符号化する。映像符号化部１５−３は、タイル８Ａ、タイル８Ｂが揃った時に１枚のタイルに結合し、タイル８として符号化する。映像符号化部１５−３は、タイル１３Ａ、タイル１３Ｂ、１３Ｃ、１３Ｄが揃った時に結合し、タイル１３として符号化する。映像符号化部１５−３は、制御部１１からエンコーダマップ情報を受け取っているため、結合するタイルが分かる。
Next, the tile dividing unit 14-1 sends the
次に、タイル分割部１４−２は、分配映像Ｂの解像度変換、変換された各解像度映像のタイル分割を行い、タイル３Ｂ、８Ｂ、１３Ｂを映像符号化部１５−３に送る。映像符号化部１５−３は、タイル３Ｂ、タイル３Ａが揃った時に１枚のタイルに結合し、タイル３として符号化する。映像符号化部１５−３は、タイル８Ｂ、タイル８Ａが揃った時に１枚のタイルに結合し、タイル８として符号化する。また、映像符号化部１５−３は、タイル１３Ｂ、タイル１３Ａ、１３Ｃ、１３Ｄが揃った時に結合し、タイル１３として符号化する。映像符号化部１５−３は、制御部１１からエンコーダマップ情報を受け取っているため、結合するタイルが分かる。
Next, the tile dividing unit 14-2 performs resolution conversion of the distributed video B, tile division of each converted resolution video, and sends the
次に、タイル分割部１４−２は、タイル４、９、１４Ｂを映像符号化部１５−４に送り、映像符号化部１５−４は、タイル４、９を符号化する。映像符号化部１５−４は、タイル１４Ｂ、タイル１４Ｄが揃った時に１枚のタイルに結合し、タイル１４として符号化する。映像符号化部１５−４は、制御部１１からエンコーダマップ情報を受け取っているため、結合するタイルが分かる。
Next, the tile dividing unit 14-2 sends the
次に、タイル分割部１４−２は、タイル５、１０、１５Ｂを映像符号化部１５−５に送り、映像符号化部１５−５は、タイル５、１０を符号化する。映像符号化部１５−５は、タイル１５Ｂ、タイル１５Ｄが揃った時に１枚のタイルに結合し、タイル１５として符号化する。映像符号化部１５−５は、制御部１１からエンコーダマップ情報を受け取っているため、結合するタイルが分かる。
Next, the tile dividing unit 14-2 sends the
次に、タイル分割部１４−３は、分配映像Ｃの解像度変換、変換された各解像度映像のタイル分割を行い、タイル１１Ｃ，１６、２１を映像符号化部１５−１に送る。映像符号化部１５−１は、タイル１６、２１を符号化する。映像符号化部１５−１は、タイル１１Ａと１１Ｃが揃った時に１枚のタイルに結合し、タイル１１として符号化する。
Next, the tile division unit 14-3 performs resolution conversion of the distribution video C, tile division of each converted resolution video, and sends the
次に、タイル分割部１４−３は、タイル１２Ｃ、１７、２２を映像符号化部１５−２に送り、映像符号化部１５−２は、タイル１７、２２を符号化する。映像符号化部１５−２は、タイル１２Ａ、１２Ｃが揃った時に１枚のタイルに結合し、タイル１２として符号化する。
Next, the tile dividing unit 14-3 sends the
次に、タイル分割部１４−３は、タイル１３Ｃ、１８Ｃ、２３Ｃを映像符号化部１５−３に送り、映像符号化部１５−３は、タイル１８Ｃ、タイル１８Ｄが揃った時に１枚のタイルに結合し、タイル１８として符号化する。そして、映像符号化部１５−３は、タイル２３Ｃ、タイル２３Ｄが揃った時に１枚のタイルに結合し、タイル２３として符号化する。映像符号化部１５−３は、タイル１３Ｃ、タイル１３Ａ、１３Ｂ、１３Ｄが揃った時に結合し、タイル１３として符号化する。
Next, the tile dividing unit 14-3 sends the
次に、タイル分割部１４−４は、分配映像Ｄの解像度変換、変換された各解像度映像のタイル分割を行い、タイル１３Ｄ、１８Ｄ、２３Ｄを映像符号化部１５−３に送る。映像符号化部１５−３は、タイル１８Ｄ、タイル１８Ｃが揃った時に１枚のタイルに結合し、タイル１８として符号化する。映像符号化部１５−３は、タイル２３Ｄ、タイル２３Ｃが揃った時に１枚のタイルに結合し、タイル２３として符号化する。そして、映像符号化部１５−３は、タイル１３Ｄ、タイル１３Ａ，１３Ｂ，１３Ｃが揃った時に結合し、タイル１３として符号化する。
Next, the tile dividing unit 14-4 performs resolution conversion of the distribution video D and tile division of each converted resolution video, and sends the
次に、タイル分割部１４−４は、タイル１４Ｄ、１９、２４を映像符号化部１５−４に送り、映像符号化部１５−４は、タイル１９、２４を符号化する。映像符号化部１５−４は、タイル１４Ｄ、タイル１４Ｂが揃った時に１枚のタイルに結合し、タイル１４として符号化する。
Next, the tile dividing unit 14-4 sends the
次に、タイル分割部１４−４は、タイル１５Ｄ、２０、２５を映像符号化部１５−５に送り、映像符号化部１５−５は、タイル２０、２５を符号化する。映像符号化部１５−５は、タイル１５Ｂ、１５Ｄが揃った時に１枚のタイルに結合し、タイル１５として符号化する。
Next, the tile dividing unit 14-4 sends the
次に、他のタイルマップ情報の例について説明する。図８は、他のタイルマップ情報の例を示す図である。制御部１１は、各タイル分割部１４−１〜１４−Ｙが担当する映像の大きさ、指定したタイルの大きさをもとに横、縦に指定した量ずつずらした重なりあうタイルに分割する。制御部１１は、指定したタイルの大きさで横、縦に指定した量でずらす長さを事前に把握している。ここでは左上からラスタ順に番号を付与し、タイルが分配マップの境界をまたいだ場合は、タイル番号に各分配領域を示す記号等（図８においては英字）を付与し、タイルマップ情報を作成する。なお、タイルマップは、解像度映像毎に作成する。
Next, another example of tile map information will be described. FIG. 8 is a diagram illustrating another example of tile map information. The
タイルには、番号等任意のＩＤを付与する。ただし、解像度毎に異なるＩＤを用いる。各解像度映像と各解像度の符号化条件との対応が付くＩＤを付与する。例えば、解像度を３段階とした場合、一番上の解像度はタイル１、タイルＭＡ、タイルＭＣ、……．、２番目の解像度は２−タイル１、２−タイルＭＡ、２−タイルＭＣ、……．、３番目の解像度は３−タイル１、３−タイルＭＡ、３−タイルＭＣ、……．のようにする。映像符号化部１５−１〜１５−Ｚは、制御部１１から受け取った解像毎の符号化条件から、例えばタイルＩＤがタイルで始まるタイル１、タイルＭＡ、タイルＭＣは、一番上の解像度の符号化条件、２−タイルで始まる２−タイル１、２−タイルＭＡ、２−タイルＭＣは、２番目の解像度の符号化条件、３−タイルで始まる３−タイル１、３−タイルＭＡ、３−タイルＭＣは、３番目の解像度の符号化条件と判断する。ここでは、タイル分割部１４−１〜１４−Ｙはキャプチャ部１３−１〜１３−Ｘ（映像分配数）と同じ４台とするが同じである必要はない。
An arbitrary ID such as a number is assigned to the tile. However, a different ID is used for each resolution. An ID for assigning a correspondence between each resolution video and the encoding condition of each resolution is assigned. For example, if the resolution is 3 levels, the top resolution is
次に、さらに他のタイルマップ情報の例について説明する。図９は、他のタイルマップ情報の例を示す図である。図９に示す例では、横方向に、映像符号化部１５−１〜１５−Ｎを割り当てた例である。制御部１１は、タイルマップ情報をもとに、映像符号化部１５−１を一番左側の縦の列、映像符号化部１５−２を右へ１つ隣の縦の列、一番右側の縦の列に映像符号化部１５−Ｎに対応したエンコーダマップ情報を作成する。ここでは、映像符号化部１５−Ｎとするが、Ｎ台である必要はない。また、各タイル映像は、どの映像符号化部１５で符号化してもよい。
Next, another example of tile map information will be described. FIG. 9 is a diagram illustrating another example of tile map information. In the example shown in FIG. 9, video encoding units 15-1 to 15-N are assigned in the horizontal direction. Based on the tile map information, the
ただし、タイル２Ａ、２Ｂの様に横にまたがる場合、タイルＭＡ、ＭＣの様に縦にまたがる場合、タイルＭ＋１Ａ、Ｍ＋１Ｂ、Ｍ＋１Ｃ、Ｍ＋１Ｄのように上下左右にまたがる場合は、同じ映像符号化部１５にする必要がある。エンコーダマップ情報は、解像度毎に作成する。タイル分割部１４−１〜１４−４、映像符号化部１５−１〜１５−Ｎの処理動作は前述した処理動作と同じであるので、ここでは詳細な説明を省略する。
However, in the case of horizontally extending like
なお、映像符号化装置１によって符号化された複数のストリームは、その後多重化されてもよいし、独立したストリームのままでもよい。ストリームを配信する際に、多重化されたストリームを配信サーバが扱う場合には、符号化されたストリームは多重化された後に利用される方が好適である。逆に、配信サーバが独立した複数のストリームを扱う場合には、多重化されないままの方が良い。
Note that the plurality of streams encoded by the
以上説明したように、複数に分配された各映像を複数解像度に変換し、さらに各解像度の映像を指定した大きさでタイル状に分割する際に、複数に分割された１つのタイルを、１タイルにして符号化するためにエンコーダマップ情報を用いて符号化処理するようにした。また、複数に分配された分配映像を複数解像度に変換し、解像度毎にタイル分割するようにして、複数のタイル分割部１４−１〜１４−Ｙにより並行処理するようにした。 As described above, when each video distributed to a plurality of resolutions is converted into a plurality of resolutions, and each video of each resolution is further divided into tiles with a designated size, one tile divided into a plurality of tiles is In order to encode into tiles, encoding processing is performed using encoder map information. Also, the distributed video distributed in plural is converted into a plurality of resolutions, and tile division is performed for each resolution, so that the plurality of tile division units 14-1 to 14-Y perform parallel processing.
これにより、分配された４Ｋ解像度のような高解像度映像を複数のタイル分割部１４−１〜１４−Ｙで複数解像度変換、タイル分割を行い、さらに複数の映像符号化部１５−１〜１５−Ｚで符号化を行うため高速化が可能となり、高解像度映像においてもライブ配信に対応することが可能になる。また、重なりあうタイルでは、タイルが重なることがないタイル分割に比べタイル数が多くなるが、複数のタイル分割部１４−１〜１４−Ｙで複数解像度変換、タイル分割を行い、さらに複数の映像符号化部１５−１〜１５−Ｚで符号化を行うため高速化が可能となり、ライブ配信に対応することができる。 As a result, the distributed high-resolution video such as 4K resolution is subjected to multi-resolution conversion and tile division by the plurality of tile division units 14-1 to 14-Y, and the plurality of video encoding units 15-1 to 15-. Since encoding is performed with Z, it is possible to increase the speed, and it is possible to support live distribution even in a high-resolution video. In addition, the number of tiles in the overlapping tiles is larger than that in the tile division in which tiles do not overlap. However, the plurality of tile division units 14-1 to 14-Y performs multiple resolution conversion and tile division, and further includes a plurality of videos. Since encoding is performed by the encoding units 15-1 to 15-Z, the speed can be increased, and live distribution can be supported.
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。 A video encoding process is performed by recording a program for realizing the function of the processing unit in FIG. 1 on a computer-readable recording medium, causing the computer system to read and execute the program recorded on the recording medium. May be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。 As mentioned above, although embodiment of this invention has been described with reference to drawings, the said embodiment is only the illustration of this invention, and it is clear that this invention is not limited to the said embodiment. is there. Accordingly, additions, omissions, substitutions, and other changes of the components may be made without departing from the technical idea and scope of the present invention.
映像を指定した大きさでタイル状に分割して符号化することが不可欠な用途に適用できる。 It can be applied to applications where it is indispensable to divide and encode video into tiles with a specified size.
１・・・映像符号化装置、１１・・・制御部、１２・・・映像出力部、１３−１〜１３−Ｘ・・・キャプチャ部、１４−１〜１４−Ｙ・・・タイル分割部、１５−１〜１５−Ｚ・・・映像符号化部
DESCRIPTION OF
Claims (4)
入力された複数の前記分配映像のうち、一つの前記分配映像を指定された解像度の映像に変換し、タイル分割するためのタイルサイズが定義されたタイルマップ情報を参照して、解像度を変換した前記映像を前記タイルサイズに分割した分割映像を生成し、前記分割映像の出力先が定義されたエンコーダマップ情報を参照して、前記分割映像を所定の出力先へ出力する処理を複数の前記分配映像について並行して行う複数のタイル分割手段と、
前記タイル分割手段から出力した前記分割映像を指定された符号化条件に従って符号化する際に、２つ以上の前記タイル分割手段から出力する前記分割映像が入力された場合には、入力された前記分割映像を結合した後に符号化して出力する処理を複数の前記分割映像について並行して行う複数の映像符号化手段と
を備えたことを特徴とする映像符号化装置。 A video encoding device for encoding video input as a plurality of distribution videos,
Of the plurality of input distribution videos, one of the distribution videos is converted into a video with a specified resolution, and the resolution is converted with reference to tile map information in which tile sizes for tile division are defined. A process of generating a divided video obtained by dividing the video into the tile sizes and outputting the divided video to a predetermined output destination with reference to encoder map information in which an output destination of the divided video is defined. A plurality of tile dividing means for performing parallel processing on the video;
When encoding the divided video output from the tile dividing unit according to a specified encoding condition, if the divided video output from two or more tile dividing units is input, the input A video encoding device comprising: a plurality of video encoding means for performing a process of encoding and outputting the combined video after being combined with each other on the plurality of the divided videos.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012270292A JP5894063B2 (en) | 2012-12-11 | 2012-12-11 | Video encoding apparatus and video encoding program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012270292A JP5894063B2 (en) | 2012-12-11 | 2012-12-11 | Video encoding apparatus and video encoding program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014116836A true JP2014116836A (en) | 2014-06-26 |
| JP5894063B2 JP5894063B2 (en) | 2016-03-23 |
Family
ID=51172408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012270292A Expired - Fee Related JP5894063B2 (en) | 2012-12-11 | 2012-12-11 | Video encoding apparatus and video encoding program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5894063B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0970044A (en) * | 1995-08-31 | 1997-03-11 | Sony Corp | Image signal processor and method therefor |
| JPH10234043A (en) * | 1997-02-20 | 1998-09-02 | Toshiba Corp | Dynamic image encoder and decoder |
| JP2001285876A (en) * | 2000-03-30 | 2001-10-12 | Sony Corp | Image encoding device, its method, video camera, image recording device and image transmitting device |
| JP2004129153A (en) * | 2002-10-07 | 2004-04-22 | Sony Corp | Method and device for processing image data and program recording medium |
| JP2010098633A (en) * | 2008-10-20 | 2010-04-30 | Panasonic Corp | Prediction coding apparatus, and prediction coding method |
| JP2011030217A (en) * | 2009-07-03 | 2011-02-10 | Panasonic Corp | Image coding apparatus and image decoding device |
-
2012
- 2012-12-11 JP JP2012270292A patent/JP5894063B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0970044A (en) * | 1995-08-31 | 1997-03-11 | Sony Corp | Image signal processor and method therefor |
| JPH10234043A (en) * | 1997-02-20 | 1998-09-02 | Toshiba Corp | Dynamic image encoder and decoder |
| JP2001285876A (en) * | 2000-03-30 | 2001-10-12 | Sony Corp | Image encoding device, its method, video camera, image recording device and image transmitting device |
| JP2004129153A (en) * | 2002-10-07 | 2004-04-22 | Sony Corp | Method and device for processing image data and program recording medium |
| JP2010098633A (en) * | 2008-10-20 | 2010-04-30 | Panasonic Corp | Prediction coding apparatus, and prediction coding method |
| JP2011030217A (en) * | 2009-07-03 | 2011-02-10 | Panasonic Corp | Image coding apparatus and image decoding device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5894063B2 (en) | 2016-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Skupin et al. | Tile based HEVC video for head mounted displays | |
| JP6075889B2 (en) | Video distribution device and video playback device | |
| US20150208103A1 (en) | System and Method for Enabling User Control of Live Video Stream(s) | |
| JP6305279B2 (en) | Video compression device and video playback device | |
| EP2490179A1 (en) | Method and apparatus for transmitting and receiving a panoramic video stream | |
| KR101668858B1 (en) | Method for transmitting multi-channel video stream, and surveillance system using the same method | |
| CN113099258A (en) | Cloud director system, live broadcast processing method and device, and computer readable storage medium | |
| WO2017210444A1 (en) | Method and apparatus for streaming panoramic video | |
| JP2010148089A (en) | Image splitting base ultrahigh resolution video encoding and decoding apparatus and method of controlling the same | |
| CN110741648A (en) | Transmission system for multi-channel portrait and control method thereof, multi-channel portrait playing method and device thereof | |
| JP2017123503A (en) | Video distribution apparatus, video distribution method and computer program | |
| JP5941000B2 (en) | Video distribution apparatus and video distribution method | |
| JP2014116922A (en) | Video playback device and video distribution device | |
| JP5894063B2 (en) | Video encoding apparatus and video encoding program | |
| US10636115B2 (en) | Information processing apparatus, method for controlling the same, and storage medium | |
| JP2010212947A (en) | Information processing device and method, information processing system, and program | |
| JP2017527161A (en) | Cloud streaming-based broadcast-linked service system, broadcast-linked service client device, trigger content providing server, and method using the same | |
| EP4084481A1 (en) | Transmission device and receiving device | |
| JP5940999B2 (en) | VIDEO REPRODUCTION DEVICE, VIDEO DISTRIBUTION DEVICE, VIDEO REPRODUCTION METHOD, VIDEO DISTRIBUTION METHOD, AND PROGRAM | |
| JP2013021535A (en) | Video transmitting method, video transmitting apparatus, and program | |
| JP5603840B2 (en) | Video tile size determination method | |
| JP2018011197A (en) | Video distribution device, video coding device, video distribution method, video coding method, video distribution program and video coding program | |
| JP6224522B2 (en) | Video distribution device, video distribution method, and video distribution program | |
| JP2009296410A (en) | High-resolution video reproducing device | |
| JP2019050441A (en) | Image display system, control method of the same, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160223 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5894063 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |