JP2011109176A - Device and method for multiplexing video, and program - Google Patents

Device and method for multiplexing video, and program Download PDF

Info

Publication number
JP2011109176A
JP2011109176A JP2009258970A JP2009258970A JP2011109176A JP 2011109176 A JP2011109176 A JP 2011109176A JP 2009258970 A JP2009258970 A JP 2009258970A JP 2009258970 A JP2009258970 A JP 2009258970A JP 2011109176 A JP2011109176 A JP 2011109176A
Authority
JP
Japan
Prior art keywords
streams
predetermined number
combination
encoding
reference information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009258970A
Other languages
Japanese (ja)
Other versions
JP5339290B2 (en
Inventor
Masayuki Inoue
雅之 井上
Hideaki Kimata
英明 木全
Katsuhiko Fukazawa
勝彦 深澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009258970A priority Critical patent/JP5339290B2/en
Publication of JP2011109176A publication Critical patent/JP2011109176A/en
Application granted granted Critical
Publication of JP5339290B2 publication Critical patent/JP5339290B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To transmit optimum high-quality video according to a transmission rate without lowering a coding rate excessively. <P>SOLUTION: A coding unit 201 codes and multiplexes each of a plurality of streams at a plurality of coding rates. A reference information creation unit 203 calculates a quality evaluation value to each of the plurality of streams coded at the plurality of coding rates, and creates reference information for identifying a combination where a sum total of the coding rates of the plurality of streams becomes within a transmission band and the minimum of the quality evaluation value becomes higher. A command conversion unit 211 instructs a combination of a prescribed number of streams to be selected by a data management unit 205 based on the reference information. The data management unit 205 takes out a prescribed number of coded streams from a data storage unit 202. A data transmission unit 207 transmits the prescribed number of streams. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、同期した複数のストリーム構成をもつ映像を一定の伝送帯域以内で伝送する映像多重化装置、映像多重化方法、及びプログラムに関する。   The present invention relates to a video multiplexing apparatus, a video multiplexing method, and a program for transmitting video having a plurality of synchronized stream configurations within a certain transmission band.

複数のカメラ映像をまとめて圧縮する符号化方式として、国際標準符号化方式H.264 Annex Hとして多視点映像符号化(MVC)が標準化されている(例えば、非特許文献1参照)。MVCでは、複数の映像符号化データが多重化された形で圧縮符号化される。同じタイムスタンプのフレームの符号化データが連続して多重化される。すなわち、符号化データは、複数の映像データが多重化されたストリームになる。同じタイムスタンプのフレームが連続して多重化されているため、復号器は、MVCの符号化データを復号することで、同じタイムスタンプの複数のカメラ映像を連続して復号して出力することができる。   As an encoding method for compressing a plurality of camera images together, the international standard encoding method H.264 is used. Multi-view video coding (MVC) is standardized as H.264 Annex H (see Non-Patent Document 1, for example). In MVC, a plurality of encoded video data is compressed and encoded in a multiplexed form. Encoded data of frames having the same time stamp are continuously multiplexed. That is, the encoded data is a stream in which a plurality of video data is multiplexed. Since frames with the same time stamp are continuously multiplexed, the decoder can decode and output MVC encoded data, thereby successively decoding and outputting a plurality of camera images with the same time stamp. it can.

図26は、従来技術による映像伝送システムの構成を示すブロック図である。図において、従来技術の映像伝送システムは、多重化装置1、映像伝送サーバ2、映像再生クライアント3から構成される。多重化装置1において、符号化部101は、M本の入力ストリームを同一の固定符号化レートで符号化・多重化し、多重化データを作成する。データ蓄積部102は、このM本のストリームを含む多重化データを蓄積する。   FIG. 26 is a block diagram showing a configuration of a video transmission system according to the prior art. In the figure, the conventional video transmission system includes a multiplexing device 1, a video transmission server 2, and a video reproduction client 3. In the multiplexing apparatus 1, the encoding unit 101 encodes and multiplexes M input streams at the same fixed encoding rate, and generates multiplexed data. The data storage unit 102 stores multiplexed data including the M streams.

映像伝送サーバ2において、データ送信部103は、データ蓄積部102からN(≦M)本のストリームを取り出し、映像再生クライアント3へ送出する。ここで、N本のストリームを送出するためには、N×固定符号化レート分の伝送レートが必要となる。   In the video transmission server 2, the data transmission unit 103 extracts N (≦ M) streams from the data storage unit 102 and sends them to the video reproduction client 3. Here, in order to transmit N streams, a transmission rate corresponding to N × fixed coding rate is required.

映像再生クライアント3において、データ受信部104は、N本のストリームを受信する。復号化部105は、N本のストリームを復号する。映像表示部106は、部分映像を表示する。   In the video reproduction client 3, the data receiving unit 104 receives N streams. The decoding unit 105 decodes N streams. The video display unit 106 displays a partial video.

なお、ここでは、M本のストリーム(全体ストリーム)から構成される映像を「全体映像」、N(≦M)本のストリーム(部分ストリーム)から構成される映像を「部分映像」、1本のストリームから構成される映像を「単位映像」と定義する。つまり、全体映像は、M個の単位映像、部分映像は、N個の単位映像から構成される。   Here, a video composed of M streams (whole stream) is referred to as “whole video”, a video composed of N (≦ M) streams (partial streams) is referred to as “partial video”, A video composed of streams is defined as “unit video”. That is, the whole video is composed of M unit videos, and the partial video is composed of N unit videos.

Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani, "Panorama video coding for user-driven interactive video application," IEEE International Symposium on Consumer Electronics (ISCE) 2009, 2009.Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani, "Panorama video coding for user-driven interactive video application," IEEE International Symposium on Consumer Electronics (ISCE) 2009, 2009.

上述した従来技術では、伝送レート<N×固定符号化レートの場合には、N本の部分ストリームから構成される部分映像を送出できないという問題があった。また、伝送レート≧N×固定符号化レートとなるように符号化レートを下げ過ぎると、画像品質が悪くなるという問題があった。   In the above-described conventional technology, there is a problem in that a partial video composed of N partial streams cannot be transmitted when transmission rate <N × fixed coding rate. Further, when the encoding rate is lowered too much so that the transmission rate ≧ N × fixed encoding rate, there is a problem that the image quality is deteriorated.

本発明は、このような事情を考慮してなされたものであり、その目的は、符号化レートを下げ過ぎることなく、伝送レートに応じた最適な高画質映像を伝送することができる映像多重化装置、映像多重化方法、及びプログラムを提供することにある。   The present invention has been made in view of such circumstances, and its purpose is video multiplexing capable of transmitting an optimal high-quality video according to the transmission rate without excessively reducing the encoding rate. An apparatus, a video multiplexing method, and a program are provided.

上述した課題を解決するために、本発明は、符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化装置であって、複数のストリームの各々を、複数の符号化レートで符号化し多重化する符号化手段と、前記符号化手段により複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択する選択手段と、前記符号化手段により複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出する評価値算出手段と、前記選択手段により選択される前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成する参照情報作成手段と、前記参照情報作成手段により作成された参照情報に基づいて、前記選択手段により選択されるべき前記所定数のストリームの組合わせを指示する選択指示手段と、前記選択手段により最終的に選択された、前記所定数のストリームを伝送する伝送手段とを備えることを特徴とする映像多重化装置である。   In order to solve the above-described problem, the present invention is a video multiplexing apparatus that encodes and multiplexes a plurality of encoded streams and transmits the plurality of streams in a predetermined transmission band. Encoding means for encoding and multiplexing at an encoding rate; selection means for selecting a predetermined number of streams from a plurality of streams encoded at a plurality of code rates by the encoding means; and the encoding means An evaluation value calculating means for calculating a quality evaluation value for each of a plurality of streams encoded at a plurality of encoding rates, and a sum of encoding rates of the predetermined number of streams selected by the selecting means is the predetermined Reference information for identifying a combination of the predetermined number of streams that is within the transmission band of the predetermined number of streams and that has a higher minimum quality evaluation value of the predetermined number of streams. Reference information creating means, selection instruction means for instructing a combination of the predetermined number of streams to be selected by the selecting means based on the reference information created by the reference information creating means, and the selecting means And a transmission means for transmitting the predetermined number of streams finally selected by the video multiplexing apparatus.

本発明は、上記の発明において、入力された映像データを小領域に分割することで複数のストリームを生成する映像分割手段を更に備え、前記符号化手段は、前記映像分割手段により分割された複数のストリームの各々を、複数の符号化レートで符号化し多重化することを特徴とする。   The present invention further comprises video dividing means for generating a plurality of streams by dividing the input video data into small areas in the above-mentioned invention, wherein the encoding means includes a plurality of parts divided by the video dividing means. Each of the streams is encoded and multiplexed at a plurality of encoding rates.

本発明は、上記の発明において、前記所定数のストリームの組合わせを指定する指定手段を更に具備し、前記選択指示手段は、前記指定手段により前記所定数のストリームの組合わせが変更指示されると、前記参照情報作成手段により作成された参照情報に基づいて、前記選択手段により選択されるべき前記所定数のストリームの組合わせを新たに指示することを特徴とする。   The present invention further includes designation means for designating the combination of the predetermined number of streams in the above invention, and the selection instruction means is instructed to change the combination of the predetermined number of streams by the designation means. And a new instruction for the combination of the predetermined number of streams to be selected by the selection unit based on the reference information created by the reference information creation unit.

本発明は、上記の発明において、前記所定数のストリームの組合わせを指定する指定手段を更に具備し、前記参照情報作成手段は、前記指定手段により前記所定数のストリームの組合わせが変更指示されると、変更指示された組合わせに含まれる前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、変更指示された組合わせに含まれる前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を新たに作成することを特徴とする。   In the above invention, the present invention further comprises designation means for designating the combination of the predetermined number of streams, and the reference information creating means is instructed to change the combination of the predetermined number of streams by the designation means. Then, the sum of the coding rates of the predetermined number of streams included in the combination instructed to be changed is within the predetermined transmission band, and the quality of the predetermined number of streams included in the combination instructed to be changed Reference information for specifying a combination of the predetermined number of streams, in which the lowest evaluation value becomes higher, is newly created.

また、上述した課題を解決するために、本発明は、符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化方法であって、複数のストリームの各々を、複数の符号化レートで符号化し多重化するステップと、前記複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択するステップと、前記複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出するステップと、前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成するステップと、前記作成された参照情報に基づいて、選択すべき前記所定数のストリームの組合わせを指示するステップと、最終的に選択された、前記所定数のストリームを伝送するステップとを含むことを特徴とする映像多重化方法である。   In order to solve the above-described problem, the present invention is a video multiplexing method for encoding and multiplexing a plurality of encoded streams and transmitting the encoded streams in a predetermined transmission band. Encoding at a plurality of encoding rates, multiplexing, selecting a predetermined number of streams from a plurality of streams encoded at the plurality of encoding rates, and encoding at the plurality of encoding rates Calculating a quality evaluation value for each of the plurality of streams, a sum of encoding rates of the predetermined number of streams is within the predetermined transmission band, and a minimum quality evaluation value of the predetermined number of streams A step of creating reference information for identifying a combination of the predetermined number of streams, which has a higher value, and a selection method based on the created reference information. A step of instructing a combination of said predetermined number of streams finally selected, a video multiplexing method characterized by including the step of transmitting the stream of the predetermined number.

本発明は、上記の発明において、入力された映像データを小領域に分割することで複数のストリームを生成するステップと、前記分割された複数のストリームの各々を、複数の符号化レートで符号化し多重化するステップとを更に含むことを特徴とする。   According to the present invention, in the above invention, the step of generating a plurality of streams by dividing the input video data into small regions, and encoding each of the plurality of divided streams at a plurality of encoding rates. And the step of multiplexing.

本発明は、上記の発明において、前記所定数のストリームの組合わせを指定するステップと、前記所定数のストリームの組合わせが変更指示されると、前記参照情報に基づいて、前記選択されるべき前記所定数のストリームの組合わせを新たに指示するステップとを更に含むことを特徴とする。   According to the present invention, in the above invention, when the step of designating the combination of the predetermined number of streams and the combination of the predetermined number of streams are instructed to be changed, the selection should be made based on the reference information. A step of newly instructing a combination of the predetermined number of streams.

本発明は、上記の発明において、前記所定数のストリームの組合わせを指定するステップと、前記所定数のストリームの組合わせが変更指示されると、変更指示された組合わせに含まれる前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、変更指示された組合わせに含まれる前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を新たに作成するステップとを更に含むことを特徴とする。   According to the present invention, in the above invention, the step of designating a combination of the predetermined number of streams and the predetermined number included in the combination instructed to change when the combination of the predetermined number of streams is instructed to be changed. The predetermined number of streams in which the sum of the encoding rates of the streams is within the predetermined transmission band, and the minimum value of the quality evaluation values of the predetermined number of streams included in the combination instructed to change is higher And a step of newly creating reference information for specifying a combination of these.

また、上述した課題を解決するために、本発明は、符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化装置のコンピュータに、複数のストリームの各々を、複数の符号化レートで符号化し多重化する符号化機能、前記符号化機能により複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択する選択機能、前記符号化機能により複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出する評価値算出機能、前記選択機能により選択される前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成する参照情報作成機能、前記参照情報作成機能により作成された参照情報に基づいて、前記選択機能により選択されるべき前記所定数のストリームの組合わせを指示する選択指示機能、前記選択機能により最終的に選択された、前記所定数のストリームを伝送する伝送機能を実現することを特徴とするプログラムである。   Further, in order to solve the above-described problem, the present invention encodes and multiplexes a plurality of encoded streams and transmits each of the plurality of streams to a computer of a video multiplexing apparatus that transmits in a predetermined transmission band. An encoding function for encoding and multiplexing at a plurality of encoding rates, a selection function for selecting a predetermined number of streams from a plurality of streams encoded at a plurality of encoding rates by the encoding function, and the encoding function An evaluation value calculation function for calculating a quality evaluation value for each of a plurality of streams encoded at a plurality of encoding rates, and a sum of encoding rates of the predetermined number of streams selected by the selection function is the predetermined value The combination of the predetermined number of streams that is within the transmission band and that has the lowest minimum quality evaluation value of the predetermined number of streams is identified. A reference information creation function for creating information, a selection instruction function for instructing a combination of the predetermined number of streams to be selected by the selection function based on the reference information created by the reference information creation function, and the selection function A program that realizes a transmission function for transmitting the predetermined number of streams finally selected by.

この発明によれば、符号化レートを下げ過ぎることなく、伝送レートに応じた最適な高画質映像を伝送することができる。   According to the present invention, it is possible to transmit an optimum high-quality video according to the transmission rate without excessively reducing the encoding rate.

本発明の第1実施形態による映像伝送システムの構成を示すブロック図である。It is a block diagram which shows the structure of the video transmission system by 1st Embodiment of this invention. 本第1実施形態による、各データIDに対する評価値算出手順を説明するためのフローチャートである。It is a flowchart for demonstrating the evaluation value calculation procedure with respect to each data ID by this 1st Embodiment. 本第1実施形態でのコマンド変換の際に必要となる、参照情報の作成手順を説明するためのフローチャートである。It is a flowchart for demonstrating the preparation procedure of the reference information required in the case of command conversion in this 1st Embodiment. 本第1実施形態でのストリームIDとデータIDとの対応情報を示す概念図である。It is a conceptual diagram which shows the corresponding information of stream ID and data ID in the 1st embodiment. 本第1実施形態での参照情報作成の詳細手順を説明するためのフローチャートである。It is a flowchart for demonstrating the detailed procedure of the reference information preparation in this 1st Embodiment. 本第1実施形態での画質改善のための優先データID情報を示す概念図である。It is a conceptual diagram which shows the priority data ID information for the image quality improvement in the 1st embodiment. 本第1実施形態でのストリーム要求情報の作成例を示す概念図である。It is a conceptual diagram which shows the example of creation of the stream request information in the first embodiment. 本第1実施形態での参照情報を示す概念図である。It is a conceptual diagram which shows the reference information in this 1st Embodiment. 本第1実施形態での映像再生クライアント30のコマンド送信手順を説明するためのフローチャートである。It is a flowchart for demonstrating the command transmission procedure of the video reproduction client 30 in this 1st Embodiment. 本第1実施形態での映像伝送サーバ20のコマンド受信およびデータ送信手順を説明するためのフローチャートである。It is a flowchart for demonstrating the command reception of the video transmission server 20 in this 1st Embodiment, and a data transmission procedure. 本第1実施形態での映像再生クライアント30のデータ受信および映像表示手順を説明するためのフローチャートである。It is a flowchart for demonstrating the data reception of the video reproduction client 30 in this 1st Embodiment, and a video display procedure. 本第2実施形態による映像伝送システムの構成を示すブロック図である。It is a block diagram which shows the structure of the video transmission system by this 2nd Embodiment. 本第2実施形態での映像分割部301による映像分割の一例を示す概念図である。It is a conceptual diagram which shows an example of the video division | segmentation by the video division part 301 in this 2nd Embodiment. 本第2実施形態での各データIDに対するSNRの算出手順を説明するためのフローチャートである。It is a flowchart for demonstrating the calculation procedure of SNR with respect to each data ID in this 2nd Embodiment. 本第2実施形態でのビットレート(500kbps)で付与されたデータIDを示す概念図である。It is a conceptual diagram which shows data ID provided with the bit rate (500 kbps) in the 2nd embodiment. 本第2実施形態でのビットレート(1Mbps)で付与されたデータIDを示す概念図である。It is a conceptual diagram which shows data ID provided with the bit rate (1 Mbps) in the 2nd embodiment. 本第2実施形態でのビットレート(1.5Mbps)で付与されたデータIDを示す概念図である。It is a conceptual diagram which shows data ID provided with the bit rate (1.5 Mbps) in this 2nd Embodiment. 本第2実施形態でのタイルIDと映像符号化データIDの対応情報を示す概念図である。It is a conceptual diagram which shows the correspondence information of tile ID in this 2nd Embodiment and video coding data ID. 本第2実施形態での表示パターンの例を示す概念図である。It is a conceptual diagram which shows the example of the display pattern in the 2nd embodiment. 本第2実施形態でのストリーム要求情報の作成例を示す概念図である。It is a conceptual diagram which shows the example of creation of the stream request information in the second embodiment. 本第2実施形態での参照情報を示す概念図である。It is a conceptual diagram which shows the reference information in this 2nd Embodiment. 本発明の第3実施形態による映像伝送システムの構成を示すブロック図である。It is a block diagram which shows the structure of the video transmission system by 3rd Embodiment of this invention. 本発明の第4実施形態による映像伝送システムの構成を示すブロック図である。It is a block diagram which shows the structure of the video transmission system by 4th Embodiment of this invention. 本発明の第5実施形態による、多重化装置10における参照情報作成手順を説明するためのフローチャートである。It is a flowchart for demonstrating the reference information preparation procedure in the multiplexing apparatus 10 by 5th Embodiment of this invention. 本第5実施形態での多重化装置10における評価値をキーとしたデータIDの昇順ソートの例を示す概念図である。It is a conceptual diagram which shows the example of the ascending order sort of data ID which made the evaluation value the key in the multiplexing apparatus 10 in this 5th Embodiment. 従来技術による映像伝送システムの構成を示すブロック図である。It is a block diagram which shows the structure of the video transmission system by a prior art.

以下、本発明の一実施形態を、図面を参照して説明する。
A.第1実施形態
図1は、本発明の第1実施形態による映像伝送システムの構成を示すブロック図である。多重化装置10において、符号化部201は、同期したM本のストリーム構成を持つ映像を入力とし、各ストリームを複数の符号化レートで符号化・多重化し、映像データを作成する。データ蓄積部202は、この映像データを蓄積する。参照情報作成部203は、データ蓄積部202に蓄積されている映像データを用いて、参照情報を作成し、参照情報蓄積部204に蓄積する。なお、参照情報、映像データの順に多重化したデータをデータ蓄積部202に蓄積してもよい。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
A. First Embodiment FIG. 1 is a block diagram showing a configuration of a video transmission system according to a first embodiment of the present invention. In the multiplexing apparatus 10, the encoding unit 201 receives video having synchronized M stream configurations, encodes and multiplexes each stream at a plurality of encoding rates, and generates video data. The data storage unit 202 stores this video data. The reference information creation unit 203 creates reference information using the video data stored in the data storage unit 202 and stores the reference information in the reference information storage unit 204. Note that data multiplexed in the order of reference information and video data may be stored in the data storage unit 202.

映像伝送サーバ20において、データ管理部205は、コマンド受信部206で受信した、映像再生クライアント30からの「ストリーム要求情報」に従って、データ蓄積部202へN(≦M)本のストリーム要求を行うことで、データ蓄積部202に蓄積されたM本のストリームからN本のストリームを取り出し、データ送信部207へ転送する。データ送信部207は、N本のストリームを映像再生クライアント30へ送出する。コマンド受信部206は、映像再生クライアント30からのコマンドを受信する。参照情報送信部208は、参照情報蓄積部204から参照情報データを取り出し、映像再生クライアント30へ送出する。   In the video transmission server 20, the data management unit 205 makes N (≦ M) stream requests to the data storage unit 202 in accordance with the “stream request information” received from the command reception unit 206 from the video reproduction client 30. Thus, N streams are extracted from the M streams stored in the data storage unit 202 and transferred to the data transmission unit 207. The data transmission unit 207 transmits N streams to the video reproduction client 30. The command receiving unit 206 receives a command from the video playback client 30. The reference information transmission unit 208 takes out the reference information data from the reference information storage unit 204 and sends it to the video reproduction client 30.

映像再生クライアント30において、データ受信部212は、N本のストリームを受信する。復号化部213は、N本のストリームを復号する。映像表示部214は、復号化された部分映像を表示する。参照情報受信部216は、映像伝送サーバ20から送信される参照情報を受信し、参照情報蓄積部210に蓄積する。ストリーム組合せ指定部215は、ストリーム組合せ指定の変更入力を受付ける。コマンド変換部211は、ストリーム組合せ指定に変更があった場合に、参照情報蓄積部210に蓄積された参照情報を参照し、「ストリーム組合せ情報」を「ストリーム要求情報」へ変換する。コマンド送信部209は、「ストリーム要求情報」に従って映像伝送サーバ20にコマンド送信を行う。   In the video reproduction client 30, the data reception unit 212 receives N streams. The decoding unit 213 decodes N streams. The video display unit 214 displays the decoded partial video. The reference information receiving unit 216 receives the reference information transmitted from the video transmission server 20 and stores it in the reference information storage unit 210. The stream combination designation unit 215 accepts a change input for stream combination designation. When the stream combination designation is changed, the command conversion unit 211 refers to the reference information stored in the reference information storage unit 210 and converts “stream combination information” into “stream request information”. The command transmission unit 209 transmits a command to the video transmission server 20 in accordance with “stream request information”.

なお、多重化装置10におけるデータ蓄積部202と参照情報蓄積部204とを機能統合し、映像伝送サーバ20におけるデータ送信部207と参照情報送信部208とを機能統合し、映像再生クライアント30におけるデータ受信部212と参照情報受信部216とを機能統合するような構成も可能である。   It should be noted that the data storage unit 202 and the reference information storage unit 204 in the multiplexing device 10 are functionally integrated, the data transmission unit 207 and the reference information transmission unit 208 in the video transmission server 20 are functionally integrated, and the data in the video playback client 30 is integrated. A configuration in which the reception unit 212 and the reference information reception unit 216 are functionally integrated is also possible.

また、図1では、映像再生クライアント30において、コマンド変換部209は、「参照情報」を参照して、「ストリーム組合せ情報」を「ストリーム要求情報」へ変換しているが、映像伝送サーバ20と映像再生クライアント30とで「参照情報」を持つことで、コマンド変換部211にてコマンド変換せず、「ストリーム組合せ情報」を、直接、コマンドとして、コマンド送信部209より送信する構成も実施可能である。この構成の場合、映像伝送サーバ20側で、参照情報を参照することで、「ストリーム組合せ情報」を「ストリーム要求情報」へ変換することができる。   In FIG. 1, in the video playback client 30, the command conversion unit 209 converts “stream combination information” into “stream request information” with reference to “reference information”. By having “reference information” with the video playback client 30, it is also possible to implement a configuration in which the command transmission unit 209 directly transmits “stream combination information” as a command without performing command conversion in the command conversion unit 211. is there. In the case of this configuration, “stream combination information” can be converted to “stream request information” by referring to the reference information on the video transmission server 20 side.

次に、本第1実施形態の映像多重化・伝送方法について詳細に説明する。
本第1実施形態では、例えば、同期した12本の入力ストリームから構成される映像を10Mbpsで伝送する際に、映像データを伝送する前に、参照情報を送信する。図1に示す多重化装置10における参照情報作成部203での参照情報の作成手順は、各入力ストリームを複数のビットレートで符号化した結果に対する評価値算出手順と、評価値の算出結果を用いた参照情報作成手順とから構成される。
Next, the video multiplexing / transmission method of the first embodiment will be described in detail.
In the first embodiment, for example, when video composed of 12 synchronized input streams is transmitted at 10 Mbps, reference information is transmitted before video data is transmitted. The reference information creation procedure in the reference information creation unit 203 in the multiplexing apparatus 10 shown in FIG. 1 uses an evaluation value calculation procedure for a result obtained by encoding each input stream at a plurality of bit rates, and an evaluation value calculation result. The reference information creation procedure.

図2は、本第1実施形態による、符号化部201、参照情報作成部203による各データIDに対する評価値算出手順を説明するためのフローチャートである。まず、符号化部201は、同期した複数の入力ストリームにストリームIDを付与する。次に、各入力ストリームを複数の符号化レート(ビットレート)で符号化し(ステップS001)、符号化後のストリームに対してデータIDを付与する(ステップS002)。続いて、参照情報作成部203は、ストリームIDと映像符号化データIDの対応情報の作成を行い(ステップS003)、最後に各データIDに対する評価値の算出を行う(ステップS004)。   FIG. 2 is a flowchart for explaining an evaluation value calculation procedure for each data ID by the encoding unit 201 and the reference information creation unit 203 according to the first embodiment. First, the encoding unit 201 assigns stream IDs to a plurality of synchronized input streams. Next, each input stream is encoded at a plurality of encoding rates (bit rates) (step S001), and a data ID is assigned to the encoded stream (step S002). Subsequently, the reference information creation unit 203 creates correspondence information between the stream ID and the video encoded data ID (step S003), and finally calculates an evaluation value for each data ID (step S004).

図3は、本第1実施形態による、コマンド変換部211でのコマンド変換の際に必要となる、参照情報作成部203による参照情報の作成手順を説明するためのフローチャートである。参照情報作成部203は、参照情報の作成の前に、まず、伝送帯域を示す「伝送レート」と、データIDの組合せから構成される「ストリーム組合せ」とを設定し(ステップS201)、基本となる符号化レートを示す「ベースビットレート」と、基本となる符号化レートより大きい符号化レートを示す「改善ビットレート」との設定を行う(ステップS202)。   FIG. 3 is a flowchart for explaining a reference information creation procedure by the reference information creation unit 203 necessary for command conversion by the command conversion unit 211 according to the first embodiment. Before creating reference information, the reference information creating unit 203 first sets a “transmission rate” indicating a transmission band and a “stream combination” composed of a combination of data IDs (step S201). The “base bit rate” indicating the encoding rate to be set and the “improved bit rate” indicating the encoding rate larger than the basic encoding rate are set (step S202).

次に、「ストリーム組合せ」内のベースビットレートにおけるデータIDから画質改善対象となるデータIDの個数を算出する(ステップS203)。次に、ステップS004で算出した各データIDに対する評価値を用いて、優先的に画質改善が必要なデータIDの順位情報を作成する(ステップS204)。「ストリーム組合せ」内のベースビットレートにおけるデータIDから、ステップS203で算出されたデータIDの個数分を、改善ビットレートにおけるデータIDに変更する(ステップS205)。最後に、「ストリーム組合せ情報」と、データIDから構成される「ストリーム要求情報」との対応情報を含む参照情報の作成を行う(ステップS206)。   Next, the number of data IDs targeted for image quality improvement is calculated from the data IDs at the base bit rate in the “stream combination” (step S203). Next, using the evaluation value for each data ID calculated in step S004, order information of the data ID that needs to be improved in image quality preferentially is created (step S204). The number of data IDs calculated in step S203 is changed from the data ID at the base bit rate in the “stream combination” to the data ID at the improved bit rate (step S205). Finally, reference information including correspondence information between the “stream combination information” and the “stream request information” composed of the data ID is created (step S206).

例えば、伝送レート:10Mbps、ベースビットレート:500kbps、改善ビットレート:1Mbps、「ストリーム組合せ」をストリームID(7,8,9,13,14,15,19,20,21,25,26,27)、評価値を平均SNR(全フレームのSNR(信号雑音比:signal-noise ratio)の平均値)とした場合、ストリームIDとデータIDとの対応情報は、図4に示すようになる。   For example, transmission rate: 10 Mbps, base bit rate: 500 kbps, improved bit rate: 1 Mbps, “stream combination” is stream ID (7, 8, 9, 13, 14, 15, 19, 20, 21, 25, 26, 27 ), When the evaluation value is an average SNR (average value of SNR (signal-noise ratio) of all frames), correspondence information between the stream ID and the data ID is as shown in FIG.

また、各フレームのSNRは、次式(1)により算出する。   Further, the SNR of each frame is calculated by the following equation (1).

SNR=10*log10(MAX/MSE) (1) SNR = 10 * log 10 (MAX 2 / MSE) (1)

単位はデシベル[dB]である。MAXは、原画像が取り得る最大画素値である。例えば、ビット深度が8ビットの場合のMAXの値は、255となる。また、数式(1)のMSEとは、平均二乗誤差(Mean Square Error)のことであり、タイルサイズの原画像とローカルデコード画像との差分の二乗総和を、タイルサイズの画素数で割ることで求められる。   The unit is decibel [dB]. MAX is the maximum pixel value that the original image can take. For example, the value of MAX when the bit depth is 8 bits is 255. The MSE in Equation (1) is a mean square error, and the square sum of the difference between the tile-size original image and the local decoded image is divided by the number of pixels of the tile size. Desired.

なお、符号化部201にてローカルデコード画像が得られない符号化モード(例えば、フルイントラモード)などの場合には、ローカルデコード画像作成(復号化)を符号化手順とは別に行う必要がある。   In the case of an encoding mode (for example, full intra mode) in which a local decoded image cannot be obtained by the encoding unit 201, local decoded image creation (decoding) needs to be performed separately from the encoding procedure. .

図5は、本第1実施形態による、多重化装置10における参照情報作成の詳細手順を説明するためのフローチャートである。参照情報作成部203は、まず、「ストリーム組合せ」の設定(ストリームID(7,8,9,13,14,15,19,20,21,25,26,27)、Nt=12)、伝送ビットレート(Max_bitrate)=10Mbpsの設定を行う(ステップS301)。次に、ベースビットレート(tile_bitrate_base)=500kbps、改善ビットレート(tile_bitrate_up)=1Mbpsの設定を行う(ステップS302)。   FIG. 5 is a flowchart for explaining detailed procedures for creating reference information in the multiplexing apparatus 10 according to the first embodiment. The reference information creation unit 203 first sets the “stream combination” (stream ID (7, 8, 9, 13, 14, 15, 19, 20, 21, 25, 26, 27), Nt = 12), transmission The bit rate (Max_bitrate) is set to 10 Mbps (step S301). Next, the base bit rate (tile_bitrate_base) = 500 kbps and the improved bit rate (tile_bitrate_up) = 1 Mbps are set (step S302).

次に、Nt(「ストリーム組合せ」のストリームIDの個数)×tile_bitrate_base(ベースビットレート)<Max_bitrate(伝送ビットレート)であり(第1の条件)、かつ、M1(Max_bitrate−Nt×tile_bitrate_base)>M2(tile_bitrate_up−tile_bitrate_base)、または、M1=M2となる第2の条件を満足するか否かを判定する(ステップS303)。   Next, Nt (number of stream IDs of “stream combination”) × tile_bitrate_base (base bit rate) <Max_bitrate (transmission bit rate) (first condition), and M1 (Max_bitrate−Nt × tile_bitrate_base)> M2 It is determined whether (tile_bitrate_up-tile_bitrate_base) or a second condition of M1 = M2 is satisfied (step S303).

上記第1の条件、または第2の条件を満たさない場合には、tile_bitrate_base=tile_bitrate_base−Δtile_bitrate_base、tile_bitrate_up=tile_bitrate_up−Δtile_bitrate_upとし(ステップS304)、ステップS303に戻る。   If the first condition or the second condition is not satisfied, tile_bitrate_base = tile_bitrate_base-Δtile_bitrate_base and tile_bitrate_up = tile_bitrate_up-Δtile_bitrate_up are set (step S304), and the process returns to step S303.

一方、上述した設定条件では、「ストリーム組合せ」のストリームIDの個数よりNt=12であるので、Nt×title_bitrate_base=12×0.5Mbps=6Mbps<Max_bitrate=10Mbpsとなり、第1の条件を満たし、さらに、tile_bitrate_up=1Mbpsであるので、M1=10−12×0.5=4Mbps、M2=1−0.5=0.5Mbpsとなり、M1>M2の第2の条件を満たす(ステップS303のYES)。   On the other hand, in the setting condition described above, Nt = 12 based on the number of stream IDs of the “stream combination”, so Nt × title_bitrate_base = 12 × 0.5 Mbps = 6 Mbps <Max_bitrate = 10 Mbps, which satisfies the first condition, Since tile_bitrate_up = 1 Mbps, M1 = 10−12 × 0.5 = 4 Mbps, M2 = 1−0.5 = 0.5 Mbps, and the second condition of M1> M2 is satisfied (YES in step S303).

上記第1の条件、及び第2の条件を満たすと、Mup=INT(4/0.5)=8を算出し(ステップS305)、「ストリーム組合せ」内の12個のベースビットレートにおけるデータIDに関するY成分のSNRをキーとして昇順にソートする(ステップS306)。これにより、図6に示すソート結果を得る。   When the first condition and the second condition are satisfied, Mup = INT (4 / 0.5) = 8 is calculated (step S305), and the data IDs at the 12 base bit rates in the “stream combination” are calculated. Sorting in ascending order by using the SNR of the Y component for the key as a key (step S306). Thereby, the sort result shown in FIG. 6 is obtained.

次に、Mup=8から、SNRの小さい順に8個選定し(ステップS307)、図4に示す「データID」の対応情報を参照し、ベースビットレートtile_bitrate_baseにおけるデータIDを、図7に示すように、改善ビットレートtile_bitrate_upにおけるデータIDに変更する(ステップS308)。最後に、図8に示すように、「ストリーム組合せ」とデータIDから構成される「ストリーム要求情報」との対応情報を含む参照情報を作成する(ステップS309)。   Next, eight are selected from Mup = 8 in ascending order of SNR (step S307), the correspondence information of “data ID” shown in FIG. 4 is referred to, and the data ID at the base bit rate tile_bitrate_base is as shown in FIG. In addition, the data ID is changed to the improved bit rate tile_bitrate_up (step S308). Finally, as shown in FIG. 8, reference information including correspondence information between “stream combination” and “stream request information” composed of data IDs is created (step S309).

次に、本第1実施形態による映像伝送システムで、映像再生クライアント30からのコマンド送信から映像表示までの一連の手順について図9から図11を参照して説明する。   Next, a series of procedures from command transmission from the video playback client 30 to video display in the video transmission system according to the first embodiment will be described with reference to FIGS.

図9は、映像再生クライアント30のコマンド送信手順を説明するためのフローチャートである。まず、ストリーム組合せ指定部215にて、「ストリーム組合せ」の指定を行い(ステップS501)、コマンド変換部211にて、「ストリーム組合せ」から「ストリーム要求情報」への変換を行い(ステップS502)、コマンド送信部209にて、コマンド送信を行う(ステップS503)。   FIG. 9 is a flowchart for explaining the command transmission procedure of the video reproduction client 30. First, the “stream combination” is designated by the stream combination designation unit 215 (step S501), the “stream combination” is converted to “stream request information” by the command conversion unit 211 (step S502), The command transmission unit 209 transmits a command (step S503).

図10は、映像伝送サーバ20のコマンド受信およびデータ送信手順を説明するためのフローチャートである。まず、コマンド受信部206にて、コマンドを受信し(ステップS401)、コマンドに含まれる要求データIDの解釈を行い(ステップS402)、要求データIDに対応するストリームをデータ蓄積部202からデータ送信部207へ転送する(ステップS403)。最後に、データ送信部207にてストリームの送信を行う(ステップS404)。   FIG. 10 is a flowchart for explaining command reception and data transmission procedures of the video transmission server 20. First, the command reception unit 206 receives a command (step S401), interprets the request data ID included in the command (step S402), and sends a stream corresponding to the request data ID from the data storage unit 202 to the data transmission unit. Transfer to 207 (step S403). Finally, the data transmission unit 207 transmits the stream (step S404).

図11は、映像再生クライアント30のデータ受信および映像表示手順を説明するためのフローチャートである。まず、データ受信部212にてストリームの受信を行い(ステップS601)、次に復号化部213にてストリームの復号化を行う(ステップS602)。最後に、映像表示部214にて復号化データの表示を行う(ステップS603)。   FIG. 11 is a flowchart for explaining the data reception and video display procedure of the video playback client 30. First, the data receiving unit 212 receives a stream (step S601), and then the decoding unit 213 decodes the stream (step S602). Finally, the decoded data is displayed on the video display unit 214 (step S603).

B.第2実施形態
次に、本発明の第2実施形態について説明する。
図12は、本第2実施形態による映像伝送システムの構成を示すブロック図である。なお、図1に対応する部分には同一の符号を付けて説明を省略する。多重化装置10において、映像分割部301は、入力された映像データをM本のストリームに分割(タイル分割)する。符号化部201は、各ストリームを複数の符号化レートで符号化・多重化し、映像データを作成する。
B. Second Embodiment Next, a second embodiment of the present invention will be described.
FIG. 12 is a block diagram showing the configuration of the video transmission system according to the second embodiment. It should be noted that portions corresponding to those in FIG. In the multiplexing apparatus 10, the video dividing unit 301 divides input video data into M streams (tile division). The encoding unit 201 encodes and multiplexes each stream at a plurality of encoding rates to create video data.

上述したように、本第2実施形態では、映像分割部301にて、入力映像データを同期した複数のストリームに分割する。例えば、入力映像サイズ3840×1920画素、タイルサイズ640×320画素とした場合には、図13に示すような分割結果となる。このとき、映像表示領域サイズを1920×1080画素とした場合、映像表示のパターンは、12パターンとなる。   As described above, in the second embodiment, the video dividing unit 301 divides input video data into a plurality of synchronized streams. For example, when the input video size is 3840 × 1920 pixels and the tile size is 640 × 320 pixels, the division result shown in FIG. 13 is obtained. At this time, if the video display area size is 1920 × 1080 pixels, the video display pattern is 12 patterns.

図14は、各データIDに対するSNRの算出手順を説明するためのフローチャートである。まず、3840×1920画素の入力映像を、図13に示すように、6×6=36個にタイル分割する(ステップS101)。次に、各タイルを複数の段階のビットレート(例えば、500kbps、1Mbps、1.5Mbps)で符号化する(ステップS102)。続いて、各タイルの符号化結果に対するデータIDの付与を行う(ステップS103)。例えば、図15、図16、図17には、複数の段階のビットレート(500kbps、1Mbps、1.5Mbps)で付与されたデータIDを示している。   FIG. 14 is a flowchart for explaining the SNR calculation procedure for each data ID. First, the input video of 3840 × 1920 pixels is divided into 6 × 6 = 36 tiles as shown in FIG. 13 (step S101). Next, each tile is encoded at a plurality of bit rates (for example, 500 kbps, 1 Mbps, and 1.5 Mbps) (step S102). Subsequently, a data ID is assigned to the encoding result of each tile (step S103). For example, FIGS. 15, 16, and 17 show data IDs assigned at a plurality of stages of bit rates (500 kbps, 1 Mbps, and 1.5 Mbps).

次に、図18に示すような、タイルIDと映像符号化データIDの対応情報を作成する(ステップS104)。最後に、入力画像のタイル分割後に得られるタイルサイズの原画像と、符号化部201での処理の過程で得られるタイルサイズのローカルデコード画像とから各データIDに対する平均SNR(全フレームのSNRの平均値)を算出する(ステップS105)。   Next, correspondence information between the tile ID and the encoded video data ID as shown in FIG. 18 is created (step S104). Finally, an average SNR for each data ID (the SNR of all frames) from the tile-size original image obtained after tile division of the input image and the tile-size local decoded image obtained in the process of the encoding unit 201. (Average value) is calculated (step S105).

ここで、各フレームのSNRは、前述した第1実施形態と同様に、数式(1)で算出する。なお、符号化部201にてローカルデコード画像が得られない符号化モード(例えば、フルイントラモード)などの場合には、ローカルデコード画像作成(復号化)を、符号化手順とは別に行う必要がある。   Here, the SNR of each frame is calculated by Expression (1) as in the first embodiment. In the case of an encoding mode (for example, full intra mode) in which a local decoded image cannot be obtained by the encoding unit 201, local decoded image creation (decoding) needs to be performed separately from the encoding procedure. is there.

本第2実施形態において、コマンド変換部211でのコマンド変換の際に必要となる、参照情報の作成手順は、前述した第1実施形態と同様(図3)であるので、異なる点についてのみ説明する。   In the second embodiment, the reference information creation procedure required for command conversion in the command conversion unit 211 is the same as that in the first embodiment (FIG. 3), and therefore only different points will be described. To do.

例えば、図13に示すように、タイルサイズを640×320画素、入力映像サイズを3840×1920画素、映像表示領域サイズを1920×1080画素とした場合の例について説明する。図13に示すようなケースの場合、映像表示領域が拡大縮小せず、平行移動のみと仮定した場合、全部で表示パターンは、図19に示すように、表示パターンP1〜P12の12パターンとなる。各タイルIDが付与されたストリームを入力画像として、図15に示す、500kbpsで符号化した結果のストリーム、図16に示す、1Mbpsで符号化した結果を、図17に示す、1.5Mbpsで符号化した結果を、データID付与したとき、タイルIDとデータIDの対応関係は、図18に表すことができる。   For example, as shown in FIG. 13, an example in which the tile size is 640 × 320 pixels, the input video size is 3840 × 1920 pixels, and the video display area size is 1920 × 1080 pixels will be described. In the case as shown in FIG. 13, when it is assumed that the video display area is not enlarged / reduced and only parallel movement is performed, the total display pattern is 12 patterns of display patterns P1 to P12 as shown in FIG. . The stream to which each tile ID is assigned as an input image, the result of encoding at 500 kbps shown in FIG. 15, the result of encoding at 1 Mbps shown in FIG. 16, and the result of encoding at 1.5 Mbps shown in FIG. When the data ID is assigned to the converted result, the correspondence relationship between the tile ID and the data ID can be represented in FIG.

ここで、本第2実施形態において、伝送レート10Mbps、ベースビットレート500kbps、改善ビットレート1Mbps、または1.5Mbps、評価値を平均SNR(全フレームのSNRの平均値)とした場合について説明する。なお、本第2実施形態による、多重化装置10における参照情報作成手順は、前述した第1実施形態と基本的に同様(図5)であるので、図5を参照して説明する。   Here, in the second embodiment, a case where the transmission rate is 10 Mbps, the base bit rate is 500 kbps, the improved bit rate is 1 Mbps, or 1.5 Mbps, and the evaluation value is an average SNR (average value of SNR of all frames) will be described. The reference information creation procedure in the multiplexing apparatus 10 according to the second embodiment is basically the same as that in the first embodiment (FIG. 5), and will be described with reference to FIG.

ステップS301において、「ストリーム組合せ」として、図19に示す「表示パターンP6」を設定、伝送レートが10MbpsなのでMax_bitrate=10Mbpsで設定する。次に、ステップS302において、ベースビットレートtitle_bitrate_base=500kbps、改善ビットレートtile_bitrate_up=1Mbpsを設定した場合について説明する。   In step S301, the “display pattern P6” shown in FIG. 19 is set as the “stream combination”. Since the transmission rate is 10 Mbps, Max_bitrate = 10 Mbps is set. Next, the case where the base bit rate title_bitrate_base = 500 kbps and the improved bit rate tile_bitrate_up = 1 Mbps are set in step S302 will be described.

図19に示す「表示パターンP6」内のタイル数は、12タイルなので、Nt=12となる。よって、ステップS303において、Nt×title_bitrate_base=12×0.5Mbps=6MbpsMax_bitrate=10Mbpsとなり、条件を満たし、さらに、tile_bitrate_up=1Mbpsの場合、M1=10−12×0.5=4Mbps、M2=1−0.5=0.5Mbpsとなり、M1>M2の条件を満たす。   Since the number of tiles in the “display pattern P6” shown in FIG. 19 is 12 tiles, Nt = 12. Therefore, in step S303, Nt × title_bitrate_base = 12 × 0.5 Mbps = 6 MbpsMax_bitrate = 10 Mbps, which satisfies the condition, and further, when tile_bitrate_up = 1 Mbps, M1 = 10−12 × 0.5 = 4 Mbps, M2 = 1-0 .5 = 0.5 Mbps, which satisfies the condition of M1> M2.

上記条件を満たすと、ステップS305で、Mup=INT(4/0.5)=8と算出できる。次に、図18に示すタイルIDと映像符号化データIDとの対応情報より、「表示パターンP6」内の12個のタイルIDに対応するベースビットレートにおけるデータIDを選択し、ステップS306において、このデータIDに関するY成分の平均SNRをキーとして昇順にソートする。これにより、図6に示すソート結果を得る。   If the above condition is satisfied, Mup = INT (4 / 0.5) = 8 can be calculated in step S305. Next, the data ID at the base bit rate corresponding to the 12 tile IDs in the “display pattern P6” is selected from the correspondence information between the tile ID and the video encoded data ID shown in FIG. 18, and in step S306, Sorting in ascending order using the average SNR of the Y component relating to the data ID as a key. Thereby, the sort result shown in FIG. 6 is obtained.

次に、ステップS305で算出されたMup=8から、ステップS307において、SNRの小さい順に8個選定し、ステップS308において、図18に示す「データID」の対応情報を参照し、ベースビットレートtile_bitrate_baseにおけるデータIDを、改善ビットレートtile_bitrate_upにおけるデータIDに変更する。最後に、ステップS309において、図8に示すように、「ストリーム組合せ」とデータIDとから構成される「ストリーム要求情報」の対応情報を含む参照情報を作成する。   Next, from Mup = 8 calculated in step S305, eight are selected in ascending order of SNR in step S307, and in step S308, the correspondence information of “data ID” shown in FIG. 18 is referred to, and the base bit rate tile_bitrate_base is selected. Is changed to the data ID at the improved bit rate tile_bitrate_up. Finally, in step S309, as shown in FIG. 8, reference information including correspondence information of “stream request information” composed of “stream combination” and data ID is created.

一方、tile_bitrate_up=1.5Mbpと設定した場合には、ステップS303において、M1=10−12×0.5=4Mbps、M2=1.5−0.5=1.0Mbpsとなり、M1>M2の条件を満たすので、ステップS305において、Mup=INT(4/1.0)=4と算出できる。   On the other hand, when tile_bitrate_up = 1.5 Mbps is set, in step S303, M1 = 10−12 × 0.5 = 4 Mbps, M2 = 1.5−0.5 = 1.0 Mbps, and the condition of M1> M2 Therefore, in step S305, Mup = INT (4 / 1.0) = 4 can be calculated.

次に、ステップS306において、表示パターンP6内の12個のタイル数分のデータIDに関するY成分のSNRをキーとして昇順にソートする。これにより、図6に示すソート結果を得る。次に、S305で算出されたMup=4から、ステップS307において、SNRの小さい順に4個選定し、ステップS308において、図18に示す「データID」の対応情報を参照し、ベースビットレートtile_bitrate_baseにおけるデータIDを、図20に示すように、改善ビットレートtile_bitrate_upにおけるデータIDに変更する。最後に、ステップS309において、図21に示すように、「ストリーム組合せ」とデータIDから構成される「ストリーム要求情報」との対応情報を含む参照情報を作成する。   Next, in step S306, sorting is performed in ascending order using the SNRs of the Y components related to the data IDs corresponding to the number of twelve tiles in the display pattern P6 as keys. Thereby, the sort result shown in FIG. 6 is obtained. Next, from Mup = 4 calculated in S305, four are selected in ascending order of SNR in step S307, and in step S308, the correspondence information of “data ID” shown in FIG. 18 is referred to, and the base bit rate tile_bitrate_base is set. As shown in FIG. 20, the data ID is changed to the data ID at the improved bit rate tile_bitrate_up. Finally, in step S309, as shown in FIG. 21, reference information including correspondence information between “stream combination” and “stream request information” composed of the data ID is created.

なお、本第2実施形態において、映像再生クライアントにおけるコマンド送信から映像表示までの一連の手順については、前述した第1実施形態と同様(図9から図11)であるので、説明を省略する。   In the second embodiment, a series of procedures from command transmission to video display in the video playback client is the same as that in the first embodiment described above (FIGS. 9 to 11), and a description thereof will be omitted.

C.第3実施形態
次に、本発明の第3実施形態について説明する。
図22は、本第3実施形態による映像伝送システムの構成を示すブロック図である。なお、図1に対応する部分には同一の符号を付けて説明を省略する。多重化装置10において、評価値計算部403は、データ蓄積部402に蓄積されている映像データを用いて、評価値を計算し、計算値蓄積部404に蓄積する。なお、評価値、映像データの順に多重化したデータをデータ蓄積部402に蓄積してもよい。
C. Third Embodiment Next, a third embodiment of the present invention will be described.
FIG. 22 is a block diagram showing the configuration of the video transmission system according to the third embodiment. It should be noted that portions corresponding to those in FIG. In the multiplexing apparatus 10, the evaluation value calculation unit 403 calculates an evaluation value using the video data stored in the data storage unit 402 and stores the evaluation value in the calculation value storage unit 404. Note that data multiplexed in the order of evaluation values and video data may be stored in the data storage unit 402.

映像伝送サーバ20において、評価値送信部408は、評価値蓄積部404から評価値情報を取り出し、映像再生クライアントへ送出する。   In the video transmission server 20, the evaluation value transmission unit 408 extracts the evaluation value information from the evaluation value storage unit 404 and sends it to the video reproduction client.

映像再生クライアント30において、評価値受信部415は、映像伝送サーバ20から送信される評価値情報を受信し、評価値蓄積部416に蓄積する。参照情報作成部418は、ストリーム組合せ指定に変更があった場合に、評価値蓄積部416から評価値情報を取り出し、参照情報の作成を行い、該参照情報を参照情報蓄積部210に蓄積する。   In the video reproduction client 30, the evaluation value receiving unit 415 receives the evaluation value information transmitted from the video transmission server 20 and stores it in the evaluation value storage unit 416. When the stream combination designation is changed, the reference information creation unit 418 extracts the evaluation value information from the evaluation value storage unit 416, creates the reference information, and stores the reference information in the reference information storage unit 210.

なお、多重化装置10におけるデータ蓄積部202と評価値蓄積部404とを機能統合し、映像伝送サーバ20におけるデータ送信部207と評価値送信部408とを機能統合し、映像再生クライアント30におけるデータ受信部212と評価値受信部415とを機能統合するような構成も可能である。   The data storage unit 202 and the evaluation value storage unit 404 in the multiplexing apparatus 10 are functionally integrated, the data transmission unit 207 and the evaluation value transmission unit 408 in the video transmission server 20 are functionally integrated, and the data in the video playback client 30 is integrated. A configuration in which the receiving unit 212 and the evaluation value receiving unit 415 are functionally integrated is also possible.

本第3実施形態は、前述した第1実施形態の変形であり、図1の構成と図22の構成とを比較することで分かる通り、多重化装置10で参照情報を作成するのではなく、映像再生クライアント30で参照情報の作成を行う。   The third embodiment is a modification of the above-described first embodiment. As can be seen by comparing the configuration of FIG. 1 with the configuration of FIG. 22, the multiplexing apparatus 10 does not create reference information. Reference information is created by the video playback client 30.

このため、映像伝送クライアント30に送信される情報は、図8、及び図21に示す情報ではなく、図4に示すストリームIDと映像符号化データIDとの対応情報、及び図6に示すソートした結果(ここでは、全データIDに対する平均SNR計算結果)となる。映像再生クライアント30での参照情報の作成は、前述した第1実施形態と同様である。つまり、図5における、ステップS301の「ストリーム組合せ」の設定を、図22に示すストリーム組合せ指定部215にて行い、「ストリーム組合せ」の指定の変化に応じて、図5に示す手順で参照情報の作成を行う。   Therefore, the information transmitted to the video transmission client 30 is not the information shown in FIG. 8 and FIG. 21, but the correspondence information between the stream ID and the video encoded data ID shown in FIG. 4 and the sort shown in FIG. This is the result (here, the average SNR calculation result for all data IDs). The creation of the reference information in the video playback client 30 is the same as in the first embodiment described above. That is, the setting of “stream combination” in step S301 in FIG. 5 is performed by the stream combination designation unit 215 shown in FIG. 22, and the reference information according to the procedure shown in FIG. 5 according to the change in designation of “stream combination”. Create.

D.第4実施形態
次に、本発明の第4実施形態について説明する。
図23は、本第4実施形態による映像伝送システムの構成を示すブロック図である。なお、図1、図12、図22に対応する部分には同一の符号を付けて説明を省略する。図23から明らかなように、本第4実施形態による映像伝送システムは、図1に示す第1実施形態による映像伝送システムの構成に対して、図12に示す第2実施形態の構成、及び図22に示す第3実施形態の構成を採用した構成となっている。
D. Fourth Embodiment Next, a fourth embodiment of the present invention will be described.
FIG. 23 is a block diagram showing the configuration of the video transmission system according to the fourth embodiment. In addition, the same code | symbol is attached | subjected to the part corresponding to FIG.1, FIG.12, FIG.22, and description is abbreviate | omitted. As is apparent from FIG. 23, the video transmission system according to the fourth embodiment is different from the video transmission system according to the first embodiment shown in FIG. The configuration of the third embodiment shown in FIG.

すなわち、本第4実施形態による映像伝送システムでは、多重化装置10において、映像分割部301が、入力された映像データをM本のストリームに分割(タイル分割)し、評価値計算部403は、データ蓄積部503に蓄積されている映像データを用いて、評価値を計算し、計算値蓄積部404に蓄積する。また、映像伝送サーバ20において、評価値送信部408は、評価値蓄積部404から評価値情報を取り出し、映像再生クライアント30へ送出する。映像再生クライアント30において、評価値受信部415は、映像伝送サーバ20から送信される評価値情報を受信し、評価値蓄積部416に評価値情報を蓄積し、参照情報作成部418は、ストリーム組合せ指定に変更があった場合に、評価値蓄積部416から評価値情報を取り出し、参照情報の作成を行い、参照情報を参照情報蓄積部210に蓄積する。   That is, in the video transmission system according to the fourth embodiment, in the multiplexing device 10, the video dividing unit 301 divides input video data into M streams (tile division), and the evaluation value calculating unit 403 An evaluation value is calculated using the video data stored in the data storage unit 503 and stored in the calculated value storage unit 404. In the video transmission server 20, the evaluation value transmission unit 408 extracts the evaluation value information from the evaluation value storage unit 404 and sends it to the video reproduction client 30. In the video reproduction client 30, the evaluation value receiving unit 415 receives the evaluation value information transmitted from the video transmission server 20, stores the evaluation value information in the evaluation value storage unit 416, and the reference information creation unit 418 receives the stream combination. When the designation is changed, the evaluation value information is extracted from the evaluation value storage unit 416, the reference information is created, and the reference information is stored in the reference information storage unit 210.

本第4実施形態は、前述した第1実施形態の変形であり、図12の構成と図23の構成とを比較することで分かる通り、多重化装置10で参照情報を作成するのではなく、映像再生クライアント30で参照情報の作成を行う。   The fourth embodiment is a modification of the above-described first embodiment. As can be seen by comparing the configuration of FIG. 12 with the configuration of FIG. 23, the multiplexing apparatus 10 does not create reference information. Reference information is created by the video playback client 30.

このため、映像伝送クライアント30に送信される情報は、図8、及び図21に示す情報ではなく、図18、及び図6(ここでは、全データIDに対する平均SNR計算結果)に示す情報となる。映像再生クライアント30での参照情報の作成は、前述した第2実施形態と同様であり、図5における、ステップS301の「ストリーム組合せ」の設定を、図23のストリーム組合せ指定部215にて行い、「ストリーム組合せ」の指定の変化に応じて、図5に示す手順で参照情報の作成を行えばよい。   Therefore, the information transmitted to the video transmission client 30 is not the information shown in FIGS. 8 and 21, but the information shown in FIGS. 18 and 6 (here, the average SNR calculation result for all data IDs). . The creation of the reference information in the video playback client 30 is the same as in the second embodiment described above, and the “stream combination” in step S301 in FIG. 5 is set in the stream combination designation unit 215 in FIG. Reference information may be created according to the procedure shown in FIG. 5 in accordance with the change in designation of “stream combination”.

E.第5実施形態
次に、本発明の第5実施形態について説明する。
本第5実施形態による映像伝送システムの構成は、図12に示す本第2実施形態による映像伝送システムの構成と同じであるので説明を省略する。本第5実施形態では、伝送レート:11Mbps、ベースビットレート:500kbps、改善ビットレート:1Mbps、及び1.5Mbps(2段階の改善)、評価値を平均SNR(全フレームのSNRの平均値)とした場合の参照情報作成手順について説明する。
E. Fifth Embodiment Next, a fifth embodiment of the present invention will be described.
The configuration of the video transmission system according to the fifth embodiment is the same as the configuration of the video transmission system according to the second embodiment shown in FIG. In the fifth embodiment, the transmission rate is 11 Mbps, the base bit rate is 500 kbps, the improved bit rate is 1 Mbps, and 1.5 Mbps (two-stage improvement), and the evaluation value is an average SNR (average value of SNR of all frames). The reference information creation procedure in the case of having been performed will be described.

図24は、本第5実施形態による、多重化装置10における参照情報作成手順を説明するためのフローチャートである。まず、伝送帯域を示す「伝送レート」を11Mbpsに設定し、データIDの組合せから構成される「ストリーム組合せ」の設定(ストリームID=(7,8,9,13,14,15,19,20,21,25,26,27))を行い(ステップS701)、次に、基本となる符号化レートを示す「ベースビットレート」=500kbpsと、基本となる符号化レートより大きい符号化レートを示す「改善ビットレート」=1Mbps and 1.5Mbpsの設定を行う(ステップS702)。   FIG. 24 is a flowchart for explaining a reference information creation procedure in the multiplexing apparatus 10 according to the fifth embodiment. First, a “transmission rate” indicating a transmission band is set to 11 Mbps, and a “stream combination” configured by a combination of data IDs (stream ID = (7, 8, 9, 13, 14, 15, 19, 20) is set. , 21, 25, 26, 27)) (step S 701), and then “base bit rate” = 500 kbps indicating the basic encoding rate, indicating an encoding rate higher than the basic encoding rate “Improved bit rate” = 1 Mbps and 1.5 Mbps are set (step S702).

次に、図25に示すように、評価値(SNR_Y500で示される平均SNR)をキーとしたデータIDの昇順ソートを行い(ステップS703)、ベースビットレートによる符号化データに付与されたデータID=(107,108,109,113,114,115,119,120,121,125,126,127)のうち、SNRが最低値を示すデータID=121を、1段階上の1Mbpsで符号化されたデータに付与されたデータID=221に変更する(ステップS704)。変更後は、データID=(107,108,109,113,114,115,119,120,221,125,126,127)となる。   Next, as shown in FIG. 25, the data ID is sorted in ascending order using the evaluation value (average SNR indicated by SNR_Y500) as a key (step S703), and the data ID given to the encoded data by the base bit rate = Of (107, 108, 109, 113, 114, 115, 119, 120, 121, 125, 126, 127), the data ID = 121 indicating the lowest SNR was encoded at 1 Mbps on one stage. The data ID assigned to the data is changed to 221 (step S704). After the change, data ID = (107, 108, 109, 113, 114, 115, 119, 120, 221, 125, 126, 127).

この結果、総ビットレート11×0.5Mbps+1×1Mbps=6.5Mbps<伝送レート:11Mbpsとなり(ステップS705のNO)、S703へ戻る。なお、ソートとデータID変更を複数回行った後、データID=221をさらに変更する際には、1段階上の1.5Mbpsで符号化されたデータに付与されたデータID=321に変更する。   As a result, the total bit rate is 11 × 0.5 Mbps + 1 × 1 Mbps = 6.5 Mbps <transmission rate: 11 Mbps (NO in step S705), and the process returns to S703. When the data ID = 221 is further changed after the sorting and the data ID change are performed a plurality of times, the data ID is changed to the data ID = 321 given to the data encoded at 1.5 Mbps which is one step higher. .

そして、ステップS705にて、YESとなった場合には、総ビットレートが伝送レートを超えていることを示しているので、直前のデータID変更を元に戻す(ステップS706)。今回のケースでは、10回のデータID変更が実施され、図25に示すような結果を得ることができる。ここで、SNR_Yは、変更後のデータIDに対応したデータに対応した平均SNRを示している。次に、図25に斜線で示すデータIDに基づいて、参照情報を作成する(ステップS707)。   If YES in step S705, it indicates that the total bit rate exceeds the transmission rate, so the previous data ID change is restored (step S706). In this case, the data ID change is performed 10 times, and the result shown in FIG. 25 can be obtained. Here, SNR_Y indicates an average SNR corresponding to data corresponding to the changed data ID. Next, reference information is created based on the data IDs indicated by hatching in FIG. 25 (step S707).

なお、図25には、変更前のデータIDと図4により対応付けられたデータIDに対する平均SNRとを示している。   FIG. 25 shows the data ID before change and the average SNR for the data ID associated with FIG.

上述した第1実施形態から第5実施形態によれば、複数の同期したストリーム構成からなる映像に対して、複数のビットレートで符号化、及び多重化した映像データから伝送レートに適したN本のストリームを取り出して伝送することで、伝送レート<N×固定符号化レートの場合であっても、N本のストリームから構成される部分映像を送出することができ、伝送レート≧N×固定符号化レートとなるように、符号化レートを下げ過ぎることなく、伝送レートに応じた最適な高画質映像を伝送することができる。   According to the first to fifth embodiments described above, N images suitable for the transmission rate from video data encoded and multiplexed at a plurality of bit rates with respect to a video having a plurality of synchronized stream configurations. Thus, even if transmission rate <N × fixed coding rate, partial video composed of N streams can be transmitted, and transmission rate ≧ N × fixed code. Therefore, it is possible to transmit an optimal high-quality video according to the transmission rate without reducing the encoding rate too much so that the encoding rate is achieved.

10 多重化装置
20 映像伝送サーバ
30 映像再生クライアント
201 符号化部
202 データ蓄積部
203 参照情報作成部
204 参照情報蓄積部
205 データ管理部
206 コマンド受信部
207 データ送信部
208 参照情報送受信部
209 コマンド送信部
210 参照情報蓄積部
211 コマンド変換部
212 データ受信部
213 復号化部
214 映像表示部
215 ストリーム組合わせ指定部
216 参照情報受信部
DESCRIPTION OF SYMBOLS 10 Multiplexer 20 Video transmission server 30 Video reproduction client 201 Encoding part 202 Data storage part 203 Reference information creation part 204 Reference information storage part 205 Data management part 206 Command reception part 207 Data transmission part 208 Reference information transmission / reception part 209 Command transmission Unit 210 reference information storage unit 211 command conversion unit 212 data reception unit 213 decoding unit 214 video display unit 215 stream combination designation unit 216 reference information reception unit

Claims (9)

符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化装置であって、
複数のストリームの各々を、複数の符号化レートで符号化し多重化する符号化手段と、
前記符号化手段により複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択する選択手段と、
前記符号化手段により複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出する評価値算出手段と、
前記選択手段により選択される前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成する参照情報作成手段と、
前記参照情報作成手段により作成された参照情報に基づいて、前記選択手段により選択されるべき前記所定数のストリームの組合わせを指示する選択指示手段と、
前記選択手段により最終的に選択された、前記所定数のストリームを伝送する伝送手段と
を備えることを特徴とする映像多重化装置。
A video multiplexing device that encodes and multiplexes a plurality of encoded streams and transmits in a predetermined transmission band,
Encoding means for encoding and multiplexing each of the plurality of streams at a plurality of encoding rates;
Selecting means for selecting a predetermined number of streams from a plurality of streams encoded at a plurality of code rates by the encoding means;
Evaluation value calculation means for calculating a quality evaluation value for each of a plurality of streams encoded at a plurality of encoding rates by the encoding means;
The sum of the encoding rates of the predetermined number of streams selected by the selection means is within the predetermined transmission band, and the minimum value of the quality evaluation values of the predetermined number of streams is higher. A reference information creating means for creating reference information for identifying a combination of streams;
Selection instruction means for instructing a combination of the predetermined number of streams to be selected by the selection means based on the reference information created by the reference information creation means;
And a transmission means for transmitting the predetermined number of streams finally selected by the selection means.
入力された映像データを小領域に分割することで複数のストリームを生成する映像分割手段を更に備え、
前記符号化手段は、
前記映像分割手段により分割された複数のストリームの各々を、複数の符号化レートで符号化し多重化することを特徴とする請求項1記載の映像多重化装置。
Video division means for generating a plurality of streams by dividing the input video data into small areas;
The encoding means includes
2. The video multiplexing apparatus according to claim 1, wherein each of the plurality of streams divided by the video division unit is encoded and multiplexed at a plurality of encoding rates.
前記所定数のストリームの組合わせを指定する指定手段を更に具備し、
前記選択指示手段は、
前記指定手段により前記所定数のストリームの組合わせが変更指示されると、前記参照情報作成手段により作成された参照情報に基づいて、前記選択手段により選択されるべき前記所定数のストリームの組合わせを新たに指示することを特徴とする請求項1または2に記載の映像多重化装置。
A designating unit for designating a combination of the predetermined number of streams;
The selection instruction means includes
When the designation unit instructs to change the combination of the predetermined number of streams, based on the reference information created by the reference information creation unit, the combination of the predetermined number of streams to be selected by the selection unit The video multiplexing apparatus according to claim 1, wherein a new instruction is issued.
前記所定数のストリームの組合わせを指定する指定手段を更に具備し、
前記参照情報作成手段は、
前記指定手段により前記所定数のストリームの組合わせが変更指示されると、変更指示された組合わせに含まれる前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、変更指示された組合わせに含まれる前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を新たに作成することを特徴とする請求項1または2に記載の映像多重化装置。
A designating unit for designating a combination of the predetermined number of streams;
The reference information creating means includes
When the designation unit instructs to change the combination of the predetermined number of streams, the sum of the encoding rates of the predetermined number of streams included in the combination instructed to change is within the predetermined transmission band, and The reference information for identifying the combination of the predetermined number of streams is newly created, wherein the minimum value of the quality evaluation values of the predetermined number of streams included in the combination instructed to be changed becomes higher. Item 3. The video multiplexing device according to Item 1 or 2.
符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化方法であって、
複数のストリームの各々を、複数の符号化レートで符号化し多重化するステップと、
前記複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択するステップと、
前記複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出するステップと、
前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成するステップと、
前記作成された参照情報に基づいて、選択すべき前記所定数のストリームの組合わせを指示するステップと、
最終的に選択された、前記所定数のストリームを伝送するステップと
を含むことを特徴とする映像多重化方法。
A video multiplexing method for encoding and multiplexing a plurality of encoded streams and transmitting in a predetermined transmission band,
Encoding and multiplexing each of the plurality of streams at a plurality of encoding rates;
Selecting a predetermined number of streams from a plurality of streams encoded at the plurality of code rates;
Calculating a quality evaluation value for each of a plurality of streams encoded at the plurality of encoding rates;
The combination of the predetermined number of streams is specified such that the sum of the encoding rates of the predetermined number of streams is within the predetermined transmission band, and the lowest quality evaluation value of the predetermined number of streams is higher. Creating a reference information;
Instructing a combination of the predetermined number of streams to be selected based on the created reference information;
And finally transmitting the predetermined number of selected streams. The video multiplexing method comprising:
入力された映像データを小領域に分割することで複数のストリームを生成するステップと、
前記分割された複数のストリームの各々を、複数の符号化レートで符号化し多重化するステップと
を更に含むことを特徴とする請求項5記載の映像多重化方法。
Generating a plurality of streams by dividing input video data into small areas;
The video multiplexing method according to claim 5, further comprising: encoding and multiplexing each of the plurality of divided streams at a plurality of encoding rates.
前記所定数のストリームの組合わせを指定するステップと、
前記所定数のストリームの組合わせが変更指示されると、前記参照情報に基づいて、前記選択されるべき前記所定数のストリームの組合わせを新たに指示するステップと
を更に含むことを特徴とする請求項5または6に記載の映像多重化方法。
Designating a combination of the predetermined number of streams;
A step of newly instructing a combination of the predetermined number of streams to be selected based on the reference information when the combination of the predetermined number of streams is instructed to be changed. The video multiplexing method according to claim 5 or 6.
前記所定数のストリームの組合わせを指定するステップと、
前記所定数のストリームの組合わせが変更指示されると、変更指示された組合わせに含まれる前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、変更指示された組合わせに含まれる前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を新たに作成するステップと
を更に含むことを特徴とする請求項5または6に記載の映像多重化方法。
Designating a combination of the predetermined number of streams;
When the change combination of the predetermined number of streams is instructed to be changed, the sum of the encoding rates of the predetermined number of streams included in the change instructed combination is within the predetermined transmission band, and the change is instructed. A step of newly creating reference information for identifying a combination of the predetermined number of streams, wherein a minimum quality evaluation value of the predetermined number of streams included in the combination becomes higher. The video multiplexing method according to claim 5 or 6.
符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化装置のコンピュータに、
複数のストリームの各々を、複数の符号化レートで符号化し多重化する符号化機能、
前記符号化機能により複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択する選択機能、
前記符号化機能により複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出する評価値算出機能、
前記選択機能により選択される前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成する参照情報作成機能、
前記参照情報作成機能により作成された参照情報に基づいて、前記選択機能により選択されるべき前記所定数のストリームの組合わせを指示する選択指示機能、
前記選択機能により最終的に選択された、前記所定数のストリームを伝送する伝送機能
を実現することを特徴とするプログラム。
To a computer of a video multiplexing apparatus that encodes and multiplexes a plurality of encoded streams and transmits them in a predetermined transmission band,
An encoding function for encoding and multiplexing each of a plurality of streams at a plurality of encoding rates;
A selection function for selecting a predetermined number of streams from a plurality of streams encoded at a plurality of code rates by the encoding function;
An evaluation value calculation function for calculating a quality evaluation value for each of a plurality of streams encoded at a plurality of encoding rates by the encoding function;
The predetermined number of streams, wherein the sum of the encoding rates of the predetermined number of streams selected by the selection function is within the predetermined transmission band, and the minimum value of the quality evaluation values of the predetermined number of streams is higher. A reference information creation function for creating reference information for identifying a combination of streams;
A selection instruction function for instructing a combination of the predetermined number of streams to be selected by the selection function based on the reference information created by the reference information creation function;
A program for realizing a transmission function for transmitting the predetermined number of streams finally selected by the selection function.
JP2009258970A 2009-11-12 2009-11-12 Video multiplexing apparatus, video multiplexing method, and program Expired - Fee Related JP5339290B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009258970A JP5339290B2 (en) 2009-11-12 2009-11-12 Video multiplexing apparatus, video multiplexing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009258970A JP5339290B2 (en) 2009-11-12 2009-11-12 Video multiplexing apparatus, video multiplexing method, and program

Publications (2)

Publication Number Publication Date
JP2011109176A true JP2011109176A (en) 2011-06-02
JP5339290B2 JP5339290B2 (en) 2013-11-13

Family

ID=44232231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009258970A Expired - Fee Related JP5339290B2 (en) 2009-11-12 2009-11-12 Video multiplexing apparatus, video multiplexing method, and program

Country Status (1)

Country Link
JP (1) JP5339290B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013115060A1 (en) * 2012-01-31 2013-08-08 シャープ株式会社 Distribution device, distribution method, distribution system, distribution program, recording medium and metadata
JP2015526959A (en) * 2012-06-28 2015-09-10 アルカテル−ルーセント Adaptive streaming aware node, encoder and client that enable smooth quality transition
JP2016046778A (en) * 2014-08-26 2016-04-04 株式会社東芝 Video compression apparatus and video reproducing device
CN107566854A (en) * 2016-06-30 2018-01-09 华为技术有限公司 A kind of acquisition of media content and sending method and device
CN112767310A (en) * 2020-12-31 2021-05-07 咪咕视讯科技有限公司 Video quality evaluation method, device and equipment

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03163979A (en) * 1989-11-22 1991-07-15 Nippon Telegr & Teleph Corp <Ntt> Video encoding multiplex transmission system
JPH0662393A (en) * 1992-08-04 1994-03-04 G C Technol Kk Multiplexed dynamic image encoding method and device
JPH0698324A (en) * 1992-09-16 1994-04-08 Hitachi Ltd Picture information transmission system
JPH07303252A (en) * 1994-05-02 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> Picture encoding/decoding method
JP2000224589A (en) * 1999-01-29 2000-08-11 Toshiba Corp Device and method for coding moving picture
JP2001094906A (en) * 1999-09-22 2001-04-06 Matsushita Electric Ind Co Ltd Program reproducing device and program reproducing method
JP2004088621A (en) * 2002-08-28 2004-03-18 Ntt Docomo Inc Multimedia communication control method, multimedia communication control server and multimedia communication system
JP2004096309A (en) * 2002-08-30 2004-03-25 Fujitsu Ltd Image transmission apparatus, image transmission method, and software program
JP2006060343A (en) * 2004-08-18 2006-03-02 Fuji Xerox Co Ltd Parameter determining apparatus, coding device, method of determining parameter and its program
JP2009118096A (en) * 2007-11-05 2009-05-28 Canon Inc Image encoder, method of controlling the same, and computer program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03163979A (en) * 1989-11-22 1991-07-15 Nippon Telegr & Teleph Corp <Ntt> Video encoding multiplex transmission system
JPH0662393A (en) * 1992-08-04 1994-03-04 G C Technol Kk Multiplexed dynamic image encoding method and device
JPH0698324A (en) * 1992-09-16 1994-04-08 Hitachi Ltd Picture information transmission system
JPH07303252A (en) * 1994-05-02 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> Picture encoding/decoding method
JP2000224589A (en) * 1999-01-29 2000-08-11 Toshiba Corp Device and method for coding moving picture
JP2001094906A (en) * 1999-09-22 2001-04-06 Matsushita Electric Ind Co Ltd Program reproducing device and program reproducing method
JP2004088621A (en) * 2002-08-28 2004-03-18 Ntt Docomo Inc Multimedia communication control method, multimedia communication control server and multimedia communication system
JP2004096309A (en) * 2002-08-30 2004-03-25 Fujitsu Ltd Image transmission apparatus, image transmission method, and software program
JP2006060343A (en) * 2004-08-18 2006-03-02 Fuji Xerox Co Ltd Parameter determining apparatus, coding device, method of determining parameter and its program
JP2009118096A (en) * 2007-11-05 2009-05-28 Canon Inc Image encoder, method of controlling the same, and computer program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013115060A1 (en) * 2012-01-31 2013-08-08 シャープ株式会社 Distribution device, distribution method, distribution system, distribution program, recording medium and metadata
JP2015526959A (en) * 2012-06-28 2015-09-10 アルカテル−ルーセント Adaptive streaming aware node, encoder and client that enable smooth quality transition
JP2016046778A (en) * 2014-08-26 2016-04-04 株式会社東芝 Video compression apparatus and video reproducing device
US10341660B2 (en) 2014-08-26 2019-07-02 Kabushiki Kaisha Toshiba Video compression apparatus and video playback apparatus
CN107566854A (en) * 2016-06-30 2018-01-09 华为技术有限公司 A kind of acquisition of media content and sending method and device
CN112767310A (en) * 2020-12-31 2021-05-07 咪咕视讯科技有限公司 Video quality evaluation method, device and equipment
CN112767310B (en) * 2020-12-31 2024-03-22 咪咕视讯科技有限公司 Video quality evaluation method, device and equipment

Also Published As

Publication number Publication date
JP5339290B2 (en) 2013-11-13

Similar Documents

Publication Publication Date Title
CA2488266C (en) Spatial prediction based intra coding
EP2465267B1 (en) Method and apparatus for encoding and decoding image based on skip mode
US11044437B2 (en) Method and system for combining multiple area-of-interest video codestreams into a combined video codestream
JP5339290B2 (en) Video multiplexing apparatus, video multiplexing method, and program
US20030190042A1 (en) Data process apparatus and method therefor
US20060188165A1 (en) Spatial prediction based intra-coding
JP5487074B2 (en) Video transmission method and video transmission system
JP4696008B2 (en) IP transmission apparatus and IP transmission method
JP2010515306A (en) Device for encoding video data and system for decoding
CN106210443B (en) The method that network-control shows content synchronization
JP2006279550A (en) Video transmitting device and receiving and reproducing device therefor
JP4593060B2 (en) Image encoding device
US20180270507A1 (en) Method for encoding streams of video data based on groups of pictures (gop)
JP5300760B2 (en) Video transmission system, video transmission method and program
JP4316385B2 (en) Robust signal coding
KR100372525B1 (en) Unit and method for audio and video data transmission in network
JP5603840B2 (en) Video tile size determination method
JP3011680B2 (en) Variable length coding apparatus and method
JP5478346B2 (en) Format conversion apparatus, video distribution apparatus, multiplexing apparatus, format conversion method, video distribution method, and program
JP2005151176A (en) Method and device for transmitting picture
WO2019193012A1 (en) Creating different video stream representations
JP2005176068A (en) Motion image distribution system and method therefor
JP3275003B2 (en) Computer-readable recording medium for recording data relating to variable-length codes
JP2002009626A (en) Recording medium for recording program used for variable length coding/decoding device
JP3217771B2 (en) Computer-readable recording medium recording a program relating to variable-length codes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130408

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130730

R150 Certificate of patent or registration of utility model

Ref document number: 5339290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees