JP2007288604A - System and method for transmitting video - Google Patents
System and method for transmitting video Download PDFInfo
- Publication number
- JP2007288604A JP2007288604A JP2006114729A JP2006114729A JP2007288604A JP 2007288604 A JP2007288604 A JP 2007288604A JP 2006114729 A JP2006114729 A JP 2006114729A JP 2006114729 A JP2006114729 A JP 2006114729A JP 2007288604 A JP2007288604 A JP 2007288604A
- Authority
- JP
- Japan
- Prior art keywords
- encoded data
- video
- error
- packet
- reference frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、一般的に、映像符号化データをパケット化して伝送する映像伝送システムに関し、特に、パケット欠落発生に伴う映像品質劣化の回復技術に関する。 The present invention generally relates to a video transmission system that packetizes and transmits video encoded data, and more particularly, to a recovery technique for video quality degradation caused by packet loss.
通常の映像監視システムでは、監視カメラにより撮影されたアナログ映像信号がそのまま伝送されて、テレビジョン(TV)モニタの画面上に映像を表示することで、監視業務が可能になっている。 In a normal video monitoring system, an analog video signal captured by a monitoring camera is transmitted as it is, and a video is displayed on the screen of a television (TV) monitor, thereby enabling monitoring work.
ところで、通信ネットワークの大容量化や広域化が進んだ結果として、アナログ映像信号をディジタル符号化(以下単に符号化と表記する)した映像符号化データをパケット化して、ネットワーク上で伝送する映像伝送システムが一般化されつつある。このようなシステムは、ディジタル・テレビジョン放送以外にも、例えば遠隔地などに設置した監視カメラにより映像監視を行なう前記の映像監視システムにも適用されつつある。 By the way, as a result of an increase in the capacity and wide area of communication networks, video transmission in which video encoded data obtained by digitally encoding analog video signals (hereinafter simply referred to as encoding) is packetized and transmitted over the network. The system is being generalized. In addition to digital television broadcasting, such a system is being applied to the above-described video surveillance system that performs video surveillance using a surveillance camera installed in a remote place, for example.
このような映像伝送システムにおいて、伝送中にパケットの欠落が発生すると、受信側で映像信号を再生する場合に再生映像品質が劣化することになる。通常では、パケット欠落の発生による再生映像品質の劣化を回復させるためには、いわゆるイントラ符号化フレームと呼ぶフレーム内符号化データ(例えば、MPEG方式でのIブロックまたはIピクチャ)が必要となる。しかし、近年の符号化効率の追求により、劣化の回復ポイントであるイントラ符号化フレームの送信間隔が広がっているために、回復までに時間を要する。 In such a video transmission system, if a packet loss occurs during transmission, the playback video quality deteriorates when the video signal is played back on the receiving side. Normally, in order to recover the deterioration of the reproduced video quality due to the occurrence of packet loss, intra-frame encoded data called an intra-encoded frame (for example, I block or I picture in the MPEG system) is required. However, due to the recent pursuit of coding efficiency, the transmission interval of intra-coded frames, which is a recovery point for deterioration, has increased, and it takes time to recover.
従来では、パケットの欠落があった場合に、受信側から送信側に対して、欠落したパケットの再送要求を行うシステムが提案されている(例えば、特許文献1及び2を参照)。このようなシステムであれば、欠落パケットを再送させることにより、再生映像品質の劣化を回復させることが可能となる。しかしながら、再送パケットが到着するまでの待ち時間だけ映像表示が停止することになる。このため、受信側では、伝送された符号化データをある程度バッファリングしなければならないので、映像再生には遅延が発生する。また、再送パケットを伝送することで、ネットワーク帯域を消費し、さらなるパケット欠落の発生要因にもなる。
Conventionally, a system has been proposed in which when a packet is lost, a request for retransmission of the lost packet is made from the reception side to the transmission side (see, for example,
そこで、パケットロスを検出した場合に、該当するパケットデータが再生されたと仮定した場合の画面上の表示位置を特定して、送信側で、その後のフレームの表示位置および周辺のみをイントラブロックとして符号化して伝送する方法が考えられる。この方法であれば、再生映像の品質劣化の回復までに要する時間を短縮できる。 Therefore, when a packet loss is detected, the display position on the screen when it is assumed that the corresponding packet data has been reproduced is specified, and only the display position of the subsequent frame and the surrounding area are encoded as intra blocks on the transmission side. It is conceivable to use a method for transmission. With this method, it is possible to shorten the time required to recover the quality degradation of the reproduced video.
ところで、符号化データを復号化する受信側では、パケットロスによるエラーを含む画面(フレーム)がフレーム間予測の参照フレームとして使用されると、当該エラーが長期間にわたって伝播する事態を回避できない問題がある。特に、近年では、ITU−T(International Telecommunication Union − Telecommunication Standardization Sector)機関によるH.264/AVC規格による映像符号化方式が注目されており、この規格による映像符号化方式では、参照フレームの選択に対する自由度が増えている(例えば、非特許文献1を参照)。
前述したように、伝送中にパケットの欠落が発生した場合に、符号化データを復号化する受信側では、パケットロスによるエラーを含む画面(フレーム)がフレーム間予測の参照フレームとして使用される可能性がある。特に、H.264/AVC規格による映像符号化方式では、従来のMPEG(Moving Picture coding Expert Group)2,4規格等の方式と比較して、エラーを含む画面が参照フレームとして長期間使用される可能性が増大してきている。 As described above, when a packet loss occurs during transmission, on the receiving side that decodes encoded data, a screen (frame) containing an error due to packet loss can be used as a reference frame for interframe prediction. There is sex. In particular, H.C. In the video coding system according to the H.264 / AVC standard, there is an increased possibility that a screen including an error will be used as a reference frame for a long period of time compared to the conventional MPEG (Moving Picture coding Expert Group) 2, 4 standard, etc. Have been doing.
そこで、本発明の目的は、伝送中にパケットの欠落が発生した場合に、パケットロスによるエラーを含む参照フレームの使用を回避できる映像伝送システムを提供することにある。 Accordingly, an object of the present invention is to provide a video transmission system capable of avoiding the use of a reference frame including an error due to packet loss when a packet loss occurs during transmission.
本発明の観点に従った映像伝送システムは、映像フレームを符号化した符号化データをパケット単位に分割して伝送する映像伝送システムの映像送信装置であって、送信対象の映像フレームを符号化する映像符号化手段と、伝送中に欠落されたパケットを示すパケットロス情報に従って、当該パケットに含まれる符号化データが、他の符号化データの復号化での予測画像として使用される参照フレームの符号化データであるか否かを判定する判定手段と、前記判定手段の判定結果が前記参照フレームの符号化データの場合で、前記欠落が検出されたパケットに含まれる符号化データが再生されるときの画面上の位置を特定し、当該位置をエラー位置として示すエラー位置情報を出力する手段と、前記エラー位置情報を記憶する記憶手段と、前記エラー位置情報に従って、前記欠落が検出されたパケットに対応するエラー部分を含む参照フレームの使用を禁止する制御手段とを備えた構成である。 A video transmission system according to an aspect of the present invention is a video transmission device of a video transmission system that transmits encoded data obtained by encoding a video frame in units of packets, and encodes a video frame to be transmitted. According to the video encoding means and the packet loss information indicating the packet lost during transmission, the encoded data included in the packet is a reference frame code used as a predicted image in decoding other encoded data. Determining means for determining whether or not the encoded data is included, and when the determination result of the determining means is the encoded data of the reference frame and the encoded data included in the packet in which the loss is detected is reproduced Means for outputting the error position information indicating the position on the screen and indicating the position as an error position; storage means for storing the error position information; According to the error location information, a configuration in which a control means for prohibiting the use of a reference frame including an error portion corresponding to the missing is detected packets.
本発明によれば、伝送中にパケットの欠落が発生した場合に、パケットロスによるエラーを含む参照フレームの使用を回避できる映像伝送システムを提供できる。従って、パケットロスによるエラーの長期伝播を防止することが可能となる。 According to the present invention, it is possible to provide a video transmission system that can avoid the use of a reference frame including an error due to a packet loss when a packet loss occurs during transmission. Accordingly, it is possible to prevent long-term propagation of errors due to packet loss.
以下図面を参照して、本発明の実施形態を説明する。 Embodiments of the present invention will be described below with reference to the drawings.
[映像伝送システムの構成]
図1は、本実施形態に関する映像伝送システムの構成を示すブロック図である。
[Configuration of video transmission system]
FIG. 1 is a block diagram illustrating a configuration of a video transmission system according to the present embodiment.
システムは大別して、図1に示すように、映像送信部10と、映像受信部20と、伝送媒体であるネットワーク30とを有する。
As shown in FIG. 1, the system is roughly divided into a
映像送信部10は、映像入力装置11から入力される複数の映像フレームからなる映像信号110を符号化する映像符号化部100と、映像パケット送信部101と、パケット情報テーブル102と、パケットロス情報受信部103と、比較エラー位置検出部104とを有する。なお、映像フレームは、単にフレームと表記する。
The
映像入力装置11は、例えば監視カメラなどの映像撮影用カメラである。映像符号化部100は、ITU−T機関によるH.264/AVC規格による映像符号化方式に従って、映像信号110を、フレームを分割したスライス単位で符号化する。
The
映像パケット送信部101は、映像符号化部100によりスライス単位で符号化された映像符号化データ(以下単に符号化データと表記する)111をパケット単位の伝送信号に変換し、ネットワーク30を通じて映像受信部20に送信する。映像パケット送信部101は、映像パケット伝送のトランスポート層プロトコルとして、エラーによるデータの再送が発生しないUDP(User Datagram Protocol)を使用する。映像符号化部100は、符号化データ111を映像パケット送信部101に出力すると共に、後述するパケット情報をパケット情報テーブル102に記録する。
The video
パケット情報テーブル102は、図2に示すように、送信したパケットのヘッダに含まれるシーケンス番号とタイムスタンプ以外に、後述する符号化モード及び画面上の位置に関するパケット情報を記録するためのテーブルである。パケット情報テーブル102は、不要になった古い記録データが逐次上書き消去される。また、パケット情報テーブル102は、ネットワークの伝送遅延と、比較エラー位置検出部104の処理時間によって決められるテーブルサイズを有する。
As shown in FIG. 2, the packet information table 102 is a table for recording packet information related to an encoding mode and a position on the screen, which will be described later, in addition to the sequence number and time stamp included in the header of the transmitted packet. . In the packet information table 102, old recording data that has become unnecessary is sequentially overwritten and erased. The packet information table 102 has a table size determined by the network transmission delay and the processing time of the comparison error
ここで、画面上の位置(画面上位置)に関する情報とは、映像受信部20で、映像符号化データが再生されるときの表示画面上の位置または範囲を意味する再生位置を示す情報である。また、映像符号化部100では、映像符号化は、画面を正方形に区切ったブロック単位で行われて、画面上の左上位置から右下位置の順に伝送される。このため、パケット情報テーブル102には、パケット毎の開始ブロックと終了ブロックからなる画面上位置が記録される。
Here, the information regarding the position on the screen (the position on the screen) is information indicating a reproduction position that means a position or a range on the display screen when the video reception unit 20 reproduces the video encoded data. . Further, in the
なお、パケット化は、例えばIETF(Internet Engineering Task Force)のRFC(Request for Comments)3984に準じて行われる。このため、同じパケットには、複数のフレーム(画面)の符号化データが混在して含まれる事はない。換言すれば、各パケットは、1つのフレーム内の部分符号化データのみからなる。 The packetization is performed according to, for example, RFC (Request for Comments) 3984 of IETF (Internet Engineering Task Force). For this reason, encoded data of a plurality of frames (screens) is not included in the same packet. In other words, each packet consists only of partially encoded data in one frame.
映像受信部20は、映像パケット受信部200と、映像復号化部201と、パケットロス検出部202と、パケットロス情報送信部203とを有する。
The video receiving unit 20 includes a video
映像パケット受信部200は、映像送信部10から送信されたパケットを受信し、当該パケットからペイロード(映像コンテンツである符号化データ)を取り出して映像復号化部201に出力する。映像復号化部201は、H.264/AVC規格に従って符号化データを復号化し、映像出力装置21に出力する。映像出力装置21は、復号化された映像信号を再生して、表示画面上に表示する映像モニタなどを含む。
The video
映像パケット受信部200は、受信したパケットのヘッダをパケットロス検出部202に転送する。パケットのヘッダは、図3に示すように、例えばIETF(Internet Engineering Task Force)のRFC(Request for Comments)3550の規格により規定されている形式からなる。
The
ここで、シーケンス番号は1パケット毎に連続で採番される。タイムスタンプは、そのフレームの時間情報である。タイムスタンプが同じパケットは、同じフレームを分割して生成されたことを表している。具体的には、図2に示すように、例えばシーケンス番号0123,0124の各パケットは、同一フレーム内で画面上位置が異なる符号化データをそれぞれ有するものである。
Here, sequence numbers are consecutively assigned for each packet. The time stamp is time information of the frame. Packets having the same time stamp are generated by dividing the same frame. Specifically, as shown in FIG. 2, for example, packets with
パケットロス検出部202は、転送されたヘッダからシーケンス番号を抽出し、当該シーケンス番号が不連続の場合には、パケットが欠落していると判定する。具体的には、パケットロス検出部202は、例えばシーケンス番号0123の次に、シーケンス番号0125のヘッダが入力された場合には、シーケンス番号0124のヘッダを有するパケットが欠落したと判定する。
The packet
パケットロス検出部202は、パケット欠落を検出した場合に、その検出結果をパケットロス情報送信部203に出力する。パケットロス情報送信部203は、当該検出結果に応じた情報を、ネットワーク30を通じて映像送信部10のパケットロス情報受信部103宛てに送信する。パケットロス情報送信部203は、送信情報として、欠落した前後のパケットのシーケンス番号とタイムスタンプを含むパケットロス情報を送信する。
When the packet
映像送信部10では、パケットロス情報受信部103は、受信したパケットロス情報を比較エラー位置検出部104に転送する。比較エラー位置検出部104は、送信時にパケット情報テーブル102に記録されたパケット情報と、受信したパケットロス情報とを比較して、エラーで欠落したパケットに含まれる符号化データが再生されたときの画面上位置(画面上の再生範囲)を特定する。比較エラー位置検出部104は、特定した画面上位置を示すエラー位置情報を映像符号化部100に出力する。
In the
比較エラー位置検出部104は、欠落したパケットの符号化モードとして、他のスライス(符号化データ)の復号化での予測画像として使用(参照)される参照フレームの符号化データである場合に、エラー位置情報を映像符号化部100に出力する。即ち、比較エラー位置検出部104は、欠落したパケットの符号化モードが参照フレームの符号化データでない場合には、エラー位置情報を出力しない。
When the comparison error
ここで、Iスライスとは、他のフレームを予測画像として参照することなく、復号化できるフレーム内符号化データである。 Here, the I slice is encoded data within a frame that can be decoded without referring to another frame as a predicted image.
映像符号化部100は、後述するように、次に送信する参照フレームで、比較エラー位置検出部104からのエラー位置情報により特定された部分(画面上の位置)のフレーム内符号化(以下部分イントラ符号化と表記する場合がある)を実行する。なお、動き補償が行われているので、その動きベクトル範囲である周辺部も部分イントラ符号化の対象とすることが好ましい。
As will be described later, the
部分イントラ符号化がなされるフレームは、参照画像となりえるフレームに限定される。エラー位置情報が送られた次のフレームであって、全画面がイントラ符号化されて、それ以前の参照フレームがクリアされるIDRフレームの場合には、エラー位置情報は無視される。 Frames subjected to partial intra coding are limited to frames that can be reference images. In the case of an IDR frame in which the entire frame is intra-coded and the previous reference frame is cleared after the error position information is sent, the error position information is ignored.
[映像符号化部の構成]
図5は、本実施形態に関する映像符号化部100の構成を示すブロック図である。
[Configuration of video encoding unit]
FIG. 5 is a block diagram illustrating a configuration of the
映像符号化部100は、変換量子化部301と、エントロピー符号化部302と、逆量子化・逆変換部303と、デブロッキングフィルタ304と、参照フレームメモリ305と、符号化モード切替部306と、画面内予測部307と、動き補償部308と、動き検出部309と、符号化制御部310と、出力バッファ311と、エラー位置メモリ312とを有する。
The
本実施形態の映像符号化部100は、H.264/AVC規格による映像符号化方式を適用した方式である。動き補償部308は、参照フレームメモリ305に格納された複数の参照フレームから選択した参照フレームからの動きを推定して予測信号を作成する。即ち、動き補償部308は、動き検出部309により映像信号110から検出された動きベクトルに基づいて、参照フレームからのフレーム間予測画面を作成する。
The
変換量子化部301は、映像信号110(符号化する映像)と予測信号との残差信号をDCT(Discrete Cosine Transform:離散コサイン変換)量子化を行なう。エントロピー符号化部302は、変換量子化部301によるDCT量子化された信号に対して可変長符号化処理を実行し、当該符号化データを出力バッファ311に格納する。映像パケット送信部101は、出力バッファ311に格納されたフレーム単位の符号化データ(映像符号化データ)111をパケット単位の伝送信号に変換し、ネットワーク30を通じて映像受信部20に送信することになる。画面内(イントラ)予測部307は、変換量子化部301によるDCT量子化された信号から、同じ画面内の画像サンプルを使用して、別の位置の画像サンプルを予測する。
The
さらに、逆量子化・逆変換部303は、変換量子化部301の逆処理を実行する。またねデブロッキングフィルタ304は、符号化時に、ブロック境界部で生じる歪を減少させるためのフィルタである。
Further, the inverse quantization / inverse transform unit 303 performs the inverse process of the
以上のような機能処理部と共に、本実施形態の映像符号化部100は、全体の制御及び符号化モード切替部306を制御して符号化タイプを選択する機能を有する符号化制御部310、及びエラー位置メモリ312を有する。
Along with the function processing units as described above, the
符号化制御部310は、比較エラー位置検出部104から出力されるエラー位置情報をエラー位置メモリ312に格納する。さらに、符号化制御部310は、当該エラー位置情報に基づいて、符号化モード切替部306を制御するための制御情報400を出力する。また、符号化制御部310は、参照フレームメモリ305に格納された複数の参照フレームから参照フレームを選択するための情報410を出力する。さらに、符号化制御部310は、後述するように、エラーを含む参照フレームの使用を禁止するために、映像受信部20に対して参照フレームメモリから当該エラーを含む参照フレームを削除するためのコマンド420を出力する。
The
[作用効果]
以下、図4から図8を参照して、本実施形態のシステムに関する作用効果を説明する。
[Function and effect]
Hereinafter, with reference to FIG. 4 to FIG. 8, the operational effects relating to the system of the present embodiment will be described.
まず、映像送信部10では、映像符号化部100は、例えば監視カメラである映像入力装置11から入力された映像信号110を、フレーム(画面)を分割したスライス単位で符号化した符号化データ111を生成する。映像パケット送信部101は、符号化データ111をパケット単位の伝送データに変換し、ネットワーク30を通じて映像受信部20に送信する。
First, in the
映像受信部20では、受信したパケットに含まれる符号化データを映像信号に復号化して映像出力装置21に出力する。映像出力装置21は、復号化された映像信号を再生して、映像モニタの表示画面上に表示する。
The video receiver 20 decodes the encoded data included in the received packet into a video signal and outputs it to the
ここで、図7のフローチャートに示すように、映像受信部20では、パケットロス検出部202が受信される一連のパケットから欠落したパケットを検出すると、パケットロス情報送信部203はパケットロス情報を映像送信部10のパケットロス情報受信部103に送信する(ステップS1のYES)。
Here, as shown in the flowchart of FIG. 7, in the video reception unit 20, when the packet
パケットロス情報受信部103は、パケットロス情報を受信すると、比較エラー位置検出部104に出力する(ステップS2)。比較エラー位置検出部104は、当該パケットロス情報と、送信時にパケット情報テーブル102に記録されたパケット情報とを比較して、エラーで欠落したパケットを特定する。
When receiving the packet loss information, the packet loss
さらに、比較エラー位置検出部104は、パケット情報テーブル102から欠落したパケットの画面上の位置(画面上の再生範囲)を特定する(ステップS3)。ここで、比較エラー位置検出部104は、エラーで欠落したパケットの符号化モードに基づいて、当該符号化データが参照フレームであるか否かを判定する(ステップS4)。比較エラー位置検出部104は、判定結果が参照フレームではない場合には、他のフレームの復号化での予測画像として参照されない符号化データであるため、本実施形態でのエラー回復処理を実行しない(ステップS4のNO)。
Further, the comparison error
一方、欠落したパケットの符号化モードが参照フレームの場合には、比較エラー位置検出部104は、特定した画面上位置を示すエラー位置情報を映像符号化部100に出力する(ステップS5)。
On the other hand, if the encoding mode of the missing packet is a reference frame, the comparison error
図4は、パケットロス(パケット欠落)が発生したときの状態を説明するための図である。即ち、伝送中の参照フレームから例えば2パケットの欠落が発生した場合に、図4に示すように、当該参照フレームを予測画像として参照するスライスの復号化では、再生映像の品質劣化が発生する。 FIG. 4 is a diagram for explaining a state when a packet loss (packet loss) occurs. That is, when, for example, two packets are lost from a reference frame being transmitted, as shown in FIG. 4, in the decoding of a slice that refers to the reference frame as a predicted image, quality degradation of the reproduced video occurs.
本実施形態のシステムは、その後に送信するフレームでの欠落パケットに対応する部分映像を部分イントラ符号化して伝送する機能を有するため、エラー回復を実現できる(図8のステップS12を参照)。これにより、エラー回復されたフレームを予測画像として参照するスライスの復号化では、再生映像の品質を回復することができる。 Since the system of the present embodiment has a function of transmitting a partial video corresponding to a missing packet in a frame to be transmitted thereafter by partial intra coding, error recovery can be realized (see step S12 in FIG. 8). As a result, the quality of the reproduced video can be recovered by decoding the slice that refers to the error-recovered frame as the predicted image.
ところで、本実施形態のシステムに適用するH.264/AVC規格による映像符号化方式では、スライスの符号化時に、参照フレームを自由に選択できる。このため、図6に示すように、前記の部分イントラ符号化によりエラー回復させたフレーム61以降で、当該フレーム61より以前のエラーを含むフレーム60を参照して、復号化されるフレーム62が発生する。このフレーム62は、エラー(パケット欠落)を含むフレーム60を参照するため、再生映像の品質が劣化する。さらに、復号化されるフレーム62が参照フレームであれば、それ以降のフレーム63,64の復号化時に、参照フレームとして使用される可能性がある。図6において、時間Tdは、パケットロス情報の伝達と、エラー位置の特定処理に伴う遅延時間を意味する。
By the way, H.C. applied to the system of this embodiment. In the video encoding system according to the H.264 / AVC standard, a reference frame can be freely selected when a slice is encoded. For this reason, as shown in FIG. 6, a
要するに、H.264/AVC規格による映像符号化方式では、伝送中のパケット欠落によるエラーを含む参照フレーム60が発生する場合、当該参照フレーム60が、映像受信部20において長期間使用される可能性がある。換言すれば、パケットロスによるエラーの長期伝播が発生する可能性がある。
In short, H. In the video encoding method based on the H.264 / AVC standard, when a
そこで、本実施形態の映像符号化部100は、以下のような伝送中のパケット欠落によるエラーの対策処理を実行する。
Therefore, the
映像符号化部100では、図5に示すように、符号化制御部310は、伝送中にパケット欠落が発生すると、比較エラー位置検出部104から出力されるエラー位置情報をエラー位置メモリ312に格納する。エラー位置情報は、前述したように、欠落したパケットが参照フレームの場合であって、当該欠落部分を再生したときに、画面上の位置を示す情報である。
In the
符号化制御部310は、エラーを含む参照フレームの使用を禁止するために、映像受信部20に対して参照フレームメモリから当該エラーを含む参照フレームを削除するためのコマンド420を出力する。このコマンド420は、映像パケット送信部101により映像パケット受信部200に送信されて、映像復号化部201に与えられる。
In order to prohibit the use of a reference frame including an error, the
映像復号化部201では、長期間にわたって参照される参照フレームにエラーが発生した場合には、利用されない参照フレームが参照フレームメモリに蓄積されていく。このため、正常な参照フレームが有効に使用されないため、復号化される映像の再生画質が低下する。これに対応するために、符号化制御部310がコマンド420を送信することで、映像復号化部201は、エラーのある参照フレームを参照フレームメモリから削除でき、参照フレームメモリに格納されている正常な参照フレームの有効に活用することができる。
In the
さらに、符号化制御部310は、図8のフローチャートに示すような手順で、エラー回復処理を実行する。
Further, the
通常の符号化処理では、符号化制御部310は、予め設定された規則または符号化効率の高さに基づいて、参照フレームを選択するための情報410を出力して、参照フレームメモリ305に格納された複数の参照フレームから参照フレームを選択する。映像符号化部100は、選択された参照フレームを予測画像として、映像信号110に対するスライス単位の符号化処理を行なう。
In a normal encoding process, the
ここで、パケットロスの発生により、映像復号化部201において参照フレームにエラーが発生している状況下で、映像符号化部100が、当該エラーを含む参照フレームを使用するように選択すると、前述したように、再生映像の品質が劣化する。
Here, when the
そこで、本実施形態の符号化制御部310は、エラーを含む参照フレームを使用するような状況が予想される場合には、エラー回復のための特別な符号化処理を実行する。即ち、符号化制御部310は、参照フレームメモリ305に格納された複数の参照フレームの中に、エラーを含む参照フレームが存在するか否かを判定する(ステップS10)。符号化制御部310は、エラーを含む参照フレームが存在する場合に、使用していない正常な参照フレームが参照フレームメモリ305に存在するか否かを判定する(ステップS11)。
Therefore, the
使用していない正常な参照フレームがなくなると、符号化制御部310は、制御情報400を出力して符号化モード切替部306を制御し、画面内予測部307を動作させて、
エラー位置情報に従ってエラー発生位置とその周辺部のみの映像部分をイントラ(面内)符号化する部分イントラ符号化処理を実行する(ステップS12)。即ち、映像送信部10は、その後に送信するPフレームでの欠落パケットに対応する部分映像を、部分イントラ符号化して伝送することにより、当該エラーを回復したPフレームを伝送する(図6の61を参照)。
When there is no normal reference frame that is not used, the
In accordance with the error position information, a partial intra encoding process is performed for intra (in-plane) encoding the video portion of the error occurrence position and its peripheral part only (step S12). In other words, the
一方、使用していない正常な参照フレームが存在する場合には、符号化制御部310は、当該正常な参照フレームを使用して、映像信号110に対する仮の符号化処理を実行し、エラーを含まないフレームに変更する(ステップS13)。但し、時間的に近い参照フレームではないと、発生符号量が増大して期待する圧縮率や、映像再生品質が得られない場合がある。このような場合には、符号化制御部310は、符号化モード切替部306を制御して画面内予測部307を動作させて、部分イントラ符号化処理を実行する(ステップS14のNO,S12)。
On the other hand, when there is a normal reference frame that is not used, the
符号化制御部310は、当該正常な参照フレームを使用して仮の符号化処理を実行し、当該仮符号化の結果を採用して、エラーを含まない参照フレームに変更するエラー回復処理を行なう(ステップ14のYES,S15)。
The
以上のようにして本実施形態によれば、伝送中にパケット欠落が発生すると、比較エラー位置検出部104から出力されるエラー位置情報をエラー位置メモリ312に格納する。このエラー位置情報を使用して、エラーを含む参照フレームを、映像復号化部201において使用を禁止するような制御を実現できる(コマンド420の説明を参照)。
As described above, according to the present embodiment, when a packet loss occurs during transmission, the error position information output from the comparison error
さらに、エラー位置情報に基づいて、エラーが発生した部分(ブロック)を含むフレームを参照フレームとせずに、別の正常な参照フレーム、または部分イントラ符号化したブロックを含むフレームを参照フレームとすることができる。従って、図6に示すように、映像復号化部201において、エラー回復されたフレーム61を参照フレームとして、フレーム62の復号化処理を行なうことができる。
Further, based on the error position information, a frame including an error-occurring part (block) is not used as a reference frame, and another normal reference frame or a frame including a partially intra-coded block is used as a reference frame. Can do. Therefore, as shown in FIG. 6, the
従って、パケットロスの発生によりエラーを含む参照フレームを、長期間にわたって使用されることを回避できるため、特にH.264/AVC規格などのように、参照フレームの選択に対する自由度が大きい映像符号化方式には有効である。 Accordingly, it is possible to avoid using a reference frame including an error due to occurrence of packet loss over a long period of time. It is effective for a video coding system having a high degree of freedom in selecting a reference frame, such as the H.264 / AVC standard.
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the components without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
10…映像送信部、11…映像入力装置、20…映像受信部、21…映像出力装置、
30…ネットワーク、100…映像符号化部、101…映像パケット送信部、
102…パケット情報テーブル、103…パケットロス情報受信部、
104…比較エラー位置検出部、200…映像パケット受信部、
201…映像復号化部、202…パケットロス検出部、
203…パケットロス情報送信部、301…変換量子化部、
302…エントロピー符号化部、303…逆量子化・逆変換部、
304…デブロッキングフィルタ、305…参照フレームメモリ、
306…符号化モード切替部、307…画面内予測部、308…動き補償部、
309…動き検出部、310…符号化制御部、311…出力バッファ、
312…エラー位置メモリ。
DESCRIPTION OF
30 ... Network, 100 ... Video encoder, 101 ... Video packet transmitter,
102 ... Packet information table, 103 ... Packet loss information receiver,
104: Comparison error position detection unit, 200: Video packet reception unit,
201 ... Video decoding unit, 202 ... Packet loss detection unit,
203 ... packet loss information transmission unit, 301 ... transform quantization unit,
302 ... Entropy encoding unit, 303 ... Inverse quantization / inverse transform unit,
304: Deblocking filter, 305: Reference frame memory,
306 ... Coding mode switching unit, 307 ... In-screen prediction unit, 308 ... Motion compensation unit,
309 ... Motion detection unit, 310 ... Coding control unit, 311 ... Output buffer,
312: Error position memory.
Claims (9)
送信対象の映像フレームを符号化する映像符号化手段と、
伝送中に欠落されたパケットを示すパケットロス情報に従って、当該パケットに含まれる符号化データが、他の符号化データの復号化での予測画像として使用される参照フレームの符号化データであるか否かを判定する判定手段と、
前記判定手段の判定結果が前記参照フレームの符号化データの場合で、前記欠落が検出されたパケットに含まれる符号化データが再生されるときの画面上の位置を特定し、当該位置をエラー位置として示すエラー位置情報を出力する手段と、
前記エラー位置情報を記憶する記憶手段と、
前記エラー位置情報に従って、前記欠落が検出されたパケットに対応するエラー部分を含む参照フレームの使用を禁止する制御手段と
を具備したことを特徴とする映像送信装置。 A video transmission device of a video transmission system for transmitting encoded data obtained by encoding a video frame by dividing it into packet units,
Video encoding means for encoding a video frame to be transmitted;
Whether the encoded data included in the packet is encoded data of a reference frame used as a prediction image in decoding of other encoded data according to packet loss information indicating a packet lost during transmission Determination means for determining whether or not
When the determination result of the determination unit is the encoded data of the reference frame, the position on the screen when the encoded data included in the packet in which the loss is detected is reproduced is specified, and the position is determined as the error position. Means for outputting error position information indicated as:
Storage means for storing the error position information;
A video transmission apparatus comprising: control means for prohibiting use of a reference frame including an error portion corresponding to the packet in which the loss is detected according to the error position information.
パケット単位の符号化データを受信して復号化する映像復号化装置に対して、前記エラー位置情報により指定される前記画面上の位置に対応する符号化データが欠落された参照フレームの使用を禁止する指示を行なうことを特徴とする請求項1に記載の映像送信装置。 The control means includes
A video decoding device that receives and decodes encoded data in units of packets is prohibited from using a reference frame in which encoded data corresponding to the position on the screen specified by the error position information is missing. The video transmission apparatus according to claim 1, wherein an instruction to perform the instruction is issued.
前記正常な参照フレームが存在しない場合には、前記エラー位置の符号化データを、前記エラー位置に対応する部分映像データをフレーム内符号化データに符号化して回復することを特徴とする請求項3に記載の映像送信装置。 The error recovery means includes
4. If the normal reference frame does not exist, the encoded data at the error position is recovered by encoding partial video data corresponding to the error position into intra-frame encoded data. The video transmission device described in 1.
送信対象の映像フレームを符号化して伝送するときに、パケットの欠落を検出するステップと、
前記欠落されたパケットを示すパケットロス情報に従って、当該パケットに含まれる符号化データが、他の符号化データの復号化での予測画像として使用される参照フレームの符号化データであるか否かを判定するステップと、
前記判定手段の判定結果が前記参照フレームの符号化データの場合で、前記欠落が検出されたパケットに含まれる符号化データが再生されるときの画面上の位置を特定し、当該位置をエラー位置として示すエラー位置情報を出力するステップとを有し、
前記エラー位置情報に従って、前記欠落が検出されたパケットに対応するエラー部分を含む参照フレームの使用を禁止することを特徴とする映像伝送方法。 A video transmission method applied to a video transmission system that transmits encoded data obtained by encoding a video frame in units of packets,
Detecting a missing packet when encoding and transmitting a video frame to be transmitted; and
Whether or not the encoded data included in the packet is encoded data of a reference frame used as a prediction image in decoding of other encoded data according to packet loss information indicating the lost packet. A determining step;
When the determination result of the determination unit is the encoded data of the reference frame, the position on the screen when the encoded data included in the packet in which the loss is detected is reproduced is specified, and the position is determined as the error position. And outputting error position information indicated as
A video transmission method, comprising: prohibiting use of a reference frame including an error portion corresponding to a packet in which the loss is detected according to the error position information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006114729A JP2007288604A (en) | 2006-04-18 | 2006-04-18 | System and method for transmitting video |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006114729A JP2007288604A (en) | 2006-04-18 | 2006-04-18 | System and method for transmitting video |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007288604A true JP2007288604A (en) | 2007-11-01 |
Family
ID=38759942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006114729A Pending JP2007288604A (en) | 2006-04-18 | 2006-04-18 | System and method for transmitting video |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007288604A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009278188A (en) * | 2008-05-12 | 2009-11-26 | Canon Inc | Data transmission apparatus, data transmission method, and program |
JP2010193327A (en) * | 2009-02-20 | 2010-09-02 | Nec Engineering Ltd | Image decoding apparatus and packet loss compensation method |
WO2012086146A1 (en) * | 2010-12-22 | 2012-06-28 | パナソニック株式会社 | Wireless transmission terminal and method of wireless transmission, encoding device and encoding method therefor, and computer program |
KR101691748B1 (en) * | 2015-08-07 | 2017-01-02 | 조선대학교산학협력단 | Network-aware reference frame control system for error resilient video streaming service and method thereof |
CN108924574A (en) * | 2018-08-01 | 2018-11-30 | 广州视源电子科技股份有限公司 | Loss treating method, device, equipment and storage medium in recording and broadcasting system |
-
2006
- 2006-04-18 JP JP2006114729A patent/JP2007288604A/en active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009278188A (en) * | 2008-05-12 | 2009-11-26 | Canon Inc | Data transmission apparatus, data transmission method, and program |
US8964855B2 (en) | 2008-05-12 | 2015-02-24 | Canon Kabushiki Kaisha | Data transmission apparatus, data transmission method, and program |
JP2010193327A (en) * | 2009-02-20 | 2010-09-02 | Nec Engineering Ltd | Image decoding apparatus and packet loss compensation method |
WO2012086146A1 (en) * | 2010-12-22 | 2012-06-28 | パナソニック株式会社 | Wireless transmission terminal and method of wireless transmission, encoding device and encoding method therefor, and computer program |
KR101691748B1 (en) * | 2015-08-07 | 2017-01-02 | 조선대학교산학협력단 | Network-aware reference frame control system for error resilient video streaming service and method thereof |
CN108924574A (en) * | 2018-08-01 | 2018-11-30 | 广州视源电子科技股份有限公司 | Loss treating method, device, equipment and storage medium in recording and broadcasting system |
CN108924574B (en) * | 2018-08-01 | 2021-07-06 | 广州视源电子科技股份有限公司 | Packet loss processing method, device, equipment and storage medium in recording and broadcasting system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3923898B2 (en) | Image coding method and apparatus | |
JP4603695B2 (en) | Video coding | |
AU774040B2 (en) | Video coding | |
US7116714B2 (en) | Video coding | |
JP5043096B2 (en) | Channel changing method and digital video apparatus | |
JP2006524948A (en) | A method for encoding a picture with a bitstream, a method for decoding a picture from a bitstream, an encoder for encoding a picture with a bitstream, a transmission apparatus and system including an encoder for encoding a picture with a bitstream, bit Decoder for decoding picture from stream, and receiving apparatus and client comprising a decoder for decoding picture from bitstream | |
WO2008146892A1 (en) | Moving image converting apparatus, moving image converting method, and moving image converting program | |
JP2004350263A (en) | Image processing apparatus and method therefor | |
JP2007288604A (en) | System and method for transmitting video | |
JP4488958B2 (en) | Video transmission system and video transmission method | |
EP2404451B1 (en) | Processing of multimedia data | |
JP2005322995A (en) | Buffer control method in real-time video image transfer, transmitting terminal, receiving terminal, video image distributing system and program | |
WO2021140768A1 (en) | Transmission device and transmission method | |
JP2006352784A (en) | Transmission method, receiver and computer program | |
JP4851270B2 (en) | Moving picture decoding apparatus and decoding method. | |
JP2008042769A (en) | Moving image decoder and moving image decoding method | |
JP2008283253A (en) | Image transmission system, image encoding device, and image decoding device | |
JP2007151163A (en) | Image decoding method and apparatus |