JP2007288604A - System and method for transmitting video - Google Patents

System and method for transmitting video Download PDF

Info

Publication number
JP2007288604A
JP2007288604A JP2006114729A JP2006114729A JP2007288604A JP 2007288604 A JP2007288604 A JP 2007288604A JP 2006114729 A JP2006114729 A JP 2006114729A JP 2006114729 A JP2006114729 A JP 2006114729A JP 2007288604 A JP2007288604 A JP 2007288604A
Authority
JP
Japan
Prior art keywords
encoded data
video
error
packet
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006114729A
Other languages
Japanese (ja)
Inventor
Kenji Kimiyama
健二 君山
Hiroyuki Nemoto
浩幸 根本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006114729A priority Critical patent/JP2007288604A/en
Publication of JP2007288604A publication Critical patent/JP2007288604A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video transmission system in which use of a reference frame including an error by packet loss is avoided when omission of packets occurs during transmission. <P>SOLUTION: A video transmitter 10 of the video transmission system divides into unit of packet, encoded data obtained by encoding a video frame and transmits the divided encoded data, wherein a video encoding part 100 which encodes a video frame to be transmitted includes an encoding control part 310 which prohibits use of a reference frame including an error part corresponding to a packet in which omission is detected according to error position information indicating an error position on the frame caused by the packet omission during transmission. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、一般的に、映像符号化データをパケット化して伝送する映像伝送システムに関し、特に、パケット欠落発生に伴う映像品質劣化の回復技術に関する。   The present invention generally relates to a video transmission system that packetizes and transmits video encoded data, and more particularly, to a recovery technique for video quality degradation caused by packet loss.

通常の映像監視システムでは、監視カメラにより撮影されたアナログ映像信号がそのまま伝送されて、テレビジョン(TV)モニタの画面上に映像を表示することで、監視業務が可能になっている。   In a normal video monitoring system, an analog video signal captured by a monitoring camera is transmitted as it is, and a video is displayed on the screen of a television (TV) monitor, thereby enabling monitoring work.

ところで、通信ネットワークの大容量化や広域化が進んだ結果として、アナログ映像信号をディジタル符号化(以下単に符号化と表記する)した映像符号化データをパケット化して、ネットワーク上で伝送する映像伝送システムが一般化されつつある。このようなシステムは、ディジタル・テレビジョン放送以外にも、例えば遠隔地などに設置した監視カメラにより映像監視を行なう前記の映像監視システムにも適用されつつある。   By the way, as a result of an increase in the capacity and wide area of communication networks, video transmission in which video encoded data obtained by digitally encoding analog video signals (hereinafter simply referred to as encoding) is packetized and transmitted over the network. The system is being generalized. In addition to digital television broadcasting, such a system is being applied to the above-described video surveillance system that performs video surveillance using a surveillance camera installed in a remote place, for example.

このような映像伝送システムにおいて、伝送中にパケットの欠落が発生すると、受信側で映像信号を再生する場合に再生映像品質が劣化することになる。通常では、パケット欠落の発生による再生映像品質の劣化を回復させるためには、いわゆるイントラ符号化フレームと呼ぶフレーム内符号化データ(例えば、MPEG方式でのIブロックまたはIピクチャ)が必要となる。しかし、近年の符号化効率の追求により、劣化の回復ポイントであるイントラ符号化フレームの送信間隔が広がっているために、回復までに時間を要する。   In such a video transmission system, if a packet loss occurs during transmission, the playback video quality deteriorates when the video signal is played back on the receiving side. Normally, in order to recover the deterioration of the reproduced video quality due to the occurrence of packet loss, intra-frame encoded data called an intra-encoded frame (for example, I block or I picture in the MPEG system) is required. However, due to the recent pursuit of coding efficiency, the transmission interval of intra-coded frames, which is a recovery point for deterioration, has increased, and it takes time to recover.

従来では、パケットの欠落があった場合に、受信側から送信側に対して、欠落したパケットの再送要求を行うシステムが提案されている(例えば、特許文献1及び2を参照)。このようなシステムであれば、欠落パケットを再送させることにより、再生映像品質の劣化を回復させることが可能となる。しかしながら、再送パケットが到着するまでの待ち時間だけ映像表示が停止することになる。このため、受信側では、伝送された符号化データをある程度バッファリングしなければならないので、映像再生には遅延が発生する。また、再送パケットを伝送することで、ネットワーク帯域を消費し、さらなるパケット欠落の発生要因にもなる。   Conventionally, a system has been proposed in which when a packet is lost, a request for retransmission of the lost packet is made from the reception side to the transmission side (see, for example, Patent Documents 1 and 2). In such a system, it is possible to recover the degradation of the reproduced video quality by retransmitting the missing packet. However, the video display is stopped for the waiting time until the retransmission packet arrives. For this reason, on the receiving side, the transmitted encoded data must be buffered to some extent, so that a delay occurs in video reproduction. In addition, by transmitting a retransmission packet, it consumes network bandwidth and causes further packet loss.

そこで、パケットロスを検出した場合に、該当するパケットデータが再生されたと仮定した場合の画面上の表示位置を特定して、送信側で、その後のフレームの表示位置および周辺のみをイントラブロックとして符号化して伝送する方法が考えられる。この方法であれば、再生映像の品質劣化の回復までに要する時間を短縮できる。   Therefore, when a packet loss is detected, the display position on the screen when it is assumed that the corresponding packet data has been reproduced is specified, and only the display position of the subsequent frame and the surrounding area are encoded as intra blocks on the transmission side. It is conceivable to use a method for transmission. With this method, it is possible to shorten the time required to recover the quality degradation of the reproduced video.

ところで、符号化データを復号化する受信側では、パケットロスによるエラーを含む画面(フレーム)がフレーム間予測の参照フレームとして使用されると、当該エラーが長期間にわたって伝播する事態を回避できない問題がある。特に、近年では、ITU−T(International Telecommunication Union − Telecommunication Standardization Sector)機関によるH.264/AVC規格による映像符号化方式が注目されており、この規格による映像符号化方式では、参照フレームの選択に対する自由度が増えている(例えば、非特許文献1を参照)。
特開平11−331839号公報 特開2000−341252号公報 改定版H.264/AVC教科書,(株)インプレス,2006年1月1日発行(特に、第82頁,図4−1を参照)
By the way, on the receiving side that decodes encoded data, when a screen (frame) including an error due to packet loss is used as a reference frame for inter-frame prediction, there is a problem that it is not possible to avoid a situation in which the error propagates over a long period of time. is there. In particular, in recent years, ITU-T (International Telecommunication Union-Telecommunication Standardization Sector) H.264. The video coding system based on the H.264 / AVC standard has attracted attention, and the video coding system based on this standard has increased the degree of freedom in selecting a reference frame (see, for example, Non-Patent Document 1).
JP 11-331839 A JP 2000-341252 A Revised version H.264 / AVC textbook, Impress, Inc., issued January 1, 2006 (especially, see page 82, Fig. 4-1)

前述したように、伝送中にパケットの欠落が発生した場合に、符号化データを復号化する受信側では、パケットロスによるエラーを含む画面(フレーム)がフレーム間予測の参照フレームとして使用される可能性がある。特に、H.264/AVC規格による映像符号化方式では、従来のMPEG(Moving Picture coding Expert Group)2,4規格等の方式と比較して、エラーを含む画面が参照フレームとして長期間使用される可能性が増大してきている。   As described above, when a packet loss occurs during transmission, on the receiving side that decodes encoded data, a screen (frame) containing an error due to packet loss can be used as a reference frame for interframe prediction. There is sex. In particular, H.C. In the video coding system according to the H.264 / AVC standard, there is an increased possibility that a screen including an error will be used as a reference frame for a long period of time compared to the conventional MPEG (Moving Picture coding Expert Group) 2, 4 standard, etc. Have been doing.

そこで、本発明の目的は、伝送中にパケットの欠落が発生した場合に、パケットロスによるエラーを含む参照フレームの使用を回避できる映像伝送システムを提供することにある。   Accordingly, an object of the present invention is to provide a video transmission system capable of avoiding the use of a reference frame including an error due to packet loss when a packet loss occurs during transmission.

本発明の観点に従った映像伝送システムは、映像フレームを符号化した符号化データをパケット単位に分割して伝送する映像伝送システムの映像送信装置であって、送信対象の映像フレームを符号化する映像符号化手段と、伝送中に欠落されたパケットを示すパケットロス情報に従って、当該パケットに含まれる符号化データが、他の符号化データの復号化での予測画像として使用される参照フレームの符号化データであるか否かを判定する判定手段と、前記判定手段の判定結果が前記参照フレームの符号化データの場合で、前記欠落が検出されたパケットに含まれる符号化データが再生されるときの画面上の位置を特定し、当該位置をエラー位置として示すエラー位置情報を出力する手段と、前記エラー位置情報を記憶する記憶手段と、前記エラー位置情報に従って、前記欠落が検出されたパケットに対応するエラー部分を含む参照フレームの使用を禁止する制御手段とを備えた構成である。   A video transmission system according to an aspect of the present invention is a video transmission device of a video transmission system that transmits encoded data obtained by encoding a video frame in units of packets, and encodes a video frame to be transmitted. According to the video encoding means and the packet loss information indicating the packet lost during transmission, the encoded data included in the packet is a reference frame code used as a predicted image in decoding other encoded data. Determining means for determining whether or not the encoded data is included, and when the determination result of the determining means is the encoded data of the reference frame and the encoded data included in the packet in which the loss is detected is reproduced Means for outputting the error position information indicating the position on the screen and indicating the position as an error position; storage means for storing the error position information; According to the error location information, a configuration in which a control means for prohibiting the use of a reference frame including an error portion corresponding to the missing is detected packets.

本発明によれば、伝送中にパケットの欠落が発生した場合に、パケットロスによるエラーを含む参照フレームの使用を回避できる映像伝送システムを提供できる。従って、パケットロスによるエラーの長期伝播を防止することが可能となる。   According to the present invention, it is possible to provide a video transmission system that can avoid the use of a reference frame including an error due to a packet loss when a packet loss occurs during transmission. Accordingly, it is possible to prevent long-term propagation of errors due to packet loss.

以下図面を参照して、本発明の実施形態を説明する。   Embodiments of the present invention will be described below with reference to the drawings.

[映像伝送システムの構成]
図1は、本実施形態に関する映像伝送システムの構成を示すブロック図である。
[Configuration of video transmission system]
FIG. 1 is a block diagram illustrating a configuration of a video transmission system according to the present embodiment.

システムは大別して、図1に示すように、映像送信部10と、映像受信部20と、伝送媒体であるネットワーク30とを有する。   As shown in FIG. 1, the system is roughly divided into a video transmission unit 10, a video reception unit 20, and a network 30 that is a transmission medium.

映像送信部10は、映像入力装置11から入力される複数の映像フレームからなる映像信号110を符号化する映像符号化部100と、映像パケット送信部101と、パケット情報テーブル102と、パケットロス情報受信部103と、比較エラー位置検出部104とを有する。なお、映像フレームは、単にフレームと表記する。   The video transmission unit 10 includes a video encoding unit 100 that encodes a video signal 110 including a plurality of video frames input from the video input device 11, a video packet transmission unit 101, a packet information table 102, and packet loss information. The receiving unit 103 and the comparison error position detecting unit 104 are included. The video frame is simply referred to as a frame.

映像入力装置11は、例えば監視カメラなどの映像撮影用カメラである。映像符号化部100は、ITU−T機関によるH.264/AVC規格による映像符号化方式に従って、映像信号110を、フレームを分割したスライス単位で符号化する。   The video input device 11 is a video shooting camera such as a surveillance camera. The video encoding unit 100 is an H.264 based on the ITU-T organization. The video signal 110 is encoded in units of slices obtained by dividing a frame in accordance with a video encoding method according to the H.264 / AVC standard.

映像パケット送信部101は、映像符号化部100によりスライス単位で符号化された映像符号化データ(以下単に符号化データと表記する)111をパケット単位の伝送信号に変換し、ネットワーク30を通じて映像受信部20に送信する。映像パケット送信部101は、映像パケット伝送のトランスポート層プロトコルとして、エラーによるデータの再送が発生しないUDP(User Datagram Protocol)を使用する。映像符号化部100は、符号化データ111を映像パケット送信部101に出力すると共に、後述するパケット情報をパケット情報テーブル102に記録する。   The video packet transmission unit 101 converts video encoded data (hereinafter simply referred to as encoded data) 111 encoded by the video encoding unit 100 in units of slices into a transmission signal in units of packets, and receives video through the network 30. To the unit 20. The video packet transmission unit 101 uses UDP (User Datagram Protocol) that does not cause retransmission of data due to an error as a transport layer protocol for video packet transmission. The video encoding unit 100 outputs the encoded data 111 to the video packet transmission unit 101 and records packet information described later in the packet information table 102.

パケット情報テーブル102は、図2に示すように、送信したパケットのヘッダに含まれるシーケンス番号とタイムスタンプ以外に、後述する符号化モード及び画面上の位置に関するパケット情報を記録するためのテーブルである。パケット情報テーブル102は、不要になった古い記録データが逐次上書き消去される。また、パケット情報テーブル102は、ネットワークの伝送遅延と、比較エラー位置検出部104の処理時間によって決められるテーブルサイズを有する。   As shown in FIG. 2, the packet information table 102 is a table for recording packet information related to an encoding mode and a position on the screen, which will be described later, in addition to the sequence number and time stamp included in the header of the transmitted packet. . In the packet information table 102, old recording data that has become unnecessary is sequentially overwritten and erased. The packet information table 102 has a table size determined by the network transmission delay and the processing time of the comparison error position detection unit 104.

ここで、画面上の位置(画面上位置)に関する情報とは、映像受信部20で、映像符号化データが再生されるときの表示画面上の位置または範囲を意味する再生位置を示す情報である。また、映像符号化部100では、映像符号化は、画面を正方形に区切ったブロック単位で行われて、画面上の左上位置から右下位置の順に伝送される。このため、パケット情報テーブル102には、パケット毎の開始ブロックと終了ブロックからなる画面上位置が記録される。   Here, the information regarding the position on the screen (the position on the screen) is information indicating a reproduction position that means a position or a range on the display screen when the video reception unit 20 reproduces the video encoded data. . Further, in the video encoding unit 100, video encoding is performed in units of blocks obtained by dividing the screen into squares, and is transmitted in order from the upper left position on the screen to the lower right position. For this reason, in the packet information table 102, the position on the screen consisting of the start block and the end block for each packet is recorded.

なお、パケット化は、例えばIETF(Internet Engineering Task Force)のRFC(Request for Comments)3984に準じて行われる。このため、同じパケットには、複数のフレーム(画面)の符号化データが混在して含まれる事はない。換言すれば、各パケットは、1つのフレーム内の部分符号化データのみからなる。   The packetization is performed according to, for example, RFC (Request for Comments) 3984 of IETF (Internet Engineering Task Force). For this reason, encoded data of a plurality of frames (screens) is not included in the same packet. In other words, each packet consists only of partially encoded data in one frame.

映像受信部20は、映像パケット受信部200と、映像復号化部201と、パケットロス検出部202と、パケットロス情報送信部203とを有する。   The video receiving unit 20 includes a video packet receiving unit 200, a video decoding unit 201, a packet loss detection unit 202, and a packet loss information transmission unit 203.

映像パケット受信部200は、映像送信部10から送信されたパケットを受信し、当該パケットからペイロード(映像コンテンツである符号化データ)を取り出して映像復号化部201に出力する。映像復号化部201は、H.264/AVC規格に従って符号化データを復号化し、映像出力装置21に出力する。映像出力装置21は、復号化された映像信号を再生して、表示画面上に表示する映像モニタなどを含む。   The video packet receiving unit 200 receives the packet transmitted from the video transmitting unit 10, extracts a payload (encoded data that is video content) from the packet, and outputs the payload to the video decoding unit 201. The video decoding unit 201 is an H.264 decoder. The encoded data is decoded in accordance with the H.264 / AVC standard and output to the video output device 21. The video output device 21 includes a video monitor that reproduces the decoded video signal and displays it on the display screen.

映像パケット受信部200は、受信したパケットのヘッダをパケットロス検出部202に転送する。パケットのヘッダは、図3に示すように、例えばIETF(Internet Engineering Task Force)のRFC(Request for Comments)3550の規格により規定されている形式からなる。   The video packet receiver 200 transfers the received packet header to the packet loss detector 202. As shown in FIG. 3, the packet header has a format defined by, for example, RFC (Request for Comments) 3550 standard of Internet Engineering Task Force (IETF).

ここで、シーケンス番号は1パケット毎に連続で採番される。タイムスタンプは、そのフレームの時間情報である。タイムスタンプが同じパケットは、同じフレームを分割して生成されたことを表している。具体的には、図2に示すように、例えばシーケンス番号0123,0124の各パケットは、同一フレーム内で画面上位置が異なる符号化データをそれぞれ有するものである。   Here, sequence numbers are consecutively assigned for each packet. The time stamp is time information of the frame. Packets having the same time stamp are generated by dividing the same frame. Specifically, as shown in FIG. 2, for example, packets with sequence numbers 0123 and 0124 each have encoded data having different positions on the screen in the same frame.

パケットロス検出部202は、転送されたヘッダからシーケンス番号を抽出し、当該シーケンス番号が不連続の場合には、パケットが欠落していると判定する。具体的には、パケットロス検出部202は、例えばシーケンス番号0123の次に、シーケンス番号0125のヘッダが入力された場合には、シーケンス番号0124のヘッダを有するパケットが欠落したと判定する。   The packet loss detection unit 202 extracts a sequence number from the transferred header, and determines that a packet is missing when the sequence number is discontinuous. Specifically, for example, when the header of sequence number 0125 is input next to sequence number 0123, packet loss detection section 202 determines that the packet having the header of sequence number 0124 has been lost.

パケットロス検出部202は、パケット欠落を検出した場合に、その検出結果をパケットロス情報送信部203に出力する。パケットロス情報送信部203は、当該検出結果に応じた情報を、ネットワーク30を通じて映像送信部10のパケットロス情報受信部103宛てに送信する。パケットロス情報送信部203は、送信情報として、欠落した前後のパケットのシーケンス番号とタイムスタンプを含むパケットロス情報を送信する。   When the packet loss detection unit 202 detects a packet loss, the packet loss detection unit 202 outputs the detection result to the packet loss information transmission unit 203. The packet loss information transmission unit 203 transmits information corresponding to the detection result to the packet loss information reception unit 103 of the video transmission unit 10 through the network 30. The packet loss information transmission unit 203 transmits, as transmission information, packet loss information including the sequence numbers and time stamps of the previous and subsequent lost packets.

映像送信部10では、パケットロス情報受信部103は、受信したパケットロス情報を比較エラー位置検出部104に転送する。比較エラー位置検出部104は、送信時にパケット情報テーブル102に記録されたパケット情報と、受信したパケットロス情報とを比較して、エラーで欠落したパケットに含まれる符号化データが再生されたときの画面上位置(画面上の再生範囲)を特定する。比較エラー位置検出部104は、特定した画面上位置を示すエラー位置情報を映像符号化部100に出力する。   In the video transmission unit 10, the packet loss information reception unit 103 transfers the received packet loss information to the comparison error position detection unit 104. The comparison error position detection unit 104 compares the packet information recorded in the packet information table 102 at the time of transmission with the received packet loss information, and the encoded data included in the packet missing due to the error is reproduced. Specify the position on the screen (the playback range on the screen). The comparison error position detection unit 104 outputs error position information indicating the specified on-screen position to the video encoding unit 100.

比較エラー位置検出部104は、欠落したパケットの符号化モードとして、他のスライス(符号化データ)の復号化での予測画像として使用(参照)される参照フレームの符号化データである場合に、エラー位置情報を映像符号化部100に出力する。即ち、比較エラー位置検出部104は、欠落したパケットの符号化モードが参照フレームの符号化データでない場合には、エラー位置情報を出力しない。   When the comparison error position detection unit 104 is encoded data of a reference frame used (referenced) as a predicted image in decoding of another slice (encoded data) as an encoding mode of a lost packet, The error position information is output to the video encoding unit 100. That is, the comparison error position detection unit 104 does not output error position information when the coding mode of the lost packet is not the coded data of the reference frame.

ここで、Iスライスとは、他のフレームを予測画像として参照することなく、復号化できるフレーム内符号化データである。   Here, the I slice is encoded data within a frame that can be decoded without referring to another frame as a predicted image.

映像符号化部100は、後述するように、次に送信する参照フレームで、比較エラー位置検出部104からのエラー位置情報により特定された部分(画面上の位置)のフレーム内符号化(以下部分イントラ符号化と表記する場合がある)を実行する。なお、動き補償が行われているので、その動きベクトル範囲である周辺部も部分イントラ符号化の対象とすることが好ましい。   As will be described later, the video encoding unit 100 encodes a portion (position on the screen) specified by the error position information from the comparison error position detection unit 104 in a reference frame to be transmitted next (hereinafter referred to as a part). (In some cases, it is referred to as intra coding). In addition, since motion compensation is performed, it is preferable that the peripheral portion that is the motion vector range is also a target of partial intra coding.

部分イントラ符号化がなされるフレームは、参照画像となりえるフレームに限定される。エラー位置情報が送られた次のフレームであって、全画面がイントラ符号化されて、それ以前の参照フレームがクリアされるIDRフレームの場合には、エラー位置情報は無視される。   Frames subjected to partial intra coding are limited to frames that can be reference images. In the case of an IDR frame in which the entire frame is intra-coded and the previous reference frame is cleared after the error position information is sent, the error position information is ignored.

[映像符号化部の構成]
図5は、本実施形態に関する映像符号化部100の構成を示すブロック図である。
[Configuration of video encoding unit]
FIG. 5 is a block diagram illustrating a configuration of the video encoding unit 100 according to the present embodiment.

映像符号化部100は、変換量子化部301と、エントロピー符号化部302と、逆量子化・逆変換部303と、デブロッキングフィルタ304と、参照フレームメモリ305と、符号化モード切替部306と、画面内予測部307と、動き補償部308と、動き検出部309と、符号化制御部310と、出力バッファ311と、エラー位置メモリ312とを有する。   The video coding unit 100 includes a transform quantization unit 301, an entropy coding unit 302, an inverse quantization / inverse transform unit 303, a deblocking filter 304, a reference frame memory 305, and a coding mode switching unit 306. , An intra-screen prediction unit 307, a motion compensation unit 308, a motion detection unit 309, an encoding control unit 310, an output buffer 311, and an error position memory 312.

本実施形態の映像符号化部100は、H.264/AVC規格による映像符号化方式を適用した方式である。動き補償部308は、参照フレームメモリ305に格納された複数の参照フレームから選択した参照フレームからの動きを推定して予測信号を作成する。即ち、動き補償部308は、動き検出部309により映像信号110から検出された動きベクトルに基づいて、参照フレームからのフレーム間予測画面を作成する。   The video encoding unit 100 according to this embodiment is an H.264 standard. This is a method to which a video encoding method according to the H.264 / AVC standard is applied. The motion compensation unit 308 estimates a motion from a reference frame selected from a plurality of reference frames stored in the reference frame memory 305 and creates a prediction signal. That is, the motion compensation unit 308 creates an inter-frame prediction screen from the reference frame based on the motion vector detected from the video signal 110 by the motion detection unit 309.

変換量子化部301は、映像信号110(符号化する映像)と予測信号との残差信号をDCT(Discrete Cosine Transform:離散コサイン変換)量子化を行なう。エントロピー符号化部302は、変換量子化部301によるDCT量子化された信号に対して可変長符号化処理を実行し、当該符号化データを出力バッファ311に格納する。映像パケット送信部101は、出力バッファ311に格納されたフレーム単位の符号化データ(映像符号化データ)111をパケット単位の伝送信号に変換し、ネットワーク30を通じて映像受信部20に送信することになる。画面内(イントラ)予測部307は、変換量子化部301によるDCT量子化された信号から、同じ画面内の画像サンプルを使用して、別の位置の画像サンプルを予測する。   The transform quantization unit 301 performs DCT (Discrete Cosine Transform) quantization on the residual signal between the video signal 110 (video to be encoded) and the prediction signal. The entropy encoding unit 302 performs variable length encoding processing on the signal subjected to DCT quantization by the transform quantization unit 301, and stores the encoded data in the output buffer 311. The video packet transmission unit 101 converts the frame-unit encoded data (video encoded data) 111 stored in the output buffer 311 into a packet-unit transmission signal, and transmits the packet-based transmission signal to the video reception unit 20 through the network 30. . The in-screen (intra) prediction unit 307 predicts an image sample at another position from the signal subjected to DCT quantization by the transform quantization unit 301 using the image sample in the same screen.

さらに、逆量子化・逆変換部303は、変換量子化部301の逆処理を実行する。またねデブロッキングフィルタ304は、符号化時に、ブロック境界部で生じる歪を減少させるためのフィルタである。   Further, the inverse quantization / inverse transform unit 303 performs the inverse process of the transform quantization unit 301. Further, the deblocking filter 304 is a filter for reducing distortion generated at the block boundary during encoding.

以上のような機能処理部と共に、本実施形態の映像符号化部100は、全体の制御及び符号化モード切替部306を制御して符号化タイプを選択する機能を有する符号化制御部310、及びエラー位置メモリ312を有する。   Along with the function processing units as described above, the video encoding unit 100 of the present embodiment includes an encoding control unit 310 having a function of selecting the encoding type by controlling the overall control and encoding mode switching unit 306, and An error position memory 312 is included.

符号化制御部310は、比較エラー位置検出部104から出力されるエラー位置情報をエラー位置メモリ312に格納する。さらに、符号化制御部310は、当該エラー位置情報に基づいて、符号化モード切替部306を制御するための制御情報400を出力する。また、符号化制御部310は、参照フレームメモリ305に格納された複数の参照フレームから参照フレームを選択するための情報410を出力する。さらに、符号化制御部310は、後述するように、エラーを含む参照フレームの使用を禁止するために、映像受信部20に対して参照フレームメモリから当該エラーを含む参照フレームを削除するためのコマンド420を出力する。   The encoding control unit 310 stores the error position information output from the comparison error position detection unit 104 in the error position memory 312. Furthermore, the encoding control unit 310 outputs control information 400 for controlling the encoding mode switching unit 306 based on the error position information. Also, the encoding control unit 310 outputs information 410 for selecting a reference frame from a plurality of reference frames stored in the reference frame memory 305. Further, as will be described later, the encoding control unit 310 instructs the video reception unit 20 to delete the reference frame including the error from the reference frame memory in order to prohibit the use of the reference frame including the error. 420 is output.

[作用効果]
以下、図4から図8を参照して、本実施形態のシステムに関する作用効果を説明する。
[Function and effect]
Hereinafter, with reference to FIG. 4 to FIG. 8, the operational effects relating to the system of the present embodiment will be described.

まず、映像送信部10では、映像符号化部100は、例えば監視カメラである映像入力装置11から入力された映像信号110を、フレーム(画面)を分割したスライス単位で符号化した符号化データ111を生成する。映像パケット送信部101は、符号化データ111をパケット単位の伝送データに変換し、ネットワーク30を通じて映像受信部20に送信する。   First, in the video transmission unit 10, the video encoding unit 100 encodes the video signal 110 input from the video input device 11 that is a surveillance camera, for example, in units of slices obtained by dividing a frame (screen). Is generated. The video packet transmission unit 101 converts the encoded data 111 into transmission data in units of packets and transmits the transmission data to the video reception unit 20 through the network 30.

映像受信部20では、受信したパケットに含まれる符号化データを映像信号に復号化して映像出力装置21に出力する。映像出力装置21は、復号化された映像信号を再生して、映像モニタの表示画面上に表示する。   The video receiver 20 decodes the encoded data included in the received packet into a video signal and outputs it to the video output device 21. The video output device 21 reproduces the decoded video signal and displays it on the display screen of the video monitor.

ここで、図7のフローチャートに示すように、映像受信部20では、パケットロス検出部202が受信される一連のパケットから欠落したパケットを検出すると、パケットロス情報送信部203はパケットロス情報を映像送信部10のパケットロス情報受信部103に送信する(ステップS1のYES)。   Here, as shown in the flowchart of FIG. 7, in the video reception unit 20, when the packet loss detection unit 202 detects a missing packet from a series of received packets, the packet loss information transmission unit 203 displays the packet loss information as video. It transmits to the packet loss information receiving part 103 of the transmission part 10 (YES of step S1).

パケットロス情報受信部103は、パケットロス情報を受信すると、比較エラー位置検出部104に出力する(ステップS2)。比較エラー位置検出部104は、当該パケットロス情報と、送信時にパケット情報テーブル102に記録されたパケット情報とを比較して、エラーで欠落したパケットを特定する。   When receiving the packet loss information, the packet loss information receiving unit 103 outputs the packet loss information to the comparison error position detecting unit 104 (step S2). The comparison error position detection unit 104 compares the packet loss information with the packet information recorded in the packet information table 102 at the time of transmission, and identifies a packet lost due to an error.

さらに、比較エラー位置検出部104は、パケット情報テーブル102から欠落したパケットの画面上の位置(画面上の再生範囲)を特定する(ステップS3)。ここで、比較エラー位置検出部104は、エラーで欠落したパケットの符号化モードに基づいて、当該符号化データが参照フレームであるか否かを判定する(ステップS4)。比較エラー位置検出部104は、判定結果が参照フレームではない場合には、他のフレームの復号化での予測画像として参照されない符号化データであるため、本実施形態でのエラー回復処理を実行しない(ステップS4のNO)。   Further, the comparison error position detection unit 104 specifies the position on the screen (reproduction range on the screen) of the packet missing from the packet information table 102 (step S3). Here, the comparison error position detection unit 104 determines whether or not the encoded data is a reference frame based on the encoding mode of the packet lost due to the error (step S4). When the determination result is not a reference frame, the comparison error position detection unit 104 is encoded data that is not referred to as a predicted image in the decoding of another frame, and thus does not execute the error recovery process in this embodiment. (NO in step S4).

一方、欠落したパケットの符号化モードが参照フレームの場合には、比較エラー位置検出部104は、特定した画面上位置を示すエラー位置情報を映像符号化部100に出力する(ステップS5)。   On the other hand, if the encoding mode of the missing packet is a reference frame, the comparison error position detection unit 104 outputs error position information indicating the specified on-screen position to the video encoding unit 100 (step S5).

図4は、パケットロス(パケット欠落)が発生したときの状態を説明するための図である。即ち、伝送中の参照フレームから例えば2パケットの欠落が発生した場合に、図4に示すように、当該参照フレームを予測画像として参照するスライスの復号化では、再生映像の品質劣化が発生する。   FIG. 4 is a diagram for explaining a state when a packet loss (packet loss) occurs. That is, when, for example, two packets are lost from a reference frame being transmitted, as shown in FIG. 4, in the decoding of a slice that refers to the reference frame as a predicted image, quality degradation of the reproduced video occurs.

本実施形態のシステムは、その後に送信するフレームでの欠落パケットに対応する部分映像を部分イントラ符号化して伝送する機能を有するため、エラー回復を実現できる(図8のステップS12を参照)。これにより、エラー回復されたフレームを予測画像として参照するスライスの復号化では、再生映像の品質を回復することができる。   Since the system of the present embodiment has a function of transmitting a partial video corresponding to a missing packet in a frame to be transmitted thereafter by partial intra coding, error recovery can be realized (see step S12 in FIG. 8). As a result, the quality of the reproduced video can be recovered by decoding the slice that refers to the error-recovered frame as the predicted image.

ところで、本実施形態のシステムに適用するH.264/AVC規格による映像符号化方式では、スライスの符号化時に、参照フレームを自由に選択できる。このため、図6に示すように、前記の部分イントラ符号化によりエラー回復させたフレーム61以降で、当該フレーム61より以前のエラーを含むフレーム60を参照して、復号化されるフレーム62が発生する。このフレーム62は、エラー(パケット欠落)を含むフレーム60を参照するため、再生映像の品質が劣化する。さらに、復号化されるフレーム62が参照フレームであれば、それ以降のフレーム63,64の復号化時に、参照フレームとして使用される可能性がある。図6において、時間Tdは、パケットロス情報の伝達と、エラー位置の特定処理に伴う遅延時間を意味する。   By the way, H.C. applied to the system of this embodiment. In the video encoding system according to the H.264 / AVC standard, a reference frame can be freely selected when a slice is encoded. For this reason, as shown in FIG. 6, a frame 62 to be decoded is generated with reference to a frame 60 including an error before the frame 61 after the frame 61 error-recovered by the partial intra coding. To do. Since the frame 62 refers to the frame 60 including an error (packet missing), the quality of the reproduced video is deteriorated. Furthermore, if the frame 62 to be decoded is a reference frame, it may be used as a reference frame when decoding subsequent frames 63 and 64. In FIG. 6, a time Td means a delay time associated with transmission of packet loss information and error position identification processing.

要するに、H.264/AVC規格による映像符号化方式では、伝送中のパケット欠落によるエラーを含む参照フレーム60が発生する場合、当該参照フレーム60が、映像受信部20において長期間使用される可能性がある。換言すれば、パケットロスによるエラーの長期伝播が発生する可能性がある。   In short, H. In the video encoding method based on the H.264 / AVC standard, when a reference frame 60 including an error due to a packet loss during transmission occurs, the reference frame 60 may be used in the video receiving unit 20 for a long period of time. In other words, there is a possibility that long-term propagation of errors due to packet loss occurs.

そこで、本実施形態の映像符号化部100は、以下のような伝送中のパケット欠落によるエラーの対策処理を実行する。   Therefore, the video encoding unit 100 according to the present embodiment executes the following countermeasures for errors due to packet loss during transmission.

映像符号化部100では、図5に示すように、符号化制御部310は、伝送中にパケット欠落が発生すると、比較エラー位置検出部104から出力されるエラー位置情報をエラー位置メモリ312に格納する。エラー位置情報は、前述したように、欠落したパケットが参照フレームの場合であって、当該欠落部分を再生したときに、画面上の位置を示す情報である。   In the video encoding unit 100, as shown in FIG. 5, when a packet loss occurs during transmission, the encoding control unit 310 stores the error position information output from the comparison error position detection unit 104 in the error position memory 312. To do. As described above, the error position information is information indicating a position on the screen when the missing packet is a reference frame and the missing portion is reproduced.

符号化制御部310は、エラーを含む参照フレームの使用を禁止するために、映像受信部20に対して参照フレームメモリから当該エラーを含む参照フレームを削除するためのコマンド420を出力する。このコマンド420は、映像パケット送信部101により映像パケット受信部200に送信されて、映像復号化部201に与えられる。   In order to prohibit the use of a reference frame including an error, the encoding control unit 310 outputs a command 420 for deleting the reference frame including the error from the reference frame memory to the video reception unit 20. The command 420 is transmitted to the video packet receiving unit 200 by the video packet transmitting unit 101 and given to the video decoding unit 201.

映像復号化部201では、長期間にわたって参照される参照フレームにエラーが発生した場合には、利用されない参照フレームが参照フレームメモリに蓄積されていく。このため、正常な参照フレームが有効に使用されないため、復号化される映像の再生画質が低下する。これに対応するために、符号化制御部310がコマンド420を送信することで、映像復号化部201は、エラーのある参照フレームを参照フレームメモリから削除でき、参照フレームメモリに格納されている正常な参照フレームの有効に活用することができる。   In the video decoding unit 201, when an error occurs in a reference frame that is referenced for a long period of time, a reference frame that is not used is accumulated in the reference frame memory. For this reason, since the normal reference frame is not used effectively, the reproduction image quality of the decoded video is deteriorated. To cope with this, the video decoding unit 201 can delete the reference frame having an error from the reference frame memory by transmitting the command 420 from the encoding control unit 310, and the normal stored in the reference frame memory. Effective reference frame can be used.

さらに、符号化制御部310は、図8のフローチャートに示すような手順で、エラー回復処理を実行する。   Further, the encoding control unit 310 executes error recovery processing in the procedure as shown in the flowchart of FIG.

通常の符号化処理では、符号化制御部310は、予め設定された規則または符号化効率の高さに基づいて、参照フレームを選択するための情報410を出力して、参照フレームメモリ305に格納された複数の参照フレームから参照フレームを選択する。映像符号化部100は、選択された参照フレームを予測画像として、映像信号110に対するスライス単位の符号化処理を行なう。   In a normal encoding process, the encoding control unit 310 outputs information 410 for selecting a reference frame based on a preset rule or high encoding efficiency and stores it in the reference frame memory 305. A reference frame is selected from the plurality of reference frames. The video encoding unit 100 performs an encoding process in units of slices on the video signal 110 using the selected reference frame as a predicted image.

ここで、パケットロスの発生により、映像復号化部201において参照フレームにエラーが発生している状況下で、映像符号化部100が、当該エラーを含む参照フレームを使用するように選択すると、前述したように、再生映像の品質が劣化する。   Here, when the video encoding unit 100 selects to use a reference frame including the error in a situation where an error has occurred in the reference frame in the video decoding unit 201 due to occurrence of packet loss, As described above, the quality of the reproduced video deteriorates.

そこで、本実施形態の符号化制御部310は、エラーを含む参照フレームを使用するような状況が予想される場合には、エラー回復のための特別な符号化処理を実行する。即ち、符号化制御部310は、参照フレームメモリ305に格納された複数の参照フレームの中に、エラーを含む参照フレームが存在するか否かを判定する(ステップS10)。符号化制御部310は、エラーを含む参照フレームが存在する場合に、使用していない正常な参照フレームが参照フレームメモリ305に存在するか否かを判定する(ステップS11)。   Therefore, the encoding control unit 310 according to the present embodiment executes a special encoding process for error recovery when a situation in which a reference frame including an error is expected. That is, the encoding control unit 310 determines whether or not a reference frame including an error exists among the plurality of reference frames stored in the reference frame memory 305 (step S10). When there is a reference frame including an error, the encoding control unit 310 determines whether there is a normal reference frame that is not used in the reference frame memory 305 (step S11).

使用していない正常な参照フレームがなくなると、符号化制御部310は、制御情報400を出力して符号化モード切替部306を制御し、画面内予測部307を動作させて、
エラー位置情報に従ってエラー発生位置とその周辺部のみの映像部分をイントラ(面内)符号化する部分イントラ符号化処理を実行する(ステップS12)。即ち、映像送信部10は、その後に送信するPフレームでの欠落パケットに対応する部分映像を、部分イントラ符号化して伝送することにより、当該エラーを回復したPフレームを伝送する(図6の61を参照)。
When there is no normal reference frame that is not used, the encoding control unit 310 outputs the control information 400 to control the encoding mode switching unit 306, and operates the in-screen prediction unit 307,
In accordance with the error position information, a partial intra encoding process is performed for intra (in-plane) encoding the video portion of the error occurrence position and its peripheral part only (step S12). In other words, the video transmission unit 10 transmits the partial video corresponding to the missing packet in the P frame to be transmitted thereafter by performing partial intra encoding and transmits the P frame from which the error has been recovered (61 in FIG. 6). See).

一方、使用していない正常な参照フレームが存在する場合には、符号化制御部310は、当該正常な参照フレームを使用して、映像信号110に対する仮の符号化処理を実行し、エラーを含まないフレームに変更する(ステップS13)。但し、時間的に近い参照フレームではないと、発生符号量が増大して期待する圧縮率や、映像再生品質が得られない場合がある。このような場合には、符号化制御部310は、符号化モード切替部306を制御して画面内予測部307を動作させて、部分イントラ符号化処理を実行する(ステップS14のNO,S12)。   On the other hand, when there is a normal reference frame that is not used, the encoding control unit 310 performs a temporary encoding process on the video signal 110 using the normal reference frame, and includes an error. The frame is changed to a non-existing frame (step S13). However, if it is not a reference frame that is close in time, the generated code amount may increase and the expected compression rate and video reproduction quality may not be obtained. In such a case, the encoding control unit 310 controls the encoding mode switching unit 306 to operate the intra prediction unit 307 and executes the partial intra encoding process (NO in step S14, S12). .

符号化制御部310は、当該正常な参照フレームを使用して仮の符号化処理を実行し、当該仮符号化の結果を採用して、エラーを含まない参照フレームに変更するエラー回復処理を行なう(ステップ14のYES,S15)。   The encoding control unit 310 performs a temporary encoding process using the normal reference frame, and performs an error recovery process that adopts the result of the temporary encoding and changes the reference frame to include no error. (YES in step 14, S15).

以上のようにして本実施形態によれば、伝送中にパケット欠落が発生すると、比較エラー位置検出部104から出力されるエラー位置情報をエラー位置メモリ312に格納する。このエラー位置情報を使用して、エラーを含む参照フレームを、映像復号化部201において使用を禁止するような制御を実現できる(コマンド420の説明を参照)。   As described above, according to the present embodiment, when a packet loss occurs during transmission, the error position information output from the comparison error position detection unit 104 is stored in the error position memory 312. Using this error position information, it is possible to realize a control that prohibits the use of a reference frame including an error in the video decoding unit 201 (see the description of the command 420).

さらに、エラー位置情報に基づいて、エラーが発生した部分(ブロック)を含むフレームを参照フレームとせずに、別の正常な参照フレーム、または部分イントラ符号化したブロックを含むフレームを参照フレームとすることができる。従って、図6に示すように、映像復号化部201において、エラー回復されたフレーム61を参照フレームとして、フレーム62の復号化処理を行なうことができる。   Further, based on the error position information, a frame including an error-occurring part (block) is not used as a reference frame, and another normal reference frame or a frame including a partially intra-coded block is used as a reference frame. Can do. Therefore, as shown in FIG. 6, the video decoding unit 201 can perform the decoding process of the frame 62 using the error-recovered frame 61 as a reference frame.

従って、パケットロスの発生によりエラーを含む参照フレームを、長期間にわたって使用されることを回避できるため、特にH.264/AVC規格などのように、参照フレームの選択に対する自由度が大きい映像符号化方式には有効である。   Accordingly, it is possible to avoid using a reference frame including an error due to occurrence of packet loss over a long period of time. It is effective for a video coding system having a high degree of freedom in selecting a reference frame, such as the H.264 / AVC standard.

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。   Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the components without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

本発明の実施形態に関する映像伝送システムの構成を示すブロック図。The block diagram which shows the structure of the video transmission system regarding embodiment of this invention. 本実施形態に関するパケット情報テーブルの一例を示す図。The figure which shows an example of the packet information table regarding this embodiment. 本実施形態に関するパケットのヘッダ形式の一例を示す図。The figure which shows an example of the header format of the packet regarding this embodiment. 本実施形態に関するエラー回復処理を説明するための図。The figure for demonstrating the error recovery process regarding this embodiment. 本実施形態に関する映像符号化部の構成を示すブロック図。The block diagram which shows the structure of the video encoding part regarding this embodiment. 本実施形態に関するエラー回復処理を説明するための図。The figure for demonstrating the error recovery process regarding this embodiment. 本実施形態に関するパケットロス検出処理の手順を説明するためのフローチャート。The flowchart for demonstrating the procedure of the packet loss detection process regarding this embodiment. 本実施形態に関するエラー回復処理の手順を説明するためのフローチャート。6 is a flowchart for explaining a procedure of error recovery processing according to the embodiment.

符号の説明Explanation of symbols

10…映像送信部、11…映像入力装置、20…映像受信部、21…映像出力装置、
30…ネットワーク、100…映像符号化部、101…映像パケット送信部、
102…パケット情報テーブル、103…パケットロス情報受信部、
104…比較エラー位置検出部、200…映像パケット受信部、
201…映像復号化部、202…パケットロス検出部、
203…パケットロス情報送信部、301…変換量子化部、
302…エントロピー符号化部、303…逆量子化・逆変換部、
304…デブロッキングフィルタ、305…参照フレームメモリ、
306…符号化モード切替部、307…画面内予測部、308…動き補償部、
309…動き検出部、310…符号化制御部、311…出力バッファ、
312…エラー位置メモリ。
DESCRIPTION OF SYMBOLS 10 ... Video transmission part, 11 ... Video input device, 20 ... Video reception part, 21 ... Video output device,
30 ... Network, 100 ... Video encoder, 101 ... Video packet transmitter,
102 ... Packet information table, 103 ... Packet loss information receiver,
104: Comparison error position detection unit, 200: Video packet reception unit,
201 ... Video decoding unit, 202 ... Packet loss detection unit,
203 ... packet loss information transmission unit, 301 ... transform quantization unit,
302 ... Entropy encoding unit, 303 ... Inverse quantization / inverse transform unit,
304: Deblocking filter, 305: Reference frame memory,
306 ... Coding mode switching unit, 307 ... In-screen prediction unit, 308 ... Motion compensation unit,
309 ... Motion detection unit, 310 ... Coding control unit, 311 ... Output buffer,
312: Error position memory.

Claims (9)

映像フレームを符号化した符号化データをパケット単位に分割して伝送する映像伝送システムの映像送信装置であって、
送信対象の映像フレームを符号化する映像符号化手段と、
伝送中に欠落されたパケットを示すパケットロス情報に従って、当該パケットに含まれる符号化データが、他の符号化データの復号化での予測画像として使用される参照フレームの符号化データであるか否かを判定する判定手段と、
前記判定手段の判定結果が前記参照フレームの符号化データの場合で、前記欠落が検出されたパケットに含まれる符号化データが再生されるときの画面上の位置を特定し、当該位置をエラー位置として示すエラー位置情報を出力する手段と、
前記エラー位置情報を記憶する記憶手段と、
前記エラー位置情報に従って、前記欠落が検出されたパケットに対応するエラー部分を含む参照フレームの使用を禁止する制御手段と
を具備したことを特徴とする映像送信装置。
A video transmission device of a video transmission system for transmitting encoded data obtained by encoding a video frame by dividing it into packet units,
Video encoding means for encoding a video frame to be transmitted;
Whether the encoded data included in the packet is encoded data of a reference frame used as a prediction image in decoding of other encoded data according to packet loss information indicating a packet lost during transmission Determination means for determining whether or not
When the determination result of the determination unit is the encoded data of the reference frame, the position on the screen when the encoded data included in the packet in which the loss is detected is reproduced is specified, and the position is determined as the error position. Means for outputting error position information indicated as:
Storage means for storing the error position information;
A video transmission apparatus comprising: control means for prohibiting use of a reference frame including an error portion corresponding to the packet in which the loss is detected according to the error position information.
前記制御手段は、
パケット単位の符号化データを受信して復号化する映像復号化装置に対して、前記エラー位置情報により指定される前記画面上の位置に対応する符号化データが欠落された参照フレームの使用を禁止する指示を行なうことを特徴とする請求項1に記載の映像送信装置。
The control means includes
A video decoding device that receives and decodes encoded data in units of packets is prohibited from using a reference frame in which encoded data corresponding to the position on the screen specified by the error position information is missing. The video transmission apparatus according to claim 1, wherein an instruction to perform the instruction is issued.
前記エラー位置の符号化データが欠落された参照フレームが存在する場合に、当該エラー位置に対応する正常な符号化データを含む正常な参照フレームを使用して、前記エラー位置の符号化データを回復させるエラー回復処理を実行するエラー回復手段を有することを特徴とする請求項1または請求項2のいずれか1項に記載の映像送信装置。   When there is a reference frame in which the encoded data at the error position is missing, the encoded data at the error position is recovered by using a normal reference frame including normal encoded data corresponding to the error position. The video transmission device according to claim 1, further comprising error recovery means for executing an error recovery process. 前記エラー回復手段は、
前記正常な参照フレームが存在しない場合には、前記エラー位置の符号化データを、前記エラー位置に対応する部分映像データをフレーム内符号化データに符号化して回復することを特徴とする請求項3に記載の映像送信装置。
The error recovery means includes
4. If the normal reference frame does not exist, the encoded data at the error position is recovered by encoding partial video data corresponding to the error position into intra-frame encoded data. The video transmission device described in 1.
前記エラー位置の符号化データが欠落された参照フレームが存在する場合に、前記エラー位置の符号化データを、前記エラー位置に対応する部分映像データをフレーム内符号化データに符号化して、前記エラー位置の符号化データを回復させるエラー回復処理を実行するエラー回復手段を有することを特徴とする請求項1または請求項2のいずれか1項に記載の映像送信装置。   When there is a reference frame in which the encoded data at the error position is missing, the encoded data at the error position is encoded with partial video data corresponding to the error position into intra-frame encoded data, and the error 3. The video transmission apparatus according to claim 1, further comprising error recovery means for executing an error recovery process for recovering the encoded data of the position. 映像フレームを符号化した符号化データをパケット単位に分割して伝送する映像伝送システムに適用する映像伝送方法であって、
送信対象の映像フレームを符号化して伝送するときに、パケットの欠落を検出するステップと、
前記欠落されたパケットを示すパケットロス情報に従って、当該パケットに含まれる符号化データが、他の符号化データの復号化での予測画像として使用される参照フレームの符号化データであるか否かを判定するステップと、
前記判定手段の判定結果が前記参照フレームの符号化データの場合で、前記欠落が検出されたパケットに含まれる符号化データが再生されるときの画面上の位置を特定し、当該位置をエラー位置として示すエラー位置情報を出力するステップとを有し、
前記エラー位置情報に従って、前記欠落が検出されたパケットに対応するエラー部分を含む参照フレームの使用を禁止することを特徴とする映像伝送方法。
A video transmission method applied to a video transmission system that transmits encoded data obtained by encoding a video frame in units of packets,
Detecting a missing packet when encoding and transmitting a video frame to be transmitted; and
Whether or not the encoded data included in the packet is encoded data of a reference frame used as a prediction image in decoding of other encoded data according to packet loss information indicating the lost packet. A determining step;
When the determination result of the determination unit is the encoded data of the reference frame, the position on the screen when the encoded data included in the packet in which the loss is detected is reproduced is specified, and the position is determined as the error position. And outputting error position information indicated as
A video transmission method, comprising: prohibiting use of a reference frame including an error portion corresponding to a packet in which the loss is detected according to the error position information.
パケット単位の符号化データを受信して復号化する映像復号化装置に対して、前記エラー位置情報により指定される前記画面上の位置に対応する符号化データが欠落された参照フレームの使用を禁止する指示を行なうことを特徴とする請求項6に記載の映像伝送方法。   A video decoding device that receives and decodes encoded data in units of packets is prohibited from using a reference frame in which encoded data corresponding to the position on the screen specified by the error position information is missing. The video transmission method according to claim 6, wherein an instruction is given. 前記エラー位置の符号化データが欠落された参照フレームが存在する場合に、当該エラー位置に対応する正常な符号化データを含む正常な参照フレームを使用して、前記エラー位置の符号化データを回復させるエラー回復処理を実行することを特徴とする請求項6に記載の映像伝送方法。   When there is a reference frame in which the encoded data at the error position is missing, the encoded data at the error position is recovered by using a normal reference frame including normal encoded data corresponding to the error position. The video transmission method according to claim 6, wherein error recovery processing is executed. 前記正常な参照フレームが存在しない場合には、前記エラー位置の符号化データを、前記エラー位置に対応する部分映像データをフレーム内符号化データに符号化して回復することを特徴とする請求項8に記載の映像伝送方法。   9. The encoded data at the error position is recovered by encoding the partial video data corresponding to the error position into intra-frame encoded data when the normal reference frame does not exist. The video transmission method described in 1.
JP2006114729A 2006-04-18 2006-04-18 System and method for transmitting video Pending JP2007288604A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006114729A JP2007288604A (en) 2006-04-18 2006-04-18 System and method for transmitting video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006114729A JP2007288604A (en) 2006-04-18 2006-04-18 System and method for transmitting video

Publications (1)

Publication Number Publication Date
JP2007288604A true JP2007288604A (en) 2007-11-01

Family

ID=38759942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006114729A Pending JP2007288604A (en) 2006-04-18 2006-04-18 System and method for transmitting video

Country Status (1)

Country Link
JP (1) JP2007288604A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009278188A (en) * 2008-05-12 2009-11-26 Canon Inc Data transmission apparatus, data transmission method, and program
JP2010193327A (en) * 2009-02-20 2010-09-02 Nec Engineering Ltd Image decoding apparatus and packet loss compensation method
WO2012086146A1 (en) * 2010-12-22 2012-06-28 パナソニック株式会社 Wireless transmission terminal and method of wireless transmission, encoding device and encoding method therefor, and computer program
KR101691748B1 (en) * 2015-08-07 2017-01-02 조선대학교산학협력단 Network-aware reference frame control system for error resilient video streaming service and method thereof
CN108924574A (en) * 2018-08-01 2018-11-30 广州视源电子科技股份有限公司 Loss treating method, device, equipment and storage medium in recording and broadcasting system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009278188A (en) * 2008-05-12 2009-11-26 Canon Inc Data transmission apparatus, data transmission method, and program
US8964855B2 (en) 2008-05-12 2015-02-24 Canon Kabushiki Kaisha Data transmission apparatus, data transmission method, and program
JP2010193327A (en) * 2009-02-20 2010-09-02 Nec Engineering Ltd Image decoding apparatus and packet loss compensation method
WO2012086146A1 (en) * 2010-12-22 2012-06-28 パナソニック株式会社 Wireless transmission terminal and method of wireless transmission, encoding device and encoding method therefor, and computer program
KR101691748B1 (en) * 2015-08-07 2017-01-02 조선대학교산학협력단 Network-aware reference frame control system for error resilient video streaming service and method thereof
CN108924574A (en) * 2018-08-01 2018-11-30 广州视源电子科技股份有限公司 Loss treating method, device, equipment and storage medium in recording and broadcasting system
CN108924574B (en) * 2018-08-01 2021-07-06 广州视源电子科技股份有限公司 Packet loss processing method, device, equipment and storage medium in recording and broadcasting system

Similar Documents

Publication Publication Date Title
JP3923898B2 (en) Image coding method and apparatus
JP4603695B2 (en) Video coding
AU774040B2 (en) Video coding
US7116714B2 (en) Video coding
JP5043096B2 (en) Channel changing method and digital video apparatus
JP2006524948A (en) A method for encoding a picture with a bitstream, a method for decoding a picture from a bitstream, an encoder for encoding a picture with a bitstream, a transmission apparatus and system including an encoder for encoding a picture with a bitstream, bit Decoder for decoding picture from stream, and receiving apparatus and client comprising a decoder for decoding picture from bitstream
WO2008146892A1 (en) Moving image converting apparatus, moving image converting method, and moving image converting program
JP2004350263A (en) Image processing apparatus and method therefor
JP2007288604A (en) System and method for transmitting video
JP4488958B2 (en) Video transmission system and video transmission method
EP2404451B1 (en) Processing of multimedia data
JP2005322995A (en) Buffer control method in real-time video image transfer, transmitting terminal, receiving terminal, video image distributing system and program
WO2021140768A1 (en) Transmission device and transmission method
JP2006352784A (en) Transmission method, receiver and computer program
JP4851270B2 (en) Moving picture decoding apparatus and decoding method.
JP2008042769A (en) Moving image decoder and moving image decoding method
JP2008283253A (en) Image transmission system, image encoding device, and image decoding device
JP2007151163A (en) Image decoding method and apparatus