JP2003264831A - Moving picture encoding/decoding system and method, encoder, decoder, and program - Google Patents

Moving picture encoding/decoding system and method, encoder, decoder, and program

Info

Publication number
JP2003264831A
JP2003264831A JP2002064932A JP2002064932A JP2003264831A JP 2003264831 A JP2003264831 A JP 2003264831A JP 2002064932 A JP2002064932 A JP 2002064932A JP 2002064932 A JP2002064932 A JP 2002064932A JP 2003264831 A JP2003264831 A JP 2003264831A
Authority
JP
Japan
Prior art keywords
image
data
decoding
moving picture
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002064932A
Other languages
Japanese (ja)
Inventor
Mamoru Hashimoto
守 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2002064932A priority Critical patent/JP2003264831A/en
Publication of JP2003264831A publication Critical patent/JP2003264831A/en
Pending legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To conceal an error or missing of encoded data so as not to be conspicuous even on the occurrence of the error or missing in transmission/reception of moving picture data. <P>SOLUTION: A transmitter side converts an image comprising a plurality of image areas by applying interlace scanning to each frame of a moving picture before encoding the moving picture and transmits the converted image to a network. An encoded data correction means 302 replaces the encoded data received by a reception means 301 in a receiver side moving picture decoding section 102 with encoded data estimated from encoded data corresponding to other image area on the occurrence of an error or missing in part of the encoded data in one image area in a plurality of the image areas. An interleave conversion means 304 converts the image comprising a plurality of the images areas after decoding the encoded data obtained by the encoded data correction means 302 at a decoding means 303 into an image comprising a single image area through inverse processing to the interlace scanning. <P>COPYRIGHT: (C)2003,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、動画像をネットワ
ークを通じて送受信する動画像符号化・復号化システム
に関し、特にネットワーク経由での送受信の際に発生す
る符号化データの誤りまたは欠落を隠蔽する技術の改良
に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture coding / decoding system for transmitting and receiving moving pictures through a network, and more particularly, a technique for concealing an error or loss of coded data that occurs during transmission and reception via a network. Regarding the improvement of.

【0002】[0002]

【従来の技術】一般に、動画像をネットワークを通じて
伝送する場合、送信側では、動画像をMPEG符号化方式な
どで圧縮符号化し、この符号化データのストリームをパ
ケット等に分割してネットワークに送信し、受信側で
は、受信したパケット等から符号化データのストリーム
を再生し、これを復号化して動画像を生成している。従
って、ネットワークの混雑等によってパケット等が送出
できなかったり、伝送誤りのためにパケット等が正しく
受信できないと、受信側で再生される動画像の品質が劣
化することになる。
2. Description of the Related Art Generally, when transmitting a moving image through a network, the transmitting side compresses and encodes the moving image by an MPEG encoding method or the like, divides this encoded data stream into packets, etc., and transmits it to the network. On the receiving side, a stream of encoded data is reproduced from the received packet and the like, and this is decoded to generate a moving image. Therefore, if the packet or the like cannot be transmitted due to network congestion or the like, or the packet or the like cannot be correctly received due to a transmission error, the quality of the moving image reproduced on the receiving side is deteriorated.

【0003】このようなネットワーク上での動画像通信
における符号化データの誤りおよび欠落に関して、従来
の隠蔽技術の一例が、三木弼一編著“MPEG−4のす
べて”(工業調査会)109頁から111頁に記載され
ている。図11に示すように、この従来の隠蔽技術にお
いて、最も簡単な方法は、符号化データの誤りや欠落が
発生したフレーム1101の直前に送信されたフレーム1102
において、誤りや欠落が発生したデータ1103と同じ領域
の符号化データ1104を代用するものである。また、デー
タパーティショニングと呼ばれるもう一つの方法は、符
号化データをパケット化して送信する際に、重要なデー
タをパケットの前部に集め、誤りが発生した場合でも重
要なデータのみを用いて符号化データから動画像を復号
化することを可能にする。
Regarding an error and a loss of encoded data in moving image communication on such a network, an example of a conventional concealment technique is described in "All About MPEG-4" (Industry Research Society), page 109, edited by Shinichi Miki. It is described on page 111. As shown in FIG. 11, in this conventional concealment technique, the simplest method is the frame 1102 transmitted immediately before the frame 1101 in which an error or loss of encoded data occurs.
In the above, the encoded data 1104 in the same area as the data 1103 in which an error or omission has occurred is substituted. Another method, called data partitioning, collects important data in the front part of the packet when the encoded data is packetized and transmitted, and encodes only the important data even if an error occurs. It is possible to decode a moving image from encrypted data.

【0004】[0004]

【発明が解決しようとする課題】しかしながら、上述し
た従来の技術は、被写体の動きが大きい動画像では、デ
ータの誤りまたは欠落が目立ってしまうという問題があ
る。その理由は、このような動画像の場合、動画像を構
成するフレーム間で位置が同じであっても画像データの
変動が大きいため、直前のフレームの同じデータの再利
用や重要度の高いデータのみの復号化では、データの誤
りや欠落のない他の領域との違いが大きく、隠蔽の効果
が不十分なためである。
However, the above-mentioned conventional technique has a problem that data error or omission becomes conspicuous in a moving image in which the motion of a subject is large. The reason is that in the case of such a moving image, even if the positions of the frames that make up the moving image are the same, the image data varies greatly. This is because the decoding by only the difference from other areas where there is no error or loss of data is large and the concealment effect is insufficient.

【0005】[0005]

【発明の目的】本発明の目的は、動画像データの送受信
において、符号化データの誤りや欠落が発生してもそれ
が目立たないように隠蔽できる動画像符号化・復号化シ
ステムを提供することにある。
SUMMARY OF THE INVENTION It is an object of the present invention to provide a moving picture coding / decoding system capable of concealing an error or a loss of coded data so as not to be conspicuous when transmitting and receiving moving picture data. It is in.

【0006】[0006]

【課題を解決するための手段】本発明による動画像符号
化・復号化システムは、動画像を符号化してネットワー
クに送信する動画像符号化部にインタレース変換手段を
備えている。このインタレース変換手段は、符号化前に
動画像の各フレームを飛び越し走査によって複数の画像
領域からなる画像に変換する。
A moving picture coding / decoding system according to the present invention comprises an interlace converting means in a moving picture coding unit for coding a moving picture and transmitting it to a network. The interlace conversion means converts each frame of a moving image into an image composed of a plurality of image areas by interlaced scanning before encoding.

【0007】また本発明による動画像符号化・復号化シ
ステムは、送信された動画像データを受信して復号化す
る動画像復号化部にデータ修正手段とインタリーブ変換
手段を備えている。このデータ修正手段は、前記複数の
画像領域中のある画像領域において符号化データの一部
の誤りまたは欠落による欠陥部分が発生した場合、その
欠陥部分を同じフレームの他の画像領域の対応する部分
の正常なデータで修正する。またインタリーブ変換手段
は、データ修正手段による修正後の前記複数の画像領域
を前記飛び越し走査の逆の処理により単一の画像領域か
らなる画像に変換する。
Further, the moving picture coding / decoding system according to the present invention comprises a data correcting means and an interleave converting means in a moving picture decoding section for receiving and decoding the transmitted moving picture data. When a defective portion due to an error or a part of the encoded data is generated in an image area of the plurality of image areas, the data correcting means sets the defective portion to a corresponding portion of another image area of the same frame. Correct with normal data. The interleave conversion means converts the plurality of image areas corrected by the data correction means into an image composed of a single image area by a process reverse to the interlaced scanning.

【0008】前記データ修正手段によるデータの修正は
復号化前に実施することも、復号化後に実施することも
できる。復号化前に実施する構成にあっては、前記複数
の画像領域中のある画像領域において符号化データの一
部に誤りまたは欠落が発生した場合その符号化データを
同じフレームの他の画像領域の対応する符号化データか
ら推測した符号化データで置き換える符号化データ修正
手段が備えられる。また復号化後に実施する構成にあっ
ては、受信した符号化データを復号して前記複数の画像
領域からなる画像を生成する際に誤りまたは欠落が発生
した符号化データに対応する部位である修正対象領域に
は任意の画像データを埋め込む復号化手段と、前記復号
化手段で復号された画像データ中の前記修正対象領域の
画像データを同じフレームの他の画像領域の対応する領
域の画像データから推測した画像データで置き換える画
像データ修正手段とが備えられる。
The correction of the data by the data correction means can be carried out before the decoding or after the decoding. In the configuration to be performed before decoding, if an error or loss occurs in a part of the encoded data in a certain image area of the plurality of image areas, the encoded data is stored in another image area of the same frame. Coded data correction means for replacing the coded data estimated from the corresponding coded data is provided. Further, in the configuration to be performed after decoding, the portion corresponding to the coded data in which an error or a loss has occurred when the received coded data is decoded to generate an image composed of the plurality of image areas is modified. Decoding means for embedding arbitrary image data in the target area and image data of the correction target area in the image data decoded by the decoding means from image data of corresponding areas of other image areas of the same frame. Image data correcting means for replacing the estimated image data is provided.

【0009】[0009]

【作用】本発明にあっては、1つのフレームの画像全体
をインタレース変換によって複数の互いに類似度の高い
画像領域に分割し符号化して送信するため、通信時に符
号化データの誤りまたは欠落が発生しても、同じフレー
ムにおける誤りまたは欠落のない画像領域中の対応する
符号化データまたは画像データから推測した符号化デー
タまたは画像データで置き換えることで、誤りまたは欠
落が目立たない隠蔽が可能になるという作用を奏する。
According to the present invention, the entire image of one frame is divided into a plurality of image areas having a high degree of similarity by interlace conversion, encoded, and transmitted, so that there is no error or loss of encoded data during communication. Even if it occurs, by substituting the coded data or the image data that is estimated from the corresponding coded data or the image data in the image area where there is no error or omission in the same frame, it is possible to conceal the error or omission. Has the effect.

【0010】[0010]

【発明の第1の実施の形態】次に、本発明の第1の実施
の形態について図面を参照して詳細に説明する。
First Embodiment Next, a first embodiment of the present invention will be described in detail with reference to the drawings.

【0011】図1を参照すると、本発明の第1の実施の
形態としての動画像符号化・復号化システムは、ネット
ワーク103によって通信可能に接続された動画像符号化
部101と動画像復号化部102とで構成されている。動画像
符号化部101は、入力された動画像を符号化してネット
ワーク103に送信し、動画像復号化部102は、ネットワー
ク103から受信したデータを復号化して動画像を出力す
る。
Referring to FIG. 1, a moving picture coding / decoding system as a first embodiment of the present invention comprises a moving picture coding unit 101 and a moving picture decoding unit communicably connected by a network 103. It is composed of a part 102 and a part. The moving image coding unit 101 codes the input moving image and transmits it to the network 103, and the moving image decoding unit 102 decodes the data received from the network 103 and outputs the moving image.

【0012】図2を参照すると、動画像符号化部101
は、インタレース変換手段201と符号化手段202と送信手
段203とを含んで構成される。
Referring to FIG. 2, the moving picture coding unit 101.
Is composed of interlace conversion means 201, encoding means 202 and transmission means 203.

【0013】インタレース変換手段201は、入力された
動画像の各フレームを飛び越し走査によって複数の画像
領域からなる画像に変換する。符号化手段202は、イン
タレース変換手段201から出力された動画像データに対
して符号化処理を行ない、生成した符号化データのスト
リームを送信手段203に供給する。送信手段203は、符号
化手段202から出力された符号化データのストリームを
ネットワーク103に適したサイズのパケットに分割し、
必要なヘッダを付加してネットワーク103に送信する。
The interlace conversion means 201 converts each frame of the input moving image into an image composed of a plurality of image areas by interlaced scanning. The encoding means 202 performs encoding processing on the moving image data output from the interlace conversion means 201, and supplies the generated encoded data stream to the transmission means 203. The transmitting means 203 divides the encoded data stream output from the encoding means 202 into packets of a size suitable for the network 103,
A necessary header is added and transmitted to the network 103.

【0014】図3を参照すると、動画像復号化部102
は、受信手段301と符号化データ修正手段302と復号化手
段303とインタリーブ変換手段304とを含んで構成され
る。
Referring to FIG. 3, the moving picture decoding unit 102.
Is composed of receiving means 301, encoded data correcting means 302, decoding means 303, and interleave conversion means 304.

【0015】受信手段301は、ネットワーク103から符号
化データのパケットを受信し、符号化データ修正手段30
2に供給する。符号化データ修正手段302は、符号化デー
タの一部に誤りまたは欠落が発生した場合は代替の符号
化データで置き換え、発生しなかった場合はそのままの
データを用いて符号化データのストリームを生成する。
復号化手段303は、符号化データ修正手段302から供給さ
れた符号化データのストリームを復号化して動画像をイ
ンタリーブ変換手段304に供給する。インタリーブ変換
手段304は、復号化手段303から出力された動画像の各フ
レームを動画像符号化部101のインタレース変換手段201
における飛び越し走査の逆の処理により単一の画像領域
からなる画像に変換して出力する。
The receiving means 301 receives a packet of encoded data from the network 103, and the encoded data correcting means 30
Supply to 2. The coded data correction unit 302 replaces the coded data with an alternative coded data when a part of the coded data has an error or a loss, and when not generated, generates a coded data stream using the data as it is. To do.
The decoding means 303 decodes the encoded data stream supplied from the encoded data correction means 302 and supplies the moving image to the interleave conversion means 304. The interleave conversion means 304 converts each frame of the moving picture output from the decoding means 303 into the interlace conversion means 201 of the moving picture coding unit 101.
The image is converted into an image composed of a single image area by the reverse processing of the interlaced scanning in and output.

【0016】動画像符号化部101の構成要素のうちの符
号化手段202および送信手段203、動画像復号化部102の
構成要素のうちの受信手段301及び復号化手段303は、こ
の種の動画像符号化・復号化の分野における当業者に従
来よりよく知られている手段であり、本実施の形態の主
たる特徴部分はインタレース変換手段201と符号化デー
タ修正手段302とインタリーブ変換手段304にある。そこ
で、以下ではこれらの手段について説明する。
The coding means 202 and the transmitting means 203 among the constituent elements of the moving picture coding section 101, and the receiving means 301 and the decoding means 303 among the constituent elements of the moving picture decoding section 102 are moving images of this kind. It is means well known to those skilled in the art in the field of image encoding / decoding, and the main characteristic parts of the present embodiment are interlace conversion means 201, encoded data correction means 302, and interleave conversion means 304. is there. Therefore, these means will be described below.

【0017】先ず図2のインタレース変換手段201につ
いて図4および図5を参照して説明する。
First, the interlace converting means 201 of FIG. 2 will be described with reference to FIGS. 4 and 5.

【0018】図4において、入力された動画像の1フレ
ーム分のデータが入力バッファ401に与えられたものと
する。ここで1フレームはNラインからなるものとす
る。まず最初のラインを起点としてnラインを飛び越す
飛び越し走査によってコピー元のラインを選択し、出力
バッファ402の最初のラインから順にコピーする。ここ
でnは1以上の整数を表すものとする。以下引き続き同
様にコピーを行ない、1フレーム分のデータのコピーが
終了すると、出力バッファ402は、図5に示すような(n+
1)個の画像領域から構成される画像501になる。コピー
が終了したらインタレース変換された画像501を符号化
手段202に供給する。
In FIG. 4, it is assumed that data for one frame of the input moving image is given to the input buffer 401. Here, one frame consists of N lines. First, a copy source line is selected by interlaced scanning starting from the first line and skipping n lines, and copying is performed in order from the first line of the output buffer 402. Here, n represents an integer of 1 or more. After that, when the copying of the data for one frame is completed in the same manner, the output buffer 402 displays (n +) as shown in FIG.
1) The image 501 is composed of one image area. When the copying is completed, the interlaced converted image 501 is supplied to the encoding means 202.

【0019】次に図3の符号化データ修正手段302の動
作を図6を参照して説明する。
Next, the operation of the encoded data correction means 302 of FIG. 3 will be described with reference to FIG.

【0020】符号化データに誤りや欠落が検知されなか
った場合は、伝送プロトコルのヘッダ等の不要な情報を
削除してストリームに組み立て直し、復号化手段303に
供給すればよいので、ここでは、誤りや欠落が検知され
た場合の動作のみを示す。修正を行なうのは符号化され
たデータに対してであるが、説明の便宜上復号化された
画像イメージを用いて説明する。
If no error or loss is detected in the encoded data, unnecessary information such as the header of the transmission protocol may be deleted, reassembled into a stream, and supplied to the decoding means 303. Only the operation when an error or omission is detected is shown. The correction is performed on the encoded data, but for convenience of explanation, the explanation will be given using the decoded image image.

【0021】図6において、まず誤りや欠落が発生した
データ601が属している画像領域602を特定する。次に、
当該画像領域602以外の画像領域において対応する位置
の符号化データ603、604を用いて、誤りや欠落が検知さ
れた符号化データ601の推測値を生成して置き換える。
例えば、図6のように、画像領域602以外の画像領域が
複数存在する場合、対応する位置の複数の符号化データ
603、604のうち誤りや欠落が発生していない1つの符号
化データを選択し、この選択した符号化データを符号化
データ601の代替とする。勿論、誤りや欠落が発生して
いない複数の符号化データ603、604を使って推測するよ
うにしても良い。そして、置き換えの済んだ符号化デー
タから伝送プロトコルのヘッダ等の不要な情報を削除し
てストリームに組み立て直し、復号化手段303に供給す
る。
In FIG. 6, first, the image area 602 to which the data 601 in which an error or omission has occurred belongs is specified. next,
Using the encoded data 603 and 604 at corresponding positions in the image area other than the image area 602, an estimated value of the encoded data 601 in which an error or omission is detected is generated and replaced.
For example, as shown in FIG. 6, when there are a plurality of image areas other than the image area 602, a plurality of encoded data at corresponding positions
One piece of encoded data in which no error or omission has occurred is selected from 603 and 604, and the selected encoded data is used as a substitute for the encoded data 601. Of course, the estimation may be performed using a plurality of encoded data 603 and 604 in which no error or omission has occurred. Then, unnecessary information such as the header of the transmission protocol is deleted from the replaced encoded data, reassembled into a stream, and supplied to the decoding means 303.

【0022】次に図3のインタリーブ変換手段304の動
作を図7を参照して説明する。
Next, the operation of the interleave conversion means 304 of FIG. 3 will be described with reference to FIG.

【0023】図7において、復号化手段303から出力さ
れた動画像の1フレーム分のデータが入力バッファ701
に与えられたものとする。まず、最初の画像領域から各
ラインを順に出力バッファ702の1番目、(n+2)番
目、(2n+3)番目、…にコピーする。次に、2番目
の画像領域から各ラインを順に出力バッファ702の2番
目、(n+3)番目、(2n+4)番目、…にコピーす
る。以下同様に複数の画像領域から単一の画像へのイン
タリーブ変換を行ない、出力バッファ701上で得られた
画像を出力する。
In FIG. 7, data for one frame of a moving image output from the decoding means 303 is input buffer 701.
Given to. First, each line is sequentially copied from the first image area to the first, (n + 2) th, (2n + 3) th, ... Of the output buffer 702. Next, each line is sequentially copied from the second image area to the second, (n + 3) th, (2n + 4) th, ... Of the output buffer 702. Similarly, the interleave conversion from a plurality of image areas to a single image is performed, and the image obtained on the output buffer 701 is output.

【0024】このように、本実施の形態では、インタレ
ース変換によって互いに類似度が高い複数の画像領域を
生成することで、ある画像領域中のデータに誤りや欠落
が発生した場合でも、当該データの代替として他の画像
領域のデータから代替データを生成し置き換える処理を
行なっているため、誤りや欠落の発生が目立ちにくい隠
蔽処理ができる。
As described above, in the present embodiment, a plurality of image areas having a high degree of similarity are generated by interlace conversion, so that even if an error or loss occurs in the data in a certain image area, the data concerned is lost. Since the alternative data is generated and replaced from the data in the other image area as an alternative to the above, the concealment processing in which the occurrence of errors or omissions is less noticeable can be performed.

【0025】なお、本実施の形態では、画像の横方向の
ラインに関するインタレース変換を念頭に説明を行なっ
たが、縦方向のラインに関してインタレース変換を行っ
ても同様の効果が得られる。また、横方向のインタレー
ス変換と縦方向のインタレース変換を組み合わせても、
発明の目的が達成できることは明らかである。
In the present embodiment, the interlace conversion regarding the horizontal lines of the image has been described in mind, but the same effect can be obtained by performing the interlace conversion regarding the vertical lines. Also, by combining the horizontal interlace conversion and the vertical interlace conversion,
Obviously, the object of the invention can be achieved.

【0026】[0026]

【実施例】次に、本発明の第1の実施の形態の実施例に
ついて図面を参照して詳細に説明する。
EXAMPLE An example of the first embodiment of the present invention will now be described in detail with reference to the drawings.

【0027】図8を参照すると、本実施例としての動画
像符号化・復号化システムは、動画像符号化部800と動
画像復号化部810とで構成され、両者は100BASE-TXのロ
ーカルエリアネットワーク830で接続されている。
Referring to FIG. 8, the moving picture coding / decoding system according to the present embodiment is composed of a moving picture coding unit 800 and a moving picture decoding unit 810, both of which are 100BASE-TX local areas. Connected by network 830.

【0028】動画像符号化部800は、ハードウェアとし
て汎用パーソナルコンピュータ801、NTSC信号を出力す
るビデオカメラ802、ビデオカメラの出力信号を汎用パ
ーソナルコンピュータ801に取り込むビデオキャプチャ
カード803、100BASE-TXネットワークカード804から構成
される。
The moving picture coding unit 800 includes a general-purpose personal computer 801, a video camera 802 that outputs an NTSC signal, a video capture card 803 that captures an output signal of the video camera into the general-purpose personal computer 801, a 100BASE-TX network card. It is composed of 804.

【0029】本発明の第1の実施の形態で説明した動画
像符号化部101の各手段は、本実施例においては汎用パ
ーソナルコンピュータ801上で動作するソフトウェアと
して実現する。すなわち、汎用パーソナルコンピュータ
の磁気ディスク装置などのコンピュータ可読記録媒体に
は動画像符号化用プログラムが記録されており、このプ
ログラムがコンピュータに読み取られてその動作を制御
することにより、そのコンピュータ上に図2に示した各
手段201、202、203を実現する。そこで、ここでは図2
を参照して、本実施例における各手段の処理内容につい
て詳細に説明する。
Each means of the moving picture coding unit 101 described in the first embodiment of the present invention is realized as software operating on the general-purpose personal computer 801 in this embodiment. That is, a moving image encoding program is recorded on a computer-readable recording medium such as a magnetic disk device of a general-purpose personal computer, and the program is read by the computer and its operation is controlled so that the program can be displayed on the computer. The respective means 201, 202, 203 shown in 2 are realized. Therefore, here, FIG.
With reference to, the processing contents of each means in this embodiment will be described in detail.

【0030】まず、ビデオカメラ802で撮影され、ビデ
オキャプチャカード803によって取り込まれる動画像の
フォーマットは、解像度が横320ドット・縦240ドット
で、各画素の画素値はRGB各8ビットで表されているもの
とする。また、画素値は画像の左上隅を起点として画面
の横方向にRGBの順に並べられており、1画面の最後の
画素値は右下隅の画素を表すものとする。
First, the format of a moving image captured by the video camera 802 and captured by the video capture card 803 has a resolution of 320 dots in the horizontal direction and 240 dots in the vertical direction, and the pixel value of each pixel is represented by 8 bits of RGB each. Be present. Further, the pixel values are arranged in the horizontal direction of the screen in the order of RGB from the upper left corner of the image, and the last pixel value of one screen represents the pixel at the lower right corner.

【0031】インタレース変換手段201では、上記フォ
ーマットの画像を、奇数番目のラインのみからなる横32
0ドット・縦120ドットの画面領域Aと、偶数番目のライ
ンのみからなる横320ドット・縦120ドットの画面領域B
の2つの画面領域からなる横320ドット・縦240ドットの
画像に変換する。ここで、画面領域Aは画像の上半分、
画面領域Bは画像の下半分を占める。
In the interlace conversion means 201, an image of the above format is displayed in a horizontal 32
Screen area A with 0 dots and 120 dots vertically, and screen area B with 320 dots horizontally and 120 dots vertically, which consists of even-numbered lines only
It is converted into an image of horizontal 320 dots and vertical 240 dots consisting of two screen areas. Here, the screen area A is the upper half of the image,
The screen area B occupies the lower half of the image.

【0032】符号化手段202では、インタレース変換手
段201で変換された画像列をMPEG-4ビジュアルのシンプ
ルプロファイルの規格に従って符号化する。MPEG-4規格
のシンプルプロファイルについては、 “ISO 14496-2 I
nformation Technology - Coding of Audio-Visual Obj
ects - Part 2: Visual First Edition” で公表されて
おり、当業者には公知の内容なので、詳細は省略する。
The encoding means 202 encodes the image sequence converted by the interlace conversion means 201 in accordance with the standard of the MPEG-4 visual simple profile. For the simple profile of MPEG-4 standard, refer to “ISO 14496-2 I
nformation Technology-Coding of Audio-Visual Obj
ects-Part 2: Visual First Edition ”, which is well known to those skilled in the art, and thus detailed description thereof will be omitted.

【0033】送信手段203では、MPEG-4シンプルプロフ
ァイルのエレメンタリーストリームを、RTPペイロード
フォーマットに従ってパケットに分割し、RTPプロトコ
ルによって送信する。RTPペイロードフォーマットにつ
いては、IETF発行のRFC3016 “RTP Payload Format for
MPEG-4 Audio/Visual Streams”で、RTPプロトコルに
ついてはIETF発行のRFC1889 “RTP: A Transport Proto
col for Real-Time Applications”で公表されており、
当業者には公知の内容なので、詳細は省略する。パケッ
トは100BASE-TXネットワークカード804を経由してロー
カルエリアネットワーク830に送信される。
The transmitting means 203 divides the MPEG-4 simple profile elementary stream into packets according to the RTP payload format, and transmits the packets according to the RTP protocol. For the RTP payload format, see RFC 3016 “RTP Payload Format for IETF”.
MPEG-4 Audio / Visual Streams ”, RTP protocol is RFC1889“ RTP: A Transport Proto ”issued by IETF.
col for Real-Time Applications ”,
Details are omitted because the content is known to those skilled in the art. The packet is transmitted to the local area network 830 via the 100BASE-TX network card 804.

【0034】図8において、動画像復号化部810は、ハ
ードウェアとして汎用パーソナルコンピュータ811、100
BASE-TXネットワークカード812から構成される。処理の
最終結果の動画像は、汎用パーソナルコンピュータ811
の画面上に表示される。
In FIG. 8, a moving picture decoding unit 810 is a general-purpose personal computer 811 or 100 as hardware.
Consists of a BASE-TX network card 812. The moving image of the final result of the processing is a general-purpose personal computer 811.
Displayed on the screen.

【0035】本発明の第1の実施の形態で説明した動画
像復号化部102の各手段は、本実施例においては汎用パ
ーソナルコンピュータ811上で動作するソフトウェアと
して実現する。すなわち、汎用パーソナルコンピュータ
の磁気ディスク装置などのコンピュータ可読記録媒体に
は動画像復号化用プログラムが記録されており、このプ
ログラムがコンピュータに読み取られてその動作を制御
することにより、そのコンピュータ上に図3に示した各
手段301、302、303、304を実現する。そこで、ここでは
図3を参照して、本実施例における各手段の処理内容に
ついて詳細に説明する。
Each means of the moving picture decoding unit 102 described in the first embodiment of the present invention is realized as software operating on the general-purpose personal computer 811 in this embodiment. That is, a moving image decoding program is recorded on a computer-readable recording medium such as a magnetic disk device of a general-purpose personal computer, and the program is read by the computer and its operation is controlled to display on the computer. The respective means 301, 302, 303, 304 shown in 3 are realized. Therefore, here, with reference to FIG. 3, the processing content of each means in the present embodiment will be described in detail.

【0036】受信手段301では、ローカルエリアネット
ワーク830からのパケットの到着を待ち、パケットのRTP
ヘッダに含まれるタイムスタンプを参照し、1画面分の
パケットが到着したところで、符号化データ修正手段30
2に送出する。
The receiving means 301 waits for the arrival of a packet from the local area network 830, and checks the RTP of the packet.
When the packet for one screen arrives with reference to the time stamp included in the header, the encoded data correction means 30
Send to 2.

【0037】符号化データ修正手段302では、受け取っ
た1画面分のパケットに誤りや欠落がないか検査する。
検査の結果誤りや欠落がなければ、各パケットからRTP
ヘッダを取り除いて1画面分のエレメンタリーストリー
ムを生成し、復号化手段303に送出する。誤りや欠落が
あった場合は、まず該当パケットに含まれるマクロブロ
ックが画像領域A、Bのどちらに含まれているかを判定
して、該当パケットの代替パケットを生成する。マクロ
ブロックが画像領域Aに含まれていた場合、画像領域B
の対応するマクロブロックの符号化データをそれらが含
まれるパケットの中からコピーして、代替パケットとす
る。画像領域Bに含まれていた場合にも、同様にして画
像領域Aの対応するマクロブロックの符号化データから
代替パケットを生成する。但し、代替パケットを生成す
る元となる画像領域Bや画像領域Aの対応するパケット
にも誤りや欠落がある場合にはこのような処理は行わな
い。
The coded data correction means 302 checks whether the received packet for one screen has an error or missing.
If there is no error or omission as a result of inspection, RTP from each packet
The header is removed and an elementary stream for one screen is generated and sent to the decoding means 303. When there is an error or omission, it is first determined which of the image areas A and B the macroblock included in the corresponding packet is included in, and a substitute packet of the corresponding packet is generated. If the macroblock is included in the image area A, the image area B
The encoded data of the corresponding macroblock of is copied from the packet including them to be the alternative packet. Even when it is included in the image area B, a substitute packet is similarly generated from the encoded data of the corresponding macroblock in the image area A. However, if the corresponding packet in the image area B or the image area A that is the source of the alternative packet also has an error or missing, such processing is not performed.

【0038】代替パケットを生成後、各パケットからRT
Pヘッダを取り除いて1画面分のエレメンタリーストリ
ームを生成し、復号化手段303に送出する。なお、MPEG-
4ビジュアルのシンプルプロファイルにおいては、1画
面分のデータとして1画面内のデータのみから符号化す
るイントラ符号化データと複数画面のデータから符号化
するインター符号化データの2種類があるが、どちらの
場合も符号化データはマクロブロック単位であるため、
符号化データ修正処理は同様に行なうことができる。
After generating the alternative packet, RT from each packet
The P header is removed to generate an elementary stream for one screen, and the elementary stream is sent to the decoding means 303. In addition, MPEG-
In the 4 visual simple profile, there are two types of data for one screen: intra-coded data that is coded from only the data within one screen and inter-coded data that is coded from the data of multiple screens. Also in this case, the encoded data is in macroblock units,
The coded data correction process can be performed similarly.

【0039】復号化手段303では、符号化データ修正手
段302から送出されたMPEG-4規格シンプルプロファイル
のエレメンタリーストリームを復号し、解像度が横320
ドット・縦240ドットで、各画素の画素値はRGB各8ビッ
トのフォーマットの画像列として出力する。復号化処理
の詳細については、前記“ISO 14496-2 Information Te
chnology - Coding of Audio-Visual Objects - Part
2: Visual First Edition”で公知の技術であるので省
略する。
The decoding means 303 decodes the elementary stream of the MPEG-4 standard simple profile sent from the encoded data correction means 302, and the resolution is 320 horizontal.
With 240 dots vertically, the pixel value of each pixel is output as an image string in the RGB 8-bit format. For details of the decryption process, refer to "ISO 14496-2 Information Te
chnology-Coding of Audio-Visual Objects-Part
2: Since it is a well-known technology in "Visual First Edition", it is omitted.

【0040】インタリーブ変換手段304では、復号化手
段303から送出された、横320ドット・縦120ドットの画
面領域Aと横320ドット・縦120ドットの画面領域Bから
なる横320ドット・縦240ドットの画像から、インタレー
ス変換手段201の処理の逆の手順で、画面領域Aの各ラ
インを奇数番目に、画面領域Bの各ラインを偶数番目に
ならべた横320ドット・縦240ドットの画像を生成し、出
力する。
In the interleave conversion means 304, the horizontal 320 dots / vertical 240 dots, which are the screen area A of 320 dots wide / 120 vertical dots and the screen area B of 320 dots wide / 120 vertical dots, sent from the decoding means 303. From the above image, in the reverse procedure of the process of the interlace conversion means 201, an image of horizontal 320 dots / vertical 240 dots in which each line of the screen area A is arranged in an odd number and each line of the screen area B is arranged in an even number Generate and output.

【0041】[0041]

【発明の第2の実施の形態】次に本発明の第2の実施の
形態について説明する。第2の実施の形態の動画像符号
化・復号化システムは、動画像復号化部において、符号
化データの復号化後に画像を修正するようにした点で第
1の実施の形態と相違し、その他の部分は第1の実施の
形態と同じである。
Second Embodiment of the Invention Next, a second embodiment of the present invention will be described. The moving picture coding / decoding system of the second embodiment differs from that of the first embodiment in that the moving picture decoding unit corrects the image after decoding the coded data. Other parts are the same as those in the first embodiment.

【0042】図9を参照すると、本実施の形態で使用す
る動画像復号化部900は、受信手段901と復号化手段902
と画像データ修正手段903とインタリーブ変換手段904と
を含んで構成される。
Referring to FIG. 9, the moving picture decoding unit 900 used in the present embodiment has a receiving means 901 and a decoding means 902.
And image data correction means 903 and interleave conversion means 904.

【0043】受信手段901は、ネットワークから符号化
データのパケットを受信し、復号化手段902に供給す
る。復号化手段902は、受信手段901から供給される符号
化データを復号化して動画像を画像データ修正手段903
に出力する。ここで復号化手段902は、符号化データの
一部に誤りまたは欠落が発生している場合、それに対応
する動画像の領域(修正対象領域と称す)には有為な画
像データを出力しないか、或いは適当なデータを埋め込
み、修正対象領域を指定した修正箇所情報を画像データ
修正手段903に出力する。画像データ修正手段903は、復
号化手段902から修正箇所情報が出力されていれば、そ
の情報で指定された修正対象領域の画像データを代替の
画像データで置き換え上で、全体の画像データをインタ
リーブ変換手段904に供給する。インタリーブ変換手段9
04は、画像データ修正手段903から出力された動画像の
各フレームを動画像符号化部101のインタレース変換手
段201における飛び越し走査の逆の処理により単一の画
像領域からなる画像に変換して出力する。
The receiving means 901 receives a packet of encoded data from the network and supplies it to the decoding means 902. The decoding means 902 decodes the encoded data supplied from the receiving means 901 to convert the moving image into image data correcting means 903.
Output to. Here, the decoding means 902 does not output significant image data to the area of the moving image (referred to as a correction target area) corresponding to the error or the omission in a part of the encoded data. Alternatively, appropriate data is embedded, and the correction location information designating the correction target area is output to the image data correction means 903. If the correction location information is output from the decoding means 902, the image data correction means 903 replaces the image data of the correction target area designated by the information with the alternative image data, and interleaves the entire image data. The conversion means 904 is supplied. Interleave conversion means 9
04 converts each frame of the moving image output from the image data correction unit 903 into an image composed of a single image area by the reverse processing of the interlaced scanning in the interlace conversion unit 201 of the moving image encoding unit 101. Output.

【0044】動画像復号化部900の構成要素のうちの受
信手段901及びインタリーブ変換手段904は、第1の実施
の形態における図3の受信手段301及びインタリーブ変
換手段304と同じである。復号化手段902は、第1の実施
の形態における図3の復号化手段303に、符号化データ
の一部に誤りまたは欠落が発生している場合にはそれに
対応する動画像の修正対象領域に有為な画像データを出
力しないか、或いは適当なデータを埋め込む機能と、修
正対象領域を指定する修正箇所情報を生成して出力する
機能とを付加したものである。画像データ修正手段903
は、以下のような処理を行う手段として構成される。
The receiving means 901 and the interleave conversion means 904 among the components of the moving picture decoding unit 900 are the same as the reception means 301 and the interleave conversion means 304 of FIG. 3 in the first embodiment. The decoding means 902 is the same as the decoding means 303 of FIG. 3 in the first embodiment, and when a part of the encoded data is erroneous or missing, the decoding target 902 is set as the correction target area of the moving image. This is to add a function of not outputting significant image data or embedding appropriate data, and a function of generating and outputting correction location information designating a correction target area. Image data correction means 903
Is configured as a means for performing the following processing.

【0045】図10は復号化手段902から出力された画
像イメージを示し、1001は符号化データに誤りや欠落が
あったために有為な画像データが存在しないか或いは適
当なデータが埋め込まれた修正対象領域を示す。画像デ
ータ修正手段903は、復号化手段902から別途出力される
修正箇所情報により、修正対象領域1001の位置を認識
し、また修正対象領域1001が属している画像領域1002を
特定する。次に、当該画像領域1002以外の画像領域にお
いて修正対象領域1001に対応する位置の画像データ100
3、1004を用いて、修正対象領域1001の推測値を生成し
て置き換える。例えば、図10のように、画像領域1002
以外の画像領域が複数存在する場合、対応する位置の複
数の画像データ1003、1004のうち誤りや欠落が発生して
いない1つの画像データを選択し、この選択した画像デ
ータを修正対象領域1001の画像データの代替とする。勿
論、誤りや欠落が発生していない複数の画像データ100
3、1004の平均値を代替データとしても良い。そして、
修正の済んだ画像データをインタリーブ変換手段904に
供給する。
FIG. 10 shows an image image output from the decoding means 902, and 1001 is a correction in which significant image data does not exist or appropriate data is embedded because the encoded data has an error or a loss. Indicates the target area. The image data correction means 903 recognizes the position of the correction target area 1001 and specifies the image area 1002 to which the correction target area 1001 belongs based on the correction location information separately output from the decoding means 902. Next, in the image area other than the image area 1002, the image data 100 at the position corresponding to the correction target area 1001.
3 and 1004 are used to generate and replace the estimated value of the correction target area 1001. For example, as shown in FIG.
When there are a plurality of image areas other than the above, one image data having no error or missing is selected from the plurality of image data 1003 and 1004 at the corresponding positions, and the selected image data is stored in the correction target area 1001. It is a substitute for image data. Of course, multiple image data 100 with no errors or omissions
The average value of 3, 1004 may be used as alternative data. And
The corrected image data is supplied to the interleave conversion means 904.

【0046】[0046]

【実施例】次に第2の実施の形態の実施例について説明
する。以下の実施例は、図8に示した第1の実施の形態
の実施例と基本的には同じであり、動画像復号化部810
が図9の動画像復号化部900に置き換えられている点で
相違する。そこで、以下では動画像復号化部900の実施
例の動作を説明する。
EXAMPLES Next, examples of the second embodiment will be described. The following example is basically the same as the example of the first exemplary embodiment shown in FIG. 8, and a moving image decoding unit 810.
Is replaced by the moving picture decoding unit 900 of FIG. Therefore, the operation of the embodiment of the moving picture decoding unit 900 will be described below.

【0047】受信手段901では、ローカルエリアネット
ワーク830からのパケットの到着を待ち、パケットのRTP
ヘッダに含まれるタイムスタンプを参照し、1画面分の
パケットが到着したところで、復号化手段902に送出す
る。
The receiving means 901 waits for the arrival of a packet from the local area network 830 and waits for the RTP of the packet.
The time stamp included in the header is referred to, and when a packet for one screen arrives, the packet is sent to the decoding means 902.

【0048】復号化手段902では、受け取った1画面分
のパケットに誤りや欠落がないか検査する。検査の結果
誤りや欠落がなければ、各パケットからRTPヘッダを取
り除いて1画面分のエレメンタリーストリーム(MPEG-4
規格シンプルプロファイルのエレメンタリーストリー
ム)を生成し、これを復号化することにより、解像度が
横320ドット・縦240ドットで、各画素の画素値はRGB各8
ビットのフォーマットの画像列として出力する。他方、
パケットに誤りや欠落があった場合は、該当パケットに
含まれるマクロブロックの画像データ上での位置を修正
対象領域として特定し、修正対象領域を示す修正箇所情
報を生成して出力する。そして、各パケットからRTPヘ
ッダを取り除いて1画面分のエレメンタリーストリーム
を生成し、これを復号化すると共に修正対象領域には適
当な画像データを埋め込むことにより、解像度が横320
ドット・縦240ドットで、各画素の画素値はRGB各8ビッ
トのフォーマットの画像列として出力する。
The decoding means 902 checks the received packet for one screen for errors or omissions. If there is no error or omission as a result of the inspection, the RTP header is removed from each packet and one screen of elementary stream (MPEG-4
By generating a standard simple profile elementary stream) and decoding it, the resolution is 320 dots horizontally and 240 dots vertically, and the pixel value of each pixel is 8 RGB each.
Output as an image string in bit format. On the other hand,
If the packet has an error or omission, the position on the image data of the macroblock included in the packet is specified as the correction target area, and correction location information indicating the correction target area is generated and output. Then, the RTP header is removed from each packet to generate an elementary stream for one screen, and this is decoded, and appropriate image data is embedded in the area to be corrected, so that the resolution is 320 pixels wide.
With 240 dots vertically, the pixel value of each pixel is output as an image string in the RGB 8-bit format.

【0049】画像データ修正手段903では、復号化手段9
02から送出された、横320ドット・縦120ドットの画面領
域Aと横320ドット・縦120ドットの画面領域Bからなる
横320ドット・縦240ドットの画像を入力し、修正箇所情
報で指定された修正対象領域の画像データを修正する。
具体的には、修正対象領域が画像領域Aに含まれている
場合には、画像領域Bの対応する部位の画像データを代
替データとして修正対象領域に埋め込み、反対に修正対
象領域が画像領域Bに含まれている場合には、画像領域
Aの対応する部位の画像データを代替データとして修正
対象領域に埋め込む。但し、代替データとして使用する
部位も修正箇所情報で修正対象領域として指定されてい
る場合にはこのような処理は行わない。
In the image data correction means 903, the decoding means 9
Input the image of 320 dots horizontal and 240 dots vertical consisting of the screen area A of 320 horizontal dots and 120 vertical dots and the screen area B of 320 horizontal dots and 120 vertical dots sent from 02, and specified by the correction point information. The image data of the correction target area is corrected.
Specifically, when the correction target area is included in the image area A, the image data of the corresponding portion of the image area B is embedded in the correction target area as alternative data, and conversely, the correction target area is the image area B. , The image data of the corresponding part of the image area A is embedded in the correction target area as alternative data. However, such a process is not performed when the part used as the alternative data is also designated as the correction target region in the correction part information.

【0050】インタリーブ変換手段904は、画像データ
修正手段903から送出された、横320ドット・縦120ドッ
トの画面領域Aと横320ドット・縦120ドットの画面領域
Bからなる横320ドット・縦240ドットの画像から、イン
タレース変換手段の処理の逆の手順で、画面領域Aの各
ラインを奇数番目に、画面領域Bの各ラインを偶数番目
にならべた横320ドット・縦240ドットの画像を生成し、
出力する。
The interleave conversion means 904 is a horizontal 320 dot / vertical 240 area which is sent from the image data correction means 903 and which is composed of a horizontal 320 dot / vertical 120 dot screen area A and a horizontal 320 dot / vertical 120 dot screen area B. From the dot image, a reverse 320-dot horizontal-dot 240-dot vertical image in which each line of the screen area A is arranged in an odd number and each line of the screen area B is arranged in an even number by the reverse procedure of the process of the interlace conversion means. Generate,
Output.

【0051】[0051]

【発明の効果】以上説明したように、本発明によれば、
被写体の動きが大きい動画像の送受信時でも、発生した
符号化データの誤りや欠落を、目立たない形で隠蔽でき
るという効果が得られる。その理由は、動画像の各フレ
ームから類似性の高い複数の画像領域からなる画像を生
成し、符号化データに誤りや欠落が発生した際には、他
の画像領域における対応する符号化データまたは画像デ
ータから誤りや欠落のあった符号化データまたは画像デ
ータに近い代替データを生成するためである。
As described above, according to the present invention,
Even when a moving image in which the subject moves greatly is transmitted / received, an effect that the error or loss of the generated encoded data can be concealed in an unnoticeable manner is obtained. The reason is that an image composed of a plurality of highly similar image regions is generated from each frame of a moving image, and when an error or a loss occurs in the encoded data, the corresponding encoded data in another image region or This is for generating coded data having error or omission from image data or alternative data close to the image data.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の第1の実施の形態の構成図である。FIG. 1 is a configuration diagram of a first embodiment of the present invention.

【図2】本発明の第1の実施の形態における動画像符号
化部の構成図である。
FIG. 2 is a configuration diagram of a moving picture coding unit according to the first embodiment of the present invention.

【図3】本発明の第1の実施の形態における動画像復号
化部の構成図である。
FIG. 3 is a configuration diagram of a moving image decoding unit according to the first embodiment of the present invention.

【図4】本発明の第1の実施の形態における動画像符号
化部中のインタレース変換手段の動作を説明する図であ
る。
[Fig. 4] Fig. 4 is a diagram explaining an operation of an interlace conversion means in the moving picture coding unit according to the first embodiment of the present invention.

【図5】本発明の第1の実施の形態における動画像符号
化部中のインタレース変換手段の動作を説明する図であ
る。
[Fig. 5] Fig. 5 is a diagram explaining an operation of an interlace conversion means in the moving picture coding unit according to the first embodiment of the present invention.

【図6】本発明の第1の実施の形態における動画像復号
化部中の符号化データ修正手段の動作を説明する図であ
る。
[Fig. 6] Fig. 6 is a diagram for explaining the operation of the encoded data correction means in the moving picture decoding unit according to the first embodiment of the present invention.

【図7】本発明の第1の実施の形態における動画像復号
化部中のインタリーブ変換手段の動作を説明する図であ
る。
FIG. 7 is a diagram illustrating an operation of an interleave conversion unit in the moving picture decoding unit according to the first embodiment of the present invention.

【図8】本発明の第1の実施の形態の実施例の構成図で
ある。
FIG. 8 is a configuration diagram of an example of the first exemplary embodiment of the present invention.

【図9】本発明の第2の実施の形態における動画像復号
化部の構成図である。
FIG. 9 is a configuration diagram of a moving image decoding unit according to the second embodiment of the present invention.

【図10】本発明の第2の実施の形態における動画像復
号化部中の画像データ修正手段の動作を説明する図であ
る。
FIG. 10 is a diagram illustrating an operation of image data correction means in a moving image decoding unit according to the second embodiment of the present invention.

【図11】従来の技術を説明する図である。FIG. 11 is a diagram illustrating a conventional technique.

【符号の説明】[Explanation of symbols]

101 動画像符号化部 102 動画像復号化部 103 ネットワーク 201 インタレース変換手段 202 符号化手段 203 送信手段 301 受信手段 302 符号化データ修正手段 303 復号化手段 304 インタリーブ変換手段 401 インタレース変換手段における入力バッファ 402 インタレース変換手段における出力バッファ 501 インタレース変換手段の出力結果画像 601 誤りまたは欠落が発生した符号化データ 602 誤りまたは欠落が発生した画像領域 603、604 誤りまたは欠落が発生した符号化デー
タの他の画像領域における対応データ 701 インタリーブ変換手段における入力バッファ 702 インタリーブ変換手段における出力バッファ 800 動画像符号化部 801 汎用パーソナルコンピュータ 802 ビデオカメラ 803 ビデオキャプチャカード 804 ネットワークカード 810 動画像復号化部 811 汎用パーソナルコンピュータ 812 ネットワークカード 830 ローカルエリアネットワーク 900 動画像復号化部 901 受信手段 902 復号化手段 903 画像データ修正手段 904 インタリーブ変換手段 1001 誤りまたは欠落が発生した符号化データに対
応する修正対象領域 1002 誤りまたは欠落が発生した画像領域 1003、1004 誤りまたは欠落が発生した符号化
データに対応する修正対象領域の他の画像領域における
対応データ 1101 エラーの発生したフレーム 1102 エラーの発生したフレームの直前のフレーム 1103 エラーの発生した箇所 1104 エラーの発生した箇所の直前のフレームでの
対応箇所
101 Moving Image Encoding Unit 102 Moving Image Decoding Unit 103 Network 201 Interlace Converting Means 202 Encoding Means 203 Transmitting Means 301 Receiving Means 302 Receiving Means 302 Encoding Data Modifying Means 303 Decoding Means 304 Interleave Converting Means 401 Interlace Converting Means Buffer 402 Output buffer 501 in interlace conversion means Output result image 601 of interlace conversion means Coded data 602 with error or loss 602 Image areas 603, 604 with error or loss Error coded data with error or loss Corresponding data 701 in other image area Input buffer 702 in interleave conversion means Output buffer 800 in interleave conversion means Moving picture coding unit 801 General-purpose personal computer 802 Video camera 03 Video capture card 804 Network card 810 Moving picture decoding unit 811 General-purpose personal computer 812 Network card 830 Local area network 900 Moving picture decoding unit 901 Receiving means 902 Decoding means 903 Image data correcting means 904 Interleave converting means 1001 Error or omission Of the correction target area 1002 corresponding to the encoded data in which the error occurred or the image areas 1003 and 1004 in which the error or omission occurred Generated frame 1102 Frame 1103 immediately before the frame where the error occurred 1103 Place where the error occurred 1104 Corresponding place in the frame immediately before the place where the error occurred

Claims (12)

【特許請求の範囲】[Claims] 【請求項1】 動画像を符号化してネットワークに送信
する動画像符号化部と、送信された動画像データを受信
して復号化する動画像復号化部とを有する動画像符号化
・復号化システムにおいて、動画像符号化部に動画像の
各フレームを飛び越し走査によって複数の画像領域から
なる画像に変換するインタレース変換手段を備え、動画
像復号化部に、前記複数の画像領域中のある画像領域に
おいて符号化データの一部の誤りまたは欠落による欠陥
部分が発生した場合、その欠陥部分を同じフレームの他
の画像領域の対応する部分の正常なデータで修正するデ
ータ修正手段と、前記データ修正手段による修正後の前
記複数の画像領域を前記飛び越し走査の逆の処理により
単一の画像領域からなる画像に変換するインタリーブ変
換手段とを備えることを特徴とする動画像符号化・復号
化システム。
1. A moving picture coding / decoding apparatus having a moving picture coding section for coding a moving picture and transmitting it to a network, and a moving picture decoding section for receiving and decoding the transmitted moving picture data. In the system, the moving picture coding unit is provided with interlace conversion means for converting each frame of the moving picture into an image composed of a plurality of image areas by interlaced scanning, and the moving picture decoding unit is provided with one of the plurality of image areas. When a defective portion due to an error or loss of a part of the encoded data occurs in the image area, data correcting means for correcting the defective portion with normal data of a corresponding portion of another image area of the same frame; Interleaving conversion means for converting the plurality of image areas corrected by the correction means into an image composed of a single image area by the reverse processing of the interlaced scanning. And a video encoding / decoding system characterized by:
【請求項2】 動画像を符号化してネットワークに送信
する動画像符号化部と、送信された動画像データを受信
して復号化する動画像復号化部とを有する動画像符号化
・復号化システムにおいて、動画像符号化部に動画像の
各フレームを飛び越し走査によって複数の画像領域から
なる画像に変換するインタレース変換手段を備え、動画
像復号化部に、前記複数の画像領域中のある画像領域に
おいて符号化データの一部に誤りまたは欠落が発生した
場合その符号化データを同じフレームの他の画像領域の
対応する符号化データから推測した符号化データで置き
換える符号化データ修正手段と、前記符号化データ修正
手段から得られた符号化データを復号化後に前記複数の
画像領域を前記飛び越し走査の逆の処理により単一の画
像領域からなる画像に変換するインタリーブ変換手段と
を備えることを特徴とする動画像符号化・復号化システ
ム。
2. A moving image coding / decoding unit having a moving image coding unit for coding a moving image and transmitting it to a network, and a moving image decoding unit for receiving and decoding the transmitted moving image data. In the system, the moving picture coding unit is provided with interlace conversion means for converting each frame of the moving picture into an image composed of a plurality of image areas by interlaced scanning, and the moving picture decoding unit is provided with one of the plurality of image areas. When an error or loss occurs in a part of the coded data in the image area, the coded data correction means that replaces the coded data with the coded data estimated from the corresponding coded data in the other image area of the same frame, An image composed of a single image area by decoding the coded data obtained from the coded data correction means and performing the reverse processing of the interlaced scanning on the plurality of image areas. And a moving picture coding / decoding system, comprising:
【請求項3】 動画像を符号化してネットワークに送信
する動画像符号化部と、送信された動画像データを受信
して復号化する動画像復号化部とを有する動画像符号化
・復号化システムにおいて、前記動画像符号化部に動画
像の各フレームを飛び越し走査によって複数の画像領域
からなる画像に変換するインタレース変換手段を備え、
前記動画像復号化部に、前記動画像符号化部から受信し
た符号化データを復号して前記複数の画像領域からなる
画像を生成する際に誤りまたは欠落が発生した符号化デ
ータに対応する部位である修正対象領域には任意の画像
データを埋め込む復号化手段と、前記復号化手段で復号
された画像データ中の前記修正対象領域の画像データを
同じフレームの他の画像領域の対応する領域の画像デー
タから推測した画像データで置き換える画像データ修正
手段と、前記画像データ修正手段から得られた前記複数
の画像領域を前記飛び越し走査の逆の処理により単一の
画像領域からなる画像に変換するインタリーブ変換手段
とを備えることを特徴とする動画像符号化・復号化シス
テム。
3. A moving picture coding / decoding section having a moving picture coding section for coding a moving picture and transmitting it to a network, and a moving picture decoding section for receiving and decoding the transmitted moving picture data. In the system, the moving picture coding unit includes interlace conversion means for converting each frame of the moving picture into an image composed of a plurality of image areas by interlaced scanning,
A portion corresponding to the coded data in which an error or omission occurs when the coded data received from the video coding section is decoded in the video decoding section to generate an image composed of the plurality of image areas. Decoding means for embedding arbitrary image data in the correction target area, and image data of the correction target area in the image data decoded by the decoding means is stored in a corresponding area of another image area of the same frame. Image data correction means for replacing with image data estimated from the image data, and interleaving for converting the plurality of image areas obtained from the image data correction means into an image composed of a single image area by reverse processing of the interlaced scanning. A moving image encoding / decoding system comprising: a converting unit.
【請求項4】 動画像を符号化してネットワークに送信
する動画像符号化処理において、符号化の前に動画像の
各フレームを飛び越し走査によって複数の画像領域から
なる画像に変換し、符号化された動画像を受信して復号
化する動画像復号化処理において、前記複数の画像領域
中のある画像領域において符号化データの一部の誤りま
たは欠落による欠陥部分が発生した場合、その欠陥部分
を同じフレームの他の画像領域の対応する部分の正常な
データで修正し、この修正後の前記複数の画像領域を前
記飛び越し走査の逆の処理により単一の画像領域からな
る画像に変換することを特徴とする動画像符号化・復号
化方法。
4. In a moving picture coding process for coding a moving picture and transmitting it to a network, each frame of the moving picture is converted into an image composed of a plurality of image areas by interlaced scanning before being coded. In the moving picture decoding process of receiving and decoding the moving picture, when a defective part due to an error or a part of the encoded data occurs in a certain image area among the plurality of image areas, the defective part is removed. It is possible to correct with the normal data of the corresponding portion of the other image area of the same frame, and to convert the plurality of image areas after the correction into an image composed of a single image area by the reverse processing of the interlaced scanning. A characteristic moving image encoding / decoding method.
【請求項5】 動画像を符号化してネットワークに送信
する動画像符号化処理において、符号化の前に動画像の
各フレームを飛び越し走査によって複数の画像領域から
なる画像に変換し、符号化された動画像を受信して復号
化する動画像復号化処理において、前記複数の画像領域
中のある画像領域において符号化データの一部に誤りま
たは欠落が発生した場合その符号化データを同じフレー
ムの他の画像領域の対応する符号化データから推測した
符号化データで置き換え、得られた符号化データを復号
化後に前記複数の画像領域を前記飛び越し走査の逆の処
理により単一の画像領域からなる画像に変換することを
特徴とする動画像符号化・復号化方法。
5. In a moving picture coding process of coding a moving picture and transmitting it to a network, each frame of the moving picture is converted into an image composed of a plurality of image areas by interlaced scanning before being coded and coded. In a moving picture decoding process for receiving and decoding a moving picture, when some error or loss occurs in a part of the coded data in an image area of the plurality of image areas, the coded data of the same frame It is replaced with the coded data estimated from the corresponding coded data of the other image area, and after decoding the obtained coded data, the plurality of image areas are composed of a single image area by the reverse processing of the interlaced scanning. A moving image encoding / decoding method characterized by converting to an image.
【請求項6】 動画像を符号化してネットワークに送信
する動画像符号化処理において、符号化の前に動画像の
各フレームを飛び越し走査によって複数の画像領域から
なる画像に変換し、符号化された動画像を受信して復号
化する動画像復号化処理において、受信した符号化デー
タを復号して前記複数の画像領域からなる画像を生成す
る際に誤りまたは欠落が発生した符号化データに対応す
る部位である修正対象領域には、同じフレームの他の画
像領域の対応する領域の画像データから推測した画像デ
ータを埋め込み、得られた前記複数の画像領域を前記飛
び越し走査の逆の処理により単一の画像領域からなる画
像に変換することを特徴とする動画像符号化・復号化方
法。
6. In a moving picture coding process of coding a moving picture and transmitting it to a network, each frame of the moving picture is converted into an image composed of a plurality of image areas by interlaced scanning before being coded. In the moving picture decoding process of receiving and decoding the received moving picture, it corresponds to the coded data in which an error or loss occurs when the received coded data is decoded to generate an image composed of the plurality of image areas. The image data estimated from the image data of the corresponding region of the other image region of the same frame is embedded in the region to be corrected, which is the region to be corrected, and the obtained image regions are simply processed by reverse processing of the interlaced scanning. A moving image encoding / decoding method characterized by converting to an image composed of one image region.
【請求項7】 動画像を符号化してネットワークに送信
する符号化装置において、符号化の前に動画像の各フレ
ームを飛び越し走査によって複数の画像領域からなる画
像に変換するインタレース変換手段を備えることを特徴
とする符号化装置。
7. An encoding device for encoding a moving image and transmitting the encoded image to a network, comprising interlace conversion means for converting each frame of the moving image into an image composed of a plurality of image areas by interlaced scanning before encoding. An encoding device characterized by the above.
【請求項8】 符号化の前に動画像の各フレームを飛び
越し走査によって複数の画像領域からなる画像に変換し
た動画像にかかる符号化データをネットワーク経由で受
信して復号化する復号化装置において、前記複数の画像
領域中のある画像領域において符号化データの一部に誤
りまたは欠落が発生した場合その符号化データを同じフ
レームの他の画像領域の対応する符号化データから推測
した符号化データで置き換える符号化データ修正手段
と、前記符号化データ修正手段から得られた符号化デー
タを復号化後に前記複数の画像領域を前記飛び越し走査
の逆の処理により単一の画像領域からなる画像に変換す
るインタリーブ変換手段とを備えることを特徴とする復
号化装置。
8. A decoding device for receiving, via a network, encoded data of a moving image, which has been converted into an image composed of a plurality of image regions by interlaced scanning of each frame of the moving image before encoding, and decoding the same. , If a part of the coded data has an error or a loss in a certain image area of the plurality of image areas, the coded data is estimated from the corresponding coded data of another image area of the same frame. And the encoded data obtained from the encoded data correction unit are decoded, and then the plurality of image regions are converted into an image composed of a single image region by the reverse processing of the interlaced scanning. An interleaving conversion means for performing the decoding.
【請求項9】 符号化の前に動画像の各フレームを飛び
越し走査によって複数の画像領域からなる画像に変換し
た動画像にかかる符号化データをネットワーク経由で受
信して復号化する復号化装置において、受信した符号化
データを復号して前記複数の画像領域からなる画像を生
成する際に誤りまたは欠落が発生した符号化データに対
応する部位である修正対象領域には任意の画像データを
埋め込む復号化手段と、前記復号化手段で復号された画
像データ中の前記修正対象領域の画像データを同じフレ
ームの他の画像領域の対応する領域の画像データから推
測した画像データで置き換える画像データ修正手段と、
前記画像データ修正手段から得られた前記複数の画像領
域を前記飛び越し走査の逆の処理により単一の画像領域
からなる画像に変換するインタリーブ変換手段とを備え
ることを特徴とする復号化装置。
9. A decoding device for receiving, via a network, coded data of a moving image, which has been converted into an image composed of a plurality of image regions by interlaced scanning of each frame of the moving image before encoding, and decoding the data. Decoding by embedding arbitrary image data in the correction target area, which is a portion corresponding to the encoded data in which an error or loss has occurred when the received encoded data is decoded to generate an image composed of the plurality of image areas And image data correction means for replacing the image data of the correction target area in the image data decoded by the decoding means with the image data estimated from the image data of the corresponding area of the other image area of the same frame. ,
A decoding device, comprising: an interleave conversion unit that converts the plurality of image regions obtained from the image data correction unit into an image composed of a single image region by a process reverse to the interlaced scanning.
【請求項10】 動画像を符号化してネットワークに送
信する符号化装置を構成するコンピュータを、符号化の
前に動画像の各フレームを飛び越し走査によって複数の
画像領域からなる画像に変換するインタレース変換手段
として機能させるプログラム。
10. An interlace for converting a computer, which constitutes an encoding device for encoding a moving image and transmitting it to a network, into an image composed of a plurality of image areas by interlaced scanning of each frame of the moving image before encoding. A program that functions as a conversion means.
【請求項11】 符号化の前に動画像の各フレームを飛
び越し走査によって複数の画像領域からなる画像に変換
した動画像にかかる符号化データをネットワーク経由で
受信して復号化する復号化装置を構成するコンピュータ
を、前記複数の画像領域中のある画像領域において符号
化データの一部に誤りまたは欠落が発生した場合その符
号化データを同じフレームの他の画像領域の対応する符
号化データから推測した符号化データで置き換える符号
化データ修正手段、前記符号化データ修正手段から得ら
れた符号化データを復号化後に前記複数の画像領域を前
記飛び越し走査の逆の処理により単一の画像領域からな
る画像に変換するインタリーブ変換手段、として機能さ
せるプログラム。
11. A decoding device for receiving, via a network, coded data of a moving image obtained by converting each frame of the moving image into an image composed of a plurality of image areas by interlaced scanning before encoding and decoding the decoded data. When a part of the coded data in an image area among the plurality of image areas has an error or loss, the coded data is inferred from the corresponding coded data of another image area of the same frame. Coded data correcting means for replacing the coded data obtained by the coded data correcting means, and the plurality of image areas after decoding the coded data obtained from the coded data correcting means are formed of a single image area by reverse processing of the interlaced scanning. A program that functions as an interleave conversion unit that converts an image.
【請求項12】 符号化の前に動画像の各フレームを飛
び越し走査によって複数の画像領域からなる画像に変換
した動画像にかかる符号化データをネットワーク経由で
受信して復号化する復号化装置を構成するコンピュータ
を、受信した符号化データを復号して前記複数の画像領
域からなる画像を生成する際に誤りまたは欠落が発生し
た符号化データに対応する部位である修正対象領域には
任意の画像データを埋め込む復号化手段、前記復号化手
段で復号された画像データ中の前記修正対象領域の画像
データを同じフレームの他の画像領域の対応する領域の
画像データから推測した画像データで置き換える画像デ
ータ修正手段、前記画像データ修正手段から得られた前
記複数の画像領域を前記飛び越し走査の逆の処理により
単一の画像領域からなる画像に変換するインタリーブ変
換手段、として機能させるプログラム。
12. A decoding device for receiving, via a network, encoded data of a moving image, which has been converted into an image composed of a plurality of image regions by interlaced scanning of each frame of the moving image before encoding, and decoding the same. An arbitrary image is included in the correction target area, which is a portion corresponding to the coded data in which an error or omission has occurred when the received computer-generated data is decoded to generate an image composed of the plurality of image areas. Decoding means for embedding data, image data for replacing image data of the correction target area in the image data decoded by the decoding means with image data estimated from image data of a corresponding area of another image area of the same frame Correction means, the plurality of image areas obtained from the image data correction means from a single image area by the reverse processing of the interlaced scanning A program that functions as an interleaved conversion means for converting to a different image.
JP2002064932A 2002-03-11 2002-03-11 Moving picture encoding/decoding system and method, encoder, decoder, and program Pending JP2003264831A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002064932A JP2003264831A (en) 2002-03-11 2002-03-11 Moving picture encoding/decoding system and method, encoder, decoder, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002064932A JP2003264831A (en) 2002-03-11 2002-03-11 Moving picture encoding/decoding system and method, encoder, decoder, and program

Publications (1)

Publication Number Publication Date
JP2003264831A true JP2003264831A (en) 2003-09-19

Family

ID=29197480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002064932A Pending JP2003264831A (en) 2002-03-11 2002-03-11 Moving picture encoding/decoding system and method, encoder, decoder, and program

Country Status (1)

Country Link
JP (1) JP2003264831A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020187A (en) * 2005-07-07 2007-01-25 Samsung Electronics Co Ltd Video encoding and decoding methods and apparatuses
JP2008104146A (en) * 2006-10-18 2008-05-01 Mavics Technologies Co Ltd Digital image processing method for analog transmission network, and camera apparatus, image processing apparatus and image processing system therefor

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020187A (en) * 2005-07-07 2007-01-25 Samsung Electronics Co Ltd Video encoding and decoding methods and apparatuses
EP1755346A1 (en) * 2005-07-07 2007-02-21 Samsung Electronics Co., Ltd. Videao encoding and decoding methods and apparatus
JP2008104146A (en) * 2006-10-18 2008-05-01 Mavics Technologies Co Ltd Digital image processing method for analog transmission network, and camera apparatus, image processing apparatus and image processing system therefor

Similar Documents

Publication Publication Date Title
KR101012149B1 (en) Video coding
JP3630474B2 (en) Moving picture transmission system and moving picture transmission apparatus
KR101075860B1 (en) Method for error concealment in video sequences
US7020203B1 (en) Dynamic intra-coded macroblock refresh interval for video error concealment
US20060039480A1 (en) Apparatus for transmitting video signal and method thereof
US7221761B1 (en) Error resilient digital video scrambling
JPH08298649A (en) Video encoding/decoding system, video encoding device and video decoding device
US11843822B2 (en) Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
JP4488958B2 (en) Video transmission system and video transmission method
US11265583B2 (en) Long-term reference for error recovery in video conferencing system
US7970056B2 (en) Method and/or apparatus for decoding an intra-only MPEG-2 stream composed of two separate fields encoded as a special frame picture
JP2005123981A (en) Image signal receiver and its image-coded signal composing method
JP2003264831A (en) Moving picture encoding/decoding system and method, encoder, decoder, and program
US9930422B2 (en) Video transmission system, video encoding apparatus, and video decoding apparatus
JPH08237652A (en) Picture transmission method and picture transmission system
US9479823B2 (en) Transmitting device and receiving device
JPS6154313B2 (en)
Schaar et al. MPEG-4 Beyond Conventional Video Coding
JP4113233B2 (en) Transmission system and transmission method
Van der Schaar et al. MPEG-4 beyond conventional video coding: object coding, resilience, and scalability
JP2004056234A (en) Image encoder and image encoding method
KR100557047B1 (en) Method for moving picture decoding
JPH05276480A (en) Magnetic recording and reproducing device
JP2005302288A (en) Transmission system
JPH10136369A (en) Decoder for digital moving image

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060307

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060704