JP2001320710A - Coded image editing device, coded image editing method and recording medium with coded image editing program - Google Patents
Coded image editing device, coded image editing method and recording medium with coded image editing programInfo
- Publication number
- JP2001320710A JP2001320710A JP2000139732A JP2000139732A JP2001320710A JP 2001320710 A JP2001320710 A JP 2001320710A JP 2000139732 A JP2000139732 A JP 2000139732A JP 2000139732 A JP2000139732 A JP 2000139732A JP 2001320710 A JP2001320710 A JP 2001320710A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- bit stream
- image
- superimposed
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は，画像符号化ビット
ストリームを直接編集する符号化画像編集装置，編集方
法およびそのプログラム記録媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an encoded image editing apparatus for directly editing an image encoded bit stream, an editing method, and a program recording medium therefor.
【０００２】[0002]
【従来の技術】図５は，従来の符号化画像編集方法の例
を示す。画像信号を小ブロックに分割し，直交変換を施
して符号化された入力ビットストリーム５０１に，文字
や画像を上書き重畳または半透明に重畳する場合，従
来，図５に示すような処理を行っていた。2. Description of the Related Art FIG. 5 shows an example of a conventional coded image editing method. Conventionally, when an image signal is divided into small blocks and characters or images are overwritten or translucently superimposed on an input bit stream 501 that has been subjected to orthogonal transformation and encoded, processing as shown in FIG. Was.
【０００３】まず，入力ビットストリーム５０１を逆量
子化し（５０２），逆直交変換する（５０３）。これに
対するクリッピング５０４および整数化５０５の操作を
経て，復号画像５０６を生成する。この復号画像５０６
に埋め込み画像５０７を埋め込み（５０８），小ブロッ
クに分割して直交変換を施し（５０９），クリッピング
５１０および量子化５１１後に，可変長符号化し（５１
２），編集後ビットストリーム５１３を生成する。First, an input bit stream 501 is inversely quantized (502) and inversely orthogonally transformed (503). Through the operations of clipping 504 and integerization 505 for this, a decoded image 506 is generated. This decoded image 506
The embedded image 507 is embedded in the block (508), divided into small blocks, and subjected to orthogonal transformation (509). After clipping 510 and quantization 511, variable-length coding (51) is performed.
2), generate an edited bit stream 513;
【０００４】以上のように，静止画像あるいは動画像信
号にロゴや文字などを重畳する際，従来は画像信号を復
号した後，所望の画像を重畳し，再度符号化を行ってい
た。これはタンデム符号化と呼ばれる手法である。As described above, when a logo or text is superimposed on a still image or a moving image signal, conventionally, after decoding the image signal, a desired image is superimposed and encoding is performed again. This is a technique called tandem coding.
【０００５】また従来，入力ビットストリームを復号し
ないで他の画像を重畳する方法も用いられており，この
方法では，復号せずに直交変換係数を操作し重畳を行っ
ていた（例えばBo Shen, et al.,"DCT convolution and
its application in compressed domain", IEEE Tran
s. CAS-VT, Vol.8, No.8, December 1998）。Conventionally, a method of superimposing another image without decoding an input bit stream has also been used. In this method, superposition is performed by operating an orthogonal transform coefficient without decoding (for example, Bo Shen, et al., "DCT convolution and
its application in compressed domain ", IEEE Tran
s. CAS-VT, Vol.8, No.8, December 1998).
【０００６】[0006]
【発明が解決しようとする課題】画像符号化・復号の
際，直交変換および逆直交変換それぞれに前後して変換
係数の整数化や量子化，逆変換値のクリッピングが行わ
れ，これにより歪み（原画像信号との誤差）が蓄積して
いく。したがって，タンデム符号化においては復号画像
と原画像との誤差が増大してしまうという欠点があっ
た。図５において，二重線の枠で示したクリッピング５
０４，整数化５０５，クリッピング５１０，量子化５１
１の段階が非可逆な操作であり，誤差を生じる原因とな
る。At the time of image encoding / decoding, before and after each of the orthogonal transform and the inverse orthogonal transform, conversion coefficients are converted into integers, quantized, and inverse transformed values are clipped. An error from the original image signal) accumulates. Therefore, the tandem coding has a disadvantage that the error between the decoded image and the original image increases. In FIG. 5, clipping 5 indicated by a double-line frame
04, integerization 505, clipping 510, quantization 51
The first stage is an irreversible operation, which causes an error.
【０００７】また，復号せずに直交変換係数を直接操作
し重畳する場合，逆直交変換や符号化を経ないために高
速な処理が可能となるが，復号画像信号を扱わず復号信
号の直交変換の推定値を扱うため，ビットストリームヘ
重畳すべき信号との差分が，復号画像信号の差分値と完
全一致せず，意図した復号画像が必ずしも得られないと
いう欠点があった。Further, when the orthogonal transform coefficients are directly manipulated and superimposed without decoding, high-speed processing can be performed because no inverse orthogonal transform or encoding is performed. Since the estimated value of the conversion is handled, the difference from the signal to be superimposed on the bit stream does not completely match the difference value of the decoded image signal, so that the intended decoded image is not necessarily obtained.
【０００８】本発明の目的は，意図した復号画像信号を
生成するビットストリームを得，かつ復号画像信号に含
まれる誤差の蓄積を最低限に抑えることにある。An object of the present invention is to obtain a bit stream for generating an intended decoded image signal and minimize the accumulation of errors contained in the decoded image signal.
【０００９】[0009]
【課題を解決するための手段】静止画像に画像を重畳す
る場合，本発明では，まずビットストリームから画像信
号の直交変換係数（逆量子化を経たもの）ＦI を復号す
る。ついで，これを逆直交変換することにより，復号画
像Ｉを生成し，これに目的の重畳を行なった信号Ｅを求
める。両者の差分信号Ｄ＝Ｅ−Ｉを小ブロック毎に分割
し直交変換を行い，ＦD を得る。これを先ほど得たＦI
に加えたＦI ＋ＦD なる値を量子化・エントロピ符号化
する。When superimposing an image on a still image, the present invention first decodes an orthogonal transform coefficient (after inverse quantization) F I of an image signal from a bit stream. Next, a decoded image I is generated by performing an inverse orthogonal transform on this, and a signal E obtained by subjecting the decoded image I to a desired superimposition is obtained. Dividing the difference signal D = E-I of both for each small block performs orthogonal transformation to obtain F D. FI I got this earlier
To quantization and entropy encoding the F I + F D becomes a value added to.
【００１０】直交変換は線形変換なのでＦI ＋ＦD を逆
直交変換（Ｆ-1（・）で表す）した信号は，誤差を考え
ない場合， となり，意図した重畳後の画像信号に一致する。Since the orthogonal transform is a linear transform, a signal obtained by performing an inverse orthogonal transform of F I + F D (represented by F −1 (·)) is given by: And matches the intended superimposed image signal.
【００１１】この復号・重畳・符号化の処理は，全小ブ
ロックについて行ってもよいし，重畳画像信号の位置に
重なる小ブロックのみについて行ってもよい。The decoding / superimposition / encoding process may be performed on all the small blocks, or may be performed only on the small blocks overlapping the position of the superimposed image signal.
【００１２】動画像に埋め込み画像（これも動画像でよ
い）を重畳する場合，本発明では復号器に相当するもの
をＡ，Ｂの２系統用意する。When an embedded image (which may be a moving image) is superimposed on a moving image, two systems A and B corresponding to a decoder are prepared in the present invention.
【００１３】まず，復号器Ａにて原ビットストリームを
復号する。これをＩとする。その際，復号画像信号の直
交変換係数ＦI （逆量子化を経たもの）を保持してお
く。これは小ブロックの動き補償モードにより，イント
ラ符号化（フレーム内符号化）信号であったり，フレー
ム間予測差分信号であったりする。復号画像信号Ｉに所
望の画像を重畳した信号をＥとする。この信号Ｅと，別
系統の復号器Ｂからの復号画像信号Ｅ′との差分Ｄ（＝
Ｅ−Ｅ′）を計算し，ＦI に重畳する。First, the original bit stream is decoded by the decoder A. This is I. At this time, the orthogonal transform coefficient F I (dequantized) of the decoded image signal is held. This may be an intra-coded (intra-frame coded) signal or an inter-frame prediction difference signal depending on the motion compensation mode of the small block. A signal obtained by superimposing a desired image on the decoded image signal I is denoted by E. The difference D (= D) between this signal E and the decoded image signal E ′ from the decoder B of another system
E-E ') is calculated and superimposed on F I.
【００１４】動画像を対象とした場合に，復号器がＡ，
Ｂの２系統必要となる理由は以下の通りである。ビデオ
シーケンスの１枚目への埋め込みをするだけならば，復
号器は１個でよいが，動画像ではフレーム間予測符号化
が行われるため，本装置が出力するビットストリームを
復号する場面を想定し，その復号器内のローカルデコー
ド画像と全く同じ画像（Ｅ′に相当）を，本装置内部で
も保持しておき，参照画像に用いる必要がある。復号器
が１個しかない場合，ＥをＥ′の代わりに参照画像とし
て用いることになるが，系はlossy であって，Ｅ≠Ｅ′
となるため，ドリフトを引き起こすことになる。このた
め，上述したように復号器はＡ，Ｂ２系統必要になる。When a moving image is targeted, the decoder is A,
The reason why two systems of B are required is as follows. If only the video sequence is to be embedded in the first frame, only one decoder is required. However, since the inter-frame prediction coding is performed for moving images, it is assumed that the bit stream output by this device will be decoded. However, an image (corresponding to E ') that is exactly the same as the local decoded image in the decoder must be held in the apparatus and used as a reference image. If there is only one decoder, E will be used as a reference image instead of E ', but the system is lossy and E ≠ E'
Therefore, a drift is caused. For this reason, two decoders A and B are required as described above.
【００１５】この復号器Ｂでは，差分Ｄを直交変換し，
直交変換係数ＦI に加えた値を量子化・逆量子化・量子
化し（量子化パラメータは復号器Ａと同じとする），フ
レームメモリ内の画像を動き補償した信号（動き補償情
報も復号器Ａと同じとする）を重畳した信号を生成す
る。このため，復号器Ｂからの信号Ｅ′は，編集後のビ
ットストリームを一般の復号器により復号した信号と完
全に一致する。したがって，本システムが想定している
画像信号と出力されるビットストリームを復号した画像
信号には誤差はなく，本処理による画質劣化は最小限と
なる。In the decoder B, the difference D is orthogonally transformed.
A signal obtained by quantizing, dequantizing, and quantizing the value added to the orthogonal transform coefficient F I ( assuming that the quantization parameter is the same as that of the decoder A) and performing motion compensation on the image in the frame memory (the motion compensation information is also decoded by the decoder) A) is generated. Therefore, the signal E 'from the decoder B completely matches the signal obtained by decoding the edited bit stream by a general decoder. Therefore, there is no error between the image signal assumed by the present system and the image signal obtained by decoding the output bit stream, and the image quality degradation due to this processing is minimized.
【００１６】また，動き補償モードおよび量子化パラメ
ータは復号器Ａ，Ｂで完全に同一としているために，仮
に重畳画像信号が何もない場合，復号器ＡおよびＢの出
力する画像は互いに一致し，かつ，この場合，Ｄ≡０で
あるためにビットストリームは入出力前後で全く変化し
ない。従来のタンデム符号化では，仮に重畳画像信号が
ゼロであっても量子化・逆量子化・クリッピングによ
リ，出力ビットストリームは入力と異なるのみならず，
復号画像信号に重畳する雑音は入力ビットストリームを
復号した画像より増えてしまう。Further, since the motion compensation mode and the quantization parameter are completely the same in the decoders A and B, if there is no superimposed image signal, the images output from the decoders A and B match each other. In this case, since D≡0, the bit stream does not change at all before and after input / output. In conventional tandem coding, even if the superimposed image signal is zero, the output bit stream is not only different from the input due to quantization, inverse quantization, and clipping.
The noise superimposed on the decoded image signal is larger than the image obtained by decoding the input bit stream.
【００１７】本発明は，ハードウェア回路によって実現
することができるとともに，以上の符号化画像編集処理
を行うソフトウェアプログラムをコンピュータに実行さ
せることによって実現することもできる。本発明をコン
ピュータによって実現するためのプログラムは，コンピ
ュータが読み取り可能な可搬媒体メモリ，半導体メモ
リ，ハードディスクなどの適当な記録媒体に格納するこ
とができる。The present invention can be realized by a hardware circuit, and can also be realized by causing a computer to execute a software program for performing the above-described coded image editing processing. A program for realizing the present invention by a computer can be stored in an appropriate recording medium such as a computer-readable portable medium memory, a semiconductor memory, and a hard disk.
【００１８】[0018]
【発明の実施の形態】以下，本発明の実施の形態につい
て図面を参照して説明する。図１に第１の実施の形態の
ブロック図を示す。これは静止画像にロゴ・テロップ等
の画像を重畳する場合を想定している。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows a block diagram of the first embodiment. This assumes a case where an image such as a logo / telop is superimposed on a still image.
【００１９】入力ビットストリーム１０１は，まず可変
長復号器１０２にて復号され，次いで逆量子化器１０３
にて逆量子化されＦI を得る。これは逆直交変換器１０
４を経て，クリッピング器１０５でクリッピング・整数
化される。この信号が重畳なしの復号画像信号Ｉであ
る。重畳器１０６において，信号Ｉへ埋め込み画像信号
１０７が上書きまたは半透明重畳され，Ｅが出力され
る。減算器１０８にてＩとＥの差分を求め，Ｄとして出
力する。Ｄは直交変換器１０９にて直交変換された後，
加算器１１０にてＦI と加算され，クリッピング器１１
１にてクリッピングされ，量子化器１１２にて量子化さ
れる。この量子化においては，逆量子化器１０３で逆量
子化に用いられた量子化パラメータと同一の値を用い
る。この値は可変長符号化器１１３へ送られた後，編集
後ビットストリーム１１４として蓄積される。An input bit stream 101 is first decoded by a variable length decoder 102, and then an inverse quantizer 103
Are inversely quantized to obtain F I. This is the inverse orthogonal transformer 10
After that, the data is clipped and converted into an integer by the clipping unit 105. This signal is the decoded image signal I without superimposition. In the superimposing device 106, the embedded image signal 107 is overwritten or semi-transparently superimposed on the signal I, and E is output. The difference between I and E is obtained by the subtracter 108 and output as D. D is orthogonally transformed by the orthogonal transformer 109,
The adder 110 adds the value F I to the clipping signal.
1 and is quantized by the quantizer 112. In this quantization, the same value as the quantization parameter used in the inverse quantization by the inverse quantizer 103 is used. This value is sent to the variable length encoder 113 and then stored as an edited bit stream 114.
【００２０】図２は，図１のブロック図に対応する符号
化画像編集処理のフローチャートである。まず，入力ビ
ットストリーム１０１を復号して直交変換係数を取り出
す（ステップＳ１）。次に，逆量子化値（逆量子化を経
た直交変換係数ＦI ）を算出し（ステップＳ２），それ
を逆直交変換する（ステップＳ３）。この結果をクリッ
ピング・整数化し（ステップＳ４），編集前の復号画像
信号Ｉを得る。FIG. 2 is a flowchart of an encoded image editing process corresponding to the block diagram of FIG. First, the input bit stream 101 is decoded to extract orthogonal transform coefficients (step S1). Next, an inverse quantization value (orthogonal transform coefficient F I having undergone inverse quantization) is calculated (step S2), and it is subjected to inverse orthogonal transform (step S3). The result is clipped and converted into an integer (step S4) to obtain a decoded image signal I before editing.
【００２１】得られた復号画像信号Ｉに，テロップ等の
画像を上書き重畳または半透明に重畳して埋め込み（ス
テップＳ５），その重畳画像信号Ｅと編集前の復号画像
信号Ｉとの差分Ｄを算出する（ステップＳ６）。その差
分Ｄを直交変換し（ステップＳ７），得られた直交変換
係数ＦD に元の直交変換係数ＦI を加算する（ステップ
Ｓ８）。この加算値をクリッピングし（ステップＳ
９），量子化する（ステップＳ１０）。この結果を可変
長符号化（エントロピ符号化）し（ステップＳ１１），
可変長符号化結果の符号を編集後ビットストリーム１１
４として出力する（ステップＳ１２）。An image such as a telop is overwritten or translucently superimposed on the obtained decoded image signal I and embedded therein (step S5), and the difference D between the superimposed image signal E and the decoded image signal I before editing is calculated. It is calculated (step S6). The difference D to the orthogonal transform (step S7), and the orthogonal transform coefficient F D obtained by adding the original orthogonal transform coefficient F I (step S8). This addition value is clipped (step S
9), quantization (step S10). The result is subjected to variable-length encoding (entropy encoding) (step S11),
Bit stream 11 after editing the code of the variable length coding result
4 (step S12).
【００２２】次に，本発明の第２の実施の形態について
図面を参照して説明する。図３に，第２の実施の形態の
ブロック図を示す。これは動画像にロゴ・テロップ等の
画像を重畳する場合を想定している。Next, a second embodiment of the present invention will be described with reference to the drawings. FIG. 3 shows a block diagram of the second embodiment. This assumes a case where an image such as a logo / telop is superimposed on a moving image.
【００２３】入力ビットストリーム２０１は，まず可変
長復号器２０２にて復号され，次いで逆量子化器２０３
にて逆量子化される。この信号ＦI は，逆直交変換器２
０４にて変換され，１画像を記憶するフレームメモリ２
０７に記録されている画像信号を動き補償器２０８にて
動き補償した情報に，加算器２０５にて重畳され，クリ
ッピング器２０６でクリッピング・整数化される。この
処理でフレームメモリ２０７に記憶される信号Ｉは，入
力ビットストリームを一般のビットストリーム復号器で
復号した画像信号そのものである。An input bit stream 201 is first decoded by a variable length decoder 202 and then dequantized by a dequantizer 203.
Is inversely quantized. This signal F I is applied to the inverse orthogonal transformer 2
Frame memory 2 for storing one image converted at 04
07 is superimposed on information obtained by motion compensating the image signal recorded by the motion compensator 208 by the adder 205, and is clipped and converted into an integer by the clipper 206. The signal I stored in the frame memory 207 in this process is the image signal itself obtained by decoding the input bit stream by a general bit stream decoder.
【００２４】重畳器２０９において，信号Ｉへ埋め込み
画像信号２１０が上書き重畳または半透明重畳され，重
畳画像信号Ｅが出力される。減算器２１１にてこの値と
Ｅ′（後述する）の差分を求め，Ｄとして出力する。差
分Ｄは直交変換器２１２にて直交変換された後，加算器
２１３にてＦI と加算され，クリッピング器２１４にて
クリッピングされ，量子化器２１５にて量子化される。
この量子化においては，逆量子化器２０３で逆量子化に
用いられた量子化パラメータと同一の値を用いる。この
値は可変長符号化器２１６へ送られた後，編集後ビット
ストリーム２１７として蓄積される。また，量子化器２
１５の出力は，逆量子化器２１８で逆量子化され，逆直
交変換器２１９で逆直交変換される。In the superimposing unit 209, the embedded image signal 210 is overwritten or translucently superimposed on the signal I, and the superimposed image signal E is output. The subtracter 211 calculates the difference between this value and E '(described later) and outputs it as D. The difference D is orthogonally transformed by the orthogonal transformer 212, added to F I by the adder 213, clipped by the clipper 214, and quantized by the quantizer 215.
In this quantization, the same value as the quantization parameter used for the inverse quantization by the inverse quantizer 203 is used. This value is sent to the variable length encoder 216 and then stored as an edited bit stream 217. In addition, the quantizer 2
The output of 15 is inversely quantized by an inverse quantizer 218, and inversely orthogonally transformed by an inverse orthogonal transformer 219.
【００２５】一方，フレームメモリ２２０に記録されて
いる画像信号は，動き補償器２２１にて動き補償され
る。ここでは動き補償器２０８で用いたのと同じ動き補
償信号を用いる。この信号と逆直交変換器２１９からの
逆直交変換値を加算器２２２にて加算，クリッピング器
２２３にてクリッピング・整数化した後の値が埋め込み
編集（重畳）後の復号画像信号Ｅ′となる。復号画像信
号Ｅ′は，減算器２１１に供給されるとともに，フレー
ムメモリ２２０に記録される。On the other hand, the image signal recorded in the frame memory 220 is motion-compensated by the motion compensator 221. Here, the same motion compensation signal as used in the motion compensator 208 is used. This signal and the inverse orthogonal transform value from the inverse orthogonal transformer 219 are added by the adder 222, and the value after clipping and integerization by the clipper 223 becomes the decoded image signal E 'after embedding and editing (superposition). . The decoded image signal E 'is supplied to the subtractor 211 and is recorded in the frame memory 220.
【００２６】図４は，図３のブロック図に対応する符号
化画像編集処理のフローチャートである。まず，入力ビ
ットストリーム１０１を復号して直交変換係数を取り出
す（ステップＳ２０）。次に，逆量子化値（逆量子化を
経た直交変換係数ＦI ）を算出し（ステップＳ２１），
それを逆直交変換する（ステップＳ２２）。この結果
に，１フレーム前の復号画像信号Ｉに対して動き補償し
た信号を加えて，クリッピング・整数化し（ステップＳ
２３），編集前の復号画像信号Ｉを得る。FIG. 4 is a flowchart of an encoded image editing process corresponding to the block diagram of FIG. First, the input bit stream 101 is decoded to extract orthogonal transform coefficients (step S20). Then, to calculate the inverse quantization value (orthogonal transformation coefficients F I passed through the inverse quantization) (step S21), and
It is subjected to inverse orthogonal transform (step S22). To this result, a signal obtained by motion-compensating the decoded image signal I of the previous frame is added, and the result is clipped / integerized (step S
23), a decoded image signal I before editing is obtained.
【００２７】得られた復号画像信号Ｉに，テロップ等の
画像を上書き重畳または半透明に重畳して埋め込み（ス
テップＳ２４），その重畳画像信号Ｅと編集後の復号画
像信号Ｅ′との差分Ｄを算出する（ステップＳ２５）。
その差分Ｄを直交変換し（ステップＳ２６），得られた
直交変換係数ＦD に元の直交変換係数ＦI を加算する
（ステップＳ２７）。この加算値をクリッピングし（ス
テップＳ２８），ステップＳ２１と同じ量子化ステップ
情報を用いて量子化する（ステップＳ２９）。An image such as a telop is superimposed or translucently superimposed and embedded on the obtained decoded image signal I (step S24), and the difference D between the superimposed image signal E and the edited decoded image signal E 'is obtained. Is calculated (step S25).
The difference D to the orthogonal transform (step S26), the orthogonal transform coefficient F D obtained by adding the original orthogonal transform coefficient F I (step S27). This added value is clipped (step S28) and quantized using the same quantization step information as in step S21 (step S29).
【００２８】この結果を可変長符号化（エントロピ符号
化）し（ステップＳ３０），可変長符号化結果の符号を
編集後ビットストリーム２１７として出力する（ステッ
プＳ３１）。The result is subjected to variable-length encoding (entropy encoding) (step S30), and the code of the variable-length encoded result is output as an edited bit stream 217 (step S31).
【００２９】一方，ステップＳ２９において量子化した
情報を，ステップＳ２１と同じ量子化ステップ情報を用
いて逆量子化し（ステップＳ３２），それを逆直交変換
して（ステップＳ３３），さらにステップＳ２３で用い
たのと同じ動き補償情報を用いて動き補償，クリッピン
グ，整数化を行い（ステップＳ３４），編集後の復号画
像信号Ｅ′を求め，その結果をステップＳ２５における
差分Ｄの算出に用いるようにする。On the other hand, the information quantized in step S29 is inversely quantized using the same quantization step information as in step S21 (step S32), and is inversely transformed (step S33), and further used in step S23. Motion compensation, clipping, and integer conversion are performed using the same motion compensation information as those obtained (step S34), a decoded image signal E 'after editing is obtained, and the result is used for calculating the difference D in step S25. .
【００３０】本発明によって重畳雑音の増加が抑えられ
る理由は，以下の通りである。直交変換・量子化・クリ
ッピングを用いた画像信号符号化における復号画像信号
には，原理的に必ず雑音（原画像との食い違い）が重畳
する。したがって，復号→テロップ埋め込み→符号化と
いう処理において，図５に示すような従来の技術では，
テロップが覆っていない領域の画像信号は，２度の符号
化を経ることになり，元々のビットストリームの復号画
像よりさらに雑音が増加して重畳されたビットストリー
ムが得られることになってしまう。The reason why an increase in superimposed noise is suppressed by the present invention is as follows. In principle, noise (difference from the original image) is always superimposed on the decoded image signal in the image signal encoding using the orthogonal transformation, quantization, and clipping. Therefore, in the processing of decoding → embedding of telop → encoding, in the conventional technique as shown in FIG.
The image signal in the area not covered by the telop is subjected to two encodings, so that the noise is further increased compared to the original decoded image of the bit stream, and a superimposed bit stream is obtained.
【００３１】これに対し，本発明では，(1) ビットスト
リームの動き補償情報および量子化ステップ情報を変更
しない，(2) 画像信号でなく，直交変換係数にテロップ
画像の情報を埋め込む，ことにより，テロップが覆って
いない部分の復号画像信号が全く変換しないビットスト
リームの変更が実現できる。したがって，本発明によれ
ば，重畳雑音の増加を最低限に抑えることが可能にな
る。On the other hand, in the present invention, (1) the motion compensation information and the quantization step information of the bit stream are not changed, and (2) the information of the telop image is embedded in the orthogonal transform coefficient instead of the image signal. Thus, a change in the bit stream in which the decoded image signal in the portion not covered by the telop is not converted at all can be realized. Therefore, according to the present invention, it is possible to minimize the increase in superimposed noise.
【００３２】[0032]
【発明の効果】以上説明したように，本発明によれば，
生成される復号画像信号の画品質劣化を理論上最小限に
抑えつつ，ビットストリームに任意の文字・ロゴマーク
等を重畳したビットストリームを生成できるようにな
る。As described above, according to the present invention,
It is possible to generate a bit stream in which an arbitrary character, logo mark, or the like is superimposed on the bit stream while theoretically minimizing the image quality degradation of the generated decoded image signal.
【図１】本発明の第１の実施の形態を示すブロック図で
ある。FIG. 1 is a block diagram showing a first embodiment of the present invention.
【図２】本発明の第１の実施の形態の処理フローチャー
トである。FIG. 2 is a processing flowchart according to the first embodiment of this invention.
【図３】本発明の第２の実施の形態を示すブロック図で
ある。FIG. 3 is a block diagram showing a second embodiment of the present invention.
【図４】本発明の第２の実施の形態の処理フローチャー
トである。FIG. 4 is a processing flowchart according to the second embodiment of this invention.
【図５】編集操作の各段階における誤差蓄積を説明する
ための従来技術の概念図である。FIG. 5 is a conceptual diagram of a conventional technique for explaining error accumulation at each stage of an editing operation.
１０１ 入力ビットストリーム １０２ 可変長復号器 １０３ 逆量子化器 １０４ 逆直交変換器 １０５ クリッピング器 １０６ 重畳器 １０７ 埋め込み画像信号 １０８ 減算器 １０９ 直交変換器 １１０ 加算器 １１１ クリッピング器 １１２ 量子化器 １１３ 可変長符号化器 １１４ 編集後ビットストリーム Reference Signs List 101 input bit stream 102 variable-length decoder 103 inverse quantizer 104 inverse orthogonal transformer 105 clipping unit 106 superimposing unit 107 embedded image signal 108 subtractor 109 orthogonal transformer 110 adder 111 clipping unit 112 quantizer 113 variable-length code Generator 114 Edited bit stream
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/32 Ｈ０４Ｎ 7/137 Ｚ (72)発明者 八島 由幸 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 小林 直樹 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5C023 AA11 AA18 BA01 BA11 CA02 CA05 DA04 DA08 EA03 EA05 EA08 5C059 KK01 LA00 MA05 MA21 MC11 MC26 ME01 PP01 PP04 PP05 PP06 PP07 PP21 PP24 SS20 UA05 5C076 AA11 AA12 AA14 AA36 BA06 BA09 5C078 BA53 CA14 DA01 DA02 ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 7/32 H04N 7/137 Z (72) Inventor Yoshiyuki Yashima 2-3-1 Otemachi, Chiyoda-ku, Tokyo Issue Nippon Telegraph and Telephone Corporation (72) Inventor Naoki Kobayashi 2-3-1 Otemachi, Chiyoda-ku, Tokyo F-Term (in reference) 5C023 AA11 AA18 BA01 BA11 CA02 CA05 DA04 DA08 EA03 EA05 EA08 5C059 KK01 LA00 MA05 MA21 MC11 MC26 ME01 PP01 PP04 PP05 PP06 PP07 PP21 PP24 SS20 UA05 5C076 AA11 AA12 AA14 AA36 BA06 BA09 5C078 BA53 CA14 DA01 DA02
Claims (5)
を施し符号化する静止画像符号化方式により生成された
ビットストリームを編集し，文字や画像を上書き重畳ま
たは半透明に重畳する符号化画像編集装置において，ビ
ットストリームから静止画像信号の一部または全部を復
号する手段と，復号された信号情報と重畳画像情報との
差分信号を生成する手段と，該差分信号に直交変換を施
した変換係数をビットストリームヘ重畳する手段とを備
えることを特徴とする符号化画像編集装置。1. A coded image in which a bit stream generated by a still image coding method in which an image signal is divided into small blocks, subjected to orthogonal transformation and coded, is edited, and a character or an image is overlaid or semi-transparently superimposed. Means for decoding a part or all of a still image signal from a bit stream, means for generating a difference signal between the decoded signal information and superimposed image information, and a transform for performing orthogonal transformation on the difference signal Means for superimposing coefficients on a bit stream.
ム間動き補償を行った後，直交変換を施し符号化する動
画像符号化方式により生成されたビットストリームを編
集し，文字や画像を上書き重畳または半透明に重畳する
符号化画像編集装置において，ビットストリームから動
画像信号の一部または全部を復号する手段と，該復号動
画像信号に所望の埋め込み画像を重畳した信号を生成す
る手段と，該重畳動画像信号を，元のビットストリーム
の動き補償情報と量子化情報とを用いて符号化・復号し
た動画像信号を生成する手段と，この復号信号と前記重
畳動画像信号との差分信号を生成する手段と，該差分信
号に直交変換を施し，元のビットストリームの直交変換
信号に加算する手段と，この信号を元のビットストリー
ムの量子化情報を用いて量子化し符号化する手段とを備
えることを特徴とする符号化画像編集装置。2. A bit stream generated by a moving picture coding method for dividing a moving picture signal into small blocks and performing inter-frame motion compensation, and then performing orthogonal transform and coding, and overwriting characters and images. Means for decoding part or all of a moving image signal from a bit stream in a coded image editing apparatus for superimposing or translucently superimposing, and means for generating a signal in which a desired embedded image is superimposed on the decoded moving image signal Means for generating a video signal obtained by encoding and decoding the superimposed video signal using motion compensation information and quantization information of an original bit stream, and a difference between the decoded signal and the superimposed video signal. Means for generating a signal, means for performing an orthogonal transform on the difference signal, and adding the orthogonal signal to the orthogonal transform signal of the original bit stream, and using this signal by using quantization information of the original bit stream. And a means for quantizing and encoding the encoded image.
を施し符号化する静止画像符号化方式により生成された
ビットストリームを編集し，文字や画像を上書き重畳ま
たは半透明に重畳する符号化画像編集方法において，ビ
ットストリームから静止画像信号の一部または全部を復
号する過程と，復号された信号情報と重畳画像情報との
差分信号を生成する過程と，該差分信号に直交変換を施
した変換係数をビットストリームヘ重畳する過程とを有
することを特徴とする符号化画像編集方法。3. A coded image in which a bit stream generated by a still image coding method in which an image signal is divided into small blocks, subjected to orthogonal transformation and coded is edited, and characters and images are overwritten or translucently superimposed. In the editing method, a process of decoding a part or the whole of a still image signal from a bit stream, a process of generating a difference signal between the decoded signal information and the superimposed image information, and a process of orthogonally transforming the difference signal Superimposing the coefficient on the bit stream.
ム間動き補償を行った後，直交変換を施し符号化する動
画像符号化方式により生成されたビットストリームを編
集し，文字や画像を上書き重畳または半透明に重畳する
符号化画像編集方法において，ビットストリームから動
画像信号の一部または全部を復号する過程と，該復号動
画像信号に所望の埋め込み画像を重畳した信号を生成す
る過程と，該重畳動画像信号を，元のビットストリーム
の動き補償情報と量子化情報とを用いて符号化・復号し
た動画像信号を生成する過程と，この復号信号と前記重
畳動画像信号との差分信号を生成する過程と，該差分信
号に直交変換を施し，元のビットストリームの直交変換
信号に加算する過程と，この信号を元のビットストリー
ムの量子化情報を用いて量子化し符号化する過程とを有
することを特徴とする符号化画像編集方法。4. A bit stream generated by a moving picture coding method of dividing a moving picture signal into small blocks and performing inter-frame motion compensation, and then performing orthogonal transform and coding, and overwriting characters and images. A method of decoding a part or all of a moving image signal from a bit stream in a coded image editing method of superimposing or translucently superimposing, and a step of generating a signal in which a desired embedded image is superimposed on the decoded moving image signal. Generating a video signal obtained by encoding and decoding the superimposed video signal using motion compensation information and quantization information of an original bit stream, and a difference between the decoded signal and the superimposed video signal. Generating a signal, performing orthogonal transform on the difference signal, adding the orthogonal transform signal to the orthogonal transform signal of the original bit stream, and using the quantized information of the original bit stream. And quantizing and encoding the encoded image.
画像編集方法における処理手順をコンピュータに実行さ
せるためのプログラムを，該コンピュータが読み取り可
能な記録媒体に記録したことを特徴とする符号化画像編
集プログラム記録媒体。5. A code, wherein a program for causing a computer to execute the processing procedure in the coded image editing method according to claim 3 or 4 is recorded on a computer-readable recording medium. Storage medium for edited image editing program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000139732A JP3691725B2 (en) | 2000-05-12 | 2000-05-12 | Encoded image editing apparatus, encoded image editing method, and encoded image editing program recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000139732A JP3691725B2 (en) | 2000-05-12 | 2000-05-12 | Encoded image editing apparatus, encoded image editing method, and encoded image editing program recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001320710A true JP2001320710A (en) | 2001-11-16 |
| JP3691725B2 JP3691725B2 (en) | 2005-09-07 |
Family
ID=18647131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000139732A Expired - Fee Related JP3691725B2 (en) | 2000-05-12 | 2000-05-12 | Encoded image editing apparatus, encoded image editing method, and encoded image editing program recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3691725B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006039333A (en) * | 2004-07-29 | 2006-02-09 | Nippon Telegr & Teleph Corp <Ntt> | Method, device, and program for telop character image processing, and recording medium where same program is recorded |
| JP2013520866A (en) * | 2010-02-19 | 2013-06-06 | トムソン ライセンシング | Stereo logo insertion |
-
2000
- 2000-05-12 JP JP2000139732A patent/JP3691725B2/en not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006039333A (en) * | 2004-07-29 | 2006-02-09 | Nippon Telegr & Teleph Corp <Ntt> | Method, device, and program for telop character image processing, and recording medium where same program is recorded |
| JP4606802B2 (en) * | 2004-07-29 | 2011-01-05 | 日本電信電話株式会社 | Telop character image processing method, apparatus and program, and recording medium recording the program |
| JP2013520866A (en) * | 2010-02-19 | 2013-06-06 | トムソン ライセンシング | Stereo logo insertion |
| US9860513B2 (en) | 2010-02-19 | 2018-01-02 | Thomson Licensing | Stereo logo insertion |
| US10560681B2 (en) | 2010-02-19 | 2020-02-11 | Interdigital Madison Patent Holdings | Stereo logo insertion |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3691725B2 (en) | 2005-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8194748B2 (en) | Apparatus for scalable encoding/decoding of moving image and method thereof | |
| US6188728B1 (en) | Block motion video coding and decoding | |
| JP2618083B2 (en) | Image recovery method and apparatus | |
| JP5090158B2 (en) | VIDEO INFORMATION RECORDING DEVICE, VIDEO INFORMATION RECORDING METHOD, VIDEO INFORMATION RECORDING PROGRAM, AND RECORDING MEDIUM CONTAINING VIDEO INFORMATION RECORDING PROGRAM | |
| KR100694137B1 (en) | Apparatus for encoding or decoding motion image, method therefor, and recording medium storing a program to implement thereof | |
| JP2007501555A (en) | Video encoding and decoding method and corresponding apparatus | |
| US20050265444A1 (en) | Moving image encoding/decoding apparatus and method | |
| US8374244B2 (en) | Motion compensation method and apparatus that sequentially use global motion compensation and local motion compensation, decoding method, video encoder, and video decoder | |
| JP2007502561A (en) | Video encoding and decoding method and corresponding apparatus | |
| EP1110179A1 (en) | Subband coding/decoding | |
| JP2005160084A (en) | Apparatus and method for processing video for implementing snr (signal to noise ratio) scalability | |
| WO2001052547A1 (en) | Simplified logo insertion in encoded signal | |
| JP2001320710A (en) | Coded image editing device, coded image editing method and recording medium with coded image editing program | |
| KR20020087972A (en) | Method and device for storing and processing image information of temporally successive images | |
| KR100538215B1 (en) | Video reproduction apparatus having fast post-processing and method thereof | |
| US8218626B2 (en) | Encoding control apparatus, encoding control method, and storage medium | |
| JP2820636B2 (en) | Video compression device | |
| US6266448B1 (en) | Method of and apparatus for compressing and encoding digitized moving picture signals | |
| JP2887177B2 (en) | Method and apparatus for decoding moving image compression code | |
| JP2004120415A (en) | Device and method for converting moving picture data stream | |
| JP2010268505A (en) | Block motion video coding and decoding | |
| JPH11252565A (en) | Encoder/decoder between motion compensating frames | |
| JPH06169453A (en) | Picture data encoding and decoding device and method thereof | |
| JP2005175885A (en) | Method and device for encoding video signal, video signal decoding device, and video signal recording medium | |
| JP3323876B2 (en) | Image encoding device, image decoding device, image encoding method, and image decoding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050506 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050614 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050616 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100624 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100624 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110624 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120624 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130624 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |