JP3669536B2 - Image encoding / decoding device and method - Google Patents

Image encoding / decoding device and method Download PDF

Info

Publication number
JP3669536B2
JP3669536B2 JP35906296A JP35906296A JP3669536B2 JP 3669536 B2 JP3669536 B2 JP 3669536B2 JP 35906296 A JP35906296 A JP 35906296A JP 35906296 A JP35906296 A JP 35906296A JP 3669536 B2 JP3669536 B2 JP 3669536B2
Authority
JP
Japan
Prior art keywords
signal
encoded
reproduction
motion vector
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP35906296A
Other languages
Japanese (ja)
Other versions
JPH10191359A (en
Inventor
博哉 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP35906296A priority Critical patent/JP3669536B2/en
Publication of JPH10191359A publication Critical patent/JPH10191359A/en
Application granted granted Critical
Publication of JP3669536B2 publication Critical patent/JP3669536B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【０００１】
【発明の属する技術分野】
動画像情報の記録あるいは再生を行なう装置において、高速サーチ、スチル、スロー、逆転再生、倍速再生等に対応した画像符号化装置及び画像復号化装置に関する。
【０００２】
【従来の技術】
ディジタル動画像の高能率符号化方式として動き補償画像間予測符号化方式がある。
この手法は動きベクトル検出器により複数画素で構成されるブロック単位で動きベクトルを検出し、画像間の相関を用いてデータの情報量を削減する方法である。
【０００３】
＜画像符号化装置＞
従来例の画像符号化装置のブロック図を図４に示す。
符号化信号４１と通常再生用参照信号４２から動きベクトル検出器４３を用いて画素で構成されるブロック単位で両信号間のマッチング信号を算出する。
この際の通常再生用参照信号４２は、符号化信号を符号化し局部復号化することによって得られる信号である。
【０００４】
マッチング信号を算出する方法は様々なものがあるが画素間の絶対値差分や画素間の2 乗差分の和をとるのが一般的である。
このマッチング信号をもとにして通常再生用動きベクトル４４を算出する。このときの検出方法はマッチング信号の最も小さいときの動き量を動きベクトルとするのが一般的であるが、場合により重み付けを行なうこともある。
【０００５】
この通常再生用動きベクトル４４をもとにして通常再生用参照信号４２からブロック単位で動き補償予測器４５により動き補償予測を行ない、動き補償画像信号を求める。この動き補償画像信号と符号化画像信号４１の差分を求め、通常再生用残差信号４６を得る。
【０００６】
符号化器４７を用いて動きベクトル４４や残差信号４６の冗長性を削減し、通常再生用符号化信号４８を生成する。この通常再生用符号化信号４８は、例えばＭＰＥＧ信号などである。
この符号化器４７ではＤＣＴ、量子化ゼロ・ランレングス符号化、可変長符号化等を行なう。
【０００７】
＜画像復号化装置＞
従来の画像復号化装置のブロック図を図５に示す。
符号化信号４８から復号化器５３を用いて動きベクトル５４や残差信号５５を得る。
この復号化器５３では可変長復号化、ゼロ・ランレングス復号化、逆量子化、逆ＤＣＴ等を行なうことが多い。
【０００８】
さらに、動き補償予測器５７により参照画像信号５６から動きベクトル５４を用いてブロック単位で動き補償画像信号を求める。
この動き補償画像信号に復号化された残差信号５５を付加して、復号化画像信号５８を得る。
ここで、復号化画像信号５８が画像メモリ５９に蓄えられ、参照画像信号５６となる。
【０００９】
＜画像復号化装置により復号化された画像の出力例＞
ここで、例えばＭＰＥＧ（Moving Picture Experts Group）規格に準拠した信号（ＭＰＥＧ信号）である、画面内で符号化される画面内符号化画像（Ｉピクチャ）と画面間予測符号化される片方向予測符号化画像（Ｐピクチャ）を多重化して記録したときの画面表示データ列を図６に示す。
【００１０】
普通の再生は１、２、３、…、の順序で再生することが出来る。一方、特殊再生では連続して画像を復号化することが出来ないので、参照画像が復号化されていない片方向予測符号化画像は再生することが出来ず、画面内符号化画像しか再生することが出来ない。よって、例えば高速サーチの場合、１、１６、３１、…、の順序でＩピクチャのみＩ1 、Ｉ16、Ｉ31、…を再生することになる。
なお、逆転再生の場合は、１６、１、…、とＩ16、Ｉ1 、…を再生することになる。
【００１１】
【発明が解決しようとする課題】
従来の画像処理装置は画面間の予測を用いるので符号化効率がよいが、特殊再生は画面内符号化画像だけしか再生出来ないので、再生出来る画像が少なく、高速サーチの速度が限定されたり、コマ落としで動きが不自然な画像になったりする。
【００１２】
【課題を解決するための手段】
本発明は、上記課題を解決するために、以下１）〜７）に記載の手段よりなる。
すなわち、
１）符号化画像信号と通常再生のための参照画像信号とから通常再生用の動きベクトルを検出し、前記動きベクトルを用いて動き補償予測を行ない、前記符号化画像信号と参照画像信号との残差信号と前記動きベクトルを符号化し、通常再生用符号化信号を生成する画像符号化装置において、
前記符号化画像信号と倍速再生である特殊再生のための参照画像信号とから特殊再生用動きベクトルを検出する手段と、
前記特殊再生用動きベクトルを符号化して特殊再生用符号化信号を生成する手段と、
前記通常再生用符号化信号と特殊再生用符号化信号を多重化する手段とを有する構成としたことを特徴とする画像符号化装置。
２）符号化画像信号と通常再生のための参照画像信号とから通常再生用の動きベクトルを検出し、前記動きベクトルを用いて動き補償予測を行ない、前記符号化画像信号と参照画像信号との残差信号と前記動きベクトルを符号化し、通常再生用符号化信号を生成する画像符号化装置において、
前記符号化画像信号と倍速再生である特殊再生のための参照画像信号とから特殊再生用動きベクトルを検出する手段と、
前記特殊再生用動きベクトルから動き補償予測を行ない、特殊再生用残差信号を得る手段と、
前記特殊再生用動きベクトルと特殊再生用残差信号を符号化し特殊再生用符号化信号を生成する手段と、
前記通常再生用符号化信号と特殊再生用符号化信号を多重化する手段とを有する構成としたことを特徴とする画像符号化装置。
３）前記１）または２）に記載の画像符号化装置において
前記通常再生用符号化信号はＭＰＥＧ信号としたことを特徴とする画像符号化装置。
４）符号化信号から動きベクトルと残差信号を復号化し、前記動きベクトルと残差信号から動き補償予測を行ない、復号化信号を生成する画像復号化装置において、
前記符号化信号から通常再生用符号化信号と倍速再生に用いる特殊再生用符号化信号とに分離する手段と、
前記分離された通常再生用符号化信号と特殊再生用符号化信号のうちどちらを復号化するのかを選択する手段とを有する構成としたことを特徴とする画像復号化装置。
５）前記４）に記載の画像復号化装置において
前記通常再生用符号化信号はＭＰＥＧ信号としたことを特徴とする画像復号化装置。
６）符号化画像信号と通常再生のための参照画像信号とから通常再生用の動きベクトルを検出し、前記動きベクトルを用いて動き補償予測を行ない、前記符号化画像信号と参照画像信号との残差信号と前記動きベクトルを符号化し、符号化信号を生成する画像符号化方法において、
前記符号化画像信号と倍速再生である特殊再生のための参照画像信号とから特殊再生用動きベクトルを検出し、前記特殊再生用動きベクトルを符号化して特殊再生用符号化信号を生成し、前記通常再生用符号化信号と特殊再生用符号化信号を多重化するようにしたことを特徴とする画像符号化方法。
７）符号化信号から動きベクトルと残差信号を復号化し、前記動きベクトルと残差信号から動き補償予測を行ない、復号化信号を生成する画像復号化方法において、
前記符号化信号から通常再生用符号化信号と倍速再生に用いる特殊再生用符号化信号とに分離し、前記通常再生用符号化信号と特殊再生用符号化信号を選択するようにしたことを特徴とする画像復号化方法。
【００１３】
（ 作 用 ）
予め特殊再生用の情報を通常の符号化信号に多重化し記録することにより、通常の符号化信号だけでは復号することの出来ない特殊再生を可能にするものである。
【００１４】
【発明の実施の形態】
本発明の画像符号化装置及び復号化装置の実施例について、図と共に以下に順次説明する。
【００１５】
＜第１の画像符号化装置＞
図１に本発明の第１の画像符号化装置の一実施例のブロック図を示す。
図４の従来例の画像符号化装置のブロック図とは、特殊再生のための動きベクトルを検出するための動きベクトル検出器１０が追加されている点と、特殊再生のための動きベクトルを符号化するための符号化器１５が追加されている点と、通常再生のための符号化信号と特殊再生のための符号化信号とを多重化するための多重化器１７が追加されている点が異なる。
【００１６】
符号化画像信号１と通常再生用参照画像信号２とを用いて動きベクトル検出器３により通常再生用動きベクトル４を求め、この通常再生用動きベクトル４をもとにして動き補償予測器５により動き補償を行ない、動きベクトル４と残差信号６とを符号化器７に供給して符号化して通常再生用の符号化信号８を得るところまでは従来例と同様である。この通常再生用符号化信号８は、例えばＭＰＥＧ信号などである。
【００１７】
本発明の画像符号化装置の一実施例において、例えばＭＰＥＧ（Moving Picture Experts Group）規格に準拠した信号（ＭＰＥＧ信号）であるＩピクチャとＰピクチャとを多重化して記録したときの画面表示データ列を図６に示す。
特殊再生で、例えば５倍速再生（サーチ）を行なう場合は、１、６、１１、…、と再生することになる。
【００１８】
画面内符号化画像であるＩ１は画面内処理で再生を行なうことが出来る。
しかし、従来の方法では片方向予測符号化画像であるＰ６はＰ５から予測されるため、再生することが出来ない。
【００１９】
そこで、Ｐ６を符号化する際に通常再生のためにＰ５から予測した動きベクトル４に加えて、特殊再生、この場合は５倍速再生のためにＩ１から予測した動きベクトル１１も符号化する。
また、Ｐ11を符号化する際には通常再生のためにＰ10から予測した動きベクトル４に加えて、Ｐ６から予測した動きベクトル１１も符号化する。
【００２０】
ただし、この方式では特殊再生の時に動き補償予測の残差信号を符号化しないので、複雑な動きのある画像等では特殊再生用参照画像信号は画面内で符号化される画面内符号化画像であるＩ１を用い、Ｉ１から予測した動きベクトル１１を符号化する方が望ましいこともある。
【００２１】
符号化画像信号１と特殊再生用参照信号９から動きベクトル検出器１０を用いて画素で構成されるブロック単位で両信号間のマッチング信号を算出する。
この場合の特殊再生用参照信号９は５倍速再生（サーチ）でＰ６の符号化を行なう場合、Ｉ１を符号化し、さらに復号化した局部復号画像信号をメモリに蓄えておく。または、符号化画像信号Ｉ１をそのまま用いることもある。
このマッチング信号をもとにして特殊再生用動きベクトル１１を算出する。
【００２２】
さらに、符号化器１５を用いて動きベクトル１３の冗長性を削減し、特殊再生用符号化信号１６を生成する。この符号化器１５では可変長符号化等を行なう。また、参照画像の情報、次の再生画像の情報等を特殊再生用符号化器１５に多重化することもある。
さらに、通常再生用の符号化信号８と特殊再生用符号化信号１６とを多重化器１７で多重化し、最終的な符号化信号１８とする。
【００２３】
図６において、逆転再生は１６、１５、１４、…、と再生するがこのときも従来の方法では画面内符号化画像であるＩ16は再生することが出来るが、Ｐ14から予測される片方向予測符号化画像であるＰ15は再生することが出来ない。
そこで、Ｉ16の参照画像信号９とＰ15の符号化画像信号１から動きベクトル検出器１０を用いて特殊再生用動きベクトル１１を検出し、符号化する。Ｐ14、Ｐ13、…、も同様に特殊再生用動きベクトル１１を検出し、符号化する。
【００２４】
＜第２の画像符号化装置＞
図２に本発明の第２の画像符号化装置の一実施例のブロック図を示す。
図１の本発明の第１の画像符号化装置のブロック図とは、特殊再生のための動きベクトルを検出するための動きベクトル検出器１０により求められた特殊再生用動きベクトル１１が動き補償予測器１２に入力されている点と動き補償により得られた特殊再生のための残差信号１３が符号化器２５に入力されているが異なる。
【００２５】
符号化画像信号１と通常再生用参照画像信号２とを用いて動きベクトル検出器３により通常再生用動きベクトル４を求め、この通常再生用動きベクトル４をもとにして動き補償予測器５により動き補償を行ない、動きベクトル４と残差信号６とを符号化器７に供給して符号化して通常再生用の符号化信号８を得るところまでは従来例と同様である。
【００２６】
さらに、特殊再生用参照画像信号９と符号化画像信号１を用いて動きベクトル検出器１０により特殊再生のための動きベクトル１１を求めるところまでは本発明の第１の画像符号化装置と同様である。
【００２７】
本発明の第２の画像符号化装置では検出された特殊再生のための動きベクトル１１をもとにしてブロック単位で動き補償予測器１２により動き補償予測を行ない、動き補償画像信号を求める。この動き補償画像信号と符号化信号１の差分を求め、特殊再生用残差信号１３を得る。
【００２８】
さらに、符号化器２５を用いて動きベクトル１１や残差信号１３の冗長性を削減し、特殊再生用符号化信号２６を生成する。
この符号化器２５では通常再生の場合と同様にＤＣＴ、量子化、ゼロ・ランレングス、可変長符号化等を行なう。
【００２９】
その後、本発明の第１の画像符号化装置と同様に通常再生用の符号化信号８と特殊再生用の符号化信号２６とを多重化器２７で多重化し、最終的な符号化信号２８を得る。
【００３０】
＜画像復号化装置＞
本発明の第１の画像復号化装置は本発明の第１又は第２の画像符号化装置で得られた符号化信号１８，２８を復号化する装置である。
図３に本発明の画像復号化装置の一実施例のブロック図を示す。
図５の従来例の画像復号化装置のブロック図とは、符号化信号を通常再生のための符号化信号２９と特殊再生のための符号化信号３０に分離するための分離化器３９が追加されている点と、通常再生のための符号化信号２９と特殊再生のための符号化信号３０のどちらを復号化するかを切り替える制御用セレクタ３２が追加されている点が異なる。
【００３１】
まず、本発明の装置では多重化された符号化信号を分離化器３９により通常再生のための符号化信号２９と特殊再生のための符号化信号３０とに分離する。
さらに、再生用制御信号３１により通常再生用符号化信号２９と特殊再生用符号化信号３０のどちらを復号化するかを制御用セレクタ３２により切り替える。
【００３２】
このとき、画面内符号化画像を復号化する場合は特殊再生の際にも通常再生用符号化信号２９を復号化する。
選択された符号化信号から復号化器３３を用いて動きベクトル３４や残差信号３５を得る。
ここで、本発明の第１の画像符号化装置で符号化された符号を復号化するときは特殊再生の符号には残差信号３５が含まれていないので値を０とする。
【００３３】
さらに、従来例と同様に動き補償予測器３７により参照画像３６から動きベクトル３４を用いてブロック単位で動き補償画像信号を求める。
この動き補償画像信号に復号化された残差信号３５を付加し、復号化画像信号４０を得る。
【００３４】
ここで、復号化画像信号４０が画像メモリ３８に蓄えられ、参照画像信号３６となる。
本発明の画像符号化装置は、ビデオＣＤ、ＤＶＤ等のＭＰＥＧ信号を用いたストレージメディア等に有効であるが、それ以外のディジタル信号による符号化方式全般にも有効である。
【００３５】
【発明の効果】
特殊再生用の動きベクトルの情報を通常再生用の情報と共に符号化する本発明では、特殊再生用動きベクトルの情報を算出して符号化し、通常再生用符号に付加するので、動き補償を用いた少ない情報量でも本発明の復号化を用いて通常再生用の符号だけでは再生することが出来ない特殊再生を可能にする。
【００３６】
さらに、特殊再生用の残差成分の情報も加えて通常再生用の情報と共に符号化する本発明の第２の画像符号化では特殊再生のための動きベクトルに加えて特殊再生のための残差信号を付加することにより、本発明の第１の画像符号化で符号化した場合に比べて、高画質な特殊再生を可能にする。
【図面の簡単な説明】
【図１】本発明の画像符号化装置の第１の実施例のブロック構成を示す図である。
【図２】本発明の画像符号化装置の第２の実施例のブロック構成を示す図である。
【図３】本発明の画像復号化装置の実施例のブロック構成を示す図である。
【図４】従来例の画像符号化装置のブロック構成を示す図である。
【図５】従来例の画像復号化装置のブロック構成を示す図である。
【図６】本発明の一実施例の画像表示データ列を示す図である。
【符号の説明】
１ 符号化画像信号
２ 通常再生用参照画像信号
３，１０，４３ 動きベクトル検出器
４ 通常再生用動きベクトル
５，１２，３７，４５，５７ 動き補償予測器
６ 通常再生用残差信号
７，１５，２５，４７ 符号化器
８，２９ 通常再生用符号化信号
９ 特殊再生用参照画像信号
１１ 特殊再生用動きベクトル
１３ 特殊再生用残差信号
１６，２６，３０ 特殊再生用符号化信号
１７，２７ 多重化器
１８，２８ 符号化信号
３１ 再生用制御信号
３２ 制御用セレクタ
３３，５３ 復号化器
３６ 参照画像信号
３８，５９ 画像メモリ
３９ 分離化器
４０，５８ 復号化画像信号[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image encoding device and an image decoding device that support high-speed search, still, slow, reverse reproduction, double-speed reproduction, etc. in an apparatus for recording or reproducing moving image information.
[0002]
[Prior art]
There is a motion compensated inter-picture predictive coding system as a highly efficient coding system for digital moving pictures.
This method is a method in which a motion vector is detected in units of blocks composed of a plurality of pixels by a motion vector detector, and the amount of data information is reduced using correlation between images.
[0003]
<Image encoding device>
A block diagram of a conventional image coding apparatus is shown in FIG.
A matching signal between the two signals is calculated from the encoded signal 41 and the normal reproduction reference signal 42 by using a motion vector detector 43 in units of blocks composed of pixels.
In this case, the normal reproduction reference signal 42 is a signal obtained by encoding and locally decoding the encoded signal.
[0004]
Although there are various methods for calculating the matching signal, the sum of the absolute value difference between pixels and the square difference between pixels is generally taken.
Based on this matching signal, a normal reproduction motion vector 44 is calculated. As a detection method at this time, the motion amount when the matching signal is smallest is generally used as a motion vector, but weighting may be performed in some cases.
[0005]
Based on the normal playback motion vector 44, motion compensation prediction is performed by the motion compensation predictor 45 on a block basis from the normal playback reference signal 42 to obtain a motion compensated image signal. A difference between the motion compensated image signal and the encoded image signal 41 is obtained, and a normal reproduction residual signal 46 is obtained.
[0006]
The encoder 47 is used to reduce the redundancy of the motion vector 44 and the residual signal 46 to generate a normal reproduction encoded signal 48. The normal reproduction encoded signal 48 is, for example, an MPEG signal.
The encoder 47 performs DCT, quantized zero / run length encoding, variable length encoding, and the like.
[0007]
<Image decoding device>
A block diagram of a conventional image decoding apparatus is shown in FIG.
A motion vector 54 and a residual signal 55 are obtained from the encoded signal 48 using the decoder 53.
The decoder 53 often performs variable length decoding, zero run length decoding, inverse quantization, inverse DCT, and the like.
[0008]
Further, the motion compensation predictor 57 obtains a motion compensated image signal for each block using the motion vector 54 from the reference image signal 56.
A decoded residual signal 55 is added to the motion compensated image signal to obtain a decoded image signal 58.
Here, the decoded image signal 58 is stored in the image memory 59 and becomes the reference image signal 56.
[0009]
<Output Example of Image Decoded by Image Decoding Device>
Here, for example, a signal (MPEG signal) compliant with the Moving Picture Experts Group (MPEG) standard, an intra-screen encoded image (I picture) encoded within a screen and a unidirectional prediction encoded between screens. FIG. 6 shows a screen display data sequence when a coded image (P picture) is multiplexed and recorded.
[0010]
Normal playback can be played back in the order 1, 2, 3,. On the other hand, in special playback, images cannot be decoded continuously, so unidirectional predictive encoded images in which the reference image is not decoded cannot be played back, and only the intra-screen encoded images are played back. I can't. Therefore, for example, in the case of a high-speed search, only I pictures I1, I16, I31,... Are reproduced in the order of 1, 16, 31,.
In the case of reverse playback, 16, 1,... And I16, I1,.
[0011]
[Problems to be solved by the invention]
The conventional image processing apparatus uses a prediction between screens so that the encoding efficiency is good. However, since special reproduction can reproduce only the encoded image within the screen, there are few images that can be reproduced, the speed of high-speed search is limited, Dropping frames may result in unnatural images.
[0012]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, the present invention comprises means described in 1) to 7) below.
That is,
1) A motion vector for normal reproduction is detected from the encoded image signal and a reference image signal for normal reproduction, motion compensation prediction is performed using the motion vector, and the encoded image signal and the reference image signal are In an image encoding device that encodes a residual signal and the motion vector and generates a normal reproduction encoded signal,
Means for detecting a motion vector for special reproduction from the encoded image signal and a reference image signal for special reproduction which is double speed reproduction;
Means for encoding the special reproduction motion vector to generate a special reproduction encoded signal;
An image coding apparatus comprising: means for multiplexing the normal reproduction coded signal and the special reproduction coded signal.
2) A motion vector for normal reproduction is detected from the encoded image signal and a reference image signal for normal reproduction, motion compensation prediction is performed using the motion vector, and the encoded image signal and the reference image signal are In an image encoding device that encodes a residual signal and the motion vector and generates a normal reproduction encoded signal,
Means for detecting a motion vector for special reproduction from the encoded image signal and a reference image signal for special reproduction which is double speed reproduction;
Means for performing motion compensation prediction from the motion vector for special playback and obtaining a residual signal for special playback;
Means for encoding the special reproduction motion vector and the special reproduction residual signal to generate a special reproduction encoded signal;
An image coding apparatus comprising: means for multiplexing the normal reproduction coded signal and the special reproduction coded signal.
3) In the image encoding device according to 1) or 2) above
An image encoding apparatus according to claim 1, wherein the normal reproduction encoded signal is an MPEG signal.
4) In an image decoding apparatus that decodes a motion vector and a residual signal from an encoded signal, performs motion compensation prediction from the motion vector and the residual signal, and generates a decoded signal.
Means for separating the encoded signal into a normal reproduction encoded signal and a special reproduction encoded signal used for double speed reproduction;
An image decoding apparatus comprising: means for selecting which of the separated normal reproduction encoded signal and special reproduction encoded signal to be decoded.
5) In the image decoding device according to 4) above
An image decoding apparatus according to claim 1, wherein the normal reproduction coded signal is an MPEG signal.
6) A motion vector for normal reproduction is detected from the encoded image signal and the reference image signal for normal reproduction, motion compensation prediction is performed using the motion vector, and the encoded image signal and the reference image signal are In an image encoding method for encoding a residual signal and the motion vector and generating an encoded signal,
Detecting a special reproduction motion vector from the encoded image signal and a reference image signal for special reproduction that is double-speed reproduction, encoding the special reproduction motion vector to generate a special reproduction encoded signal, An image encoding method, wherein the normal reproduction encoded signal and the special reproduction encoded signal are multiplexed.
7) In an image decoding method for decoding a motion vector and a residual signal from an encoded signal, performing motion compensation prediction from the motion vector and the residual signal, and generating a decoded signal.
The encoded signal is separated into a normal reproduction encoded signal and a special reproduction encoded signal used for double-speed reproduction, and the normal reproduction encoded signal and the special reproduction encoded signal are selected. An image decoding method.
[0013]
(Work)
Information for special reproduction is multiplexed and recorded in a normal encoded signal in advance, thereby enabling special reproduction that cannot be decoded only by the normal encoded signal.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of an image encoding device and a decoding device according to the present invention will be sequentially described below with reference to the drawings.
[0015]
<First Image Encoding Device>
FIG. 1 shows a block diagram of an embodiment of the first image encoding apparatus of the present invention.
The block diagram of the conventional image coding apparatus in FIG. 4 is that a motion vector detector 10 for detecting a motion vector for special reproduction is added, and a motion vector for special reproduction is encoded. And a multiplexer 17 for multiplexing a normal reproduction encoded signal and a special reproduction encoded signal. Is different.
[0016]
A motion vector detector 3 obtains a normal playback motion vector 4 using the encoded image signal 1 and the normal playback reference image signal 2, and a motion compensation predictor 5 based on the normal playback motion vector 4. The process up to the point where motion compensation is performed, the motion vector 4 and the residual signal 6 are supplied to the encoder 7 and encoded to obtain the encoded signal 8 for normal reproduction is the same as in the conventional example. The normal reproduction encoded signal 8 is, for example, an MPEG signal.
[0017]
In one embodiment of the image encoding apparatus of the present invention, for example, a screen display data sequence when an I picture and a P picture, which are signals (MPEG signals) compliant with the Moving Picture Experts Group (MPEG) standard, are multiplexed and recorded. Is shown in FIG.
When special reproduction is performed, for example, 5 × reproduction (search) is performed, reproduction is performed as 1, 6, 11,.
[0018]
I1 which is an intra-screen coded image can be reproduced by intra-screen processing.
However, in the conventional method, P6 which is a one-way predictive encoded image is predicted from P5 and cannot be reproduced.
[0019]
Therefore, in addition to the motion vector 4 predicted from P5 for normal playback when encoding P6, the motion vector 11 predicted from I1 is also encoded for special playback, in this case 5 × playback.
When P11 is encoded, the motion vector 11 predicted from P6 is also encoded in addition to the motion vector 4 predicted from P10 for normal reproduction.
[0020]
However, in this method, since the residual signal for motion compensation prediction is not encoded at the time of special reproduction, the reference image signal for special reproduction is an intra-coded image that is encoded within the screen for images with complicated motion. It may be desirable to use a certain I1 and encode the motion vector 11 predicted from I1.
[0021]
From the encoded image signal 1 and the special reproduction reference signal 9, a motion vector detector 10 is used to calculate a matching signal between the two signals in units of blocks composed of pixels.
In this case, when the special reproduction reference signal 9 is encoded at P6 in 5 × speed reproduction (search), I1 is encoded, and the decoded local decoded image signal is stored in the memory. Alternatively, the encoded image signal I1 may be used as it is.
A special reproduction motion vector 11 is calculated based on the matching signal.
[0022]
Further, the encoder 15 is used to reduce the redundancy of the motion vector 13 and generate the special reproduction encoded signal 16. The encoder 15 performs variable length encoding and the like. In addition, reference picture information, next reproduced picture information, and the like may be multiplexed in the special reproduction encoder 15.
Furthermore, the encoded signal 8 for normal reproduction and the encoded signal 16 for special reproduction are multiplexed by a multiplexer 17 to obtain a final encoded signal 18.
[0023]
In FIG. 6, the reverse reproduction is reproduced as 16, 15, 14,..., But at this time, I16 which is the intra-picture encoded image can be reproduced by the conventional method, but the one-way prediction predicted from P14. The encoded image P15 cannot be reproduced.
Therefore, the special reproduction motion vector 11 is detected from the reference image signal 9 of I16 and the encoded image signal 1 of P15 using the motion vector detector 10 and encoded. Similarly, the special reproduction motion vector 11 is detected and encoded in P14, P13,.
[0024]
<Second Image Encoding Device>
FIG. 2 shows a block diagram of an embodiment of the second image encoding apparatus of the present invention.
The block diagram of the first image coding apparatus of the present invention shown in FIG. 1 is different from the motion vector 11 for special reproduction obtained by the motion vector detector 10 for detecting the motion vector for special reproduction. The difference is that the difference signal 13 input to the encoder 12 and the residual signal 13 for special reproduction obtained by motion compensation are input to the encoder 25.
[0025]
A motion vector detector 3 obtains a normal playback motion vector 4 using the encoded image signal 1 and the normal playback reference image signal 2, and a motion compensation predictor 5 based on the normal playback motion vector 4. The process up to the point where motion compensation is performed, the motion vector 4 and the residual signal 6 are supplied to the encoder 7 and encoded to obtain the encoded signal 8 for normal reproduction is the same as in the conventional example.
[0026]
Further, the process up to the point where the motion vector detector 10 obtains the motion vector 11 for special reproduction using the special reproduction reference image signal 9 and the encoded image signal 1 is the same as that of the first image coding apparatus of the present invention. is there.
[0027]
In the second image coding apparatus of the present invention, motion compensation prediction is performed by the motion compensation predictor 12 in units of blocks based on the detected motion vector 11 for special reproduction to obtain a motion compensated image signal. A difference between the motion compensated image signal and the encoded signal 1 is obtained, and a special reproduction residual signal 13 is obtained.
[0028]
Further, the encoder 25 is used to reduce the redundancy of the motion vector 11 and the residual signal 13, and the special reproduction encoded signal 26 is generated.
The encoder 25 performs DCT, quantization, zero run length, variable length encoding, and the like, as in the case of normal reproduction.
[0029]
Thereafter, as in the first image encoding apparatus of the present invention, the normal reproduction encoded signal 8 and the special reproduction encoded signal 26 are multiplexed by the multiplexer 27, and the final encoded signal 28 is obtained. obtain.
[0030]
<Image decoding device>
The first image decoding apparatus of the present invention is an apparatus for decoding the encoded signals 18 and 28 obtained by the first or second image encoding apparatus of the present invention.
FIG. 3 shows a block diagram of an embodiment of the image decoding apparatus of the present invention.
The block diagram of the conventional image decoding apparatus in FIG. 5 is different from the block diagram in FIG. 5 in that a separator 39 is added to separate an encoded signal into an encoded signal 29 for normal reproduction and an encoded signal 30 for special reproduction. The difference is that a control selector 32 for switching which one of the encoded signal 29 for normal reproduction and the encoded signal 30 for special reproduction is decoded is added.
[0031]
First, in the apparatus of the present invention, the multiplexed encoded signal is separated by the separator 39 into an encoded signal 29 for normal reproduction and an encoded signal 30 for special reproduction.
Further, the control selector 32 switches between the normal reproduction coded signal 29 and the special reproduction coded signal 30 to be decoded by the reproduction control signal 31.
[0032]
At this time, when decoding the intra-picture encoded image, the normal reproduction encoded signal 29 is also decoded during special reproduction.
A motion vector 34 and a residual signal 35 are obtained from the selected encoded signal using the decoder 33.
Here, when decoding the code encoded by the first image encoding apparatus of the present invention, the residual signal 35 is not included in the special reproduction code, so the value is set to zero.
[0033]
Further, similarly to the conventional example, the motion compensation predictor 37 obtains a motion compensated image signal for each block using the motion vector 34 from the reference image 36.
The decoded residual signal 35 is added to the motion compensated image signal to obtain a decoded image signal 40.
[0034]
Here, the decoded image signal 40 is stored in the image memory 38 and becomes the reference image signal 36.
The image encoding apparatus of the present invention is effective for storage media using MPEG signals such as video CDs and DVDs, but is also effective for all other encoding systems using digital signals.
[0035]
【The invention's effect】
In the present invention in which the information of the motion vector for special playback is encoded together with the information for normal playback, the information of the motion vector for special playback is calculated and encoded and added to the code for normal playback. Therefore, motion compensation is used. Even with a small amount of information, the decoding of the present invention is used to enable special reproduction that cannot be reproduced only with the code for normal reproduction.
[0036]
Furthermore, in the second image coding according to the present invention, which is encoded together with the information for normal reproduction in addition to the information on the residual component for special reproduction, the residual for special reproduction is added to the motion vector for special reproduction. By adding a signal, it is possible to perform special reproduction with high image quality as compared with the case of encoding by the first image encoding of the present invention.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a block configuration of a first embodiment of an image encoding device according to the present invention.
FIG. 2 is a diagram showing a block configuration of a second embodiment of the image encoding device of the present invention.
FIG. 3 is a diagram showing a block configuration of an embodiment of an image decoding apparatus according to the present invention.
FIG. 4 is a diagram illustrating a block configuration of a conventional image coding apparatus.
FIG. 5 is a diagram illustrating a block configuration of a conventional image decoding apparatus.
FIG. 6 is a diagram showing an image display data string according to an embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Encoded image signal 2 Normal reproduction reference image signal 3, 10, 43 Motion vector detector 4 Normal reproduction motion vector 5, 12, 37, 45, 57 Motion compensation predictor 6 Normal reproduction residual signal 7, 15 , 25, 47 Encoder 8, 29 Normal playback encoded signal 9 Special playback reference image signal 11 Special playback motion vector 13 Special playback residual signal 16, 26, 30 Special playback encoded signal 17, 27 Multiplexer 18, 28 Encoded signal 31 Reproduction control signal 32 Control selector 33, 53 Decoder 36 Reference image signal 38, 59 Image memory 39 Separator 40, 58 Decoded image signal

Claims (7)

符号化画像信号と通常再生のための参照画像信号とから通常再生用の動きベクトルを検出し、前記動きベクトルを用いて動き補償予測を行ない、前記符号化画像信号と参照画像信号との残差信号と前記動きベクトルを符号化し、通常再生用符号化信号を生成する画像符号化装置において、
前記符号化画像信号と倍速再生である特殊再生のための参照画像信号とから特殊再生用動きベクトルを検出する手段と、
前記特殊再生用動きベクトルを符号化して特殊再生用符号化信号を生成する手段と、
前記通常再生用符号化信号と特殊再生用符号化信号を多重化する手段とを有する構成としたことを特徴とする画像符号化装置。A motion vector for normal playback is detected from the encoded image signal and a reference image signal for normal playback, motion compensation prediction is performed using the motion vector, and a residual between the encoded image signal and the reference image signal is detected. In an image encoding device that encodes a signal and the motion vector and generates a normal reproduction encoded signal,
Means for detecting a motion vector for special reproduction from the encoded image signal and a reference image signal for special reproduction which is double speed reproduction ;
Means for encoding the special reproduction motion vector to generate a special reproduction encoded signal;
An image coding apparatus comprising: means for multiplexing the normal reproduction coded signal and the special reproduction coded signal. 符号化画像信号と通常再生のための参照画像信号とから通常再生用の動きベクトルを検出し、前記動きベクトルを用いて動き補償予測を行ない、前記符号化画像信号と参照画像信号との残差信号と前記動きベクトルを符号化し、通常再生用符号化信号を生成する画像符号化装置において、
前記符号化画像信号と倍速再生である特殊再生のための参照画像信号とから特殊再生用動きベクトルを検出する手段と、
前記特殊再生用動きベクトルから動き補償予測を行ない、特殊再生用残差信号を得る手段と、
前記特殊再生用動きベクトルと特殊再生用残差信号を符号化し特殊再生用符号化信号を生成する手段と、
前記通常再生用符号化信号と特殊再生用符号化信号を多重化する手段とを有する構成としたことを特徴とする画像符号化装置。A motion vector for normal playback is detected from the encoded image signal and a reference image signal for normal playback, motion compensation prediction is performed using the motion vector, and a residual between the encoded image signal and the reference image signal is detected. In an image encoding device that encodes a signal and the motion vector and generates a normal reproduction encoded signal,
Means for detecting a motion vector for special reproduction from the encoded image signal and a reference image signal for special reproduction which is double speed reproduction ;
Means for performing motion compensation prediction from the motion vector for special playback and obtaining a residual signal for special playback;
Means for encoding the special reproduction motion vector and the special reproduction residual signal to generate a special reproduction encoded signal;
An image coding apparatus comprising: means for multiplexing the normal reproduction coded signal and the special reproduction coded signal. 前記請求項１または請求項２に記載の画像符号化装置において
前記通常再生用符号化信号はＭＰＥＧ信号としたことを特徴とする画像符号化装置。3. The image encoding device according to claim 1, wherein the normal reproduction encoded signal is an MPEG signal. 符号化信号から動きベクトルと残差信号を復号化し、前記動きベクトルと残差信号から動き補償予測を行ない、復号化信号を生成する画像復号化装置において、
前記符号化信号から通常再生用符号化信号と倍速再生に用いる特殊再生用符号化信号とに分離する手段と、
前記分離された通常再生用符号化信号と特殊再生用符号化信号のうちどちらを復号化するのかを選択する手段とを有する構成としたことを特徴とする画像復号化装置。In an image decoding apparatus that decodes a motion vector and a residual signal from an encoded signal, performs motion compensation prediction from the motion vector and the residual signal, and generates a decoded signal.
Means for separating the encoded signal into a normal reproduction encoded signal and a special reproduction encoded signal used for double speed reproduction ;
An image decoding apparatus comprising: means for selecting which of the separated normal reproduction encoded signal and special reproduction encoded signal to be decoded. 前記請求項４に記載の画像復号化装置において
前記通常再生用符号化信号はＭＰＥＧ信号としたことを特徴とする画像復号化装置。5. The image decoding device according to claim 4, wherein the normal reproduction coded signal is an MPEG signal. 符号化画像信号と通常再生のための参照画像信号とから通常再生用の動きベクトルを検出し、前記動きベクトルを用いて動き補償予測を行ない、前記符号化画像信号と参照画像信号との残差信号と前記動きベクトルを符号化し、符号化信号を生成する画像符号化方法において、
前記符号化画像信号と倍速再生である特殊再生のための参照画像信号とから特殊再生用動きベクトルを検出し、前記特殊再生用動きベクトルを符号化して特殊再生用符号化信号を生成し、前記通常再生用符号化信号と特殊再生用符号化信号を多重化するようにしたことを特徴とする画像符号化方法。A motion vector for normal playback is detected from the encoded image signal and a reference image signal for normal playback, motion compensation prediction is performed using the motion vector, and a residual between the encoded image signal and the reference image signal is detected. In an image encoding method for encoding a signal and the motion vector and generating an encoded signal,
Detecting a special reproduction motion vector from the encoded image signal and a reference image signal for special reproduction that is double-speed reproduction, encoding the special reproduction motion vector to generate a special reproduction encoded signal, An image encoding method, wherein the normal reproduction encoded signal and the special reproduction encoded signal are multiplexed. 符号化信号から動きベクトルと残差信号を復号化し、前記動きベクトルと残差信号から動き補償予測を行ない、復号化信号を生成する画像復号化方法において、
前記符号化信号から通常再生用符号化信号と倍速再生に用いる特殊再生用符号化信号とに分離し、前記通常再生用符号化信号と特殊再生用符号化信号を選択するようにしたことを特徴とする画像復号化方法。In an image decoding method for decoding a motion vector and a residual signal from an encoded signal, performing motion compensation prediction from the motion vector and the residual signal, and generating a decoded signal,
The encoded signal is separated into a normal reproduction encoded signal and a special reproduction encoded signal used for double-speed reproduction, and the normal reproduction encoded signal and the special reproduction encoded signal are selected. An image decoding method.
JP35906296A 1996-12-27 1996-12-27 Image encoding / decoding device and method Expired - Lifetime JP3669536B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35906296A JP3669536B2 (en) 1996-12-27 1996-12-27 Image encoding / decoding device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35906296A JP3669536B2 (en) 1996-12-27 1996-12-27 Image encoding / decoding device and method

Publications (2)

Publication Number Publication Date
JPH10191359A JPH10191359A (en) 1998-07-21
JP3669536B2 true JP3669536B2 (en) 2005-07-06

Family

ID=18462542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35906296A Expired - Lifetime JP3669536B2 (en) 1996-12-27 1996-12-27 Image encoding / decoding device and method

Country Status (1)

Country Link
JP (1) JP3669536B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3372221B2 (en) 1999-06-16 2003-01-27 日本ビクター株式会社 Recording device

Also Published As

Publication number Publication date
JPH10191359A (en) 1998-07-21

Similar Documents

Publication Publication Date Title
JP3443867B2 (en) Image signal encoding / decoding method and image signal recording medium
JP3161614B2 (en) Video decoding device
JP3443880B2 (en) Video signal encoding method and decoding method
KR100260475B1 (en) Methods and devices for encoding and decoding frame signals and recording medium therefor
JPH10191259A (en) Inversion reproduction method for mpeg video
KR0185932B1 (en) Video data decoding method and apparatus
JPH0955941A (en) Picture encoding method/device and recording device for picture encoding data
JPH06284412A (en) Picture signal coding method and picture signal coder, picture signal decoding method and picture signal decoder and picture signal recording medium
JP2776212B2 (en) Code recording device
KR100226563B1 (en) Motion picture data decoding system
JPH05344494A (en) Fast feed reproduction system for mpeg dynamic image
JPH11289539A (en) Image signal processing unit, its method and recording medium
JP3669536B2 (en) Image encoding / decoding device and method
JP2001352524A (en) Reproduction device and reproduction method
JP3189252B2 (en) Image data encoder and decoder
JP3776735B2 (en) Image predictive decoding method, image predictive decoding device, image predictive encoding method, image predictive encoding device, and data storage medium
JPH08307896A (en) Image signal recording method and device, image signal reproducing method and device and image signal recording medium
JP3449370B2 (en) Image data decoding method and apparatus
JPH06319124A (en) Picture data converter and its inverter
KR0136026B1 (en) Method for searching high speed in a moving picture play-back apparatus
KR0128878B1 (en) Apparatus and method for jump of mpeg
JP3348356B2 (en) Moving picture decoding method and apparatus
JPH09172594A (en) Recording medium, image recorder and image reproducing device
JPH08340536A (en) Image coder
JP2006074651A (en) Recording method for encoded video signal

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050407

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090422

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090422

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100422

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110422

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120422

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120422

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130422

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 9

EXPY Cancellation because of completion of term