JP2000261809A - Image coder coping with feature of picture - Google Patents

Image coder coping with feature of picture

Info

Publication number
JP2000261809A
JP2000261809A JP5804699A JP5804699A JP2000261809A JP 2000261809 A JP2000261809 A JP 2000261809A JP 5804699 A JP5804699 A JP 5804699A JP 5804699 A JP5804699 A JP 5804699A JP 2000261809 A JP2000261809 A JP 2000261809A
Authority
JP
Japan
Prior art keywords
image
coding
frame
information
gop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5804699A
Other languages
Japanese (ja)
Inventor
Akio Yoneyama
暁夫 米山
Yasuyuki Nakajima
康之 中島
Hiromasa Yanagihara
広昌 柳原
Masaru Sugano
勝 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDD Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDD Corp filed Critical KDD Corp
Priority to JP5804699A priority Critical patent/JP2000261809A/en
Priority to US09/515,896 priority patent/US6973126B1/en
Publication of JP2000261809A publication Critical patent/JP2000261809A/en
Priority to US10/114,268 priority patent/US7116715B2/en
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a moving picture coder that decides a group of picture GOP size and a predicted frame interval in response to the feature of a received picture. SOLUTION: A frame memory 3 stores an input picture in advance, an inter- two-picture change analysis section 32 extracts a change between consecutive pictures, a GOP border position decision section 33 decides a GOP border position on the basis of inter-picture change information A from the inter-two-picture change analysis section 32. Then a simple motion retrieval section 34 applies simple motion retrieval to a picture in one GOP on the basis of GOP border position information B and picture information stored in the frame memory 31 to calculate motion feature prediction information C. A prediction frame interval decision section 35 calculates predicted frame interval information D from the motion characteristic prediction information C. The inter-picture change information A, the GOP border position information B, the motion feature prediction information C and the predicted frame interval information D are given to a coding complexity prediction section, which calculates coding complexity prediction information E in each frame coding mode.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は画像符号化装置に関
し、特にデジタル動画像信号の動き補償予測を用いた符
号化を行う画像符号化装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image coding apparatus, and more particularly, to an image coding apparatus for performing coding using motion compensation prediction of a digital video signal.

【0002】[0002]

【従来の技術】連続して入力される動画像信号をより少
ない符号量で符号化する高能率符号化方式のうち、画像
信号の画像間の動きと相関を利用する符号化方式とし
て、過去の符号化された画像を復号再生し、該画像から
の小ブロック単位での動き情報を利用する動き補償予測
符号化がある。従来の動き補償予測符号化の一例を、図
8に示す。
2. Description of the Related Art Among high-efficiency coding schemes for coding a continuously input moving picture signal with a smaller code amount, past coding schemes utilizing the motion and correlation between pictures of a picture signal have been developed. There is motion compensation prediction coding that decodes and reproduces an encoded image and uses motion information in small block units from the image. FIG. 8 shows an example of conventional motion compensation prediction coding.

【0003】図8において、第1画面の入力画像信号1
が入力された場合、予測モード制御部12により各々の
スイッチはそれぞれ側に接続されており、入力信号は
高い符号化効率を得るために直交変換器3に直接入力さ
れ、該直交変換器3でDCT(離散コサイン変換)など
を用いて直交変換され、量子化器4で直交変換係数が量
子化される。この量子化係数は第1可変長符号化器5で
ハフマン符号などの可変長符号に変換されてビデオ多重
化器15に入力される。
In FIG. 8, an input image signal 1 of a first screen is shown.
Is input by the prediction mode control unit 12, each switch is connected to the respective side, and the input signal is directly input to the orthogonal transformer 3 in order to obtain high coding efficiency. The orthogonal transform is performed using DCT (Discrete Cosine Transform) or the like, and the orthogonal transform coefficient is quantized by the quantizer 4. The quantized coefficients are converted into a variable length code such as a Huffman code by the first variable length encoder 5 and input to the video multiplexer 15.

【0004】一方、逆量子化器6に入力した量子化係数
は逆量子化され、さらに逆直交変換器7で画像データが
復元される。復元された画像データはフレームメモリ9
に蓄積される。また、ビデオ多重化器15では、第1可
変長符号化器5からの符号化データや量子化器4からの
量子化情報18を多重化して符号化ビデオデータ出力1
6として出力する。
On the other hand, the quantized coefficients input to the inverse quantizer 6 are inversely quantized, and the image data is restored by the inverse orthogonal transformer 7. The restored image data is stored in the frame memory 9
Is accumulated in The video multiplexer 15 multiplexes the coded data from the first variable length coder 5 and the quantized information 18 from the quantizer 4 to output a coded video data output 1.
Output as 6.

【0005】次の画面の入力画像信号1が入力されるよ
うになると、符号化モード制御部12により、各々のス
イッチは側の接点に接続され、入力画像信号1が予測
信号減算器2および動き補償器10に入力される。動き
補償器10では該入力画像信号1とフレームメモリ9か
ら入力された参照画像とで動きベクトルが検出され、該
動きベクトルは位置シフタ11と第2可変長符号化器1
4に入力される。第2可変長符号化器14では、動きベ
クトル情報がハフマン符号などの可変長符号に変換され
てビデオ多重化器15に入力される。
When the input image signal 1 of the next screen is input, each switch is connected to the side contact by the encoding mode control unit 12, and the input image signal 1 It is input to the compensator 10. In the motion compensator 10, a motion vector is detected from the input image signal 1 and the reference image input from the frame memory 9, and the motion vector is detected by the position shifter 11 and the second variable length encoder 1
4 is input. In the second variable length encoder 14, the motion vector information is converted into a variable length code such as a Huffman code and input to the video multiplexer 15.

【0006】位置シフタ11では、動きベクトルによっ
て指定される画像信号をフレームメモリ9から抽出し、
動き補償予測信号として予測信号減算器2および局所復
号加算器8に出力される。予測信号減算器2で入力画像
信号1から動き補償予測信号が減算され、その予測誤差
が符号化される。予測誤差信号は高い符号化効率を得る
ために直交変換器3においてDCT(離散コサイン変
換)などを用いて直交変換され、量子化器4で量子化さ
れた信号は第1可変長符号化器5でハフマン符号などの
可変長符号に変換される。また復号側と同一の予測信号
を用いるために、量子化器4で得られる量子化係数を逆
量子化器6で逆量子化し、逆直交変換器7で予測誤差信
号が局所的に復号される。さらに動き補償予測信号が局
所復号加算器8で復元された予測誤差信号と加算され、
フレームメモリ9に蓄積される。
The position shifter 11 extracts an image signal specified by a motion vector from the frame memory 9,
It is output to the prediction signal subtractor 2 and the local decoding adder 8 as a motion compensation prediction signal. The motion compensation prediction signal is subtracted from the input image signal 1 by the prediction signal subtractor 2, and the prediction error is encoded. The prediction error signal is orthogonally transformed using a DCT (Discrete Cosine Transform) in the orthogonal transformer 3 in order to obtain a high coding efficiency, and the signal quantized by the quantizer 4 is converted into a first variable-length encoder 5. Is converted into a variable length code such as a Huffman code. Further, in order to use the same prediction signal as that on the decoding side, the quantization coefficient obtained by the quantizer 4 is inversely quantized by the inverse quantizer 6, and the prediction error signal is locally decoded by the inverse orthogonal transformer 7. . Further, the motion compensation prediction signal is added to the prediction error signal restored by the local decoding adder 8,
It is stored in the frame memory 9.

【0007】動画像の符号化では、画像間の動きや相関
を利用した符号化を行うことで、符号化効率を向上する
ことができるが、符号化された動画像から任意の時点の
画像の復号再生を行う場合には、動き補償予測で用いた
参照画像もあらかじめ復号再生されている必要があるた
め、符号化画像の先頭からの復号処理を行わないと全て
の画像の復号再生を行うことができないことになる。こ
の問題を解消するため、過去の復号再生画像と関係なく
独立して復号することができるフレーム内予測符号化フ
レームを定期的に挿入することにより、符号化効率を保
ちながら、なおかつ動画像の先頭以外からの復号再生を
可能としている。
In the coding of a moving image, the coding efficiency can be improved by performing the coding using the motion and the correlation between the images. However, the coding of the image at an arbitrary point in time from the coded moving image can be improved. When decoding and reproducing, the reference image used in the motion compensation prediction must also be decoded and reproduced in advance, so that decoding and reproduction of all images must be performed unless decoding from the beginning of the encoded image is performed. Can not do. In order to solve this problem, by periodically inserting an intra-frame predictive coded frame that can be decoded independently of the past decoded and reproduced image, it is possible to maintain the coding efficiency while maintaining the coding efficiency. Decoding from other sources is possible.

【0008】動画像の符号化では、高能率符号化と復号
再生の利便性から、以下の3種類の画像符号化方式を組
み合わせて利用されている。
In the coding of moving images, the following three types of image coding methods are used in combination from the viewpoint of high efficiency coding and convenience of decoding and reproduction.

【0009】Pフレーム:片方向予測フレーム。フレー
ム間予測フレームの一つ。過去に符号化された画像から
フレーム間動き補償予測符号化により符号化される。該
画像は復号再生され、次のPフレーム符号化のための参
照画像となる。参照される画像と参照する画像の類似性
が高い場合には符号化効率が向上する。
P frame: unidirectional prediction frame. One of the inter prediction frames. The image is encoded by inter-frame motion compensation prediction encoding from an image encoded in the past. This image is decoded and reproduced, and becomes a reference image for the next P frame encoding. If the similarity between the referenced image and the referenced image is high, the coding efficiency is improved.

【0010】Bフレーム:フレーム間予測フレームの一
つ。過去に符号化された時間的に前後する2枚の画像か
らフレーム間動き補償予測により符号化される。該フレ
ームは参照画像としては利用されない。
B frame: One of the inter-frame prediction frames. It is encoded by inter-frame motion compensation prediction from two temporally preceding and succeeding encoded images. The frame is not used as a reference image.

【0011】Iフレーム:フレーム内符号化フレーム。
画像間の動きと相関は利用せず、1枚の画像を独立して
符号化する。したがって独立したフレームの復号が可
能。
I frame: an intra-coded frame.
One image is independently encoded without using the motion and correlation between images. Therefore, independent frame decoding is possible.

【0012】上記の3種類の符号化方式を組み合わせ、
独立した復号が可能な画像群の最小単位をGOP(Grou
p Of Picture)と呼ぶ。また、その符号化方式の組み合
わせをGOP構造という。一つのGOP内で最初に符号
化されるフレームはフレーム内符号化(Iフレーム)と
なる。図9にGOPの例を示す。図9において一つのG
OPに含まれるフレーム数をGOPサイズ、Pフレーム
間、またはIフレームとPフレームとの間隔を予測フレ
ーム間隔と呼ぶ。
A combination of the above three types of coding schemes,
The minimum unit of an image group that can be independently decoded is GOP (Grou
p Of Picture). The combination of the encoding methods is called a GOP structure. The first frame to be encoded in one GOP is intra-frame encoding (I frame). FIG. 9 shows an example of a GOP. In FIG. 9, one G
The number of frames included in the OP is called a GOP size, and the interval between P frames or the interval between I and P frames is called a predicted frame interval.

【0013】従来は、入力画像の特徴に関係なくIフレ
ーム挿入間隔、つまりGOPサイズを固定値とし、一定
枚数ごとに強制的にフレーム内符号化を行っている。そ
のため、参照画像との相関が高く、フレーム間予測符号
化を用いることで符号化効率が向上できる可能性がある
場合でも、フレーム内符号化を利用しなくてはならない
場合が生ずる。
Conventionally, the I-frame insertion interval, that is, the GOP size is set to a fixed value irrespective of the characteristics of an input image, and intra-frame coding is forcibly performed at a fixed number of frames. Therefore, even when the correlation with the reference image is high and there is a possibility that the coding efficiency can be improved by using the inter-frame predictive coding, there is a case where the intra-frame coding must be used.

【0014】また、予測フレーム間隔についても、最も
符号化効率のよい予測フレーム間隔は画像の特徴に依存
する。たとえば、動きの激しい映像では、予測フレーム
間隔を短くすることによって参照画像からの予測効率が
高くなり、符号化効率を向上することができる。逆に変
化がほとんどない場合には、予測フレーム間隔を長くす
ることにより、符号化効率を向上することができる。し
かし、従来の方式では画像の特徴には関係なく、固定的
に予測フレーム間隔を0.1秒程度としている。
As for the predicted frame interval, the predicted frame interval having the highest encoding efficiency depends on the characteristics of the image. For example, in the case of a moving image, by shortening the prediction frame interval, the prediction efficiency from the reference image is increased, and the encoding efficiency can be improved. Conversely, when there is little change, the coding efficiency can be improved by increasing the prediction frame interval. However, in the conventional method, the prediction frame interval is fixed to about 0.1 second regardless of the characteristics of the image.

【0015】[0015]

【発明が解決しようとする課題】前記した従来方法によ
る画像の符号化においては、入力される画像に変化があ
り、フレーム間予測符号化が効果的ではない場合でもフ
レーム間予測符号化が用いられたり、フレーム間予測符
号化であれば効果的な符号化ができるにもかかわらず、
強制的にフレーム内予測符号化が用いられたりするた
め、符号化効率の向上や、復号再生画像の画質の向上を
妨げている。また、画像特徴変化直後の画質に大幅な変
動が起こることも避けることができない。例えば、シー
ンの変化等の大きな変化が入力画像にあった場合には、
画質が大幅に変動してしまうという問題があった。
In the coding of an image according to the conventional method described above, the inter-frame prediction coding is used even when the input image changes and the inter-frame prediction coding is not effective. Or, despite the fact that effective coding can be performed with inter-frame prediction coding,
Forcibly using intra-frame predictive coding prevents improvement in coding efficiency and improvement in image quality of decoded and reproduced images. In addition, it is also unavoidable that a large fluctuation occurs in the image quality immediately after the image feature change. For example, when a large change such as a scene change is present in the input image,
There is a problem that the image quality fluctuates greatly.

【0016】本発明の目的は、前記した従来技術の問題
点を解決し、入力画像の特徴や、入力画像の特徴の変化
に応じて、GOPサイズ、および予測フレーム間隔を適
応的に変化させることで、符号化効率の向上を達成し、
更に符号化画像品質を安定化させる画像符号化装置を提
供することにある。
An object of the present invention is to solve the above-mentioned problems of the prior art, and to adaptively change a GOP size and a predicted frame interval according to characteristics of an input image and changes in characteristics of the input image. To achieve improved coding efficiency,
It is still another object of the present invention to provide an image encoding device for stabilizing the encoded image quality.

【0017】[0017]

【課題を解決するための手段】前記目的を達成するため
に、本発明は、連続的に入力される動画像情報から、画
像間の変化度を検出し、その検出された情報を基に画像
間の相関を求め、その相関の度合いによりフレーム内符
号化方式を適用する画像を決定する手段を具備した点に
第1の特徴がある。この特徴によれば、GOPサイズは
画像特徴により異なるサイズとなる。
In order to achieve the above object, the present invention detects a degree of change between images from continuously input moving image information, and generates an image based on the detected information. The first feature is that a means for determining the image to which the intra-frame coding method is applied based on the degree of the correlation is obtained. According to this feature, the GOP size is different depending on the image feature.

【0018】また、本発明は、入力画像間の動き特徴を
検出し、その特徴から最適な予測フレーム間隔を決定す
る手段を具備した点に第2の特徴がある。この特徴によ
れば、入力画像間の動きの特徴により、最適な予測フレ
ーム間隔を決定することができるようになる。
A second feature of the present invention resides in that a means for detecting a motion feature between input images and determining an optimum prediction frame interval from the feature is provided. According to this feature, the optimal prediction frame interval can be determined based on the feature of the motion between the input images.

【0019】さらに、一つのGOPの構造が決定した
後、各フレームを符号化する前に、GOP内の画像の特
徴量から、各符号化方式における符号化の複雑度を予測
し、符号化時の符号量制御に反映させることで画質の変
動を抑える手段を具備した点に第3の特徴がある。
Further, after the structure of one GOP is determined and before each frame is encoded, the complexity of the encoding in each encoding method is predicted from the feature amount of the image in the GOP, The third feature is that a means for suppressing a change in image quality by reflecting the change in the code amount control is provided.

【0020】前記した各特徴によれば、従来の固定GO
Pサイズおよび固定予測フレーム間隔での画像符号化方
式では避けることのできなかった入力画像の変化に伴う
画質の大幅な変動や、符号化効率の低下を解消すること
ができるようになる。
According to the above-mentioned features, the conventional fixed GO
This makes it possible to eliminate a significant change in image quality due to a change in an input image and a decrease in encoding efficiency, which cannot be avoided in an image encoding method using a P size and a fixed prediction frame interval.

【0021】[0021]

【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図1は、本発明の一実施形態の構成
を示すブロック図である。なお、以下の説明では、動画
像符号化方式として、図8に示した符号化装置を用いる
ものとするが、本発明はこれに限定されるものではな
い。また、図8と同じ符号は、同一または同等物を示
す。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below in detail with reference to the drawings. FIG. 1 is a block diagram showing the configuration of one embodiment of the present invention. In the following description, the encoding device shown in FIG. 8 is used as a moving image encoding method, but the present invention is not limited to this. The same reference numerals as those in FIG. 8 indicate the same or equivalent.

【0022】この実施形態は、連続して入力される画像
信号からその画像信号の特徴の解析を行い、その情報に
応じてGOP構造を決定し、その情報から符号化処理を
行うことに特徴がある。
This embodiment is characterized in that the characteristics of the image signal are analyzed from the continuously input image signal, the GOP structure is determined according to the information, and coding processing is performed from the information. is there.

【0023】図1において、連続的に入力される画像信
号はGOP構造決定部20において、その特徴解析を行
い、入力画像に応じたGOP構造を決定し、その情報を
基に、画像の符号化の際に符号化モード制御部12に対
してGOP構造情報信号21を出力し、また、符号化レ
ート制御部17に対して符号化複雑度予測情報22を出
力する。なお、上記以外の動作は、図8の符号化装置の
動作と同様であるので、説明を省略する。
In FIG. 1, a continuously input image signal is subjected to characteristic analysis in a GOP structure determination section 20 to determine a GOP structure according to the input image, and to encode an image based on the information. In this case, the GOP structure information signal 21 is output to the encoding mode control unit 12 and the encoding complexity prediction information 22 is output to the encoding rate control unit 17. The operation other than the above is the same as the operation of the encoding apparatus in FIG.

【0024】図1におけるGOP構造決定部20の処理
の実施形態をブロック図により示したものが図2〜図5
である。本発明の第一実施形態である図2における処理
の手順を説明する。まず連続的に入力される画像信号
は、フレームメモリ31に蓄積される。フレームメモリ
31では最大GOPサイズ分の画像を蓄積することがで
きるものとする。
FIG. 2 is a block diagram showing an embodiment of the processing of the GOP structure determining unit 20 in FIG.
It is. The procedure of the process in FIG. 2, which is the first embodiment of the present invention, will be described. First, continuously input image signals are stored in the frame memory 31. It is assumed that the frame memory 31 can store images of the maximum GOP size.

【0025】2画像間変化量解析部32では、フレーム
メモリ31に蓄積される各画像と、時間的に直前に隣接
する画像との間の映像からの変化量の算出を行い、その
結果である画像間変化量情報AをGOP境界決定部33
に出力する。ここでは画像間変化量情報Aの算出には対
象画像と直前の画像を用いたが、その他の画像を用いる
ことも可能である。
The inter-image change amount analysis unit 32 calculates the amount of change from the video between each image stored in the frame memory 31 and the immediately adjacent image in time, and the result is obtained. The GOP boundary determination unit 33 converts the inter-image change amount information A
Output to Here, the target image and the immediately preceding image are used for calculating the inter-image change amount information A, but other images may be used.

【0026】GOP境界位置決定部33では、2画像間
変化量解析部32から出力された、画像間変化量情報A
から、フレームメモリ31内においてGOP境界とする
のに最適な位置を決定し、その情報をGOP境界位置情
報Bとして出力する。このGOP境界位置の決定によ
り、フレームメモリ31内にある該決定したGOP境界
位置よりも古い画像が1つのGOPとなる。
The GOP boundary position determining unit 33 outputs the inter-image change amount information A output from the inter-image change amount analysis unit 32.
Then, the optimum position for determining the GOP boundary in the frame memory 31 is determined, and the information is output as GOP boundary position information B. By this determination of the GOP boundary position, an image in the frame memory 31 that is older than the determined GOP boundary position becomes one GOP.

【0027】また、簡易動き探索部34では、GOP境
界位置決定部33におけるIフレーム位置挿入決定、つ
まり1GOPサイズ決定後に、GOP境界位置決定部3
3から出力されたIフレーム挿入位置情報であるGOP
境界位置情報Bと、フレームメモリ31に蓄積されてい
る映像情報から決定された1GOPサイズ分の画像の中
から基準となる画像を決定し、その画像と他の画像との
間での簡易動き探索により、動き特徴予測情報Cを出力
する。
Further, in the simple motion search unit 34, after the GOP boundary position determination unit 33 determines the insertion of the I frame position, that is, after determining the size of one GOP, the GOP boundary position determination unit
GOP, which is the I frame insertion position information output from
A reference image is determined from one GOP size image determined from the boundary position information B and the video information stored in the frame memory 31, and a simple motion search is performed between the image and another image. Thus, motion feature prediction information C is output.

【0028】次に、予測フレーム間隔決定部35におい
て、簡易動き探索部34から入力された動き特徴予測情
報Cにより予測フレーム間隔を決定し、予測フレーム間
隔情報Dを出力する。
Next, a predicted frame interval determining section 35 determines a predicted frame interval based on the motion feature prediction information C input from the simple motion search section 34, and outputs predicted frame interval information D.

【0029】画像間変化量情報A,GOP境界位置情報
B,動き特徴予測情報C,および予測フレーム間隔情報
Dは、符号化複雑度予測部37に入力され、該符号化複
雑度予測部37において、I,P,B各フレーム符号化
モードにおける符号化の複雑度を予測し、その情報を符
号化複雑度予測情報Eとして符号化レート制御部38へ
出力する。
The inter-image change amount information A, the GOP boundary position information B, the motion feature prediction information C, and the predicted frame interval information D are input to the coding complexity prediction unit 37, and the coding complexity prediction unit 37 , I, P, and B in each frame coding mode, and outputs the information to the coding rate control unit 38 as coding complexity prediction information E.

【0030】符号化レート制御部38では、入力画像の
符号化時に、符号化複雑度予測部37から入力された符
号化複雑度予測情報Eを反映させて符号化レート制御を
行う。また、GOP境界位置情報Bおよび予測フレーム
間隔情報Dは、符号化モード制御部36にも出力され、
該符号化モード制御部36は該情報により決定されるG
OP構造により、符号化時のスイッチの制御を行う。
The coding rate control unit 38 controls the coding rate by reflecting the coding complexity prediction information E input from the coding complexity prediction unit 37 when coding the input image. The GOP boundary position information B and the predicted frame interval information D are also output to the coding mode control unit 36,
The coding mode control unit 36 determines G based on the information.
The OP structure controls switches at the time of encoding.

【0031】フレームメモリ31内の一つのGOPの構
造が決定した後に、該GOP内の各画像の符号化を行う
ため、フレームメモリ31は図1の予測信号減算部2に
対して画像信号を出力し、出力された画像信号情報は、
フレームメモリ31から削除される。
After the structure of one GOP in the frame memory 31 is determined, the frame memory 31 outputs an image signal to the prediction signal subtraction unit 2 in FIG. 1 in order to encode each image in the GOP. And the output image signal information is
It is deleted from the frame memory 31.

【0032】フレームメモリ31は、一つのGOPの符
号化が終了すると、フレームメモリ31内の残りの画像
の後に連続して入力される画像を蓄積する。フレームメ
モリ31は、最大GOPサイズ分の画像信号を蓄積する
と、次のGOP構造決定のための処理を行い、この処理
を繰り返す。
When the encoding of one GOP is completed, the frame memory 31 accumulates the image continuously inputted after the remaining images in the frame memory 31. After storing the image signal of the maximum GOP size, the frame memory 31 performs a process for determining the next GOP structure, and repeats this process.

【0033】次に、本発明の第1実施形態である図2の
GOP構造決定部20の各部の動作の詳細を説明する。
まず、フレームメモリ31では、連続して入力される画
像信号を蓄積する。蓄積する画像枚数は、符号化時に決
定する最大GOPサイズ以上とする。フレームメモリ3
1では、2画像間変化量解析部32、および簡易動き探
索部34に対して画像信号の出力を行う。また、蓄積さ
れている画像群において、一つのGOPの構造が決定さ
れると、画像符号化装置に対して画像信号の出力を行
い、出力した画像信号はフレームメモリ31から削除
し、該領域上に、新たに入力される画像信号を蓄積す
る。
Next, the operation of each unit of the GOP structure determining unit 20 of FIG. 2 according to the first embodiment of the present invention will be described in detail.
First, the frame memory 31 stores image signals that are continuously input. The number of stored images is equal to or larger than the maximum GOP size determined at the time of encoding. Frame memory 3
In step 1, an image signal is output to the inter-image change amount analysis unit 32 and the simple motion search unit 34. When the structure of one GOP is determined in the stored image group, an image signal is output to the image encoding device, the output image signal is deleted from the frame memory 31, and Then, a newly input image signal is stored.

【0034】次に2画像間変化量解析部32では、フレ
ームメモリ31から2枚の画像情報を取り出し、該画像
間の変化量情報Aの算出を行う。算出方法には、2枚の
画像における同位置の画素情報同士の絶対差分量のフレ
ーム内の総和量により決定する方法や、画像を小ブロッ
クに分割し、該小ブロック毎の画素の分散値を求め、該
分散値を小ブロックの代表値としたフレーム間の絶対差
分量のフレーム内の総和量により決定する方法をとる。
Next, the inter-image change amount analysis unit 32 extracts two pieces of image information from the frame memory 31 and calculates the inter-image change amount information A. The calculation method includes a method of determining the absolute difference between pixel information at the same position in two images based on a total amount in a frame, and a method of dividing an image into small blocks and calculating a variance value of pixels for each small block. Then, a method is used in which the variance value is determined based on the total amount of the absolute difference between frames in the frame with the representative value of the small block.

【0035】前者の決定方法は、例えば図10(a) に示
されているように、画像i、jの各画素値を、Pi1,P
i2,…,Pin;Pj1,Pj2,…,Pjnとした場合、同図
の(1) 式により決定される。また、後者の決定方法は、
例えば同図(b) に示されているように、画像i、jの各
小ブロックの分散値を、σi1,σi2,…,σim;σj1,
σj2,…,σjmとした場合、同図の(2) 式により決定さ
れる。
In the former method, for example, as shown in FIG. 10 (a), the pixel values of the images i and j are represented by Pi1, P
, Pin; Pj1, Pj2,..., Pjn are determined by equation (1) in FIG. Also, the latter decision method is
For example, as shown in FIG. 3B, the variance of each small block of the images i and j is represented by σi1, σi2,.
If σj2,..., σjm are determined by the equation (2) in FIG.

【0036】なお、前記決定方法の各画素値は、輝度値
のみによる処理を行ったが、色差値による処理や、輝度
および色差値双方を用いる処理も可能である。2画像間
変化量解析部32で算出された画像間変化量情報Aは、
GOP境界決定部33、および符号化複雑度予測部37
へ出力される。
Although each pixel value in the above-described determination method is processed using only luminance values, processing using color difference values or processing using both luminance and color difference values is also possible. The inter-image change amount information A calculated by the two-image change amount analysis unit 32 is:
GOP boundary determining unit 33 and coding complexity predicting unit 37
Output to

【0037】GOP境界位置決定部33では、2画像間
変化量解析部32より入力された画像間変化量情報Aか
ら、その値がある閾値を越えた場合に該フレーム直前を
GOP境界とする方法をとる。また、フレームメモリ3
1内の全画像についての画像間変化量情報Aからその最
大値をもつ画像の直前をGOP境界とする方法や、閾値
による方式と最大値による方式との論理和、論理積によ
る決定も可能である。GOP境界位置決定部33で得ら
れたGOP境界位置情報Bは、簡易動き予測部4、符号
化モード制御部36、および符号化複雑度予測部37へ
出力される。
The GOP boundary position determining unit 33 determines a GOP boundary immediately before the frame when the value exceeds a certain threshold, based on the inter-image change amount information A input from the two-image change amount analysis unit 32. Take. Also, the frame memory 3
From the inter-image change amount information A for all the images in 1, it is also possible to determine the method using the immediately preceding image having the maximum value as the GOP boundary, or the logical sum or logical product of the method using the threshold value and the method using the maximum value. is there. The GOP boundary position information B obtained by the GOP boundary position determination unit 33 is output to the simple motion prediction unit 4, the encoding mode control unit 36, and the encoding complexity prediction unit 37.

【0038】簡易動き探索部34では、GOP境界位置
決定部33においてフレームメモリ31内の画像につい
て一つのGOPサイズが決定した後、該GOP内の画像
の動き情報を予測するために簡易動き探索処理を行う。
最も正確な動き情報を収集するには、図1に示す動画像
の符号化装置における動き補償器10での動き探索処理
と同様に、入力画像を8×8画素や16×16画素単位
の小ブロック単位に分割し、該小ブロックのそれぞれに
ついて動き探索を行い、その処理で得られた小ブロック
毎の動き情報から判断する方法であるが、動き探索に要
する処理量は非常に大きく、例えば画像サイズが720
×480画素で、探索範囲を±16画素とした場合、1
枚の画像における動き探索処理に231回以上の加算処
理が必要となる。
In the simple motion search section 34, after one GOP size is determined for an image in the frame memory 31 in the GOP boundary position determination section 33, a simple motion search process is performed to predict the motion information of the image in the GOP. I do.
In order to collect the most accurate motion information, as in the motion search processing in the motion compensator 10 in the moving picture coding apparatus shown in FIG. This is a method of dividing into small blocks, performing a motion search on each of the small blocks, and determining from the motion information for each small block obtained in the processing. However, the processing amount required for the motion search is very large. Size 720
× 480 pixels and the search range is ± 16 pixels, 1
Motion search process of adding more than 31 times is required in the images.

【0039】このような処理を簡易動き探索部34で行
うことを考えると、本方式での符号化を行う場合には、
処理量の大きい動き探索処理をGOP構造決定の際と、
実際の符号化の際とで2度行う必要が生ずる。この不具
合を避けるために、GOP構造決定の際に得られた動き
情報を、画像符号化時の動き補償器10での動き情報と
して利用することで、動き探索の処理回数を1度とする
方法が考えられるが、本方式では予測フレーム間隔が確
定する前に簡易動き検出部34の動作が行われるため
に、該簡易動き検出部34の探索処理により得られた動
き情報を、画像符号化における動き補償器10において
そのまま利用することは不可能である。
Considering that such a process is performed by the simple motion search unit 34, when encoding by this method is performed,
The motion search processing with a large processing amount is performed when the GOP structure is determined.
It is necessary to perform the encoding twice in actual encoding. In order to avoid this problem, a method of using the motion information obtained at the time of determining the GOP structure as the motion information in the motion compensator 10 at the time of image encoding so that the number of times of the motion search process is once. However, in this method, since the operation of the simple motion detection unit 34 is performed before the predicted frame interval is determined, the motion information obtained by the search process of the simple motion detection unit 34 is used in image encoding. It is impossible to use the motion compensator 10 as it is.

【0040】そのため、本発明では簡易動き探索部34
では処理量の少ない簡易な動き探索処理を行い、その情
報から画像の動き情報を予測する手段を用いる。以下に
簡易動き探索処理を説明する。
Therefore, in the present invention, the simple motion search section 34
Then, a simple motion search process with a small processing amount is performed, and a means for predicting motion information of an image from the information is used. The simple motion search processing will be described below.

【0041】まず、決定されたGOP内の一つの画像を
基準画像として選択し、該基準画像を小ブロック毎に分
割し、該小ブロックを一つの代表値で表現した縮小画像
を作成する。ここで、該代表値の算出には、例えば、小
ブロック内全画素値の分散を用いることができる。ま
た、基準となる画像の選択方法として、対象となるGO
P内で最も古い画像を利用することとするが、他の画像
を選択することも可能である。
First, one image in the determined GOP is selected as a reference image, the reference image is divided into small blocks, and a reduced image in which the small blocks are represented by one representative value is created. Here, for the calculation of the representative value, for example, the variance of all pixel values in the small block can be used. As a method of selecting a reference image, a target GO
The oldest image in P is used, but another image can be selected.

【0042】次に、基準となる画像との動き特徴を把握
するため、対象画像を定め、該画像の縮小画像を作成す
る。そして基準画像と対象画像の縮小画像を用いた動き
探索処理を行う。本発明ではこの処理をGOP内の基準
画像以外の全ての画像に対して行うが、全てではなく、
選択的にいくつかの画像と行うことも可能である。
Next, a target image is determined and a reduced image of the image is created in order to grasp the motion characteristics of the reference image. Then, a motion search process using the reduced image of the reference image and the target image is performed. In the present invention, this processing is performed on all images other than the reference image in the GOP, but not all of them.
It is also possible to work with several images selectively.

【0043】本方式では、この小ブロック単位で画像特
徴情報をよく反映する代表値を算出し、1画像内の全て
の小ブロックの代表値から縮小画像を作成し、この縮小
画像を用いて画像間の簡易動き探索を行う。図6は縮小
画像の作成を示したものである。入力される画像のサイ
ズを水平方向M画素、垂直方向N画素とし、小ブロック
のサイズを水平および垂直方向に8画素とすると、各小
ブロックの代表値には64画素に対して1個の値とな
り、生成される縮小画像のサイズはN,M共に8の倍数
の場合には、水平方向M/8画素、垂直方向N/8画素
となる。また、小ブロックのサイズは8画素×8画素以
外にも、16画素×16画素や、その他全ての矩形ブロ
ックでの処理が可能である。
In this method, a representative value that well reflects image feature information is calculated in units of small blocks, a reduced image is created from representative values of all small blocks in one image, and an image is formed using the reduced image. A simple motion search is performed. FIG. 6 shows the creation of a reduced image. Assuming that the size of the input image is M pixels in the horizontal direction and N pixels in the vertical direction, and the size of the small block is 8 pixels in the horizontal and vertical directions, the representative value of each small block is one value for 64 pixels. When the size of the generated reduced image is a multiple of 8 for both N and M, the size is M / 8 pixels in the horizontal direction and N / 8 pixels in the vertical direction. In addition, the size of the small block is not limited to 8 pixels × 8 pixels, 16 pixels × 16 pixels, and processing of all other rectangular blocks is possible.

【0044】また、本方式では小ブロック毎の代表値の
算出には、小ブロック内全画素値の分散を利用したが、
平均値、標準偏差値、または平均値との絶対誤差和の利
用、または各々の組み合せの利用も可能である。ここで
は画素値には輝度値を用いるが、色差値、または輝度値
と色差値の双方を利用することも可能である。
In this method, the variance of all pixel values in a small block is used to calculate a representative value for each small block.
It is also possible to use the average value, the standard deviation value, or the sum of absolute errors with the average value, or use a combination of each. Here, a luminance value is used as a pixel value, but it is also possible to use a chrominance value or both a luminance value and a chrominance value.

【0045】また、動き探索による動き特徴値は、一般
的な動き探索処理では、該小ブロック単位での動き探索
を行い、最も差分量の小さい位置を示すベクトルを算出
するが、本方式においては縮小画像を用いるため、動き
ベクトル情報の精度は低い。そのため、画像全体の動き
の大きさの指標として、縮小画像情報での動き探索の際
に最も動き補償予測誤差の低い位置における動き補償予
測誤差量をその画像における動き特徴値とする。また、
この動き補償予測誤差の算出には、2乗誤差量、絶対誤
差量、平方根での絶対誤差量の利用が可能である。一般
的な原画像画素情報を用いた動き探索処理と比較し、小
ブロックを16画素単位とした縮小画像を作成し、簡易
動き探索処理の場合では、213回程度の加算処理とな
り、一般的な動き探索処理における演算量の1/100
000以下となる。得られた動き特徴予測情報Cは予測
フレーム間隔決定部35へ出力される。
In a general motion search process, a motion search is performed in units of small blocks to calculate a vector indicating a position having the smallest difference amount. Since the reduced image is used, the accuracy of the motion vector information is low. Therefore, as an index of the magnitude of the motion of the entire image, the motion compensation prediction error amount at the position where the motion compensation prediction error is lowest in the motion search using the reduced image information is set as the motion feature value in the image. Also,
For calculating the motion compensation prediction error, a square error amount, an absolute error amount, and an absolute error amount in a square root can be used. Compared to motion search using a general original image pixel information, to create a reduced image obtained by the small block 16 pixels, in the case of the simple motion search becomes a process of adding about 2 13 times, generally 1/100 of the amount of calculation in a simple motion search process
000 or less. The obtained motion feature prediction information C is output to the prediction frame interval determination unit 35.

【0046】1GOP内で基準となる画像とそれ以外の
画像との間での簡易な動き探索により得られた動き補償
予測誤差量は、動き特徴予測情報Cとして予測フレーム
間隔決定部35に入力される。予測フレーム間隔決定部
35では、該動き特徴予測情報Cより予測フレーム間隔
を決定する。画像の符号化の際に、画像間における動き
や変化が大きい場合には予測フレーム間隔を小さくと
り、また、画像間における動きや変化が小さい場合には
予測フレーム間隔を大きくとることにより、最も効率的
な符号化を行うことができる。したがって、まず1GO
Pにわたる動き特徴を把握するために、1GOP内の基
準画像とその他の画像との間の全ての動き特徴予測情報
を求め、次いでその平均値を求める。そして、該平均値
を代表値とし、該代表値を基に予測フレーム間隔を決定
する。予測フレーム間隔と、得られた平均値との間に反
比例の関係を持たせることが、本発明の一つの特徴であ
る。また、1GOP内の代表値の算出には、平均値を利
用する方法以外にも、最大値、最小値を利用することも
可能である。
The motion compensation prediction error amount obtained by a simple motion search between a reference image and other images in one GOP is input to the prediction frame interval determination unit 35 as motion feature prediction information C. You. The prediction frame interval determination unit 35 determines a prediction frame interval from the motion feature prediction information C. In coding an image, if the motion or change between images is large, the prediction frame interval is set small, and if the motion or change between images is small, the prediction frame interval is set large, so that the efficiency is maximized. Encoding can be performed. Therefore, first, 1 GO
In order to grasp the motion features over P, all motion feature prediction information between the reference image and other images in one GOP is obtained, and then the average value is obtained. Then, the average value is used as a representative value, and a predicted frame interval is determined based on the representative value. One feature of the present invention is to have an inversely proportional relationship between the predicted frame interval and the obtained average value. In calculating the representative value in one GOP, the maximum value and the minimum value can be used in addition to the method using the average value.

【0047】また、入力される画像の解像度が高い場合
には、画素に対する相対的な動き量は大きくなるため、
画像の解像度と最適な予測フレーム間隔との関係は反比
例となる。本発明では予測フレーム間隔値の決定の際
に、画像の解像度情報との反比例関係を反映させること
を他の特徴とする。決定された予測フレーム間隔情報D
は、符号化複雑度予測部37、および符号化モード制御
部36へと出力される。GOP境界位置情報B、および
予測フレーム間隔情報Dは、共に符号化モード制御部3
6に伝達され、その情報を基に各画像の符号化時のスイ
ッチの制御を行う。
When the resolution of the input image is high, the amount of movement relative to the pixel is large.
The relationship between the image resolution and the optimal predicted frame interval is inversely proportional. Another feature of the present invention is that when determining a predicted frame interval value, an inverse proportional relationship with image resolution information is reflected. Predicted frame interval information D determined
Is output to the encoding complexity prediction unit 37 and the encoding mode control unit 36. The GOP boundary position information B and the predicted frame interval information D are both encoded mode control units 3
And controls the switches when encoding each image based on the information.

【0048】画像間変化量情報A,GOP境界位置情報
B,動き特徴予測情報C,および予測フレーム間隔情報
Dは、符号化複雑度予測部37に入力され、Iフレー
ム、Pフレーム、Bフレームそれぞれの符号化モードで
の符号化における発生符号量予測の指標となる符号化複
雑度予測情報Eを算出し、符号化レート制御部38へ出
力する。
The inter-image change amount information A, GOP boundary position information B, motion feature prediction information C, and prediction frame interval information D are input to the encoding complexity prediction unit 37, and are respectively used for I frame, P frame, and B frame. The encoding complexity prediction information E, which is an index of the generated code amount prediction in the encoding in the encoding mode, is calculated and output to the encoding rate control unit 38.

【0049】符号化レート制御部38では、新たなGO
Pの符号化へと処理が移る際に、各符号化モードにおけ
る符号化複雑度予測情報を、符号化複雑度予測部37か
ら入力される符号化複雑度予測情報Eにより更新する。
従来は入力画像の切り替わりや、変動にかかわらず、同
じ符号化モードを持つ過去のフレームで利用した符号化
複雑度予測情報を利用していた。そのためシーンの変化
等の大きな変化が入力画像にあった場合には相関のない
フレームの符号化複雑度予測情報の影響を受け、画質が
大幅に変動してしまう問題があった。しかし、本発明に
おいては、符号化を行う画像情報からの予測であるた
め、このような問題を解消することができる。
The encoding rate control unit 38 generates a new GO
When the process shifts to the encoding of P, the encoding complexity prediction information in each encoding mode is updated with the encoding complexity prediction information E input from the encoding complexity prediction unit 37.
Conventionally, encoding complexity prediction information used in past frames having the same encoding mode has been used regardless of switching of input images or fluctuations. Therefore, when a large change such as a scene change is present in the input image, there is a problem that the image quality is largely fluctuated due to the influence of the coding complexity prediction information of the uncorrelated frame. However, in the present invention, since the prediction is based on the image information to be encoded, such a problem can be solved.

【0050】次に、各符号化モードに対する符号化複雑
度予測情報Eの算出方法を説明する。Iフレームにおけ
る符号化複雑度予測情報Eの算出には、Iフレームとし
て符号化される画像を小ブロック単位に分割し、該小ブ
ロック毎の画素値の分散を求め、該分散の画面内平均、
およびスケーリングパラメータである固定値SIとの積
により決定する。画素値には、輝度情報、色差情報、お
よび双方の利用が可能である。
Next, a method of calculating the coding complexity prediction information E for each coding mode will be described. To calculate the encoding complexity prediction information E in the I frame, the image encoded as the I frame is divided into small blocks, the variance of the pixel values of each small block is obtained, and the average of the variance in the screen is calculated.
And a fixed value SI which is a scaling parameter. As the pixel value, luminance information, color difference information, and both can be used.

【0051】また、該小ブロック毎の画素値の分散と、
隣接小ブロックの画素値の分散値との間で算出した絶対
差分量が閾値以上となった場合には、入力画像の該小ブ
ロック領域には輪郭等のエッジ情報が含まれていると判
断し、該小ブロック領域を符号化する際に、多くの符号
量を割り当てることができるよう、符号化レート制御部
38に反映させることにする。
Further, the variance of the pixel value for each small block, and
If the absolute difference calculated between the variance of the pixel values of the adjacent small blocks is equal to or greater than the threshold value, it is determined that the small block area of the input image contains edge information such as contours. When coding the small block area, the coding rate control unit 38 will reflect the coding amount so that a large amount of code can be allocated.

【0052】Pフレームにおける符号化複雑度予測情報
Eは、対象GOP内の全ての動き特徴予測情報Cより平
均値を求め、該平均値とスケーリングパラメータである
固定値SPとの積により決定する。また、Iフレームに
おける符号化複雑度予測情報をスケーリングして算出す
ることも可能である。Bフレームにおける符号化複雑度
予測情報Eは、Pフレームにおける符号化複雑度予測情
報とスケーリングパラメータである固定値SBとの積に
より決定する。
The encoding complexity prediction information E in the P frame is determined by calculating an average value from all the motion feature prediction information C in the target GOP and by multiplying the average value by a fixed value SP which is a scaling parameter. Further, it is also possible to calculate the encoding complexity prediction information in the I frame by scaling it. The coding complexity prediction information E in the B frame is determined by the product of the coding complexity prediction information in the P frame and a fixed value SB that is a scaling parameter.

【0053】次に、本発明の第2実施形態を、図3に示
す。この実施形態は、図2の実施形態から符号化複雑度
予測部37の処理を省いた構成を有するものである。
Next, a second embodiment of the present invention is shown in FIG. This embodiment has a configuration in which the processing of the encoding complexity prediction unit 37 is omitted from the embodiment of FIG.

【0054】次に、本発明の第3実施形態を、図4に示
す。この実施形態は、図3の第2実施形態からGOPサ
イズの決定にかかわる処理を省いた構成を有するもので
ある。この実施形態においては、GOPサイズは、あら
かじめ指定された長さで固定となり、各GOPにおい
て、動き特徴予測情報Cから、最適な予測フレーム間隔
を適応的に変化させるようにしている。
Next, a third embodiment of the present invention is shown in FIG. This embodiment has a configuration in which the processing for determining the GOP size is omitted from the second embodiment in FIG. In this embodiment, the GOP size is fixed at a length designated in advance, and in each GOP, the optimal prediction frame interval is adaptively changed from the motion feature prediction information C.

【0055】次に、本発明の第4実施形態を、図5に示
す。この実施形態は、図3の第2実施形態から予測フレ
ーム間隔の決定にかかわる処理を省いた構成を有するも
のである。この実施形態においては、予測フレーム間隔
は、あらかじめ指定された間隔で固定となり、入力画像
の特徴である画像間変化量情報Aにより、GOPサイズ
のみを適応的に変化させるようにしている。
Next, a fourth embodiment of the present invention is shown in FIG. This embodiment has a configuration in which the processing for determining the predicted frame interval is omitted from the second embodiment in FIG. In this embodiment, the predicted frame interval is fixed at an interval designated in advance, and only the GOP size is adaptively changed based on the inter-image change amount information A which is a feature of the input image.

【0056】[0056]

【発明の効果】以上の説明から明らかなように、本発明
によれば、入力画像の特徴や変化に応じたGOPサイズ
をとるようにしたので、入力画像の変化に適応したGO
Pサイズをとることが可能になる。また、このため、固
定GOPサイズでの符号化の場合に生じる符号化効率の
低下、画質の変動を避けることができるようになる。
As is apparent from the above description, according to the present invention, the GOP size is set according to the characteristics and changes of the input image.
It becomes possible to take P size. For this reason, it is possible to avoid a decrease in coding efficiency and a change in image quality that occur in the case of coding with a fixed GOP size.

【0057】また、決定されたGOPサイズから、該G
OP内の画像の動き特徴を検出し、その動き特徴に応じ
た予測フレーム間隔を設定するようにしたので、入力画
像の動き特徴に応じた予測フレーム間隔を取ることが可
能になる。また、このため、従来の固定予測フレーム間
隔での符号化を行う場合と比較し、符号化効率を向上す
ることができるようになる。
Also, from the determined GOP size,
Since the motion feature of the image in the OP is detected and the prediction frame interval according to the motion feature is set, it is possible to take the prediction frame interval according to the motion feature of the input image. For this reason, the encoding efficiency can be improved as compared with the conventional case where encoding is performed at fixed prediction frame intervals.

【0058】さらに、従来の装置ではシーンチェンジ等
によって前のGOPと対象GOPとの間に画像特徴に関
連がない場合においても前のGOPで利用した符号化複
雑度予測情報を反映することによって、符号化画像の画
質の大幅な変動や、劣化、符号化効率の低下が発生して
いた。しかし本発明では、1GOPの符号化終了後、次
のGOPの符号化処理前に、対象GOP内の画像の特徴
から符号化複雑度予測情報を算出することにより、関連
のないGOPの画像特徴の影響を受けることなく、安定
した画質での符号化を行うことができるようになる。
Further, the conventional apparatus reflects the coding complexity prediction information used in the previous GOP even when the previous GOP and the target GOP have no relation to image characteristics due to a scene change or the like. Significant fluctuations in image quality of a coded image, deterioration, and reduction in coding efficiency have occurred. However, in the present invention, after the encoding of one GOP is completed and before the encoding processing of the next GOP, the encoding complexity prediction information is calculated from the characteristics of the image in the target GOP, so that the image characteristic of the unrelated GOP is calculated. Encoding with stable image quality can be performed without being affected.

【0059】MPEG2方式によるシーンの変化のある
画像でのシミュレーション実験結果を図7に示す。シミ
ュレーションでは4Mbit/sの符号化レートで圧縮
符号化した場合に、GOPサイズを15フレーム固定、
予測フレーム間距離を3フレームで固定した従来装置の
符号化に対し、本発明ではPSNRの変動が小さく、か
つ0.65dBの画質の改善を行うことができた。
FIG. 7 shows the results of a simulation experiment on an image having a scene change according to the MPEG2 system. In the simulation, the GOP size is fixed to 15 frames when compression encoding is performed at an encoding rate of 4 Mbit / s.
In contrast to the coding performed by the conventional apparatus in which the distance between predicted frames is fixed to three frames, the present invention has a small PSNR variation and can improve the image quality by 0.65 dB.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明を含む動き補償予測符号化装置のブロ
ック図である。
FIG. 1 is a block diagram of a motion compensation prediction encoding apparatus including the present invention.

【図2】 本発明の一実施形態のGOP構造決定部の構
成を示すブロック図である。
FIG. 2 is a block diagram illustrating a configuration of a GOP structure determination unit according to one embodiment of the present invention.

【図3】 本発明の第2実施形態を示すブロック図であ
る。
FIG. 3 is a block diagram showing a second embodiment of the present invention.

【図4】 本発明の第3実施形態を示すブロック図であ
る。
FIG. 4 is a block diagram showing a third embodiment of the present invention.

【図5】 本発明の第4実施形態を示すブロック図であ
る。
FIG. 5 is a block diagram showing a fourth embodiment of the present invention.

【図6】 簡易動き探索のための縮小画像作成の説明図
である。
FIG. 6 is an explanatory diagram of creating a reduced image for a simple motion search.

【図7】 本発明のシミュレーション実験結果を示すグ
ラフである。
FIG. 7 is a graph showing a simulation experiment result of the present invention.

【図8】 本発明が適用される従来の動き補償予測符号
化装置のブロック図である。
FIG. 8 is a block diagram of a conventional motion compensation prediction encoding apparatus to which the present invention is applied.

【図9】 従来のGOP構造を示す図である。FIG. 9 is a diagram showing a conventional GOP structure.

【図10】 2画素間変化量の算出方法の説明図であ
る。
FIG. 10 is an explanatory diagram of a calculation method of a change amount between two pixels.

【符号の説明】[Explanation of symbols]

10…動き補償器、12、36…符号化モード制御部、
17、38…符号化レート制御部、20…GOP構造決
定部、21…GOP構造情報信号、22…符号化複雑度
予測情報、31…フレームメモリ、32…2画素間変化
量解析部、33…GOP境界位置決定部、34…簡易動
き探索部、35…予測フレーム間隔決定部、37…符号
化複雑度予測部。
10: motion compensator, 12, 36 ... coding mode control unit,
17, 38: coding rate control unit, 20: GOP structure determination unit, 21: GOP structure information signal, 22: coding complexity prediction information, 31: frame memory, 32: change amount analysis unit between two pixels, 33 ... GOP boundary position determination unit, 34: simple motion search unit, 35: predicted frame interval determination unit, 37: coding complexity prediction unit.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 柳原 広昌 埼玉県上福岡市大原2−1−15 株式会社 ケイディディ研究所内 (72)発明者 菅野 勝 埼玉県上福岡市大原2−1−15 株式会社 ケイディディ研究所内 Fターム(参考) 5C059 KK23 MA05 MA21 MC11 ME01 NN01 NN43 PP06 RB02 TA23 TA46 TB03 TC03 TC10 TD05 TD12 UA02 UA34 5J064 AA02 BA01 BA13 BB13 BC01 BC02 BC26 BD03  ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Hiromasa Yanagihara 2-1-15 Ohara, Kamifukuoka-shi, Saitama Prefecture Inside Keddy Research Institute Co., Ltd. (72) Masaru Sugano 2-1-15 Ohara, Kamifukuoka-shi, Saitama Corporation F-term in the Caddy Laboratory (reference) 5C059 KK23 MA05 MA21 MC11 ME01 NN01 NN43 PP06 RB02 TA23 TA46 TB03 TC03 TC10 TD05 TD12 UA02 UA34 5J064 AA02 BA01 BA13 BB13 BC01 BC02 BC26 BD03

Claims (10)

【特許請求の範囲】[Claims] 【請求項1】 連続して入力される画像信号に対して、
各画像間の動き補償予測を利用した画像符号化を行う画
像符号化装置において、 入力された画像信号に対して、時間的に隣接する入力画
像信号との画像の変化量を算出する画像間変化量算出手
段と、 該変化量に基づいて、動き補償予測を利用しないフレー
ム内符号化モードを決定するフレーム内符号化モード決
定手段とを具備したことを特徴とする画像符号化装置。
1. For continuously input image signals,
An image coding apparatus for performing image coding using motion compensation prediction between images, comprising: an inter-image change calculating an image change amount between an input image signal and a temporally adjacent input image signal. An image encoding apparatus, comprising: an amount calculating unit; and an intra-frame encoding mode determining unit that determines an intra-frame encoding mode that does not use motion compensation prediction based on the amount of change.
【請求項2】 連続して入力される画像信号に対して、
各画像間の動き補償予測を利用した画像符号化を行う画
像符号化装置において、 入力画像間の特徴量から、動き補償予測符号化を行うた
めの片方向符号化(P)フレーム間隔を決定するPフレ
ーム間隔決定手段を具備したことを特徴とする画像符号
化装置。
2. For an image signal continuously inputted,
In an image coding apparatus that performs image coding using motion compensation prediction between images, a unidirectionally coded (P) frame interval for performing motion compensation prediction coding is determined from a feature amount between input images. An image coding apparatus comprising a P frame interval determining means.
【請求項3】 連続して入力される画像信号に対して、
各画像間の動き補償予測を利用した画像符号化を行う画
像符号化装置において、 入力された画像信号に対して、時間的に隣接する入力画
像信号との画像の変化量を算出する画像間変化量算出手
段と、 該変化量に基づいて、動き補償予測を利用しないフレー
ム内符号化モードを決定するフレーム内符号化モード決
定手段と、 入力画像間の特徴量から、動き補償予測符号化を行うた
めの片方向符号化(P)フレーム間隔を決定するPフレ
ーム間隔決定手段とを具備し、 前記フレーム内符号化モード決定手段による決定に基づ
いてGOP境界位置を決定し、前記Pフレーム間隔決定
手段による決定に基づいて該GOP内のPフレーム間隔
を決定するようにしたことを特徴とする画像符号化装
置。
3. For continuously input image signals,
An image coding apparatus for performing image coding using motion compensation prediction between images, comprising: an inter-image change calculating an image change amount between an input image signal and a temporally adjacent input image signal. Amount calculating means, intra-frame coding mode determining means for determining an intra-frame coding mode not using motion-compensated prediction based on the change amount, and performing motion-compensated predictive coding from the feature amount between input images. P-frame interval determining means for determining a one-way coded (P) frame interval for determining a GOP boundary position based on the determination by the intra-frame coding mode determining means, Wherein the P frame interval in the GOP is determined based on the determination by the image encoding apparatus.
【請求項4】 請求項1または3に記載の画像符号化装
置において、 該フレーム内符号化モード決定手段は、前記画像間変化
量があらかじめ設定された閾値よりも大きいときにフレ
ーム内符号化モードを選択することを特徴とする画像符
号化装置。
4. The image encoding apparatus according to claim 1, wherein said intra-frame encoding mode determining means is configured to determine whether the intra-frame encoding mode is larger than a predetermined threshold value. An image encoding device, wherein
【請求項5】 請求項1、3または4のいずれかに記載
の画像符号化装置において、 前記画像間変化量は、入力画像間の絶対差分量、および
小ブロックに分割された入力画像の各ブロックの画素分
散値の少なくとも一つを用いて算出すること特徴とする
画像符号化装置。
5. The image encoding device according to claim 1, wherein the inter-image change amount is an absolute difference amount between input images, and an input image divided into small blocks. An image coding apparatus, wherein the calculation is performed using at least one of pixel variance values of a block.
【請求項6】 請求項2または3に記載の画像符号化装
置において、 前記Pフレーム間隔決定手段は、入力画像を小ブロック
に分割し、該小ブロックごとの代表値を用いた簡易な動
き補償予測を行うことにより、該Pフレーム間隔を決定
すること特徴とする画像符号化装置。
6. The image coding apparatus according to claim 2, wherein said P-frame interval determination means divides the input image into small blocks and uses a representative value for each of the small blocks to perform simple motion compensation. An image coding device, wherein the P frame interval is determined by performing prediction.
【請求項7】 請求項6に記載の画像符号化装置におい
て、 前記該代表値は、小ブロック内平均および小ブロック内
分散値のいずれか一方を用いることを特徴とする画像符
号化装置。
7. The image encoding device according to claim 6, wherein the representative value uses one of an average within a small block and a variance value within a small block.
【請求項8】 請求項2、3、6または7のいずれかに
記載の画像符号化装置において、 前記Pフレーム間隔決定手段は、動き補償予測誤差値が
大きい場合にフレーム間隔を小さく、また動き補償予測
誤差値が小さい場合にフレーム間隔を大きくするように
制御することを特徴とする画像符号化装置。
8. The image encoding apparatus according to claim 2, wherein said P-frame interval determining means reduces a frame interval when a motion compensation prediction error value is large, An image coding apparatus, which performs control to increase a frame interval when a compensation prediction error value is small.
【請求項9】 請求項2、3、6または7のいずれかに
記載の画像符号化装置において、 対象画像を小ブロック単位に分割し、該小ブロックの画
素情報の分散値により、画像内のエッジ領域を判断する
手段を具備したことを特徴とする画像符号化装置。
9. The image encoding apparatus according to claim 2, wherein the target image is divided into small block units, and a variance value of pixel information of the small block is used to divide the target image in the image. An image coding apparatus comprising means for determining an edge region.
【請求項10】 請求項3に記載の画像符号化装置にお
いて、 前記GOP内の画像の特徴量から、各符号化方式におけ
る符号化の複雑度を予測する符号化複雑度予測手段を具
備し、 該複雑度を符号化時の符号量制御に反映させるようにし
たことを特徴とする画像符号化装置。
10. The image encoding apparatus according to claim 3, further comprising: a coding complexity prediction unit configured to predict a coding complexity in each coding scheme from a feature amount of an image in the GOP, An image encoding apparatus characterized in that the complexity is reflected in code amount control during encoding.
JP5804699A 1999-03-05 1999-03-05 Image coder coping with feature of picture Pending JP2000261809A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP5804699A JP2000261809A (en) 1999-03-05 1999-03-05 Image coder coping with feature of picture
US09/515,896 US6973126B1 (en) 1999-03-05 2000-02-29 Video coding apparatus according to a feature of a video picture
US10/114,268 US7116715B2 (en) 1999-03-05 2002-04-03 Video coding apparatus according to a feature of a video picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5804699A JP2000261809A (en) 1999-03-05 1999-03-05 Image coder coping with feature of picture

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2002145005A Division JP3888533B2 (en) 2002-05-20 2002-05-20 Image coding apparatus according to image characteristics

Publications (1)

Publication Number Publication Date
JP2000261809A true JP2000261809A (en) 2000-09-22

Family

ID=13073003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5804699A Pending JP2000261809A (en) 1999-03-05 1999-03-05 Image coder coping with feature of picture

Country Status (1)

Country Link
JP (1) JP2000261809A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027368A (en) * 2007-07-18 2009-02-05 Fujifilm Corp Unit and method for processing image, and program
JP2011176811A (en) * 2010-02-25 2011-09-08 Internatl Business Mach Corp <Ibm> Method and apparatus for encoding surveillance video
JP2012065176A (en) * 2010-09-16 2012-03-29 Fujitsu Ltd Moving image encoder
JP2016096538A (en) * 2014-11-14 2016-05-26 アクシス アーベー Video encoding method and video encoding system
JP2017520940A (en) * 2014-01-14 2017-07-27 トムソン ライセンシングThomson Licensing Method and apparatus for multiplexing hierarchically encoded content
JP2018166306A (en) * 2017-03-28 2018-10-25 キヤノン株式会社 Coding apparatus, imaging apparatus, coding method, and program
JP2019205054A (en) * 2018-05-23 2019-11-28 日本放送協会 Prediction encoding method determination device, moving image encoder, moving image decoder, and program
CN117544623A (en) * 2023-11-14 2024-02-09 江苏海辰云科信息技术有限公司 Desktop cloud remote display system based on predictive coding algorithm

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027368A (en) * 2007-07-18 2009-02-05 Fujifilm Corp Unit and method for processing image, and program
JP2011176811A (en) * 2010-02-25 2011-09-08 Internatl Business Mach Corp <Ibm> Method and apparatus for encoding surveillance video
US9426477B2 (en) 2010-02-25 2016-08-23 International Business Machines Corporation Method and apparatus for encoding surveillance video
JP2012065176A (en) * 2010-09-16 2012-03-29 Fujitsu Ltd Moving image encoder
JP2017520940A (en) * 2014-01-14 2017-07-27 トムソン ライセンシングThomson Licensing Method and apparatus for multiplexing hierarchically encoded content
JP2016096538A (en) * 2014-11-14 2016-05-26 アクシス アーベー Video encoding method and video encoding system
JP2018166306A (en) * 2017-03-28 2018-10-25 キヤノン株式会社 Coding apparatus, imaging apparatus, coding method, and program
JP2019205054A (en) * 2018-05-23 2019-11-28 日本放送協会 Prediction encoding method determination device, moving image encoder, moving image decoder, and program
JP7068925B2 (en) 2018-05-23 2022-05-17 日本放送協会 Predictive coding method determination device, moving image coding device, and moving image decoding device, and program
CN117544623A (en) * 2023-11-14 2024-02-09 江苏海辰云科信息技术有限公司 Desktop cloud remote display system based on predictive coding algorithm
CN117544623B (en) * 2023-11-14 2024-06-07 江苏海辰云科信息技术有限公司 Desktop cloud remote display system based on predictive coding algorithm

Similar Documents

Publication Publication Date Title
KR100392974B1 (en) Video encoder and video encoding method
KR100987765B1 (en) Prediction method and apparatus in video encoder
JP3957915B2 (en) Fade detection device and information encoding device
JP5173409B2 (en) Encoding device and moving image recording system provided with encoding device
JPH10304383A (en) Movement compensated encoding device/method and encoding recording medium
JPH07112284B2 (en) Predictive encoding device and decoding device
JP4257655B2 (en) Video encoding device
JP3757088B2 (en) Moving picture coding apparatus and method
JP2000261809A (en) Image coder coping with feature of picture
JP3888533B2 (en) Image coding apparatus according to image characteristics
JP3173369B2 (en) Image compression coding device
JPH0846969A (en) System for encoding video signal
JP2011091772A (en) Image encoder
JP3599942B2 (en) Moving picture coding method and moving picture coding apparatus
US20020168008A1 (en) Method and apparatus for coding moving pictures
JP3895414B2 (en) Video decoding device
JP2002247584A (en) Method and device for encoding image, program for image encoding processing, and recording medium for the program
JP2000032468A (en) Image encoding method and recording medium with motion compensation mode selection program recorded therein
JPH05308628A (en) Moving image encoder
KR100613732B1 (en) Image Compression System for Digital Video Surveillance and Method for controlling the Same
JP3690259B2 (en) High-speed moving image encoding apparatus and high-speed moving image encoding method
JP2005303555A (en) Moving image encoding apparatus and its method
JP4359273B2 (en) Coding mode selection method
JP4561701B2 (en) Video encoding device
KR200309401Y1 (en) Image Compression System for Digital Video Surveillance