JP2002247586A - Image information conversion device and its method - Google Patents

Image information conversion device and its method

Info

Publication number
JP2002247586A
JP2002247586A JP2001039099A JP2001039099A JP2002247586A JP 2002247586 A JP2002247586 A JP 2002247586A JP 2001039099 A JP2001039099 A JP 2001039099A JP 2001039099 A JP2001039099 A JP 2001039099A JP 2002247586 A JP2002247586 A JP 2002247586A
Authority
JP
Japan
Prior art keywords
coding
image
inter
information
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001039099A
Other languages
Japanese (ja)
Other versions
JP4507418B2 (en
Inventor
Kazufumi Sato
数史 佐藤
Kuniaki Takahashi
邦明 高橋
Teruhiko Suzuki
輝彦 鈴木
Yoichi Yagasaki
陽一 矢ケ崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001039099A priority Critical patent/JP4507418B2/en
Publication of JP2002247586A publication Critical patent/JP2002247586A/en
Application granted granted Critical
Publication of JP4507418B2 publication Critical patent/JP4507418B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To realize the discrimination of a macro block mode by small operation quantity. SOLUTION: The image information conversion device 1 is provided with an intra/inter judging part 21 and an inter/inter 4V judging part 22 for determining which is to be used, an inter encoding mode or an inter 4V encoding mode on the basis of the moving vector of each encoding unit of the inter encoding mode and the moving vector of each encoding unit of the inter 4V encoding mode which are generated on the basis of moving vector information extracted from MPEG2 image compression information.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像情報変換装置
及び画像情報変換方法に関し、特に、離散コサイン変換
等の直交変換と動き補償によって圧縮された画像情報
(ビットストリーム)を、衛星放送、ケーブルTV、イ
ンターネット等のネットワークを介して受信する際、或
いは、光ディスク、磁気ディスク、フラッシュメモリ等
の記憶媒体上で処理する際に用いられる画像情報変換装
置及び画像情報変換方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image information conversion apparatus and an image information conversion method, and more particularly, to image information (bit stream) compressed by orthogonal transform such as discrete cosine transform and motion compensation, for satellite broadcasting, cable broadcasting, and so on. The present invention relates to an image information conversion device and an image information conversion method used when receiving via a network such as a TV or the Internet, or when processing is performed on a storage medium such as an optical disk, a magnetic disk, or a flash memory.

【0002】[0002]

【従来の技術】近年、画像情報をディジタルデータとし
て取り扱う際、画像情報特有の冗長性を利用し、効率の
高い情報の伝送及び蓄積を目的とした、例えば離散コサ
イン変換(Discrete Cosine Transform、以下、DCT
と記す。)等の直交変換と動き補償により圧縮する方式
に準拠した装置が、放送局などの情報配信及び一般家庭
における情報受信の双方において普及しつつある。
2. Description of the Related Art In recent years, when image information is handled as digital data, for example, Discrete Cosine Transform (hereinafter, referred to as "discrete cosine transform") for the purpose of efficiently transmitting and storing information by utilizing the redundancy inherent in image information. DCT
It is written. 2. Description of the Related Art Apparatuses conforming to a method of performing compression by orthogonal transformation and motion compensation, such as), are becoming widespread in both information distribution at broadcast stations and the like and information reception in ordinary households.

【0003】特に、MPEG(Moving Picture Experts
Group)によって標準化されているMPEG2は、汎用
画像符号化方式としてISO/IEC 13818−2
に定義されており、飛び越し走査画像及び順次走査画像
の双方、並びに標準解像度画像及び高精細画像を網羅し
ている。そのためMPEG2は、プロフェッショナル用
途からコンシューマ用途まで、広範なアプリケーション
に今後とも用いられるものと予想される。
In particular, MPEG (Moving Picture Experts)
MPEG2 standardized by ISO / IEC 13818-2 as a general-purpose image encoding method.
And covers both interlaced and progressively scanned images, as well as standard resolution images and high definition images. Therefore, it is expected that MPEG2 will be used for a wide range of applications from professional use to consumer use.

【0004】このようなMPEG2圧縮方式を用いるこ
とにより、例えば720×480画素をもつ標準解像度
の飛び越し走査画像であれば4〜8Mbpsの符号量
(以下、ビットレートと記す。)を、1920×108
8画素をもつ高解像度の飛び越し走査画像であれば18
〜22Mbpsのビットレートを割り当てることで、高
い圧縮率と良好な画質の実現が可能である。
By using such an MPEG2 compression method, for example, in the case of a standard resolution interlaced scanning image having 720 × 480 pixels, a code amount of 4 to 8 Mbps (hereinafter, referred to as a bit rate) is 1920 × 108.
18 for a high-resolution interlaced scan image with 8 pixels
By assigning a bit rate of 22 Mbps, a high compression rate and good image quality can be realized.

【0005】MPEG2は、主として放送用に適合する
高画質符号化を対象としていたが、MPEG1よりも低
いビットレート、つまり、より高い圧縮率の符号化方式
には対応していなかった。ところが携帯端末の普及とと
もに、今後より高い圧縮率の符号化方式のニーズは高ま
ると予想されたことからMPEG4符号化方式の標準化
が行われ、画像符号化方式に関しては、1998年12
月にISO/IEC14496−2として国際標準に承
認されている。
[0005] MPEG2 is intended mainly for high-quality encoding suitable for broadcasting, but does not support an encoding system with a lower bit rate than MPEG1, that is, a higher compression rate. However, with the spread of portable terminals, the need for an encoding system with a higher compression ratio is expected to increase in the future, so that the MPEG4 encoding system has been standardized.
It was approved by the international standard as ISO / IEC14496-2 in January.

【0006】このように、ディジタル放送に対応するよ
うに一旦符号化されたMPEG2画像圧縮情報(以下、
MPEG2ビットストリームと記す。)を、例えば、携
帯端末等で処理するために、さらに低いビットレートの
MPEG4画像圧縮情報(以下、MPEG4ビットスト
リームと記す。)に変換するための画像情報変換装置と
して、図5に示す装置がField-to-Frame Transcoding w
ith Spatial and Temporal Downsampling (Susie J.we
e,John G.Apostolopoulos,and Nick Feamster,ICIP'99)
に提案されている。
[0006] As described above, MPEG2 image compression information (hereinafter, referred to as "encoded") once encoded so as to correspond to digital broadcasting.
Described as an MPEG2 bit stream. 5) is converted into MPEG4 image compression information of a lower bit rate (hereinafter, referred to as an MPEG4 bit stream) for processing by a mobile terminal or the like, for example. Field-to-Frame Transcoding w
ith Spatial and Temporal Downsampling (Susie J.we
e, John G. Apostolopoulos, and Nick Feamster, ICIP'99)
Has been proposed.

【0007】図5に示す画像情報変換装置100におい
て、入力端子110に供給された飛び越し走査のMPE
G2ビットストリームにおける各フレームのデータは、
まず、ピクチャタイプ判別部111に入力する。
[0007] In the image information conversion apparatus 100 shown in FIG.
The data of each frame in the G2 bit stream is
First, the image data is input to the picture type determination unit 111.

【0008】当該ピクチャタイプ判別部111では、各
フレームの入力データがIピクチャ(画像内符号化画
像)及びPピクチャ(前方予測符号化画像)に関するも
のか、又はBピクチャ(両方向予測符号化画像)に関す
るものであるかを判別し、前者のときのみ、そのI及び
Pピクチャに関する情報を後続のMPEG2画像情報復
号化部(I/Pピクチャ)112に出力する。
In the picture type discriminating section 111, input data of each frame is related to an I picture (intra-coded picture) and a P picture (forward predicted coded picture), or a B picture (bidirectional predicted coded picture). Then, only in the former case, information about the I and P pictures is output to the subsequent MPEG2 image information decoding unit (I / P picture) 112.

【0009】MPEG2画像情報復号化部112におけ
る処理は通常のMPEG2画像情報復号化装置と同様で
ある。ただし、Bピクチャに関するデータはピクチャタ
イプ判別部111において廃棄されるため、MPEG2
画像情報復号化部112における機能としてはI/Pピ
クチャのみを復号化できればよい。MPEG2画像情報
復号化部112の出力となる画素値は、間引き部113
に入力される。
The processing in the MPEG2 image information decoding unit 112 is the same as that of a normal MPEG2 image information decoding device. However, since the data relating to the B picture is discarded by the picture type discrimination unit 111, the MPEG2
The function of the image information decoding unit 112 is only required to be able to decode only I / P pictures. The pixel value output from the MPEG2 image information decoding unit 112 is output from the thinning unit 113.
Is input to

【0010】当該間引き部113は、水平方向について
は1/2の間引き処理を施し、垂直方向については第一
フィールド若しくは第二フィールドのどちらか一方のデ
ータのみを残し、もう一方を廃棄することにより、入力
となる画像情報の1/4の大きさをもつ順次走査画像を
生成する。間引き部113によって生成された順次走査
画像は、一旦、ビデオメモリ114に蓄積された後に読
み出され、MPEG4画像情報符号化部(I/P−VO
P)115に入力する。
The thinning section 113 performs a 1/2 thinning process in the horizontal direction, leaves only one of the first field and the second field in the vertical direction, and discards the other. , A progressively scanned image having a size of 1/4 of the input image information is generated. The progressive scan image generated by the thinning unit 113 is temporarily stored in the video memory 114 and then read out, and is read by the MPEG4 image information encoding unit (I / P-VO).
P) 115.

【0011】ここで、例えば、入力となるMPEG2ビ
ットストリームがNTSC(National Television Syst
em Committee)の規格に準拠したもの、つまり720×
480画素、30Hzの飛び越し走査画像であった場
合、上記間引き後の画枠は360×240画素というこ
とになるが、後続のMPEG2画像情報符号化部115
において符号化を行う際、マクロブロック単位の処理を
行うには、水平方向、垂直方向ともに、その画素数が1
6の倍数である必要がある。したがって、このための画
素の補填若しくは廃棄を間引き部113において同時に
行う。すなわちこのときの間引き部113は、上記画素
の補填若しくは廃棄として、例えば水平方向の右端若し
くは左端の8ラインを廃棄して352×240画素とす
る。
Here, for example, an MPEG2 bit stream to be input is an NTSC (National Television System).
em Committee), ie 720x
In the case of an interlaced scan image of 480 pixels and 30 Hz, the image frame after the thinning out is 360 × 240 pixels, but the subsequent MPEG2 image information encoding unit 115
When encoding is performed in, the number of pixels in the horizontal direction and the vertical direction is 1 in order to perform processing in units of macroblocks.
Must be a multiple of six. Therefore, the pixels are supplemented or discarded in the thinning unit 113 at the same time. That is, at this time, the thinning section 113 discards the eight pixels at the right end or left end in the horizontal direction, for example, as 352 × 240 pixels as a supplement or discard of the pixels.

【0012】上記MPEG2画像情報符号化部115で
は、入力した順次走査画像の信号を符号化してMPEG
4ビットストリームを生成し、そのMPEG4画像圧縮
情報が出力端子118から後段へ出力される。その際、
入力となるMPEG2ビットストリーム内の動きベクト
ル情報は、動きベクトル合成部116において間引き後
の画像情報に対する動きベクトルにマッピングされ、ま
た、動きベクトル検出部117では、動きベクトル合成
部116において合成された動きベクトル値を元に高精
度の動きベクトルを検出する。なお、MPEG4におい
て、VOP(Video Object Plane)とは、オブジェクト
を囲む1つ又は複数のマクロブロックから構成される領
域を表し、MPEG2におけるフレームに相当するもの
である。このVOPの領域は、符号化される方式にした
がって、Iピクチャ、Pピクチャ、及びBピクチャのう
ちの何れかに分類される。I−VOP(IピクチャのV
OP)は、動き補償を行うことなく、画像(領域)その
ものが符号化(イントラ符号化)されるものである。P
−VOP(PピクチャのVOP)は、基本的には、自身
より時間的に前に位置する画像(I又はP−VOP)に
基づいて、前方予測符号化される。B−VOP(Bピク
チャのVOP)は、基本的には、自身より時間的に前と
後ろに位置する2つの画像(I又はP−VOP)に基づ
いて両方向予測符号化されるものである。
The MPEG2 image information encoding unit 115 encodes the input signals of the progressively scanned image to generate an MPEG2 image information.
A 4-bit stream is generated, and the MPEG4 image compression information is output from an output terminal 118 to a subsequent stage. that time,
The motion vector information in the input MPEG2 bit stream is mapped to a motion vector for the decimated image information in the motion vector synthesis unit 116, and the motion vector synthesized in the motion vector synthesis unit 116 is calculated in the motion vector detection unit 117. High-precision motion vectors are detected based on vector values. Note that, in MPEG4, a VOP (Video Object Plane) represents an area composed of one or more macroblocks surrounding an object, and corresponds to a frame in MPEG2. The VOP area is classified into one of an I picture, a P picture, and a B picture according to a coding method. I-VOP (V of I picture
OP) encodes (intra-encodes) an image (area) itself without performing motion compensation. P
-VOP (VOP of P picture) is basically forward predictive coded based on an image (I or P-VOP) located temporally ahead of itself. B-VOP (VOP of B picture) is basically bi-directionally predictive coded based on two pictures (I or P-VOP) temporally located before and after itself.

【0013】上述のように、文献1には、入力となるM
PEG2ビットストリームの1/2×1/2の大きさを
もつ順次走査画像のMPEG4ビットストリームを生成
する装置に関する技術が述べられている。すなわち、入
力となるMPEG2ビットストリームが例えばNTSC
の規格に準拠したものであった場合、出力となるMPE
G4画像圧縮情報はSIFサイズ(352×240)と
いうことになるが、上記図5の構成によれば、上記間引
き部113における動作の変更を行うことにより、それ
以外の画枠、例えば上記の例では約1/4×1/4の画
枠であるQSIF(176×112画素)サイズの画像
に変換することも可能となっている。
[0013] As described above, the document 1 describes that the input M
A technique relating to an apparatus for generating an MPEG4 bitstream of a progressively scanned image having a size of 1/2 × 1/2 of a PEG2 bitstream is described. That is, the input MPEG2 bit stream is, for example, NTSC
MPE that is output if it conforms to the standard
Although the G4 image compression information has the SIF size (352 × 240), according to the configuration of FIG. 5, by changing the operation of the thinning unit 113, other image frames, for example, the above example It is also possible to convert an image into a QSIF (176 × 112 pixel) size image which is an image frame of about 1 / ××.

【0014】また、文献1には、MPEG2画像情報復
号化部112における処理として、水平方向、垂直方向
それぞれについて、入力となるMPEG2ビットストリ
ーム内の、8次の離散コサイン変換係数すべてを用いた
復号処理を行う装置について述べられているが、図5に
示した装置に関してはその限りではなく、水平方向の
み、或いは水平方向、垂直方向ともに、8次の離散コサ
イン変換係数のうちの低域成分のみを用いた復号処理を
行い、画質劣化を最小限に抑えながら、復号処理に伴う
演算量とビデオメモリ容量を削減することが可能とされ
ている。
Reference 1 discloses, as processing in the MPEG2 image information decoding unit 112, decoding using all the 8th-order discrete cosine transform coefficients in an input MPEG2 bit stream in each of the horizontal and vertical directions. Although the apparatus for performing the processing is described, the apparatus shown in FIG. 5 is not limited thereto, and only the low-frequency component of the 8th-order discrete cosine transform coefficient is used only in the horizontal direction or in both the horizontal and vertical directions. It is possible to reduce the amount of calculation and the amount of video memory required for the decoding process while minimizing the image quality deterioration by performing the decoding process using.

【0015】ところで、図5に示した画像情報変換装置
では、MPEG2画像情報符号化部115においてP−
VOPの符号化を行う際に、各マクロブロックを、MP
EG4に規定されるイントラ(Intra)マクロブロ
ックとして符号化するか、16×16画素のインター
(Inter)マクロブロックとして符号化するか、或
いは、8×8画素のインター4V(Inter4V)マ
クロブロックとして符号化するかの符号化モードのタイ
プ判定を行う必要がある。
By the way, in the image information conversion device shown in FIG.
When encoding a VOP, each macroblock is
Either encode as an Intra macroblock defined by EG4, encode as an 16 × 16 pixel Inter macroblock, or encode as an 8 × 8 pixel Inter4V (Inter4V) macroblock It is necessary to determine the type of encoding mode to be used.

【0016】ここで、モード判定の一般的な手法として
は、MPEG-4 Video Verification Model(ISO/IEC JTC1/
SC29/WG11 N2932、以下これを文献2とする)において
定められた手法を用いることが考えられる。
Here, as a general method of mode determination, an MPEG-4 Video Verification Model (ISO / IEC JTC1 /
SC29 / WG11 N2932, hereafter referred to as Document 2).

【0017】以下、図6を参照しながら、文献2におい
て述べられているモード判定(図5のMPEG2画像情
報符号化部115で行われるモード判定)の手法につい
て述べる。
Hereinafter, a method of mode determination (mode determination performed by the MPEG2 image information encoding unit 115 of FIG. 5) described in Reference 2 will be described with reference to FIG.

【0018】まず、ステップS101として、動きベク
トル検出により、インター動きベクトル及びインター4
V動きベクトルを求める。
First, in step S101, an inter motion vector and an inter
Find the V motion vector.

【0019】次に、ステップS102において、インタ
ー動きベクトル及びインター4V動きベクトルにより生
成される予測画をそれぞれRefInter、 Ref
In ter4Vで表し、原画をOrgで表すとし、さら
に、ステップS103において、当該マクロブロックを
インターマクロブロック、及びインター4Vマクロブロ
ックとして符号化した場合の予測誤差ER
Inter、ERRInter4 をそれぞれ式
(1)及び式(2)によって算出し、また、当該マクロ
ブロックに含まれる画素の平均値をMean_MBとし
て、当該マクロブロックをイントラマクロブロックとし
て符号化した場合の予測誤差ERRIntraを、式
(3)のように定義する。 ERRInter=SAD(Org−RefInter) (1) ERRInter4V=SAD(Org−RefInter4V) (2) ERRIntra=SAD(Org−Mean_MB) (3) なお、式中のSADは絶対値誤差和(Sum of Absolute
Difference)を表す。
Next, in step S102, predicted images generated by the inter motion vector and the inter 4V motion vector are respectively referred to as Ref Inter and Ref Inter .
It is assumed that the macroblock is represented by Inter4V and the original picture is represented by Org. Further, in step S103, a prediction error ER when the macroblock is coded as an inter macroblock and an inter 4V macroblock.
R Inter and ERR Inter4 V are calculated by equations (1) and (2), respectively, and the average value of the pixels included in the macroblock is defined as Mean_MB, and the macroblock is coded as an intra macroblock. The prediction error ERR Intra is defined as in Expression (3). ERR Inter = SAD (Org-Ref Inter ) (1) ERR Inter4V = SAD (Org-Ref Inter4V ) (2) ERR Intra = SAD (Org-Mean_MB) Sum of Absolute
Difference).

【0020】次に、ステップS104として、上記式
(1)及び式(2)で求められた予測誤差ERR
Inter、ERRInter4Vから、インターマク
ロブロックとして符号化するのと、インター4Vマクロ
ブロックとして符号化するのと、どちらの符号化効率が
よいかの判定を行う。すなわち、式(4)が成立すれ
ば、インターマクロブロックとして符号化した方が符号
化効率がよいとし、成立しなければインター4Vマクロ
ブロックとして符号化した方が符号化効率がよいと判定
する。 ERRInter−Offset<ERRInter4V (4) なお、この式(4)において、Offsetはインター
マクロブロックを選ばれ易くするためのパラメータで、
文献2においては129と定められている。
Next, as step S104, the prediction error ERR obtained by the above equations (1) and (2)
From the Inter and ERR Inter4V , it is determined which of the coding efficiency is better, that is, coding as an inter macroblock or coding as an inter4V macroblock. That is, if equation (4) is satisfied, it is determined that coding as an inter macroblock has better coding efficiency, and if not, it is determined that coding as an inter 4V macroblock has better coding efficiency. ERR Inter− Offset <ERR Inter4V (4) In this equation (4), Offset is a parameter for making it easier to select an inter macroblock.
Reference 2 specifies 129.

【0021】次に、式(4)によってインターマクロブ
ロックが選ばれた場合、パラメータERRを式(5)の
ように定義し、一方、インター4Vマクロブロックが選
ばれた場合、パラメータERRを式(6)のように定義
する。 ERR=ERRInter (5) ERR=ERRInter4V (6) 次にマクロブロックに含まれる餓死の平均値をMean
_MBとして、当該マクロブロックをイントラマクロブ
ロックとして符号化した場合の予測誤差ERR
Intraを式(7)のように定義する。 ERRIntra=SAD(Org−Mean_MB) (7) 次に、上記パラメータERR及び前記式(3)により定
義される予測誤差ERRIntraから、当該マクロブ
ロックをイントラマクロブロックとして符号化するの
と、式(4)によって選択されたマクロブロックモード
で符号化するのとではどちらが符号化効率が高いかの判
定を行う。
Next, according to equation (4),
When the lock is selected, the parameter ERR is calculated according to the equation (5).
, While the inter 4V macroblock is selected.
In the case where the parameter ERR is defined, the parameter ERR is defined as in equation (6).
I do. ERR = ERRInter (5) ERR = ERRInter4V (6) Next, the average value of starvation included in the macroblock is
_MB as the macro block
Prediction error ERR when encoded as lock
IntraIs defined as in equation (7). ERRIntra= SAD (Org-Mean_MB) (7) Next, the parameter ERR and the equation (3) are used to determine
Defined error ERRIntraFrom the macro
Encoding locks as intra macroblocks
And the macroblock mode selected by equation (4)
To determine which is more efficient than
Perform settings.

【0022】すなわち式(8)が成立すれば、イントラ
マクロブロックとして符号化する方が効率がよいとし、
成立しなければ式(3)によって選択されたマクロブロ
ックモードで符号化する方が効率がよいとする。 ERRIntra<ERR (8) つまり、図6のステップS105において、ERR
Inter<ERRInt raが成立しないときにはス
テップS108としてイントラマクロブロックモードで
符号化する方が効率がよいとし、成立したときにはステ
ップS107としてインターマクロブロックモードで符
号化する方が効率がよいとする。また、ステップS10
6において、ERRInter4V<ERRIntra
が成立しないときにはステップS108としてイントラ
マクロブロックモードで符号化する方が効率がよいと
し、成立したときにはステップS109としてインター
4Vマクロブロックモードで符号化する方が効率がよい
とする。
That is, if equation (8) is satisfied, it is considered that encoding as an intra macroblock is more efficient.
If not, it is assumed that coding in the macroblock mode selected by equation (3) is more efficient. ERR Intra <ERR (8) That is, in step S105 of FIG.
And it is more efficient better to encode the intra macroblock mode in step S108 when the Inter <ERR Int ra is not satisfied, when a condition is satisfied better be encoded in inter-macroblock mode in step S107 is to be more efficient. Step S10
6, ERR Inter4V <ERR Intra
If is not satisfied, it is assumed that the coding in the intra macroblock mode is more efficient as step S108, and that if it is satisfied, the coding is more efficient in the inter 4V macroblock mode as step S109.

【0023】なお、前述の動きベクトル合成部116及
び動きベクトル検出部117における動作原理に関して
は様々な方法が考えられるが、図5に示した画像情報変
換装置2のように、入力端子110に供給されたMPE
G2ビットストリームの1/2×1/2の画枠をもつM
PEG4ビットストリームを出力する場合には、例えば
図7に示すような流れで動きベクトルの合成及び検出を
行うことが考えられる。
Note that various methods can be considered for the operation principle of the motion vector synthesizing section 116 and the motion vector detecting section 117, but they are supplied to the input terminal 110 as in the image information converter 2 shown in FIG. MPE
M having 1/2 × 1/2 picture frame of G2 bit stream
When outputting a PEG4 bit stream, for example, it is conceivable to combine and detect motion vectors according to the flow shown in FIG.

【0024】すなわち、動きベクトル合成部116で
は、まずステップS111として、入力されたMPEG
2ビットストリームから動きベクトル情報を抽出し、次
に、ステップS112として、当該抽出されたMPEG
2画像圧縮情報に対する動きベクトル情報のスケーリン
グ及び時間補正を行うことで、出力となるMPEG4ビ
ットストリームに対するインター4V動きベクトル情報
を合成する。さらに、動きベクトル合成部116では、
ステップS113として、上記生成されたインター4V
動きベクトルの平均値若しくは代表値をインター動きベ
クトルとする。
That is, in the motion vector synthesizing section 116, first, in step S111, the input MPEG
The motion vector information is extracted from the 2-bit stream. Next, as step S112, the extracted MPEG
By performing scaling and time correction of the motion vector information on the two-image compression information, inter 4V motion vector information on the output MPEG4 bit stream is synthesized. Further, in the motion vector synthesis unit 116,
In step S113, the generated inter 4V
An average value or a representative value of the motion vectors is set as an inter motion vector.

【0025】次に、動きベクトル検出部117では、ス
テップS114として、動きベクトル合成部116で生
成されたインター動きベクトル及びインター4V動きベ
クトルについて、その周辺の数画素をサーチし、それら
インター動きベクトル及びインター4V動きベクトルの
高精度化を行う。このようにして高精度化された動きベ
クトルが前記図6のMPEG4画像情報符号化部115
に送られる。
Next, in step S114, the motion vector detecting unit 117 searches for several pixels around the inter motion vector and the inter 4V motion vector generated by the motion vector synthesizing unit 116, and searches for the inter motion vector and the inter motion vector. The accuracy of the inter 4V motion vector is improved. The motion vector whose accuracy has been improved in this way is the MPEG4 image information encoding unit 115 of FIG.
Sent to

【0026】[0026]

【発明が解決しようとする課題】しかしながら、図6に
示したマクロブロックモード判別法では、動き補償及び
絶対値誤差和(SAD)の算出を行うため、多くの演算
量を必要とする。
However, the macroblock mode discrimination method shown in FIG. 6 requires a large amount of calculation for performing motion compensation and calculating the sum of absolute value errors (SAD).

【0027】そこで、本発明は、このような実情に鑑み
てなされたものであり、マクロブロックモード判別を少
ない演算量で実現可能とする、画像情報変換装置及び画
像情報変換方法を提供することを目的とする。
Therefore, the present invention has been made in view of such circumstances, and provides an image information conversion apparatus and an image information conversion method that can realize macroblock mode discrimination with a small amount of calculation. Aim.

【0028】[0028]

【課題を解決するための手段】本発明は、少なくとも画
像内符号化画像と画像間予測符号化画像からなる第1の
画像符号化情報を第2の画像符号化情報へと変換する画
像情報変換装置において、第2の画像符号化情報を構成
する複数画像からなる各符号化単位に対応する動きベク
トル情報を生成する動きベクトル生成手段と、生成され
た動きベクトル情報を格納する動きベクトル格納手段
と、第1の画像符号化情報から抽出される動きベクトル
情報に基づいて生成された第1の画像間予測符号化モー
ドの符号化単位の動きベクトルと第2の画像間予測符号
化モードの符号化単位の動きベクトルとに基づいて、第
1の画像間予測符号化モードと第2の画像間予測符号化
モードの何れを使用するかを決定する符号化モード判定
を行うモード判定手段とを有することにより上述した課
題を解決する。
SUMMARY OF THE INVENTION The present invention provides an image information converter for converting at least first encoded image information comprising at least an intra-coded image and an inter-coded image into a second encoded image. In the apparatus, a motion vector generating means for generating motion vector information corresponding to each coding unit composed of a plurality of images constituting the second image coding information, and a motion vector storage means for storing the generated motion vector information , A motion vector of a coding unit of a first inter-picture prediction coding mode generated based on motion vector information extracted from the first picture coding information and a coding of a second inter-picture prediction coding mode A mode determining means for determining which of the first inter-picture prediction coding mode and the second inter-picture prediction coding mode to use based on the unit motion vector; To solve the above problems by having and.

【0029】また、本発明は、少なくとも画像内符号化
画像と画像間予測符号化画像からなる第1の画像符号化
情報を第2の画像符号化情報へと変換する画像情報変換
方法において、第2の画像符号化情報を構成する複数画
像からなる各符号化単位に対応する動きベクトル情報を
生成する動きベクトル生成工程と、生成された動きベク
トル情報を動きベクトル格納手段に格納する動きベクト
ル格納工程と、第1の画像符号化情報から抽出される動
きベクトル情報に基づいて生成された第1の画像間予測
符号化モードの符号化単位の動きベクトルと第2の画像
間予測符号化モードの符号化単位の動きベクトルとに基
づいて、第1の画像間予測符号化モードと第2の画像間
予測符号化モードの何れを使用するかを決定する符号化
モード判定を行うモード判定工程とを有することによ
り、上述した課題を解決する。
According to the present invention, there is provided an image information conversion method for converting first image encoded information comprising at least an intra-coded image and an inter-picture predicted encoded image into second image encoded information. A motion vector generating step of generating motion vector information corresponding to each coding unit including a plurality of images constituting the second image coding information; and a motion vector storing step of storing the generated motion vector information in a motion vector storage unit. And a motion vector of a coding unit of the first inter-picture prediction coding mode generated based on the motion vector information extracted from the first picture coding information and a code of the second inter-picture prediction coding mode Coding mode determination for determining which of the first inter-picture prediction coding mode and the second inter-picture prediction coding mode to use based on the motion vector of the coding unit. By having the over-de determination step, to solve the problems described above.

【0030】[0030]

【発明の実施の形態】本発明の実施の形態として示す画
像情報変換装置は、少なくとも画像内符号化画像(Iピ
クチャ)と画像間予測符号化画像(Bピクチャ)からな
るMPEG(Moving Picture Experts Group)によって
標準化されたMPEG2画像圧縮情報をMPEG4画像
圧縮情報へと変換する画像情報変換装置であって、MP
EG2画像圧縮情報から抽出される動きベクトル情報に
基づいて生成された第1の画像間予測符号化モードであ
るインター符号化モードの符号化単位の動きベクトルと
第2の画像間予測符号化モードであるインター4V符号
化モードの符号化単位の動きベクトルとに基づいて、イ
ンター符号化モードとインター4V符号化モードの何れ
を使用するかを決定する符号化モード判定を行うモード
判定手段とを有することによって、マクロブロックモー
ド判別をより少ない演算量で実現可能とするものであ
る。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An image information conversion apparatus shown as an embodiment of the present invention is a Moving Picture Experts Group (MPEG) comprising at least an intra-coded picture (I picture) and an inter-picture predictive coded picture (B picture). ) Is an image information conversion device for converting MPEG2 image compression information standardized by MPEG) into MPEG4 image compression information.
The motion vector of the coding unit of the inter-coding mode which is the first inter-picture predictive coding mode generated based on the motion vector information extracted from the EG2 picture compression information and the second inter-picture predictive coding mode A mode judging unit for judging whether to use the inter encoding mode or the inter 4 V encoding mode based on a motion vector of a coding unit of a certain inter 4 V encoding mode; Thus, the macro block mode determination can be realized with a smaller amount of calculation.

【0031】以下、図面を参照し、本発明の実施例につ
いて説明する。画像情報変換装置1は、図1に示すよう
に、主に、ピクチャタイプ判別部13と、圧縮情報解析
部14と、MPEG2画像情報復号化部(I/Pピクチ
ャ)15と、間引き部16と、ビデオメモリ17と、M
PEG4画像情報符号化部(I/P−VOP)18と、
動きベクトル合成部19と、動きベクトル検出部20
と、Intra/Inter判定部21と、Inter
/Inter4V判定部22と、情報バッファ23とを
有して構成されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. As shown in FIG. 1, the image information conversion device 1 mainly includes a picture type discriminating unit 13, a compression information analyzing unit 14, an MPEG2 image information decoding unit (I / P picture) 15, a thinning unit 16, , Video memory 17 and M
A PEG4 image information encoding unit (I / P-VOP) 18;
Motion vector synthesizing section 19 and motion vector detecting section 20
And the Intra / Inter determination unit 21 and the Inter
/ Inter4V determination unit 22 and an information buffer 23.

【0032】画像情報変換装置1において、入力端子1
1に供給された飛び越し走査のMPEG2画像圧縮情報
(以下、MPEG2ビットストリームと記す。)は、ピ
クチャタイプ判別部13に伝送される。
In the image information conversion device 1, the input terminal 1
The MPEG2 image compression information of the interlaced scanning (hereinafter, referred to as an MPEG2 bit stream) supplied to 1 is transmitted to the picture type determination unit 13.

【0033】ピクチャタイプ判別部13は、ピクチャタ
イプを判別する。すなわち、入力端子11からのMPE
G2ビットストリームに対して、I及びPピクチャに関
する情報は出力して圧縮情報解析部14へ送るが、Bピ
クチャに関する情報については破棄する。これによりフ
レームレートの変換が行われる。
The picture type discriminating section 13 discriminates a picture type. That is, the MPE from the input terminal 11
With respect to the G2 bit stream, information about I and P pictures is output and sent to the compressed information analysis unit 14, but information about B pictures is discarded. As a result, the frame rate is converted.

【0034】圧縮情報解析部14では、ピクチャタイプ
判別部13から送られてきた画像圧縮情報の構文解析を
行うことにより、当該MPEG2ビットストリームの符
号化に関連する情報を抽出し、その符号化に関連する情
報を情報バッファ23へ送り、また、当該MPEG2動
きベクトル情報を動きベクトル合成部19へ送り、画像
圧縮情報についてはMPEG2画像情報復号化部15へ
送る。なお、上記圧縮情報解析部14により抽出される
情報の詳細については後述する。
The compression information analysis unit 14 analyzes the syntax of the image compression information sent from the picture type discrimination unit 13 to extract information related to the encoding of the MPEG2 bit stream, and The related information is sent to the information buffer 23, the MPEG2 motion vector information is sent to the motion vector combining unit 19, and the image compression information is sent to the MPEG2 image information decoding unit 15. The details of the information extracted by the compression information analysis unit 14 will be described later.

【0035】MPEG2画像情報復号化部15は、図6
に示した装置のものと同等である。Bピクチャに関する
情報は前段のピクチャタイプ判別部13において既に破
棄されているため、当該MPEG2画像情報復号化部1
0の機能としては、I及びPピクチャに関する情報のみ
の復号化処理を行えるものであればよい。MPEG2画
像情報復号化部15の出力となる画素値は、間引き部1
6に入力される。
The MPEG2 image information decoding unit 15
Is equivalent to that of the device shown in FIG. Since the information about the B picture has already been discarded in the preceding picture type discriminating unit 13, the MPEG2 image information decoding unit 1
The function of 0 may be any function as long as it can decode only information relating to I and P pictures. The pixel value output from the MPEG2 image information decoding unit 15 is output from the thinning unit 1
6 is input.

【0036】間引き部16は、水平方向について1/2
の間引き処理を施し、垂直方向について第一フィール
ド、若しくは第二フィールドのどちらか一方のデータの
みを残し、もう一方を廃棄することにより、入力となる
画像情報の1/4の大きさをもつ順次走査画像を生成す
る。ここで例えば、入力端子11へ供給されたMPEG
2ビットストリームがNTSC(National Television
System Committee)の規格に準拠したもの、つまり72
0×480画素、30Hzの飛び越し走査画像であった
場合、上記間引き後の画枠は360×240画素という
ことになる。ただし、後続のMPEG2画像情報符号化
部18において符号化を行う際、マクロブロック単位の
処理を行うには、水平方向、垂直方向ともに、その画素
数が16の倍数である必要がある。したがって、当該間
引き部16は、上記間引きと同時に、上記画素数を16
の倍数にするための画素の補填若しくは廃棄を同時に行
う。すなわち、この例の場合の間引き部16は、例えば
上記360×240画素に対して、例えば水平方向の右
端若しくは左端の8ラインを廃棄することで、上記16
の倍数である352×240画素の画枠を構成する。当
該間引き部16によって生成された順次走査画像は、一
旦、ビデオメモリ17に蓄積された後、後段のMPEG
2画像情報符号化部18、又は後述するIntra/I
nter判定部21の要求に応じて読み出される。
The thinning section 16 is halved in the horizontal direction.
By performing thinning-out processing, leaving only one of the data of the first field or the second field in the vertical direction and discarding the other, a sequential image having a size of 1/4 of the input image information is obtained. Generate a scanned image. Here, for example, the MPEG supplied to the input terminal 11
2 bit stream is NTSC (National Television)
System Committee) standards, that is, 72
In the case of an interlaced scan image of 0 × 480 pixels and 30 Hz, the image frame after the thinning out is 360 × 240 pixels. However, when performing encoding in the subsequent MPEG2 image information encoding unit 18, in order to perform processing in units of macroblocks, the number of pixels in both the horizontal and vertical directions needs to be a multiple of 16 pixels. Therefore, the thinning unit 16 sets the number of pixels to 16 at the same time as the thinning.
Pixels are complemented or discarded at the same time to make a multiple of. That is, the thinning unit 16 in this example discards, for example, the eight lines at the right end or the left end in the horizontal direction with respect to the above 360 × 240 pixels, for example, thereby
352 × 240 pixels, which is a multiple of .times. The progressively scanned image generated by the thinning unit 16 is temporarily stored in a video memory 17 and then stored in an MPEG
The two-image information encoding unit 18 or Intra / I described later
The data is read out in response to a request from the internet determination unit 21.

【0037】また、動きベクトル合成部19では、MP
EG2ビットストリームから取り出されたMPEG2動
きベクトル情報を間引き後の画像情報に対する動きベク
トルにマッピングし、さらに次段の動きベクトル検出部
20では、動きベクトル合成部19において合成された
動きベクトル値と、ビデオメモリ17に記憶された画像
情報とに基づいて、高精度の動きベクトルを検出する。
この検出された動きベクトルは、MPEG2画像情報符
号化部18とIntra/Inter判定部21とに送
られる。
In the motion vector synthesizing section 19, the MP
The MPEG2 motion vector information extracted from the EG2 bit stream is mapped to a motion vector for the decimated image information, and the next-stage motion vector detecting unit 20 further calculates the motion vector value synthesized by the motion vector synthesizing unit 19 and the video Based on the image information stored in the memory 17, a highly accurate motion vector is detected.
The detected motion vector is sent to the MPEG2 image information encoding unit 18 and the Intra / Inter determination unit 21.

【0038】上記MPEG2画像情報符号化部18で
は、情報バッファ23に保持された前記MPEG2ビッ
トストリームの符号化に関連する情報と、上記動きベク
トル検出部20からの動きベクトル情報と、後述するI
ntra/Inter判定部21及びInter/In
ter4V判定部22での判定処理により得られたIn
ter/Inter4Vのモード情報とを用い、上記ビ
デオメモリ17から供給された順次走査画像の信号を符
号化してMPEG4ビットストリームを生成する。当該
MPEG4ビットストリームは、出力端子12から後段
へ出力される。
The MPEG2 image information encoding section 18 includes information relating to the encoding of the MPEG2 bit stream held in the information buffer 23, the motion vector information from the motion vector detection section 20, and I
ntra / Inter determination unit 21 and Inter / In
In obtained by the determination processing in the ter4V determination unit 22
Using the ter / Inter4V mode information, the progressive scan image signal supplied from the video memory 17 is encoded to generate an MPEG4 bit stream. The MPEG4 bit stream is output from the output terminal 12 to a subsequent stage.

【0039】情報バッファ23、Intra/Inte
r判定部21、Inter/Inter4V判定部22
における動作について、以下の図2乃至図3を用いて説
明する。まず、Iピクチャから変換されるP−VOP以
外の通常のP−VOPに対するモード判定の動作原理に
ついて、図2のフローチャート及び図3を参照しながら
説明する。
Information buffer 23, Intra / Inte
r determination unit 21, Inter / Inter4V determination unit 22
Will be described with reference to FIGS. 2 and 3 below. First, the operation principle of mode determination for a normal P-VOP other than the P-VOP converted from an I picture will be described with reference to the flowchart of FIG. 2 and FIG.

【0040】Intra/Inter判定部21は、情
報バッファ23に格納された入力となるMPEG2ビッ
トストリームから上記符号化に関連する情報を抽出し
(ステップS1)、抽出された符号化に関する情報に基
づいて、最初に、Interのモード判定を行う(ステ
ップS2)。
The Intra / Inter determination unit 21 extracts information related to the above-described encoding from the input MPEG2 bit stream stored in the information buffer 23 (step S1), and based on the extracted information related to the encoding. First, an Inter mode determination is performed (step S2).

【0041】ここで、上記飛び越し走査のMPEG2ビ
ットストリームの約1/2×1/2の画枠をもつ順次走
査のMPEG4ビットストリームを出力する場合におい
て、例えば図3に示すように、入力端子11に供給され
たMPEG2ビットストリームを構成する画像STR2
に含まれる4つのマクロブロックMB
MPEG2,i(i=1,2,3,4)が、MPEG4
ビットストリームを構成する画像STR4におけるマク
ロブロックMBMPEG4,1に対応している場合を例
にあげて考えることとする。
Here, when outputting a progressively scanned MPEG4 bit stream having an image frame of about 1/2 × 1/2 of the interlaced MPEG2 bit stream, for example, as shown in FIG. STR2 constituting the MPEG2 bit stream supplied to
Macro blocks MB included in
MPEG2, i (i = 1,2,3,4) is MPEG4
A case will be described as an example in which a macro block MB MPEG4,1 in an image STR4 forming a bit stream is supported.

【0042】例えば、図3に示すように入力となるMP
EG2ビットストリームにおける画像STR2の4つの
マクロブロックMBMPEG2,i(i=1,2,3,
4)が、出力となるMPEG4ビットストリームにおけ
るマクロブロックMBMPE G4,iに対応するとき、
MBMPEG2,i(i=1,2,3,4)のなかでイ
ントラマクロブロックとして符号化されているマクロブ
ロックの個数をNIn tra、インターマクロブロック
として符号化されているマクロブロックの個数をN
Interとし、以下に示す式(9)が成立する場合、
ステップS2において、このマクロブロックをイントラ
マクロブロックとして判定して符号化し、ステップS6
において、上記出力となるMPEG4ビットストリーム
を構成する画像STR4のマクロブロックをイントラマ
クロブロックに決定する。 NIntra≧NInter (9) また、式(9)が成立しないとき、すなわち、イントラ
マクロブロックとして符号化されているマクロブロック
の個数の方がインターマクロブロックとして符号化され
ているマクロブロックの個数よりも少ないとき、このマ
クロブロックをインターマクロブロック、若しくはイン
ター4Vマクロブロックとして符号化すると決定しステ
ップS3へ進む。
For example, as shown in FIG.
Four macroblocks MB MPEG2, i (i = 1,2,3,4) of the image STR2 in the EG2 bit stream
4) corresponds to the macro block MB MPE G4, i in the output MPEG4 bit stream,
MB MPEG2, i (i = 1,2,3,4 ) encoded the number of macro blocks are N an In tra as intra macroblocks among the number of macro blocks that are coded as inter macroblock N
If the following equation (9) is satisfied,
In step S2, this macro block is determined and encoded as an intra macro block, and step S6
In, the macro block of the image STR4 constituting the output MPEG4 bit stream is determined as an intra macro block. N Intra ≧ N Inter (9) When Expression (9) is not satisfied, that is, the number of macro blocks coded as intra macro blocks is larger than the number of macro blocks coded as inter macro blocks. If it is less than the above, it is determined that this macroblock is to be encoded as an inter macroblock or an inter 4V macroblock, and the process proceeds to step S3.

【0043】ここでは、前述の式(8)のように、残差
を用いたモード判定を行ってもよい。或いは、マクロブ
ロックMBMPEG2,iにそれぞれ対する量子化スケ
ールをQMPEG2,i(i=1,2,3,4)とし、
それぞれ割り当てられた符号量(ビット数)をB
MPEG2,i(i=1,2,3,4)としたとき、そ
れらマクロブロックMBMPEG2,iに対するコンプ
レキシティXMPEG2,i(i=1,2,3,4)
を、式(10)により計算し、このコンプレキシティを
用いて符号化効率がよいと思われるモードを選択するよ
うにしてもよい。 XMPEG2,i=QMPEG2,i・BMPEG2,i (10)
Here, the mode determination using the residual may be performed as in the above equation (8). Alternatively, the quantization scale for each of the macroblocks MB MPEG2, i is Q MPEG2, i (i = 1,2,3,4),
The code amount (bit number) assigned to each is B
When MPEG2, i (i = 1,2,3,4), the complexity X MPEG2, i (i = 1,2,3,4) for the macroblock MB MPEG2, i
May be calculated by Expression (10), and a mode that is considered to have good coding efficiency may be selected using this complexity. X MPEG2, i = Q MPEG2, iB MPEG2, i (10)

【0044】次に、上記Intra/Inter判定の
ステップS2において、インターマクロブロック若しく
はインター4Vマクロブロックであると判定されたマク
ロブロックに関しては、動きベクトル検出部15に格納
された当該VOPに対するインター動きベクトル及びイ
ンター4V動きベクトルを用いてインター/インター4
Vを判定する。すなわち、ステップS3において、モー
ド判定部16は、当該マクロブロックのインター動きベ
クトルのx方向成分、y方向成分をそれぞれmv16×
16_x,mv16×16_yとし、インター4V動き
ベクトルのx方向、y方向成分をそれぞれmv×
8_x,i,mv×8_y.i(i=1,2,3,
4)として、動きベクトル情報の分散値Distを下記
式(12)若しくは式(13)により算出する。
Next, in step S2 of the above Intra / Inter determination, regarding the macroblock determined to be an inter macroblock or an inter 4V macroblock, the inter motion vector corresponding to the VOP stored in the motion vector detector 15 is determined. And the inter / inter 4 using the inter 4 V motion vector
Determine V. That is, in step S3, the mode determination unit 16 converts the x-direction component and the y-direction component of the inter motion vector of the macroblock into mv 16 ×
16_x , mv 16 × 16_y, and the x-direction and y-direction components of the inter 4V motion vector are respectively mv 8 ×
8_x, i , mv 8 × 8_y. i (i = 1, 2, 3,
As 4), the variance Dist of the motion vector information is calculated by the following equation (12) or (13).

【0045】[0045]

【数1】 (Equation 1)

【0046】[0046]

【数2】 (Equation 2)

【0047】続いて、ステップS4において、上記式
(12)若しくは式(13)で求められた分散値(Dist
ribution:Dist)及び求められた閾値Thに対して、以
下の式(14)が成立するとき、ステップS5におい
て、このマクロブロックをインターマクロブロックであ
るとし、成立しないとき、ステップS7においてインタ
ー4Vマクロブロックであると決定する。 Dist≦Th (14) したがって、画像情報変換装置1は、上述したように、
式(1)、式(2)及び式(6)で求めたような絶対値
誤差和(SAD)を計算する必要がないため、画質劣化
を最小限に抑えながら演算量を大幅に削減することが可
能である。
Subsequently, in step S4, the variance (Dist) obtained by the above equation (12) or (13) is obtained.
ribution: Dist) and the obtained threshold Th, when the following equation (14) is satisfied, this macro block is determined to be an inter macro block in step S5, and when not satisfied, the inter 4V macro is determined in step S7. Determine that it is a block. Dist ≦ Th (14) Therefore, as described above, the image information conversion device 1
Since it is not necessary to calculate the absolute value error sum (SAD) as calculated by the equations (1), (2) and (6), the amount of calculation can be greatly reduced while minimizing the image quality deterioration. Is possible.

【0048】続いて、図4に本発明の第2の実施の形態
である画像情報変換装置2を示す。画像情報変換装置2
は、基本構造を図1に示した画像情報変換装置1と同様
とするが、画像情報変換装置1では、動きベクトル検出
部20において高精度化されたインター動きベクトル及
びインター4V動きベクトルを用いてInter/In
ter4Vの判定を行うのに対し、図4に示される画像
情報変換装置2では、動きベクトル合成部31において
生成されたインター動きベクトル及びインター4V動き
ベクトルを用いて、Inter/Inter4Vの判定
を行う点に特徴を有している。図2に示す画像情報変換
装置2では、図1に示した画像情報変換装置1と同様の
構成については、同一符号を付してある。
FIG. 4 shows an image information conversion apparatus 2 according to a second embodiment of the present invention. Image information converter 2
Has a basic structure similar to that of the image information conversion device 1 shown in FIG. 1, but the image information conversion device 1 uses an inter motion vector and an inter 4V motion vector that have been made highly accurate by the motion vector detection unit 20. Inter / In
In contrast to the determination of ter4V, the image information conversion device 2 illustrated in FIG. 4 performs the determination of Inter / Inter4V using the inter motion vector and the inter 4V motion vector generated in the motion vector synthesis unit 31. It has features. In the image information converter 2 shown in FIG. 2, the same components as those of the image information converter 1 shown in FIG.

【0049】図4に示した画像情報変換装置2において
は、動きベクトル検出部32において生成されたインタ
ー動きベクトル及びインター4V動きベクトルの高精度
化を行うのに先立ち、Inter/Inter4V判定
部34においてInter/Inter4Vの判定を行
うことが可能である。
In the image information conversion apparatus 2 shown in FIG. 4, prior to performing the high precision of the inter motion vector and the inter 4V motion vector generated by the motion vector detecting section 32, the Inter / Inter 4V determining section 34 It is possible to determine Inter / Inter4V.

【0050】このため、例えば、Inter/Inte
r4V判定部34において、マクロブロックがInte
rと判定された場合には、動きベクトル検出部32にお
いてインター動きベクトルに対してのみ高精度化を行
い、インター4V動きベクトルを高精度化する必要はな
い。これにより動きベクトル検出に伴う演算量の削減を
実現することが可能となる。
For this reason, for example, Inter / Inte
In the r4V determination unit 34, the macro block is
If it is determined that r, the motion vector detection unit 32 performs the accuracy improvement only on the inter motion vector, and there is no need to increase the accuracy of the inter 4V motion vector. This makes it possible to reduce the amount of computation involved in detecting a motion vector.

【0051】なお、以上の説明では、入力としてMPE
G2ビットストリームを例にあげ、出力としてMPEG
4ビットストリームを対象とした例をあげたが、入力、
出力ともこれに限らず、例えばMPEG1やH.263
などの画像圧縮情報(ビットストリーム)でもよい。
In the above description, MPE is used as an input.
Take G2 bit stream as an example and output MPEG
An example of a 4-bit stream was given.
The output is not limited to this, and may be, for example, MPEG1 or H.264. 263
Image compression information (bit stream).

【0052】[0052]

【発明の効果】以上説明したように、本発明に係る画像
情報変換装置は、第2の画像符号化情報を構成する複数
画像からなる各符号化単位に対応する動きベクトル情報
を生成する動きベクトル生成手段と、生成された動きベ
クトル情報を格納する動きベクトル格納手段と、第1の
画像符号化情報から抽出される動きベクトル情報に基づ
いて生成された第1の画像間予測符号化モードの符号化
単位の動きベクトルと第2の画像間予測符号化モードの
符号化単位の動きベクトルとに基づいて、第1の画像間
予測符号化モードと第2の画像間予測符号化モードの何
れを使用するかを決定する符号化モード判定を行うモー
ド判定手段とを有する。
As described above, the image information conversion apparatus according to the present invention provides a motion vector for generating motion vector information corresponding to each coding unit composed of a plurality of images constituting the second image coding information. Generating means, a motion vector storing means for storing the generated motion vector information, and a code of a first inter-picture predictive coding mode generated based on the motion vector information extracted from the first picture coding information Either the first inter-picture prediction coding mode or the second inter-picture prediction coding mode is used based on the motion vector of the coding unit and the motion vector of the coding unit of the second inter-picture prediction coding mode. And mode determination means for determining an encoding mode for determining whether to perform coding.

【0053】したがって、本発明に係る画像情報変換装
置によれば、画質劣化を最小限に抑えながら動きベクト
ル検出に伴う演算量の大幅な削減を実現することが可能
となる。
Therefore, according to the image information conversion apparatus according to the present invention, it is possible to realize a great reduction in the amount of calculation involved in detecting a motion vector while minimizing image quality deterioration.

【0054】また、本発明に係る画像情報変換方法は、
第2の画像符号化情報を構成する複数画像からなる各符
号化単位に対応する動きベクトル情報を生成する動きベ
クトル生成工程と、生成された動きベクトル情報を動き
ベクトル格納手段に格納する動きベクトル格納工程と、
第1の画像符号化情報から抽出される動きベクトル情報
に基づいて生成された第1の画像間予測符号化モードの
符号化単位の動きベクトルと第2の画像間予測符号化モ
ードの符号化単位の動きベクトルとに基づいて、第1の
画像間予測符号化モードと第2の画像間予測符号化モー
ドの何れを使用するかを決定する符号化モード判定を行
うモード判定工程とを有する。
Also, the image information conversion method according to the present invention
A motion vector generating step of generating motion vector information corresponding to each coding unit composed of a plurality of images constituting the second image coding information; and a motion vector storage for storing the generated motion vector information in a motion vector storage unit. Process and
The motion vector of the coding unit of the first inter-picture prediction coding mode generated based on the motion vector information extracted from the first picture coding information and the coding unit of the second inter-picture prediction coding mode A mode determining step of determining which of the first inter-picture predictive coding mode and the second inter-picture predictive coding mode to use based on the motion vector.

【0055】したがって、本発明に係る画像情報変換方
法によれば、画質劣化を最小限に抑えながら動きベクト
ル検出に伴う演算量の大幅な削減を実現することが可能
となる。
Therefore, according to the image information conversion method according to the present invention, it is possible to realize a significant reduction in the amount of calculation involved in detecting a motion vector while minimizing image quality deterioration.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の形態として示す画像情報変換装
置の構成を説明する構造図である。
FIG. 1 is a structural diagram illustrating a configuration of an image information conversion device shown as an embodiment of the present invention.

【図2】本発明の実施の形態の一構成例として示す画像
情報変換装置の情報バッファ、Intra/Inter
判定部、Inter/Inter4V判定部における動
作を示すフローチャートである。
FIG. 2 shows an information buffer of an image information conversion apparatus, Intra / Inter shown as one configuration example of an embodiment of the present invention.
It is a flowchart which shows operation | movement in a determination part and an Inter / Inter4V determination part.

【図3】MPEG2ビットストリームを構成する画像S
TR2に含まれる4つのマクロブロックMB
MPEG2,iとMPEG4ビットストリームを構成す
る画像STR4におけるマクロブロックMB
MPEG4,1との対応を説明する説明図である。
FIG. 3 shows an image S constituting an MPEG2 bit stream.
Four macroblocks MB included in TR2
Macroblock MB in image STR4 forming MPEG4 bit stream with MPEG2, i
FIG. 4 is an explanatory diagram illustrating correspondence with MPEG4 and MPEG1 .

【図4】本発明の第2の実施の形態として示す画像情報
変換装置の構成を説明する構造図である。
FIG. 4 is a structural diagram illustrating a configuration of an image information conversion device shown as a second embodiment of the present invention.

【図5】従来の画像情報変換装置の構成を説明する構造
図である。
FIG. 5 is a structural diagram illustrating a configuration of a conventional image information conversion device.

【図6】従来の画像情報変換装置におけるMPEG2画
像情報符号化部でのモード判定の動作を説明するフロー
チャートである。
FIG. 6 is a flowchart illustrating an operation of mode determination in an MPEG2 image information encoding unit in a conventional image information conversion device.

【図7】従来の画像情報変換装置における動きベクトル
合成部及び動きベクトル検出部における動作を説明する
フローチャートである。
FIG. 7 is a flowchart illustrating operations of a motion vector synthesis unit and a motion vector detection unit in a conventional image information conversion device.

【符号の説明】[Explanation of symbols]

1,2 画像情報変換装置、11 入力端子、12 出
力端子、13 ピクチャタイプ判別部、14 圧縮情報
解析部、15 MPEG2画像情報復号化部、16 間
引き部、17 ビデオメモリ、18 MPEG4画像情
報符号化部、19,31 動きベクトル合成部、20,
32 動きベクトル検出部、21,33Intra/I
nter判定部、22,34 Inter/Inter
4V判定部、23 情報バッファ
1, 2 image information converter, 11 input terminal, 12 output terminal, 13 picture type discriminating unit, 14 compression information analyzing unit, 15 MPEG2 image information decoding unit, 16 decimation unit, 17 video memory, 18 MPEG4 image information encoding Section, 19, 31 motion vector synthesis section, 20,
32 motion vector detector, 21, 33 Intra / I
inter, 22/34 Inter / Inter
4V judgment unit, 23 information buffer

───────────────────────────────────────────────────── フロントページの続き (72)発明者 鈴木 輝彦 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 矢ケ崎 陽一 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C059 KK41 LB05 MA00 MA05 NN01 NN21 NN28 PP05 PP06 PP07 SS02 SS13 TA17 TA21 TB04 TC03 TC12 TD04 TD12 UA02 UA38 5J064 AA02 BA01 BB03 BC01 BC14 BD02 BD03  ──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Teruhiko Suzuki 6-7-35 Kita-Shinagawa, Shinagawa-ku, Tokyo Inside Sony Corporation (72) Inventor Yoichi Yagasaki 6-35, Kita-Shinagawa, Shinagawa-ku, Tokyo Sony Corporation F term (reference) 5C059 KK41 LB05 MA00 MA05 NN01 NN21 NN28 PP05 PP06 PP07 SS02 SS13 TA17 TA21 TB04 TC03 TC12 TD04 TD12 UA02 UA38 5J064 AA02 BA01 BB03 BC01 BC14 BD02 BD03

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】 少なくとも画像内符号化画像と画像間予
測符号化画像からなる第1の画像符号化情報を第2の画
像符号化情報へと変換する画像情報変換装置において、 上記第2の画像符号化情報を構成する複数画像からなる
各符号化単位に対応する動きベクトル情報を生成する動
きベクトル生成手段と、 上記生成された動きベクトル情報を格納する動きベクト
ル格納手段と、 上記第1の画像符号化情報から抽出される動きベクトル
情報に基づいて生成された第1の画像間予測符号化モー
ドの符号化単位の動きベクトルと第2の画像間予測符号
化モードの符号化単位の動きベクトルとに基づいて、上
記第1の画像間予測符号化モードと上記第2の画像間予
測符号化モードの何れを使用するかを決定する符号化モ
ード判定を行うモード判定手段とを有することを特徴と
する画像情報変換装置。
1. An image information conversion device for converting at least first image encoding information including at least an intra-image encoded image and an inter-image predictive encoded image into second image encoded information, wherein the second image Motion vector generating means for generating motion vector information corresponding to each coding unit consisting of a plurality of images constituting the coding information; motion vector storing means for storing the generated motion vector information; and the first image A motion vector of a coding unit of the first inter-picture prediction coding mode and a motion vector of a coding unit of the second inter-picture prediction coding mode generated based on the motion vector information extracted from the coding information; Mode determining means for performing an encoding mode determination for determining which of the first inter-picture prediction encoding mode and the second inter-picture prediction encoding mode to use, based on An image information conversion device comprising:
【請求項2】 上記モード判定手段は、上記第1の画像
間予測符号化モードと上記第2の画像間予測符号化モー
ドの分散値を求め、上記分散値と予め設定した閾値との
比較に基づいて、当該第2の画像符号化情報を構成する
上記符号化単位についての符号化モードを判定すること
を特徴とする請求項1記載の画像情報変換装置。
2. The method according to claim 1, wherein the mode determining unit obtains a variance value between the first inter-picture prediction coding mode and the second inter-picture prediction coding mode, and compares the variance value with a preset threshold value. 2. The image information conversion apparatus according to claim 1, wherein a coding mode for the coding unit forming the second image coding information is determined based on the coding mode.
【請求項3】 上記モード判定手段は、上記分散値が上
記閾値以下である条件が成り立つならば、上記第2の画
像符号化情報を構成する上記符号化単位の符号化モード
を第1の画像間予測符号化モードと判定し、上記分散値
が上記閾値よりも大きい条件が成り立つならば、上記第
2の画像符号化情報を構成する上記符号化単位の符号化
モードを第2の画像間予測符号化モードと判定すること
を特徴とする請求項2記載の画像情報変換装置。
3. The mode determination means, if a condition that the variance value is equal to or less than the threshold value is satisfied, sets the coding mode of the coding unit constituting the second image coding information to the first image. If the condition is satisfied that the variance value is larger than the threshold value, the coding mode of the coding unit constituting the second image coding information is set to the second inter-picture prediction mode. 3. The image information conversion device according to claim 2, wherein the encoding mode is determined.
【請求項4】 上記モード判定手段に先立ち、上記第1
の画像符号化情報から抽出される動きベクトル情報に基
づいて、上記画像第1の画像間予測符号化モード及び上
記第2の画像間予測符号化モードと画像内符号化モード
とを判定する判定手段を有することを特徴とする請求項
1記載の画像情報変換装置。
4. The method according to claim 1, further comprising:
Determining means for determining the first inter-picture prediction coding mode, the second inter-picture prediction coding mode, and the intra-picture coding mode based on motion vector information extracted from the picture coding information of The image information conversion device according to claim 1, further comprising:
【請求項5】 少なくとも画像内符号化画像と画像間予
測符号化画像からなる第1の画像符号化情報を第2の画
像符号化情報へと変換する画像情報変換方法において、 上記第2の画像符号化情報を構成する複数画像からなる
各符号化単位に対応する動きベクトル情報を生成する動
きベクトル生成工程と、 上記生成された動きベクトル情報を動きベクトル格納手
段に格納する動きベクトル格納工程と、 上記第1の画像符号化情報から抽出される動きベクトル
情報に基づいて生成された第1の画像間予測符号化モー
ドの符号化単位の動きベクトルと第2の画像間予測符号
化モードの符号化単位の動きベクトルとに基づいて、上
記第1の画像間予測符号化モードと上記第2の画像間予
測符号化モードの何れを使用するかを決定する符号化モ
ード判定を行うモード判定工程とを有することを特徴と
する画像情報変換方法。
5. An image information conversion method for converting first image coding information comprising at least an intra-picture coding image and an inter-picture prediction coding image into second image coding information, wherein the second image A motion vector generation step of generating motion vector information corresponding to each coding unit composed of a plurality of images constituting the coding information; anda motion vector storage step of storing the generated motion vector information in a motion vector storage unit. The motion vector of the coding unit of the first inter-picture prediction coding mode generated based on the motion vector information extracted from the first picture coding information and the coding of the second inter-picture prediction coding mode Coding mode determination for determining which of the first inter-picture predictive coding mode and the second inter-picture predictive coding mode to use based on a unit motion vector And a mode determining step of performing image processing.
【請求項6】 上記モード判定工程では、上記第1の画
像間予測符号化モードと上記第2の画像間予測符号化モ
ードの分散値を求め、上記分散値と予め設定した閾値と
の比較に基づいて、当該第2の画像符号化情報を構成す
る上記符号化単位についての符号化モードを判定するこ
とを特徴とする請求項5記載の画像情報変換方法。
6. In the mode determination step, a variance value of the first inter-picture prediction coding mode and the second inter-picture prediction coding mode is obtained, and the variance value is compared with a preset threshold value. 6. The image information conversion method according to claim 5, wherein a coding mode for the coding unit constituting the second image coding information is determined based on the coding mode.
【請求項7】 上記モード判定工程では、上記分散値が
上記閾値以下である条件が成り立つならば、上記第2の
画像符号化情報を構成する上記符号化単位の符号化モー
ドを第1の画像間予測符号化モードと判定し、上記分散
値が上記閾値よりも大きい条件が成り立つならば、上記
第2の画像符号化情報を構成する上記符号化単位の符号
化モードを第2の画像間予測符号化モードと判定するこ
とを特徴とする請求項6記載の画像情報変換方法。
7. In the mode determining step, if a condition that the variance value is equal to or less than the threshold value is satisfied, the coding mode of the coding unit constituting the second image coding information is changed to the first image. If the condition is satisfied that the variance value is larger than the threshold value, the coding mode of the coding unit constituting the second image coding information is set to the second inter-picture prediction mode. 7. The image information conversion method according to claim 6, wherein the encoding mode is determined.
【請求項8】 上記モード判定工程に先立ち、上記第1
の画像符号化情報から抽出される動きベクトル情報に基
づいて、上記画像第1の画像間予測符号化モード及び上
記第2の画像間予測符号化モードと画像内符号化モード
とを判定する判定工程を有することを特徴とする請求項
5記載の画像情報変換方法。
8. The method according to claim 1, further comprising:
Determining the image first inter-picture prediction coding mode, the second inter-picture prediction coding mode, and the intra-picture coding mode based on motion vector information extracted from the picture coding information of 6. The image information conversion method according to claim 5, comprising:
JP2001039099A 2001-02-15 2001-02-15 Image information conversion apparatus and image information conversion method Expired - Fee Related JP4507418B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001039099A JP4507418B2 (en) 2001-02-15 2001-02-15 Image information conversion apparatus and image information conversion method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001039099A JP4507418B2 (en) 2001-02-15 2001-02-15 Image information conversion apparatus and image information conversion method

Publications (2)

Publication Number Publication Date
JP2002247586A true JP2002247586A (en) 2002-08-30
JP4507418B2 JP4507418B2 (en) 2010-07-21

Family

ID=18901962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001039099A Expired - Fee Related JP4507418B2 (en) 2001-02-15 2001-02-15 Image information conversion apparatus and image information conversion method

Country Status (1)

Country Link
JP (1) JP4507418B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10136375A (en) * 1996-10-30 1998-05-22 Hitachi Ltd Motion compensation method for moving image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10136375A (en) * 1996-10-30 1998-05-22 Hitachi Ltd Motion compensation method for moving image

Also Published As

Publication number Publication date
JP4507418B2 (en) 2010-07-21

Similar Documents

Publication Publication Date Title
EP1618744B1 (en) Video transcoding
US9197903B2 (en) Method and system for determining a macroblock partition for data transcoding
JP4193406B2 (en) Video data conversion apparatus and video data conversion method
US6816617B2 (en) Motion vector searcher and motion vector search method as well as moving picture coding apparatus
JP2002152727A (en) Image information converter and image information conversion method
JP2005260912A (en) Video image communication device and method
JP4470431B2 (en) Data processing apparatus and method
JP2002152759A (en) Image information converter and image information conversion method
JP5560009B2 (en) Video encoding device
JP4622077B2 (en) Image processing apparatus and image processing method
JP2002152752A (en) Image information converter and method
JPH10336672A (en) Encoding system converter and motion vector detection method therefor
JP2002125227A (en) Image information converter and image information converting method
JP4507418B2 (en) Image information conversion apparatus and image information conversion method
EP1162848A2 (en) Image encoding device
JP4505992B2 (en) Image information conversion apparatus and method
JP4608801B2 (en) Image information conversion apparatus and method
JP4517465B2 (en) Image information converting apparatus and method, and encoding apparatus and method
US20130170565A1 (en) Motion Estimation Complexity Reduction
JP4779207B2 (en) Motion vector conversion apparatus and motion vector conversion method
US7012959B2 (en) Picture information conversion method and apparatus
JP6735370B2 (en) Decryption method
JP4301495B2 (en) Video compression encoding device
JP6647432B2 (en) Decryption method
JP2002152728A (en) Image information conversion apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090929

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100413

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100426

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees