JP2001251628A - Coder for dissolve picture - Google Patents

Coder for dissolve picture

Info

Publication number
JP2001251628A
JP2001251628A JP2000060538A JP2000060538A JP2001251628A JP 2001251628 A JP2001251628 A JP 2001251628A JP 2000060538 A JP2000060538 A JP 2000060538A JP 2000060538 A JP2000060538 A JP 2000060538A JP 2001251628 A JP2001251628 A JP 2001251628A
Authority
JP
Japan
Prior art keywords
image
motion compensation
compensation information
input
dissolve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000060538A
Other languages
Japanese (ja)
Other versions
JP3830013B2 (en
Inventor
Akio Yoneyama
暁夫 米山
Yasuyuki Nakajima
康之 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2000060538A priority Critical patent/JP3830013B2/en
Publication of JP2001251628A publication Critical patent/JP2001251628A/en
Application granted granted Critical
Publication of JP3830013B2 publication Critical patent/JP3830013B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a coder that conducts no motion retrieval processing or conducts moving picture compression coding processing at a high-speed for a motion retrieval processing with a small arithmetic amount in the case of receiving a compression coded moving picture and generating a compression coded moving picture whose dissolve is realized for a transition period. SOLUTION: Motion compensation information decided by two input pictures is used for motion compensation information for re-coding of a synthesis picture for a dissolve period. Motion compensation information used for a received picture with a high input ratio and motion compensation information for a received picture with a value highly reflecting a feature quantity of the received picture in addition to the input ratio are used for determination of the motion compensation information. Furthermore, a coding system identical to that for a picture to reference motion compensation information is adopted for each synthesized picture within the dissolve period and timing to switch the picture to reference the motion compensation information is shifted depending on number of adjacent B frames to suppress deterioration in the coding efficiency and to reduce the entire arithmetic quantity.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明はディゾルブ画像の符
号化装置に関し、特にフレーム間動き補償予測符号化を
用いたディゾルブ画像の符号化装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a dissolve picture coding apparatus, and more particularly to a dissolve picture coding apparatus using inter-frame motion compensation predictive coding.

【0002】[0002]

【従来の技術】動画像のシーンチェンジ時に挿入する特
殊効果の一つとして、シーンチェンジに時間的遷移区間
を設けて、図1に示されているように、その遷移区間内
で徐々にシーンチェンジ前の画像(動画像Aとする)か
らシーンチェンジ後の画像(動画像Bとする)へと変化
させる“ディゾルブ”がある。ディゾルブでは、遷移区
間内の映像、2つ入力画像の合成画像となる。
2. Description of the Related Art As one of special effects inserted at the time of a scene change of a moving image, a time transition section is provided in the scene change, and as shown in FIG. There is a “dissolve” that changes from a previous image (moving image A) to an image after a scene change (moving image B). In the dissolve, the image in the transition section is a composite image of two input images.

【0003】ディジタル動画像は、連続的なディジタル
静止画像の連続で表現される。また、ディジタル静止画
像は空間的に等間隔に配置された画素の集合により表現
される。ディジタル動画像において“ディゾルブ”を用
いた場合には、合成画像の各画素値は下記の式(1) で表
される(図2参照)。
[0003] A digital moving image is represented by a sequence of continuous digital still images. In addition, a digital still image is represented by a set of pixels arranged at equal intervals in space. When “dissolve” is used in a digital moving image, each pixel value of the composite image is represented by the following equation (1) (see FIG. 2).

【0004】 Dt (y,x)={(tout −t)/(tout −tin)}・At (y,x)+ {(t−tin)/(tout −tin)}・Bt (y,x) …(1)Dt (y, x) = {(tout−t) / (tout−tin)} · At (y, x) + {(t−tin) / (tout−tin)} · Bt (y, x …… (1)

【0005】ここに、Dt (y,x)は時刻tの合成画
像内の座標(y,x)の画素値、At (y,x)は時刻
tの切替わり前の画像内の座標(y,x)の画素値、B
t(y,x)は時刻tの切替わり後の画像内の座標
(y,x)の画素値、tinは遷移区間開始時刻、tout
は遷移区間終了時刻である。
Here, Dt (y, x) is the pixel value of the coordinates (y, x) in the composite image at the time t, and At (y, x) is the coordinates (y, y) in the image before the switching of the time t. , X), B
t (y, x) is the pixel value of the coordinates (y, x) in the image after the switching of the time t, tin is the transition section start time, and tout
Is the transition section end time.

【0006】しかし、動画像情報は、その情報量の多さ
から画像情報の圧縮符号化が盛んに利用されている。特
に、圧縮効率を高めるためには時間的に近隣する画像の
情報からの動き補償予測情報を利用するフレーム間予測
符号化が利用される。MPEGビデオ符号化などがこの
方式を利用している。
[0006] However, for moving image information, compression coding of the image information is actively used due to the large amount of information. In particular, in order to increase the compression efficiency, inter-frame prediction coding using motion compensation prediction information from information of temporally neighboring images is used. MPEG video coding and the like use this method.

【0007】このようなフレーム間予測符号化を用いた
圧縮符号化を施された動画像から、遷移区間にディゾル
ブ効果を用いた合成画像を作成するためには、例えば図
17に示されているような動作をさせる必要がある。は
じめに対象となる符号化動画像A61を第1の動画像復
号部63において復号再生し、また符号化動画像B62
を第2の動画像復号部64において復号再生する。該復
号再生された画像情報A,Bは画像合成部65へと送ら
れる。画像合成部65においてディゾルブ区間の合成画
像作成処理が行われ、作成された合成画像Dは動画像再
符号化部66へ送られる。動画像再符号化部66におい
ては、入力された合成画像Dからフレーム間予測を利用
した動画像の再符号化が行われ、符号化動画像E67が
出力される。
[0007] In order to create a composite image using a dissolve effect in a transition section from a moving image that has been subjected to compression encoding using such inter-frame prediction encoding, for example, it is shown in FIG. It is necessary to make such operation. First, a coded moving image A61 as a target is decoded and reproduced by a first moving image decoding unit 63, and a coded moving image B62 is decoded.
Is decoded and reproduced in the second video decoding unit 64. The decoded and reproduced image information A and B are sent to the image synthesizing unit 65. In the image synthesizing section 65, a synthetic image creating process for the dissolve section is performed, and the created synthetic image D is sent to the moving image re-encoding section 66. The moving image re-encoding unit 66 re-encodes the moving image from the input synthesized image D using inter-frame prediction, and outputs an encoded moving image E67.

【0008】図18は、図17内の動画像再符号化部6
6の詳細を説明したブロック図である。入力された合成
画像Dから、動き探索部71により、画像蓄積部72に
蓄積されている既に処理された画像との間で動き探索処
理を行い、合成画像の再符号化時に利用される動き補償
情報aを決定する。次に、得られた動き補償情報aと画
像蓄積部72に蓄積されている画像bを用いて、動き補
償部73において動き補償画像cの作成を行う。
FIG. 18 shows a moving picture re-encoding unit 6 shown in FIG.
FIG. 6 is a block diagram illustrating the details of a sixth example. From the input composite image D, the motion search unit 71 performs a motion search process with the already processed image stored in the image storage unit 72, and performs motion compensation used when re-encoding the composite image. The information a is determined. Next, using the obtained motion compensation information a and the image b stored in the image storage unit 72, a motion compensation image c is created in the motion compensation unit 73.

【0009】フレーム内/フレーム間符号化決定部74
では、該動き補償画像cおよび入力合成画像Dの特徴か
ら、フレーム内符号化を行うか、フレーム間符号化を行
うかを決定する。該決定結果により、切替えスイッチS
を操作し、フレーム内符号化の場合には入力合成画像D
そのものを、フレーム間符号化の場合には、入力合成画
像Dから動き補償画像cを減算した画像を動き補償予測
誤差情報dとして出力する。該動き補償予測誤差情報d
は、変換部75において離散コサイン変換等を用いて変
換され変換領域情報eとなり、該変換領域情報eは符号
化部76において符号化され、符号化動画像Eとして出
力される。
Intra-frame / inter-frame coding determination section 74
Then, whether to perform intra-frame encoding or inter-frame encoding is determined based on the features of the motion compensation image c and the input composite image D. According to the determination result, the changeover switch S
, And in the case of intra-frame encoding, the input synthesized image D
In the case of inter-frame encoding, an image obtained by subtracting the motion compensation image c from the input composite image D is output as motion compensation prediction error information d. The motion compensation prediction error information d
Is converted using a discrete cosine transform or the like in the conversion unit 75 to become conversion region information e. The conversion region information e is coded in the coding unit 76 and output as a coded moving image E.

【0010】一方、変換部75から出力された変換領域
情報eは、逆変換部77で元の動き補償予測誤差量に戻
され、動き補償画像と加算されることにより復号再生画
像fとなり画像蓄積部72に蓄積され、以降の画像符号
化の際に参照画像として利用される。
On the other hand, the conversion area information e output from the conversion unit 75 is returned to the original motion compensation prediction error amount by the inverse conversion unit 77, and is added to the motion compensation image to become a decoded reproduced image f, and the image is stored. The image is stored in the unit 72 and is used as a reference image in the subsequent image encoding.

【0011】[0011]

【発明が解決しようとする課題】しかしながら、前記し
た従来方式ではディゾルブ画像の合成後の動画像再符号
化部66に動き探索部71を含む。該動き探索部71で
行う動き探索処理は、対象画像または対象画像内の小ブ
ロックの画像が、参照する画像内のどの部分の画像と類
似しているかを探索する処理であり、非常に多くの演算
量を必要とする。そのため従来方式では合成画像の再符
号化に処理時間がかかるという問題があった。また、動
き探索部71を持たない構成では、動画像の再符号化を
行うことができないという問題もある。
However, in the above-mentioned conventional method, the moving picture re-encoding unit 66 after dissolve image synthesis includes a motion search unit 71. The motion search process performed by the motion search unit 71 is a process of searching for an image of a target image or a small block in the target image that is similar to an image of which part in a reference image. Requires computational complexity. Therefore, the conventional method has a problem that it takes a long time to re-encode the composite image. In addition, in a configuration without the motion search unit 71, there is a problem that a moving image cannot be re-encoded.

【0012】本発明の目的は、前記した従来技術の問題
点を解決し、圧縮符号化動画像を入力として遷移区間に
ディゾルブを実現した圧縮符号化動画像を作成する際
に、動き探索処理を行わずに、あるいは該動き探索処理
の演算量を大幅に低減して、高速に動画像圧縮符号化処
理を行うことのできるディゾルブ画像の符号化装置を提
供することにある。
SUMMARY OF THE INVENTION An object of the present invention is to solve the above-mentioned problems of the prior art, and to perform a motion search process when creating a compressed coded moving image in which a dissolution is realized in a transition section by using the compressed coded moving image as an input. An object of the present invention is to provide a dissolve image encoding apparatus capable of performing a moving image compression encoding process at a high speed without performing the operation or greatly reducing the operation amount of the motion search process.

【0013】[0013]

【問題を解決するための手段】前記目的を達成するため
に、本発明は、合成画像の再符号化時の動き補償情報を
動き探索処理を行わず、合成画像の入力である2つの符
号化動画像からそれぞれの動き補償情報を抽出し、その
抽出された動き補償情報と、処理対象としている合成画
像の時間的位置情報から、合成画像における動き補償情
報を決定する手段を具備した点に第1の特徴がある。
SUMMARY OF THE INVENTION In order to achieve the above object, the present invention provides a method for decoding motion compensation information at the time of re-encoding a synthesized image without performing a motion search process. A point that a unit for extracting motion compensation information from a moving image and determining motion compensation information in the synthesized image from the extracted motion compensation information and temporal position information of the synthesized image to be processed is provided. There is one feature.

【0014】また、本発明は、決定された動き補償情報
の示す位置を起点とし、周辺の小領域動き探索を行うこ
とにより、符号化効率を向上させる手段を具備した点に
第2の特徴がある。
A second feature of the present invention is that the present invention includes means for improving coding efficiency by performing a small area motion search around a position indicated by the determined motion compensation information as a starting point. is there.

【0015】また、本発明は、各合成画像における2つ
の入力画像の入力比率の高い画像の持つ動き補償情報を
利用する手段を具備した点に第3の特徴がある。
A third feature of the present invention resides in that a means for using motion compensation information of an image having a high input ratio of two input images in each composite image is provided.

【0016】また、本発明は、2つの入力画像の動き補
償情報の選択の基準となる入力比率に、各入力画像の特
徴量を反映させ、その結果を元に動き補償情報を利用す
る入力画像を決定する手段を具備した点に第4の特徴が
ある。
Further, according to the present invention, an input image which uses the motion compensation information based on the result of reflecting the characteristic amount of each input image on an input ratio serving as a reference for selecting motion compensation information of two input images. There is a fourth feature in that a means for determining is provided.

【0017】また、本発明は、入力画像の特徴量とし
て、模様情報を利用する手段を具備した点、画像内分散
量や画像内平均値との絶対誤差和を利用する手段を具備
した点に第5の特徴がある。
Further, the present invention is characterized in that a means for using pattern information is provided as a feature amount of an input image, and a means for using a variance in an image or an absolute error sum with an average value in an image is provided. There is a fifth feature.

【0018】また、本発明は、ディゾルブ区間の中央付
近において、2つの入力画像の入力比率の差が小さい場
合には、画面内符号化方式を選択する手段を具備した点
に第6の特徴がある。
A sixth feature of the present invention resides in that, in the vicinity of the center of the dissolve section, when the difference between the input ratios of the two input images is small, there is provided means for selecting an intra-picture encoding method. is there.

【0019】また、本発明は、合成画像の再符号化じ
に、動き補償情報を参照する画像の符号化方式と同一と
する手段を具備した点に第7の特徴がある。
The seventh feature of the present invention resides in that the present invention further comprises means for making the same as the encoding method of the image referring to the motion compensation information when re-encoding the synthesized image.

【0020】また、演算により求めらてた動き補償情報
参照画像の切替え時刻を、近隣するフレームの符号化方
式により変更する手段を具備した点に第8の特徴があ
る。
An eighth feature is that a means for changing the switching time of the motion-compensation-information reference image obtained by the calculation according to the encoding method of the neighboring frame is provided.

【0021】また、本発明は、符号化ディゾルブ画像を
作成する際に、入力符号化画像データを画素領域情報ま
で復号して合成作業の後に再符号化する方式と、入力画
像データを変換領域情報まで復号して合成作業の後に再
符号化を行う方式を選択できる手段を具備した点に第9
の特徴がある。
Further, according to the present invention, when an encoded dissolve image is created, a method of decoding input encoded image data up to pixel region information and re-encoding after a synthesizing operation, and a method of transforming the input image data into transform region information Ninth point in that a means for selecting a method of decoding and re-encoding after the combining operation is provided.
There is a feature.

【0022】また、本発明は、動き補償情報を参照する
画像と、再符号化する画像との間で予測フレーム間隔が
異なる場合には、動き補償情報を予測フレーム間隔の比
に応じてスケーリングする手段を具備した点に第10の
特徴がある。
Further, according to the present invention, when a prediction frame interval differs between an image referencing motion compensation information and an image to be re-encoded, the motion compensation information is scaled according to the ratio of the prediction frame intervals. A tenth feature resides in that means are provided.

【0023】前記した特徴によれば、従来の方式で行わ
れていた演算量が非常にかかる動き探索処理を用いずに
再符号化処理を行うことが可能となるため、従来の問題
を解消することができる。
According to the above-mentioned feature, the re-encoding process can be performed without using the motion search process which requires a very large amount of calculation which has been performed by the conventional method, thereby solving the conventional problem. be able to.

【0024】[0024]

【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図3は本発明の符号化装置の一実施
形態を示すブロック図である。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below in detail with reference to the drawings. FIG. 3 is a block diagram showing an embodiment of the encoding device of the present invention.

【0025】ディゾルブ効果により結合する前の符号化
動画像情報を符号化動画像Aおよび符号化動画像Bとす
る。第1,第2の動画像復号部1,2は、それぞれ、入
力される符号化動画像A,Bを復号する。該動画像復号
部1,2は、それぞれ、順次入力されてくる符号化画像
情報から、動きベクトル情報や予測フレーム間隔情報等
の動き補償情報p,qを抽出し、動き補償情報決定部3
に送信する。この動き補償情報p,qとは、対象画像の
空間的な一部分または全体が、どの参照画像のどの部分
を参照しているかを示すものである。
The encoded moving image information before being combined by the dissolve effect is referred to as an encoded moving image A and an encoded moving image B. The first and second moving image decoding units 1 and 2 decode the input coded moving images A and B, respectively. The video decoding units 1 and 2 respectively extract motion compensation information p and q such as motion vector information and predicted frame interval information from the coded image information sequentially inputted, and
Send to The motion compensation information p, q indicates which part of the reference image refers to which part of the target image or the entire spatial part.

【0026】動き補償情報決定部3においては、2つの
符号化動画像A,Bから抽出された動き補償情報p,q
から、ディゾルブ区間における動き補償情報rを決定す
る。また、決定した動き補償情報rは動画像再符号化部
5に送られる。一方、画像合成部4は、ディゾルブ区間
において、復号再生画像A1,B1を合成し、合成画像
D1を生成する。
In the motion compensation information decision unit 3, the motion compensation information p, q extracted from the two encoded moving pictures A, B
, The motion compensation information r in the dissolve section is determined. Further, the determined motion compensation information r is sent to the moving picture re-encoding unit 5. On the other hand, the image combining unit 4 combines the decoded and reproduced images A1 and B1 in the dissolve section to generate a combined image D1.

【0027】動画像再符号化部5では、入力される合成
画像D1を、動き補償情報決定部3から入力される動き
補償情報rを利用して動き補償、符号化を行い、生成さ
れた符号化動画像Eを出力する。
The moving picture re-encoding unit 5 performs motion compensation and coding of the input composite image D 1 using the motion compensation information r input from the motion compensation information determining unit 3, and generates a generated code. And outputting the coded moving image E.

【0028】図4は図3の動画像復号部1の詳細を説明
したブロック図である。入力される符号化画像Aは、復
号部11で復号される。該復号された情報のうち、変換
領域情報p1 は逆変換部12へと送られ、該逆変換部1
2において逆離散コサイン変換等の直交変換を施され、
動き補償予測誤差情報p2 が再生される。一方、復号部
11で復号された動き補償情報pは動き補償部14と動
き補償情報決定部3へと送られる。
FIG. 4 is a block diagram for explaining details of the moving picture decoding unit 1 of FIG. The input encoded image A is decoded by the decoding unit 11. Of the decoded information, the transform area information p1 is sent to the inverse transform unit 12, where the inverse transform unit 1
In 2, an orthogonal transform such as an inverse discrete cosine transform is performed.
The motion compensation prediction error information p2 is reproduced. On the other hand, the motion compensation information p decoded by the decoding unit 11 is sent to the motion compensation unit 14 and the motion compensation information determination unit 3.

【0029】動き補償部14は、動き補償情報pおよび
画像蓄積部13に蓄積されている既に復号された画像デ
ータから動き補償処理を行い、該処理で得られた画像p
3 と動き補償予測誤差情報p2 との和により画像を再生
し、復号再生画像A1として出力する。図3の動画像復
号部2も、符号化動画像Bについて動画像復号部1と同
様の処理を行い、復号再生画像B1を出力する。
The motion compensating unit 14 performs a motion compensating process from the motion compensating information p and the already decoded image data stored in the image storing unit 13, and obtains the image p obtained by the process.
An image is reproduced by the sum of 3 and the motion compensation prediction error information p2, and is output as a decoded reproduced image A1. The moving image decoding unit 2 in FIG. 3 also performs the same processing as the moving image decoding unit 1 on the encoded moving image B, and outputs a decoded reproduced image B1.

【0030】図5は、図3の動画像再符号化部5の詳細
を説明したブロック図である。該動画像再符号化部5
は、フレーム内/フレーム間符号化判定部21、変換部
22、符号化部23、逆変換部24、画像蓄積部25お
よび動き補償部26からなり、図18に示した従来装置
の動画像再符号化部66とは、動き探索部71の存在の
有無が異なる。従来装置では、動き補償情報は画像蓄積
部72に蓄積されている画像と合成画像Dとの間での動
き探索処理により求められる。これに対し、本発明の実
施形態においては、図5に示すように動き探索処理を行
わず、動き補償情報決定部3から入力される動き補償情
報rを利用して、動き補償部26が動き補償処理を行
う。
FIG. 5 is a block diagram illustrating the details of the moving picture re-encoding unit 5 of FIG. The moving picture re-encoding unit 5
Is composed of an intra-frame / inter-frame coding determination unit 21, a conversion unit 22, a coding unit 23, an inverse conversion unit 24, an image storage unit 25, and a motion compensation unit 26. The presence / absence of the motion search unit 71 differs from that of the encoding unit 66. In the conventional device, the motion compensation information is obtained by a motion search process between the image stored in the image storage unit 72 and the composite image D. On the other hand, in the embodiment of the present invention, the motion compensation processing is not performed as shown in FIG. 5 and the motion compensation unit 26 uses the motion compensation information r input from the motion compensation information determination unit 3 to perform the motion search. Perform compensation processing.

【0031】図6は、前記動き補償情報決定部3が行う
ディゾルブ区間における動き補償情報の決定方法の一具
体例を説明する図である。以下に、ディゾルブ画像の符
号化処理について説明する。
FIG. 6 is a diagram illustrating a specific example of a method of determining motion compensation information in a dissolve section performed by the motion compensation information determining unit 3. Hereinafter, the encoding process of the dissolve image will be described.

【0032】入力符号化動画像Aから入力符号化動画像
Bへと変わる画像の遷移域にディゾルブを利用したシー
ンの切替えを行い、新しい符号化動画像Eを作成する。
時刻tinをディゾルブ先頭時刻、時刻tout をディゾル
ブ終端時刻とすると、tin〜tout 間がディゾルブ区間
となる。
A scene is switched using a dissolve in a transition area of an image that changes from the input coded video A to the input coded video B, and a new coded video E is created.
Assuming that the time tin is the dissolve start time and the time tout is the dissolve end time, a period between tin and tout is a dissolve section.

【0033】符号化動画像Eにおけるフレーム番号1〜
3番は、ディゾルブ区間前の画像となるため、入力符号
化動画像Aの情報と同じとなる。フレーム番号4〜7番
は、ディゾルブ区間内に存在するフレームである。ま
た、図には、各フレームにおける入力符号化動画像Aお
よび入力符号化動画像Bの入力比率(%)を記してあ
る。入力符号化動画像Aおよび入力符号化動画像Bをそ
れぞれ復号し、各フレームの入力比率に従って合成画像
D1を作成する。その後、該合成画像を再符号化して符
号化動画像Eを作成する。
The frame numbers 1 to 1 in the encoded moving image E
No. 3 is the image before the dissolve section, and is the same as the information of the input encoded moving image A. Frame numbers 4 to 7 are frames existing in the dissolve section. In the figure, the input ratio (%) of the input coded video A and the input coded video B in each frame is shown. The input coded moving image A and the input coded moving image B are respectively decoded, and a combined image D1 is created according to the input ratio of each frame. After that, the composite image is re-encoded to create an encoded moving image E.

【0034】これらのフレームの中で、フレーム番号
4、5番は入力符号化動画像Aの入力比率が入力符号化
動画像Bの入力比率より高い。したがって、これらの合
成画像の再符号化の際には入力符号化動画像Aの動き補
償情報を利用する。一方フレーム番号6,7番は、入力
符号化動画像Bの入力比率が入力符号化動画像Aの入力
比率より高い。したがって、これらの合成画像の再符号
化の際には入力符号化動画像Bの動き補償情報を利用す
る。合成画像D1におけるフレーム番号8〜10番は、
ディゾルブ区間後の画像となるため、入力符号化動画像
Bの情報と同じとなる。
Of these frames, in frame numbers 4 and 5, the input ratio of the input coded video A is higher than the input ratio of the input coded video B. Therefore, when re-encoding these composite images, the motion compensation information of the input encoded moving image A is used. On the other hand, in frame numbers 6 and 7, the input ratio of the input coded video B is higher than the input ratio of the input coded video A. Therefore, the motion compensation information of the input encoded moving image B is used when re-encoding these composite images. Frame numbers 8 to 10 in the composite image D1 are:
Since the image is after the dissolve section, the information is the same as the information of the input encoded moving image B.

【0035】図6において、動き補償情報を利用する入
力符号化画像が、フレーム番号5番と6番の間で切替わ
る。この切替わりの時刻をtc とすると、tc は下記の
式(2-1) で表すことができ、また、合成された符号化動
画像Eの動き補償情報r(=MV)Eは下記の式(2-2)
で表すことができる。ここでMVA ,MVB は、それぞ
れ符号化入力動画像A,符号化入力動画像Bの動き補償
情報を表す。 tc =tin+(tout −tin)/2 …(2-1) if t≦tc ,MVE =MVA 、else MVE =MVB …(2-2)
In FIG. 6, the input coded image utilizing the motion compensation information is switched between frame numbers 5 and 6. Assuming that the switching time is tc, tc can be expressed by the following equation (2-1). Further, the motion compensation information r (= MV) E of the synthesized coded video E is expressed by the following equation: (2-2)
Can be represented by Here, MVA and MVB represent the motion compensation information of the coded input video A and the coded input video B, respectively. tc = tin + (tout−tin) / 2 (2-1) if t ≦ tc, MVE = MVA, else MVE = MVB (2-2)

【0036】また、上式におけるtc を、入力比率から
ではなく2つの入力画像の特徴量に応じて設定する方式
も可能である。入力画像特徴に応じて参照画像を切替え
る時刻を決定する場合には、下記の式(3) により求める
ことが可能である。ここで、FA ,FB は、それぞれ、
ディゾルブ区間内の符号化入力画像Aおよび符号化入力
画像Bの特徴量を表す。 tc =tin+FA (tout −tin)/(FA +FB ) …(3)
It is also possible to set tc in the above equation not according to the input ratio but according to the feature amount of two input images. When determining the time at which the reference image is switched according to the input image feature, it can be obtained by the following equation (3). Here, FA and FB are, respectively,
The feature amounts of the coded input image A and the coded input image B in the dissolve section are shown. tc = tin + FA (tout-tin) / (FA + FB) (3)

【0037】上式における特徴量には、各入力符号化画
像の模様情報を反映させた値を利用することが可能であ
る。この模様情報を反映させる値として、各符号化入力
画像の符号化ブロック毎のブロック内画素分散値や、ブ
ロック内の平均値との絶対誤差和、DCT等の変換領域
データでの係数の絶対値和といった値を反映させること
が可能である。
As the feature quantity in the above equation, a value reflecting the pattern information of each input coded image can be used. As a value reflecting the pattern information, a pixel variance value in a block for each coded block of each coded input image, an absolute error sum with an average value in the block, and an absolute value of a coefficient in transform domain data such as DCT It is possible to reflect a value such as a sum.

【0038】図7は、本発明の第2の実施形態を示す。
図7において、図3と同一の符号は、同一または同等物
を示す。
FIG. 7 shows a second embodiment of the present invention.
7, the same reference numerals as those in FIG. 3 denote the same or equivalent components.

【0039】この実施形態は、動き補償情報決定部3
が、動き補償情報rの決定に、入力画像の動き補償情報
p,qだけでなく、入力画像の画像特徴情報sを利用す
るようにした点に特徴がある。本実施形態では、動画像
復号部1および動画像復号部2から出力される復号再生
画像A1,B1を画像特徴解析部7にも送信し、該画像
特徴解析部7において、復号された画像の特徴量の算
出、例えば模様情報の算出を行い、算出結果である画像
特徴情報sを動き補償情報決定部3へと送信する。
In this embodiment, the motion compensation information determining unit 3
Is characterized in that not only the motion compensation information p and q of the input image but also the image feature information s of the input image are used to determine the motion compensation information r. In the present embodiment, the decoded and reproduced images A1 and B1 output from the video decoding unit 1 and the video decoding unit 2 are also transmitted to the image feature analysis unit 7, and the image feature analysis unit 7 The feature amount is calculated, for example, the pattern information is calculated, and the image feature information s as the calculation result is transmitted to the motion compensation information determination unit 3.

【0040】さらに、動き補償情報を利用する符号化入
力画像をディゾルブ区間の1箇所のみで切り替えるので
はなく、以下の式のように入力比率と特徴量の積によっ
て動き補償情報を利用する符号化入力画像を選択する方
式も可能である。if FA ×RA >FB ×RB ,MVD
=MVA 、else MVD =MVB 上式において、RA ,
RB は、それぞれ、ディゾルブ区間内の同時刻における
入力画像Aおよび入力画像Bの入力比率を表す。
Furthermore, instead of switching the coded input image using the motion compensation information at only one point in the dissolve section, coding using the motion compensation information by the product of the input ratio and the characteristic amount as shown in the following equation: A method of selecting an input image is also possible. if FA × RA> FB × RB, MVD
= MVA, else MVD = MVB where RA,
RB represents the input ratio of the input image A and the input image B at the same time in the dissolve section.

【0041】次に、ディゾルブ区間内の各画像の符号化
方式について説明する。フレーム間予測符号化を行う動
画像符号化方式においては、高能率符号化と復号再生の
利便性から、以下の3種類の画像符号化方式を組み合わ
せて利用されている。
Next, the encoding method of each image in the dissolve section will be described. In a moving picture coding method for performing inter-frame predictive coding, the following three kinds of image coding methods are used in combination from the viewpoint of high efficiency coding and convenience of decoding and reproduction.

【0042】Pフレーム:片方向予測フレーム。フレー
ム間予測フレームのひとつ。過去に符号化された画像か
らフレーム間動き補償予測符号化により符号化される。
この予測は順方向予測となる。該画像は復号再生され、
次のPフレーム符号化のための参照画像となる。参照さ
れる画像と参照する画像の類似性が高い場合には符号化
効率が向上する。
P frame: unidirectional prediction frame. One of the inter prediction frames. The image is encoded by inter-frame motion compensation prediction encoding from an image encoded in the past.
This prediction is forward prediction. The image is decoded and played back,
It becomes a reference image for the next P frame encoding. If the similarity between the referenced image and the referenced image is high, the coding efficiency is improved.

【0043】Bフレーム:双方向予測フレーム。フレー
ム間予測ピクチャのひとつ。過去に符号化された時間的
前後2枚の画像からフレーム間動き補償予測により符号
化される。該フレームは参照画像として利用されること
はない。
B frame: bidirectional prediction frame. One of the inter-frame prediction pictures. It is encoded by inter-frame motion compensation prediction from two temporally preceding and succeeding encoded images. The frame is not used as a reference image.

【0044】Iフレーム:フレーム内符号化フレーム。
画像間の動きと相関は利用せず、1枚の画像を独立して
符号化する。したがって独立したフレームの復号が可能
である。
I frame: an intra-coded frame.
One image is independently encoded without using the motion and correlation between images. Therefore, independent frame decoding is possible.

【0045】本発明においては、ディゾルブ区間内の各
フレームの符号化方式は、動き補償情報を参照する画像
の符号化方式と同一とさせることを特徴とする。これに
より、再符号化時の画質の劣化を低減することが可能と
なる。さらに、ディゾルブ区間中の動き補償情報を参照
する画像を切替えるタイミングtc を、tc 前後に隣接
する連続するBフレームの枚数の合計が少なくなる位置
t'cへ変更することを特徴とする。これにより、後述す
る動き補償情報のスケーリング処理の回数を減らすこと
ができ、画質の劣化の低減、および演算回数の低減が可
能となる。
The present invention is characterized in that the coding method of each frame in the dissolve section is the same as the coding method of an image that refers to the motion compensation information. This makes it possible to reduce the deterioration of the image quality at the time of re-encoding. Furthermore, the timing tc for switching the image referring to the motion compensation information in the dissolve section is changed to a position t'c where the total number of consecutive B frames adjacent before and after tc decreases. This makes it possible to reduce the number of times of scaling processing of motion compensation information, which will be described later, and reduce the deterioration of image quality and the number of calculations.

【0046】図8に上記の説明図を示す。同図(a) で
は、ディゾルブ区間に含まれる画像10フレームのう
ち、tc がその中央となっている場合を示す。したがっ
て、前半5フレームは入力符号化動画像Aの各フレーム
の符号化方式および動き補償情報を利用し、後半5フレ
ームは入力符号化動画像Bの各フレームの符号化方式お
よび動き補償情報を利用する。この場合には、線xで囲
まれた5枚の画像における動き補償情報は、予測フレー
ム間隔が変化するために、後述する動き補償情報のスケ
ーリングを行う必要が生じる。
FIG. 8 shows the above explanatory diagram. FIG. 9A shows a case where tc is the center of 10 frames included in the dissolve section. Therefore, the first five frames use the coding scheme and motion compensation information of each frame of the input coded video A, and the last five frames use the coding scheme and motion compensation information of each frame of the input coded video B. I do. In this case, the motion compensation information in the five images surrounded by the line x needs to perform scaling of the motion compensation information described later because the prediction frame interval changes.

【0047】一方、同図(b) はtc の位置を、同図(a)
から1フレーム後方のt'cに遅らせた例である。この例
では、動き補償情報のスケーリングを必要とするフレー
ム数が2枚となるため、例と比較して、画質の劣化の
低減、および処理速度の向上が可能である。
On the other hand, FIG. 2B shows the position of tc, and FIG.
This is an example in which it is delayed to t'c one frame behind from. In this example, the number of frames that require scaling of the motion compensation information is two, so that it is possible to reduce the deterioration of the image quality and improve the processing speed as compared with the example.

【0048】次に、入力画像と再符号化画像における予
測フレーム間隔が異なる場合の処理である、動きベクト
ル情報のスケーリングについて述べる。動き補償情報
は、動きベクトル情報と予測フレーム間隔情報により表
現され、上述のように、入力符号化画像における予測フ
レーム間隔は、ディゾルブ合成画像の再符号化における
予測フレーム間隔と異なる場合もある。
Next, scaling of motion vector information, which is processing when the predicted frame interval between the input image and the re-encoded image is different, will be described. The motion compensation information is represented by the motion vector information and the predicted frame interval information. As described above, the predicted frame interval in the input encoded image may be different from the predicted frame interval in the re-encoding of the dissolve composite image.

【0049】このような場合には、予測フレーム間隔の
比に応じた動きベクトル情報のスケーリングを行う。図
9に予測フレーム間隔の比に応じた動きベクトルのスケ
ーリングを説明する。同図(a) は予測フレーム間隔が3
フレームの入力画像から予測フレーム間隔が2フレーム
での符号化を行う場合を示したものである。この場合に
は動きベクトル情報に対して2/3のスケーリングを施
す。
In such a case, the scaling of the motion vector information is performed according to the ratio of the prediction frame intervals. FIG. 9 illustrates the scaling of a motion vector according to the ratio of predicted frame intervals. FIG. 7A shows that the predicted frame interval is 3
This shows a case where encoding is performed at a predicted frame interval of two frames from an input image of a frame. In this case, 2/3 scaling is applied to the motion vector information.

【0050】また予測方向が順方向予測と逆方向予測の
ように異なる場合には、マイナス値を掛けることによっ
てベクトルを反転させることで対処可能である。図9の
同図(b) では逆方向予測でフレーム間隔が2フレームで
ある動きベクトルから予測フレーム間隔が1フレームの
動きベクトル情報を生成するものを示している。そのた
め、動きベクトル情報に対して−1/2のスケーリング
を施す。
When the prediction directions are different from each other, such as forward prediction and backward prediction, it is possible to cope by inverting the vector by multiplying by a negative value. FIG. 9 (b) of FIG. 9 shows a case in which motion vector information having a predicted frame interval of 1 frame is generated from a motion vector having a frame interval of 2 frames in backward prediction. Therefore, scaling of -1/2 is performed on the motion vector information.

【0051】さらに、画像のブロック毎の符号化では、
フレーム間での動き補償予測を行う動き補償予測符号化
以外に、動き補償予測を行わなずに符号化するフレーム
内符号化方式がある。この場合には、対象となる領域は
動き補償情報を持たない。本発明では、参照した符号化
入力画像の対象位置に動き補償情報が存在しない場合に
は、動きベクトル情報をゼロベクトルに設定し、これを
動き補償情報とする。
Further, in the encoding of each image block,
In addition to the motion compensation prediction coding that performs motion compensation prediction between frames, there is an intra-frame coding method that performs coding without performing motion compensation prediction. In this case, the target area has no motion compensation information. In the present invention, when no motion compensation information exists at the target position of the referred coded input image, the motion vector information is set to a zero vector, and this is used as the motion compensation information.

【0052】次に、本発明の第3実施形態を図10を参
照して説明する。図10において、図3と同一の符号
は、同一または同等物を示す。
Next, a third embodiment of the present invention will be described with reference to FIG. 10, the same reference numerals as those in FIG. 3 indicate the same or equivalent components.

【0053】符号化動画像Aは、第1の動画像復号部3
1において復号され、復号変換領域情報A2として出力
される。この復号変換領域情報A2は、動き補償情報
と、動き補償予測誤差の変換領域情報とから、変換領域
での動き補償を用いて得られた変換領域情報である。例
えばMPEG符号化方式においてはDCT係数で表され
る。また、第2の動画像復号部32において、符号化動
画像Bが復号され、復号変換領域情報B2として出力さ
れる。また、動き補償情報p,qは,動き補償情報決定
部3へと送られる。
The encoded moving image A is transmitted to the first moving image
1 and output as decoded conversion area information A2. The decoded conversion area information A2 is conversion area information obtained by using motion compensation in the conversion area from the motion compensation information and the conversion area information of the motion compensation prediction error. For example, in the MPEG coding method, it is represented by a DCT coefficient. Also, the encoded moving image B is decoded by the second moving image decoding unit 32, and is output as decoded conversion area information B2. Further, the motion compensation information p, q is sent to the motion compensation information determination unit 3.

【0054】次に、動画像復号部31および動画像復号
部32より出力された復号変換領域情報A2および復号
変換領域情報B2から、変換領域画像合成部33におい
てディゾルブ区間の合成画像である変換領域合成画像情
報D2を作成する。動画像再符号化部34は、動き補償
情報決定部3から送られてくる動き補償情報を利用し
て、変換領域合成画像情報D2を再符号化する。そし
て、該再符号化された情報を符号化動画像情報Eとして
出力する。
Next, based on the decoded conversion area information A2 and the decoded conversion area information B2 output from the moving picture decoding section 31 and the moving picture decoding section 32, the conversion area image synthesizing section 33 outputs a conversion area which is a synthesized image of a dissolve section. Create composite image information D2. The moving image re-encoding unit 34 re-encodes the transformed area combined image information D2 using the motion compensation information sent from the motion compensation information determining unit 3. Then, the re-encoded information is output as encoded moving image information E.

【0055】図11に、図10における動画像復号部3
1の詳細を説明したブロック図を示す。符号化動画像A
はまず復号部41において復号され、動き補償情報pは
動き補償情報決定部3および変換領域動き補償部42へ
と送られる。また、復号部41からは動き補償予測誤差
変換領域情報uが出力される。
FIG. 11 shows the moving picture decoding unit 3 in FIG.
FIG. 2 is a block diagram illustrating details of the first embodiment. Encoded video A
Is first decoded by the decoding unit 41, and the motion compensation information p is sent to the motion compensation information determination unit 3 and the transform area motion compensation unit 42. Further, the decoding unit 41 outputs the motion compensation prediction error conversion area information u.

【0056】変換領域動き補償部42は、動き補償情報
pを用いて、変換領域情報蓄積部43に蓄積されている
既に復号された画像情報の変換領域情報に変換領域での
動き補償処理を行う。該動き補償処理で得られた変換領
域動き補償情報vは、復号部41から出力される動き補
償予測誤差変換領域情報uと加算され、復号変換領域情
報A2として出力される。図10における第2の動画像
復号部32は、符号化画像Bに対して第1の動画像復号
部31と同じ処理を行い、復号変換領域情報B2を出力
する。
Using the motion compensation information p, the conversion area motion compensation unit 42 performs motion compensation processing in the conversion area on the conversion area information of the already decoded image information stored in the conversion area information storage unit 43. . The conversion area motion compensation information v obtained by the motion compensation processing is added to the motion compensation prediction error conversion area information u output from the decoding unit 41, and output as decoded conversion area information A2. The second video decoding unit 32 in FIG. 10 performs the same process on the coded image B as the first video decoding unit 31, and outputs decoded conversion area information B2.

【0057】図12は、図10の動画像再符号化部34
の詳細を説明した図である。動き補償情報決定部3から
送られてくる動き補償情報rは、変換領域動き補償部5
1へと入力され、該変換領域動き補償部51において、
既に処理されて変換領域画像情報蓄積部52に蓄積され
ている復号変換領域画像情報を、該動き補償情報rによ
り変換領域上での動き補償を行い、該補償結果を変換領
域動き補償画像情報yとしてフレーム内/フレーム間符
号化判定部53へと送る。
FIG. 12 shows the moving picture re-encoding unit 34 of FIG.
FIG. The motion compensation information r sent from the motion compensation information determination unit 3 is
1 in the transform area motion compensator 51.
The decoded area conversion image information already processed and stored in the conversion area image information storage unit 52 is subjected to motion compensation on the conversion area using the motion compensation information r, and the compensation result is converted to the conversion area motion compensated image information y. To the intra-frame / inter-frame coding determination unit 53.

【0058】フレーム内/フレーム間符号化判定部53
は、入力された変換領域動き補償画像情報yと、画像変
換領域情報とから、フレーム内符号化、フレーム間符号
化のどちらの符号化効率が高くなるか予測を行い、その
結果をフレーム内/フレーム間符号化切替え部Sへと送
る。該切替え部Sでは、フレーム内符号化を行う場合に
は画像変換領域情報を、フレーム間符号化を行う場合に
は画像変換領域情報と変換領域動き補償画像情報yとの
差wを符号化部54へと出力する。符号化部54では、
可変長符号化処理を行い、結果を符号化動画像情報Eと
して出力する。
Intra / interframe coding determination section 53
Predicts whether the coding efficiency of intra-frame coding or inter-frame coding will be higher based on the input transform region motion compensation image information y and the image transform region information, and compares the result with the intra-frame / It is sent to the inter-frame coding switching unit S. The switching unit S encodes the image conversion area information when performing intra-frame encoding, and the difference w between the image conversion area information and the conversion area motion compensation image information y when performing inter-frame encoding. Output to 54. In the encoding unit 54,
The variable length encoding process is performed, and the result is output as encoded moving image information E.

【0059】また、符号化部54へ入力される動き補償
予測誤差変換領域情報wは、変換領域動き補償部51か
ら出力される変換領域動き補償情報yと加算され、復号
変換領域画像情報zとして変換領域画像情報蓄積部52
に蓄積される。本実施形態においては、直交変換、およ
び逆直交変換を行う処理が存在しないので演算量を大幅
に削減でき、高速処理が可能になる。
Further, the motion compensation prediction error conversion area information w input to the encoding unit 54 is added to the conversion area motion compensation information y output from the conversion area motion compensation unit 51, and the resultant is obtained as the decoded conversion area image information z. Conversion area image information storage unit 52
Is accumulated in In the present embodiment, since there is no process for performing the orthogonal transform and the inverse orthogonal transform, the amount of calculation can be significantly reduced, and high-speed processing can be performed.

【0060】図13は、本発明の第4の実施形態を示す
ブロック図である。この実施形態は、ディゾルブ区間内
の時間的中央付近の画像については、符号化入力画像A
と符号化入力画像Bの入力比率の差が小さく、どちらの
入力符号化画像とも相関が低くなることから、どちらの
符号化情報も使用せずに、合成画像における各ブロック
の符号化方式を強制的にフレーム内符号化方式とする点
に特徴がある。
FIG. 13 is a block diagram showing a fourth embodiment of the present invention. In this embodiment, the coded input image A is used for the image near the temporal center in the dissolve section.
The difference between the input ratios of the input image and the coded input image B is small, and the correlation is low with either of the input coded images. It is characterized in that the intra-frame coding method is used.

【0061】図示されているように、動き補償情報決定
部3は、ディゾルブ区間内の時間的中央付近の画像につ
いては、フレーム内符号化制御信号r1 を動画像再符号
化部5に出力し、ディゾルブ区間内の時間的中央付近以
外の画像については、前記第1〜3実施形態で決定され
た動き補償情報を用いる。なお、図13中の図3、図7
および図10と同一の符号は、同一または同等物を示
す。
As shown in the figure, the motion compensation information determining section 3 outputs an intra-frame coding control signal r 1 to the moving picture re-encoding section 5 for an image near the temporal center in the dissolve section, For images other than near the temporal center in the dissolve section, the motion compensation information determined in the first to third embodiments is used. 3 and 7 in FIG.
And the same reference numerals as those in FIG. 10 indicate the same or equivalent components.

【0062】図14は、図13の動画像再符号化部5の
詳細を示すブロック図である。合成画像D1の再符号化
時に、フレーム内/フレーム間符号化判定部21におい
て、フレーム内符号化を行うかフレーム間符号化を行う
かを決定する処理を行うが、動き補償情報決定部3から
フレーム内符号化制御信号r1 が送られてきた場合に
は、強制的にフレーム内符号化方式を選択し、切替えス
イッチSをフレーム内符号化方式の側に切替える。
FIG. 14 is a block diagram showing details of the moving picture re-encoding unit 5 of FIG. At the time of re-encoding of the composite image D1, the intra-frame / inter-frame encoding determination unit 21 performs a process of determining whether to perform intra-frame encoding or inter-frame encoding. When the intra-frame coding control signal r1 is sent, the intra-frame coding system is forcibly selected, and the changeover switch S is switched to the intra-frame coding system.

【0063】次に、本発明の第5の実施形態を図15に
示す。この実施形態では、動き補償情報決定部3から送
られる動き補償情報rは、小領域動き探索部27へ入力
される。いま、動き補償情報決定部3から送られてきた
動き補償情報が、図16に示されている動き補償情報x
m であったとすると、小領域動き探索部27では、該動
き補償情報xm を中心とした小領域x'mで動き探索処理
を行い、その中の最適な位置を新たな動き補償情報r2
として、動き補償部26へと送信する。この実施形態に
よれば、従来の図18における動き探索部71の探索領
域が例えばxsであったのに対して小領域x'mでよく、
動き補償の精度を落とすことなく、動き探索に要する演
算量を大幅に低減することができる。
Next, a fifth embodiment of the present invention is shown in FIG. In this embodiment, the motion compensation information r sent from the motion compensation information determination unit 3 is input to the small area motion search unit 27. Now, the motion compensation information sent from the motion compensation information determining unit 3 is the motion compensation information x shown in FIG.
m, the small area motion search section 27 performs a motion search process on the small area x'm centered on the motion compensation information xm, and finds the optimum position in the small area x'm with the new motion compensation information r2.
To the motion compensator 26. According to this embodiment, while the search area of the conventional motion search unit 71 in FIG. 18 is, for example, xs, it may be a small area x′m,
The amount of computation required for motion search can be significantly reduced without lowering the accuracy of motion compensation.

【0064】なお、前記第1〜第4実施形態の全ての処
理、例えば動き補償情報決定部3等の処理は、該第5の
実施形態に適用することができるが、その説明は省略す
る。
Note that all the processing of the first to fourth embodiments, for example, the processing of the motion compensation information determining unit 3 and the like can be applied to the fifth embodiment, but the description thereof is omitted.

【0065】[0065]

【発明の効果】以上の説明から明らかなように、本発明
によれば、2つの符号化動画像情報からディゾルブ効果
を挿入した符号化動画像を作成する処理をする際に、動
画像再符号化部が動き探索部を持たなくても、前記処理
が可能となる。また、たとえ、動き探索を施したとして
も、演算処理量の小さい動き探索処理をすればよいので
高速処理を実現することができるようになる。
As is apparent from the above description, according to the present invention, when performing a process of creating an encoded moving image in which a dissolve effect is inserted from two pieces of encoded moving image information, a moving image re-encoding is performed. The above processing can be performed even if the conversion unit does not have the motion search unit. Further, even if a motion search is performed, a high-speed process can be realized because a motion search process with a small amount of arithmetic processing may be performed.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 ディゾルブの概要を示す図である。FIG. 1 is a diagram showing an outline of a dissolve.

【図2】 ディゾルブ区間の遷移状態を説明する図であ
る。
FIG. 2 is a diagram illustrating a transition state in a dissolve section.

【図3】 本発明のディゾルブ画像符号化装置の第1実
施形態を示すブロック図である。
FIG. 3 is a block diagram showing a first embodiment of the dissolve image encoding device of the present invention.

【図4】 図3の動画像復号部の詳細を示すブロック図
である。
FIG. 4 is a block diagram illustrating details of a moving image decoding unit in FIG. 3;

【図5】 図3の動画像再符号化部の詳細を示すブロッ
ク図である。
FIG. 5 is a block diagram illustrating details of a moving picture re-encoding unit in FIG. 3;

【図6】 本発明における動き補償情報の決定方法を示
す説明図である。
FIG. 6 is an explanatory diagram showing a method for determining motion compensation information according to the present invention.

【図7】 本発明の第2実施形態の構成を示すブロック
図である。
FIG. 7 is a block diagram showing a configuration of a second embodiment of the present invention.

【図8】 本発明の動き補償情報参照画像切替え時刻の
変更を説明する図である。
FIG. 8 is a diagram illustrating a change of a motion compensation information reference image switching time according to the present invention.

【図9】 本発明の動き補償情報のスケーリングを示す
図である。
FIG. 9 is a diagram illustrating scaling of motion compensation information according to the present invention.

【図10】 本発明の第3実施形態の構成を示すブロッ
ク図である。
FIG. 10 is a block diagram showing a configuration of a third embodiment of the present invention.

【図11】 図10の動画像復号部の詳細を示すブロッ
ク図である。
11 is a block diagram illustrating details of a moving image decoding unit in FIG. 10;

【図12】 図10の動画像再符号化部の詳細を示すブ
ロック図である。
FIG. 12 is a block diagram illustrating details of a moving picture re-encoding unit in FIG. 10;

【図13】 本発明の第4実施形態の構成を示すブロッ
ク図である。
FIG. 13 is a block diagram showing a configuration of a fourth embodiment of the present invention.

【図14】 図13の動画像再符号化部の詳細を示すブ
ロック図である。
14 is a block diagram illustrating details of a moving picture re-encoding unit in FIG. 13;

【図15】 本発明の第5実施形態の動画像再符号化部
の構成を示すブロック図である。
FIG. 15 is a block diagram illustrating a configuration of a video transcoder according to a fifth embodiment of the present invention.

【図16】 本発明における小領域動き探索方式を説明
する図である。
FIG. 16 is a diagram illustrating a small area motion search method according to the present invention.

【図17】 従来装置の構成を示すブロック図である。FIG. 17 is a block diagram showing a configuration of a conventional device.

【図18】 従来装置の再符号化部の詳細を示すブロッ
ク図である。
FIG. 18 is a block diagram illustrating details of a re-encoding unit of the conventional device.

【符号の説明】[Explanation of symbols]

1、2…第1、第2の動画像復号部、3…動き補償情報
決定部、4…画像合成部、5…動画像再符号化部、7…
画像特徴解析部、11…復号部、14…動き補償部、2
1…フレーム内/フレーム間符号化判定部、26…動き
補償部、27…小領域動き探索部、31、32…第1、
第2の動画像復号部、33…変換領域画像合成部、34
…動画像再符号化部。
1, 2,... First and second moving image decoding units, 3,... Motion compensation information determining unit, 4,.
Image feature analysis unit, 11 decoding unit, 14 motion compensation unit, 2
1 ... intra-frame / inter-frame coding determination unit, 26 ... motion compensation unit, 27 ... small area motion search unit, 31, 32 ... first,
Second moving image decoding unit, 33... Conversion area image synthesizing unit, 34
... Moving picture re-encoding unit.

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C023 AA12 DA01 DA04 EA03 5C059 KK00 KK15 LA00 MA05 MA23 NN00 NN03 PP05 PP06 PP07 5J064 BA01 BB03 BB13 BC08 BC23 BD02 BD03  ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5C023 AA12 DA01 DA04 EA03 5C059 KK00 KK15 LA00 MA05 MA23 NN00 NN03 PP05 PP06 PP07 5J064 BA01 BB03 BB13 BC08 BC23 BD02 BD03

Claims (13)

【特許請求の範囲】[Claims] 【請求項1】 2フレーム間動き補償予測を利用した入
力圧縮符号化動画像データAと入力圧縮符号化データB
から、ディゾルブ効果を利用した圧縮符号化動画像デー
タEを作成するディゾルブ画像の符号化装置において、 前記入力圧縮符号化動画像データAと入力圧縮符号化デ
ータBを復号する動画像復号部と、 該動画像復号部から出力された動き補償情報からディゾ
ルブ区間の動き補償情報を決定する動き補償情報決定部
と、 該第1、第2の動画像復号部から出力された復号画像情
報をディゾルブ区間において合成する画像合成部と、 該画像合成部から出力された合成画像を再符号化する動
画像再符号化部とを具備し、 前記動き補償情報決定部は前記入力符号化動画像データ
Aおよび入力符号化動画像データBの動き補償情報を利
用して圧縮符号化動画像データEの動き補償情報を決定
し、前記動画像再符号化部は、動き探索を行わず、前記
動き補償情報決定部で決定された動き補償情報を用いて
再符号化することを特徴とするディゾルブ画像の符号化
装置。
An input compression coded video data A and an input compression coded data B using inter-frame motion compensation prediction
A dissolve image encoding device that creates compressed encoded moving image data E using a dissolve effect, comprising: a moving image decoding unit that decodes the input compressed encoded moving image data A and the input compressed encoded data B; A motion compensation information determining unit that determines motion compensation information of a dissolve section from the motion compensation information output from the video decoding unit; and a decoding unit that decodes the decoded image information output from the first and second video decoding units. And a moving image re-encoding unit that re-encodes the synthesized image output from the image synthesizing unit. The motion compensation information determination unit includes the input encoded moving image data A and Using the motion compensation information of the input coded moving image data B, the motion compensation information of the compression coded moving image data E is determined, and the moving image re-encoding unit performs no motion search, and Encoding apparatus dissolve image, characterized in that the re-encoded using motion compensation information determined by the compensation information determination unit.
【請求項2】 2フレーム間動き補償予測を利用した入
力圧縮符号化動画像データAと入力圧縮符号化データB
から、ディゾルブ効果を利用した圧縮符号化動画像デー
タEを作成するディゾルブ画像の符号化装置において、 前記入力圧縮符号化動画像データAと入力圧縮符号化デ
ータBを復号する動画像復号部と、 該動画像復号部から出力された動き補償情報からディゾ
ルブ区間の動き補償情報を決定する動き補償情報決定部
と、 該第1、第2の動画像復号部から出力された復号画像情
報をディゾルブ区間において合成する画像合成部と、 該画像合成部から出力された合成画像を再符号化する動
画像再符号化部とを具備し、 前記動き補償情報決定部は前記入力符号化動画像データ
Aおよび入力符号化動画像データBの動き補償情報を利
用して圧縮符号化動画像データEの動き補償情報を決定
し、前記動画像再符号化部は、前記動き補償情報決定部
で決定された動き補償情報を動き探索の起点として、そ
の周辺の小領域のみで動き探索処理を行い、その結果を
用いて再符号化することを特徴とするディゾルブ画像の
符号化装置。
2. An input compression coded video data A and an input compression coded data B using inter-frame motion compensation prediction.
A dissolve image encoding device that creates compressed encoded moving image data E using a dissolve effect, comprising: a moving image decoding unit that decodes the input compressed encoded moving image data A and the input compressed encoded data B; A motion compensation information determining unit that determines motion compensation information of a dissolve section from the motion compensation information output from the video decoding unit; and a decoding unit that decodes the decoded image information output from the first and second video decoding units. And a moving image re-encoding unit that re-encodes the synthesized image output from the image synthesizing unit. The motion compensation information determination unit includes the input encoded moving image data A and Utilizing the motion compensation information of the input encoded video data B, the motion compensation information of the compression encoded video data E is determined. The constant motion compensation information as a starting point for motion search performs a motion search only in a small region around the coding apparatus dissolve image, characterized in that the re-encoded using the results.
【請求項3】 前記動き補償情報決定部は、ディゾルブ
区間における入力符号化動画像A、入力符号化動画像B
の入力比率の高い方の動き補償情報をディゾルブ区間の
動き補償情報と決定することを特徴とする請求項1また
は2に記載のディゾルブ画像の符号化装置。
3. The motion compensation information determination unit according to claim 1, wherein the input coded video A and the input coded video B in a dissolve section are provided.
The dissolve image encoding apparatus according to claim 1 or 2, wherein the motion compensation information having the higher input ratio is determined as the motion compensation information of the dissolve section.
【請求項4】 前記動き補償情報決定部は、ディゾルブ
区間における入力符号化動画像A、入力符号化動画像B
の特徴量の大きい方の動き補償情報をディゾルブ区間の
動き補償情報と決定することを特徴とする請求項1また
は2に記載のディゾルブ画像の符号化装置。
4. The apparatus according to claim 1, wherein the motion compensation information determining unit determines whether the input coded video A or the input coded video B
3. The dissolve image encoding apparatus according to claim 1, wherein the motion compensation information having the larger feature amount is determined as the motion compensation information of the dissolve section.
【請求項5】 前記動き補償情報決定部は、前記画像合
成部で合成される入力符号化動画像A、Bの入力比率と
入力画像A、Bの画像の特徴量の比率を反映させた値を
用いて、ディゾルブ区間の動き補償情報を決定すること
を特徴とする請求項1または2に記載のディゾルブ画像
の符号化装置。
5. The motion compensation information deciding unit determines a value reflecting a ratio between an input ratio of the input coded moving images A and B synthesized by the image synthesizing unit and a characteristic amount ratio of the input images A and B. 3. The apparatus for encoding a dissolve image according to claim 1, wherein the motion compensation information of the dissolve section is determined by using.
【請求項6】 前記画像の特徴量として、画像の模様情
報を利用することを特徴とする請求項4または5に記載
のディゾルブ画像の符号化装置。
6. The dissolve image encoding apparatus according to claim 4, wherein pattern information of the image is used as the feature amount of the image.
【請求項7】 前記画像の模様情報として、画像の画像
内分散値、画像内平均値との絶対誤差和、およびDCT
係数の絶対値和の少なくとも一つを利用することを特徴
とする請求項6に記載のディゾルブ画像の符号化装置。
7. The image pattern information includes a variance value in an image of the image, a sum of absolute errors with an average value in the image, and DCT.
7. The apparatus according to claim 6, wherein at least one of the sum of absolute values of the coefficients is used.
【請求項8】 2つの入力画像の入力比率の差が小さい
ディゾルブ区間の中央付近において、再符号化の際の符
号化モードを画面内符号化モードとすることを特徴とす
る請求項1〜7のいずれかに記載のディゾルブ画像の符
号化装置。
8. The encoding mode for re-encoding is set to an intra-screen encoding mode near the center of the dissolve section where the difference between the input ratios of two input images is small. The dissolve image encoding device according to any one of the above.
【請求項9】 前記ディゾルブ区間における各フレーム
の符号化方式は、動き補償情報を参照する画像の符号化
方式と同一とすることを特徴とする請求項1〜8のいず
れかに記載のディゾルブ画像の符号化装置。
9. The dissolve image according to claim 1, wherein an encoding method of each frame in the dissolve section is the same as an encoding method of an image referring to motion compensation information. Encoding device.
【請求項10】 動き補償情報を参照する画像を切替え
る時間的位置を、演算により求められた位置から前後に
隣接する1または複数枚の双方向予測フレームの合計数
が少なくなる近隣位置へと変更させることを特徴とする
請求項1〜9のいずれかに記載のディゾルブ画像の符号
化装置。
10. A temporal position at which an image to be referred to for motion compensation information is switched is changed from a position obtained by calculation to a neighboring position at which the total number of one or a plurality of bidirectional prediction frames adjacent in front and behind is reduced. The encoding apparatus for a dissolve image according to claim 1, wherein:
【請求項11】 入力動画像データAおよび入力動画像
データBを画素領域まで復号した後、ディゾルブ画像の
合成作業を行い、その後、決定した動き補償情報を元
に、画素領域での動き補償処理を利用して再符号化する
ことを特徴とする請求項1〜10のいずれかに記載のデ
ィゾルブ画像の符号化装置。
11. After the input moving image data A and the input moving image data B are decoded up to the pixel area, a dissolve image synthesizing operation is performed, and thereafter, the motion compensation processing in the pixel area is performed based on the determined motion compensation information. The encoding device for a dissolve image according to any one of claims 1 to 10, wherein the encoding device re-encodes the image.
【請求項12】 入力動画像データAおよび入力動画像
データBを変換領域まで復号した後、ディゾルブ画像の
合成作業を行い、その後、決定した動き補償情報を元
に、変換領域での動き補償処理を利用して再符号化する
ことを特徴とする請求項1〜10のいずれかに記載のデ
ィゾルブ画像の符号化装置。
12. After the input moving image data A and the input moving image data B have been decoded up to the conversion area, a dissolve image synthesizing operation is performed, and then the motion compensation processing in the conversion area is performed based on the determined motion compensation information. The encoding device for a dissolve image according to any one of claims 1 to 10, wherein the encoding device re-encodes the image.
【請求項13】 動き補償情報を参照する画像と再符号
化する画像との間で予測フレーム間隔が異なる場合、対
象となる動き補償情報を予測フレーム間隔の比に応じて
スケーリングすることを特徴とする請求項1〜11のい
ずれかに記載のディゾルブ画像の符号化装置。
13. When the prediction frame interval differs between an image referencing the motion compensation information and an image to be re-encoded, the target motion compensation information is scaled according to a ratio of the prediction frame interval. The dissolve image encoding device according to any one of claims 1 to 11.
JP2000060538A 2000-03-06 2000-03-06 Dissolve image encoding device Expired - Fee Related JP3830013B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000060538A JP3830013B2 (en) 2000-03-06 2000-03-06 Dissolve image encoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000060538A JP3830013B2 (en) 2000-03-06 2000-03-06 Dissolve image encoding device

Publications (2)

Publication Number Publication Date
JP2001251628A true JP2001251628A (en) 2001-09-14
JP3830013B2 JP3830013B2 (en) 2006-10-04

Family

ID=18580830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000060538A Expired - Fee Related JP3830013B2 (en) 2000-03-06 2000-03-06 Dissolve image encoding device

Country Status (1)

Country Link
JP (1) JP3830013B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005515728A (en) * 2002-01-17 2005-05-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Unit and method for estimating current motion vector
KR100711196B1 (en) 2004-04-16 2007-04-24 케이디디아이 가부시키가이샤 Detector for predicting of movement
JP2008252578A (en) * 2007-03-30 2008-10-16 Kddi Corp Moving image editing device
JP5522404B2 (en) * 2008-04-03 2014-06-18 Nltテクノロジー株式会社 Image processing method, image processing apparatus, and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005515728A (en) * 2002-01-17 2005-05-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Unit and method for estimating current motion vector
KR100711196B1 (en) 2004-04-16 2007-04-24 케이디디아이 가부시키가이샤 Detector for predicting of movement
JP2008252578A (en) * 2007-03-30 2008-10-16 Kddi Corp Moving image editing device
JP5522404B2 (en) * 2008-04-03 2014-06-18 Nltテクノロジー株式会社 Image processing method, image processing apparatus, and program
US9380284B2 (en) 2008-04-03 2016-06-28 Nlt Technologies, Ltd. Image processing method, image processing device and recording medium

Also Published As

Publication number Publication date
JP3830013B2 (en) 2006-10-04

Similar Documents

Publication Publication Date Title
KR100592651B1 (en) Transcoding
JP5197591B2 (en) VIDEO ENCODING METHOD AND DECODING METHOD, DEVICE THEREOF, THEIR PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM
JPH07162869A (en) Moving image encoder
JPH1023423A (en) Picture encoder and picture decoder
JP2006279573A (en) Encoder and encoding method, and decoder and decoding method
JP2004023444A (en) Moving picture encoding apparatus, and moving picture recording and reproducing apparatus
JPH0564177A (en) Picture encoder
JP2003284075A (en) Method and apparatus for coding moving image, and method and apparatus for decoding
JP3469815B2 (en) Digital video processing device and digital video processing method
JP3674535B2 (en) Video coding method and apparatus
JP3823370B2 (en) Video encoding method, decoding method and apparatus
JP3621332B2 (en) Sprite encoding method and apparatus, sprite encoded data decoding method and apparatus, and recording medium
JP3830013B2 (en) Dissolve image encoding device
JP2007517437A (en) Method for determining reference picture block in direct coding mode
JPH08307860A (en) Scene re-encoder
JP2004056400A (en) Moving picture encoding method and moving picture decoding method
JP3700801B2 (en) Image coding apparatus and image coding method
JP2002185970A (en) Moving image encoder and decoder
JP3188081B2 (en) Image encoding method and image encoding device
JP2001359103A (en) Moving picture data coder, moving picture data transmission method and moving picture data decoder
JP3289695B2 (en) Video encoding method and apparatus
JP2947089B2 (en) Moving picture decoding method and apparatus
JPH11155147A (en) Image reproduction method, image coder, and image coding method
JPH10150665A (en) Method for generating predictive image, and method and device for image encoding
JP4061505B2 (en) Image coding apparatus and method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060308

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060706

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120721

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120721

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150721

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees