JP2008199521A - Image processing apparatus and method thereof - Google Patents

Image processing apparatus and method thereof Download PDF

Info

Publication number
JP2008199521A
JP2008199521A JP2007035245A JP2007035245A JP2008199521A JP 2008199521 A JP2008199521 A JP 2008199521A JP 2007035245 A JP2007035245 A JP 2007035245A JP 2007035245 A JP2007035245 A JP 2007035245A JP 2008199521 A JP2008199521 A JP 2008199521A
Authority
JP
Japan
Prior art keywords
frame
motion vector
motion
unit
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007035245A
Other languages
Japanese (ja)
Inventor
Masaki Suzuki
正樹 鈴木
Original Assignee
Canon Inc
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc, キヤノン株式会社 filed Critical Canon Inc
Priority to JP2007035245A priority Critical patent/JP2008199521A/en
Publication of JP2008199521A publication Critical patent/JP2008199521A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To apply a filter processing, which is faithful to the movement of a moving image object, to a frame to be encoded. <P>SOLUTION: A frame memory 301 stores a latest I-picture frame. A motion vector detector 200 detects, from a frame to be encoded, a motion vector of a moving image object for motion compensation. With the motion vector for motion compensation as a reference, a vector correction unit 303 for preprocessing detects, for filter processing, a motion vector between the I-picture frame stored in the frame memory 301 and a P-picture frame. A preprocessing unit 118 applies, to the frame to be encoded, filter processing based on the motion vector for filter processing. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、動画像の符号化に関する。   The present invention relates to video encoding.
ディジタル化された動画像は情報量が多いため、動画像を記録・伝送するに当ってはデータ圧縮技術が必須である。様々なデータ圧縮技術が提案されているが、その一例として「ITU勧告H.261 オーディオビジュアル・サービス用ビデオ符号化」などのハイブリッド符号化方式が挙げられる。この方式によれば、動き検出・動き補償によるフレーム間信号圧縮符号化により、動画像のデータ圧縮を実現する。さらに、動き検出時に得られた動き情報を利用して、オブジェクトごとの符号化や、動きによる領域分割への応用が期待される。   Since the digitized moving image has a large amount of information, a data compression technique is indispensable for recording and transmitting the moving image. Various data compression techniques have been proposed, and an example thereof is a hybrid coding scheme such as “ITU Recommendation H.261 Video Coding for Audio Visual Services”. According to this method, data compression of moving images is realized by inter-frame signal compression encoding by motion detection / compensation. Furthermore, using the motion information obtained at the time of motion detection, application to encoding for each object and region segmentation by motion is expected.
動画像オブジェクトの動きに合わせた強度のローパスフィルタ処理を行えば、視覚的な劣化が見え難い動画像にすることができる。しかし、動きベクトルの検出は、通常、発生符号量を最小にする観点から行われる。そのため、検出された動きベクトルと動画像オブジェクトの動きの相関は充分に高いとは言えず、動画像オブジェクトの動きに忠実なフィルタ処理などを行うことはできない。   By performing low-pass filter processing with an intensity that matches the motion of the moving image object, it is possible to obtain a moving image in which visual deterioration is difficult to see. However, the detection of the motion vector is usually performed from the viewpoint of minimizing the generated code amount. For this reason, it cannot be said that the correlation between the detected motion vector and the motion of the moving image object is sufficiently high, and it is impossible to perform a filter process that is faithful to the motion of the moving image object.
特開2000-175192公報JP 2000-175192 A
本発明は、動画像オブジェクトの動きに忠実なフィルタ処理を符号化対象フレームに施すことを目的とする。   An object of the present invention is to apply a filtering process faithful to the motion of a moving image object to an encoding target frame.
本発明は、前記の目的を達成する一手段として、以下の構成を備える。   The present invention has the following configuration as one means for achieving the above object.
本発明は、最新のイントラ符号化ピクチャのフレームをメモリに格納し、符号化対象フレームから、動き補償用に、動画像オブジェクトの動きベクトルを検出し、前記動き補償用の動きベクトルを基準として、フィルタ処理用に、前記メモリに格納されたフレームと、前記イントラ符号化ピクチャ以外の予め定められたフレームの間の動きベクトルを検出し、前記フィルタ処理用の動きベクトルに基づくフィルタ処理を前記符号化対象フレームに施すことを特徴とする。   The present invention stores the latest intra-encoded picture frame in a memory, detects a motion vector of a moving image object for motion compensation from the encoding target frame, and uses the motion compensation motion vector as a reference. For filter processing, a motion vector between a frame stored in the memory and a predetermined frame other than the intra-coded picture is detected, and the filter processing based on the motion vector for the filter processing is encoded. It is applied to the target frame.
本発明によれば、動画像オブジェクトの動きに忠実なフィルタ処理を符号化対象フレームに施すことができる。   According to the present invention, it is possible to apply a filtering process faithful to the motion of a moving image object to an encoding target frame.
以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。なお、以下では、動きベクトルを用いた簡単なフレーム間符号化方式を例にとって説明する。しかし、本発明は、これに限定されず、MPEG2、MPEG4符号化のようなフレーム間符号化方式にも適用可能である。   Hereinafter, image processing according to an embodiment of the present invention will be described in detail with reference to the drawings. In the following, a simple inter-frame coding method using motion vectors will be described as an example. However, the present invention is not limited to this, and can also be applied to inter-frame coding schemes such as MPEG2 and MPEG4 coding.
図1は実施例の動画像符号化装置の構成例を示すブロック図である。   FIG. 1 is a block diagram illustrating a configuration example of a moving image encoding apparatus according to an embodiment.
入力端子100には、時間軸方向に連続する複数のフレーム(画像)で構成されるディジタル動画像が入力される。動画像の各フレームは、小さな矩形領域Bij、例えば8×8、16×16画素などに分割されて処理される。また、カラー動画像の処理は、マクロブロック(MB)と呼ばれる矩形領域単位に行われる。MBijの面積はBijの面積より大きい。なお、i, jは個々のブロックまたはマクロブロックを表す添字である。   The input terminal 100 receives a digital moving image composed of a plurality of frames (images) continuous in the time axis direction. Each frame of the moving image is divided into small rectangular areas Bij, for example, 8 × 8, 16 × 16 pixels, and processed. Color moving image processing is performed in units of rectangular areas called macroblocks (MB). The area of MBij is larger than the area of Bij. Note that i and j are subscripts representing individual blocks or macroblocks.
以下では、入力動画像がカラー動画像であると想定して、マクロブロック単位の処理を説明する。従って、以下の説明におけるブロックはマクロブロックのことである。   Hereinafter, it is assumed that the input moving image is a color moving image, and processing in units of macroblocks will be described. Therefore, the block in the following description is a macroblock.
動きベクトル検出部109は、ブロック単位に、フレームメモリ108に記憶された一つ前の符号化対象フレーム(前フレーム)の符号化画像を参照して動きベクトルを検出する。その際、動きベクトル検出部109は、符号化対象ブロックの周囲±15画素の範囲でブロックマッチングを行い、予測誤差の絶対和の平均が最小のブロックを予測ブロックとして、動きベクトルを検出する。   The motion vector detection unit 109 detects a motion vector for each block with reference to the encoded image of the previous encoding target frame (previous frame) stored in the frame memory 108. At that time, the motion vector detection unit 109 performs block matching in a range of ± 15 pixels around the encoding target block, and detects a motion vector using a block having the smallest absolute average of prediction errors as a prediction block.
前処理部117は、ブロック単位に、動きベクトル検出部109の検出情報(動きベクトル)に応じた強度が異なるローパスフィルタ処理を現在符号化しているフレーム(現フレーム)の符号化対象ブロックに施す。例えば、動きベクトルが大、中、小のブロックがあるとすればそれぞれ、強い、中、弱いローパスフィルタ処理を施すことになる。   The preprocessing unit 117 performs, on a block-by-block basis, a low-pass filter process with different intensities according to the detection information (motion vector) of the motion vector detection unit 109 on the current block of the current encoding frame (current frame). For example, if there are large, medium, and small motion vectors, strong, medium, and weak low-pass filter processing is performed, respectively.
前処理部117は、ローパスフィルタ処理のみならず、εフィルタなどの非線形平滑化フィルタ処理を行ってもよい。この場合、εフィルタで定義される周辺信号との閾値を予め三段階に設定し、上記ローパスフィルタ処理の強い、中、弱いに対応させればよい。   The preprocessing unit 117 may perform not only low-pass filter processing but also nonlinear smoothing filter processing such as an ε filter. In this case, the threshold value with respect to the peripheral signal defined by the ε filter may be set in advance in three stages so as to correspond to the strong, medium and weak of the low-pass filter processing.
減算器101は、前処理部117が出力する符号化対象ブロックと、予測画像保持部111が保持する予測画像の対応ブロックの差分信号(予測誤差信号)を出力する。   The subtractor 101 outputs a difference signal (prediction error signal) between the encoding target block output by the preprocessing unit 117 and the corresponding block of the prediction image held by the prediction image holding unit 111.
直交変換部103は、符号化モード判定部102の制御に従い、前処理部117が出力する符号化対象ブロック、または、減算器101が出力する予測誤差信号を、フレーム単位またはブロック単位に直交変換する。量子化部105は、レート制御部112の制御に従い、直交変換部103が出力する直交変換係数をスカラ量子化する。   The orthogonal transform unit 103 orthogonally transforms the encoding target block output from the preprocessing unit 117 or the prediction error signal output from the subtractor 101 into a frame unit or a block unit according to the control of the encoding mode determination unit 102. . The quantization unit 105 performs scalar quantization on the orthogonal transform coefficient output from the orthogonal transform unit 103 under the control of the rate control unit 112.
可変長符号化部104は、量子化部105から入力される量子化値を可変長符号化する。バッファ114は、符号化された複数のフレームをバッファする。そして、レート制御部112の制御に従い、符号化された複数のフレームをデータ圧縮された動画像データとして出力端子115に出力する。   The variable length coding unit 104 performs variable length coding on the quantized value input from the quantization unit 105. The buffer 114 buffers a plurality of encoded frames. Then, according to the control of the rate control unit 112, the plurality of encoded frames are output to the output terminal 115 as data-compressed moving image data.
逆量子化部113は、直交変換部103から出力される量子化値を逆量子化して、直交変換係数を出力する。逆直交変換部106は、逆量子化部113が出力する直交変換係数を逆直交変換してブロックまたは予測誤差信号を再生する。   The inverse quantization unit 113 inversely quantizes the quantized value output from the orthogonal transform unit 103 and outputs an orthogonal transform coefficient. The inverse orthogonal transform unit 106 performs inverse orthogonal transform on the orthogonal transform coefficient output from the inverse quantization unit 113 to reproduce a block or a prediction error signal.
加算器107は、逆直交変換部106が再生したブロックと予測画像保持部111が保持する予測画像の対応ブロックを加算して符号化対象ブロックを再生して、フレームメモリ108の対応領域に格納する。または、逆直交変換部106が再生した予測誤差信号をフレームメモリ108の対応領域に格納する。   The adder 107 adds the corresponding block of the block reproduced by the inverse orthogonal transform unit 106 and the predicted image held by the predicted image holding unit 111 to reproduce the block to be encoded, and stores it in the corresponding region of the frame memory 108 . Alternatively, the prediction error signal reproduced by the inverse orthogonal transform unit 106 is stored in the corresponding area of the frame memory 108.
符号化モード判定部102は、直交変換部103に符号化対象ブロックを直交変換させる場合は、再生された符号化対象ブロックをフレームメモリ108に格納するように加算器107を制御する。また、直交変換部103に予測誤差信号を直交変換させる場合は、再生された予測誤差信号をフレームメモリ108に格納するように加算器107を制御する。つまり、フレームメモリ108は、ローカルデコードされたフレームを記憶する。   When the orthogonal transform unit 103 performs orthogonal transform on the encoding target block, the encoding mode determination unit 102 controls the adder 107 so that the reproduced encoding target block is stored in the frame memory 108. When the orthogonal transform unit 103 performs orthogonal transform on the prediction error signal, the adder 107 is controlled so that the reproduced prediction error signal is stored in the frame memory 108. That is, the frame memory 108 stores the locally decoded frame.
動き補償部110は、動きベクトル検出部109の検出情報(動きベクトル)を用いて、フレームメモリ108に格納された再生フレーム(参照フレーム)から予測画像を生成して予測画像保持部111に格納する。予測画像保持部111は、蓄積した予測画像を減算器101と加算器107に出力する。   The motion compensation unit 110 uses the detection information (motion vector) detected by the motion vector detection unit 109 to generate a prediction image from the reproduction frame (reference frame) stored in the frame memory 108 and store the prediction image in the prediction image holding unit 111. . The predicted image holding unit 111 outputs the accumulated predicted image to the subtracter 101 and the adder 107.
動きベクトル検出部109は、一般に、動きベクトル検出器とベクトルメモリから構成される。動きベクトル検出器は、入力端子100から入力される現フレームと、フレームメモリ108に格納された再生フレーム(前フレームの情報)を利用して、差分信号を最小にする観点から符号化用の動きベクトルの検出を行う。ベクトルメモリは、検出された動きベクトルの情報(以下、単に「動きベクトル」とする)を格納する。ベクトルメモリに格納された動きベクトルは、前処理部117と動き補償部110によって参照される。   The motion vector detection unit 109 generally includes a motion vector detector and a vector memory. The motion vector detector uses the current frame input from the input terminal 100 and the reproduction frame (information of the previous frame) stored in the frame memory 108 to encode motion from the viewpoint of minimizing the difference signal. Perform vector detection. The vector memory stores information on the detected motion vector (hereinafter simply referred to as “motion vector”). The motion vector stored in the vector memory is referred to by the preprocessing unit 117 and the motion compensation unit 110.
図2は前処理用の動きベクトルと、動き補償用の動きベクトルの関係を示す図である。   FIG. 2 is a diagram illustrating a relationship between a motion vector for preprocessing and a motion vector for motion compensation.
動き補償用の動きベクトルは、図4(b)(双方向予測(B-VOP)ありの場合)や図4(c)(B-VOPなしの場合)に示すように、イントラ符号化ピクチャ(Iピクチャ)に対する動画オブジェクトの動きを示している。一方、前処理用の動きベクトルは、図4(a)に示すように、現フレームと前フレームの間で定義される動きベクトルY1、Y2、Y3である。   As shown in FIG. 4 (b) (when bidirectional prediction (B-VOP) is provided) and FIG. 4 (c) (when B-VOP is not provided), motion vectors for motion compensation are represented by intra-coded pictures ( The motion of the moving image object with respect to (I picture) is shown. On the other hand, the motion vectors for preprocessing are motion vectors Y1, Y2, and Y3 defined between the current frame and the previous frame, as shown in FIG. 4 (a).
つまり、前処理用の動きベクトルY1、Y2、Y3と、動き補償用の動きベクトルX1、X2、X3には次の関係がある。
Y1 = X1
Y2 = X2 - X1
Y3 = X3 - X2
In other words, the motion vectors Y1, Y2, and Y3 for preprocessing and the motion vectors X1, X2, and X3 for motion compensation have the following relationship.
Y1 = X1
Y2 = X2-X1
Y3 = X3-X2
図3はハイブリッド前処理補正型の動きベクトル検出部109の構成例を示すブロック図である。   FIG. 3 is a block diagram showing a configuration example of the motion vector detection unit 109 of the hybrid preprocessing correction type.
動きベクトル検出器200は、フレームメモリ108に格納された再生フレームを参照画像として、現フレームの符号化対象ブロックの動きを検出して、符号化の観点から最適な動きベクトルを検出する。ベクトルメモリ201は、動きベクトル検出器200が検出した動きベクトルを格納する。   The motion vector detector 200 detects the motion of the current block encoding target block using the playback frame stored in the frame memory 108 as a reference image, and detects an optimal motion vector from the viewpoint of encoding. The vector memory 201 stores the motion vector detected by the motion vector detector 200.
フレームメモリ301は、最新のIピクチャのフレームを格納する。   The frame memory 301 stores the latest I picture frame.
前処理用ベクトル補正部303は、符号化モード判定部102の信号が予測符号化ピクチャ(Pピクチャ)の符号化を示すと、フレームメモリ301のフレームに基づき、ベクトルメモリ201の動きベクトルを動画オブジェクトの動きに沿って補正する。   When the signal of the coding mode determination unit 102 indicates the coding of the prediction coding picture (P picture), the preprocessing vector correction unit 303 converts the motion vector of the vector memory 201 into the moving image object based on the frame of the frame memory 301. Correct along the movement of
ベクトル正規化部302は、前処理用ベクトル補正部303が出力する動きベクトルを正規化して、前処理部117へ出力する。   The vector normalization unit 302 normalizes the motion vector output from the preprocessing vector correction unit 303 and outputs the normalized motion vector to the preprocessing unit 117.
図4は動きベクトル検出部109の動作例を説明するフローチャートで、IピクチャからPピクチャへの動き検出を説明するフローチャートである。   FIG. 4 is a flowchart for explaining an operation example of the motion vector detection unit 109, and is a flowchart for explaining motion detection from an I picture to a P picture.
動きベクトル検出部109は、Iピクチャのフレームをフレームメモリ301に格納する(S402)。   The motion vector detection unit 109 stores the frame of the I picture in the frame memory 301 (S402).
次に、動きベクトル検出部109は、フレームメモリ108の再生フレームを参照画像として、動画像オブジェクトの動きベクトルを検出する(S403)。そして、検出した動きベクトルをベクトルメモリ201に格納し(S404)、ベクトルメモリ201の動きベクトルを前処理用ベクトル補正部303と動き補償部110へ送信する(S405)。なお、情報の送信単位は、マクロブロック単位でもフレーム単位でも構わない。フレーム単位に情報を送信する場合、1フレーム分の情報が蓄積されるまで情報の送信は行われない。   Next, the motion vector detection unit 109 detects the motion vector of the moving image object using the playback frame of the frame memory 108 as a reference image (S403). The detected motion vector is stored in the vector memory 201 (S404), and the motion vector in the vector memory 201 is transmitted to the preprocessing vector correction unit 303 and the motion compensation unit 110 (S405). The information transmission unit may be a macroblock unit or a frame unit. When transmitting information in units of frames, the information is not transmitted until information for one frame is accumulated.
次に、動きベクトル検出部109は、符号化モード判定部102から入力される信号に基づき、現フレームがPピクチャか否かを判定する(S406)。Pピクチャ以外の場合は処理をステップS410に進める。   Next, the motion vector detection unit 109 determines whether the current frame is a P picture based on the signal input from the coding mode determination unit 102 (S406). If it is not a P picture, the process proceeds to step S410.
現フレームがPピクチャの場合、動きベクトル検出部109は、ベクトルメモリ201の動きベクトルを基準として、フレームメモリ301のIピクチャとPピクチャ(現フレーム)の間の動きベクトルを検出する(S407)。つまり、ベクトルメモリ201の動きベクトルを初期値として、所定画素範囲(例えば±7画素)で動きベクトルを検出する。   When the current frame is a P picture, the motion vector detection unit 109 detects a motion vector between the I picture and the P picture (current frame) in the frame memory 301 with reference to the motion vector in the vector memory 201 (S407). That is, a motion vector is detected in a predetermined pixel range (for example, ± 7 pixels) using the motion vector in the vector memory 201 as an initial value.
そして、ベクトル正規化部302により、検出した動きベクトルを正規化(1/N倍)して(S408)、前処理部117へ送信する(S409)。なお、NはIピクチャからPピクチャまでのフレーム数で、例えばIピクチャ、双方向予測符号化ピクチャ(Bピクチャ)、Bピクチャ、Pピクチャの順にフレームが並んでいればN=3である。   Then, the detected vector is normalized (1 / N times) by the vector normalization unit 302 (S408) and transmitted to the preprocessing unit 117 (S409). N is the number of frames from I picture to P picture. For example, N = 3 if frames are arranged in the order of I picture, bidirectional predictive coded picture (B picture), B picture, and P picture.
次に、動きベクトル検出部109は、Iピクチャが更新されたかを判定し(S410)、未更新であれば処理をステップS403に戻し、Iピクチャが更新された(1GOPが終了した)場合は処理をステップS402に戻す。   Next, the motion vector detection unit 109 determines whether or not the I picture has been updated (S410). If the I picture has not been updated, the process returns to step S403, and if the I picture has been updated (1GOP has ended), the process Is returned to step S402.
このように、動きベクトル検出部109は、符号化用(動き補償用)の動きベクトルに基づき、前処理用の動きベクトルを検出する。従って、動画像オブジェクトの動きとの相関が充分に高い前処理用の動きベクトルを検出することができる。   In this way, the motion vector detection unit 109 detects a motion vector for preprocessing based on a motion vector for encoding (for motion compensation). Accordingly, it is possible to detect a preprocessing motion vector having a sufficiently high correlation with the motion of the moving image object.
また、符号化の観点から検出した動きベクトルの中で、IピクチャからPピクチャ間の動きを示す動きベクトルを利用して、前処理用の動きベクトルを概算(概略検出)するため、簡単な構成で高速に前処理用の動きベクトルを検出することができる。   In addition, a simple configuration is used to estimate (roughly detect) the pre-processing motion vector using the motion vector indicating the motion between the I picture and the P picture among the motion vectors detected from the viewpoint of encoding. Thus, a motion vector for preprocessing can be detected at high speed.
なお、上記のIピクチャからPピクチャへの動き検出ではなく、PピクチャからBピクチャへの動き検出や、双方向予測(B-VOP)も可能である。その場合、図3に示す処理をP-B間のフレーム分、または、所定方向分、行えばよい。   Note that motion detection from a P picture to a B picture and bi-directional prediction (B-VOP) are possible instead of motion detection from the I picture to the P picture. In that case, the process shown in FIG. 3 may be performed for the frame between P-B or for a predetermined direction.
図5は動きベクトル検出部109の別の動作例を説明するフローチャートで、Iピクチャの次のBまたはPピクチャへの動き検出を説明するフローチャートである。   FIG. 5 is a flowchart for explaining another example of the operation of the motion vector detection unit 109, and is a flowchart for explaining the motion detection from the I picture to the next B or P picture.
Iピクチャの次のBまたはPピクチャへの動きを検出する場合、図3に示すベクトル正規化部302は不要である。つまり、ステップS411の判定により、Iピクチャの次のフレームの場合はIピクチャと当該フレームの間の動きベクトルを検出し(S412)、正規化(S408)を行わず、検出した動きベクトルを前処理部117に送信する(S409)。   When detecting a motion from the I picture to the next B or P picture, the vector normalization unit 302 shown in FIG. 3 is unnecessary. That is, as a result of the determination in step S411, in the case of the frame next to the I picture, the motion vector between the I picture and the frame is detected (S412), and the detected motion vector is preprocessed without performing normalization (S408). The data is transmitted to the unit 117 (S409).
このようにすれば、Iピクチャから1フレーム離れたピクチャの間の動画オブジェクトの動きを検出することになり、より精度の高い前処理用の動きベクトルを検出することができる。   In this way, the motion of the moving image object between the pictures one frame away from the I picture is detected, and a more accurate preprocessing motion vector can be detected.
前処理部117は、このようにして検出された前処理用の動きベクトルに基づき、動画像オブジェクトの動きに合わせた強度のローパスフィルタ処理を行う。従って、動画像オブジェクトの動きに忠実な動的フィルタ処理を行うことができ、視覚的な劣化が見え難い動画像にすることができる。   The preprocessing unit 117 performs low-pass filter processing with an intensity matched to the motion of the moving image object based on the motion vector for preprocessing detected in this way. Therefore, dynamic filter processing faithful to the motion of the moving image object can be performed, and a moving image in which visual deterioration is difficult to see can be obtained.
[他の実施例]
なお、本発明は、複数の機器(例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置、制御装置など)に適用してもよい。
[Other embodiments]
Note that the present invention can be applied to a system including a plurality of devices (for example, a computer, an interface device, a reader, a printer, etc.), but an apparatus (for example, a copier, a facsimile machine, a control device) including a single device. Etc.).
また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記憶媒体をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ(CPUやMPU)が前記コンピュータプログラムを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する記憶媒体は本発明を構成する。   Another object of the present invention is to supply a storage medium storing a computer program for realizing the functions of the above embodiments to a system or apparatus, and the computer (CPU or MPU) of the system or apparatus executes the computer program. But it is achieved. In this case, the software itself read from the storage medium realizes the functions of the above-described embodiments, and the computer program and the storage medium storing the computer program constitute the present invention.
また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。   Further, the above functions are not only realized by the execution of the computer program. That is, it includes a case where an operating system (OS) or the like running on the computer performs part or all of the actual processing according to an instruction of the computer program, thereby realizing the above functions.
また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、前記カードやユニットのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。   The computer program may be written in a function expansion card connected to the computer or a memory of the unit. That is, the case where the above functions are realized by the CPU or the CPU of the unit performing part or all of the actual processing in accordance with the instruction of the computer program.
本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。   When the present invention is applied to the storage medium, the storage medium stores a computer program corresponding to or related to the flowchart described above.
実施例の動画像符号化装置の構成例を示すブロック図、A block diagram showing a configuration example of a moving image encoding device of an embodiment, 前処理用の動きベクトルと、動き補償用の動きベクトルの関係を示す図、The figure which shows the relationship between the motion vector for pre-processing, and the motion vector for motion compensation, ハイブリッド前処理補正型の動きベクトル検出部の構成例を示すブロック図、Block diagram showing a configuration example of a hybrid preprocessing correction type motion vector detection unit, 動きベクトル検出部の動作例を説明するフローチャート、A flowchart for explaining an operation example of the motion vector detection unit; 動きベクトル検出部の別の動作例を説明するフローチャートである。It is a flowchart explaining another example of operation | movement of a motion vector detection part.

Claims (8)

  1. 最新のイントラ符号化ピクチャのフレームを格納するメモリと、
    符号化対象フレームから、動き補償用に、動画像オブジェクトの動きベクトルを検出する第一の検出手段と、
    前記動き補償用の動きベクトルを基準として、フィルタ処理用に、前記メモリに格納されたフレームと、前記イントラ符号化ピクチャ以外の予め定められたフレームの間の動きベクトルを検出する第二の検出手段と、
    前記フィルタ処理用の動きベクトルに基づくフィルタ処理を前記符号化対象フレームに施すフィルタ処理手段とを有することを特徴とする画像処理装置。
    A memory for storing the latest intra-coded picture frame;
    First detection means for detecting a motion vector of a moving image object for motion compensation from an encoding target frame;
    Second detection means for detecting a motion vector between a frame stored in the memory and a predetermined frame other than the intra-encoded picture for filter processing on the basis of the motion compensation motion vector When,
    An image processing apparatus comprising: a filter processing unit that applies a filter process based on the motion vector for the filter process to the encoding target frame.
  2. 前記第一および第二の検出手段は、マクロブロック単位に前記動きベクトルを検出し、前記フィルタ処理手段は、前記マクロブロック単位の動きベクトルに基づき、前記マクロブロック単位に前記フィルタ処理を行うことを特徴とする請求項1に記載された画像処理装置。   The first and second detection means detect the motion vector for each macroblock, and the filter processing means performs the filter processing for each macroblock based on the motion vector for each macroblock. 2. The image processing apparatus according to claim 1, wherein
  3. 前記予め定められたフレームは、予測符号化ピクチャのフレームであることを特徴とする請求項1または請求項2に記載された画像処理装置。   3. The image processing apparatus according to claim 1, wherein the predetermined frame is a frame of a predictive coded picture.
  4. 前記予め定められたフレームは、前記イントラ符号化ピクチャのフレームの次のフレームであることを特徴とする請求項1または請求項2に記載された画像処理装置。   3. The image processing apparatus according to claim 1, wherein the predetermined frame is a frame next to the frame of the intra-coded picture.
  5. 前記フィルタ処理は、ローパスフィルタを用いる処理であることを特徴とする請求項1から請求項4の何れか一項に記載された画像処理装置。   5. The image processing apparatus according to claim 1, wherein the filter process is a process using a low-pass filter.
  6. 最新のイントラ符号化ピクチャのフレームをメモリに格納し、
    符号化対象フレームから、動き補償用に、動画像オブジェクトの動きベクトルを検出し、
    前記動き補償用の動きベクトルを基準として、フィルタ処理用に、前記メモリに格納されたフレームと、前記イントラ符号化ピクチャ以外の予め定められたフレームの間の動きベクトルを検出し、
    前記フィルタ処理用の動きベクトルに基づくフィルタ処理を前記符号化対象フレームに施すことを特徴とする画像処理方法。
    Store the latest intra coded picture frame in memory,
    The motion vector of the moving image object is detected from the encoding target frame for motion compensation,
    Detecting a motion vector between a frame stored in the memory and a predetermined frame other than the intra-coded picture for filter processing with the motion compensation motion vector as a reference,
    An image processing method, wherein a filtering process based on the motion vector for the filtering process is performed on the encoding target frame.
  7. コンピュータ装置を制御して、請求項1から請求項5の何れか一項に記載された画像処理装置の各手段として機能させることを特徴とするコンピュータプログラム。   6. A computer program for controlling a computer device to function as each unit of the image processing device according to claim 1.
  8. 請求項7に記載されたコンピュータプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記憶媒体。   8. A computer-readable storage medium in which the computer program according to claim 7 is recorded.
JP2007035245A 2007-02-15 2007-02-15 Image processing apparatus and method thereof Withdrawn JP2008199521A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007035245A JP2008199521A (en) 2007-02-15 2007-02-15 Image processing apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007035245A JP2008199521A (en) 2007-02-15 2007-02-15 Image processing apparatus and method thereof

Publications (1)

Publication Number Publication Date
JP2008199521A true JP2008199521A (en) 2008-08-28

Family

ID=39758049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007035245A Withdrawn JP2008199521A (en) 2007-02-15 2007-02-15 Image processing apparatus and method thereof

Country Status (1)

Country Link
JP (1) JP2008199521A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010093377A (en) * 2008-10-03 2010-04-22 Fujitsu Ltd Image prediction apparatus and method, image encoding apparatus, and image decoding apparatus
JP2015508954A (en) * 2012-01-26 2015-03-23 アップル インコーポレイテッド Encoding based on object detection information

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010093377A (en) * 2008-10-03 2010-04-22 Fujitsu Ltd Image prediction apparatus and method, image encoding apparatus, and image decoding apparatus
US8306116B2 (en) 2008-10-03 2012-11-06 Fujitsu Limited Image prediction apparatus and method, image encoding apparatus, and image decoding apparatus
JP2015508954A (en) * 2012-01-26 2015-03-23 アップル インコーポレイテッド Encoding based on object detection information
US10205953B2 (en) 2012-01-26 2019-02-12 Apple Inc. Object detection informed encoding

Similar Documents

Publication Publication Date Title
US9414086B2 (en) Partial frame utilization in video codecs
JP4261630B2 (en) Image encoding apparatus and method, and computer-readable recording medium on which an image encoding program is recorded
JP5197591B2 (en) VIDEO ENCODING METHOD AND DECODING METHOD, DEVICE THEREOF, THEIR PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM
HU217744B (en) Method and apparatus for preventing rounding errors when transform coefficients representing a motion picture signal are inversely transformed, as well as, method and apparatus for compressing motion picture signal, apparatus for expanding motion pictu...
JP2008193530A (en) Image recorder, image recording method and program
KR100415494B1 (en) Image encoding method and apparatus, recording apparatus, video signal encoding apparatus, processing apparatus and method, video data processing apparatus and method
JP4732184B2 (en) Moving picture encoding apparatus and control method therefor, computer program, and storage medium
JP5426655B2 (en) Compressed video encoding device, compressed video decoding device, compressed video encoding method, and compressed video decoding method
US9113174B2 (en) Predictive coding apparatus, control method thereof, and computer program
JP2007134755A (en) Moving picture encoder and image recording and reproducing device
JP5178616B2 (en) Scene change detection device and video recording device
KR102162856B1 (en) Apparatus and method for video motion compensation
US10021397B2 (en) Semiconductor device
JP2004180345A (en) Photographed image recording apparatus
JP2008199521A (en) Image processing apparatus and method thereof
JP2005506776A (en) Method and system for skipping decoding of overlay video area
JP2006246277A (en) Re-encoding apparatus, re-encoding method, and re-encoding program
JP3812808B2 (en) Skip region detection type moving image encoding apparatus and recording medium
JP4126044B2 (en) Video encoding apparatus and method
JPH11308617A (en) Digital image coder and motion vector detector used therefor
JP2018085660A (en) Image encoder
JP2006295734A (en) Re-encoding apparatus, re-encoding method, and re-encoding program
JP5063548B2 (en) Encoding apparatus and encoding method
JP2020028024A (en) Image encoding apparatus, control method therefor, and program
JP2021044706A (en) Image encoding device, and control method and program thereof

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20100511