JP2007020123A - Apparatus and method for detecting motion - Google Patents

Apparatus and method for detecting motion Download PDF

Info

Publication number
JP2007020123A
JP2007020123A JP2005202275A JP2005202275A JP2007020123A JP 2007020123 A JP2007020123 A JP 2007020123A JP 2005202275 A JP2005202275 A JP 2005202275A JP 2005202275 A JP2005202275 A JP 2005202275A JP 2007020123 A JP2007020123 A JP 2007020123A
Authority
JP
Japan
Prior art keywords
pixel data
encoding
target image
encoding target
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005202275A
Other languages
Japanese (ja)
Inventor
Kyoko Uchibayashi
京子 内林
Masayasu Iguchi
雅保 井口
Toshiyasu Sugio
敏康 杉尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2005202275A priority Critical patent/JP2007020123A/en
Publication of JP2007020123A publication Critical patent/JP2007020123A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an apparatus and method for detecting motion in which the amount of data to be transferred to a local memory is reduced, seen by a plurality of encoding target pictures in image encoding processing. <P>SOLUTION: The motion detection apparatus comprises (a) an encoding target block local memory 111 for storing pixel data in a first encoding target image region, belonging to a first encoding target picture; (b) an encoding target block local memory 112 for storing pixel data in a second encoding target image region, belonging to a second encoding target picture; (c) a reference local memory 52 for storing pixel data in a reference target image region, belonging to a reference picture to be used for motion detection of the first encoding target picture and the second encoding target picture; (d) and a motion detector 113 for detecting motion between pictures, by performing block matching upon the pixel data in the reference target image region, the pixel data in the first encoding target image region, and the pixel data in the second encoding target image region, respectively. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、符号化対象ピクチャに属する符号化対象画像領域の画素データと参照ピクチャに属する参照対象画像領域の画素データとに対してブロックマッチング演算を行い、ピクチャ間の動きを検出する動き検出装置に関する。   The present invention relates to a motion detection apparatus that detects a motion between pictures by performing a block matching operation on pixel data of an encoding target image region belonging to an encoding target picture and pixel data of a reference target image region belonging to a reference picture. About.

近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり、新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきている。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、これらの情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。   In recent years, the multimedia era has come to handle voice, images, and other pixel values in an integrated manner, and traditional information media, that is, means for transmitting information such as newspapers, magazines, televisions, radios, and telephones to people are multimedia. It has come to be taken up as a target of. In general, multimedia refers to not only characters but also figures, sounds, especially images, etc. that are associated with each other at the same time. To make these information media multimedia, the information is converted into digital form. It is a necessary condition to express.

ところが、各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合は、1文字当たりの情報量が1〜2バイトであるのに対し、音声の場合は、1秒当たり64Kbit(電話品質)が必要となる。さらに、動画については、1秒当たり100Mbit(現行テレビ受信品質)以上の情報量が必要となる。このように、これらの情報メディアに対して、その膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbit/sの伝送速度を持つサービス総合ディジタル網(ISDN:Integrated Services Digital Network)によってすでに実用化されている。しかし、テレビ・カメラの映像をそのままISDNで送ることは不可能である。   However, when the information amount of each information medium is estimated as a digital information amount, the amount of information per character is 1 to 2 bytes in the case of characters, while 64 Kbit per second in the case of speech. (Phone quality) is required. Furthermore, for a moving image, an information amount of 100 Mbit per second (current television reception quality) or more is required. As described above, it is not realistic to handle such an enormous amount of information as it is in digital format. For example, a video phone has already been put into practical use by an integrated services digital network (ISDN) having a transmission rate of 64 Kbit / s to 1.5 Mbit / s. However, it is impossible to send the video of the TV camera as it is with ISDN.

そこで、必要となってくるのが情報の圧縮技術である。例えば、テレビ電話の場合、ITU−T(国際電気通信連合 電気通信標準化部門)で勧告されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG−1規格の情報圧縮技術によると、通常の音楽用CD(コンパクト・ディスク)に音声情報とともに画像情報を入れることも可能となる。   Therefore, information compression technology is required. For example, in the case of a videophone, H.264 recommended by ITU-T (International Telecommunication Union Telecommunication Standardization Sector). 261 and H.264. H.263 standard video compression technology is used. In addition, according to the information compression technology of the MPEG-1 standard, it is possible to put image information together with audio information on a normal music CD (compact disc).

ここで、MPEG(Moving Picture Experts Group)とは、ISO/IEC(国際標準化機構 国際電気標準会議)で標準化された動画像信号圧縮の国際規格であり、MPEG−1は、動画像信号を1.5Mbpsまで、つまり、テレビ信号の情報を約100分の1にまで圧縮する規格である。また、MPEG−1規格では対象とする品質を中程度の品質、具体的には、主として約1.5Mbpsの伝送速度で実現できる程度の品質としている。これに対して、さらなる高画質化の要求をみたすべく規格化されたMPEG−2では、動画像信号を2〜15MbpsでTV放送品質を実現する。さらに、現状では、MPEG−1、MPEG−2と標準化を進めてきた作業グループ(ISO/IEC JTC1/SC29/WG11) によって、MPEG−1、MPEG−2を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG−4が規格化されている。MPEG−4では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。   Here, MPEG (Moving Picture Experts Group) is an international standard for video signal compression standardized by ISO / IEC (International Electrotechnical Commission). This is a standard for compressing information of a television signal up to 5 Mbps, that is, about 1/100. In the MPEG-1 standard, the target quality is a medium quality, specifically, a quality that can be realized mainly at a transmission rate of about 1.5 Mbps. On the other hand, MPEG-2, which is standardized to meet the demand for higher image quality, realizes TV broadcast quality at 2 to 15 Mbps for moving image signals. Furthermore, at present, the work group (ISO / IEC JTC1 / SC29 / WG11) that has been standardizing with MPEG-1 and MPEG-2 achieves a compression ratio that exceeds MPEG-1 and MPEG-2, and further, unit by object. MPEG-4 has been standardized, which enables encoding, decoding, and operation and realizing new functions necessary in the multimedia era. In MPEG-4, it was originally aimed at standardizing a low bit rate encoding method, but now it has been extended to a more general encoding including a high bit rate including interlaced images.

さらに、2003年に、ISO/IECとITU−Tが共同でより高圧縮率の画像符号化方式として、MPEG−4 AVCおよびITU H.264 が標準化されている(例えば、非特許文献1参照。)。H.264規格は、現在HD(High Definition)画像などに適したHigh Profile対応の改正規格案を策定中である。H.264規格のアプリケーションとしては、MPEG−2やMPEG−4と同様にディジタル放送、DVDプレーヤ/レコーダ、ハードディスクプレーヤ/レコーダ、カムコーダ、テレビ電話などに広がることが予想されている。   Further, in 2003, MPEG-4 AVC and ITU H.264 were jointly developed by ISO / IEC and ITU-T as image compression systems with higher compression rates. H.264 is standardized (for example, see Non-Patent Document 1). H. The H.264 standard is currently drafting an amended standard draft compatible with High Profile suitable for HD (High Definition) images and the like. H. Applications of the H.264 standard are expected to spread to digital broadcasting, DVD players / recorders, hard disk players / recorders, camcorders, videophones, and the like, similar to MPEG-2 and MPEG-4.

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで、時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、1つのフレームが時刻の異なる2つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、1つのフレームをフレームのまま処理したり、2つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。   In general, in encoding of moving images, the amount of information is compressed by reducing redundancy in the time direction and the spatial direction. Therefore, in inter-screen predictive coding for the purpose of reducing temporal redundancy, motion detection and prediction image creation are performed in block units with reference to the front or rear picture, and the obtained prediction image and code are obtained. Encoding is performed on the difference value from the current picture. Here, a picture is a term representing a single screen, which means a frame in a progressive image and a frame or field in an interlaced image. Here, an interlaced image is an image in which one frame is composed of two fields having different times. In interlaced image encoding and decoding processing, one frame may be processed as a frame, processed as two fields, or processed as a frame structure or a field structure for each block in the frame. it can.

参照画像を持たず画面内予測符号化を行うものをIピクチャと呼ぶ。また、1枚の参照画像のみを参照し画面間予測符号化を行うものをPピクチャと呼ぶ。また、同時に2枚の参照画像を参照して画面間予測符号化を行うことのできるものをBピクチャと呼ぶ。Bピクチャは表示時間が前方もしくは後方から任意の組み合わせとして2枚のピクチャを参照することが可能である。参照画像(参照ピクチャ)は符号化の基本単位であるマクロブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第1参照ピクチャ、後に記述される方を第2参照ピクチャとして区別する。ただし、これらのピクチャを符号化する場合の条件として、参照するピクチャが既に符号化されている必要がある。なお、PピクチャとBピクチャにおいては、その中の符号化単位ブロックが画面内予測符号化を行なうものと画面間予測符号化を行なうものとを選択することができる。   A picture that does not have a reference picture and performs intra prediction coding is called an I picture. A picture that performs inter-frame predictive coding with reference to only one reference picture is called a P picture. A picture that can be subjected to inter-picture prediction coding with reference to two reference pictures at the same time is called a B picture. The B picture can refer to two pictures as an arbitrary combination of display times from the front or the rear. A reference picture (reference picture) can be specified for each macroblock that is a basic unit of encoding. The reference picture described earlier in the encoded bitstream is the first reference picture, The one described is distinguished as the second reference picture. However, as a condition for encoding these pictures, the picture to be referenced needs to be already encoded. In addition, in the P picture and the B picture, it is possible to select the coding unit block in which the intra-frame prediction coding is performed or the inter-frame prediction coding is performed.

Pピクチャ又はBピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量(以下、これを動きベクトルと呼ぶ)を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。   Motion compensation inter-picture prediction coding is used for coding a P picture or a B picture. The motion compensation inter-picture prediction encoding is an encoding method in which motion compensation is applied to inter-picture prediction encoding. Motion compensation is not simply predicting from the pixel value of the reference frame, but detecting the amount of motion of each part in the picture (hereinafter referred to as a motion vector) and performing prediction in consideration of the amount of motion. This improves the prediction accuracy and reduces the amount of data. For example, the amount of data is reduced by detecting the motion vector of the encoding target picture and encoding the prediction residual between the prediction value shifted by the motion vector and the encoding target picture. In the case of this method, since motion vector information is required at the time of decoding, the motion vector is also encoded and recorded or transmitted.

動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。   The motion vector is detected in units of macroblocks. Specifically, the macroblock on the encoding target picture side is fixed, the macroblock on the reference picture side is moved within the search range, and is most similar to the reference block. The motion vector is detected by finding the position of the reference block.

図9は、従来の画面間予測符号化装置の構成を示すブロック図である。同図に示されるように、画面間予測符号化装置10は、入力メモリ11、マルチフレームメモリ12、動き検出部13、動き補償部14、動きベクトル予測・DifMV算出部15、動きベクトルメモリ16、周波数変換・量子化部17、逆周波数変換・逆量子化部18、再生成部19、および符号化処理部20などを備える。   FIG. 9 is a block diagram showing a configuration of a conventional inter-picture prediction encoding apparatus. As shown in the figure, the inter-picture prediction encoding apparatus 10 includes an input memory 11, a multi-frame memory 12, a motion detection unit 13, a motion compensation unit 14, a motion vector prediction / DifMV calculation unit 15, a motion vector memory 16, A frequency conversion / quantization unit 17, an inverse frequency conversion / inverse quantization unit 18, a regeneration unit 19, an encoding processing unit 20, and the like are provided.

動き検出部13は、マルチフレームメモリ12から出力される動き検出参照画素31と、入力メモリ11に蓄積されている原画像画素32とを比較し、動きベクトル33と参照フレーム番号34とを出力する。参照フレーム番号34は、複数の参照画像の中から選択された、対象画像で参照する参照画像を特定する識別信号である。動きベクトルMVは、動きベクトルメモリ16に一時的に記憶されたのち近傍動きベクトル35として出力され、動きベクトル予測・DifMV算出部15にて予測動きベクトルを予測するために参照される近傍動きベクトルとして使用される。動きベクトル予測・DifMV算出部15では動きベクトル33から予測動きベクトルを減算し、その差を動きベクトル予測差分36として出力する。   The motion detection unit 13 compares the motion detection reference pixel 31 output from the multi-frame memory 12 with the original image pixel 32 stored in the input memory 11, and outputs a motion vector 33 and a reference frame number 34. . The reference frame number 34 is an identification signal that identifies a reference image that is selected from a plurality of reference images and that is referred to by the target image. The motion vector MV is temporarily stored in the motion vector memory 16 and then output as a neighborhood motion vector 35. As a neighborhood motion vector referred to in order to predict a motion vector predictor by the motion vector prediction / DifMV calculation unit 15. used. The motion vector prediction / DifMV calculation unit 15 subtracts the predicted motion vector from the motion vector 33 and outputs the difference as a motion vector prediction difference 36.

一方、マルチフレームメモリ12は、参照フレーム番号34および動きベクトル33で示される画素を動き補償参照画素37として出力する。動き補償部14は、小数画素精度の参照画素を生成して入力メモリ11からの原画像32との画面予測誤差38を出力する。   On the other hand, the multi-frame memory 12 outputs the pixel indicated by the reference frame number 34 and the motion vector 33 as the motion compensation reference pixel 37. The motion compensation unit 14 generates a reference pixel with decimal pixel accuracy and outputs a screen prediction error 38 with the original image 32 from the input memory 11.

画面予測誤差38は、周波数変換・量子化部17で周波数変換および量子化処理され、量子化後の係数39は、符号化処理部20へ出力されると同時に、逆周波数変換・逆量子化部18で逆量子化処理および逆周波数変換される。周波数変換・量子化部17から出力された量子化後係数39と動きベクトル予測差分36、参照フレーム番号34は、符号化処理部20で可変長符号化し、符号化信号42を出力する。また、逆周波数変換・逆量子化部18から出力された符号画面予測誤差40は、再生成部19において、画面予測誤差38と加算され、符号画素41としてマルチフレームメモリ12に記憶される。ただし、マルチフレームメモリ12の容量を有効に利用するため、マルチフレームメモリ12に記憶されている画面の領域は不要な場合は開放され、またマルチフレームメモリ12に記憶する必要が無い画面の復号画面41はマルチフレームメモリ12に記憶されない。   The screen prediction error 38 is subjected to frequency conversion and quantization processing by the frequency conversion / quantization unit 17, and the quantized coefficient 39 is output to the encoding processing unit 20 at the same time as the inverse frequency conversion / inverse quantization unit. At 18, the inverse quantization process and the inverse frequency conversion are performed. The post-quantization coefficient 39, the motion vector prediction difference 36, and the reference frame number 34 output from the frequency transform / quantization unit 17 are variable-length encoded by the encoding processing unit 20, and an encoded signal 42 is output. The code screen prediction error 40 output from the inverse frequency transform / inverse quantization unit 18 is added to the screen prediction error 38 in the regeneration unit 19 and is stored in the multiframe memory 12 as the code pixel 41. However, in order to make effective use of the capacity of the multi-frame memory 12, the screen area stored in the multi-frame memory 12 is released when it is unnecessary, and the decoded screen of the screen that does not need to be stored in the multi-frame memory 12 41 is not stored in the multi-frame memory 12.

ところで、図9で示される画面間予測符号化装置を実装するための構成は、一例として、例えば、特許文献1などに示されている。この特許文献1において示されているように、画面間予測符号化装置10をLSIなどで実装する場合には、図9に示されているマルチフレームメモリ12は、LSI外に接続する外部フレームメモリと動き検出部13でブロックマッチング探索時に直接アクセスするLSI内部のローカルメモリとに分割されて実装される。また、入力メモリ11も外部入力メモリとLSI内部の符号化対象ブロックローカルメモリとに分割されて実装される。   By the way, the structure for mounting the inter-screen prediction encoding apparatus shown in FIG. 9 is shown as an example in Patent Document 1, for example. As shown in Patent Document 1, when the inter-picture prediction encoding apparatus 10 is mounted on an LSI or the like, the multi-frame memory 12 shown in FIG. 9 is an external frame memory connected outside the LSI. And divided into a local memory inside the LSI that is directly accessed at the time of block matching search by the motion detection unit 13. The input memory 11 is also divided into an external input memory and an encoding target block local memory inside the LSI.

図10は、上記画面間予測符号化装置とフレームメモリの接続構成を説明するための図である。同図において、図9と同一符号は同一の機能を持つものとし、その説明を省略する。外部フレームメモリ51は、LSI外に実現するフレームメモリである。参照用ローカルメモリ52は、LSI内部のローカルメモリであり、動き検出器13でのブロックマッチング探索時および、動き補償器14での動き補償予測画素生成時に直接アクセスされる。また、外部入力メモリ53は、LSI外に実現するフレームメモリであり、入力画像が格納される。符号化対象ブロックローカルメモリ54は、LSI内部のローカルメモリであり、動き検出器13、動き補償器14でブロックマッチング時、画面予測誤差生成時に直接アクセスされる。なお、動き検出装置50は、画面間予測符号化装置10のLSIに実装する部分を表している。   FIG. 10 is a diagram for explaining a connection configuration between the inter-picture prediction encoding apparatus and the frame memory. In the figure, the same reference numerals as those in FIG. 9 have the same functions, and the description thereof is omitted. The external frame memory 51 is a frame memory realized outside the LSI. The reference local memory 52 is a local memory inside the LSI, and is directly accessed when a block matching search is performed by the motion detector 13 and when a motion compensated prediction pixel is generated by the motion compensator 14. The external input memory 53 is a frame memory realized outside the LSI, and stores an input image. The encoding target block local memory 54 is a local memory inside the LSI, and is directly accessed by the motion detector 13 and the motion compensator 14 at the time of block matching and when a screen prediction error is generated. The motion detection device 50 represents a portion mounted on the LSI of the inter-screen predictive coding device 10.

図10において動き検出を行う場合は、まず、探索対象となる画像領域が外部フレームメモリ51から外部バス61を介して参照用ローカルメモリ52に転送される。また、符号化対象の原画像が外部入力メモリ53から外部バス62を介して符号化対象ブロックローカルメモリ54に転送される。次に、参照用ローカルメモリ52と符号化対象ブロックローカルメモリ54とから内部バス63、64を介してそれぞれデータが読み出され、動き検出器13によって動き検出が行われる。また、動き補償を行なう場合は、外部フレームメモリ51から動き検出で決定された位置の画像領域が外部バス61を介して参照用ローカルメモリ52に転送され、これを用いて動き補償器14では動き補償予測画素を生成し、符号化対象ブロックローカルメモリ54からの原画像との画面予測誤差を生成する。このような構成をとることによって、LSIの内部メモリの容量を削減している。   When motion detection is performed in FIG. 10, first, an image area to be searched is transferred from the external frame memory 51 to the reference local memory 52 via the external bus 61. The original image to be encoded is transferred from the external input memory 53 to the encoding target block local memory 54 via the external bus 62. Next, data is read from the reference local memory 52 and the encoding target block local memory 54 via the internal buses 63 and 64, and motion detection is performed by the motion detector 13. When motion compensation is performed, the image area at the position determined by motion detection is transferred from the external frame memory 51 to the reference local memory 52 via the external bus 61, and the motion compensator 14 uses this to transfer motion. A compensation prediction pixel is generated, and a screen prediction error with the original image from the encoding target block local memory 54 is generated. By adopting such a configuration, the capacity of the internal memory of the LSI is reduced.

図11は、参照用ローカルメモリ52のデータ構成を示す一例である。図11(a)は、MPEG−2のSD(Standard Definition)サイズ画像、図11(b)は、H.264のSDサイズ画像、図11(c)は、MPEG−2のHDサイズ画像、および図11(d)は、H.264のHDサイズ画像を想定した場合における参照用ローカルメモリの状態をそれぞれ表している。   FIG. 11 shows an example of the data structure of the reference local memory 52. 11A shows an MPEG-2 standard definition (SD) size image, and FIG. H.264 SD size image, FIG. 11C shows an MPEG-2 HD size image, and FIG. Each state of the local memory for reference when an H.264 HD size image is assumed is shown.

また、図12は、1画面あたりで転送する参照画素の状態を示す模式図である。同図において、1MB(Macro Block)単位(=16画素×16画素)で動き検出処理を行う場合、1MB行分の動き検出を行うためには、(探索範囲の縦の長さ)×(1画面の横幅)分のメモリ転送が必要となることを表しており、1画面分の動き検出を行う時には、さらに1画面の縦のMB数をかける分のメモリ転送量が必要であることを示している。   FIG. 12 is a schematic diagram showing the state of reference pixels transferred per screen. In the figure, when motion detection processing is performed in units of 1 MB (Macro Block) (= 16 pixels × 16 pixels), in order to perform motion detection for 1 MB rows, (vertical length of search range) × (1 This means that memory transfer for the horizontal width of the screen is required. When motion detection for one screen is performed, the memory transfer amount for multiplying the number of vertical MBs on one screen is required. ing.

例えば、図11(a)に示されるように、一般的に、外部フレームメモリ51から参照用ローカルメモリ52への転送処理と、参照用ローカルメモリ52と動き検出器13を用いて行う動き検出処理とは、並列動作をさせるようにし、全体的な動作速度の向上を図るため、斜線部で示される更新領域も必要となる。つまり、MPEG−2などのSDサイズ画像(720画素×480画素、45MB×30MB)で、縦横−16から+16の探索範囲とした場合は、(16+16×2)×720×30=1,036,800の画素が1画面あたりの動き検出で転送されることになる。   For example, as shown in FIG. 11A, generally, transfer processing from the external frame memory 51 to the reference local memory 52 and motion detection processing performed using the reference local memory 52 and the motion detector 13 are performed. In order to perform parallel operation and to improve the overall operation speed, an update area indicated by hatching is also required. That is, in an SD size image (720 pixels × 480 pixels, 45 MB × 30 MB) such as MPEG-2, when the search range is from −16 to +16 in the vertical and horizontal directions, (16 + 16 × 2) × 720 × 30 = 1,036 800 pixels are transferred by motion detection per screen.

図11(b)に示されるように、H.264のSDサイズ画像を想定した参照用ローカルメモリの管理状態では、H.264では小数画素精度の動き補償には6タップのフィルタを用いるため、従来のMPEG−2などより周辺画素が多く必要となる。つまり、MPEG−2などでは小数精度画素位置を囲む4つの整数画素から小数精度画素を作る。しかし、6タップフィルタの場合は、36の整数画素から小数精度画素を作るため、同じ領域で探索を行う場合でも、MPEG−2と比べ、上2行、下2行、左2列、右2列の画素が必要となる。従って、H.264などのSDサイズ画像で、縦横−16から+16の探索範囲とした場合、(16+16×2+4)×720×30=1,123,200の画素が1画面あたりの動き検出で転送されることになる。   As shown in FIG. In the management state of the reference local memory assuming an H.264 SD size image, H.264 is used. In H.264, since a 6-tap filter is used for motion compensation with decimal pixel accuracy, more peripheral pixels are required than in conventional MPEG-2. That is, in MPEG-2 or the like, a decimal precision pixel is created from four integer pixels surrounding a decimal precision pixel position. However, in the case of a 6-tap filter, decimal precision pixels are created from 36 integer pixels, so even when searching in the same region, compared to MPEG-2, the top 2 rows, the bottom 2 rows, the left 2 columns, the right 2 A column of pixels is required. Therefore, H.I. In an SD size image such as H.264, when the search range is −16 to +16 in the vertical and horizontal directions, (16 + 16 × 2 + 4) × 720 × 30 = 1, 123,200 pixels are transferred by motion detection per screen. Become.

また、図11(c)に示されるように、MPEG−2のHDサイズ画像を想定した参照用ローカルメモリの管理状態では、HDサイズの画像はSDサイズの画像に対して約6倍の画素数を持つため、ここでは簡単のため上下、左右それぞれ2.5倍の参照領域を探索するものとしている。従って、縦横の探索範囲は−40〜+39の画素となり、同様に、(16+40×2)×1,920×68=12,533,760の画素が1画面あたりの動き検出で転送されることになる。   Further, as shown in FIG. 11C, in the management state of the reference local memory assuming an MPEG-2 HD size image, the HD size image has about six times the number of pixels as the SD size image. Therefore, for the sake of simplicity, the reference area is searched 2.5 times in the vertical and horizontal directions. Accordingly, the vertical and horizontal search range is −40 to +39 pixels, and similarly, (16 + 40 × 2) × 1,920 × 68 = 12,533,760 pixels are transferred by motion detection per screen. Become.

さらに、図11(d)に示されるように、H.264のHDサイズ画像を想定した参照用ローカルメモリの管理状態では、同様に、(16+40×2+4)×1,920×68=13,056,000の画素が1画面あたりの動き検出で転送されることになる。結果、MPEG−2のSDサイズとは桁違いに多い転送量となり、電力消費量も大きくなってしまう。   Further, as shown in FIG. Similarly, in the management state of the reference local memory assuming an H.264 HD size image, (16 + 40 × 2 + 4) × 1,920 × 68 = 13,056,000 pixels are transferred by motion detection per screen. It will be. As a result, the transfer amount is an order of magnitude larger than the SD size of MPEG-2, and the power consumption is also increased.

すなわち、HDサイズ(1920画素×1088画素、120MB×68MB)の画像を扱う場合、特にH.264による符号化を行う場合には、1画面あたりの画素転送量が大幅に増加してしまい、図10に示される外部バス61の転送能力を超えてしまう可能性がある。   That is, when an HD size image (1920 pixels × 1088 pixels, 120 MB × 68 MB) is to be handled, the In the case of encoding with H.264, the pixel transfer amount per screen greatly increases, which may exceed the transfer capability of the external bus 61 shown in FIG.

これに対して、複数の符号化ブロックで動きベクトルの探索領域を共用することにより外部のフレームメモリから内部参照用ローカルメモリへのデータ転送を削減する技術が提案されている(例えば、特許文献2参照。)。
ISO/IEC 14496−10, International Standard: “Information technology − Coding of audio−visual objects − Part 10 : Advanced video coding”(2003−12−01) 特許番号第2963269号公報 特開2003−134518号公報
On the other hand, a technique for reducing data transfer from an external frame memory to an internal reference local memory by sharing a motion vector search region among a plurality of coding blocks has been proposed (for example, Patent Document 2). reference.).
ISO / IEC 14496-10, International Standard: "Information technology-Coding of audio-visual objects-Part 10: Advanced video coding" (2003-12-01) Japanese Patent No. 2963269 JP 2003-134518 A

しかしながら、前記従来の技術において、HD画像サイズなど大きいサイズの画像を画面間予測符号化する場合や、H.264等による画面間予測符号化を行なう場合、複数や広範囲の参照領域を動き検出することで圧縮率向上が得られるが、参照する画素を外部メモリから内部ロジックへ転送する際のメモリ転送量が莫大なものとなり、バス転送能力に課題が生じる。   However, in the conventional technique, when an image having a large size such as an HD image size is subjected to inter-frame predictive encoding, When performing inter-picture predictive encoding using H.264 or the like, the compression rate can be improved by detecting motions in a plurality of or a wide range of reference areas. However, the amount of memory transfer when transferring a reference pixel from an external memory to an internal logic is small. It becomes enormous and a problem arises in the bus transfer capability.

これに対して、例えば、特許文献2で示される技術では、符号化対象となっているピクチャの単位で見ればローカルメモリへのデータ転送量を削減することが可能となる。しかし、これはあくまでピクチャ単位でのデータ転送量の削減であり、言い換えれば、複数の符号化対象ピクチャでみれば、さらなるデータ転送量を削減することができる余地がある。   On the other hand, for example, in the technique disclosed in Patent Document 2, it is possible to reduce the data transfer amount to the local memory when viewed in units of pictures to be encoded. However, this is only a reduction in the amount of data transfer in units of pictures. In other words, there is room for further reduction in the amount of data transfer when viewed with a plurality of pictures to be encoded.

そこで、本発明は、かかる問題に鑑みてなされたものであり、画像符号化処理における複数の符号化対象ピクチャでみたローカルメモリへのデータ転送量を削減する動き検出装置、動き検出方法を提供することを目的とする。   Therefore, the present invention has been made in view of such a problem, and provides a motion detection device and a motion detection method that reduce the amount of data transferred to a local memory as seen by a plurality of pictures to be encoded in an image encoding process. For the purpose.

前記目的を達成するために、本発明に係わる動き検出装置は、(a)フレームメモリに蓄積されている符号化済みの参照ピクチャを用いて、ピクチャの間の動きを所定の画像領域単位で検出する動き検出装置であって、(b)第1の符号化対象ピクチャに属する第1の符号化対象画像領域の画素データが蓄積される第1の記憶手段と、(c)前記第1の符号化対象ピクチャとは異なる第2の符号化対象ピクチャに属する第2の符号化対象画像領域の画素データが蓄積される第2の記憶手段と、(d)前記参照ピクチャに属する参照対象画像領域の画素データが蓄積される第3の記憶手段と、(e)前記参照対象画像領域の画素データと、前記第1の符号化対象画像領域の画素データおよび前記第2の符号化対象画像領域の画素データのそれぞれに対してブロックマッチングしてピクチャ間の動きを検出する動き検出手段とを備えることとする。   In order to achieve the above object, a motion detection apparatus according to the present invention detects (a) a motion between pictures in units of a predetermined image area using an encoded reference picture stored in a frame memory. (B) first storage means for storing pixel data of a first encoding target image region belonging to the first encoding target picture, and (c) the first code Second storage means for storing pixel data of a second encoding target image region belonging to a second encoding target picture different from the encoding target picture, and (d) a reference target image region belonging to the reference picture Third storage means for storing pixel data; (e) pixel data of the reference target image region; pixel data of the first encoding target image region; and pixels of the second encoding target image region Each of the data And block matching and further comprising a motion detection means for detecting a motion between pictures respect.

これによって、参照対象画像領域の画素データをフレームメモリから第3の記憶手段へ転送されるが、同じ参照対象画像領域が参照される複数の符号化対象画像領域について動き検出を行うため、参照対象画像領域の画素データのデータ転送量を削減することができ、消費電力も削減することが可能となる。   As a result, the pixel data of the reference target image area is transferred from the frame memory to the third storage means, but motion detection is performed for a plurality of encoding target image areas to which the same reference target image area is referenced. The data transfer amount of the pixel data in the image area can be reduced, and the power consumption can also be reduced.

なお、本発明は、動き検出装置として実現されるだけではなく、動き検出装置を制御する動き検出方法、動き検出装置に実装される動き検出集積回路などとしても実現されるとしてもよい。また、動き検出装置を備える画面間予測符号化装置としても実現されるとしてもよい。   Note that the present invention may be realized not only as a motion detection device, but also as a motion detection method for controlling the motion detection device, a motion detection integrated circuit mounted on the motion detection device, and the like. Moreover, it is good also as an inter-screen prediction encoding apparatus provided with a motion detection apparatus.

以上、本発明に係わる動き検出装置によれば、画面間予測を用いて符号化しようとする符号化対象画像領域に対して、参照対象画像領域の画素データを外部のフレームメモリから内部のローカルメモリへ転送されるが、同じ参照対象画像領域が参照される複数の符号化対象画像領域について動き検出を行うため、参照対象画像領域の画素データのデータ転送量を削減することができ、消費電力も削減することができる。   As described above, according to the motion detection apparatus of the present invention, the pixel data of the reference target image region is transferred from the external frame memory to the internal local memory for the encoding target image region to be encoded using inter-screen prediction. However, since motion detection is performed for a plurality of encoding target image areas to which the same reference target image area is referenced, the data transfer amount of pixel data in the reference target image area can be reduced, and power consumption can be reduced. Can be reduced.

また、複数の符号化対象画像領域に対する予測誤差生成において、参照対象画像領域の画素データを外部のフレームメモリから内部のローカルメモリへ転送する必要がなく、参照対象画像領域の画素データの転送量を削減することができる。さらに、符号化手段における後段処理において、復号化処理に影響を及ぼさずに従来の符号化技術と同様の順序で符号化したビットストリームを生成することが可能となる。   In addition, in the generation of prediction errors for a plurality of encoding target image areas, it is not necessary to transfer pixel data of the reference target image area from the external frame memory to the internal local memory, and the transfer amount of the pixel data of the reference target image area is reduced. Can be reduced. Furthermore, in the subsequent processing in the encoding means, it is possible to generate a bit stream that is encoded in the same order as in the conventional encoding technique without affecting the decoding processing.

また、本発明に係る動き検出方法によれば、画面間予測を用いて符号化しようとする符号化対象画像領域に対して、参照対象画像領域の画素データを外部のフレームメモリから内部のローカルメモリへ転送されるが、同じ参照対象画像領域が参照される複数の符号化対象画像領域について動き検出を行うため、参照対象画像領域の画素データのデータ転送量を削減することができ、消費電力も削減することができる。   Further, according to the motion detection method of the present invention, for the encoding target image region to be encoded using inter-frame prediction, the pixel data of the reference target image region is transferred from the external frame memory to the internal local memory. However, since motion detection is performed for a plurality of encoding target image areas to which the same reference target image area is referenced, the data transfer amount of pixel data in the reference target image area can be reduced, and power consumption can be reduced. Can be reduced.

また、本発明に係る動き検出集積回路によれば、画面間予測を用いて符号化しようとする符号化対象画像領域に対して、参照対象画像領域の画素データを外部のフレームメモリから内部のローカルメモリへ転送されるが、同じ参照対象画像領域が参照される複数の符号化対象画像領域について動き検出を行うため、参照対象画像領域の画素データのデータ転送量を削減することができ、消費電力も削減することができる。   Further, according to the motion detection integrated circuit of the present invention, the pixel data of the reference target image area is transferred from the external frame memory to the internal local area for the encoding target image area to be encoded using inter-frame prediction. Although motion detection is performed on a plurality of encoding target image areas that are transferred to the memory but refer to the same reference target image area, the amount of pixel data transferred in the reference target image area can be reduced, and power consumption can be reduced. Can also be reduced.

(実施の形態1)
以下、本発明に係わる実施の形態1について、図面を参照しながら説明する。
(Embodiment 1)
Embodiment 1 of the present invention will be described below with reference to the drawings.

本実施の形態1における動き検出装置は、(a)フレームメモリに蓄積されている符号化済みの参照ピクチャを用いて、ピクチャの間の動きを所定の画像領域単位で検出する動き検出装置であって、(b)第1の符号化対象ピクチャに属する第1の符号化対象画像領域の画素データが蓄積される第1のローカルメモリと、(c)第1の符号化対象ピクチャとは異なる第2の符号化対象ピクチャに属する第2の符号化対象画像領域の画素データが蓄積される第2のローカルメモリと、(d)参照ピクチャに属する参照対象画像領域の画素データが蓄積される第3のローカルメモリと、(e)参照対象画像領域の画素データと、第1の符号化対象画像領域の画素データおよび第2の符号化対象画像領域の画素データのそれぞれに対してブロックマッチングしてピクチャ間の動きを検出する動き検出器とを備えることを特徴とする。   The motion detection apparatus according to the first embodiment is (a) a motion detection apparatus that detects a motion between pictures in units of a predetermined image area using an encoded reference picture stored in a frame memory. (B) a first local memory in which pixel data of a first encoding target image region belonging to the first encoding target picture is stored, and (c) a first encoding target picture different from the first encoding target picture. A second local memory in which pixel data of the second encoding target image region belonging to the second encoding target picture is stored; and (d) a third pixel memory in which the pixel data of the reference target image region belonging to the reference picture is stored. Local memory, (e) the pixel data of the reference target image area, the pixel data of the first encoding target image area, and the pixel data of the second encoding target image area, respectively. Characterized in that it comprises a motion detector for detecting motion between pictures and quenching.

さらに、これ以外にも、本実施の形態における動き検出装置は、以下(1)〜(3)に示される特徴を有する。   In addition, the motion detection device according to the present embodiment has the following characteristics (1) to (3).

(1)動き検出器は、参照対象画像領域の画素データに対して、第1の符号化対象画像領域の画素データおよび第2の符号化対象画像領域の画素データを、逐次処理および並列処理のいずれかでブロックマッチングする。   (1) The motion detector performs the sequential processing and the parallel processing on the pixel data of the first encoding target image region and the pixel data of the second encoding target image region with respect to the pixel data of the reference target image region. Block match with either.

(2)第1のローカルメモリは、第1の符号化対象画像領域が所定の画像領域のN(Nは自然数。)倍であることを特徴とする。   (2) The first local memory is characterized in that the first encoding target image area is N (N is a natural number) times a predetermined image area.

(3)第3のローカルメモリは、第1の符号化対象画像領域の画素データおよび第2の符号化対象画像領域の画素データのM(Mは自然数。)組単位で、参照対象画像領域の画素データが更新されることを特徴とする。   (3) The third local memory stores the reference target image area in units of M (M is a natural number) of pixel data of the first encoding target image area and pixel data of the second encoding target image area. The pixel data is updated.

以上の点を踏まえて、本実施の形態1における動き検出装置について説明する。なお、ここでは、一例として、動き検出装置に、予測誤差画像生成、周波数変換、量子化、逆量子化、逆周波数、逆周波数変換、復元画像などの一連の符号化機能および復号化機能を追加した画面間予測符号化装置について説明する。また、画面間予測符号化装置は、従来の画面間予測符号化装置10(図10参照。)と比べ、符号化対象の原画像をLSI内部に蓄積する符号化対象ブロックローカルメモリ54、動き検出器13、動き補償器14、および動きベクトルメモリ16が異なるのみであり、その他の構成については同様である。従って、異なる構成についてのみ説明し、その他の構成については説明を省略する。   Based on the above points, the motion detection apparatus according to the first embodiment will be described. Here, as an example, a series of encoding and decoding functions such as prediction error image generation, frequency conversion, quantization, inverse quantization, inverse frequency, inverse frequency conversion, and restored image are added to the motion detection device. The inter-picture prediction encoding apparatus will be described. In addition, the inter-picture prediction encoding apparatus is compared with the conventional inter-picture prediction encoding apparatus 10 (see FIG. 10), the encoding target block local memory 54 that stores the original image to be encoded in the LSI, and motion detection. The only difference is the unit 13, the motion compensator 14, and the motion vector memory 16, and the other configurations are the same. Therefore, only different configurations will be described, and description of other configurations will be omitted.

図1は、本発明に係わる実施の形態1における画面間予測符号化装置の構成を示すブロック図である。同図に示されるように、画面間予測符号化装置100は、画面間予測符号化装置10と比べて(図10参照。)、符号化対象ブロックローカルメモリ54、動き検出器13、動き補償器14、動きベクトルメモリ16の代わりに、符号化対象ブロックローカルメモリ111、112、動き検出器113、動き補償器114、動きベクトルメモリ115を備える点が異なる。   FIG. 1 is a block diagram showing a configuration of an inter-picture prediction encoding apparatus in Embodiment 1 according to the present invention. As shown in the figure, the inter-picture prediction encoding apparatus 100 is compared with the inter-picture prediction encoding apparatus 10 (see FIG. 10), the encoding target block local memory 54, the motion detector 13, and the motion compensator. 14. Instead of the motion vector memory 16, the encoding target block local memories 111 and 112, the motion detector 113, the motion compensator 114, and the motion vector memory 115 are different.

ここで、外部入力メモリ53、外部フレームメモリ51は、LSI実装部分110の外部のフレームメモリであり、符号化対象ピクチャが蓄積されている。符号化対象ブロックローカルメモリ111、112、参照用ローカルメモリ52は、LSI実装部分50の内部のローカルメモリであり、動き検出器113でブロックマッチング探索時と、動き補償器114で動き補償予測処理時に直接アクセスされる。そして、画面間予測符号化装置100のうち、参照符号110で示される部分がLSIに実装される。   Here, the external input memory 53 and the external frame memory 51 are external frame memories of the LSI mounting part 110, and the encoding target pictures are stored therein. The encoding target block local memories 111 and 112 and the reference local memory 52 are local memories in the LSI mounting part 50. When the block matching search is performed by the motion detector 113 and when the motion compensation prediction process is performed by the motion compensator 114, Directly accessed. And the part shown with the referential mark 110 among the inter-screen prediction encoding apparatuses 100 is mounted on the LSI.

そして、画面間予測符号化装置100では、動き検出器113において、第1の符号化対象画像領域の画素データ、第2の符号化対象画像領域の画素データ、および参照対象画像領域の画素データを用いて、第1の符号化対象ピクチャおよび第2の符号化対象ピクチャのそれぞれに対する動き検出を行う。   In the inter-screen predictive encoding device 100, the motion detector 113 receives the pixel data of the first encoding target image region, the pixel data of the second encoding target image region, and the pixel data of the reference target image region. The motion detection is performed for each of the first encoding target picture and the second encoding target picture.

動き検出を行う場合は、参照対象画像領域の画素データが外部フレームメモリ51から外部バス61を介して参照用ローカルメモリ52に転送される。また、第1の符号化対象画像領域の画素データが外部入力メモリ53から外部バス62を介して符号化対象ブロックローカルメモリ111に転送される。第2の符号化対象画像領域の画素データが符号化対象ブロックローカルメモリ112に転送される。   When motion detection is performed, the pixel data of the reference target image area is transferred from the external frame memory 51 to the reference local memory 52 via the external bus 61. Further, the pixel data of the first encoding target image area is transferred from the external input memory 53 to the encoding target block local memory 111 via the external bus 62. Pixel data of the second encoding target image area is transferred to the encoding target block local memory 112.

このとき、図2に示されるように、参照対象画像領域とは、参照領域151で示されるように、ピクチャ120に属するある時点での参照対象の領域であり、第1の符号化対象画像領域の画素データおよび第2の符号化対象画像領域の画素データが符号化されるときに共通に参照される領域である。また、第1の符号化対象画像領域とは、マクロブロック141で示されるように、ピクチャ121に属するある時点での符号化対象の16x16画素ブロック領域である。第2の符号化対象画像領域とは、マクロブロック142で示されるように、ピクチャ121に属するある時点での符号化対象の16x16画素ブロック領域である。   At this time, as shown in FIG. 2, the reference target image area is a reference target area at a certain time belonging to the picture 120 as shown by the reference area 151, and is the first encoding target image area. This area is commonly referred to when the pixel data and the pixel data of the second encoding target image area are encoded. The first encoding target image area is a 16 × 16 pixel block area to be encoded at a certain point in time belonging to the picture 121 as indicated by the macroblock 141. The second encoding target image area is a 16 × 16 pixel block area to be encoded at a certain point in time belonging to the picture 121 as indicated by the macroblock 142.

すなわち、第1の符号化対象ピクチャに属する第1の符号化対象画像領域の画素データが符号化対象ブロックローカルメモリ111に格納される。第1の符号化対象ピクチャとは異なる第2の符号化対象ピクチャに属する第2の符号化対象画像領域の画素データが符号化対象ブロックローカルメモリ112に格納される。第1の符号化対象画像領域の画素データおよび第2の符号化対象画像領域の画素データのそれぞれが符号化されるときに共通に参照される参照ピクチャに属する参照対象画像領域の画素データが参照用ローカルメモリ52に格納される。   That is, the pixel data of the first encoding target image area belonging to the first encoding target picture is stored in the encoding target block local memory 111. Pixel data of a second encoding target image area belonging to a second encoding target picture different from the first encoding target picture is stored in the encoding target block local memory 112. Reference is made to pixel data of a reference target image area belonging to a reference picture that is commonly referenced when each of pixel data of the first encoding target image area and pixel data of the second encoding target image area is encoded. Stored in the local memory 52.

なお、ピクチャ120〜123は、表示時刻tの順に図示されている。ピクチャ120、123は、符号化済みのピクチャであり、ピクチャ121、122の差分符号化時に参照されるピクチャである。また、ピクチャ121、122は、未だ符号化されていない符号化対象のピクチャであり、ピクチャ121、ピクチャ122も、ピクチャ120を参照ピクチャとして画面間差分符号化が行われる(処理131、132)。   Note that the pictures 120 to 123 are illustrated in order of the display time t. The pictures 120 and 123 are encoded pictures, and are referred to when differential encoding of the pictures 121 and 122 is performed. The pictures 121 and 122 are pictures to be coded that have not yet been coded, and the pictures 121 and 122 are also subjected to inter-screen differential coding with the picture 120 as a reference picture (processing 131 and 132).

次に、参照用ローカルメモリ52から内部バス63を介して参照対象画像領域の画素データが読み出される。また、符号化対象ブロックローカルメモリ111から内部バス116を介して第1の符号化対象画像領域の画素データが読み出される。符号化対象ブロックローカルメモリ112から内部バス117を介して第2の符号化対象画像領域の画素データが読み出される。これらの画素データを用いて動き検出器113によって動き検出が行われ、結果得られた動きベクトル情報が動きベクトルメモリ115に蓄積される。   Next, the pixel data of the reference target image area is read from the reference local memory 52 via the internal bus 63. Also, pixel data of the first encoding target image area is read from the encoding target block local memory 111 via the internal bus 116. Pixel data of the second encoding target image area is read from the encoding target block local memory 112 via the internal bus 117. Motion detection is performed by the motion detector 113 using these pixel data, and the resulting motion vector information is stored in the motion vector memory 115.

さらに、画面間予測符号化装置100では、動き補償器114において、動き検出器113で動き検出を行って得られた動きベクトル、符号化ブロックローカルメモリ111に格納されている第1の符号化対象画像領域の画素データ、符号化ブロックローカルメモリ112に格納されている第2の符号化対象画像領域の画素データ、および参照対象画像領域の一部の画素データである動き補償用参照画素データを用いて、動き補償と画面予測誤差を生成する処理を行なう。これに対して、従来の画面間予測符号化装置10では、動き補償を行うときに参照される画像領域の画素データも外部フレームメモリ51から参照用ローカルメモリ52へ転送される。すなわち、本実施の形態1における画面間予測符号化装置100では、動き検出を行ったときに参照された参照対象画像領域の画素データの一部を用いて、動き補償を行う。   Further, in the inter-picture prediction encoding apparatus 100, the motion vector obtained by performing motion detection in the motion detector 113 in the motion compensator 114, the first encoding target stored in the encoding block local memory 111. Using pixel data of the image area, pixel data of the second encoding target image area stored in the encoding block local memory 112, and motion compensation reference pixel data which is a part of pixel data of the reference target image area Then, processing for generating motion compensation and a screen prediction error is performed. On the other hand, in the conventional inter-picture prediction encoding apparatus 10, pixel data of an image area referred to when performing motion compensation is also transferred from the external frame memory 51 to the reference local memory 52. That is, the inter-frame prediction encoding apparatus 100 according to the first embodiment performs motion compensation using a part of the pixel data of the reference target image area referred to when motion detection is performed.

なお、第1の符号化対象画像領域は、一般的な画像符号化処理で用いられるマクロブロックの単位に限定するものではなく、例えば、マクロブロックを複数個含む単位であってもよい。また、第2の符号化対象画像領域についても同様である。また、第1の符号化対象画像領域および第2の符号化対象画像領域は、符号化されるときに同一の符号化済みピクチャの参照領域が参照される領域であれば、同一の符号化対象ピクチャに属する領域であってもよい。また、第1の符号化対象画像領域の画素データが符号化されるときに、参照対象画像領域の全部が参照される必要はなく、その一部だけでも参照されるとしてもよい。第2の符号化対象画像領域の画素データが符号化されるときについても同様である。さらに、図1に示されるように、符号化対象ブロックローカルメモリ111、112、参照用ローカルメモリ52などを個別の機能ブロックとする代わりに、これらのうち、複数または全部が1つのメモリ上の別領域として実現されていてもよい。   Note that the first encoding target image region is not limited to a unit of macroblocks used in general image encoding processing, and may be a unit including a plurality of macroblocks, for example. The same applies to the second encoding target image region. In addition, if the first encoding target image region and the second encoding target image region are regions in which the reference region of the same encoded picture is referred to when encoding, the same encoding target It may be an area belonging to a picture. Further, when the pixel data of the first encoding target image area is encoded, it is not necessary to refer to the entire reference target image area, and only a part thereof may be referred to. The same applies when the pixel data of the second encoding target image area is encoded. Further, as shown in FIG. 1, instead of making the encoding target block local memories 111 and 112, the reference local memory 52, etc. into individual functional blocks, a plurality or all of them are separated on one memory. It may be realized as a region.

さらに、PピクチャやBピクチャといった画面間予測を行なうピクチャにおける画面内予測ブロックの符号化処理について、符号化対象ブロックローカルメモリ111、112に個別に蓄積されている符号化対象画像領域の画素データを用いて画面内予測処理、およびそれ以降の一連の符号化処理を、並列、または逐次に処理するとしてもよい。また、並列に処理する場合は、画面間予測符号化の一部である動き検出処理と、画面内予測符号化の一部である画面内予測処理とを並列に行い、両処理が参照する符号化対象ブロックローカルメモリ111、112を交互に参照するとしてもよい。   Further, regarding the encoding process of the intra prediction block in the picture that performs inter prediction such as P picture and B picture, the pixel data of the encoding target image area individually stored in the encoding target block local memories 111 and 112 is obtained. The intra-screen prediction process and a series of subsequent encoding processes may be used in parallel or sequentially. Also, when processing in parallel, the motion detection process that is part of the inter-picture prediction encoding and the intra-picture prediction process that is part of the intra-picture prediction encoding are performed in parallel, and the codes that both processes refer to The target block local memories 111 and 112 may be referred to alternately.

また、第1の符号化対象画像領域、第2の符号化対象画像領域、および参照対象画像領域の各領域の画素データを用いて動き検出器113で動き検出を行うが、動き検出を行って得られたそれぞれの動きベクトルが動きベクトルメモリ115に格納されれば、第1の符号化対象画像領域および第2の符号化対象画像領域に対する動き検出を並列で処理してもいいし、1つ目の符号化対象画像領域に対する動き検出が完了した後に、2つ目の符号化対象画像領域に対する動き検出を行うとしてもよい。   In addition, the motion detector 113 performs motion detection using pixel data of each of the first encoding target image region, the second encoding target image region, and the reference target image region. If each obtained motion vector is stored in the motion vector memory 115, motion detection for the first encoding target image region and the second encoding target image region may be processed in parallel. After the motion detection for the second encoding target image region is completed, the motion detection for the second encoding target image region may be performed.

次に、参照用ローカルメモリ52、符号化対象ブロックローカルメモリ111、112の更新方法について説明する。ここでは、参照用ローカルメモリ52、符号化対象ブロックローカルメモリ111、112をそれぞれ符号化対象のマクロブロック(16x16画素)単位で更新する場合を例に説明する。なお、図3(a)、図3(b)、図3(c)に示されるように、順に複数の符号化対象ピクチャの符号化対象画像領域(マクロブロック)が右に遷移しており、それに伴い参照ピクチャの参照対象画像領域(参照領域)が遷移している。   Next, a method for updating the reference local memory 52 and the encoding target block local memories 111 and 112 will be described. Here, a case where the reference local memory 52 and the encoding target block local memories 111 and 112 are updated in units of encoding target macroblocks (16 × 16 pixels) will be described as an example. As shown in FIG. 3A, FIG. 3B, and FIG. 3C, the encoding target image areas (macroblocks) of a plurality of encoding target pictures are sequentially shifted to the right, Along with this, the reference target image area (reference area) of the reference picture has changed.

まず、図3(a)に示されるように、第1の符号化対象画像領域(マクロブロック131a)と第2の符号化対象画像領域(マクロブロック131b)は、同じ参照ピクチャ内の同じ参照対象画像領域(参照領域151a)を参照範囲とし動き検出処理を行う。このとき、参照領域151aの画素データが参照用ローカルメモリ52に転送されている。また、マクロブロック141aの画素データが符号化対象ブロックローカルメモリ111に転送されており、マクロブロック141bの画素データが符号化対象ブロックローカルメモリ112に転送されている。   First, as shown in FIG. 3A, the first encoding target image region (macroblock 131a) and the second encoding target image region (macroblock 131b) are the same reference target in the same reference picture. Motion detection processing is performed using the image area (reference area 151a) as a reference range. At this time, the pixel data in the reference area 151 a is transferred to the reference local memory 52. Further, the pixel data of the macro block 141 a is transferred to the encoding target block local memory 111, and the pixel data of the macro block 141 b is transferred to the encoding target block local memory 112.

次に、図3(b)に示されるように、符号化対象画像領域(マクロブロック141a、142a)が右に1つ移動する時点で、参照用ローカルメモリ52、符号化対象ブロックローカルメモリ111、112が更新される。このとき、次の参照対象画像領域(参照領域151b)の画素データが参照用ローカルメモリ52に転送される。次の第1の符号化対象画像領域(マクロブロック141b)の画素データが符号化対象ブロックローカルメモリ111に上書きされ、次の第2の符号化対象画像領域(マクロブロック142b)の画素データが符号化対象ブロックローカルメモリ112に上書きされる。さらに、図3(c)に示されるように、次(右隣)のマクロブロックにおいても同様に参照用ローカルメモリ52、符号化対象ブロックローカルメモリ111、112が更新される。   Next, as shown in FIG. 3B, when the encoding target image area (macroblocks 141a and 142a) moves to the right by one, the reference local memory 52, the encoding target block local memory 111, 112 is updated. At this time, the pixel data of the next reference target image area (reference area 151 b) is transferred to the reference local memory 52. The pixel data of the next first encoding target image area (macroblock 141b) is overwritten in the encoding target block local memory 111, and the pixel data of the next second encoding target image area (macroblock 142b) is encoded. The overwriting target block local memory 112 is overwritten. Further, as shown in FIG. 3C, the reference local memory 52 and the encoding target block local memories 111 and 112 are similarly updated in the next (right adjacent) macroblock.

ここで、従来の画面間予測符号化装置10によれば、第1の符号化対象画像領域(マクロブロック141a)および第2の符号化対象画像領域(マクロブロック142a)に対する動き検出を行なう場合は、それぞれの符号化対象画像領域に対してデータ転送が発生し、参照対象画像領域(参照領域151a)の画素データが、外部フレームメモリ51から参照用ローカルメモリ52へ転送される。しかし、実施の形態1における画面間予測符号化装置100によれば、図3を用いて説明した更新方法によって、第1の符号化対象画像領域(マクロブロック141a)および第2の符号化対象画像領域(マクロブロック142a)に対する動き検出を行う直前に、1度、参照対象画像領域(参照領域151a)の画素データが外部フレームメモリ51から参照用ローカルメモリ52へ転送されればよいため、データ転送量を1/2に削減でき、消費電力を削減することができる。   Here, according to the conventional inter-picture prediction encoding apparatus 10, when motion detection is performed on the first encoding target image region (macroblock 141a) and the second encoding target image region (macroblock 142a). Then, data transfer occurs for each encoding target image area, and the pixel data of the reference target image area (reference area 151 a) is transferred from the external frame memory 51 to the reference local memory 52. However, according to the inter-frame prediction encoding apparatus 100 in the first embodiment, the first encoding target image region (macroblock 141a) and the second encoding target image are updated by the updating method described with reference to FIG. Since the pixel data of the reference target image area (reference area 151a) only needs to be transferred once from the external frame memory 51 to the reference local memory 52 immediately before performing motion detection on the area (macroblock 142a), data transfer is performed. The amount can be reduced to ½, and power consumption can be reduced.

また、図3を用いて説明した更新方法とは異なる更新方法について説明する。なお、図4(a)、図4(b)に示されるように、参照ピクチャ161a、161bは、符号化対象画像領域(マクロブロック)の水平位置が互いに1マクロブロック分上下にずれており、マクロブロックライン(符号化対象マクロブロックの水平位置)が更新される時点で参照用ローカルメモリ52が更新されるとする。   An update method different from the update method described with reference to FIG. 3 will be described. As shown in FIGS. 4 (a) and 4 (b), in the reference pictures 161a and 161b, the horizontal positions of the encoding target image areas (macroblocks) are shifted up and down by one macroblock from each other. It is assumed that the reference local memory 52 is updated when the macro block line (horizontal position of the encoding target macro block) is updated.

図4(a)に示されるように、図3を用いて説明した更新方法と同様に、第1の符号化対象ピクチャに属するマクロブロックライン(同一水平位置のマクロブロックx1〜x7)に対して、符号化対象画像領域(マクロブロック)が右に遷移する時点で、その都度、符号化対象画像領域(マクロブロック)の画素データが符号化対象ブロックローカルメモリ111へ転送される。同様に、第2の符号化対象ピクチャに属するマクロブロックライン(同一水平位置のマクロブロックy1〜y7)に対して、マクロブロックが右に遷移する時点で、その都度、マクロブロックの画素データが符号化対象ブロックローカルメモリ112へ転送される。しかし、マクロブロックラインが更新されるまで、参照領域161aの画素データが転送されず、参照用ローカルメモリ52が更新されない。   As shown in FIG. 4A, in the same way as the updating method described with reference to FIG. 3, for the macroblock lines (macroblocks x1 to x7 at the same horizontal position) belonging to the first encoding target picture. Each time the encoding target image region (macroblock) shifts to the right, the pixel data of the encoding target image region (macroblock) is transferred to the encoding target block local memory 111 each time. Similarly, each time the macroblock changes to the right with respect to the macroblock line (macroblocks y1 to y7 at the same horizontal position) belonging to the second encoding target picture, the pixel data of the macroblock is encoded each time. Transferred to the target block local memory 112. However, the pixel data of the reference area 161a is not transferred until the macro block line is updated, and the reference local memory 52 is not updated.

次に、図4(b)に示されるように、符号化対象のマクロブロック水平位置が1マクロブロック分遷移した時点で、参照ピクチャ内の参照対象画像領域が参照領域161aから参照領域161bに移動するため、参照用ローカルメモリ52は、参照領域161aの画素データから参照領域161bの画素データに更新される。   Next, as shown in FIG. 4B, the reference target image area in the reference picture moves from the reference area 161a to the reference area 161b at the time when the horizontal position of the encoding target macroblock changes by one macroblock. Therefore, the reference local memory 52 is updated from the pixel data of the reference area 161a to the pixel data of the reference area 161b.

なお、図4を用いて説明した参照用ローカルメモリ52、符号化対象ブロックローカルメモリ111、112の更新方法では、マクロブロック毎に符号化対象ブロックローカルメモリ111、112の更新を行なっているが、複数のマクロブロックの単位で更新を行うとしてもよい。また、マクロブロックの水平位置が更新された時点、すなわち、1マクロブロックライン毎に参照用ローカルメモリ52の更新を行うとしたが、複数のマクロブロックライン毎に更新するとしてもよい。例えば、H.264規格では、MBAFF(Macroblock−Adaptive Frame−Field Coding)の符号化ツールが規格化されている。   In the updating method of the reference local memory 52 and the encoding target block local memories 111 and 112 described with reference to FIG. 4, the encoding target block local memories 111 and 112 are updated for each macroblock. The update may be performed in units of a plurality of macro blocks. Further, although the reference local memory 52 is updated when the horizontal position of the macroblock is updated, that is, for each macroblock line, it may be updated for each of a plurality of macroblock lines. For example, H.M. In the H.264 standard, an MBAFF (Macroblock-Adaptive Frame-Field Coding) encoding tool is standardized.

MBAFFでは、縦に2つのマクロブロックをペア(マクロブロックペア)として符号化処理を行う。この場合において、異なるマクロブロックペアに対して参照される同一の参照領域の画素データが、一度に、参照用ローカルメモリ52に転送され、マクロブロックペアが遷移するタイミングで参照用ローカルメモリ52が更新されるとしてもよい。なお、参照用ローカルメモリ52に1マクロブロックライン分の符号化対象画像領域(マクロブロック)に対して参照される参照領域の画素データが蓄積されている。しかし、この場合は、図3を用いて説明した場合と比べれば、参照用ローカルメモリの容量が多く必要になる。そこで、外部フレームメモリ51と参照用ローカルメモリ52との間のLSI内部に中間バッファとなる一時キャッシュメモリを設け、図4を用いて説明した場合における参照領域の全域を一旦この一時キャッシュメモリに蓄積し、符号化対象ブロックに対して参照される領域の画素データが一時キャッシュから参照用ローカルメモリ52に転送されるとしてもよい。   In MBAFF, encoding processing is performed with two macroblocks as a pair (macroblock pair) vertically. In this case, the pixel data of the same reference area referred to for different macroblock pairs is transferred to the reference local memory 52 at a time, and the reference local memory 52 is updated at the timing when the macroblock pair transitions. It may be done. The reference local memory 52 stores pixel data of a reference area that is referred to an encoding target image area (macroblock) for one macroblock line. However, in this case, a larger capacity of the reference local memory is required as compared with the case described with reference to FIG. Therefore, a temporary cache memory serving as an intermediate buffer is provided in the LSI between the external frame memory 51 and the reference local memory 52, and the entire reference area in the case described with reference to FIG. 4 is temporarily stored in the temporary cache memory. Alternatively, the pixel data of the area referred to the encoding target block may be transferred from the temporary cache to the reference local memory 52.

また、図4を用いて説明した参照用ローカルメモリ52の更新方法を用いれば、図3を用いて説明した場合と同様に、2つの符号化対象ピクチャ分の動き検出処理を行う場合において、外部フレームメモリ51から参照用ローカルメモリ52への画素データ転送量を、1/2に削減することができる。   If the update method of the reference local memory 52 described with reference to FIG. 4 is used, as in the case described with reference to FIG. The amount of pixel data transferred from the frame memory 51 to the reference local memory 52 can be reduced to ½.

なお、画面間予測符号化装置100は、2つの符号化対象画像領域(符号化対象ブロックローカルメモリ111、112)で説明したが、これに限定するものではなく、複数であれば、その数の分だけ、従来の画面間予測符号化装置10(図10参照。)に比べて、参照対象画像領域の画素データが重複して転送されることを抑止して、外部フレームメモリ51から参照用ローカルメモリ52へのデータ転送量の削減が可能となる。   In addition, although the inter-screen predictive encoding device 100 has been described with two encoding target image regions (the encoding target block local memories 111 and 112), the present invention is not limited to this, and the number of the target encoding regions is not limited to this. Compared to the conventional inter-frame prediction encoding apparatus 10 (see FIG. 10), the pixel data in the reference target image area is prevented from being transferred redundantly, and the reference local area is referenced from the external frame memory 51. A data transfer amount to the memory 52 can be reduced.

なお、動き検出以降の予測誤差画像生成、周波数変換、量子化、逆量子化、逆周波数変換、復元画像生成などの一連の符号化・復号化処理は、動きベクトルメモリ115に蓄積されている動きベクトルの情報を用いて、従来の復号化装置で復号化可能な、すなわち従来技術と同様の符号化方法および順序で符号化する。これにより、本実施の形態1における画面間予測符号化装置100を用いた場合でも、従来の画面間予測符号化装置10で得られるビットストリームと同一のものを得ることができる。   Note that a series of encoding / decoding processes such as prediction error image generation, frequency conversion, quantization, inverse quantization, inverse frequency conversion, and restoration image generation after motion detection are stored in the motion vector memory 115. Using the vector information, encoding is performed in an encoding method and order that can be decoded by a conventional decoding apparatus, that is, similar to the conventional technique. Thereby, even when the inter-picture prediction encoding apparatus 100 according to the first embodiment is used, the same bit stream obtained by the conventional inter-picture prediction encoding apparatus 10 can be obtained.

(実施の形態2)
次に、本発明に係わる実施の形態2について、図面を参照しながら説明する。
(Embodiment 2)
Next, a second embodiment according to the present invention will be described with reference to the drawings.

本実施の形態2における画面間予測符号化装置では、動き補償処理における予測画素生成時に参照される画像領域の画素データと、量子化後の係数や動きベクトル差分などを符号化する処理において、可変長符号化のある時点での情報を蓄積するビット情報メモリを持つ。   In the inter-frame predictive coding apparatus according to the second embodiment, in the process of coding the pixel data of the image area referred to when the predicted pixel is generated in the motion compensation process, the coefficient after the quantization, the motion vector difference, and the like are variable. It has a bit information memory for storing information at a certain point of long encoding.

また、動き検出器は、複数の演算資源によって並列に動作するとしてもよい。
図5は、本発明に係わる実施の形態2における画面間予測符号化装置の構成を示すブロック図である。同図に示されるように、画面間予測符号化装置200は、実施の形態1における画面間予測符号化装置100(図1参照。)の構成とほぼ同様である。画面間予測符号化装置100と比べて、、符号化前段処理器211、ビット情報メモリ212、および符号化後段処理器213を備える点が異なる。また、実施の形態1における画面間予測符号化装置100(図1参照。)のように、動き検出において得られた動きベクトルを以降の符号化処理のために動きベクトルメモリ115に蓄積する代わりに、従来の画面間予測符号化装置10(図10参照。)のように、周辺情報として参照するためだけのものを動きベクトルメモリ16に蓄積する。それ以外については、図1において同一の参照符号で示されるものと同様の機能をもつため、その説明を省略する。
The motion detector may operate in parallel with a plurality of computing resources.
FIG. 5 is a block diagram showing the configuration of the inter-screen predictive coding apparatus according to Embodiment 2 of the present invention. As shown in the figure, inter-frame prediction encoding apparatus 200 has substantially the same configuration as inter-frame prediction encoding apparatus 100 (see FIG. 1) in the first embodiment. Compared with the inter-screen prediction encoding apparatus 100, the difference is that it includes a pre-encoding processor 211, a bit information memory 212, and a post-encoding processor 213. Instead of accumulating motion vectors obtained in motion detection in the motion vector memory 115 for subsequent encoding processing, as in the inter-frame prediction encoding apparatus 100 (see FIG. 1) in the first embodiment. As in the conventional inter-screen predictive coding apparatus 10 (see FIG. 10), the information only for reference as peripheral information is stored in the motion vector memory 16. Other than that, the functions are the same as those indicated by the same reference numerals in FIG.

なお、画面間予測符号化装置200でも、実施の形態1における画面間予測符号化装置100のように、動き検出器113において、第1の符号化対象画像領域の画素データ、第2の符号化対象画像領域の画素データ、および参照対象画像領域の画素データを用いて、第1の符号化対象ピクチャおよび第2の符号化対象ピクチャのそれぞれに対する動き検出を行う。さらに、動き補償器114において、動き検出器113で動き検出を行って得られた動きベクトル、符号化ブロックローカルメモリ111に蓄積されている第1の符号化対象画像領域の画素データ、符号化ブロックローカルメモリ112に蓄積されている第2の符号化対象画像領域の画素データ、および参照対象画像領域の一部の画素データである動き補償用参照画素データを用いて、動き補償と画面予測誤差を生成する処理を行なう。これに対して、従来の画面間予測符号化装置10では、動き補償を行うときに参照される画像領域の画素データが外部フレームメモリ51から参照用ローカルメモリ52へ転送される。   In the inter-picture prediction encoding apparatus 200 as well, as in the inter-picture prediction encoding apparatus 100 in the first embodiment, the motion detector 113 uses the pixel data of the first encoding target image area, the second encoding, and so on. Using the pixel data of the target image area and the pixel data of the reference target image area, motion detection is performed for each of the first encoding target picture and the second encoding target picture. Further, in the motion compensator 114, the motion vector obtained by performing motion detection in the motion detector 113, the pixel data of the first encoding target image area stored in the encoding block local memory 111, and the encoding block Using the pixel data of the second encoding target image area stored in the local memory 112 and the reference pixel data for motion compensation that is a part of the pixel data of the reference target image area, motion compensation and screen prediction error are calculated. Generate the process. On the other hand, in the conventional inter-frame prediction encoding apparatus 10, pixel data of an image area referred to when performing motion compensation is transferred from the external frame memory 51 to the reference local memory 52.

すなわち、本実施の形態2における画面間予測符号化装置200では、動き検出を行ったときに参照された参照対象画像領域の画素データの一部を用いて、動き補償を行う。
そして、従来の画面間予測符号化装置10と同様、動きベクトル予測・DifMV算出器15において、動きベクトル予測差分を得る処理を行い、さらに、周波数変換・量子化器17、逆周波数変換・逆量子化器18、再生成器19での各処理を行なうととともに、符号化前段処理器211において、符号化処理の前段処理を行なう。なお、再生成器19で再生成された画素は以降の符号化対象ブロックの参照画素とするため、外部フレームメモリ51に蓄積されることは従来技術と同様である。
That is, in the inter-frame prediction encoding apparatus 200 according to the second embodiment, motion compensation is performed using a part of the pixel data of the reference target image area referred to when motion detection is performed.
Then, similarly to the conventional inter-picture prediction encoding apparatus 10, the motion vector prediction / DifMV calculator 15 performs a process of obtaining a motion vector prediction difference, and further, a frequency converter / quantizer 17, an inverse frequency converter / inverse quantum. The encoder 18 and the regenerator 19 perform each process, and the pre-encoding processor 211 performs pre-processing of the encoding process. In addition, since the pixel regenerated by the regenerator 19 is used as a reference pixel of the subsequent encoding target block, it is stored in the external frame memory 51 as in the conventional technique.

例えば、H.264符号化規格のContext−based Adaptive Binary Arithmetic Coding(CABAC: 適応型算術符号化)では、符号化前段処理器211は、2値化処理(Binarization process)の機能を有し、符号化後段処理器213は、算術符号化処理(Arithmetic encoding process)の機能を有することとする。   For example, H.M. In the context-based adaptive binary arithmetic coding (CABAC) of the H.264 coding standard, the pre-encoding processor 211 has a binarization process function and is a post-encoding processor. Reference numeral 213 has an arithmetic encoding process function.

次に、マクロブロック単位で前記符号化の一連処理を行った符号化前段処理器211後のビット情報はビット情報メモリ212に蓄積される。このとき、動き検出器113において処理する符号化対象ブロックは実施の形態1で示すような複数のマクロブロックであるが、動き検出後の処理は逐次的に行なわれ、ビット情報メモリ212には、それぞれのマクロブロックのビット情報が符号化後段処理213への入力順序に従った構造で格納される。   Next, the bit information after the pre-encoding processor 211 that has performed the series of encoding processes in units of macroblocks is stored in the bit information memory 212. At this time, the encoding target blocks processed in the motion detector 113 are a plurality of macroblocks as shown in the first embodiment, but the processing after motion detection is performed sequentially, and the bit information memory 212 stores Bit information of each macro block is stored in a structure according to the input order to the post-encoding process 213.

ビット情報メモリ212に蓄積された符号化前段処理後のビット情報は、符号化対象の1ピクチャの符号化処理が完了した後、従来と同様の符号化信号42として外部に出力される。または、符号化後段処理において、H.264規格に則った符号化順序で算術符号化処理が行なえるだけのビット情報が蓄積された時点で、符号化後段処理器213に入力され、算術符号化した後、従来と同様の符号化信号42として外部に出力される。   The bit information after the pre-encoding process stored in the bit information memory 212 is output to the outside as the encoded signal 42 similar to the conventional one after the encoding process of one picture to be encoded is completed. Alternatively, in post-encoding processing, H. H.264 is input to the post-encoding processor 213 at the time when bit information sufficient to perform arithmetic encoding processing in the encoding order in accordance with the H.264 standard is stored, and after encoding, 42 is output to the outside.

なお、ここでは、動き検出処理後の一連の符号化処理を逐次的に行なうとしたが、こうすれば、動き検出器以外の一連の符号化処理器を従来と同様にすることができ、回路の増加がなく実現できる。しかし、複数の動き検出を並列に行なう場合など、その後の一連の符号化処理も並列に行なうとしてもよい。この場合、各処理器の演算器を増加させれば処理速度の向上が可能となる。   Although a series of encoding processes after the motion detection process are sequentially performed here, a series of encoding processors other than the motion detector can be made similar to the conventional one by using this. This can be realized without an increase in. However, when a plurality of motion detections are performed in parallel, a series of subsequent encoding processes may be performed in parallel. In this case, if the number of arithmetic units of each processor is increased, the processing speed can be improved.

また、図5において、ビット情報メモリ212は、動き検出装置210の内部ローカルメモリとして図示されているが、これを外部フレームメモリ5151と同様に、動き検出装置210に接続する外部メモリとした構成にしてもよい。   In FIG. 5, the bit information memory 212 is illustrated as an internal local memory of the motion detection device 210. However, like the external frame memory 5151, the bit information memory 212 is configured as an external memory connected to the motion detection device 210. May be.

本実施の形態2によれば、複数の符号化対象画像領域に対する予測誤差生成において、参照対象画像領域の画素データを外部のフレームメモリから内部のローカルメモリへ転送する必要がなく、参照対象画像領域の画素データの転送量を削減することができる。さらに、動き検出後の動きベクトルを蓄積することもなく、符号化手段における後段処理において、復号化処理に影響を及ぼさずに従来の符号化技術と同様の順序で符号化したビットストリームを生成することが可能となる。   According to the second embodiment, it is not necessary to transfer the pixel data of the reference target image area from the external frame memory to the internal local memory in the prediction error generation for the plurality of encoding target image areas, and the reference target image area The amount of transfer of pixel data can be reduced. Furthermore, the motion vector after motion detection is not accumulated, and the bit stream encoded in the same order as in the conventional encoding technique is generated in the subsequent process in the encoding means without affecting the decoding process. It becomes possible.

(実施の形態3)
次に、本発明に係わる実施の形態3について、図面を参集しながら説明する。
(Embodiment 3)
Next, a third embodiment according to the present invention will be described with reference to the drawings.

本実施の形態3における画面間予測符号化装置では、複数の符号化対象ピクチャが複数の参照ピクチャを参照する。このとき、第1の符号化対象画像領域の画素データに対して復号化処理を施して生成した復号画素データを局所復号画素データとした場合において、動き検出器は、第2の符号化対象画像領域に対する動き検出を行うときに、局所復号画素データ、および局所復号画素データの周辺の復号画素データも参照して動き検出を行う。すなわち、ある符号化対象ピクチャに属するマクロブロックが、一方の符号化対象ブロックが属する符号化済みの領域を参照領域とする。   In the inter-frame prediction encoding apparatus in the third embodiment, a plurality of encoding target pictures refer to a plurality of reference pictures. At this time, when the decoded pixel data generated by performing the decoding process on the pixel data of the first encoding target image area is used as the local decoding pixel data, the motion detector performs the second encoding target image. When performing motion detection on a region, motion detection is performed with reference to local decoded pixel data and decoded pixel data around the local decoded pixel data. In other words, a macro block belonging to a certain coding target picture uses a coded region to which one coding target block belongs as a reference region.

図6は、本発明に係わる実施の形態3における画面間予測符号化装置の構成を示すブロック図である。同図に示されるように、画面間予測符号化装置300は、実施の形態2における画面間予測符号化装置200(図5参照。)の構成とほぼ同様である。画面間予測符号化装置200と比べて、再生成器311からの出力である再生成画素が参照用ローカルメモリ312へ入力される点のみが異なる。   FIG. 6 is a block diagram showing the configuration of the inter-picture prediction encoding apparatus in Embodiment 3 according to the present invention. As shown in the figure, inter-frame prediction encoding apparatus 300 has substantially the same configuration as inter-frame prediction encoding apparatus 200 (see FIG. 5) in the second embodiment. The only difference is that the regenerated pixel, which is the output from the regenerator 311, is input to the reference local memory 312 compared to the inter-screen predictive coding apparatus 200.

これによって、図7に示されるように、参照用ローカルメモリ312には、参照領域351、参照領域352、および参照領域353の画素データが格納され、符号化対象ブロックローカルメモリ111、112には、マクロブロック343、344の画素データが格納される。このとき、再生成器311は、再生成画素を外部フレームメモリ51に出力するだけでなく、参照用ローカルメモリ312にも出力する。これは、符号化対象ブロック343の再生成画像(ローカルデコード画像)をマクロブロック344の後続の符号化対象マクロブロック345が参照領域として使用するためである。   As a result, as shown in FIG. 7, the reference local memory 312 stores the pixel data of the reference area 351, the reference area 352, and the reference area 353, and the encoding target block local memories 111 and 112 store the pixel data. The pixel data of the macro blocks 343 and 344 are stored. At this time, the regenerator 311 not only outputs the regenerated pixel to the external frame memory 51 but also outputs it to the reference local memory 312. This is because the regenerated image (local decoded image) of the encoding target block 343 is used as a reference area by the encoding target macroblock 345 subsequent to the macroblock 344.

なお、ピクチャ320〜323は、表示順かつ符号化順に並んでいる。ピクチャ320は、符号化済みのピクチャであり、ピクチャ321およびピクチャ322から参照されるピクチャである。また、ピクチャ321は、ピクチャ322から参照されるピクチャである。そして、実施の形態2で説明したように、複数の符号化対象マクロブロックを動き検出器113でブロックマッチングするときに、同じ参照領域、または同じ参照領域の一部が使用される。例えば、符号化対象のマクロブロック343が動き検出で参照する領域を、ピクチャ320の参照領域351および参照領域352、またはそれらの一部とする。また、符号化対象のマクロブロック344が動き検出で参照する領域を、ピクチャ320の参照領域351およびピクチャ321の参照領域353、またはそれらの一部とする。   Note that the pictures 320 to 323 are arranged in the display order and the encoding order. A picture 320 is an encoded picture, and is a picture referenced from the picture 321 and the picture 322. A picture 321 is a picture referenced from the picture 322. As described in the second embodiment, the same reference region or a part of the same reference region is used when block matching is performed on the plurality of encoding target macro blocks by the motion detector 113. For example, an area that is referenced by the macroblock 343 to be encoded for motion detection is the reference area 351 and the reference area 352 of the picture 320, or a part thereof. In addition, an area that is referenced by the macroblock 344 to be encoded in motion detection is a reference area 351 of the picture 320 and a reference area 353 of the picture 321 or a part thereof.

なお、ピクチャ321がピクチャ320を参照するピクチャ、すなわち、画面間予測ピクチャ(PピクチャまたはBピクチャ)とする代わりに、例えば、ピクチャ321が画面内予測符号化するピクチャ(Iピクチャ)であるとしても、同様の構成をとることができる。この場合においては、ピクチャ322に属する符号化対象のマクロブロックが、ピクチャ321の符号化済み領域を参照する。   Note that instead of the picture 321 being a picture that refers to the picture 320, that is, an inter-picture prediction picture (P picture or B picture), for example, the picture 321 may be a picture (I picture) to be subjected to intra-picture prediction encoding. The same configuration can be taken. In this case, the macroblock to be encoded belonging to the picture 322 refers to the encoded area of the picture 321.

なお、ここでは、再生成器312から参照用ローカルメモリ312と外部フレームメモリ51とへ再生成画素を出力する例について説明した。しかし、再生成画素を記憶する必要がない場合、すなわち、後続の符号化対象のマクロブロックから参照されない場合は、従来技術と同様に、外部フレームメモリ51への出力を行なわない。また、図7に示されるように、同時期に二つの符号化対象のマクロブロックに対して動き検出を行う場合において、一方の符号化対象ブロックが、他方の符号化対象ブロックが属するピクチャの既に符号化済みの領域を参照領域とする場合、すなわち、符号化対象ブロックの再生成画像が、その処理後一定処理以内に動き検出対象として参照される場合以外は、参照用ローカルメモリ312への出力を行なわなくてもよい。ここでの一定処理以内とは、参照用ローカルメモリ312の容量に依存し、この容量が多ければこの処理区間は多くすることができる。これは、その後参照される領域を一旦外部フレームメモリへ出力し、その後、参照用ローカルメモリ312へ転送する必要がなくなるため、外部からのLSI内部へのデータ転送量を削減することができ、消費電力削減に効果がある。   Here, the example in which the regenerated pixels are output from the regenerator 312 to the reference local memory 312 and the external frame memory 51 has been described. However, when it is not necessary to store the regenerated pixel, that is, when it is not referenced from the subsequent macroblock to be encoded, output to the external frame memory 51 is not performed as in the conventional technique. Further, as shown in FIG. 7, when motion detection is performed on two macro blocks to be encoded at the same time, one encoding target block is already included in the picture to which the other encoding target block belongs. When the encoded region is used as a reference region, that is, when the regenerated image of the block to be encoded is referred to as a motion detection target within a certain process after the processing, output to the reference local memory 312 It is not necessary to do. The term “within certain processing” here depends on the capacity of the reference local memory 312, and if this capacity is large, this processing section can be increased. This eliminates the need to output the area to be referred to once to the external frame memory and then transfer it to the reference local memory 312, thereby reducing the amount of data transferred from the outside to the inside of the LSI. Effective in reducing power consumption.

また、実施の形態3で図7を用いて説明した内容において、参照用ローカルメモリ312に蓄積された参照対象画像領域の画素データは、実施の形態1の図3、図4の例のように、後続の符号化において参照領域とされない領域は順次上書きされ更新される。これによって、内部ローカルメモリの容量を一定量に制限することができる。   Further, in the content described with reference to FIG. 7 in the third embodiment, the pixel data of the reference target image area accumulated in the reference local memory 312 is as in the example of FIGS. 3 and 4 of the first embodiment. Areas that are not used as reference areas in subsequent encoding are sequentially overwritten and updated. As a result, the capacity of the internal local memory can be limited to a certain amount.

以上のように本実施の形態3のような実施例をとれば、同じ参照領域もしくはその一部を参照領域として動き検出する複数の符号化対象ブロックに対して、参照領域の外部フレームメモリから参照用ローカルメモリへのデータ転送量を抑制し(実施の形態2と同様の特徴)、かつ前記複数の符号化対象ブロックの一方が属する符号化対象ピクチャの符号化済み領域を他方の符号化対象ブロックが参照領域とすることができると共に、さらなるデータ転送量の抑制が可能となる。   As described above, if the example as in the third embodiment is taken, a plurality of blocks to be encoded whose motion is detected using the same reference region or a part of the reference region as a reference region is referred from the external frame memory of the reference region. The amount of data transferred to the local memory (same characteristics as in the second embodiment), and the encoded region of the encoding target picture to which one of the plurality of encoding target blocks belongs is set as the other encoding target block Can be used as a reference area, and the data transfer amount can be further reduced.

(実施の形態4)
次に、本発明に係わる実施の形態4について、図面を参照しながら説明する。
(Embodiment 4)
Next, a fourth embodiment according to the present invention will be described with reference to the drawings.

本実施の形態4では、実施の形態1〜3で示された画面間予測符号化装置の応用例について説明する。図8は、H.264レコーダを実現するAV処理部のブロック図である。同図に示されるように、AV処理部400は、ディジタル圧縮された音声及び画像を再生するDVDレコーダやハードディスクレコーダなどのAV処理部を示している。   In the fourth embodiment, an application example of the inter-screen prediction encoding apparatus shown in the first to third embodiments will be described. FIG. 2 is a block diagram of an AV processing unit that realizes an H.264 recorder. FIG. As shown in the figure, an AV processing unit 400 is an AV processing unit such as a DVD recorder or a hard disk recorder that reproduces digitally compressed audio and images.

ストリームデータ401は、音声と画像のストリームデータを、画像信号402は、画像データを、音声信号403は音声データをそれぞれ表している。バス410は、ストリームデータ、音声・画像を復号したデータなどを転送する。ストリーム入出力部411は、バス410に接続し、ストリームデータ401を入出力する。画像符号化復号化部412は、バス410に接続し、画像の符号化及び復号化を行う。   The stream data 401 represents audio and image stream data, the image signal 402 represents image data, and the audio signal 403 represents audio data. The bus 410 transfers stream data, audio / image decoded data, and the like. A stream input / output unit 411 is connected to the bus 410 and inputs / outputs stream data 401. The image encoding / decoding unit 412 is connected to the bus 410 and performs encoding and decoding of images.

音声符号化復号化部413は、バス410に接続し、音声の符号化及び復号化を行う。メモリ414は、ストリームデータ、符号化データ、復号化データなどが格納され、外部フレームメモリ51(図1参照。)の領域を含むものである。メモリ入出力部415は、バス410に接続され、メモリ414のデータ信号の入出力インターフェースである。   The speech coding / decoding unit 413 is connected to the bus 410 and performs speech coding and decoding. The memory 414 stores stream data, encoded data, decoded data, and the like, and includes an area of the external frame memory 51 (see FIG. 1). The memory input / output unit 415 is connected to the bus 410 and is an input / output interface for data signals of the memory 414.

画像処理部416は、バス410に接続し、画像信号に対してプレ処理及びポスト処理を行う。画像入出力部417は、画像処理部416で処理した画像データ信号、または画像処理部416で処理をせずに通過だけさせた画像データ信号を外部に画像信号402として出力する。また、外部からの画像信号402を取り込む。   The image processing unit 416 is connected to the bus 410 and performs pre-processing and post-processing on the image signal. The image input / output unit 417 outputs an image data signal processed by the image processing unit 416 or an image data signal that is only passed without being processed by the image processing unit 416 to the outside as an image signal 402. Further, the image signal 402 from the outside is taken in.

音声処理部418は、バス410に接続し、音声信号に対してプレ処理及びポスト処理を行う。音声入出力部419は、音声処理部418で処理した音声データ信号、または音声処理部418で処理をせずに通過だけさせた音声データ信号を外部に音声信号403として出力する。また、外部からの音声信号403を取り込む。そして、AV制御部420は、AV処理部400の全体機能の制御を行う。   The audio processing unit 418 is connected to the bus 410 and performs pre-processing and post-processing on the audio signal. The audio input / output unit 419 outputs the audio data signal processed by the audio processing unit 418 or the audio data signal that is only passed without being processed by the audio processing unit 418 to the outside as the audio signal 403. Also, an external audio signal 403 is captured. The AV control unit 420 controls the overall functions of the AV processing unit 400.

ここで、図8を用いて符号化動作のみを説明する。最初に、画像信号402が画像入出力部417に入力され、音声信号403が音声入出力部419に入力される。   Here, only the encoding operation will be described with reference to FIG. First, the image signal 402 is input to the image input / output unit 417, and the audio signal 403 is input to the audio input / output unit 419.

これに伴い、AV制御部420は、画像処理部416を制御して、画像入出力部417に入力された画像信号402を用いて、フィルタ処理や符号化のための特徴量抽出などの処理を行わせ、処理を行わせて得られたデータを原画像データとして、メモリ入出力部415を介してメモリ414に格納させる。次に、画像符号化復号化部412を制御して、メモリ414からメモリ入出力部415を介して画像符号化復号化部412に、原画像データと参照画像データを転送させ、逆に、画像符号化復号化部412からメモリ414に、画像符号化復号化部412で符号化された画像ストリームデータと局所復元データを転送させる。   Along with this, the AV control unit 420 controls the image processing unit 416 and performs processing such as filter processing and feature amount extraction for encoding using the image signal 402 input to the image input / output unit 417. The data obtained by performing the processing is stored in the memory 414 via the memory input / output unit 415 as original image data. Next, the image encoding / decoding unit 412 is controlled to cause the image encoding / decoding unit 412 to transfer the original image data and the reference image data from the memory 414 via the memory input / output unit 415, and conversely, The image stream data and the local restoration data encoded by the image encoding / decoding unit 412 are transferred from the encoding / decoding unit 412 to the memory 414.

なお、画像符号化復号化部412は、画面間予測符号化装置100(図1参照。)のほぼ全体に相当し、画像ストリームは、信号42に相当し、さらに、メモリ414は、外部フレームメモリ51の領域が含まれる。   The image encoding / decoding unit 412 corresponds to almost the entire inter-picture prediction encoding apparatus 100 (see FIG. 1), the image stream corresponds to the signal 42, and the memory 414 includes an external frame memory. 51 areas are included.

一方、AV制御部420は、音声処理部418を制御して、音声入出力部419に入力された音声信号403を用いて、フィルタ処理や符号化のための特徴量抽出などの処理を行わせ、処理を行わせて得られたデータを原音声データとして、メモリ入出力部415を介してメモリ414に格納させる。次に、再びメモリ入出力部415を介してメモリ414から原音声データを取り出させて符号化させ、再度、音声ストリームデータとしてメモリ414に格納させる。   On the other hand, the AV control unit 420 controls the audio processing unit 418 to perform processing such as filtering and feature amount extraction for encoding using the audio signal 403 input to the audio input / output unit 419. The data obtained through the processing is stored in the memory 414 via the memory input / output unit 415 as original audio data. Next, the original audio data is again extracted from the memory 414 via the memory input / output unit 415, encoded, and stored again in the memory 414 as audio stream data.

そして、AV制御部420は、画像ストリームデータと音声ストリームデータ、及びその他のストリーム情報を一つのストリームデータとして処理し、ストリーム入出力部411を介してストリームデータ401を出力し、光ディスクやハードディスクなどの蓄積メディアに書き込む処理を行う。   Then, the AV control unit 420 processes the image stream data, the audio stream data, and other stream information as one stream data, and outputs the stream data 401 via the stream input / output unit 411. Write to the storage medium.

なお、実施の形態において1ピクチャについての動作を示したが、1ピクチャを複数の領域に分割し、分割した領域を1ピクチャとして処理することによって、複数の画面間予測符号化装置をLSI内に実装し並列処理を行う、またはLSIを複数実装して並列処理を行うなどの方法で実現してもよい。   Although the operation for one picture has been described in the embodiment, a plurality of inter-screen predictive coding apparatuses are installed in an LSI by dividing one picture into a plurality of areas and processing the divided areas as one picture. You may implement | achieve by the method of mounting and performing parallel processing, or mounting multiple LSIs and performing parallel processing.

なお、ブロック図(図1や図5など)の各機能ブロックは典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。例えばメモリ以外の機能ブロックが1チップ化されていてもよい。しかし、外部フレームメモリ51(図1参照。)やメモリ414(図8参照。)は、大量のデータを保持する必要があるため、LSIに外付けする大容量のDRAMなどで実装するのが一般的である。ただし、技術の向上により1パッケージ化や1チップ化されることも有り得る。   Note that each functional block in the block diagrams (FIG. 1 and FIG. 5) is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. For example, the functional blocks other than the memory may be integrated into one chip. However, since the external frame memory 51 (see FIG. 1) and the memory 414 (see FIG. 8) need to store a large amount of data, it is generally mounted with a large capacity DRAM externally attached to the LSI. Is. However, it may be made into one package or one chip due to the improvement of technology.

ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。   The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration. Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI, or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used. Further, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.

本発明の画面間予測符号化装置は、参照用ローカルメモリの実装増加量を抑えつつ、動き補償予測に用いる参照画素の転送量を大幅に削減できるので、例えばH.264規格を用いた大きい画像サイズを扱うDVDレコーダやハードディスクレコーダやカムコーダ等を実現するために有効である。   The inter-screen predictive coding apparatus according to the present invention can significantly reduce the transfer amount of reference pixels used for motion compensation prediction while suppressing the increase in mounting of the reference local memory. This is effective for realizing a DVD recorder, a hard disk recorder, a camcorder, etc. that handle a large image size using the H.264 standard.

本発明を実現する動き検出装置のブロック図Block diagram of a motion detection apparatus that implements the present invention 動き検出における符号化ブロックと参照ピクチャの関係を示す模式図Schematic diagram showing the relationship between coding blocks and reference pictures in motion detection 参照用ローカルメモリにおける探索領域と更新領域を示す模式図Schematic diagram showing search area and update area in local memory for reference 参照用ローカルメモリにおける探索領域と更新領域を示す模式図Schematic diagram showing search area and update area in local memory for reference 実施の形態2の画面間予測符号可装置の構成を示すブロック図FIG. 9 is a block diagram showing a configuration of an inter-screen predictive code applicator according to Embodiment 2. 実施の形態3の画面間予測符号可装置の構成を示すブロック図FIG. 9 is a block diagram showing a configuration of an inter-screen prediction code applicator according to Embodiment 3. 動き検出における符号化ブロックと参照領域の関係を示す模式図Schematic diagram showing the relationship between coding block and reference area in motion detection H.264レコーダを実現するAV処理部のブロック図H. A block diagram of an AV processing unit realizing a H.264 recorder 従来の画面間予測符号化処理の構成を示すブロック図The block diagram which shows the structure of the conventional inter-screen prediction encoding process 従来の画面間予測復号化装置の構成を示すブロック図The block diagram which shows the structure of the conventional inter-screen prediction decoding apparatus. 参照用ローカルメモリの構成を示す模式図Schematic diagram showing the configuration of the reference local memory 1画面あたりで転送する参照画素を示す模式図Schematic diagram showing reference pixels transferred per screen

符号の説明Explanation of symbols

10,100,200,300 画面間予測符号化装置
11 入力メモリ
12 マルチフレームメモリ
13 動き検出部
14 動き補償部
15 動きベクトル予測・DifMV算出部
16,115 動きベクトルメモリ
17 周波数変換・量子化部
18 逆周波数変換・逆量子化部
19 再生成部
20 符号化処理部
50,110,210,310 LSI実装部分
51 外部フレームメモリ
52 参照用ローカルメモリ
53 外部入力メモリ
54,111,112 符号化対象ブロックローカルメモリ
61,62 外部バス
63,64 内部バス
113 動き検出器
114 動き補償器
116,117 内部バス
211 符号化前段処理器
212 ビット情報メモリ
213 符号化後段処理器
311 再生成器
312 参照用ローカルメモリ
10, 100, 200, 300 Inter-screen prediction encoding device 11 Input memory 12 Multi-frame memory 13 Motion detection unit 14 Motion compensation unit 15 Motion vector prediction / DifMV calculation unit 16, 115 Motion vector memory 17 Frequency conversion / quantization unit 18 Inverse frequency transform / inverse quantization unit 19 Regeneration unit 20 Coding processing unit 50, 110, 210, 310 LSI mounting part 51 External frame memory 52 Reference local memory 53 External input memory 54, 111, 112 Encoding target block local Memory 61, 62 External bus 63, 64 Internal bus 113 Motion detector 114 Motion compensator 116, 117 Internal bus 211 Pre-encoding processor 212 Bit information memory 213 Encoding post-processor 311 Regenerator 312 Reference local memory

Claims (10)

フレームメモリに蓄積されている符号化済みの参照ピクチャを用いて、ピクチャの間の動きを所定の画像領域単位で検出する動き検出装置であって、
第1の符号化対象ピクチャに属する第1の符号化対象画像領域の画素データが蓄積される第1の記憶手段と、
前記第1の符号化対象ピクチャとは異なる第2の符号化対象ピクチャに属する第2の符号化対象画像領域の画素データが蓄積される第2の記憶手段と、
前記参照ピクチャに属する参照対象画像領域の画素データが蓄積される第3の記憶手段と、
前記参照対象画像領域の画素データと、前記第1の符号化対象画像領域の画素データおよび前記第2の符号化対象画像領域の画素データのそれぞれに対してブロックマッチングしてピクチャ間の動きを検出する動き検出手段と
を備えることを特徴とする動き検出装置。
A motion detection device that detects a motion between pictures in units of a predetermined image area using an encoded reference picture stored in a frame memory,
First storage means for storing pixel data of a first encoding target image region belonging to the first encoding target picture;
Second storage means for storing pixel data of a second encoding target image region belonging to a second encoding target picture different from the first encoding target picture;
Third storage means for storing pixel data of a reference target image region belonging to the reference picture;
Block matching is performed on pixel data in the reference target image area, pixel data in the first encoding target image area, and pixel data in the second encoding target image area to detect motion between pictures. And a motion detecting means.
前記動き検出手段は、
前記参照対象画像領域の画素データに対して、前記第1の符号化対象画像領域の画素データおよび前記第2の符号化対象画像領域の画素データを、逐次処理および並列処理のいずれかでブロックマッチングする
ことを特徴とする請求項1に記載の動き検出装置。
The motion detection means includes
Block matching of the pixel data of the first encoding target image region and the pixel data of the second encoding target image region with either sequential processing or parallel processing with respect to the pixel data of the reference target image region The motion detection device according to claim 1, wherein:
前記第1の記憶手段は、
前記第1の符号化対象画像領域が前記所定の画像領域のN(Nは自然数。)倍である
ことを特徴とする請求項1に記載の動き検出装置。
The first storage means is
The motion detection apparatus according to claim 1, wherein the first encoding target image area is N (N is a natural number) times the predetermined image area.
前記第3の記憶手段は、
前記第1の符号化対象画像領域の画素データおよび前記第2の符号化対象画像領域の画素データのM(Mは自然数。)組単位で、前記参照対象画像領域の画素データが更新される
ことを特徴とする請求項1に記載の動き検出装置。
The third storage means is
The pixel data of the reference target image region is updated in units of M (M is a natural number) of pixel data of the first encoding target image region and pixel data of the second encoding target image region. The motion detection device according to claim 1.
前記動き検出手段は、複数の演算資源によって並列に動作する
ことを特徴とする請求項1に記載の動き検出装置。
The motion detection apparatus according to claim 1, wherein the motion detection unit operates in parallel with a plurality of computing resources.
前記第1の符号化対象画像領域の画素データに対して復号化処理を施して生成した復号画素データを局所復号画素データとした場合において、
前記動き検出手段は、
前記第2の符号化対象画像領域に対する動き検出を行うときに、前記局所復号画素データ、および前記局所復号画素データの周辺の復号画素データも参照して動き検出を行う
ことを特徴とする請求項1に記載の動き検出装置。
In the case where the decoded pixel data generated by performing the decoding process on the pixel data of the first encoding target image region is the locally decoded pixel data,
The motion detection means includes
The motion detection is performed with reference to the local decoded pixel data and decoded pixel data around the local decoded pixel data when performing motion detection on the second encoding target image region. 2. The motion detection device according to 1.
請求項1〜6のいずれかに記載の動き検出装置と、
前記動き検出装置で検出して得られた結果を用いて復号化した画素データに基づいて、動画像の画素データを符号化する符号化手段と
を備えることを特徴とする画面間予測符号化装置。
The motion detection device according to any one of claims 1 to 6,
An inter-picture prediction encoding apparatus, comprising: encoding means for encoding pixel data of a moving picture based on pixel data decoded using a result obtained by detection by the motion detection apparatus; .
前記画面間予測符号化装置は、さらに、
前記符号化手段による符号化の前半処理後のビット情報を前記所定の画像領域単位で蓄積するビット情報メモリを備え、
前記符号化手段は、後半処理では前記ビット情報を用いて符号化を行なう
ことを特徴とする請求項7に記載の画面間予測符号化装置。
The inter-screen predictive encoding device further includes:
A bit information memory for storing bit information after the first half of encoding by the encoding means in units of the predetermined image area;
The inter-picture prediction encoding apparatus according to claim 7, wherein the encoding means performs encoding using the bit information in the second half process.
フレームメモリに蓄積されている符号化済みの参照ピクチャを用いて、ピクチャの間の動きを所定の画像領域単位で検出する動き検出方法であって、
第1の符号化対象ピクチャに属する第1の符号化対象画像領域の画素データを第1の記憶手段に蓄積する第1の蓄積ステップと、
前記第1の符号化対象ピクチャとは異なる第2の符号化対象ピクチャに属する第2の符号化対象画像領域の画素データを第2の記憶手段に蓄積する第2の蓄積ステップと、
前記参照ピクチャに属する参照対象画像領域の画素データを第3の記憶手段に蓄積する第3の蓄積ステップと、
前記参照対象画像領域の画素データと、前記第1の符号化対象画像領域の画素データおよび前記第2の符号化対象画像領域の画素データのそれぞれに対してブロックマッチングしてピクチャ間の動きを検出する動き検出ステップと
を含むことを特徴とする動き検出方法。
A motion detection method for detecting a motion between pictures in units of a predetermined image area using an encoded reference picture stored in a frame memory,
A first accumulation step of accumulating pixel data of a first encoding target image region belonging to the first encoding target picture in a first storage unit;
A second accumulation step of accumulating pixel data of a second encoding target image area belonging to a second encoding target picture different from the first encoding target picture in a second storage unit;
A third accumulation step of accumulating pixel data of a reference target image area belonging to the reference picture in a third storage unit;
Block matching is performed on pixel data in the reference target image area, pixel data in the first encoding target image area, and pixel data in the second encoding target image area to detect motion between pictures. A motion detection method comprising: a motion detection step.
フレームメモリに蓄積されている符号化済みの参照ピクチャを用いて、ピクチャの間の動きを所定の画像領域単位で検出する動き検出集積回路であって、
第1の符号化対象ピクチャに属する第1の符号化対象画像領域の画素データが蓄積される第1の記憶手段と、
前記第1の符号化対象ピクチャとは異なる第2の符号化対象ピクチャに属する第2の符号化対象画像領域の画素データが蓄積される第2の記憶手段と、
前記参照ピクチャに属する参照対象画像領域の画素データが蓄積される第3の記憶手段と、
前記参照対象画像領域の画素データと、前記第1の符号化対象画像領域の画素データおよび前記第2の符号化対象画像領域の画素データのそれぞれに対してブロックマッチングしてピクチャ間の動きを検出する動き検出手段と
を備えることを特徴とする動き検出集積回路。
A motion detection integrated circuit that detects motion between pictures in units of a predetermined image area using an encoded reference picture stored in a frame memory,
First storage means for storing pixel data of a first encoding target image region belonging to the first encoding target picture;
Second storage means for storing pixel data of a second encoding target image region belonging to a second encoding target picture different from the first encoding target picture;
Third storage means for storing pixel data of a reference target image region belonging to the reference picture;
Block matching is performed on pixel data in the reference target image area, pixel data in the first encoding target image area, and pixel data in the second encoding target image area to detect motion between pictures. A motion detection integrated circuit.
JP2005202275A 2005-07-11 2005-07-11 Apparatus and method for detecting motion Pending JP2007020123A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005202275A JP2007020123A (en) 2005-07-11 2005-07-11 Apparatus and method for detecting motion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005202275A JP2007020123A (en) 2005-07-11 2005-07-11 Apparatus and method for detecting motion

Publications (1)

Publication Number Publication Date
JP2007020123A true JP2007020123A (en) 2007-01-25

Family

ID=37756833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005202275A Pending JP2007020123A (en) 2005-07-11 2005-07-11 Apparatus and method for detecting motion

Country Status (1)

Country Link
JP (1) JP2007020123A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008136178A1 (en) * 2007-04-26 2008-11-13 Panasonic Corporation Motion detection apparatus, motion detection method, and motion detection program
JP2009111797A (en) * 2007-10-31 2009-05-21 Hitachi Ltd Encoder, and recording device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008136178A1 (en) * 2007-04-26 2008-11-13 Panasonic Corporation Motion detection apparatus, motion detection method, and motion detection program
JP2009111797A (en) * 2007-10-31 2009-05-21 Hitachi Ltd Encoder, and recording device

Similar Documents

Publication Publication Date Title
RU2409005C2 (en) Method of scalable coding and decoding of video signal
US9961346B2 (en) Video encoder and method of operating the same
US20100086053A1 (en) Motion estimation device, motion estimation method, and motion estimation program
US20070030899A1 (en) Motion estimation apparatus
JP3855522B2 (en) Video converter
KR101147744B1 (en) Method and Apparatus of video transcoding and PVR of using the same
JP2008500760A (en) Method and apparatus for encoding digital video data
JP2007104231A (en) Transcoder, recording apparatus, transcode method
WO2009130886A1 (en) Moving image coding device, imaging device and moving image coding method
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
US20080089418A1 (en) Image encoding apparatus and memory access method
JP5496047B2 (en) Image reproduction method, image reproduction apparatus, image reproduction program, imaging system, and reproduction system
JP2008011117A (en) Method of determining reference picture during interlaced encoding of image encoding
JP2012085001A5 (en)
JP2007228560A (en) Moving picture coding method and moving picture coding device
JP4742018B2 (en) Image coding apparatus and image coding method
KR101880325B1 (en) Video image encoding device
JP2008244993A (en) Apparatus and method for transcoding
KR20060069227A (en) Method and apparatus for deriving motion vectors of macro blocks from motion vectors of pictures of base layer when encoding/decoding video signal
JP2007020123A (en) Apparatus and method for detecting motion
US20080063081A1 (en) Apparatus, method and program for encoding and/or decoding moving picture
CN112399180B (en) Video decoding method, device and storage medium
JP2003230148A (en) Image data coding unit
KR20060101847A (en) Method for scalably encoding and decoding video signal
WO2010021153A1 (en) Motion detection device