JP2009290387A - Encoder, decoder and recording reproducing device - Google Patents

Encoder, decoder and recording reproducing device Download PDF

Info

Publication number
JP2009290387A
JP2009290387A JP2008138851A JP2008138851A JP2009290387A JP 2009290387 A JP2009290387 A JP 2009290387A JP 2008138851 A JP2008138851 A JP 2008138851A JP 2008138851 A JP2008138851 A JP 2008138851A JP 2009290387 A JP2009290387 A JP 2009290387A
Authority
JP
Japan
Prior art keywords
input frame
image
unit
frame
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008138851A
Other languages
Japanese (ja)
Inventor
Tomoyuki Nonaka
智之 野中
Masanori Shimada
政範 島田
Hironori Komi
弘典 小味
Keisuke Inada
圭介 稲田
Yusuke Yatabe
祐介 谷田部
Mitsuhiro Okada
岡田  光弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2008138851A priority Critical patent/JP2009290387A/en
Publication of JP2009290387A publication Critical patent/JP2009290387A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem that circuit scale and power consumption increase because an increase in the number of memory devices to be used and acceleration of an operation frequency of a device are required by an increase in the number of accesses to a reference memory in performing encoding and decoding of a motion picture of a high resolution and high frame rate. <P>SOLUTION: An encoder, a decoder and a recording reproducing device can achieve high-speed processing while suppressing an increase in circuit scale and power consumption by enabling reduction of the number of accesses to the reference memory by processing a macroblock of a first input frame, a macroblock of a second input frame and a macroblock of a third input frame per macroblock, using image data for a search range read from the reference memory in processing of referencing the image data of the common search range among the first input frame, the second input frame and the third input frame which are different from each other. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、エンコーダ、デコーダ、及び記録再生装置に関する。例えば、画像を符号化しビットストリームに変換するエンコーダ、符号化されたビットストリームを復号化するデコーダ及びこれらを用いた記録再生装置に関する。   The present invention relates to an encoder, a decoder, and a recording / reproducing apparatus. For example, the present invention relates to an encoder for encoding an image and converting it into a bit stream, a decoder for decoding the encoded bit stream, and a recording / reproducing apparatus using these.

本技術分野の背景技術として、例えば、特開2007−104231号公報(特許文献1)がある。該公報には、「[課題]変換前のストリームに付加されている符号化情報のInterかIntraのどちらのモードで符号化されているかの情報を用いて、使い勝手を向上したトランスコードするトランスコーダ、記録装置及びトランスコード方法を提供する。[解決手段]トランスコーダは、フレーム内符号化及びフレーム間予測符号化を行う第1の符号化方式で符号化された動画像ストリームをデコードし、第2の符号化方式でエンコードし、入力された動画像ストリームをデコードし、フレーム内符号化で符号化されたのかフレーム間予測符号化で符号化されたのかを示すサブ情報を検出するデコーダと、前記サブ情報がフレーム内符号化されたことを示す情報である場合と、フレーム間予測符号化されたことを示す情報である場合とで、符号化するときに参照するフレームを変えるエンコーダと、を有する。」(要約)と記載されている。   As background art of this technical field, for example, there is JP-A-2007-104231 (Patent Document 1). In this publication, “[Problem] Transcoder for transcoding with improved usability by using information indicating whether encoding is performed in Inter or Intra mode of encoded information added to a stream before conversion. The present invention provides a recording apparatus and a transcoding method. [Solution] A transcoder decodes a moving picture stream encoded by a first encoding method that performs intraframe encoding and interframe predictive encoding, and A decoder for detecting sub-information indicating whether the data is encoded by intra-frame encoding or inter-frame prediction encoding; When the sub-information is information indicating that intra-frame encoding is performed and when it is information indicating that inter-frame prediction encoding is performed In is described an encoder for changing the frames to be referred to when encoding, and. "(Abstract) with.

また、本技術分野の背景技術として、例えば、特開2006−270683号公報(特許文献2)がある。該公報には、「[課題]動き検出の際、フレームメモリから頻繁にデータを転送するため、バス帯域が圧迫され、処理性能が悪化する。[解決手段]動き補償部60は、フレームメモリ80から転送した画素データを保持するために、SRAM66とは別に、先読み用SRAM64を有する。動きベクトル検出部62は、フレームメモリ80に保持された参照画像の所定探索範囲内、参照頻度の高い画素領域のデータをあらかじめフレームメモリ80から先読み用SRAM64に転送する。一方、動きベクトル検出部62は、動きベクトルの探索の際に参照する必要のある画素データを探索の都度、フレームメモリ80からSRAM66に転送する。動きベクトル検出部62は、先読み用SRAM64と通常のSRAM66とを切り替えて参照し、動き探索を進める。」(要約)と記載されている。   As background art in this technical field, for example, there is JP-A-2006-270683 (Patent Document 2). According to the publication, “[Problem] When data is detected, data is frequently transferred from the frame memory, so the bus bandwidth is compressed and the processing performance deteriorates. [Solution] The motion compensator 60 includes a frame memory 80. In addition to the SRAM 66, the pre-reading SRAM 64 is provided in addition to the SRAM 66. The motion vector detecting unit 62 is a pixel area having a high reference frequency within a predetermined search range of the reference image held in the frame memory 80. Is previously transferred from the frame memory 80 to the prefetch SRAM 64. On the other hand, the motion vector detection unit 62 transfers pixel data that needs to be referred to when searching for a motion vector from the frame memory 80 to the SRAM 66 each time the search is performed. The motion vector detection unit 62 switches between the prefetch SRAM 64 and the normal SRAM 66 and refers to them, The motion search is advanced "(summary).

特開2007−104231号公報JP 2007-104231 A 特開2006−270683号公報JP 2006-270683 A

動画像の符号化技術については、MPEG2(ISO/IEC 13813-2, International Standard)が放送用途や記録媒体への記録時の方式に採用されている。また、さらに高圧縮化に対応した、H.264(ITE/ISO 14496-10/H.264AVC)/AVC(Advanced Video Coding)も、記録媒体への記録方式として採用され始めている。   As a moving image encoding technique, MPEG2 (ISO / IEC 13813-2, International Standard) is adopted for broadcasting use and recording on a recording medium. In addition, H.264 (ITE / ISO 14496-10 / H.264AVC) / AVC (Advanced Video Coding), which supports higher compression, has begun to be adopted as a recording method for recording media.

これらの符号化方式では、動画像を構成する各フレームが、16画素×16画素のマクロブロック単位に分割され、マクロブロック単位での処理が行われる。   In these encoding methods, each frame constituting a moving image is divided into macroblock units of 16 pixels × 16 pixels, and processing in units of macroblocks is performed.

また、フレーム内情報に基づいて符号化されるフレーム内予測画像(以下、Iピクチャと記す)、時間的に前方向のフレームを参照画像として符号化される前方向予測画像(以下Pピクチャと記す)、及び時間的に前方向および後方向のフレームをそれぞれ参照画像として符号化される双方向予測画像(以下、Bピクチャと記す)の3種類のピクチャタイプが規定されている。符号化時の参照フレーム構成については、上記特許文献1に開示されている。   Also, an intra-frame prediction image (hereinafter referred to as I picture) that is encoded based on intra-frame information, and a forward prediction image (hereinafter referred to as P picture) that is encoded using a temporally forward frame as a reference image. ), And bidirectional prediction images (hereinafter referred to as B pictures) that are encoded with reference to temporally forward and backward frames, respectively. The reference frame configuration at the time of encoding is disclosed in Patent Document 1 described above.

Pピクチャ及びBピクチャについては、マクロブロック単位に、所定の参照画像から、符号化対象となる現マクロブロックに類似したマクロブロックが探索され、探索されたマクロブロックとの空間的な距離及び方位を表す動きベクトル及び探索されたマクロブロックとの差分情報を算出する。次いで、これらの情報がDCT変換(Discrete Cosine Transform;離散コサイン変換)、量子化および可変長符号化により圧縮される。これらの符号化方式は、上記のとおり、時間的に前方向及び、後ろ方向の参照画像との差分情報を圧縮することにより、圧縮率の向上を特徴とした方式である。   For P pictures and B pictures, a macroblock similar to the current macroblock to be encoded is searched from a predetermined reference image for each macroblock, and the spatial distance and direction from the searched macroblock are determined. Difference information between the motion vector to be represented and the searched macroblock is calculated. Next, these pieces of information are compressed by DCT transform (Discrete Cosine Transform), quantization and variable length coding. As described above, these encoding methods are methods characterized by improving the compression rate by compressing difference information with respect to the reference image in the forward direction and the backward direction in terms of time.

しかしながら、Pピクチャ及びBピクチャの符号化及び、復号化を行う際には、参照画像を使用する為に、参照画像を格納する参照メモリが必要となり、前記参照メモリは例えば、SDRAMなどで実現できる。   However, when encoding and decoding a P picture and a B picture, a reference memory for storing the reference image is required to use the reference image, and the reference memory can be realized by, for example, SDRAM. .

高解像度、高フレームレートの動画像のエンコード処理及び、デコード処理を行う場合、参照メモリに対するアクセスが増加する。   When encoding and decoding high-resolution and high-frame-rate moving images, access to the reference memory increases.

また、装置にエンコーダ及び、デコーダを搭載する場合において、コストパフォーマンス向上や、装置の小型化を実現する目的のため、参照メモリは、グラフィック処理を行う為のメモリや、外部デバイスとの処理に使用する為のメモリ等と共用して使用することが考えられる。しかし、参照メモリを共用した場合に、エンコード及び、デコード処理の参照メモリアクセスに対してのデータバンド幅を確保する必要が生じる。   In addition, when an encoder and decoder are installed in the device, the reference memory is used for memory processing for graphic processing and processing with external devices for the purpose of improving cost performance and reducing the size of the device. It is conceivable to use it in common with a memory for doing so. However, when the reference memory is shared, it is necessary to secure a data bandwidth for the reference memory access of the encoding and decoding processes.

そのため、使用するメモリデバイスの数の増加や、デバイスの動作周波数の高速化が必要となってしまい、消費電力が増加してしまうという課題がある。   Therefore, there is a problem that the number of memory devices to be used is increased and the operating frequency of the devices is required to be increased, resulting in an increase in power consumption.

また、特許文献2の方法のように、中間メモリを増加することによって、参照メモリに対するアクセスを低減し、データバンド幅を確保する手法では、高解像度、高フレームレートの動画像の符号化及び、復号化を行う場合は、中間メモリの回路規模が増加してしまうという課題がある。   Further, as in the method of Patent Document 2, by increasing the intermediate memory, the method of reducing the access to the reference memory and ensuring the data bandwidth, the encoding of moving images with high resolution and high frame rate, and When performing decoding, there is a problem that the circuit scale of the intermediate memory increases.

本発明の目的は、高速な処理を実現するエンコーダ、デコーダ及び、記録再生装置を提供することである。例えば、回路規模の増加を抑制しつつ、エンコード及び、デコード処理時の、参照メモリへのアクセスを減少し、参照メモリの為のデバイス数の増加や、デバイスの動作周波数の高速化を行わずとも、高速な処理を実現するエンコーダ、デコーダの提供すること及び、前記エンコーダ及び、前記デコーダを搭載した記録再生装置を提供することを目的とする。   An object of the present invention is to provide an encoder, a decoder, and a recording / reproducing apparatus that realize high-speed processing. For example, while suppressing an increase in circuit scale, it is possible to reduce access to the reference memory during encoding and decoding processing without increasing the number of devices for the reference memory and increasing the operating frequency of the device. An object of the present invention is to provide an encoder and a decoder that realize high-speed processing, and to provide a recording / reproducing apparatus equipped with the encoder and the decoder.

上記目的は、特許請求の範囲に記載の発明により達成される。   The above object can be achieved by the invention described in the claims.

本発明により、高速な処理を実現するエンコーダ、デコーダ及び、記録再生装置が提供できる。   According to the present invention, an encoder, a decoder, and a recording / reproducing apparatus that realize high-speed processing can be provided.

上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。   Problems, configurations, and effects other than those described above will become apparent from the following description of embodiments.

以下、本発明の実施形態を図面により説明する。   Embodiments of the present invention will be described below with reference to the drawings.

本発明の好適な一実施例として、エンコーダの構成及び動作を説明する。   As a preferred embodiment of the present invention, the configuration and operation of an encoder will be described.

本実施例では、H.264方式を利用して説明する。しかしながら、これに限らず符号化方式としては、上記MPEG2方式や、MPEG4、H.261、H263、SMTPEのVC1などがある。   In the present embodiment, description will be made using the H.264 method. However, the present invention is not limited to this, and examples of the encoding method include the MPEG2 method, MPEG4, H.261, H263, and SMTPE VC1.

尚、H.264方式などでは、動き補償の際の参照フレームを既に符号化済みのフレームから任意に選択できるマルチフレーム補償が可能である。   In the H.264 method or the like, it is possible to perform multiframe compensation in which a reference frame for motion compensation can be arbitrarily selected from already encoded frames.

図1を用いて実施例の構成を説明する。エンコードする画像データを入力する画像入力インターフェース部001、前記入力インターフェース部001から出力する画像データを入力画像として蓄えるバッファ部002、前記バッファ部から出力する入力画像と、既に符号化済みの複数枚の参照画像との間で、動き補償処理を行い、入力画像と予測画像との差分データを作成する動き補償部003、前記動き補償部から出力する差分データを周波数変換及び、量子化する周波数変換部004、前期周波数変換部から出力する中間データをマクロブロック単位で格納するための中間データ保存部005、前記中間データ部から出力される中間データを、規格に準拠したシンタックスで符号化する符号化部006、前記符号化部から出力するビットストリームを出力するビットストリーム出力部007、符号化済みの画像を後の動き補償の参照画像とするための参照画保存部である参照メモリ部008、動き補償処理に必要な範囲の参照画像を格納するための中間メモリ部009を備えたエンコーダ100を示している。   The configuration of the embodiment will be described with reference to FIG. An image input interface unit 001 for inputting image data to be encoded, a buffer unit 002 for storing image data output from the input interface unit 001 as an input image, an input image output from the buffer unit, and a plurality of already encoded images A motion compensation unit 003 that performs motion compensation processing between the reference image and creates difference data between the input image and the predicted image, and a frequency transform unit that performs frequency conversion and quantization of the difference data output from the motion compensation unit 004, intermediate data storage unit 005 for storing the intermediate data output from the previous frequency conversion unit in units of macroblocks, encoding for encoding the intermediate data output from the intermediate data unit with a syntax compliant with the standard Unit 006, bit stream output unit 007 for outputting the bit stream output from the encoding unit, encoded image A reference memory unit 008, which is a reference image storage unit for making a reference image for later motion compensation, and an encoder 100 including an intermediate memory unit 009 for storing a reference image in a range necessary for motion compensation processing are shown. .

前記バッファ部002と、前記参照メモリ部008は、例えば共通のSDRAM上の異なるアドレスに割り付けて使用することが考えられる。   For example, the buffer unit 002 and the reference memory unit 008 may be assigned to different addresses on a common SDRAM.

図2に、本実施例における、動き補償部に使用する参照画像フレーム構成を示す。   FIG. 2 shows a reference image frame configuration used in the motion compensation unit in the present embodiment.

図中のI、P、Bはそれぞれピクチャタイプを示し、Iはフレーム内情報に基づいて符号化されるフレーム内予測画像(intra-coded)、Pは時間的に前方向のフレームを参照画像として符号化される前方向予測画像(predictive-codec)、Bは時間的に前方向および後方向のフレームをそれぞれ参照画像として符号化される双方向予測画像(bidirectionally -predictive-codec)を行うタイプを示している。   In the figure, I, P, and B respectively indicate picture types, I is an intra-frame predicted image that is encoded based on intra-frame information, and P is a temporally forward frame as a reference image The forward prediction image (predictive-codec) to be encoded, B is the type that performs bi-directional prediction image (bidirectionally-predictive-codec) encoded using the forward and backward frames as reference images in terms of time. Show.

P3フレームをエンコードする場合は、符号化処理を行うP3フレームのマクロブロックと、時間的に前方向であるI0フレームのハッチングされた該当マクロブロック近傍から類似のマクロブロックを探索し、決定されたマクロブロックとの差分を演算する。   When encoding a P3 frame, search for a similar macroblock from the vicinity of the macroblock of the P3 frame to be encoded and the hatched corresponding macroblock of the I0 frame that is temporally forward, and determine the macro Calculate the difference with the block.

B1フレームについては、符号化処理を行うB1フレームのマクロブロックと、時間的に前方向であるI0フレーム及び、時間的に後方向であるP3フレームのハッチングされた該当マクロブロック近傍から類似のマクロブロックを探索し、決定されたマクロブロックとの差分を演算する。B2フレームについては、参照画像はB1フレームと同様に、I0フレーム及び、 P3フレームを参照画像として、B1フレームと同様の処理となる。   For the B1 frame, the macroblock of the B1 frame to be encoded, the I0 frame that is temporally forward, and the similar macroblock from the vicinity of the corresponding macroblock that is hatched of the P3 frame that is temporally backward And the difference from the determined macroblock is calculated. For the B2 frame, similarly to the B1 frame, the reference image is processed in the same manner as the B1 frame with the I0 frame and the P3 frame as reference images.

P6フレームをエンコードする場合は、符号化処理を行うP6フレームのマクロブロックと、時間的に前方向であるP3フレームのハッチングされた該当マクロブロック近傍から類似のマクロブロックを探索し、決定されたマクロブロックとの差分を演算する。   When encoding a P6 frame, a macro determined by searching for a similar macroblock from the vicinity of the corresponding macroblock hatched in the P3 frame that is temporally forward and the P6 frame that is to be encoded is determined. Calculate the difference with the block.

また、エンコード処理では、既に符号化したフレームを参照画像として用いる為、符号化したフレームを参照メモリ008に蓄えておく必要がある。参照メモリ008を参照画像保存枚数3面として、参照メモリ008に保存されている参照画像を用いてエンコードを行う例を図3に示す。   Further, in the encoding process, since an already encoded frame is used as a reference image, it is necessary to store the encoded frame in the reference memory 008. FIG. 3 shows an example in which encoding is performed using the reference image stored in the reference memory 008 with the reference memory 008 as the reference image storage number 3 side.

図3中のB3フレームをエンコードする場合、参照メモリ部008から時間的に前方向であるフレームI2と、時間的に後方向であるフレームP5について、該当マクロブロック周辺の画素データを読み出し、動き補償部003にて類似マクロブロックを探索し、決定した類似マクロブロックの画素データとの差分の演算を行う。   When the B3 frame in FIG. 3 is encoded, pixel data around the corresponding macroblock are read from the reference memory unit 008 for the temporally forward frame I2 and temporally backward frame P5, and motion compensation is performed. The part 003 searches for a similar macroblock, and calculates a difference from the pixel data of the determined similar macroblock.

B4フレームをエンコードする場合も、B3フレームと同様に、参照メモリ部008から時間的に前方向であるフレームI2と、時間的に後方向であるフレームP5について、該当マクロブロック周辺の画素データを読み出し、動き補償部003にて類似マクロブロックを探索し、決定した類似マクロブロックの画素データとの差分の演算を行う。   When encoding a B4 frame, the pixel data around the corresponding macroblock is read from the reference memory unit 008 for the frame I2 that is temporally forward and the frame P5 that is temporally backward, as with the B3 frame. Then, the motion compensation unit 003 searches for a similar macroblock, and calculates a difference from the pixel data of the determined similar macroblock.

P8フレームをエンコードする場合は、B3フレーム及び、B4フレームにて時間的に後方向の参照画像として使用したP5フレームを、時間的に前方向であるフレームとして、該当マクロブロック周辺の画素データを読み出し、動き補償部003にて類似マクロブロックを探索し、決定した類似マクロブロックの画素データとの差分の演算を行う。   When encoding a P8 frame, read out the pixel data around the corresponding macroblock using the B3 frame and the P5 frame used as the temporally backward reference image in the B4 frame as the temporally forward frame. Then, the motion compensation unit 003 searches for a similar macroblock, and calculates a difference from the pixel data of the determined similar macroblock.

上記のとおり、B3、B4、P8の3フレームをエンコードする期間に、参照メモリ部008からI2フレームを2回、P5フレームを3回、合計5面の参照画像を繰り返し読み出している。   As described above, a total of five reference images are repeatedly read from the reference memory unit 008 twice for the I2 frame and three times for the P5 frame during the period for encoding the three frames B3, B4, and P8.

図4は、参照メモリ部008から読み出した参照画像データを中間メモリ009に、一旦保存し、参照メモリ部008への読み出し回数の低減を実現したエンコード処理の概念図である。   FIG. 4 is a conceptual diagram of an encoding process in which the reference image data read from the reference memory unit 008 is temporarily stored in the intermediate memory 009 and the read count to the reference memory unit 008 is reduced.

図3から異なり、B3フレームをエンコードする際に、参照メモリ部008より参照画像の該当マクロブロック周辺の画素データを読み出し、中間メモリ部009に保存し、B3フレーム、B4フレーム及び、P8フレームを同時に処理する。このとき動き補償部003、周波数変換部004は、エンコードの処理速度を通常の1/3倍として、3倍の時間をかけて、3フレームのエンコード処理を行う。   Unlike FIG. 3, when encoding the B3 frame, the pixel data around the corresponding macroblock of the reference image is read from the reference memory unit 008, stored in the intermediate memory unit 009, and the B3 frame, B4 frame, and P8 frame are simultaneously stored. Process. At this time, the motion compensation unit 003 and the frequency conversion unit 004 perform the encoding process of 3 frames by taking 3 times as long as the encoding processing speed is 1/3 times normal.

図5に、B3フレーム、B4フレーム及び、P8フレームをエンコードする場合の、マクロブロック単位の処理順序概念図を示す。図中のMB0は、各フレーム左上のマクロブロックを示し、MBnは各フレーム中n番目のマクロブロックを示し、MBn+1はMBnの次に処理されるマクロブロックを示し、MBxは各フレーム右下のマクロブロックを示す。エンコード処理開始時には、中間メモリ部009に格納されているI2フレーム及び、P5フレームを参照して、B3フレームのMB0のエンコード処理を行う。B3フレームのMB0のエンコード処理が完了後、B3フレームのMB0と同様のフレームを参照して、B4フレームのMB0のエンコード処理を行う。B4フレームのMB0のエンコード処理が完了後、中間メモリ部009に格納されているP5フレームを参照して、P8フレームのMB0のエンコード処理を行う。各フレームのMB0のエンコード処理が完了後、MBn、MBn+1、・・・ 、MBxと画面右下のマクロブロックのエンコード処理が完了するまで、B3フレーム、B4フレーム及び、P8フレームのマクロブロック単位でのエンコード処理を継続して行う。   FIG. 5 shows a conceptual diagram of processing order in units of macroblocks when encoding B3 frame, B4 frame, and P8 frame. MB0 in the figure indicates the upper left macroblock of each frame, MBn indicates the nth macroblock in each frame, MBn + 1 indicates the macroblock to be processed next to MBn, and MBx indicates the lower right of each frame. Indicates a macroblock. At the start of the encoding process, the encoding process of MB0 of the B3 frame is performed with reference to the I2 frame and the P5 frame stored in the intermediate memory unit 009. After the encoding process of MB0 of B3 frame is completed, the encoding process of MB0 of B4 frame is performed with reference to the same frame as MB0 of B3 frame. After the encoding process of MB0 of the B4 frame is completed, the encoding process of MB0 of the P8 frame is performed with reference to the P5 frame stored in the intermediate memory unit 009. After completing the encoding process of MB0 of each frame, until the encoding process of MBn, MBn + 1, ..., MBx and the macroblock at the lower right of the screen is completed, the macroblock unit of B3 frame, B4 frame and P8 frame Continue encoding with.

図6に、類似マクロブロックの探索範囲の概念図を示す。処理対象マクロブロック位置から、左右にH画素、上下にV画素の範囲を探索する範囲と定めた場合、中間メモリ部009には、I2フレーム及び、P5フレームの処理対象マクロブロック位置から、左右にH画素、上下にV画素の範囲の画像データ(図中でハッチングされた範囲)を格納する。動き補償部003は、中間メモリ部009に格納されたI2フレーム及び、P5フレームの画像データを用いて、B3フレームのMBnに類似のマクロブロックの探索を行い、類似マクロブロックの決定後、エンコード処理を行う。B3フレームのMBnのエンコード処理が完了後、同様にB4フレームのMBnに類似のマクロブロックの探索及び、エンコード処理を行う。B4フレームのMBnのエンコード処理が完了後、中間メモリ部009に格納されたP5フレームの画像データのみを用いて、P8フレームのMBnに類似のマクロブロックの探索及び、エンコード処理を行う。   FIG. 6 shows a conceptual diagram of a search range for similar macroblocks. When the processing target macroblock position is determined as a range to search for a range of H pixels on the left and right and V pixels on the top and bottom, the intermediate memory unit 009 has left and right from the processing target macroblock position of the I2 frame and the P5 frame. Stores image data (hatched range in the figure) in the range of H pixels and V pixels above and below. The motion compensation unit 003 searches for a macroblock similar to the MBn of the B3 frame using the image data of the I2 frame and the P5 frame stored in the intermediate memory unit 009. After determining the similar macroblock, the encoding process I do. After the MBn MBn encoding process is completed, a macroblock similar to the B4 frame MBn is searched and encoded. After the encoding process of MBn of the B4 frame is completed, a macroblock similar to MBn of the P8 frame is searched and encoded using only the image data of the P5 frame stored in the intermediate memory unit 009.

前記の処理手順を実施することにより、1フレーム期間の3倍の時間をかけて、3フレームのエンコード処理が実現できる。   By performing the above processing procedure, it is possible to realize a three-frame encoding process that takes three times as long as one frame period.

また、リアルタイムエンコードではない場合は、1フレーム期間の3倍以上の時間をかけて処理しても構わない。   Further, when it is not real-time encoding, processing may be performed over three times as long as one frame period.

また、図7に示すとおり、エンコード部を3個有する構成として、B3フレーム、B4フレーム及び、P8フレームを同時にエンコード処理することとしてもよい。   Further, as shown in FIG. 7, it is possible to encode the B3 frame, the B4 frame, and the P8 frame at the same time as a configuration having three encoding units.

符号部006は、中間データ保存部005から、マクロブロック単位で時系列にデータを受け取る。生成したビットストリームは、符号部006からビットストリーム出力部007へ出力される。この構成により、参照メモリ部008から読み出す参照画像データ量を、3フレームの処理期間においてI2フレームを1回、P5フレームを1回、合計2面の参照画像を読み出すこととなり、従来構成と比較し、2/5倍に低減することが可能である。   The encoding unit 006 receives data from the intermediate data storage unit 005 in time series in units of macro blocks. The generated bit stream is output from the encoding unit 006 to the bit stream output unit 007. With this configuration, the reference image data amount to be read from the reference memory unit 008 is read out in two reference images in total for the I2 frame once and the P5 frame once in the processing period of 3 frames. It is possible to reduce to 2/5 times.

本実施例により、エンコード処理時の参照メモリへのアクセス回数が低減するため、回路規模及び、消費電力の増加を抑制しつつ、高速な処理を実現するエンコーダが構成される。   According to the present embodiment, since the number of accesses to the reference memory during the encoding process is reduced, an encoder that realizes high-speed processing while suppressing an increase in circuit scale and power consumption is configured.

尚、本実施例においてはリアルタイム処理を実現するH.264エンコーダを対象として説明しているが、リアルタイム処理に限定するものではない。マルチフレームエンコードを実現するために複数枚の参照画像に対して実際に探索を試みて、効率のよい参照画像を選択する手法は、回路規模及び、消費電力の増大を招き実現的でなく、回路規模や消費電力を削減するため、H.264エンコーダであっても動き補償を行う参照画像のフレームを固定する構成としているが、本発明は上記参照フレーム構成に限るものではない。   In this embodiment, the H.264 encoder that realizes real-time processing is described as an object, but the present invention is not limited to real-time processing. The technique of actually searching for a plurality of reference images to realize multi-frame encoding and selecting an efficient reference image is not practical because it increases circuit scale and power consumption. In order to reduce the scale and power consumption, the H.264 encoder is configured to fix the frame of the reference image for motion compensation, but the present invention is not limited to the above-described reference frame configuration.

また、本実施例における類似マクロブロックの探索アルゴリズムについては、中間メモリ部009に格納されている範囲の全探索を想定しているが、本発明においては、階層探索や、中間メモリの一部のみを探索するアルゴリズムを採用した場合も、同等に有効である。
また、本発明は上記した実施の形態に限定されるものではなく、この外その趣旨を逸脱しない範囲で、変形して実施することが出来る。
Further, the search algorithm for similar macroblocks in the present embodiment assumes a full search in the range stored in the intermediate memory unit 009. However, in the present invention, only a hierarchical search or a part of the intermediate memory is assumed. Even if an algorithm for searching for is used, it is equally effective.
Further, the present invention is not limited to the above-described embodiment, and can be modified and implemented without departing from the spirit of the present invention.

本発明の好適な一実施例として、デコーダの構成を説明する。   As a preferred embodiment of the present invention, the configuration of a decoder will be described.

本実施例では、H.264方式を利用して説明する。しかしながら、これに限らず符号化方式としては、上記MPEG2方式や、MPEG4、H.261、H263、SMTPEのVC1などがある。   In the present embodiment, description will be made using the H.264 method. However, the present invention is not limited to this, and examples of the encoding method include the MPEG2 method, MPEG4, H.261, H263, and SMTPE VC1.

図8を用いて実施例の構成を説明する。デコードするビットストリームを入力するビットストリーム入力部101、前記入力部101から出力するビットストリームを規格に準拠して復号化を行う復号部102、前記復号部から出力されたデータをマクロブロック単位に格納する中間データ保存部103、前記中間データ保存部から出力するマクロブロック単位の中間データを逆量子化及び、逆周波数変換する逆周波数変換部104、前記逆周波数変換部から出力する差分データと既に復号化済みの複数枚の参照画像との間で動き補償を行い、画像データを生成する動き補償部105、前記動き補償部から出力する画像データを蓄えるバッファ部106、前記バッファ部106に蓄えられた画像データを出力する画像出力インターフェース107、復号化済みの画像を後の動き補償の参照画像とするための参照画保存部である参照メモリ部108、動き補償処理に必要な範囲の参照画像を格納するための中間メモリ部109を備えたデコーダ200を示している。   The configuration of the embodiment will be described with reference to FIG. A bitstream input unit 101 for inputting a bitstream to be decoded, a decoding unit 102 for decoding the bitstream output from the input unit 101 according to a standard, and storing data output from the decoding unit in units of macroblocks Intermediate data storage unit 103, intermediate data in units of macroblocks output from the intermediate data storage unit is inversely quantized and inverse frequency conversion unit 104 for inverse frequency conversion, differential data output from the inverse frequency conversion unit and already decoded Motion compensation between a plurality of converted reference images, a motion compensation unit 105 for generating image data, a buffer unit 106 for storing image data output from the motion compensation unit, and stored in the buffer unit 106 An image output interface 107 for outputting image data, and a reference image storage unit for using the decoded image as a reference image for later motion compensation Reference memory unit 108 that depicts a decoder 200 having an intermediate memory unit 109 for storing the range of the reference image necessary for the motion compensation process.

前記バッファ部106と、前記参照メモリ部108は、例えば共通のSDRAM上の異なるアドレスに割り付けて使用することが考えられる。   For example, the buffer unit 106 and the reference memory unit 108 may be assigned to different addresses on a common SDRAM.

本デコーダ200でデコードするビットストリームは、実施例1のエンコーダ100でエンコードされたものを想定している。そのため、参照画像フレーム構成及び、参照メモリ部108のリード回数低減の原理については、実施例1のエンコーダ100と同様である。   The bit stream decoded by the decoder 200 is assumed to be encoded by the encoder 100 of the first embodiment. Therefore, the reference image frame configuration and the principle of reducing the number of reads of the reference memory unit 108 are the same as those of the encoder 100 of the first embodiment.

次に本発明の他の好適な一実施例として、製品への適用例を説明する。本実施例では、第1の製品実用例として、記録再生装置(例えばカムコーダや、カメラ付き携帯電話など)への適用例について説明する。   Next, as another preferred embodiment of the present invention, an application example to a product will be described. In this embodiment, an application example to a recording / reproducing apparatus (for example, a camcorder or a camera-equipped mobile phone) will be described as a first practical example of a product.

本実施例は、例えばカメラなどの撮像素子からの画像データや、外部からデジタル画像コンテンツを入力し、ハードディスク(以下 HDDと略す),光磁気ディスクや、フラッシュメモリなどの記録媒体に符号化フォーマット,符号化レートを変えて保存する場合に有効である。   In this embodiment, for example, image data from an image sensor such as a camera or digital image content is input from the outside, and an encoding format is recorded on a recording medium such as a hard disk (HDD), a magneto-optical disk, or a flash memory. This is effective when the coding rate is changed.

図9にカメラからの撮像画像データを記録媒体に保存する際のブロック図を示す。画像入力インターフェース部709から入力された画像データをエンコード装置100で符号化を行いストリームの生成を行う。生成されたストリームは記録媒体インターフェース部706により、例えばHDDなどの記録媒体部707に記録される。   FIG. 9 shows a block diagram when the captured image data from the camera is stored in a recording medium. The image data input from the image input interface unit 709 is encoded by the encoding device 100 to generate a stream. The generated stream is recorded by a recording medium interface unit 706 on a recording medium unit 707 such as an HDD.

記録されたストリームを再生するには、前記HDDからストリームを読み出し、デコード装置200でデコード処理が行われ、画像をディスプレイに出力するのであればデコード画像は,表示部708に送る処理とする。   In order to play back the recorded stream, the stream is read from the HDD, decoded by the decoding device 200, and if the image is output to a display, the decoded image is sent to the display unit 708.

また、デコーダ装置200がデコードした再生画像について、ビットレート変換,フォーマット変換を行う為に、エンコード装置100にて再度エンコードを行っても構わない。   Further, the encoded image may be encoded again by the encoding device 100 in order to perform bit rate conversion and format conversion on the reproduced image decoded by the decoder device 200.

本実施例により、エンコーダ及び、デコーダの参照メモリに対してのアクセス頻度を下げることが可能となるため、エンコード装置100及び、デコード装置200以外で使用するメモリと、参照メモリを含むエンコーダ及び、デコーダのメモリを、共通のメモリ上に配置でき、使い勝手が向上した記録再生装置が提供できる。   According to the present embodiment, since the frequency of access to the reference memory of the encoder and decoder can be reduced, the encoder and decoder including the memory used other than the encoding device 100 and the decoding device 200, and the reference memory Can be arranged on a common memory, and a recording / reproducing apparatus with improved usability can be provided.

また、本実施例により、高速な動画像のビットレート変換,フォーマット変換の高画質化を実現できる。   In addition, according to the present embodiment, high-quality moving image bit rate conversion and format conversion can be realized.

次に本実施例を用いた第2の製品実用例(例えばレコーダ)を示す。   Next, a second product practical example (for example, a recorder) using this embodiment will be described.

本実施例は、アナログやデジタルのテレビ放送を、また既に記録してある番組をHDDやDVDなどの記録媒体に符号化フォーマット,符号化レートを変えて保存する場合に有効である。   This embodiment is effective when analog and digital television broadcasts and programs that have already been recorded are stored in recording media such as HDDs and DVDs with different encoding formats and encoding rates.

図10にデジタル放送を記録媒体に保存する際のブロック図を示す。   FIG. 10 shows a block diagram when digital broadcasting is stored in a recording medium.

チューナー部701で受信したデジタル放送は、復調部702にて復号処理が行われ、デマルチプレクサ部703にて動画像情報と音声情報等に分解される。動画像情報は、デコード装置200でデコード処理が行われ、画像をディスプレイに出力するのであればデコード画像は、表示部708に送られる。また、デコード装置がデコードした再生画像をエンコード装置100で、符号化を行いストリームの生成を行う。   The digital broadcast received by the tuner unit 701 is decoded by the demodulation unit 702 and decomposed into moving image information and audio information by the demultiplexer unit 703. The moving image information is decoded by the decoding device 200, and if the image is output to a display, the decoded image is sent to the display unit 708. Further, the reproduction image decoded by the decoding device is encoded by the encoding device 100 to generate a stream.

本実施例により、エンコーダ及び、デコーダの参照メモリに対してのアクセス頻度を下げることが可能となるため、エンコード装置100及び、デコード装置200以外で使用するメモリと、参照メモリを含むエンコーダ及び、デコーダのメモリを、共通のメモリ上に配置でき、使い勝手が向上した記録再生装置が提供できる。   According to the present embodiment, since the frequency of access to the reference memory of the encoder and decoder can be reduced, the encoder and decoder including the memory used other than the encoding device 100 and the decoding device 200, and the reference memory Can be arranged on a common memory, and a recording / reproducing apparatus with improved usability can be provided.

本発明におけるエンコーダの実施例1を示す図である。It is a figure which shows Example 1 of the encoder in this invention. 本発明におけるエンコーダの実施例1におけるフレーム構成図である。It is a frame block diagram in Example 1 of the encoder in the present invention. 従来のエンコード処理の概念図である。It is a conceptual diagram of the conventional encoding process. 本発明における第1のエンコード処理の概念図である。It is a conceptual diagram of the 1st encoding process in this invention. 本発明における第1のエンコード処理における、マクロブロック単位の処理を示す概念図である。It is a conceptual diagram which shows the process per macroblock in the 1st encoding process in this invention. 本発明における第1のエンコード処理における、類似マクロブロックの探索範囲の概念図である。It is a conceptual diagram of the search range of a similar macroblock in the 1st encoding process in this invention. 本発明におけるエンコード処理の第2の概念図である。It is a 2nd conceptual diagram of the encoding process in this invention. 本発明におけるデコーダの実施例2を示す構成図である。It is a block diagram which shows Example 2 of the decoder in this invention. 本発明における製品実施例3の構成を示す図である。It is a figure which shows the structure of the product Example 3 in this invention. 本発明における製品実施例4の構成を示す図である。It is a figure which shows the structure of the product Example 4 in this invention.

符号の説明Explanation of symbols

001 画像入力インターフェース部
002 バッファ部
003 動き補償部
004 周波数変換部
005 中間データ保存部
006 符号部
007 ビットストリーム出力部
008 参照メモリ部
009 中間メモリ部
100 エンコード装置
101 ビットストリーム入力部
102 復号部
103 中間データ保存部
104 逆周波数変換部
105 動き補償部
106 バッファ部
107 画像出力インターフェース出力部
108 参照メモリ部
109 中間メモリ部
200 デコード装置
701 チューナー部
702 復号部
703 マルチプレクサ部
704 ユーザーインタフェース部
705 CPU部
706 記録媒体インターフェース部
707 記録媒体
708 表示部
709 画像表示部
001 Image input interface unit 002 Buffer unit 003 Motion compensation unit 004 Frequency conversion unit 005 Intermediate data storage unit 006 Encoding unit 007 Bit stream output unit 008 Reference memory unit 009 Intermediate memory unit 100 Encoding device 101 Bit stream input unit 102 Decoding unit 103 Intermediate Data storage unit 104 Inverse frequency conversion unit 105 Motion compensation unit 106 Buffer unit 107 Image output interface output unit 108 Reference memory unit 109 Intermediate memory unit 200 Decoding device 701 Tuner unit 702 Decoding unit 703 Multiplexer unit 704 User interface unit 705 CPU unit 706 Recording Medium interface unit 707 Recording medium 708 Display unit 709 Image display unit

Claims (19)

異なる第1の入力フレームと第2の入力フレームと第3の入力フレームで、共通の探索範囲分の画像データを参照するエンコード処理について、
参照メモリから読み出した探索範囲分の画像データを用いて、前記第1の入力フレームと前記第2の入力フレームと前記第3の入力フレームを処理する際に、
処理対象のマクロブロックについて、前記第1の入力フレームのマクロブロックと前記第2の入力フレームのマクロブロックと前記第3の入力フレームのマクロブロックを、
マクロブロック単位で切り替えて処理することを特徴とするエンコーダ。
Encoding processing that refers to image data for a common search range in different first input frame, second input frame, and third input frame,
When processing the first input frame, the second input frame, and the third input frame using image data for the search range read from the reference memory,
For the macroblock to be processed, the macroblock of the first input frame, the macroblock of the second input frame, and the macroblock of the third input frame,
An encoder characterized by switching and processing in units of macroblocks.
請求項1に記載のエンコーダであって、
3フレームのエンコードに要する処理時間を、3フレームの処理時間以内に完了することを特徴とするエンコーダ。
The encoder according to claim 1, wherein
An encoder characterized in that a processing time required for encoding three frames is completed within a processing time of three frames.
請求項1に記載のエンコーダであって、
第1の入力フレームと第2の入力フレームと第3の入力フレームを処理する際に、前記参照メモリから読み出した探索範囲分の画像データを、中間メモリに格納し、前記中間メモリから読み出した画像データを用いて、前記第1の入力フレームと前記第2の入力フレームと前記第3の入力フレームを処理する構成とし、
参照メモリからの画像データの読み出し回数を低減したことを特徴とするエンコーダ。
The encoder according to claim 1, wherein
When processing the first input frame, the second input frame, and the third input frame, the image data for the search range read from the reference memory is stored in the intermediate memory, and the image is read from the intermediate memory. The data is used to process the first input frame, the second input frame, and the third input frame,
An encoder characterized in that the number of times image data is read from a reference memory is reduced.
請求項1に記載のエンコーダであって、
第1の入力フレームF0と第2の入力フレームF1を参照対象として、双方向予測符号化を行う第3の入力フレームF2と、第4の入力フレームF3と、前記入力フレームF0 若しくは、前記入力フレームF1どちらかを一方のみを参照対象として、片方向予測符号化を行う第5の入力フレームF4について、
探索範囲分の画像データをマクロブロック単位で切り替え、前記入力フレームF2と前記入力フレームF3と前記入力フレームF4を処理することを特徴としたエンコーダ。
The encoder according to claim 1, wherein
With reference to the first input frame F0 and the second input frame F1, the third input frame F2, the fourth input frame F3, and the input frame F0 or the input frame that perform bi-directional predictive encoding are used. With respect to the fifth input frame F4 that performs one-way predictive coding with only one of F1 as a reference object,
An encoder characterized by switching image data for a search range in units of macroblocks and processing the input frame F2, the input frame F3, and the input frame F4.
請求項1に記載のエンコーダであって、
第1の入力フレームF0を参照対象として、片方向予測符号化を行う第3の入力フレームF2と、第4の入力フレームF3と、第5の入力フレームF4について、
探索範囲分の画像データを前記参照メモリからの画像データを用いて、マクロブロック単位で切り替え、前記入力フレームF2と前記入力フレームF3と前記入力フレームF4を処理することを特徴としたエンコーダ。
The encoder according to claim 1, wherein
With reference to the first input frame F0, for the third input frame F2, the fourth input frame F3, and the fifth input frame F4 that perform one-way predictive coding,
An encoder characterized by switching image data for a search range in units of macroblocks using image data from the reference memory and processing the input frame F2, the input frame F3, and the input frame F4.
請求項3に記載のエンコーダであって、
前記中間メモリ部は、前記参照メモリ部とは独立に配置し、前記参照メモリ部と前記中間メモリ以外のメモリを共用することを特徴とするエンコーダ。
An encoder according to claim 3,
The encoder is characterized in that the intermediate memory unit is arranged independently of the reference memory unit and shares a memory other than the reference memory unit and the intermediate memory.
請求項1に記載のエンコーダであって、
異なる3つのフレームを符号化生成した画像ストリームを、3フレームをエンコードする期間以内で、時系列に出力することを特徴とするエンコーダ。
The encoder according to claim 1, wherein
An encoder characterized in that an image stream obtained by encoding and generating three different frames is output in time series within a period of encoding three frames.
請求項1に記載のエンコーダであって、
動画像データを入力する画像入力インターフェース部と、
前記画像入力インターフェース部から出力する画像データを入力画像として蓄えるバッファ部と、
前記バッファ部が出力する入力画像と既にエンコード済みの参照画像との間で、動き補償処理を行い、入力画像と予測画像の差分データを生成する動き補償部と、
前記動き補償部が出力する誤差データを周波数変換及び、量子化する周波数変換部と、
前記周波数変換部が出力するデータをマクロブロック単位で格納するための中間データ保存部と、
前記中間データ保存部が出力するデータを、規格に準拠したシンタックスに符号化を行う符号部と、
前記符号部から出力されるビットストリームを出力するビットストリーム出力部と、
エンコード済みの画像を後の動き補償処理の参照画像とするための参照画保存部である参照メモリ部と、
動き補償処理に必要な範囲の参照画像を格納するための中間メモリ部と、
を備えたことを特徴とするエンコーダ。
The encoder according to claim 1, wherein
An image input interface unit for inputting moving image data;
A buffer unit for storing image data output from the image input interface unit as an input image;
A motion compensation unit that performs a motion compensation process between the input image output from the buffer unit and the already encoded reference image, and generates difference data between the input image and the predicted image;
Frequency conversion and error conversion of error data output by the motion compensation unit, and a frequency conversion unit
An intermediate data storage unit for storing data output by the frequency conversion unit in units of macroblocks;
An encoding unit that encodes data output by the intermediate data storage unit into a syntax conforming to a standard;
A bitstream output unit for outputting a bitstream output from the encoding unit;
A reference memory unit that is a reference image storage unit for making the encoded image a reference image for later motion compensation processing;
An intermediate memory unit for storing a reference image in a range necessary for motion compensation processing;
An encoder comprising:
記録媒体インターフェースを有し、動画像または静止画像を取り込む画像入力インターフェースから出力された画像データを、請求項1に記載のエンコーダにより符号化し、前記エンコーダの出力である符号化された画像ストリームを、前記記録媒体インタフェースを介して記録媒体に記録することを特徴とする記録再生装置。   An image data output from an image input interface that has a recording medium interface and captures a moving image or a still image is encoded by the encoder according to claim 1, and an encoded image stream that is an output of the encoder is A recording / reproducing apparatus for recording on a recording medium via the recording medium interface. 異なる第1の入力フレームと第2の入力フレームと第3の入力フレームで、共通の参照範囲分の画像データを参照するデコード処理について、
参照メモリから読み出した参照範囲分の画像データを用いて、前記第1の入力フレームと前記第2の入力フレームと前記第3の入力フレームを処理する際に、
処理対象のマクロブロックについて、前記第1の入力フレームのマクロブロックと前記第2の入力フレームのマクロブロックと前記第3の入力フレームのマクロブロックを、
マクロブロック単位で切り替えることを特徴とするデコーダ。
About decoding processing for referring to image data for a common reference range in different first input frame, second input frame, and third input frame,
When processing the first input frame, the second input frame, and the third input frame using image data for a reference range read from a reference memory,
For the macroblock to be processed, the macroblock of the first input frame, the macroblock of the second input frame, and the macroblock of the third input frame,
A decoder characterized by switching in units of macroblocks.
請求項10に記載のデコーダであって、3フレームのデコードに要する処理時間を、3フレームの処理時間以内に完了することを特徴とするデコーダ。   11. The decoder according to claim 10, wherein a processing time required for decoding three frames is completed within a processing time of three frames. 請求項10に記載のデコーダであって、
第1の入力フレームと第2の入力フレームと第3の入力フレームを処理する際に、前記参照メモリから読み出した参照範囲分の画像データを、中間メモリに格納し、前記中間メモリから読み出した画像データを用いて、前記第1の入力フレームと前記第2の入力フレームと前記第3の入力フレームを処理する構成とし、
参照メモリからの画像データの読み出し回数を低減したことを特徴とするデコーダ。
The decoder according to claim 10, comprising:
When processing the first input frame, the second input frame, and the third input frame, the image data for the reference range read from the reference memory is stored in the intermediate memory, and the image is read from the intermediate memory. The data is used to process the first input frame, the second input frame, and the third input frame,
A decoder characterized in that the number of times image data is read from a reference memory is reduced.
請求項10に記載のデコーダであって、
第1の入力フレームF0と第2の入力フレームF1を参照対象として、双方向予測復号化を行う第3の入力フレームF2と、第4の入力フレームF3と、前記入力フレームF0 若しくは、前記入力フレームF1どちらかを一方のみを参照対象として、片方向予測復号化を行う第5の入力フレームF4について、
探索範囲分の画像データをマクロブロック単位で切り替え、前記入力フレームF2と前記入力フレームF3と前記入力フレームF4を処理することを特徴としたデコーダ。
The decoder according to claim 10, comprising:
With reference to the first input frame F0 and the second input frame F1, the third input frame F2 for performing bidirectional predictive decoding, the fourth input frame F3, and the input frame F0 or the input frame For the fifth input frame F4 for which one-way predictive decoding is performed with only one of F1 as a reference object,
A decoder characterized by switching image data for a search range in units of macroblocks and processing the input frame F2, the input frame F3, and the input frame F4.
請求項10に記載のデコーダであって、
第1の入力フレームF0を参照対象として、片方向予測復号化を行う第3の入力フレームF2と、第4の入力フレームF3と、第5の入力フレームF4について、
探索範囲分の画像データをマクロブロック単位で切り替え、前記入力フレームF2と前記入力フレームF3と前記入力フレームF4を処理することを特徴としたデコーダ。
The decoder according to claim 10, comprising:
With reference to the first input frame F0, for the third input frame F2, the fourth input frame F3, and the fifth input frame F4 that perform one-way predictive decoding,
A decoder characterized by switching image data for a search range in units of macroblocks and processing the input frame F2, the input frame F3, and the input frame F4.
請求項12に記載のデコーダであって、
前記中間メモリ部は、前記参照メモリ部とは独立に配置し、前記参照メモリ部と前記中間メモリ以外のメモリを共用することを特徴とするデコーダ。
A decoder according to claim 12, comprising:
The decoder, wherein the intermediate memory unit is arranged independently of the reference memory unit and shares a memory other than the reference memory unit and the intermediate memory.
請求項10に記載のデコーダであって、
異なる3つのフレームを復号化生成した画像データを、3フレームをデコードする期間以内で、時系列に出力することを特徴とするデコーダ。
The decoder according to claim 10, comprising:
A decoder characterized in that image data obtained by decoding and generating three different frames is output in time series within a period of decoding three frames.
請求項10に記載のデコーダであって、
入力する画像ストリームは、請求項1に記載のエンコーダによって符号化された画像ストリームであることを特徴とするデコーダ。
The decoder according to claim 10, comprising:
The decoder according to claim 1, wherein the input image stream is an image stream encoded by the encoder according to claim 1.
請求項10に記載のデコーダであって、
ビットストリームを入力するビットストリーム入力部と、
前記ビットストリーム入力部から出力するビットストリームを規格に準拠して復号化を行う復号部と、
復号されたデータをマクロブロック単位で格納する中間データ保存部と、
前記中間データ保存部から出力するマクロブロック単位のデータに逆量子化及び、逆周波数変換する逆周波数変換部と、
前記逆周波数変換部から出力する差分データと既に復号化済みの参照画像との間で動き補償を行い、画像データを復号する動き補償部と、
前記動き補償から出力する画像データを蓄えるバッファ部と、
前記バッファ部に蓄えられた画像データを出力する画像出力インターフェース部と、
復号済みの画像を後の動き補償の参照画像とするための参照画保存部である参照メモリ部と、
動き補償処理に必要な範囲の参照画像を格納するための中間メモリ部と、
を備えたことを特徴とするデコーダ。
The decoder according to claim 10, comprising:
A bitstream input unit for inputting a bitstream;
A decoding unit that decodes the bitstream output from the bitstream input unit according to a standard;
An intermediate data storage unit for storing the decoded data in units of macroblocks;
Inverse quantization and inverse frequency conversion to macroblock unit data output from the intermediate data storage unit;
A motion compensation unit that performs motion compensation between the difference data output from the inverse frequency transform unit and a reference image that has already been decoded;
A buffer unit for storing image data output from the motion compensation;
An image output interface unit for outputting the image data stored in the buffer unit;
A reference memory unit which is a reference image storage unit for setting the decoded image as a reference image for later motion compensation;
An intermediate memory unit for storing a reference image in a range necessary for motion compensation processing;
A decoder comprising:
請求項9に記載の記録再生装置であって、
画像表示部を有し、
入力する画像ストリームを、請求項10に記載のデコーダにより復号化した画像データを、前記画像表示部へ出力することを特徴とする記録再生装置。
The recording / reproducing apparatus according to claim 9,
Having an image display,
11. A recording / reproducing apparatus, wherein image data obtained by decoding an input image stream by the decoder according to claim 10 is output to the image display unit.
JP2008138851A 2008-05-28 2008-05-28 Encoder, decoder and recording reproducing device Pending JP2009290387A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008138851A JP2009290387A (en) 2008-05-28 2008-05-28 Encoder, decoder and recording reproducing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008138851A JP2009290387A (en) 2008-05-28 2008-05-28 Encoder, decoder and recording reproducing device

Publications (1)

Publication Number Publication Date
JP2009290387A true JP2009290387A (en) 2009-12-10

Family

ID=41459199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008138851A Pending JP2009290387A (en) 2008-05-28 2008-05-28 Encoder, decoder and recording reproducing device

Country Status (1)

Country Link
JP (1) JP2009290387A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013157681A (en) * 2012-01-27 2013-08-15 Fujitsu Semiconductor Ltd Video decoder and video decoding method
EP2966865A1 (en) * 2014-07-07 2016-01-13 Renesas Electronics Corporation Picture encoding device, picture decoding device, and picture communication system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270683A (en) * 2005-03-25 2006-10-05 Sanyo Electric Co Ltd Coding device and method
JP2006333100A (en) * 2005-05-26 2006-12-07 Matsushita Electric Ind Co Ltd Image coding unit
JP2007104231A (en) * 2005-10-04 2007-04-19 Hitachi Ltd Transcoder, recording apparatus, transcode method
JP2007325119A (en) * 2006-06-02 2007-12-13 Canon Inc Image processing apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270683A (en) * 2005-03-25 2006-10-05 Sanyo Electric Co Ltd Coding device and method
JP2006333100A (en) * 2005-05-26 2006-12-07 Matsushita Electric Ind Co Ltd Image coding unit
JP2007104231A (en) * 2005-10-04 2007-04-19 Hitachi Ltd Transcoder, recording apparatus, transcode method
JP2007325119A (en) * 2006-06-02 2007-12-13 Canon Inc Image processing apparatus and method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013157681A (en) * 2012-01-27 2013-08-15 Fujitsu Semiconductor Ltd Video decoder and video decoding method
EP2966865A1 (en) * 2014-07-07 2016-01-13 Renesas Electronics Corporation Picture encoding device, picture decoding device, and picture communication system
CN105245899A (en) * 2014-07-07 2016-01-13 瑞萨电子株式会社 Picture encoding device, picture decoding device, and picture communication system
JP2016019074A (en) * 2014-07-07 2016-02-01 ルネサスエレクトロニクス株式会社 Image encoding device, image decoding device, and image communication system
US10123022B2 (en) 2014-07-07 2018-11-06 Renesas Electronics Corporation Picture encoding device, picture decoding device, and picture communication system

Similar Documents

Publication Publication Date Title
JP4534935B2 (en) Transcoder, recording apparatus, and transcoding method
RU2409005C2 (en) Method of scalable coding and decoding of video signal
JP5090158B2 (en) VIDEO INFORMATION RECORDING DEVICE, VIDEO INFORMATION RECORDING METHOD, VIDEO INFORMATION RECORDING PROGRAM, AND RECORDING MEDIUM CONTAINING VIDEO INFORMATION RECORDING PROGRAM
KR101147744B1 (en) Method and Apparatus of video transcoding and PVR of using the same
JP4799547B2 (en) Encoding method and encoding apparatus for picture sequence using predictive picture and non-predictive picture each including multi-macroblock
JP5496047B2 (en) Image reproduction method, image reproduction apparatus, image reproduction program, imaging system, and reproduction system
JP2012085001A5 (en)
JP2007228560A (en) Moving picture coding method and moving picture coding device
JP2008244993A (en) Apparatus and method for transcoding
JP2007067526A (en) Image processor
JP2009290387A (en) Encoder, decoder and recording reproducing device
JP5472094B2 (en) Moving image conversion apparatus, moving image distribution system, moving image conversion method, and program
JPH11308618A (en) Image signal processor and method therefor, and image signal reproducing device
JP2011055023A (en) Image encoding device and image decoding device
JP5240230B2 (en) Transcoder, recording apparatus, and transcoding method
JPH11289515A (en) Picture signal processor and its method, picture signal recorder and its method and recording medium
JP4178521B2 (en) Encoded video signal recording method and video signal encoding apparatus
JP2007020123A (en) Apparatus and method for detecting motion
JP2008193444A (en) Information processor
JP2009111797A (en) Encoder, and recording device
JP4765961B2 (en) Digital video recording device
KR20090076022A (en) Apparatus for generating a thumb-nail and multi-codec decoder apparatus including the same
JP5067492B2 (en) Digital video recording device
JP2005159832A (en) Signal processor
JP2007049520A (en) High efficient coding device of image signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120515