JP2009290387A - Encoder, decoder and recording reproducing device - Google Patents
Encoder, decoder and recording reproducing device Download PDFInfo
- Publication number
- JP2009290387A JP2009290387A JP2008138851A JP2008138851A JP2009290387A JP 2009290387 A JP2009290387 A JP 2009290387A JP 2008138851 A JP2008138851 A JP 2008138851A JP 2008138851 A JP2008138851 A JP 2008138851A JP 2009290387 A JP2009290387 A JP 2009290387A
- Authority
- JP
- Japan
- Prior art keywords
- input frame
- image
- unit
- frame
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、エンコーダ、デコーダ、及び記録再生装置に関する。例えば、画像を符号化しビットストリームに変換するエンコーダ、符号化されたビットストリームを復号化するデコーダ及びこれらを用いた記録再生装置に関する。 The present invention relates to an encoder, a decoder, and a recording / reproducing apparatus. For example, the present invention relates to an encoder for encoding an image and converting it into a bit stream, a decoder for decoding the encoded bit stream, and a recording / reproducing apparatus using these.
本技術分野の背景技術として、例えば、特開2007−104231号公報(特許文献1)がある。該公報には、「[課題]変換前のストリームに付加されている符号化情報のInterかIntraのどちらのモードで符号化されているかの情報を用いて、使い勝手を向上したトランスコードするトランスコーダ、記録装置及びトランスコード方法を提供する。[解決手段]トランスコーダは、フレーム内符号化及びフレーム間予測符号化を行う第1の符号化方式で符号化された動画像ストリームをデコードし、第2の符号化方式でエンコードし、入力された動画像ストリームをデコードし、フレーム内符号化で符号化されたのかフレーム間予測符号化で符号化されたのかを示すサブ情報を検出するデコーダと、前記サブ情報がフレーム内符号化されたことを示す情報である場合と、フレーム間予測符号化されたことを示す情報である場合とで、符号化するときに参照するフレームを変えるエンコーダと、を有する。」(要約)と記載されている。 As background art of this technical field, for example, there is JP-A-2007-104231 (Patent Document 1). In this publication, “[Problem] Transcoder for transcoding with improved usability by using information indicating whether encoding is performed in Inter or Intra mode of encoded information added to a stream before conversion. The present invention provides a recording apparatus and a transcoding method. [Solution] A transcoder decodes a moving picture stream encoded by a first encoding method that performs intraframe encoding and interframe predictive encoding, and A decoder for detecting sub-information indicating whether the data is encoded by intra-frame encoding or inter-frame prediction encoding; When the sub-information is information indicating that intra-frame encoding is performed and when it is information indicating that inter-frame prediction encoding is performed In is described an encoder for changing the frames to be referred to when encoding, and. "(Abstract) with.
また、本技術分野の背景技術として、例えば、特開2006−270683号公報(特許文献2)がある。該公報には、「[課題]動き検出の際、フレームメモリから頻繁にデータを転送するため、バス帯域が圧迫され、処理性能が悪化する。[解決手段]動き補償部60は、フレームメモリ80から転送した画素データを保持するために、SRAM66とは別に、先読み用SRAM64を有する。動きベクトル検出部62は、フレームメモリ80に保持された参照画像の所定探索範囲内、参照頻度の高い画素領域のデータをあらかじめフレームメモリ80から先読み用SRAM64に転送する。一方、動きベクトル検出部62は、動きベクトルの探索の際に参照する必要のある画素データを探索の都度、フレームメモリ80からSRAM66に転送する。動きベクトル検出部62は、先読み用SRAM64と通常のSRAM66とを切り替えて参照し、動き探索を進める。」(要約)と記載されている。
As background art in this technical field, for example, there is JP-A-2006-270683 (Patent Document 2). According to the publication, “[Problem] When data is detected, data is frequently transferred from the frame memory, so the bus bandwidth is compressed and the processing performance deteriorates. [Solution] The
動画像の符号化技術については、MPEG2(ISO/IEC 13813-2, International Standard)が放送用途や記録媒体への記録時の方式に採用されている。また、さらに高圧縮化に対応した、H.264(ITE/ISO 14496-10/H.264AVC)/AVC(Advanced Video Coding)も、記録媒体への記録方式として採用され始めている。 As a moving image encoding technique, MPEG2 (ISO / IEC 13813-2, International Standard) is adopted for broadcasting use and recording on a recording medium. In addition, H.264 (ITE / ISO 14496-10 / H.264AVC) / AVC (Advanced Video Coding), which supports higher compression, has begun to be adopted as a recording method for recording media.
これらの符号化方式では、動画像を構成する各フレームが、16画素×16画素のマクロブロック単位に分割され、マクロブロック単位での処理が行われる。 In these encoding methods, each frame constituting a moving image is divided into macroblock units of 16 pixels × 16 pixels, and processing in units of macroblocks is performed.
また、フレーム内情報に基づいて符号化されるフレーム内予測画像(以下、Iピクチャと記す)、時間的に前方向のフレームを参照画像として符号化される前方向予測画像(以下Pピクチャと記す)、及び時間的に前方向および後方向のフレームをそれぞれ参照画像として符号化される双方向予測画像(以下、Bピクチャと記す)の3種類のピクチャタイプが規定されている。符号化時の参照フレーム構成については、上記特許文献1に開示されている。
Also, an intra-frame prediction image (hereinafter referred to as I picture) that is encoded based on intra-frame information, and a forward prediction image (hereinafter referred to as P picture) that is encoded using a temporally forward frame as a reference image. ), And bidirectional prediction images (hereinafter referred to as B pictures) that are encoded with reference to temporally forward and backward frames, respectively. The reference frame configuration at the time of encoding is disclosed in
Pピクチャ及びBピクチャについては、マクロブロック単位に、所定の参照画像から、符号化対象となる現マクロブロックに類似したマクロブロックが探索され、探索されたマクロブロックとの空間的な距離及び方位を表す動きベクトル及び探索されたマクロブロックとの差分情報を算出する。次いで、これらの情報がDCT変換(Discrete Cosine Transform;離散コサイン変換)、量子化および可変長符号化により圧縮される。これらの符号化方式は、上記のとおり、時間的に前方向及び、後ろ方向の参照画像との差分情報を圧縮することにより、圧縮率の向上を特徴とした方式である。 For P pictures and B pictures, a macroblock similar to the current macroblock to be encoded is searched from a predetermined reference image for each macroblock, and the spatial distance and direction from the searched macroblock are determined. Difference information between the motion vector to be represented and the searched macroblock is calculated. Next, these pieces of information are compressed by DCT transform (Discrete Cosine Transform), quantization and variable length coding. As described above, these encoding methods are methods characterized by improving the compression rate by compressing difference information with respect to the reference image in the forward direction and the backward direction in terms of time.
しかしながら、Pピクチャ及びBピクチャの符号化及び、復号化を行う際には、参照画像を使用する為に、参照画像を格納する参照メモリが必要となり、前記参照メモリは例えば、SDRAMなどで実現できる。 However, when encoding and decoding a P picture and a B picture, a reference memory for storing the reference image is required to use the reference image, and the reference memory can be realized by, for example, SDRAM. .
高解像度、高フレームレートの動画像のエンコード処理及び、デコード処理を行う場合、参照メモリに対するアクセスが増加する。 When encoding and decoding high-resolution and high-frame-rate moving images, access to the reference memory increases.
また、装置にエンコーダ及び、デコーダを搭載する場合において、コストパフォーマンス向上や、装置の小型化を実現する目的のため、参照メモリは、グラフィック処理を行う為のメモリや、外部デバイスとの処理に使用する為のメモリ等と共用して使用することが考えられる。しかし、参照メモリを共用した場合に、エンコード及び、デコード処理の参照メモリアクセスに対してのデータバンド幅を確保する必要が生じる。 In addition, when an encoder and decoder are installed in the device, the reference memory is used for memory processing for graphic processing and processing with external devices for the purpose of improving cost performance and reducing the size of the device. It is conceivable to use it in common with a memory for doing so. However, when the reference memory is shared, it is necessary to secure a data bandwidth for the reference memory access of the encoding and decoding processes.
そのため、使用するメモリデバイスの数の増加や、デバイスの動作周波数の高速化が必要となってしまい、消費電力が増加してしまうという課題がある。 Therefore, there is a problem that the number of memory devices to be used is increased and the operating frequency of the devices is required to be increased, resulting in an increase in power consumption.
また、特許文献2の方法のように、中間メモリを増加することによって、参照メモリに対するアクセスを低減し、データバンド幅を確保する手法では、高解像度、高フレームレートの動画像の符号化及び、復号化を行う場合は、中間メモリの回路規模が増加してしまうという課題がある。
Further, as in the method of
本発明の目的は、高速な処理を実現するエンコーダ、デコーダ及び、記録再生装置を提供することである。例えば、回路規模の増加を抑制しつつ、エンコード及び、デコード処理時の、参照メモリへのアクセスを減少し、参照メモリの為のデバイス数の増加や、デバイスの動作周波数の高速化を行わずとも、高速な処理を実現するエンコーダ、デコーダの提供すること及び、前記エンコーダ及び、前記デコーダを搭載した記録再生装置を提供することを目的とする。 An object of the present invention is to provide an encoder, a decoder, and a recording / reproducing apparatus that realize high-speed processing. For example, while suppressing an increase in circuit scale, it is possible to reduce access to the reference memory during encoding and decoding processing without increasing the number of devices for the reference memory and increasing the operating frequency of the device. An object of the present invention is to provide an encoder and a decoder that realize high-speed processing, and to provide a recording / reproducing apparatus equipped with the encoder and the decoder.
上記目的は、特許請求の範囲に記載の発明により達成される。 The above object can be achieved by the invention described in the claims.
本発明により、高速な処理を実現するエンコーダ、デコーダ及び、記録再生装置が提供できる。 According to the present invention, an encoder, a decoder, and a recording / reproducing apparatus that realize high-speed processing can be provided.
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。 Problems, configurations, and effects other than those described above will become apparent from the following description of embodiments.
以下、本発明の実施形態を図面により説明する。 Embodiments of the present invention will be described below with reference to the drawings.
本発明の好適な一実施例として、エンコーダの構成及び動作を説明する。 As a preferred embodiment of the present invention, the configuration and operation of an encoder will be described.
本実施例では、H.264方式を利用して説明する。しかしながら、これに限らず符号化方式としては、上記MPEG2方式や、MPEG4、H.261、H263、SMTPEのVC1などがある。 In the present embodiment, description will be made using the H.264 method. However, the present invention is not limited to this, and examples of the encoding method include the MPEG2 method, MPEG4, H.261, H263, and SMTPE VC1.
尚、H.264方式などでは、動き補償の際の参照フレームを既に符号化済みのフレームから任意に選択できるマルチフレーム補償が可能である。 In the H.264 method or the like, it is possible to perform multiframe compensation in which a reference frame for motion compensation can be arbitrarily selected from already encoded frames.
図1を用いて実施例の構成を説明する。エンコードする画像データを入力する画像入力インターフェース部001、前記入力インターフェース部001から出力する画像データを入力画像として蓄えるバッファ部002、前記バッファ部から出力する入力画像と、既に符号化済みの複数枚の参照画像との間で、動き補償処理を行い、入力画像と予測画像との差分データを作成する動き補償部003、前記動き補償部から出力する差分データを周波数変換及び、量子化する周波数変換部004、前期周波数変換部から出力する中間データをマクロブロック単位で格納するための中間データ保存部005、前記中間データ部から出力される中間データを、規格に準拠したシンタックスで符号化する符号化部006、前記符号化部から出力するビットストリームを出力するビットストリーム出力部007、符号化済みの画像を後の動き補償の参照画像とするための参照画保存部である参照メモリ部008、動き補償処理に必要な範囲の参照画像を格納するための中間メモリ部009を備えたエンコーダ100を示している。
The configuration of the embodiment will be described with reference to FIG. An image
前記バッファ部002と、前記参照メモリ部008は、例えば共通のSDRAM上の異なるアドレスに割り付けて使用することが考えられる。
For example, the
図2に、本実施例における、動き補償部に使用する参照画像フレーム構成を示す。 FIG. 2 shows a reference image frame configuration used in the motion compensation unit in the present embodiment.
図中のI、P、Bはそれぞれピクチャタイプを示し、Iはフレーム内情報に基づいて符号化されるフレーム内予測画像(intra-coded)、Pは時間的に前方向のフレームを参照画像として符号化される前方向予測画像(predictive-codec)、Bは時間的に前方向および後方向のフレームをそれぞれ参照画像として符号化される双方向予測画像(bidirectionally -predictive-codec)を行うタイプを示している。 In the figure, I, P, and B respectively indicate picture types, I is an intra-frame predicted image that is encoded based on intra-frame information, and P is a temporally forward frame as a reference image The forward prediction image (predictive-codec) to be encoded, B is the type that performs bi-directional prediction image (bidirectionally-predictive-codec) encoded using the forward and backward frames as reference images in terms of time. Show.
P3フレームをエンコードする場合は、符号化処理を行うP3フレームのマクロブロックと、時間的に前方向であるI0フレームのハッチングされた該当マクロブロック近傍から類似のマクロブロックを探索し、決定されたマクロブロックとの差分を演算する。 When encoding a P3 frame, search for a similar macroblock from the vicinity of the macroblock of the P3 frame to be encoded and the hatched corresponding macroblock of the I0 frame that is temporally forward, and determine the macro Calculate the difference with the block.
B1フレームについては、符号化処理を行うB1フレームのマクロブロックと、時間的に前方向であるI0フレーム及び、時間的に後方向であるP3フレームのハッチングされた該当マクロブロック近傍から類似のマクロブロックを探索し、決定されたマクロブロックとの差分を演算する。B2フレームについては、参照画像はB1フレームと同様に、I0フレーム及び、 P3フレームを参照画像として、B1フレームと同様の処理となる。 For the B1 frame, the macroblock of the B1 frame to be encoded, the I0 frame that is temporally forward, and the similar macroblock from the vicinity of the corresponding macroblock that is hatched of the P3 frame that is temporally backward And the difference from the determined macroblock is calculated. For the B2 frame, similarly to the B1 frame, the reference image is processed in the same manner as the B1 frame with the I0 frame and the P3 frame as reference images.
P6フレームをエンコードする場合は、符号化処理を行うP6フレームのマクロブロックと、時間的に前方向であるP3フレームのハッチングされた該当マクロブロック近傍から類似のマクロブロックを探索し、決定されたマクロブロックとの差分を演算する。 When encoding a P6 frame, a macro determined by searching for a similar macroblock from the vicinity of the corresponding macroblock hatched in the P3 frame that is temporally forward and the P6 frame that is to be encoded is determined. Calculate the difference with the block.
また、エンコード処理では、既に符号化したフレームを参照画像として用いる為、符号化したフレームを参照メモリ008に蓄えておく必要がある。参照メモリ008を参照画像保存枚数3面として、参照メモリ008に保存されている参照画像を用いてエンコードを行う例を図3に示す。
Further, in the encoding process, since an already encoded frame is used as a reference image, it is necessary to store the encoded frame in the
図3中のB3フレームをエンコードする場合、参照メモリ部008から時間的に前方向であるフレームI2と、時間的に後方向であるフレームP5について、該当マクロブロック周辺の画素データを読み出し、動き補償部003にて類似マクロブロックを探索し、決定した類似マクロブロックの画素データとの差分の演算を行う。
When the B3 frame in FIG. 3 is encoded, pixel data around the corresponding macroblock are read from the
B4フレームをエンコードする場合も、B3フレームと同様に、参照メモリ部008から時間的に前方向であるフレームI2と、時間的に後方向であるフレームP5について、該当マクロブロック周辺の画素データを読み出し、動き補償部003にて類似マクロブロックを探索し、決定した類似マクロブロックの画素データとの差分の演算を行う。
When encoding a B4 frame, the pixel data around the corresponding macroblock is read from the
P8フレームをエンコードする場合は、B3フレーム及び、B4フレームにて時間的に後方向の参照画像として使用したP5フレームを、時間的に前方向であるフレームとして、該当マクロブロック周辺の画素データを読み出し、動き補償部003にて類似マクロブロックを探索し、決定した類似マクロブロックの画素データとの差分の演算を行う。
When encoding a P8 frame, read out the pixel data around the corresponding macroblock using the B3 frame and the P5 frame used as the temporally backward reference image in the B4 frame as the temporally forward frame. Then, the
上記のとおり、B3、B4、P8の3フレームをエンコードする期間に、参照メモリ部008からI2フレームを2回、P5フレームを3回、合計5面の参照画像を繰り返し読み出している。
As described above, a total of five reference images are repeatedly read from the
図4は、参照メモリ部008から読み出した参照画像データを中間メモリ009に、一旦保存し、参照メモリ部008への読み出し回数の低減を実現したエンコード処理の概念図である。
FIG. 4 is a conceptual diagram of an encoding process in which the reference image data read from the
図3から異なり、B3フレームをエンコードする際に、参照メモリ部008より参照画像の該当マクロブロック周辺の画素データを読み出し、中間メモリ部009に保存し、B3フレーム、B4フレーム及び、P8フレームを同時に処理する。このとき動き補償部003、周波数変換部004は、エンコードの処理速度を通常の1/3倍として、3倍の時間をかけて、3フレームのエンコード処理を行う。
Unlike FIG. 3, when encoding the B3 frame, the pixel data around the corresponding macroblock of the reference image is read from the
図5に、B3フレーム、B4フレーム及び、P8フレームをエンコードする場合の、マクロブロック単位の処理順序概念図を示す。図中のMB0は、各フレーム左上のマクロブロックを示し、MBnは各フレーム中n番目のマクロブロックを示し、MBn+1はMBnの次に処理されるマクロブロックを示し、MBxは各フレーム右下のマクロブロックを示す。エンコード処理開始時には、中間メモリ部009に格納されているI2フレーム及び、P5フレームを参照して、B3フレームのMB0のエンコード処理を行う。B3フレームのMB0のエンコード処理が完了後、B3フレームのMB0と同様のフレームを参照して、B4フレームのMB0のエンコード処理を行う。B4フレームのMB0のエンコード処理が完了後、中間メモリ部009に格納されているP5フレームを参照して、P8フレームのMB0のエンコード処理を行う。各フレームのMB0のエンコード処理が完了後、MBn、MBn+1、・・・ 、MBxと画面右下のマクロブロックのエンコード処理が完了するまで、B3フレーム、B4フレーム及び、P8フレームのマクロブロック単位でのエンコード処理を継続して行う。 FIG. 5 shows a conceptual diagram of processing order in units of macroblocks when encoding B3 frame, B4 frame, and P8 frame. MB0 in the figure indicates the upper left macroblock of each frame, MBn indicates the nth macroblock in each frame, MBn + 1 indicates the macroblock to be processed next to MBn, and MBx indicates the lower right of each frame. Indicates a macroblock. At the start of the encoding process, the encoding process of MB0 of the B3 frame is performed with reference to the I2 frame and the P5 frame stored in the intermediate memory unit 009. After the encoding process of MB0 of B3 frame is completed, the encoding process of MB0 of B4 frame is performed with reference to the same frame as MB0 of B3 frame. After the encoding process of MB0 of the B4 frame is completed, the encoding process of MB0 of the P8 frame is performed with reference to the P5 frame stored in the intermediate memory unit 009. After completing the encoding process of MB0 of each frame, until the encoding process of MBn, MBn + 1, ..., MBx and the macroblock at the lower right of the screen is completed, the macroblock unit of B3 frame, B4 frame and P8 frame Continue encoding with.
図6に、類似マクロブロックの探索範囲の概念図を示す。処理対象マクロブロック位置から、左右にH画素、上下にV画素の範囲を探索する範囲と定めた場合、中間メモリ部009には、I2フレーム及び、P5フレームの処理対象マクロブロック位置から、左右にH画素、上下にV画素の範囲の画像データ(図中でハッチングされた範囲)を格納する。動き補償部003は、中間メモリ部009に格納されたI2フレーム及び、P5フレームの画像データを用いて、B3フレームのMBnに類似のマクロブロックの探索を行い、類似マクロブロックの決定後、エンコード処理を行う。B3フレームのMBnのエンコード処理が完了後、同様にB4フレームのMBnに類似のマクロブロックの探索及び、エンコード処理を行う。B4フレームのMBnのエンコード処理が完了後、中間メモリ部009に格納されたP5フレームの画像データのみを用いて、P8フレームのMBnに類似のマクロブロックの探索及び、エンコード処理を行う。
FIG. 6 shows a conceptual diagram of a search range for similar macroblocks. When the processing target macroblock position is determined as a range to search for a range of H pixels on the left and right and V pixels on the top and bottom, the intermediate memory unit 009 has left and right from the processing target macroblock position of the I2 frame and the P5 frame. Stores image data (hatched range in the figure) in the range of H pixels and V pixels above and below. The
前記の処理手順を実施することにより、1フレーム期間の3倍の時間をかけて、3フレームのエンコード処理が実現できる。 By performing the above processing procedure, it is possible to realize a three-frame encoding process that takes three times as long as one frame period.
また、リアルタイムエンコードではない場合は、1フレーム期間の3倍以上の時間をかけて処理しても構わない。 Further, when it is not real-time encoding, processing may be performed over three times as long as one frame period.
また、図7に示すとおり、エンコード部を3個有する構成として、B3フレーム、B4フレーム及び、P8フレームを同時にエンコード処理することとしてもよい。 Further, as shown in FIG. 7, it is possible to encode the B3 frame, the B4 frame, and the P8 frame at the same time as a configuration having three encoding units.
符号部006は、中間データ保存部005から、マクロブロック単位で時系列にデータを受け取る。生成したビットストリームは、符号部006からビットストリーム出力部007へ出力される。この構成により、参照メモリ部008から読み出す参照画像データ量を、3フレームの処理期間においてI2フレームを1回、P5フレームを1回、合計2面の参照画像を読み出すこととなり、従来構成と比較し、2/5倍に低減することが可能である。
The encoding unit 006 receives data from the intermediate
本実施例により、エンコード処理時の参照メモリへのアクセス回数が低減するため、回路規模及び、消費電力の増加を抑制しつつ、高速な処理を実現するエンコーダが構成される。 According to the present embodiment, since the number of accesses to the reference memory during the encoding process is reduced, an encoder that realizes high-speed processing while suppressing an increase in circuit scale and power consumption is configured.
尚、本実施例においてはリアルタイム処理を実現するH.264エンコーダを対象として説明しているが、リアルタイム処理に限定するものではない。マルチフレームエンコードを実現するために複数枚の参照画像に対して実際に探索を試みて、効率のよい参照画像を選択する手法は、回路規模及び、消費電力の増大を招き実現的でなく、回路規模や消費電力を削減するため、H.264エンコーダであっても動き補償を行う参照画像のフレームを固定する構成としているが、本発明は上記参照フレーム構成に限るものではない。 In this embodiment, the H.264 encoder that realizes real-time processing is described as an object, but the present invention is not limited to real-time processing. The technique of actually searching for a plurality of reference images to realize multi-frame encoding and selecting an efficient reference image is not practical because it increases circuit scale and power consumption. In order to reduce the scale and power consumption, the H.264 encoder is configured to fix the frame of the reference image for motion compensation, but the present invention is not limited to the above-described reference frame configuration.
また、本実施例における類似マクロブロックの探索アルゴリズムについては、中間メモリ部009に格納されている範囲の全探索を想定しているが、本発明においては、階層探索や、中間メモリの一部のみを探索するアルゴリズムを採用した場合も、同等に有効である。
また、本発明は上記した実施の形態に限定されるものではなく、この外その趣旨を逸脱しない範囲で、変形して実施することが出来る。
Further, the search algorithm for similar macroblocks in the present embodiment assumes a full search in the range stored in the intermediate memory unit 009. However, in the present invention, only a hierarchical search or a part of the intermediate memory is assumed. Even if an algorithm for searching for is used, it is equally effective.
Further, the present invention is not limited to the above-described embodiment, and can be modified and implemented without departing from the spirit of the present invention.
本発明の好適な一実施例として、デコーダの構成を説明する。 As a preferred embodiment of the present invention, the configuration of a decoder will be described.
本実施例では、H.264方式を利用して説明する。しかしながら、これに限らず符号化方式としては、上記MPEG2方式や、MPEG4、H.261、H263、SMTPEのVC1などがある。 In the present embodiment, description will be made using the H.264 method. However, the present invention is not limited to this, and examples of the encoding method include the MPEG2 method, MPEG4, H.261, H263, and SMTPE VC1.
図8を用いて実施例の構成を説明する。デコードするビットストリームを入力するビットストリーム入力部101、前記入力部101から出力するビットストリームを規格に準拠して復号化を行う復号部102、前記復号部から出力されたデータをマクロブロック単位に格納する中間データ保存部103、前記中間データ保存部から出力するマクロブロック単位の中間データを逆量子化及び、逆周波数変換する逆周波数変換部104、前記逆周波数変換部から出力する差分データと既に復号化済みの複数枚の参照画像との間で動き補償を行い、画像データを生成する動き補償部105、前記動き補償部から出力する画像データを蓄えるバッファ部106、前記バッファ部106に蓄えられた画像データを出力する画像出力インターフェース107、復号化済みの画像を後の動き補償の参照画像とするための参照画保存部である参照メモリ部108、動き補償処理に必要な範囲の参照画像を格納するための中間メモリ部109を備えたデコーダ200を示している。
The configuration of the embodiment will be described with reference to FIG. A
前記バッファ部106と、前記参照メモリ部108は、例えば共通のSDRAM上の異なるアドレスに割り付けて使用することが考えられる。
For example, the
本デコーダ200でデコードするビットストリームは、実施例1のエンコーダ100でエンコードされたものを想定している。そのため、参照画像フレーム構成及び、参照メモリ部108のリード回数低減の原理については、実施例1のエンコーダ100と同様である。
The bit stream decoded by the
次に本発明の他の好適な一実施例として、製品への適用例を説明する。本実施例では、第1の製品実用例として、記録再生装置(例えばカムコーダや、カメラ付き携帯電話など)への適用例について説明する。 Next, as another preferred embodiment of the present invention, an application example to a product will be described. In this embodiment, an application example to a recording / reproducing apparatus (for example, a camcorder or a camera-equipped mobile phone) will be described as a first practical example of a product.
本実施例は、例えばカメラなどの撮像素子からの画像データや、外部からデジタル画像コンテンツを入力し、ハードディスク(以下 HDDと略す),光磁気ディスクや、フラッシュメモリなどの記録媒体に符号化フォーマット,符号化レートを変えて保存する場合に有効である。 In this embodiment, for example, image data from an image sensor such as a camera or digital image content is input from the outside, and an encoding format is recorded on a recording medium such as a hard disk (HDD), a magneto-optical disk, or a flash memory. This is effective when the coding rate is changed.
図9にカメラからの撮像画像データを記録媒体に保存する際のブロック図を示す。画像入力インターフェース部709から入力された画像データをエンコード装置100で符号化を行いストリームの生成を行う。生成されたストリームは記録媒体インターフェース部706により、例えばHDDなどの記録媒体部707に記録される。
FIG. 9 shows a block diagram when the captured image data from the camera is stored in a recording medium. The image data input from the image
記録されたストリームを再生するには、前記HDDからストリームを読み出し、デコード装置200でデコード処理が行われ、画像をディスプレイに出力するのであればデコード画像は,表示部708に送る処理とする。
In order to play back the recorded stream, the stream is read from the HDD, decoded by the
また、デコーダ装置200がデコードした再生画像について、ビットレート変換,フォーマット変換を行う為に、エンコード装置100にて再度エンコードを行っても構わない。
Further, the encoded image may be encoded again by the
本実施例により、エンコーダ及び、デコーダの参照メモリに対してのアクセス頻度を下げることが可能となるため、エンコード装置100及び、デコード装置200以外で使用するメモリと、参照メモリを含むエンコーダ及び、デコーダのメモリを、共通のメモリ上に配置でき、使い勝手が向上した記録再生装置が提供できる。
According to the present embodiment, since the frequency of access to the reference memory of the encoder and decoder can be reduced, the encoder and decoder including the memory used other than the
また、本実施例により、高速な動画像のビットレート変換,フォーマット変換の高画質化を実現できる。 In addition, according to the present embodiment, high-quality moving image bit rate conversion and format conversion can be realized.
次に本実施例を用いた第2の製品実用例(例えばレコーダ)を示す。 Next, a second product practical example (for example, a recorder) using this embodiment will be described.
本実施例は、アナログやデジタルのテレビ放送を、また既に記録してある番組をHDDやDVDなどの記録媒体に符号化フォーマット,符号化レートを変えて保存する場合に有効である。 This embodiment is effective when analog and digital television broadcasts and programs that have already been recorded are stored in recording media such as HDDs and DVDs with different encoding formats and encoding rates.
図10にデジタル放送を記録媒体に保存する際のブロック図を示す。 FIG. 10 shows a block diagram when digital broadcasting is stored in a recording medium.
チューナー部701で受信したデジタル放送は、復調部702にて復号処理が行われ、デマルチプレクサ部703にて動画像情報と音声情報等に分解される。動画像情報は、デコード装置200でデコード処理が行われ、画像をディスプレイに出力するのであればデコード画像は、表示部708に送られる。また、デコード装置がデコードした再生画像をエンコード装置100で、符号化を行いストリームの生成を行う。
The digital broadcast received by the
本実施例により、エンコーダ及び、デコーダの参照メモリに対してのアクセス頻度を下げることが可能となるため、エンコード装置100及び、デコード装置200以外で使用するメモリと、参照メモリを含むエンコーダ及び、デコーダのメモリを、共通のメモリ上に配置でき、使い勝手が向上した記録再生装置が提供できる。
According to the present embodiment, since the frequency of access to the reference memory of the encoder and decoder can be reduced, the encoder and decoder including the memory used other than the
001 画像入力インターフェース部
002 バッファ部
003 動き補償部
004 周波数変換部
005 中間データ保存部
006 符号部
007 ビットストリーム出力部
008 参照メモリ部
009 中間メモリ部
100 エンコード装置
101 ビットストリーム入力部
102 復号部
103 中間データ保存部
104 逆周波数変換部
105 動き補償部
106 バッファ部
107 画像出力インターフェース出力部
108 参照メモリ部
109 中間メモリ部
200 デコード装置
701 チューナー部
702 復号部
703 マルチプレクサ部
704 ユーザーインタフェース部
705 CPU部
706 記録媒体インターフェース部
707 記録媒体
708 表示部
709 画像表示部
001 Image
Claims (19)
参照メモリから読み出した探索範囲分の画像データを用いて、前記第1の入力フレームと前記第2の入力フレームと前記第3の入力フレームを処理する際に、
処理対象のマクロブロックについて、前記第1の入力フレームのマクロブロックと前記第2の入力フレームのマクロブロックと前記第3の入力フレームのマクロブロックを、
マクロブロック単位で切り替えて処理することを特徴とするエンコーダ。 Encoding processing that refers to image data for a common search range in different first input frame, second input frame, and third input frame,
When processing the first input frame, the second input frame, and the third input frame using image data for the search range read from the reference memory,
For the macroblock to be processed, the macroblock of the first input frame, the macroblock of the second input frame, and the macroblock of the third input frame,
An encoder characterized by switching and processing in units of macroblocks.
3フレームのエンコードに要する処理時間を、3フレームの処理時間以内に完了することを特徴とするエンコーダ。 The encoder according to claim 1, wherein
An encoder characterized in that a processing time required for encoding three frames is completed within a processing time of three frames.
第1の入力フレームと第2の入力フレームと第3の入力フレームを処理する際に、前記参照メモリから読み出した探索範囲分の画像データを、中間メモリに格納し、前記中間メモリから読み出した画像データを用いて、前記第1の入力フレームと前記第2の入力フレームと前記第3の入力フレームを処理する構成とし、
参照メモリからの画像データの読み出し回数を低減したことを特徴とするエンコーダ。 The encoder according to claim 1, wherein
When processing the first input frame, the second input frame, and the third input frame, the image data for the search range read from the reference memory is stored in the intermediate memory, and the image is read from the intermediate memory. The data is used to process the first input frame, the second input frame, and the third input frame,
An encoder characterized in that the number of times image data is read from a reference memory is reduced.
第1の入力フレームF0と第2の入力フレームF1を参照対象として、双方向予測符号化を行う第3の入力フレームF2と、第4の入力フレームF3と、前記入力フレームF0 若しくは、前記入力フレームF1どちらかを一方のみを参照対象として、片方向予測符号化を行う第5の入力フレームF4について、
探索範囲分の画像データをマクロブロック単位で切り替え、前記入力フレームF2と前記入力フレームF3と前記入力フレームF4を処理することを特徴としたエンコーダ。 The encoder according to claim 1, wherein
With reference to the first input frame F0 and the second input frame F1, the third input frame F2, the fourth input frame F3, and the input frame F0 or the input frame that perform bi-directional predictive encoding are used. With respect to the fifth input frame F4 that performs one-way predictive coding with only one of F1 as a reference object,
An encoder characterized by switching image data for a search range in units of macroblocks and processing the input frame F2, the input frame F3, and the input frame F4.
第1の入力フレームF0を参照対象として、片方向予測符号化を行う第3の入力フレームF2と、第4の入力フレームF3と、第5の入力フレームF4について、
探索範囲分の画像データを前記参照メモリからの画像データを用いて、マクロブロック単位で切り替え、前記入力フレームF2と前記入力フレームF3と前記入力フレームF4を処理することを特徴としたエンコーダ。 The encoder according to claim 1, wherein
With reference to the first input frame F0, for the third input frame F2, the fourth input frame F3, and the fifth input frame F4 that perform one-way predictive coding,
An encoder characterized by switching image data for a search range in units of macroblocks using image data from the reference memory and processing the input frame F2, the input frame F3, and the input frame F4.
前記中間メモリ部は、前記参照メモリ部とは独立に配置し、前記参照メモリ部と前記中間メモリ以外のメモリを共用することを特徴とするエンコーダ。 An encoder according to claim 3,
The encoder is characterized in that the intermediate memory unit is arranged independently of the reference memory unit and shares a memory other than the reference memory unit and the intermediate memory.
異なる3つのフレームを符号化生成した画像ストリームを、3フレームをエンコードする期間以内で、時系列に出力することを特徴とするエンコーダ。 The encoder according to claim 1, wherein
An encoder characterized in that an image stream obtained by encoding and generating three different frames is output in time series within a period of encoding three frames.
動画像データを入力する画像入力インターフェース部と、
前記画像入力インターフェース部から出力する画像データを入力画像として蓄えるバッファ部と、
前記バッファ部が出力する入力画像と既にエンコード済みの参照画像との間で、動き補償処理を行い、入力画像と予測画像の差分データを生成する動き補償部と、
前記動き補償部が出力する誤差データを周波数変換及び、量子化する周波数変換部と、
前記周波数変換部が出力するデータをマクロブロック単位で格納するための中間データ保存部と、
前記中間データ保存部が出力するデータを、規格に準拠したシンタックスに符号化を行う符号部と、
前記符号部から出力されるビットストリームを出力するビットストリーム出力部と、
エンコード済みの画像を後の動き補償処理の参照画像とするための参照画保存部である参照メモリ部と、
動き補償処理に必要な範囲の参照画像を格納するための中間メモリ部と、
を備えたことを特徴とするエンコーダ。 The encoder according to claim 1, wherein
An image input interface unit for inputting moving image data;
A buffer unit for storing image data output from the image input interface unit as an input image;
A motion compensation unit that performs a motion compensation process between the input image output from the buffer unit and the already encoded reference image, and generates difference data between the input image and the predicted image;
Frequency conversion and error conversion of error data output by the motion compensation unit, and a frequency conversion unit
An intermediate data storage unit for storing data output by the frequency conversion unit in units of macroblocks;
An encoding unit that encodes data output by the intermediate data storage unit into a syntax conforming to a standard;
A bitstream output unit for outputting a bitstream output from the encoding unit;
A reference memory unit that is a reference image storage unit for making the encoded image a reference image for later motion compensation processing;
An intermediate memory unit for storing a reference image in a range necessary for motion compensation processing;
An encoder comprising:
参照メモリから読み出した参照範囲分の画像データを用いて、前記第1の入力フレームと前記第2の入力フレームと前記第3の入力フレームを処理する際に、
処理対象のマクロブロックについて、前記第1の入力フレームのマクロブロックと前記第2の入力フレームのマクロブロックと前記第3の入力フレームのマクロブロックを、
マクロブロック単位で切り替えることを特徴とするデコーダ。 About decoding processing for referring to image data for a common reference range in different first input frame, second input frame, and third input frame,
When processing the first input frame, the second input frame, and the third input frame using image data for a reference range read from a reference memory,
For the macroblock to be processed, the macroblock of the first input frame, the macroblock of the second input frame, and the macroblock of the third input frame,
A decoder characterized by switching in units of macroblocks.
第1の入力フレームと第2の入力フレームと第3の入力フレームを処理する際に、前記参照メモリから読み出した参照範囲分の画像データを、中間メモリに格納し、前記中間メモリから読み出した画像データを用いて、前記第1の入力フレームと前記第2の入力フレームと前記第3の入力フレームを処理する構成とし、
参照メモリからの画像データの読み出し回数を低減したことを特徴とするデコーダ。 The decoder according to claim 10, comprising:
When processing the first input frame, the second input frame, and the third input frame, the image data for the reference range read from the reference memory is stored in the intermediate memory, and the image is read from the intermediate memory. The data is used to process the first input frame, the second input frame, and the third input frame,
A decoder characterized in that the number of times image data is read from a reference memory is reduced.
第1の入力フレームF0と第2の入力フレームF1を参照対象として、双方向予測復号化を行う第3の入力フレームF2と、第4の入力フレームF3と、前記入力フレームF0 若しくは、前記入力フレームF1どちらかを一方のみを参照対象として、片方向予測復号化を行う第5の入力フレームF4について、
探索範囲分の画像データをマクロブロック単位で切り替え、前記入力フレームF2と前記入力フレームF3と前記入力フレームF4を処理することを特徴としたデコーダ。 The decoder according to claim 10, comprising:
With reference to the first input frame F0 and the second input frame F1, the third input frame F2 for performing bidirectional predictive decoding, the fourth input frame F3, and the input frame F0 or the input frame For the fifth input frame F4 for which one-way predictive decoding is performed with only one of F1 as a reference object,
A decoder characterized by switching image data for a search range in units of macroblocks and processing the input frame F2, the input frame F3, and the input frame F4.
第1の入力フレームF0を参照対象として、片方向予測復号化を行う第3の入力フレームF2と、第4の入力フレームF3と、第5の入力フレームF4について、
探索範囲分の画像データをマクロブロック単位で切り替え、前記入力フレームF2と前記入力フレームF3と前記入力フレームF4を処理することを特徴としたデコーダ。 The decoder according to claim 10, comprising:
With reference to the first input frame F0, for the third input frame F2, the fourth input frame F3, and the fifth input frame F4 that perform one-way predictive decoding,
A decoder characterized by switching image data for a search range in units of macroblocks and processing the input frame F2, the input frame F3, and the input frame F4.
前記中間メモリ部は、前記参照メモリ部とは独立に配置し、前記参照メモリ部と前記中間メモリ以外のメモリを共用することを特徴とするデコーダ。 A decoder according to claim 12, comprising:
The decoder, wherein the intermediate memory unit is arranged independently of the reference memory unit and shares a memory other than the reference memory unit and the intermediate memory.
異なる3つのフレームを復号化生成した画像データを、3フレームをデコードする期間以内で、時系列に出力することを特徴とするデコーダ。 The decoder according to claim 10, comprising:
A decoder characterized in that image data obtained by decoding and generating three different frames is output in time series within a period of decoding three frames.
入力する画像ストリームは、請求項1に記載のエンコーダによって符号化された画像ストリームであることを特徴とするデコーダ。 The decoder according to claim 10, comprising:
The decoder according to claim 1, wherein the input image stream is an image stream encoded by the encoder according to claim 1.
ビットストリームを入力するビットストリーム入力部と、
前記ビットストリーム入力部から出力するビットストリームを規格に準拠して復号化を行う復号部と、
復号されたデータをマクロブロック単位で格納する中間データ保存部と、
前記中間データ保存部から出力するマクロブロック単位のデータに逆量子化及び、逆周波数変換する逆周波数変換部と、
前記逆周波数変換部から出力する差分データと既に復号化済みの参照画像との間で動き補償を行い、画像データを復号する動き補償部と、
前記動き補償から出力する画像データを蓄えるバッファ部と、
前記バッファ部に蓄えられた画像データを出力する画像出力インターフェース部と、
復号済みの画像を後の動き補償の参照画像とするための参照画保存部である参照メモリ部と、
動き補償処理に必要な範囲の参照画像を格納するための中間メモリ部と、
を備えたことを特徴とするデコーダ。 The decoder according to claim 10, comprising:
A bitstream input unit for inputting a bitstream;
A decoding unit that decodes the bitstream output from the bitstream input unit according to a standard;
An intermediate data storage unit for storing the decoded data in units of macroblocks;
Inverse quantization and inverse frequency conversion to macroblock unit data output from the intermediate data storage unit;
A motion compensation unit that performs motion compensation between the difference data output from the inverse frequency transform unit and a reference image that has already been decoded;
A buffer unit for storing image data output from the motion compensation;
An image output interface unit for outputting the image data stored in the buffer unit;
A reference memory unit which is a reference image storage unit for setting the decoded image as a reference image for later motion compensation;
An intermediate memory unit for storing a reference image in a range necessary for motion compensation processing;
A decoder comprising:
画像表示部を有し、
入力する画像ストリームを、請求項10に記載のデコーダにより復号化した画像データを、前記画像表示部へ出力することを特徴とする記録再生装置。 The recording / reproducing apparatus according to claim 9,
Having an image display,
11. A recording / reproducing apparatus, wherein image data obtained by decoding an input image stream by the decoder according to claim 10 is output to the image display unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008138851A JP2009290387A (en) | 2008-05-28 | 2008-05-28 | Encoder, decoder and recording reproducing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008138851A JP2009290387A (en) | 2008-05-28 | 2008-05-28 | Encoder, decoder and recording reproducing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009290387A true JP2009290387A (en) | 2009-12-10 |
Family
ID=41459199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008138851A Pending JP2009290387A (en) | 2008-05-28 | 2008-05-28 | Encoder, decoder and recording reproducing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009290387A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013157681A (en) * | 2012-01-27 | 2013-08-15 | Fujitsu Semiconductor Ltd | Video decoder and video decoding method |
EP2966865A1 (en) * | 2014-07-07 | 2016-01-13 | Renesas Electronics Corporation | Picture encoding device, picture decoding device, and picture communication system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006270683A (en) * | 2005-03-25 | 2006-10-05 | Sanyo Electric Co Ltd | Coding device and method |
JP2006333100A (en) * | 2005-05-26 | 2006-12-07 | Matsushita Electric Ind Co Ltd | Image coding unit |
JP2007104231A (en) * | 2005-10-04 | 2007-04-19 | Hitachi Ltd | Transcoder, recording apparatus, transcode method |
JP2007325119A (en) * | 2006-06-02 | 2007-12-13 | Canon Inc | Image processing apparatus and method |
-
2008
- 2008-05-28 JP JP2008138851A patent/JP2009290387A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006270683A (en) * | 2005-03-25 | 2006-10-05 | Sanyo Electric Co Ltd | Coding device and method |
JP2006333100A (en) * | 2005-05-26 | 2006-12-07 | Matsushita Electric Ind Co Ltd | Image coding unit |
JP2007104231A (en) * | 2005-10-04 | 2007-04-19 | Hitachi Ltd | Transcoder, recording apparatus, transcode method |
JP2007325119A (en) * | 2006-06-02 | 2007-12-13 | Canon Inc | Image processing apparatus and method |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013157681A (en) * | 2012-01-27 | 2013-08-15 | Fujitsu Semiconductor Ltd | Video decoder and video decoding method |
EP2966865A1 (en) * | 2014-07-07 | 2016-01-13 | Renesas Electronics Corporation | Picture encoding device, picture decoding device, and picture communication system |
CN105245899A (en) * | 2014-07-07 | 2016-01-13 | 瑞萨电子株式会社 | Picture encoding device, picture decoding device, and picture communication system |
JP2016019074A (en) * | 2014-07-07 | 2016-02-01 | ルネサスエレクトロニクス株式会社 | Image encoding device, image decoding device, and image communication system |
US10123022B2 (en) | 2014-07-07 | 2018-11-06 | Renesas Electronics Corporation | Picture encoding device, picture decoding device, and picture communication system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4534935B2 (en) | Transcoder, recording apparatus, and transcoding method | |
RU2409005C2 (en) | Method of scalable coding and decoding of video signal | |
JP5090158B2 (en) | VIDEO INFORMATION RECORDING DEVICE, VIDEO INFORMATION RECORDING METHOD, VIDEO INFORMATION RECORDING PROGRAM, AND RECORDING MEDIUM CONTAINING VIDEO INFORMATION RECORDING PROGRAM | |
KR101147744B1 (en) | Method and Apparatus of video transcoding and PVR of using the same | |
JP4799547B2 (en) | Encoding method and encoding apparatus for picture sequence using predictive picture and non-predictive picture each including multi-macroblock | |
JP5496047B2 (en) | Image reproduction method, image reproduction apparatus, image reproduction program, imaging system, and reproduction system | |
JP2012085001A5 (en) | ||
JP2007228560A (en) | Moving picture coding method and moving picture coding device | |
JP2008244993A (en) | Apparatus and method for transcoding | |
JP2007067526A (en) | Image processor | |
JP2009290387A (en) | Encoder, decoder and recording reproducing device | |
JP5472094B2 (en) | Moving image conversion apparatus, moving image distribution system, moving image conversion method, and program | |
JPH11308618A (en) | Image signal processor and method therefor, and image signal reproducing device | |
JP2011055023A (en) | Image encoding device and image decoding device | |
JP5240230B2 (en) | Transcoder, recording apparatus, and transcoding method | |
JPH11289515A (en) | Picture signal processor and its method, picture signal recorder and its method and recording medium | |
JP4178521B2 (en) | Encoded video signal recording method and video signal encoding apparatus | |
JP2007020123A (en) | Apparatus and method for detecting motion | |
JP2008193444A (en) | Information processor | |
JP2009111797A (en) | Encoder, and recording device | |
JP4765961B2 (en) | Digital video recording device | |
KR20090076022A (en) | Apparatus for generating a thumb-nail and multi-codec decoder apparatus including the same | |
JP5067492B2 (en) | Digital video recording device | |
JP2005159832A (en) | Signal processor | |
JP2007049520A (en) | High efficient coding device of image signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101021 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120117 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120515 |