JP2013168702A - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP2013168702A JP2013168702A JP2012029101A JP2012029101A JP2013168702A JP 2013168702 A JP2013168702 A JP 2013168702A JP 2012029101 A JP2012029101 A JP 2012029101A JP 2012029101 A JP2012029101 A JP 2012029101A JP 2013168702 A JP2013168702 A JP 2013168702A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- difference
- resolution
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、入力画像を符号化するエンコーダと、符号化されたデータを復号するデコーダとを備える画像処理装置に関する。 The present invention relates to an image processing apparatus including an encoder that encodes an input image and a decoder that decodes encoded data.
近年、フルハイビジョン以上の画素数を持った動画像、例えばフルハイビジョンの4倍の画素数(4096×2048画素)を持った4K2Kや、フルハイビジョンの16倍の画素数(7680×4320画素)を持ったスーパーハイビジョンが用いられている。 In recent years, moving images with more than full high-definition pixels, for example, 4K2K with four times the number of pixels (4096 x 2048 pixels) and 16 times the number of pixels (7680 x 4320 pixels) with full high-definition. Super Hi-Vision with it is used.
このような画像の高解像度化により、画像を処理・保存する際に演算量が非常に大きくなり、データレートも大きくなるという問題があった。この問題を解決するために、画面分割する画像処理装置が提案されている(例えば、特許文献1参照)。これにより、分割画面ごとの演算量は全体の演算量に比べて少なくて済む。また、分割した画面データの伝送をシリアル化すればデータレートも削減することができる。 Due to such high resolution of the image, there is a problem that the amount of calculation becomes very large and the data rate becomes large when the image is processed and stored. In order to solve this problem, an image processing apparatus that divides a screen has been proposed (for example, see Patent Document 1). As a result, the calculation amount for each divided screen can be smaller than the total calculation amount. Further, if the transmission of the divided screen data is serialized, the data rate can be reduced.
しかし、画面分割する従来の装置では、分割境界が目立って画質が落ちるという問題があった。また、エンコーダが出力する符号量が莫大という問題は依然として残されたままであった。 However, the conventional apparatus that divides the screen has a problem that the division boundary is conspicuous and the image quality is lowered. In addition, the problem that the amount of code output from the encoder is enormous still remains.
本発明は、上述のような課題を解決するためになされたもので、その目的は画質を落とすことなく、エンコーダが出力する符号量を低減することができる画像処理装置を得るものである。 The present invention has been made to solve the above-described problems, and an object of the present invention is to obtain an image processing apparatus that can reduce the amount of code output by an encoder without degrading image quality.
本発明に係る画像処理装置は、入力画像を符号化するエンコーダと、符号化されたデータを復号するデコーダとを備え、前記エンコーダは、前記入力画像を前記入力画像よりも解像度が低い低解像度画像に変換する第1の変換部と、前記低解像度画像を前記入力画像と同じ解像度に再変換して第1の再変換画像を生成する第1の再変換部と、前記入力画像と前記第1の再変換画像の差分である差分画像を生成する差分部と、前記低解像度画像と前記差分画像を符号化してそれぞれ第1及び第2の符号化データを生成する第1及び第2の符号化部とを有し、前記デコーダは、前記第1及び第2の符号化データをそれぞれ復号する第1及び第2の復号部と、復号された前記低解像度画像を前記入力画像と同じ解像度に再変換して第2の再変換画像を生成する第2の再変換部と、復号された前記差分画像と前記第2の再変換画像を合成する合成部とを有することを特徴とする。 An image processing apparatus according to the present invention includes an encoder that encodes an input image and a decoder that decodes encoded data, and the encoder uses a low-resolution image whose resolution is lower than that of the input image. A first conversion unit that converts the low-resolution image to the same resolution as the input image, a first re-conversion unit that generates a first re-converted image, the input image, and the first image A difference unit that generates a difference image that is a difference between the re-converted images, and first and second encodings that encode the low-resolution image and the difference image to generate first and second encoded data, respectively. The decoder includes first and second decoding units for decoding the first and second encoded data, respectively, and the decoded low-resolution image to the same resolution as the input image. Converted and second reconverted image A second re-conversion unit for generating, and having a combining unit for combining the second re-converted image and decoded the difference image.
本発明により、画質を落とすことなく、エンコーダが出力する符号量を低減することができる。 According to the present invention, the amount of code output by the encoder can be reduced without degrading the image quality.
本発明の実施の形態に係る画像処理装置について図面を参照して説明する。同じ又は対応する構成要素には同じ符号を付し、説明の繰り返しを省略する場合がある。 An image processing apparatus according to an embodiment of the present invention will be described with reference to the drawings. The same or corresponding components are denoted by the same reference numerals, and repeated description may be omitted.
実施の形態1.
図1は、本発明の実施の形態1に係る画像処理装置を示す断面図である。この画像処理装置は、入力画像を符号化するエンコーダ1と、符号化されたデータを復号するデコーダ2とを備える。エンコーダ1は、第1の変換部3と、第1の再変換部4と、差分部5と、第1及び第2の符号化部6,7とを有する。デコーダ2は、第1及び第2の復号部8,9と、第2の再変換部10と、合成部11とを有する。
Embodiment 1 FIG.
FIG. 1 is a sectional view showing an image processing apparatus according to Embodiment 1 of the present invention. The image processing apparatus includes an encoder 1 that encodes an input image and a
エンコーダ1において、第1の変換部3は、入力画像を入力画像よりも解像度が低い低解像度画像に変換する。第1の再変換部4は、超解像技術により、低解像度画像を入力画像と同じ解像度に再変換して第1の再変換画像を生成する。ここで、超解像技術とは、ノイズ除去、スケーリング、画像鮮明化技術などで構成される技術を指す。
In the encoder 1, the
差分部5は、入力画像と第1の再変換画像の差分である差分画像を生成する。ここで、8ビット表現の場合、各画素の値は0〜255の範囲になるため、差分は−255から+255になる。従って、差分画像の表現方法として以下の2つが考えられる。第1の方法では、−128から+128の範囲はそのまま採用し、それより外れる分は−128又は+128に丸める。第2の方法では、−255から+255の値に1/2を乗じた値を採用する。これら2つの方法を混用してもよい。具体的には、差分が−128から+128の範囲の場合は第1の方法を採用し、それより外れる場合は第2の方法を採用する。なお、ここでは代表的な2つの方法を提示したが、差分値を8ビットで表現する方法は適宜決めることができる。また、8ビット表現を例として挙げたが、他のビット数の表現の場合にも同様の考え方を適用することができる。
The
第1及び第2の符号化部6,7は、低解像度画像と差分画像を符号化してそれぞれ第1及び第2の符号化データを生成する。エンコーダ1は、第1及び第2の符号化データを出力する。なお、これら2種の符号化データは多重化して送ってもよいし、どちらかのストリーム内にユーザデータとして入れてもよいし、補助データとして送ってもよい。どの伝送方法でも同様の効果が得られることは自明である。この場合にデコーダ2は対応する分離処理をすればよい。
The first and
デコーダ2は、第1及び第2の符号化データを入力する。第1及び第2の復号部8,9は、第1及び第2の符号化データをそれぞれ復号する。第2の再変換部10は、超解像技術により、復号された低解像度画像を入力画像と同じ解像度に再変換して第2の再変換画像を生成する。合成部11は、復号された差分画像と第2の再変換画像を合成する。デコーダ2は、この合成された画像を出力画像として出力する。
The
以上説明したように、エンコーダ1は入力画像を低解像度画像に変換して符号化して出力するため、エンコーダが出力する符号量を低減することができる。また、低解像度画像から入力画像に再変換した際の差分を差分画像で補うことにより、画質が落ちるのを防ぐことができる。 As described above, since the encoder 1 converts the input image into a low-resolution image, encodes it, and outputs it, the code amount output by the encoder can be reduced. Moreover, it is possible to prevent the image quality from deteriorating by supplementing the difference when the low-resolution image is reconverted into the input image with the difference image.
実施の形態2.
図2は、本発明の実施の形態2に係る画像処理装置を示す断面図である。エンコーダ1は、第1の符号データを復号する第3の復号部12を更に有する。第1の再変換部4は、超解像技術により、第3の復号部12により復号された低解像度画像を再変換して第1の再変換画像を生成する。
FIG. 2 is a cross-sectional view showing an image processing apparatus according to
これにより、第1の符号化部6による符号化での劣化分を差分画像に反映することができるため、画質を向上させることができる。なお、通常、エンコーダでは符号化と同時に復号もできるようになっているため、ハード増にはならない。デコーダ2の構成は実施の形態1と同様である。
As a result, the deterioration due to the encoding by the
実施の形態3.
図3は、本発明の実施の形態3に係る画像処理装置を示す断面図である。実施の形態2の構成に加えて、エンコーダ1は、差分画像を4分割する分割部13を更に有する。第2の符号化部7は、分割された差分画像をそれぞれ符号化する4つの符号化部を有する。デコーダ2が有する第2の復号部9は、4つの符号化部により符号化されたデータを復号する4つの復号部を有する。デコーダ2は、4つの復号部により復号されたデータを結合して、復号された差分画像を生成する結合部14を更に有する。なお、ここでは分割数を4としたが、分割数は適宜決めることができる。
FIG. 3 is a cross-sectional view showing an image processing apparatus according to
このように差分画像を4分割して符号化・復号化することにより、差分画像に関する符号化・復号化の演算量を減らすことができる。分割したデータの伝送をシリアル化すればデータレートも削減することができる。 Thus, by encoding and decoding the difference image by dividing it into four, it is possible to reduce the amount of calculation of encoding and decoding related to the difference image. If the divided data transmission is serialized, the data rate can be reduced.
実施の形態4.
図4は、本発明の実施の形態4に係る画像処理装置を示す断面図である。実施の形態2の構成に加えて、エンコーダ1は、差分画像を入力画像よりも解像度が低い画像に変換する第2の変換部15を更に有する。第2の符号化部7は、第2の変換部15により変換された差分画像を符号化して第2の符号化データを生成する。デコーダ2は、超解像技術により、第2の復号部9により復号された画像を入力画像と同じ解像度に再変換して、復号された差分画像を生成する第3の再変換部16を更に有する。
FIG. 4 is a cross-sectional view showing an image processing apparatus according to
このように差分画像についてエンコーダ1側で低解像度画像に変換して符号化してデコーダ側で再変換を行うことより、差分画像の符号量を減らすことができる。ただし、画質が劣化する可能性がある。 As described above, the difference image is converted into a low-resolution image on the encoder 1 side, encoded, and re-converted on the decoder side, whereby the code amount of the difference image can be reduced. However, the image quality may be deteriorated.
図5は、エンコーダが出力する符号量を比較した図である。この図から分かるように、実施の形態1〜4では、エンコーダが出力する符号量を従来技術に比べて低減することができる。 FIG. 5 is a diagram comparing code amounts output from the encoder. As can be seen from this figure, in the first to fourth embodiments, the amount of code output by the encoder can be reduced as compared with the prior art.
なお、上記の実施の形態において、差分画像に対してフィルタ処理を行う構成や、デコーダ2の出力画像に対してフィルタ処理を行う構成を追加してもよい。また、低解像度画像を入力画像と同じ解像度に変換する場合に超解像技術を用いない構成とすることもできる。
In the above-described embodiment, a configuration for performing filter processing on the difference image or a configuration for performing filter processing on the output image of the
第1の再変換画像には、「第1の変換部で生成された低解像度画像を第1の再変換部で変換したもの」、「第3の復号部で生成された低解像度画像を第1の再変換部で変換したもの」の2種類がある。また、第2の符号化部には、「差分部で生成された差分画像を符号化するもの」、「分割部で分割された差分画像を4つの符号化部で符号化するもの」、「第2の変換部で変換された差分画像を符号化するもの」の3種類がある。ただし、これらの任意の組み合わせでも同様の効果が得られることは自明である。 The first reconverted image includes “the low resolution image generated by the first conversion unit converted by the first reconversion unit”, “the low resolution image generated by the third decoding unit There are two types of “converted by one reconverter”. Further, the second encoding unit includes “what encodes the difference image generated by the difference unit”, “what encodes the difference image divided by the dividing unit by the four encoding units”, “ There are three types: “encoding difference image converted by second conversion unit”. However, it is obvious that the same effect can be obtained by any combination thereof.
1 エンコーダ、2 デコーダ、3 第1の変換部、4 第1の再変換部、5 差分部、6 第1の符号化部、7 第2の符号化部、8 第1の復号部、9 第2の復号部、10 第2の再変換部、11 合成部、12 第3の復号部、13 分割部、14 結合部、15 第2の変換部、16 第3の再変換部
DESCRIPTION OF SYMBOLS 1 Encoder, 2 Decoder, 3 1st conversion part, 4 1st reconversion part, 5 Difference part, 6 1st encoding part, 7 2nd encoding part, 8 1st decoding part, 9
Claims (4)
符号化されたデータを復号するデコーダとを備え、
前記エンコーダは、
前記入力画像を前記入力画像よりも解像度が低い低解像度画像に変換する第1の変換部と、
前記低解像度画像を前記入力画像と同じ解像度に再変換して第1の再変換画像を生成する第1の再変換部と、
前記入力画像と前記第1の再変換画像の差分である差分画像を生成する差分部と、
前記低解像度画像と前記差分画像を符号化してそれぞれ第1及び第2の符号化データを生成する第1及び第2の符号化部とを有し、
前記デコーダは、
前記第1及び第2の符号化データをそれぞれ復号する第1及び第2の復号部と、
復号された前記低解像度画像を前記入力画像と同じ解像度に再変換して第2の再変換画像を生成する第2の再変換部と、
復号された前記差分画像と前記第2の再変換画像を合成する合成部とを有することを特徴とする画像処理装置。 An encoder for encoding the input image;
A decoder for decoding the encoded data,
The encoder is
A first converter that converts the input image into a low-resolution image having a lower resolution than the input image;
A first reconverter that reconverts the low resolution image to the same resolution as the input image to generate a first reconverted image;
A difference unit that generates a difference image that is a difference between the input image and the first reconverted image;
A first encoding unit and a second encoding unit for encoding the low-resolution image and the difference image to generate first and second encoded data, respectively;
The decoder
First and second decoding units for decoding the first and second encoded data, respectively;
A second reconversion unit that reconverts the decoded low resolution image to the same resolution as the input image to generate a second reconversion image;
An image processing apparatus comprising: a combining unit that combines the decoded difference image and the second reconverted image.
前記第1の再変換部は、前記第3の復号部により復号された前記低解像度画像を再変換して前記第1の再変換画像を生成することを特徴とする請求項1に記載の画像処理装置。 The encoder further includes a third decoding unit that decodes the first code data,
2. The image according to claim 1, wherein the first reconversion unit reconverts the low-resolution image decoded by the third decoding unit to generate the first reconversion image. Processing equipment.
前記第2の符号化部は、分割された前記差分画像をそれぞれ符号化する複数の符号化部を有し、
前記デコーダが有する前記第2の復号部は、前記複数の符号化部により符号化されたデータを復号する複数の復号部を有し、
前記デコーダは、前記複数の復号部により復号されたデータを結合して、復号された前記差分画像を生成する結合部を更に有することを特徴とする請求項1又は2に記載の画像処理装置。 The encoder further includes a dividing unit that divides the difference image into a plurality of parts,
The second encoding unit has a plurality of encoding units that encode the divided difference images, respectively.
The second decoding unit included in the decoder has a plurality of decoding units that decode data encoded by the plurality of encoding units,
The image processing apparatus according to claim 1, wherein the decoder further includes a combining unit that combines the data decoded by the plurality of decoding units to generate the decoded difference image.
前記第2の符号化部は、前記第2の変換部により変換された前記差分画像を符号化して前記第2の符号化データを生成し、
前記デコーダは、前記第2の復号部により復号された画像を前記入力画像と同じ解像度に再変換して、復号された前記差分画像を生成する第3の再変換部を更に有することを特徴とする請求項1〜3の何れか1項に記載の画像処理装置。 The encoder further includes a second conversion unit that converts the difference image into an image having a lower resolution than the input image,
The second encoding unit generates the second encoded data by encoding the difference image converted by the second conversion unit,
The decoder further includes a third reconversion unit that reconverts the image decoded by the second decoding unit into the same resolution as the input image, and generates the decoded difference image. The image processing apparatus according to any one of claims 1 to 3.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012029101A JP2013168702A (en) | 2012-02-14 | 2012-02-14 | Image processing device |
PCT/JP2012/072485 WO2013121609A1 (en) | 2012-02-14 | 2012-09-04 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012029101A JP2013168702A (en) | 2012-02-14 | 2012-02-14 | Image processing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013168702A true JP2013168702A (en) | 2013-08-29 |
Family
ID=48983755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012029101A Pending JP2013168702A (en) | 2012-02-14 | 2012-02-14 | Image processing device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2013168702A (en) |
WO (1) | WO2013121609A1 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2666662B2 (en) * | 1992-06-29 | 1997-10-22 | 日本ビクター株式会社 | Hierarchical encoding device and decoding device |
JPH07143482A (en) * | 1993-11-19 | 1995-06-02 | Victor Co Of Japan Ltd | Video signal coder and decoder |
JP3877087B2 (en) * | 1995-12-27 | 2007-02-07 | ソニー株式会社 | Image signal encoding method, image signal encoding device, and image signal transmission method |
JPH10191357A (en) * | 1996-12-27 | 1998-07-21 | Toshiba Corp | Image encoding method, image decoding method, image encoder, image decoder and image encoding and decoding device |
JP2000059779A (en) * | 1998-08-04 | 2000-02-25 | Toshiba Corp | Dynamic image encoding device and dynamic image encoding method |
JP3927443B2 (en) * | 2002-05-01 | 2007-06-06 | 日本電信電話株式会社 | Moving picture transmission / reception system and moving picture transmission / reception method |
-
2012
- 2012-02-14 JP JP2012029101A patent/JP2013168702A/en active Pending
- 2012-09-04 WO PCT/JP2012/072485 patent/WO2013121609A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2013121609A1 (en) | 2013-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6205000B2 (en) | Multi-format high dynamic range video delivery using hierarchical coding | |
JP5710733B2 (en) | Spatial prediction method and apparatus in hierarchical video coding | |
JP2010087874A5 (en) | Lossless compression coding apparatus and lossless decoding apparatus | |
JP2010087874A (en) | Lossless compression-encoding device | |
JP2011233972A (en) | Image encoder, image encoding method, image decoder, and image decoding method | |
US8638393B2 (en) | Apparatus and method for converting image in an image processing system | |
JP2006197074A (en) | Image processor, image processing method, and its program | |
US9100650B2 (en) | Video encoding method, decoding method, and apparatus | |
JP2010087873A (en) | Lossless compression encoding device and decoding device for image data | |
WO2013121609A1 (en) | Image processing device | |
JP6344082B2 (en) | Encoding device, decoding device, encoding method, and decoding method | |
KR101711650B1 (en) | Apparatus and method for converting image in an image processing system | |
JP4521835B2 (en) | Image processing device | |
JP2015154198A (en) | Moving image decoding device and program | |
CN104904199A (en) | Method and apparatus for efficient coding of depth lookup table | |
JP2013005204A (en) | Video transmitting apparatus, video receiving apparatus, and video transmitting method | |
JP4963681B2 (en) | Image processing device | |
JP2009071472A (en) | Image encoding method, image decoding method, image encoder, image decoder and semiconductor integrated circuit | |
JP2007243921A (en) | Bit change reduction encoding device and method, bit change reduction decoding device and method, data transmission apparatus and method, and data reception apparatus and method | |
JP4523522B2 (en) | Hierarchical image encoding apparatus, transcoder, hierarchical image encoding method, and transcoding method | |
JP6272689B2 (en) | Bit depth decomposition allocation apparatus, bit depth combination restoration apparatus, image encoding apparatus, image decoding apparatus, and programs thereof | |
JP4255071B2 (en) | Pixel value selection type encoding device and decoding device of interest | |
JP6388476B2 (en) | Encoding apparatus and program | |
JP6606660B2 (en) | Image data encoding device | |
WO2013035358A1 (en) | Device and method for video encoding, and device and method for video decoding |