JP2011019126A5 - - Google Patents

Download PDF

Info

Publication number
JP2011019126A5
JP2011019126A5 JP2009163006A JP2009163006A JP2011019126A5 JP 2011019126 A5 JP2011019126 A5 JP 2011019126A5 JP 2009163006 A JP2009163006 A JP 2009163006A JP 2009163006 A JP2009163006 A JP 2009163006A JP 2011019126 A5 JP2011019126 A5 JP 2011019126A5
Authority
JP
Japan
Prior art keywords
image
hdr
reconstructed
processing apparatus
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009163006A
Other languages
Japanese (ja)
Other versions
JP2011019126A (en
JP5237212B2 (en
Filing date
Publication date
Application filed filed Critical
Priority to JP2009163006A priority Critical patent/JP5237212B2/en
Priority claimed from JP2009163006A external-priority patent/JP5237212B2/en
Publication of JP2011019126A publication Critical patent/JP2011019126A/en
Publication of JP2011019126A5 publication Critical patent/JP2011019126A5/ja
Application granted granted Critical
Publication of JP5237212B2 publication Critical patent/JP5237212B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、フレームごとのハイダイナミックレンジの画像を、入力ＨＤＲ画像として取得する手段と、
前記入力ＨＤＲ画像から入力低周波画像を生成する手段と、
前記入力ＨＤＲ画像と、前記入力低周波画像と、を用いて、前記入力ＨＤＲ画像のダイナミックレンジを圧縮した入力ＳＤＲ画像を生成する手段と、
前記入力ＳＤＲ画像を符号化することで、再構築ＳＤＲ画像、動きベクトル情報、ＳＤＲストリーム、を生成する手段と、
供給された再構築低周波画像と、前記再構築ＳＤＲ画像と、を用いて、再伸張ＨＤＲ画像を生成する生成手段と、
前記入力ＨＤＲ画像と、前記再伸張ＨＤＲ画像と、の差分画像を、ＨＤＲ差分画像として生成する手段と、
前記ＨＤＲ差分画像を符号化することで、ＨＤＲ差分情報ストリームと、再構築ＨＤＲ差分画像と、を生成する手段と、
前記再構築ＨＤＲ差分画像と、前記再伸張ＨＤＲ画像と、の合成画像を、再構築ＨＤＲ画像として生成する手段と、
前記動きベクトル情報と、１フレーム前の前記再構築ＨＤＲ画像と、を用いて動き補償を行うことで得られる画像を、動き補償ＨＤＲ画像として生成する手段と、
前記動き補償ＨＤＲ画像から再構築低周波画像を生成して前記生成手段に供給する手段と、
前記ＳＤＲストリームと、前記ＨＤＲ差分情報ストリームと、を複合して送出する送出手段と
を備えることを特徴とする。 In order to achieve an object of the present invention, for example, an image processing apparatus of the present invention has the following configuration. That is, means for acquiring an image of a high dynamic range for each frame as an input HDR image;
Means for generating an input low frequency image from said input HDR image;
A means for generating an input SDR image in which the dynamic range of the input HDR image is compressed using the input HDR image and the input low frequency image;
A means for generating a reconstructed SDR image, motion vector information, and an SDR stream by encoding the input SDR image;
Generation means for generating a re-stretched HDR image using the supplied reconstructed low frequency image and the reconstructed SDR image;
A means for generating a difference image of the input HDR image and the re-decompressed HDR image as an HDR difference image;
A means for generating an HDR difference information stream and a reconstructed HDR difference image by encoding the HDR difference image;
Means for generating a composite image of the reconstructed HDR difference image and the re-stretched HDR image as a reconstructed HDR image;
Means for generating an image obtained by performing motion compensation using the motion vector information and the reconstructed HDR image one frame before as a motion compensated HDR image;
Means for supplying to said generating means to generate a reconstructed low-frequency image from the motion compensation HDR image,
And sending means for combining the SDR stream and the HDR difference information stream.

Claims (14)

フレームごとのハイダイナミックレンジの画像を、入力ＨＤＲ画像として取得する手段と、
前記入力ＨＤＲ画像から入力低周波画像を生成する手段と、
前記入力ＨＤＲ画像と、前記入力低周波画像と、を用いて、前記入力ＨＤＲ画像のダイナミックレンジを圧縮した入力ＳＤＲ画像を生成する手段と、
前記入力ＳＤＲ画像を符号化することで、再構築ＳＤＲ画像、動きベクトル情報、ＳＤＲストリーム、を生成する手段と、
供給された再構築低周波画像と、前記再構築ＳＤＲ画像と、を用いて、再伸張ＨＤＲ画像を生成する生成手段と、
前記入力ＨＤＲ画像と、前記再伸張ＨＤＲ画像と、の差分画像を、ＨＤＲ差分画像として生成する手段と、
前記ＨＤＲ差分画像を符号化することで、ＨＤＲ差分情報ストリームと、再構築ＨＤＲ差分画像と、を生成する手段と、
前記再構築ＨＤＲ差分画像と、前記再伸張ＨＤＲ画像と、の合成画像を、再構築ＨＤＲ画像として生成する手段と、
前記動きベクトル情報と、１フレーム前の前記再構築ＨＤＲ画像と、を用いて動き補償を行うことで得られる画像を、動き補償ＨＤＲ画像として生成する手段と、
前記動き補償ＨＤＲ画像から再構築低周波画像を生成して前記生成手段に供給する手段と、
前記ＳＤＲストリームと、前記ＨＤＲ差分情報ストリームと、を複合して送出する送出手段と
を備えることを特徴とする画像処理装置。 A means for acquiring an image of a high dynamic range for each frame as an input HDR image;
Means for generating an input low frequency image from said input HDR image;
A means for generating an input SDR image in which the dynamic range of the input HDR image is compressed using the input HDR image and the input low frequency image;
A means for generating a reconstructed SDR image, motion vector information, and an SDR stream by encoding the input SDR image;
Generation means for generating a re-stretched HDR image using the supplied reconstructed low frequency image and the reconstructed SDR image;
A means for generating a difference image of the input HDR image and the re-decompressed HDR image as an HDR difference image;
A means for generating an HDR difference information stream and a reconstructed HDR difference image by encoding the HDR difference image;
Means for generating a composite image of the reconstructed HDR difference image and the re-stretched HDR image as a reconstructed HDR image;
Means for generating an image obtained by performing motion compensation using the motion vector information and the reconstructed HDR image one frame before as a motion compensated HDR image;
Means for supplying to said generating means to generate a reconstructed low-frequency image from the motion compensation HDR image,
An image processing apparatus comprising: sending means for sending the SDR stream and the HDR difference information stream in combination. 前記入力低周波画像は、前記入力ＨＤＲ画像に対してガウシアンカーネルによる畳み込み積分を行うことで生成され、
前記再構築低周波画像は、前記動き補償ＨＤＲ画像に対してガウシアンカーネルによる畳み込み積分を行うことで生成されることを特徴とする請求項１に記載の画像処理装置。 The input low frequency image is generated by performing convolution integration with a Gaussian kernel on the input HDR image ,
The reconstructed low-frequency image, the image processing apparatus according to claim 1, characterized in Rukoto generated by performing convolution by a Gaussian kernel with respect to the motion compensation HDR image. 前記入力ＳＤＲ画像Ｓｉｎ（ｘ、ｙ）は（ｘ、ｙは画素位置）、前記入力ＨＤＲ画像Ｈｉｎ（ｘ、ｙ）と、前記入力低周波画像Ｌｉｎ（ｘ、ｙ）と、を用いて次の式
Figure 2011019126
に従った計算処理を行うことで生成されることを特徴とする請求項１又は２に記載の画像処理装置。 The input SDR image Sin (x, y) is (x, y is a pixel position) , the input HDR image Hin (x, y), and the input low-frequency image Lin (x, y) formula
Figure 2011019126
The image processing apparatus according to claim 1, wherein the image processing apparatus is generated by performing a calculation process according to the above. 前記入力ＳＤＲ画像の符号化は、Ｈ．２６４符号化形式に従った符号化であることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。   The coding of the input SDR image is as described in H.3. The image processing apparatus according to any one of claims 1 to 3, wherein the image processing is encoding according to the H.264 encoding format. 前記再伸張ＨＤＲ画像Ｈｅｘ（ｘ、ｙ）は（ｘ、ｙは画素位置）、供給された再構築低周波画像Ｌｒｅｃ（ｘ、ｙ）と、前記再構築ＳＤＲ画像Ｓｒｅｃ（ｘ、ｙ）と、を用いて次の式
Figure 2011019126
に従った計算処理を行うことで生成されることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。 The re-expanded HDR image Hex (x, y) is (x, y is a pixel position) , the supplied reconstructed low-frequency image Lrec (x, y) and the reconstructed SDR image Srec (x, y), The following equation using
Figure 2011019126
The image processing apparatus according to any one of claims 1 to 4, which is generated by performing a calculation process according to the above. 前記ＨＤＲ差分画像ｅ（ｘ、ｙ）は（ｘ、ｙは画素位置）、前記入力ＨＤＲ画像Ｈｉｎ（ｘ、ｙ）と、前記再伸張ＨＤＲ画像Ｈｅｘ（ｘ、ｙ）と、を用いて、次の式
Figure 2011019126
に従った計算処理を行うことで生成されることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。 The HDR difference image e (x, y) is next processed using (x, y are pixel positions) , the input HDR image Hin (x, y), and the re-expanded HDR image Hex (x, y). Formula of
Figure 2011019126
The image processing apparatus according to any one of claims 1 to 5, wherein the image processing apparatus is generated by performing a calculation process according to the above. 前記ＨＤＲ差分画像の符号化は、ＪＰＥＧ２０００形式に従った符号化であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。   The image processing apparatus according to any one of claims 1 to 6, wherein the encoding of the HDR differential image is encoding according to a JPEG 2000 format. 前記再構築ＨＤＲ画像Ｈｒｅｃ（ｘ、ｙ）は（ｘ、ｙは画素位置）、前記再構築ＨＤＲ差分画像ｅ’（ｘ、ｙ）と、前記再伸張ＨＤＲ画像Ｈｅｘ（ｘ、ｙ）と、を用いて、次の式
Figure 2011019126
に従った計算処理を行うことで生成されることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。 The reconstructed HDR image H rec (x, y) includes (x, y are pixel positions) , the reconstructed HDR difference image e ′ (x, y), and the re-expanded HDR image Hex (x, y) Using the following equation
Figure 2011019126
The image processing apparatus according to any one of claims 1 to 7, which is generated by performing a calculation process according to the above. 前記動き補償ＨＤＲ画像の生成では、動きベクトルの参照画像のフレーム番号と再構築ＨＤＲ画像のフレーム番号は同一であることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。   The image processing device according to any one of claims 1 to 8, wherein in generation of the motion compensated HDR image, a frame number of a reference image of a motion vector and a frame number of a reconstructed HDR image are the same. . 請求項１乃至９の何れか１項に記載の画像処理装置によって符号化された画像を復号する画像処理装置であって、
前記送出手段により送出されたＳＤＲストリームを復号し、前記再構築ＳＤＲ画像、前記動きベクトル情報を生成する第１の生成手段と、
供給された再構築低周波画像と、前記第１の生成手段が生成した再構築ＳＤＲ画像と、を用いて、ダイナミックレンジを拡大した再伸張ＨＤＲ画像を生成する第２の生成手段と、
前記送出手段により送出されたＨＤＲ差分情報ストリームを復号し、再構築ＨＤＲ差分画像を生成する第３の生成手段と、
前記第３の生成手段が生成した再構築ＨＤＲ差分画像と、前記第２の生成手段が生成した再伸張ＨＤＲ画像と、の合成画像を、再構築ＨＤＲ画像として生成する第４の生成手段と、
前記第１の生成手段が生成した動きベクトル情報と、１フレーム前の再構築ＨＤＲ画像と、を用いて動き補償を行うことで得られる画像を、動き補償ＨＤＲ画像として生成する手段と、
前記動き補償ＨＤＲ画像から再構築低周波画像を生成して前記第２の生成手段に供給する手段と
を備えることを特徴とする画像処理装置。 An image processing apparatus for decoding an image encoded by the image processing apparatus according to any one of claims 1 to 9, comprising:
Decoding the SDR streams sent by said sending means, the reconstructed SDR image, a first generating means for generating the motion vector information,
A second generation unit that generates a re-expanded HDR image with an expanded dynamic range using the supplied reconstructed low-frequency image and the reconstructed SDR image generated by the first generation unit;
Third generation means for decoding the HDR difference information stream sent out by the sending means and generating a reconstructed HDR difference image;
Said third reconstructed HDR differential image generated by the generation section of said re-expansion HDR image second generating means has generated, the composite image, and a fourth generating means for generating a reconstructed HDR image,
And motion vector information of the first generation means is generated, the previous frame reconstructed HDR image, the image obtained by performing motion compensation using, and means for generating a motion compensation HDR image,
The image processing apparatus characterized by generate the reconstructed low-frequency image from the motion compensation HDR image and means for supplying to said second generating means. 画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、フレームごとのハイダイナミックレンジの画像を、入力ＨＤＲ画像として取得する工程と、
前記画像処理装置の第１の生成手段が、前記入力ＨＤＲ画像から入力低周波画像を生成する工程と、
前記画像処理装置の第２の生成手段が、前記入力ＨＤＲ画像と、前記入力低周波画像と、を用いて、前記入力ＨＤＲ画像のダイナミックレンジを圧縮した入力ＳＤＲ画像を生成する工程と、
前記画像処理装置の第３の生成手段が、前記入力ＳＤＲ画像を符号化することで、再構築ＳＤＲ画像、動きベクトル情報、ＳＤＲストリーム、を生成する工程と、
前記画像処理装置の第４の生成手段が、供給された再構築低周波画像と、前記再構築ＳＤＲ画像と、を用いて、再伸張ＨＤＲ画像を生成する生成工程と、
前記画像処理装置の第５の生成手段が、前記入力ＨＤＲ画像と、前記再伸張ＨＤＲ画像と、の差分画像を、ＨＤＲ差分画像として生成する工程と、
前記画像処理装置の第６の生成手段が、前記ＨＤＲ差分画像を符号化することで、ＨＤＲ差分情報ストリームと、再構築ＨＤＲ差分画像と、を生成する工程と、
前記画像処理装置の第７の生成手段が、前記再構築ＨＤＲ差分画像と、前記再伸張ＨＤＲ画像と、の合成画像を、再構築ＨＤＲ画像として生成する工程と、
前記画像処理装置の第８の生成手段が、前記動きベクトル情報と、１フレーム前の前記再構築ＨＤＲ画像と、を用いて動き補償を行うことで得られる画像を、動き補償ＨＤＲ画像として生成する工程と、
前記画像処理装置の供給手段が、前記動き補償ＨＤＲ画像から再構築低周波画像を生成して前記生成工程に供給する工程と、
前記画像処理装置の送出手段が、前記ＳＤＲストリームと、前記ＨＤＲ差分情報ストリームと、を複合して送出する送出工程と
を備えることを特徴とする画像処理方法。 An image processing method performed by the image processing apparatus;
The acquiring unit of the image processing apparatus acquiring an image of a high dynamic range for each frame as an input HDR image;
The first generation means of the image processing apparatus generates an input low frequency image from the input HDR image;
The second generation unit of the image processing apparatus generates an input SDR image obtained by compressing the dynamic range of the input HDR image using the input HDR image and the input low frequency image;
The third generation means of the image processing apparatus generates a reconstructed SDR image, motion vector information, an SDR stream by encoding the input SDR image;
A generation step of the fourth generation means of the image processing device generating a re-stretched HDR image using the supplied reconstructed low-frequency image and the reconstructed SDR image;
Fifth generation means of the image processing apparatus, and the input HDR image, the a re-stretching HDR image, the difference image, and generating a HDR difference image,
A sixth generation unit of the image processing apparatus generates an HDR difference information stream and a reconstructed HDR difference image by encoding the HDR difference image;
Seventh generation means of the image processing apparatus, and the reconstructed HDR differential image, wherein the re-stretching HDR image, the composite image, and generating a reconstructed HDR image,
Eighth generation means of the image processing apparatus, and the motion vector information, and the reconstructed HDR image of the previous frame, an image obtained by performing motion compensation using, to generate a motion compensated HDR image Process,
A step of supplying to said generating step said supplying means of the image processing apparatus generates a reconstructed low-frequency image from the motion compensation HDR image,
An image processing method comprising: a sending step of sending the combined SDR stream and the HDR difference information stream by sending means of the image processing apparatus . 請求項１乃至９の何れか１項に記載の画像処理装置によって符号化された画像を復号する画像処理装置が行う画像処理方法であって、
前記画像処理装置の第１の生成手段が、前記送出工程で送出されたＳＤＲストリームを復号し、前記再構築ＳＤＲ画像、前記動きベクトル情報を生成する第１の生成工程と、
前記画像処理装置の第２の生成手段が、供給された再構築低周波画像と、前記第１の生成工程で生成した再構築ＳＤＲ画像と、を用いて、ダイナミックレンジを拡大した再伸張ＨＤＲ画像を生成する第２の生成工程と、
前記画像処理装置の第３の生成手段が、前記送出工程で送出されたＨＤＲ差分情報ストリームを復号し、再構築ＨＤＲ差分画像を生成する第３の生成工程と、
前記画像処理装置の第４の生成手段が、前記第３の生成工程で生成した再構築ＨＤＲ差分画像と、前記第２の生成工程で生成した再伸張ＨＤＲ画像と、の合成画像を、再構築ＨＤＲ画像として生成する第４の生成工程と、
前記画像処理装置の第５の生成手段が、前記第１の生成工程で生成した動きベクトル情報と、１フレーム前の再構築ＨＤＲ画像と、を用いて動き補償を行うことで得られる画像を、動き補償ＨＤＲ画像として生成する工程と、
前記画像処理装置の供給手段が、前記動き補償ＨＤＲ画像から再構築低周波画像を生成して前記第２の生成工程に供給する工程と
を備えることを特徴とする画像処理方法。 An image processing method performed by an image processing apparatus that decodes an image encoded by the image processing apparatus according to any one of claims 1 to 9,
First generating means of said image processing apparatus, a first generating step of decoding the SDR stream sent by the sending step, generating the reconstructed SDR image, the motion vector information,
The second generation means of the image processing apparatus re-expands the dynamic range by using the supplied reconstructed low-frequency image and the reconstructed SDR image generated in the first generation step. A second generation step of generating
Third generation means of the image processing apparatus, and a third generating step of decoding the HDR difference information stream sent by the sending step, generating a reconstructed HDR difference image,
The fourth generation means of the image processing apparatus reconstructs a composite image of the reconstructed HDR difference image generated in the third generation step and the re-expanded HDR image generated in the second generation step. A fourth generation step of generating as an HDR image;
An image obtained by performing motion compensation using the motion vector information generated in the first generation step and the reconstructed HDR image one frame before in the fifth generation means of the image processing device , Generating as a motion compensated HDR image;
An image processing method supplying means of the image processing apparatus, characterized by comprising a step of supplying to said motion compensation HDR reconstructed from the image the generated low-frequency image second generation step. コンピュータを、請求項１乃至１０の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。 A computer program for a computer to function as each means of the image processing apparatus according to any one of claims 1 to 10. 請求項１３に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。   A computer readable storage medium storing the computer program according to claim 13.
JP2009163006A 2009-07-09 2009-07-09 Image processing apparatus and image processing method Active JP5237212B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009163006A JP5237212B2 (en) 2009-07-09 2009-07-09 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009163006A JP5237212B2 (en) 2009-07-09 2009-07-09 Image processing apparatus and image processing method

Publications (3)

Publication Number Publication Date
JP2011019126A JP2011019126A (en) 2011-01-27
JP2011019126A5 true JP2011019126A5 (en) 2012-08-23
JP5237212B2 JP5237212B2 (en) 2013-07-17

Family

ID=43596570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009163006A Active JP5237212B2 (en) 2009-07-09 2009-07-09 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP5237212B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8891863B2 (en) 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
CN103546673B (en) * 2012-07-09 2018-02-27 联想(北京)有限公司 The method and device of high-dynamics image is generated under moving scene
KR101623947B1 (en) 2014-06-20 2016-05-24 경남정보대학교 산학협력단 Apparatus amd method for producing hdr dynamic image
WO2016171006A1 (en) * 2015-04-21 2016-10-27 ソニー株式会社 Encoding device and encoding method, and decoding device and decoding method
CN105187730B (en) * 2015-07-31 2018-08-07 上海兆芯集成电路有限公司 High dynamic range images production method and the device for using this method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0110748D0 (en) * 2001-05-02 2001-06-27 Apical Ltd Image enhancement methods and apparatus therefor
JP4147155B2 (en) * 2003-07-18 2008-09-10 キヤノン株式会社 Image processing apparatus and method
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8385412B2 (en) * 2007-10-15 2013-02-26 Thomson Licensing Method and apparatus for inter-layer residue prediction for scalable video

Similar Documents

Publication Publication Date Title
EP3273410A3 (en) Mip map compression
JP2011019126A5 (en)
JP2007184800A (en) Image encoding device, image decoding device, image encoding method, and image decoding method
JP2010278995A5 (en)
JP2010218549A5 (en)
WO2011096770A3 (en) Image encoding/decoding apparatus and method
JP2012510737A5 (en)
RU2015108787A (en) DEVICE FOR CODING MOVING IMAGES, DEVICE FOR CODING MOVING IMAGES, METHOD FOR CODING MOVING IMAGES AND METHOD FOR DECODING MOVING IMAGES
JP2006157481A5 (en)
JP2013026724A5 (en)
JP2011123311A5 (en) Image processing method, image processing apparatus, and program
EP2192782A3 (en) Video decoding method
JP2011223337A5 (en) Image decoding apparatus and method
TW200604847A (en) Method for video image processing
CN101083769B (en) Coder/decoder and coding/decoding method for processing N bit video data
JP5237212B2 (en) Image processing apparatus and image processing method
JP2015019364A (en) Image compression apparatus and method
FI2869577T3 (en) Dynamic image predictive decoding device, method, and program
JP2012119950A5 (en)
TWI351882B (en)
CN106664387B9 (en) Computer device and method for post-processing video image frame and computer readable medium
JP2006262159A5 (en)
JP2010219786A5 (en)
JP2014504119A5 (en)
TW201101800A (en) Image processing apparatus and method thereof