JP2013131928A - Image encoding device and image encoding method - Google Patents
Image encoding device and image encoding method Download PDFInfo
- Publication number
- JP2013131928A JP2013131928A JP2011280419A JP2011280419A JP2013131928A JP 2013131928 A JP2013131928 A JP 2013131928A JP 2011280419 A JP2011280419 A JP 2011280419A JP 2011280419 A JP2011280419 A JP 2011280419A JP 2013131928 A JP2013131928 A JP 2013131928A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- signal
- depth value
- definition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明の実施形態は、画像符号化装置および画像符号化方法に関する。 Embodiments described herein relate generally to an image encoding device and an image encoding method.
動画像符号化処理では、符号化効率や画質の向上を狙いとして、量子化パラメータを調整することが種々行われている。また、近年では、奥行き情報を用いて立体映像を表示する表示装置が用いられるようになったため、奥行き情報を用いる表示画像の符号化処理についてもその符号化効率を向上させることが望まれている。 In the moving image encoding process, various adjustments of the quantization parameter are performed for the purpose of improving encoding efficiency and image quality. In recent years, since display devices that display stereoscopic video using depth information have been used, it is desired to improve the encoding efficiency of display image encoding processing using depth information. .
量子化パラメータの調整に関する従来技術としては、3次元ボリュームデータの各階層データに対して符号化効率を向上させるよう量子化を行う技術が開示されている。 As a conventional technique related to the adjustment of the quantization parameter, a technique for performing quantization so as to improve the encoding efficiency for each hierarchical data of the three-dimensional volume data is disclosed.
しかしながら、奥行き情報を用いる表示画像の符号化については、効率性の点で改善の余地があり、符号化効率をより向上させることが可能な技術が望まれている。 However, the coding of the display image using the depth information has room for improvement in terms of efficiency, and a technique that can further improve the coding efficiency is desired.
本発明は、上記に鑑みてなされたものであって、奥行き情報を用いる表示画像の符号化効率を向上させることができる画像符号化装置および画像符号化方法を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide an image encoding device and an image encoding method capable of improving the encoding efficiency of a display image using depth information.
実施形態の画像符号化装置は、取得手段と、信号処理手段と、出力手段とを備える。取得手段は、入力画像信号により構成される各画像領域の奥行き情報を取得する。信号処理手段は、前記取得手段が取得した前記奥行き情報が表す奥行き値に応じて、前記画像領域の画像信号のデータ量を調整する処理を行う。出力手段は、前記信号処理手段による処理後の画像信号を出力する。 The image encoding apparatus according to the embodiment includes an acquisition unit, a signal processing unit, and an output unit. The acquisition unit acquires depth information of each image area configured by the input image signal. The signal processing unit performs a process of adjusting the data amount of the image signal in the image area according to the depth value represented by the depth information acquired by the acquisition unit. The output means outputs the image signal processed by the signal processing means.
(第1の実施形態) (First embodiment)
図1は、第1の実施形態にかかる画像符号化装置10の構成を示すブロック図である。図1に示すように、画像符号化装置10は、プリフィルタ部11および符号化部12を主に備えている。画像符号化装置10には複数視差分の入力画像信号と、その入力画像信号に含まれた被写体像(画像領域)の奥行き情報とが、多視差画像としてフレーム毎に関連付けて入力される。尚、ここでは入力画像信号として多視差画像が入力される場合について説明するが、入力画像信号は多視差画像に限られるものではなく、2次元画像と奥行き情報とが対応付けられて入力されてもよい。
FIG. 1 is a block diagram illustrating a configuration of an
また、奥行き情報としては、仮想点から画像領域までの奥行き方向の距離に対応する奥行き値を用いることができる。尚、奥行き情報は、被写体像の画像領域に対応付けられていても良いし、画素毎に対応付けられていてもよい。プリフィルタ部11および符号化部12は、入力画像信号により構成される各画像領域の奥行き情報を取得する取得手段として夫々機能する。
As the depth information, a depth value corresponding to the distance in the depth direction from the virtual point to the image area can be used. The depth information may be associated with the image area of the subject image or may be associated with each pixel. The pre-filter unit 11 and the
尚、奥行き情報を取得する方法は特に限定されるものではない。複数視点分の入力画像信号の生成時に奥行き情報が生成される場合には、図1に示すように、この生成された奥行き情報が画像符号化装置10に入力されてもよい。或いは、その他の実施形態で後述するように、画像符号化装置10が2次元画像から奥行き情報を生成することにより奥行き情報を取得してもよい。
Note that the method for acquiring depth information is not particularly limited. When depth information is generated when generating input image signals for a plurality of viewpoints, the generated depth information may be input to the
プリフィルタ部11は、奥行き値に応じて入力画像信号の精細度を調整するフィルタ処理を施して、フィルタ処理後の画像信号を符号化部12に出力する。また、プリフィルタ部11は、奥行き値の大きい画像領域ほど、即ち奥側に表示される画像領域ほど、画像の精細度をより低減するフィルタ処理を行う。このようにプリフィルタ部11は、奥行き値に応じて画像の精細度を調整することにより、各画像領域に対する画像信号のデータ量を当該画像領域の奥行き値に応じて調整する。
The prefilter unit 11 performs a filter process for adjusting the definition of the input image signal in accordance with the depth value, and outputs the image signal after the filter process to the
符号化部12は、奥行き値に応じてフィルタ処理後の画像信号を符号化する符号化処理を行い、処理後の符号化データを出力する。また、符号化部12は、奥行き値が大きい画像領域ほど、入力画像信号を量子化する際の量子化ステップ幅をより大きくして、当該画像領域の画像の精細度をより低減するよう符号化処理を行う。即ち符号化処理部12は、奥行き値に応じて符号化量を調整することにより、画像の精細度、つまり各画像領域に対する画像信号のデータ量を当該画像領域の奥行き値に応じて調整する。
The
このように、プリフィルタ部11および符号化部12は、入力画像信号を処理する信号処理手段および信号処理後の画像信号を出力する出力手段として機能する。以下では、プリフィルタ部11、符号化部12の機能、動作についてより詳細に説明する。
Thus, the prefilter unit 11 and the
まず、図2を参照してプリフィルタ部11が行うフィルタ処理の一例について説明する。図2は、フィルタ処理を説明する図である。図2では、1フレームの画像について、横方向に並ぶ画素を丸印により模式的に示しており、画素ごとに奥行き情報が対応付けられている場合について説明する。尚、上述したように、奥行き情報が被写体ごと等の画像領域ごとに対応付けられている場合には、以下の画素間の処理を当該画像領域間での処理に置き換えて行うとよい。また、プリフィルタ部11が行うフィルタ処理の種類は特に限定されるものではないが、以下ではローパスフィルタ処理を行って画像ぼかしを行う例について説明する。 First, an example of filter processing performed by the prefilter unit 11 will be described with reference to FIG. FIG. 2 is a diagram for explaining the filter processing. In FIG. 2, a case where pixels arranged in the horizontal direction are schematically indicated by circles in an image of one frame and depth information is associated with each pixel will be described. As described above, when the depth information is associated with each image area such as each subject, the following process between pixels may be replaced with the process between the image areas. The type of filter processing performed by the prefilter unit 11 is not particularly limited, but an example of performing image blurring by performing low-pass filter processing will be described below.
プリフィルタ部11は、i番目の画素について、その画素での奥行き値diが大きいほどローパスフィルタのカットオフ周波数fiを小さくする。次式(1)にカットオフ周波数fiと奥行き値diとの関係の一例を示す。
ローパスフィルタのカットオフ周波数fiは大きいほど画像が鮮明化され、小さいほど画像のぼかしは大きくなる。従って、奥行き値が大きいほどカットオフ周波数を小さくすることで、奥側に表示される画像領域において画像のぼかしを大きくし、出力信号のデータ量を低減することが可能となる。また、奥行き値が小さいほどカットオフ周波数を大きくすることで、手前側に表示される画像領域において画像を鮮明化し、画像の精細度を向上させることができる。 The larger the cut-off frequency f i of the low-pass filter, the clearer the image, and the smaller the cut-off frequency f i, the greater the blur of the image. Accordingly, by reducing the cutoff frequency as the depth value increases, it is possible to increase the blurring of the image in the image area displayed on the far side and reduce the data amount of the output signal. Further, by increasing the cutoff frequency as the depth value is smaller, it is possible to sharpen the image in the image area displayed on the near side and improve the definition of the image.
プリフィルタ部11は、i番目の画素の入力信号値xiに対して、カットオフ周波数fiに応じたサンプリング画素数(2N+1個)の近隣画素の入力信号値(図2ではxi-2,xi-1,xi,xi+1,xi+2)を用いて、i番目の画素に対する出力信号値yiを求める。これにより、i番目の画素の出力信号は、複数の近隣画素の入力信号によってぼかしがかけられる。 The pre-filter unit 11 receives the input signal values of the neighboring pixels having the number of sampling pixels (2N + 1) according to the cut-off frequency f i with respect to the input signal value x i of the i-th pixel (in FIG. 2, x i−2 , X i−1 , x i , x i + 1 , x i + 2 ), the output signal value y i for the i th pixel is obtained. Thereby, the output signal of the i-th pixel is blurred by the input signals of a plurality of neighboring pixels.
ここで、近隣画素の入力信号値(xi-2〜xi+2)の夫々に対して用いられるフィルタ係数Cn(図2では、C-2〜C2)は、式(1)により求められたカットオフ周波数fiに依存し、例えば任意の関数g2を用いて次式(2)のように表される。
そして、プリフィルタ部11はi番目の画素の出力信号値yiを、次式(3)のようにフィルタ係数Cnとサンプリングされた画素の入力信号値xi-nの積和演算により求める。
プリフィルタ部11は、式(3)では、フレーム内の横方向に並ぶ近隣画素(図2ではxi-2,xi-1,xi,xi+1,xi+2)を用いてフィルタ処理を行ったが、フレーム内の縦方向に並ぶ近隣画素についても同様に考慮してフィルタ処理を行う。 In the expression (3), the prefilter unit 11 uses neighboring pixels (x i−2 , x i−1 , x i , x i + 1 , x i + 2 in FIG. 2) arranged in the horizontal direction in the frame. The filtering process is performed in the same manner with respect to neighboring pixels arranged in the vertical direction in the frame.
以上のように、プリフィルタ部11は、奥行き値が大きい画像領域ほどぼかし効果の大きいフィルタ処理を行う。従って、奥側に表示される画像領域ほどぼかされるが、手前側に表示される画像領域は奥側ほどぼかされず、精細度を保つことができる。従って、主観画質を低減させることなくフィルタ処理後の画像信号量を削減することができ、符号化効率を向上させることができる。 As described above, the pre-filter unit 11 performs filter processing with a greater blurring effect for an image region having a larger depth value. Therefore, although the image area displayed on the back side is blurred, the image area displayed on the near side is not blurred as far as the back side, and the definition can be maintained. Therefore, the amount of image signals after filtering can be reduced without reducing the subjective image quality, and the encoding efficiency can be improved.
次に、プリフィルタ部11の動作について説明する。図3は、プリフィルタ部11が行うフィルタ処理の手順を説明するフローチャートである。まず、プリフィルタ部11に多視差画像の入力画像信号と、その多視差画像の奥行き情報とがフレーム毎に関連付けて入力される(ステップS1)。プリフィルタ部11は、奥行き値に基づいてフレーム画像の精細度を低減するフィルタ処理を行う(ステップS2)。即ち、上述のように、奥行き値に応じてカットオフ周波数fiを算出し、奥行き値に応じたサンプリング画素数2N+1個を用いてi番目の画素の出力信号値yiを算出する。そして、プリフィルタ部11は、フィルタ処理後の出力信号値をフレーム毎に符号化部12に出力する(ステップS3)。
Next, the operation of the prefilter unit 11 will be described. FIG. 3 is a flowchart illustrating the procedure of the filtering process performed by the prefilter unit 11. First, an input image signal of a multi-parallax image and depth information of the multi-parallax image are input to the pre-filter unit 11 in association with each frame (step S1). The pre-filter unit 11 performs a filter process for reducing the definition of the frame image based on the depth value (step S2). That is, as described above, the cut-off frequency f i is calculated according to the depth value, and the output signal value y i of the i-th pixel is calculated using 2N + 1 sampling pixels corresponding to the depth value. Then, the prefilter unit 11 outputs the output signal value after the filtering process to the
尚、上述では、画素毎の奥行き値に基づいてカットオフ周波数fiやフィルタ係数Cnを算出する例について説明したが、プリフィルタ部11は、複数画素で構成される画像領域(例えば、マクロブロック単位の画像領域)における奥行き情報(例えば、画像領域における奥行き値の平均値)に基づいて当該画像領域のカットオフ周波数fiやフィルタ係数Cnを算出してもよい。 In the above description, the example in which the cutoff frequency f i and the filter coefficient C n are calculated based on the depth value for each pixel has been described. However, the prefilter unit 11 is an image region (for example, a macro The cut-off frequency f i and the filter coefficient C n of the image area may be calculated based on depth information (for example, an average value of depth values in the image area) in the block unit image area.
次に、符号化部12について説明する。まず、図4を参照して符号化部12の構成についてより詳細に説明する。
Next, the
図4は、符号化部12の構成を示すブロック図である。同図に示すように符号化部12は、減算部101、直交変換部102、量子化部103、エントロピー符号化部104、量子化制御部105、逆量子化部106、逆直交変換部107、加算部108、フレームメモリ109及び予測画像生成部110で構成される。なお、符号化までの処理は、4×4画素や8×8画素等のマクロブロック単位で行うこととする。
FIG. 4 is a block diagram illustrating a configuration of the
減算部101には、プリフィルタ部11によってフィルタ処理が行われた後の画像信号(フレーム単位の動画像信号)と、後述する予測画像生成部110で生成された予測画像信号とが入力される。減算部101は、画像信号と予測画像信号との差分を取ることで、予測誤差信号を生成し、直交変換部102に出力する。
The
直交変換部102は、減算部101により生成された予測誤差信号に対し、公知の直交変換処理を施すことで直交変換係数情報を生成する。例えば、直交変換部102は、減算部101により生成された予測誤差信号をマクロブロック単位で直交変換処理を行うことで、マクロブロック毎に少数の低域係数に集中させた直交変換係数情報を生成する。そして直交変換部102は生成した直交変換係数情報を出力する。なお、本実施の形態においては変換方式に離散コサイン変換(DCT)を用いることとするが、この変換方式に制限するものではない。
The
量子化部103は、後述する量子化制御部105から入力される量子化ステップ幅を用いて、直交変換部102から入力された直交変換係数情報の量子化を行う。尚、量子化の方法は特に限定されず、公知の方法を用いることができる。また、量子化部103は、量子化された直交変換係数情報を、量子化直交変換係数情報としてエントロピー符号化部104及び逆量子化部106に出力する。
The
量子化制御部105は、マクロブロック毎の奥行き情報が表す奥行き値に基づいて量子化ステップ幅を算出し、算出した量子化ステップ幅を量子化部103に出力する。具体的に、量子化制御部105は、マクロブロックの奥行き値の平均値を算出し、奥行き値の平均値が大きいマクロブロックに対しては量子化ステップ幅を大きくし、奥行き値の平均値が小さいマクロブロックに対しては量子化ステップ幅を小さくする。
The
次式(4)にj番目のマクロブロックにおける奥行き値の平均値(奥行き値)djとそのマクロブロックにおいて用いられる量子化ステップ幅sjとの関係の一例を示す。
図5は、奥行き値(奥行き値の平均値)djと量子化ステップ幅sjとの関係の一例を示す図であり、上式(4)において、r4を定数とした場合の例である。図5に示すように、量子化ステップ幅sjは奥行き値djに対して線形的に変化するように設定されるとしてもよい。或いは、量子化ステップ幅sjは奥行き値djに対して非線形的(例えば指数的)に変化するよう設定されてもよい。 FIG. 5 is a diagram showing an example of the relationship between the depth value (average value of depth values) dj and the quantization step width s j, and is an example where r 4 is a constant in the above equation (4). is there. As shown in FIG. 5, the quantization step width s j may be set so as to change linearly with respect to the depth value d j . Alternatively, the quantization step width s j may be set to change nonlinearly (eg, exponentially) with respect to the depth value d j .
以上のように、量子化制御部105は、奥行き値が大きく奥側に表示される画像領域ほど量子化ステップ幅を荒く設定し、奥行き値が小さく手前側に表示される画像領域ほど量子化ステップ幅を細かく設定する。これにより、注目されやすい手前側の符号量を保って画像領域の画質を保持しつつも、注目されにくい奥側の画像領域については符号化量を減少することができる。従って、主観画質を低下させることなく符号化効率を向上させることができる。
As described above, the
図4に戻り、逆量子化部106は、量子化部103により出力された量子化直交変換係数情報に対してマクロブロック毎に量子化ステップ幅sjを掛けることにより、逆量子化を行う。
Returning to FIG. 4, the
逆直交変換部107は、逆量子化部106により逆量子化された量子化直交変換係数情報に対してさらに逆直交変換を行い、逆直交変換された情報を加算部108に出力する。
The inverse
加算部108は、逆直交変換部107から入力された情報に、予測画像信号を加算して、局部復号信号を生成し、フレームメモリ109に出力する。
The adding
フレームメモリ109は入力された加算部108から入力された局部復号画像信号を記憶する。
The
予測画像生成部110は、フレーム内のマクロブロック毎に、入力された入力画像信号とフレームメモリ109に記憶された局部復号画像信号との間のマッチング(例えばブロックマッチング)を行い、もっとも差分が小さくなるような動きベクトルを検出し、この動きベクトルで補償された局部復号画像信号を用いて予測画像信号を生成する。そして予測画像生成部110は、補償するときに選択された、動きベクトル情報及び予測モード情報を生成された予測画像信号と供に出力する。
The predicted
エントロピー符号化部104は、量子化部103による量子化直交変換係数情報及び予測画像生成部110により入力された動きベクトル情報と予測モード情報について、入力画像信号の出現確率の偏りを利用して圧縮する(エントロピー符号化を行う)。圧縮方式は特に限定されるものではなく、例えば、可変長符号方式を用いることができる。そしてエントロピー符号化部104は、圧縮して生成された符号化データを伝送系または蓄積系(ともに図示せず)に出力する。
The
次に、符号化部12の動作について説明する。図6は、符号化部12が行う符号化処理の手順を説明するフローチャートである。
Next, the operation of the
まず、プリフィルタ部11によってフィルタ処理が行われたフレーム毎の画像信号と、当該フレームに対応する奥行き情報とが符号化部12に入力される(ステップS11)。そして、符号化部12の量子化制御部105は、奥行き情報に基づいてマクロブロック毎の量子化ステップ幅を算出し(ステップS12)、量子化部103に算出した量子化ステップ幅を出力する。量子化部103は、入力された量子化ステップ幅を用いて、直交変換部102から入力されたマクロブロック毎の直交変換係数情報の量子化を行う(ステップS13)。そして、符号化部12は量子化を行い符号化したデータ(符号化データ)を、テレビジョン受像機やPC等の画像表示装置に出力する(ステップS14)。
First, the image signal for each frame subjected to the filtering process by the prefilter unit 11 and the depth information corresponding to the frame are input to the encoding unit 12 (step S11). Then, the
このように、第1の実施形態の画像符号化装置10によれば、奥行き値が大きい画像領域ほど画像の精細度の低減量を増加させるので、奥側に表示される画像領域の符号量を優先的に削減するとともに、手前側に表示される画像領域の画質は保持される。従って、主観画質を低減させることなく画像信号量を削減することができ、奥行き情報を用いる表示画像の符号化効率を向上させることができる。
As described above, according to the
尚、符号化部12は、上述のように奥行き値が大きい画像領域(例えば、マクロブロック)に対して量子化ステップ幅を大きくすることにより削減できた符号量を、奥行き値の小さい画像領域に割り振ってもよい。また、符号化部12は、一のフレームの画像において削減できた符号量を、以降のフレームの画像において利用してもよい。そして、割り振られた符号量を用いて奥行き値の小さい画像領域に対して量子化ステップ幅をより小さくして画像の精細化を図ってもよい。これにより、符号量を削減できるとともに、注目され易い手前側の画像領域に対してより精細化を図ることができる。
Note that the
(第2の実施形態)
図7は、第2の実施形態にかかる画像符号化装置20の構成を示すブロック図である。画像符号化装置20は、プリフィルタ部21と、符号化部22とに加え、アクティビティ算出部23を更に備える。
(Second Embodiment)
FIG. 7 is a block diagram illustrating a configuration of the
アクティビティ算出部23は、画像の精細度を表す精細度情報を検出する検出手段として機能する。精細度情報は特に限定されないが、例えば、画像の複雑さを示すアクティビティが用いられる。尚、精細度情報のその他の例としては、フレーム内のオブジェクトを検出し、オブジェクトの境界(エッジ)を精細度情報として用いてもよい。この場合には、オブジェクトのエッジが多い画像領域ほど画像の精細度が高いことを示す。
The
以下では精細度情報としてアクティビティを用いる場合について説明する。アクティビティ算出部23は、フレーム単位の入力画像信号を所定のマクロブロック単位に分割し、各マクロブロックの画像の複雑さを示すアクティビティを算出する。尚、アクティビティの算出方法については特に限定されず、公知の算出方法を用いることができる。
Hereinafter, a case where an activity is used as definition information will be described. The
図7に示すように、アクティビティ算出部23が算出したアクティビティは、各フレーム画像の入力画像信号に対応付けられて、プリフィルタ部21と符号化部22にそれぞれ入力される。アクティビティが大きく画像が複雑であるほど、画質の精細度を要する領域である。従って、アクティビティが大きい画像領域については、画質を低減しないほうが好ましいといえる。そこで、本実施形態のプリフィルタ部21および符号化部22は、奥行き値が大きく且つ精細度が低い画像領域(例えばアクティビティが小さい画像領域、或いは、エッジが少ない画像領域)ほど画像の精細度を低減する処理を行う。
As shown in FIG. 7, the activity calculated by the
プリフィルタ部21は、奥行き情報に加え、画像の精細度を表す精細度情報(例えば、アクティビティ)に基づいて、入力画像信号に対するローパスフィルタ等のフィルタ処理を、アクティビティ算出部23が分割したマクロブロック単位で施す。
The
図8は、奥行き値dと、アクティビティactと、プリフィルタ部21が用いるカットオフ周波数fとの関係の一例を示す図である。プリフィルタ部21は、マクロブロックにおける奥行き値の平均値(奥行き値d)が大きくなるにつれ、当該マクロブロックで用いるカットオフ周波数fを小さくする。加えて、マクロブロックにおけるアクティビティactが小さくなるにつれて、当該マクロブロックで用いるカットオフ周波数fを小さくする。
FIG. 8 is a diagram illustrating an example of the relationship between the depth value d, the activity act, and the cutoff frequency f used by the
次式(5)に、j番目のマクロブロックについて、カットオフ周波数fjと、マクロブロックの奥行き値の平均値(奥行き値)djと、マクロブロックにおけるアクティビティactjとの関係の一例を示す。
また、プリフィルタ部21は、式(5)で求めたカットオフ周波数fjをマクロブロック内の画素に適用し、上記式(2)、式(3)を用いて各画素の出力信号値yiを求める。そして、プリフィルタ部21は、フィルタ処理後の入力画像信号を符号化部12に出力する。
Further, the
上述では、奥行き値及びアクティビティに基づいてカットオフ周波数を変更する例について説明したが、ローパスフィルタのサンプリング画素数等、フィルタ処理にかかるその他のパラメータを変更してもよい。 In the above description, the example in which the cutoff frequency is changed based on the depth value and the activity has been described. However, other parameters related to the filter processing, such as the number of sampling pixels of the low-pass filter, may be changed.
符号化部22は、奥行き情報に加え、画像の精細度を表す精細度情報(例えば、アクティビティ)に基づいて量子化ステップ幅を決定し、この量子化ステップ幅によって上述した直交変換係数情報を量子化する。
The
図9は、符号化部22の構成を示すブロック図である。符号化部22の構成は図4で示した第1の実施形態の符号化部12の構成と同様である。符号化部22の量子化制御部105には、プリフィルタ部21によるフィルタ処理後の入力画像信号と、奥行き情報とに加えて、アクティビティ算出部23が出力したアクティビティが入力される。
FIG. 9 is a block diagram illustrating a configuration of the
量子化制御部105は、奥行き情報に加え、マクロブロック毎のアクティビティに応じて量子化ステップ幅を算出し、算出した量子化ステップ幅を量子化部103に出力する。
The
図10は、奥行き値dと、アクティビティactと、量子化制御部105が設定する量子化ステップ幅sとの関係の一例を示す図である。量子化制御部105は、マクロブロックにおける奥行き値の平均値(奥行き値d)が大きくなるにつれ、当該マクロブロックで用いる量子化ステップ幅sを大きくする。加えて、マクロブロックにおける奥行き値の平均値(奥行き値d)が小さくなるにつれ、当該マクロブロックで用いる量子化ステップ幅sを小さくする。加えて、量子化制御部105は、マクロブロックのアクティビティactが大きいほど当該マクロブロックの量子化ステップ幅sを相対的に小さくし、マクロブロックのアクティビティactが小さいほど量子化ステップ幅sを相対的に大きくする。
FIG. 10 is a diagram illustrating an example of the relationship between the depth value d, the activity act, and the quantization step width s set by the
次式(6)に、j番目のマクロブロックについて、そのマクロブロックの奥行き値の平均値(奥行き値)djと、マクロブロックにおけるアクティビティactjとの関係の一例を示す。
このように、第2の実施形態の画像符号化装置20によれば、奥側に表示される画像領域であっても画像の精細度(例えば、アクティビティ)が高い画像領域は、画像の精細度が低い画像領域に比べて符号量の削減率を小さくする。従って、符号化量を削減する場合であっても画像の精細度を保つことができる。
As described above, according to the
即ち、本実施形態によれば、アクティビティが小さく画像が平坦(平滑)で複雑でない領域に対しては符号量を低減し、アクティビティが大きく画像が複雑な領域に対しては画像の精細度を保つことができる。従って、注目されにくい画像領域に対しては符合量を低減して符号化効率を向上させるとともに、注目され易い画像領域に対しては画質の劣化を防ぐことができる。また、手前側に表示され、かつ複雑な画像領域がより鮮明に表示されるので、手前側にピントが合っているように表示することができる。 That is, according to the present embodiment, the code amount is reduced for a region where the activity is small and the image is flat (smooth) and is not complicated, and the definition of the image is maintained for a region where the activity is large and the image is complex. be able to. Accordingly, it is possible to improve the coding efficiency by reducing the amount of code for an image region that is not easily noticed, and to prevent image quality deterioration for an image region that is easily noticed. Further, since the complex image area is displayed more clearly on the near side, it can be displayed so that the near side is in focus.
また、上述では、プリフィルタ部11が、奥行き値と、アクティビティとに応じてカットオフ周波数が図8の関係となるようにカットオフ周波数を設定するとしたが、これら3者の関係は図8の例に限定されるものではない。その他の例として、カットオフ周波数fが次式(7)の関係を満たすように設定されてもよい。尚、dminは奥行き値dの最小値、dmaxは奥行き値dの最大値、actminはアクティビティの最小値、actmaxはアクティビティの最大値である。
なお、上述では、符号化部12が、奥行き値とアクティビティとに応じて量子化ステップ幅が図10の関係となるように量子化ステップ幅を設定するとしたが、これら3者の関係は図10の例に限定されるものではない。その他の例として、量子化ステップ幅sが次式(8)の関係を満たすように設定されてもよい。
式(7)(8)のようにプリフィルタ部11または符号化部12を構成することで、手前側に表示される映像の平坦な部分をノイズの目立たない平滑化された画像として表示させることができる。また、奥側に表示される映像であっても、複雑な部分の映像を潰さずに表示することができる。
By configuring the pre-filter unit 11 or the
(第3の実施形態)
その他の実施形態として、奥行き値に所定の閾値を設けておき、この閾値以上となる画像領域に対してのみフィルタ処理を行うとしてもよい。
(Third embodiment)
As another embodiment, a predetermined threshold value may be provided for the depth value, and the filter process may be performed only on an image area that is equal to or greater than the threshold value.
図11は、第3の実施形態において、プリフィルタ部11が行うフィルタ処理の手順を説明するフローチャートである。まず、プリフィルタ部11に多視差画像の入力画像信号と、その多視差画像の奥行き情報とがフレーム毎に関連付けて入力される(ステップS20)。プリフィルタ部11は、各マクロブロックの奥行き値の平均値(奥行き値dj)が所定の閾値θより大きいか否かを判定する(ステップS21)。そのマクロブロックの奥行き値平均値(奥行き値dj)が閾値θより大きい場合(ステップS21:Yes)には、そのマクロブロックに対して上述と同様に奥行き情報を用いるフィルタ処理を行い、奥側に表示される画像の精細度を落とすフィルタ処理を行う(ステップS22)。一方マクロブロックの奥行き値の平均値(奥行き値dj)が閾値θより大きくない場合(ステップS21:No)には、奥行き情報を用いないフィルタ処理を行い、奥側に表示される画像の精細度を落とさないフィルタ処理を行う(ステップS23)。そして、全てのマクロブロックについてのフィルタ処理が終了したかを判定し(ステップS24)、終了していない場合にはステップS21に移行する。全てのマクロブロックについてのフィルタ処理が終了した場合(ステップS24:Yes)には、全てのマクロブロックについてのフィルタ処理後の出力信号を合成して、1フレーム分の出力信号として符号化部12に出力する(ステップS25)。
FIG. 11 is a flowchart illustrating the procedure of the filtering process performed by the prefilter unit 11 in the third embodiment. First, an input image signal of a multi-parallax image and depth information of the multi-parallax image are input to the pre-filter unit 11 in association with each frame (step S20). The pre-filter unit 11 determines whether or not the average value (depth value d j ) of the depth values of the macroblocks is greater than a predetermined threshold value θ (step S21). When the average depth value (depth value d j ) of the macroblock is larger than the threshold θ (step S21: Yes), filtering processing using depth information is performed on the macroblock as described above, and the back side A filter process for reducing the definition of the image displayed on the screen is performed (step S22). On the other hand, if the average value of the macroblock depth values (depth value d j ) is not larger than the threshold value θ (step S21: No), the filter processing that does not use the depth information is performed to refine the image displayed on the back side. Filter processing that does not decrease the degree is performed (step S23). Then, it is determined whether or not the filtering process for all macroblocks has been completed (step S24), and if not, the process proceeds to step S21. When the filter processing for all the macroblocks has been completed (step S24: Yes), the output signals after the filter processing for all the macroblocks are synthesized, and the output signal for one frame is sent to the
尚、ステップS23においては、そのマクロブロックに対してフィルタ処理自体を行わないとしてもよい。 In step S23, the filtering process itself may not be performed on the macroblock.
このように、第3の実施形態によれば、所定の奥行き値以上となる画像領域に対してのみ画像の精細度を落とすフィルタ処理を行う。従って、フィルタ処理の対象とする画像信号量を削減することができ、フィルタ処理の処理速度を向上することができる。 As described above, according to the third embodiment, the filtering process for reducing the definition of an image is performed only on an image area having a predetermined depth value or more. Accordingly, it is possible to reduce the amount of image signal to be filtered, and to improve the processing speed of the filtering process.
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although some embodiment of this invention was described, these embodiment is shown as an example and is not intending limiting the range of invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
(その他の実施形態)
例えば、装置構成や入力される情報は適宜変更可能である。図12は、第1の実施形態で上述した符号化部12(図4参照)の変形例である符号化部12aの構成を示すブロック図である。図12に示すように、符号化部12aに奥行き情報生成部180を設けて、外部から入力される入力画像信号から奥行き情報を生成してもよい。
尚、奥行き情報の生成方法は特に限定されるものではないが、例えば、2次元画像内の被写体の動きの度合いに応じて奥行きを推定するモーションステレオ方法等によって奥行き情報を生成してもよい。
(Other embodiments)
For example, the device configuration and input information can be changed as appropriate. FIG. 12 is a block diagram illustrating a configuration of an encoding unit 12a that is a modification of the encoding unit 12 (see FIG. 4) described above in the first embodiment. As shown in FIG. 12, a depth
Note that the depth information generation method is not particularly limited. For example, the depth information may be generated by a motion stereo method for estimating the depth according to the degree of movement of the subject in the two-dimensional image.
図13〜図15は、第2の実施形態で上述した符号化部22(図9参照)の変形例である符号化部22a〜22cの構成をそれぞれ示すブロック図である。図13に示すように、符号化部22aにアクティビティ算出部190を設けて、外部から入力される入力画像信号から各フレームのマクロブロック毎にアクティビティを算出する形態としてもよい。また、図14に示すように、符号化部22bに奥行き情報生成部180を設けてもよい。更に、図13、図14の構成を組み合わせて、図15に示すように、符号化部22cに奥行き情報生成部180及びアクティビティ算出部190を設けてもよい。
FIGS. 13 to 15 are block diagrams respectively showing configurations of encoding units 22a to 22c, which are modifications of the encoding unit 22 (see FIG. 9) described above in the second embodiment. As shown in FIG. 13, an
また、上述では、エントロピー符号化による符号化処理を行う例について説明したが、画像符号化装置10、20が行う符号化処理の種類は特に限定されず、固定長符号化など、その他の符号化処理を用いてもよい。
Moreover, although the example which performs the encoding process by entropy encoding was demonstrated above, the kind of encoding process which the
また、符号化後に出力されるデータ(符号化データ)の用途は特に限定されるものではなく、3次元画像表示装置に出力されてもよいし、2次元画像表示装置に出力されてもよい。 In addition, the use of data (encoded data) output after encoding is not particularly limited, and may be output to a three-dimensional image display device or may be output to a two-dimensional image display device.
また、プリフィルタ部11、21が行うフィルタ処理は特に限定されるものではなく、1次元フィルタ、フレーム内での2次元の画素列に対して演算を行う2次元フィルタ、異なる時刻のフレームの画素列を更に用いて演算を行う時空間フィルタ等も用いることができる。以上は線形フィルタの例であるが、非線形フィルタを用いてもよい。非線形フィルタ処理の一例としては、対象画素とその周囲の画素との差が大きい場合にはエッジがあると推定し、当該エッジの反対側にあると判定された画素は用いずにその代替となる同じ側の画素をフィルタ係数に乗算する処理を用いることができる。
In addition, the filter processing performed by the
その他の非線形フィルタの例としては、周辺画素に対して画素出力値の変動幅が小さい場合にのみ平滑化を行うεフィルタを用いることもできる。これに関しては、ノイズと判定された領域に対して平滑化を行うため、奥行き情報(或いはアクティビティと併用してもよい)に基づいて、奥側に表示される画像領域に対してはεの値(ノイズではなと判定する閾値)を大きくして、手前側に表示される画像領域に対してはεの値を小さくして、平滑化を行う画素出力値の範囲を制御してもよい。 As another example of the non-linear filter, an ε filter that performs smoothing only when the fluctuation range of the pixel output value is small with respect to the surrounding pixels can be used. In this regard, since smoothing is performed on the area determined to be noise, the value of ε for the image area displayed on the back side based on the depth information (or may be used together with the activity) The range of pixel output values to be smoothed may be controlled by increasing (threshold value determined not to be noise) and decreasing the value of ε for the image area displayed on the front side.
また、上述では、画像符号化装置10、20はプリフィルタ部11、21を備えるとしたが、これら画像符号化装置10、20はプリフィルタ部11、21を備えず、符号化部12、22のみを備える形態であってもよい。
In the above description, the
なお、本実施形態の画像符号化装置10、20で実行されるプログラムは、ROM等に予め組み込まれて提供される。画像符号化装置10、20で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
Note that the program executed by the
さらに、本実施形態の画像符号化装置10、20で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の画像符号化装置10、20で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
Furthermore, the program executed by the
本実施形態の画像符号化装置10、20で実行されるプログラムは、上述した各部(減算部101、直交変換部102、量子化部103、エントロピー符号化部104、量子化制御部105、逆量子化部106、逆直交変換部107、加算部108、予測画像生成部110)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、減算部101、直交変換部102、量子化部103、エントロピー符号化部104、量子化制御部105、逆量子化部106、逆直交変換部107、加算部108、予測画像生成部110が主記憶装置上に生成されるようになっている。
The program executed by the
以上のように、上述した各実施形態によれば、奥行き値に応じて各画像領域の画像信号のデータ量を調整するので、奥行き情報を用いる表示画像の符号化効率を向上させることができる。 As described above, according to each of the above-described embodiments, the data amount of the image signal of each image region is adjusted according to the depth value, so that the encoding efficiency of the display image using the depth information can be improved.
10、20…画像符号化装置、11、21…プリフィルタ部、12、12a、22、22a、22b、22c…符号化部、23…アクティビティ算出部、101…減算部、102…直交変換部、103…量子化部、104…エントロピー符号化部、105…量子化制御部、106…逆量子化部、107…逆直交変換部、108…加算部、109…フレームメモリ、110…予測画像生成部、180…奥行き情報生成部、190…アクティビティ算出部、Cn…フィルタ係数、2N+1…サンプリング画素数、d、di、dj…奥行き値、f、fi、fj…カットオフ周波数、g1、g2、g3、g4…関数、h1、h2、h3、…関数、r1、r4、r51、r52、r61、r62…係数、s、sj…量子化ステップ幅、xi…入力信号値、yi…出力信号値、act、actj…アクティビティ、θ…閾値。
DESCRIPTION OF
Claims (10)
前記取得手段が取得した前記奥行き情報が表す奥行き値に応じて、前記画像領域の画像信号のデータ量を調整する処理を行う信号処理手段と、
前記信号処理手段による処理後の画像信号を出力する出力手段と、
を備える画像符号化装置。 Acquisition means for acquiring depth information of each image area constituted by the input image signal;
Signal processing means for performing a process of adjusting the data amount of the image signal of the image area according to the depth value represented by the depth information acquired by the acquisition means;
Output means for outputting an image signal processed by the signal processing means;
An image encoding device comprising:
前記信号処理手段は、前記奥行き値が大きく且つ精細度が低い画像領域ほど画像の精細度を低減する処理を行う、請求項1ないし4のいずれか1つに記載の画像符号化装置。 It further comprises detection means for detecting definition information representing the definition of the image,
5. The image encoding device according to claim 1, wherein the signal processing unit performs a process of reducing the definition of an image in an image region having a larger depth value and a lower definition. 6.
前記信号処理手段は、前記奥行き値が大きく且つ前記アクティビティが小さい画像領域ほど、画像の精細度を低減する処理を行う、請求項5に記載の画像符号化装置。 The detection means detects an activity indicating the complexity of the image from the input image signal as the definition information,
The image encoding device according to claim 5, wherein the signal processing unit performs a process of reducing the definition of an image in an image region having a larger depth value and a smaller activity.
前記信号処理手段は、前記奥行き値が大きく且つ前記エッジが少なく検出された画像領域ほど、画像の精細度を低減する処理を行う、請求項5または6に記載の画像符号化装置。 The detection means detects an edge of an object displayed in an image area from the input image signal as the definition information,
The image encoding device according to claim 5, wherein the signal processing unit performs a process of reducing the definition of an image in an image region in which the depth value is large and the number of edges is small.
入力画像信号により構成される各画像領域の奥行き情報を取得する取得工程と、
前記取得手段が取得した前記奥行き情報が表す奥行き値に応じて、前記画像領域の画像信号のデータ量を調整する信号処理工程と、
前記信号処理工程による処理後の画像信号を出力する出力工程と、
を含む画像符号化方法。 In an image encoding device,
An acquisition step of acquiring depth information of each image region constituted by the input image signal;
A signal processing step of adjusting a data amount of an image signal of the image region according to a depth value represented by the depth information acquired by the acquisition unit;
An output step of outputting an image signal after processing by the signal processing step;
An image encoding method including:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011280419A JP2013131928A (en) | 2011-12-21 | 2011-12-21 | Image encoding device and image encoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011280419A JP2013131928A (en) | 2011-12-21 | 2011-12-21 | Image encoding device and image encoding method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013131928A true JP2013131928A (en) | 2013-07-04 |
Family
ID=47263022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011280419A Pending JP2013131928A (en) | 2011-12-21 | 2011-12-21 | Image encoding device and image encoding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013131928A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017513335A (en) * | 2014-03-14 | 2017-05-25 | ヴィド スケール インコーポレイテッド | System and method for RGB video coding enhancement |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001061164A (en) * | 1999-08-19 | 2001-03-06 | Toshiba Corp | Transmission method of stereoscopic video signal |
JP2001285895A (en) * | 2000-03-30 | 2001-10-12 | Sanyo Electric Co Ltd | Image data coder and its method |
JP2006191357A (en) * | 2005-01-06 | 2006-07-20 | Victor Co Of Japan Ltd | Reproduction device and reproduction program |
JP2008141666A (en) * | 2006-12-05 | 2008-06-19 | Fujifilm Corp | Stereoscopic image creating device, stereoscopic image output device, and stereoscopic image creating method |
WO2009154033A1 (en) * | 2008-06-18 | 2009-12-23 | 三菱電機株式会社 | Three-dimensional video conversion recording device, three-dimensional video conversion recording method, recording medium, three-dimensional video conversion device, and three-dimensional video transmission device |
WO2011129164A1 (en) * | 2010-04-16 | 2011-10-20 | シャープ株式会社 | Multi-viewpoint image coding device |
-
2011
- 2011-12-21 JP JP2011280419A patent/JP2013131928A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001061164A (en) * | 1999-08-19 | 2001-03-06 | Toshiba Corp | Transmission method of stereoscopic video signal |
JP2001285895A (en) * | 2000-03-30 | 2001-10-12 | Sanyo Electric Co Ltd | Image data coder and its method |
JP2006191357A (en) * | 2005-01-06 | 2006-07-20 | Victor Co Of Japan Ltd | Reproduction device and reproduction program |
JP2008141666A (en) * | 2006-12-05 | 2008-06-19 | Fujifilm Corp | Stereoscopic image creating device, stereoscopic image output device, and stereoscopic image creating method |
WO2009154033A1 (en) * | 2008-06-18 | 2009-12-23 | 三菱電機株式会社 | Three-dimensional video conversion recording device, three-dimensional video conversion recording method, recording medium, three-dimensional video conversion device, and three-dimensional video transmission device |
WO2011129164A1 (en) * | 2010-04-16 | 2011-10-20 | シャープ株式会社 | Multi-viewpoint image coding device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017513335A (en) * | 2014-03-14 | 2017-05-25 | ヴィド スケール インコーポレイテッド | System and method for RGB video coding enhancement |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5007228B2 (en) | Image cleanup and precoding | |
JP4739338B2 (en) | Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program | |
KR20200015927A (en) | Apparatus and method for image coding and decoding | |
JP5283628B2 (en) | Video decoding method and video encoding method | |
JP4613990B2 (en) | Image processing apparatus, image processing method, and program | |
Norkin et al. | Film grain synthesis for AV1 video codec | |
JP2017532858A (en) | Perceptual optimization for model-based video coding | |
JP2015144423A (en) | Image encoder, image decoder, method of image encoder and image decoder, program and image processing system | |
JP6729170B2 (en) | Image processing system and image decoding device | |
US20070092000A1 (en) | Spatial filtering for improving compression efficiency of motion compensated interframe coding | |
JP2007150432A (en) | Method and device of encoding/decoding moving picture | |
JP2008527827A (en) | Method of processing a video signal using a quantization step size dynamically based on normal flow | |
JP2015095764A (en) | Encoder and encoding method | |
JP2014171097A (en) | Encoder, encoding method, decoder, and decoding method | |
JP2012249038A (en) | Image signal processing apparatus and image signal processing method | |
JP2006005650A (en) | Device and method for image encoding | |
US10911779B2 (en) | Moving image encoding and decoding method, and non-transitory computer-readable media that code moving image for each of prediction regions that are obtained by dividing coding target region while performing prediction between different views | |
CN104919806B (en) | Image processing apparatus and method | |
JP2011188129A (en) | Intra prediction apparatus, encoder, decoder, and program | |
JP6796435B2 (en) | Rate control device, video decoding device, and program | |
JP2013131928A (en) | Image encoding device and image encoding method | |
JP7252016B2 (en) | Video encoding device, video decoding device and program | |
JP6200220B2 (en) | Image processing apparatus, encoding apparatus, decoding apparatus, and program | |
WO2019216259A1 (en) | Encoding device, encoding method, and program | |
JP2014110509A (en) | Image encoding device and image encoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130604 |