JP2012124946A - Prediction vector generating method, image encoding method, image decoding method, prediction vector generator, image encoder, image decoder, prediction vector generating program, image encoding program and image decoding program - Google Patents
Prediction vector generating method, image encoding method, image decoding method, prediction vector generator, image encoder, image decoder, prediction vector generating program, image encoding program and image decoding program Download PDFInfo
- Publication number
- JP2012124946A JP2012124946A JP2012035461A JP2012035461A JP2012124946A JP 2012124946 A JP2012124946 A JP 2012124946A JP 2012035461 A JP2012035461 A JP 2012035461A JP 2012035461 A JP2012035461 A JP 2012035461A JP 2012124946 A JP2012124946 A JP 2012124946A
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- prediction vector
- target
- target block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラムに関する。 The present invention relates to a prediction vector generation method, an image encoding method, an image decoding method, a prediction vector generation device, an image encoding device, an image decoding device, a prediction vector generation program, an image encoding program, and an image decoding program.
従来の動画像符号化方式としてMPEG(Moving Picture Experts Group)−2、MPEG−4、MPEG−4 AVC/H.264方式などがある。これらの動画像符号化方式では、動き補償フレーム間予測符号化という動画像の時間方向の相関性を利用し符号量の削減を図る符号化方式を用いている。動き補償フレーム間予測符号化では、符号化対象の画像をブロック単位に分割し、ブロックごとに動きベクトルを求めることで、効率的な符号化を実現している。 As a conventional moving picture coding system, MPEG (Moving Picture Experts Group) -2, MPEG-4, MPEG-4 AVC / H. H.264 system. In these moving picture coding systems, a coding system that uses a temporal correlation of moving pictures called motion compensation interframe predictive coding to reduce the amount of code is used. In motion compensation interframe predictive coding, an image to be coded is divided into blocks, and a motion vector is obtained for each block, thereby realizing efficient coding.
さらに、非特許文献1にあるように、MPEG−4やH.264/AVC規格では動きベクトルの圧縮率を向上させるために、予測ベクトルを生成し、符号化対象ブロックの動きベクトルと予測ベクトルの差分を符号化している。具体的には、図14に示すように符号化対象ブロックの上に隣接しているブロック(図中の隣接ブロックA)と右上に隣接しているブロック(図中の隣接ブロックB)と、左に隣接しているブロック(図中の隣接ブロックC)の動きベクトル(mv_a、mv_b、mv_c)の水平成分及び垂直成分それぞれの中央値を予測ベクトルとし、動きベクトルと予測ベクトルの差分ベクトルを求めている。 Furthermore, as described in Non-Patent Document 1, MPEG-4 and H.264 are used. In the H.264 / AVC standard, in order to improve the compression rate of the motion vector, a prediction vector is generated, and the difference between the motion vector of the encoding target block and the prediction vector is encoded. Specifically, as shown in FIG. 14, the block adjacent on the encoding target block (adjacent block A in the figure), the block adjacent on the upper right (adjacent block B in the figure), and the left The median value of the horizontal and vertical components of the motion vector (mv_a, mv_b, mv_c) of the block adjacent to the block (adjacent block C in the figure) is the prediction vector, and the difference vector between the motion vector and the prediction vector is obtained. Yes.
また、近年、H.264規格にて、複数のカメラで同一の被写体や背景を撮影した複数の動画像である多視点動画像を符号化するための拡張規格であるMVC(Multiview Video Coding)が策定された。この符号化方式では、カメラ間の相関性を表す視差ベクトルを利用して符号量の削減を図る視差補償予測符号化を用いている。
また、視差補償予測の結果として検出される視差ベクトルに対しても、予測ベクトルを利用することにより、符号量の削減が可能である。
In recent years, H.C. In the H.264 standard, MVC (Multiview Video Coding), which is an extended standard for encoding a multi-view video that is a plurality of moving images obtained by capturing the same subject or background with a plurality of cameras, has been formulated. In this encoding method, disparity compensation predictive encoding that uses a disparity vector representing the correlation between cameras to reduce the amount of code is used.
Also, the amount of code can be reduced by using a prediction vector for a disparity vector detected as a result of disparity compensation prediction.
ただし、動き補償フレーム間予測符号化と視差補償予測符号化ではそれぞれ時間方向の相関性とカメラ間の相関性を利用して符号化するため、検出される動きベクトルと視差ベクトル間に相関性は無い。そのため、隣接ブロックが符号化対象ブロックと異なる符号化方式で符号化された場合、その隣接ブロックの動きベクトルもしくは視差ベクトルを予測ベクトルの生成に活用できないという問題点がある。 However, since the motion compensation interframe prediction coding and the disparity compensation prediction coding are coded using the correlation in the time direction and the correlation between the cameras, the correlation between the detected motion vector and the disparity vector is No. Therefore, when an adjacent block is encoded by a different encoding method from the encoding target block, there is a problem that a motion vector or a disparity vector of the adjacent block cannot be used for generating a prediction vector.
この問題に対し、特許文献1では隣接ブロックの符号化方式が符号化対象ブロックと異なる場合に、符号化対象ブロックの符号化方式が動き補償フレーム間予測符号化の時には隣接ブロックの視差ベクトルが参照する領域に最も多く含まれるブロックの動きベクトルを予測ベクトル生成時に使用し、符号化対象ブロックの符号化方式が視差補償予測符号化の時には隣接ブロックの動きベクトルが参照する領域に最も多く含まれるブロックの視差ベクトルを予測ベクトル生成時に使用することにより、予測ベクトルの生成精度を向上させている。 With respect to this problem, in Patent Document 1, when the encoding method of the adjacent block is different from the encoding target block, the disparity vector of the adjacent block is referenced when the encoding method of the encoding target block is motion compensation interframe predictive encoding. The block containing the largest number of motion vectors in the region to be used is used when generating the prediction vector, and when the coding method of the coding target block is the parallax compensation prediction coding, the block containing the most in the region referenced by the motion vector of the adjacent block The generation accuracy of the prediction vector is improved by using the parallax vector when generating the prediction vector.
現在、MPEGのアドホックグループであるMPEG−3DVにおいて従来のカメラで撮影した映像と合わせてデプスマップも伝送する新しい規格が策定されている。
デプスマップとはカメラから被写体までの距離を表した情報であり、生成方法としては例えば、カメラの近傍に設置された距離を測定する装置から取得する方法がある。また、複数視点のカメラから撮影された画像を解析することによってデプスマップを生成することも出来る。
At present, MPEG-3DV, which is an ad hoc group of MPEG, has developed a new standard for transmitting a depth map together with video captured by a conventional camera.
The depth map is information representing the distance from the camera to the subject, and as a generation method, for example, there is a method of obtaining from a device that measures the distance installed in the vicinity of the camera. In addition, a depth map can be generated by analyzing images taken from cameras of a plurality of viewpoints.
MPEG−3DVの新しい規格におけるシステムの全体図を図15に示す。この新しい規格は、2視点以上の複数視点に対応しているが、図15では2視点の場合で説明する。
このシステムでは、被写体601をカメラ602、604で撮影し画像を出力するとともに、それぞれのカメラの近傍に設置されている被写体までの距離を測定するセンサ603、605を用いてデプスマップを生成し出力する。符号化器606は、入力として画像とデプスマップを受け取り、動き補償フレーム間予測符号化や視差補償予測を用いて、画像およびデプスマップを符号化し出力する。復号器607は伝送されてくる符号化器の出力結果を入力として受け取り、復号し、復号画像および復号したデプスマップを出力する。表示部608は入力として復号画像と復号したデプスマップを受け取り、復号画像を表示する、あるいは、デプスマップを用いた処理を復号画像に施してから表示する。
An overall view of the system in the new MPEG-3DV standard is shown in FIG. This new standard corresponds to a plurality of viewpoints of two viewpoints or more. In FIG. 15, a case of two viewpoints will be described.
In this system, the
しかしながら、非特許文献1や特許文献1においては、動きベクトルや視差ベクトルなどを予測する際に、対象ブロックに表示されているオブジェクトと、対象ブロックに隣接するブロックに表示されているオブジェクトとが異なると、これらのオブジェクトが別々の方向に動いたり、カメラからの距離が大きく異なったりすることがあるために、予測ベクトルと、動きベクトルや視差ベクトルとの差分が大きくなり、符号化効率が低下することがあるという問題がある。 However, in Non-Patent Document 1 and Patent Document 1, when predicting a motion vector, a disparity vector, and the like, an object displayed in a target block is different from an object displayed in a block adjacent to the target block. Since these objects may move in different directions and the distance from the camera may differ greatly, the difference between the prediction vector and the motion vector or disparity vector increases, resulting in a decrease in coding efficiency. There is a problem that there is.
本発明は、このような事情に鑑みてなされたもので、その目的は、優れた符号化効率を奏する予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラムを提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to provide a prediction vector generation method, an image encoding method, an image decoding method, a prediction vector generation device, and an image encoding device that exhibit excellent encoding efficiency. An image decoding device, a prediction vector generation program, an image encoding program, and an image decoding program are provided.
(1)この発明は上述した課題を解決するためになされたもので、本発明の一態様は、符号化または復号の対象画像をブロックに分割し、前記ブロックの各々にフレーム間動き予測符号化方式もしくは視差補償予測符号化方式を適用し、符号化または復号の対象となっている前記ブロックである対象ブロックの参照画像と該参照画像における前記対象ブロックに対応する領域の位置を示す参照情報とに基づいて前記対象ブロックの予測画像を生成して画像を符号化もしくは復号するときに用いられる、前記参照情報の予測ベクトルを生成する方法において、前記対象画像に対応する距離を表す情報と、前記対象ブロックに隣接するブロックの参照情報とを用いて、前記対象ブロックの予測ベクトルを生成する予測ベクトル生成ステップを有することを特徴とする予測ベクトル生成方法である。 (1) The present invention has been made to solve the above-described problems, and one aspect of the present invention divides a target image to be encoded or decoded into blocks, and performs inter-frame motion prediction encoding on each of the blocks. A reference image of a target block which is the block that is the target of encoding or decoding, and reference information indicating a position of a region corresponding to the target block in the reference image In the method for generating a prediction vector of the reference information, which is used when generating a predicted image of the target block based on the image and encoding or decoding the image, information indicating a distance corresponding to the target image, A prediction vector generation step for generating a prediction vector of the target block using reference information of a block adjacent to the target block; It is predicted vector generating method according to claim.
(2)また、本発明の他の態様は、符号化の対象画像をブロックに分割し、前記ブロックの各々について、既に符号化済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を符号化することで画像を符号化する画像符号化方法であって、前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップを有することを特徴とする画像符号化方法である。 (2) In another aspect of the present invention, an encoding target image is divided into blocks, and each block is used to predict the target block from a plurality of already encoded images. Selecting a reference image to be generated, generating a predicted image using reference information designating an area corresponding to the target block in the reference image, and encoding a difference between the predicted image and the target block The image encoding method for encoding an image in step (a), wherein information representing a distance corresponding to the target image and reference information of a block adjacent to the target block are used to calculate a prediction vector of the target block. It is an image coding method characterized by having the prediction vector production | generation step to produce | generate.
(3)また、本発明の他の態様は、復号の対象画像全体をブロックに分割し、前記ブロックの各々について、既に復号済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を復号することで画像を復号する画像復号方法であって、前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップを有することを特徴とする画像復号方法である。 (3) According to another aspect of the present invention, the entire target image to be decoded is divided into blocks, and each block is used for predicting the target block from a plurality of already decoded images. An image is generated by selecting a reference image, generating a predicted image using reference information designating an area corresponding to the target block in the reference image, and decoding a difference between the predicted image and the target block A prediction vector for generating a prediction vector of the target block using information representing a distance corresponding to the target image and reference information of a block adjacent to the target block An image decoding method comprising a generation step.
(4)また、本発明の他の態様は、符号化または復号の対象画像をブロックに分割し、前記ブロックの各々にフレーム間動き予測符号化方式もしくは視差補償予測符号化方式を適用し、符号化または復号の対象となっている前記ブロックである対象ブロックの参照画像と該参照画像における前記対象ブロックに対応する領域の位置を示す参照情報とに基づいて前記対象ブロックの予測画像を生成して画像を符号化もしくは復号するときに用いられる、前記参照情報の予測ベクトルを生成する予測ベクトル生成装置であって、前記対象画像に対応する距離を表す情報と、前記対象ブロックに隣接するブロックの参照情報とを用いて、前記対象ブロックの予測ベクトルを生成することを特徴とする予測ベクトル生成装置である。 (4) According to another aspect of the present invention, an image to be encoded or decoded is divided into blocks, and an interframe motion prediction encoding method or a disparity compensation prediction encoding method is applied to each of the blocks. Generating a predicted image of the target block based on a reference image of the target block that is the block to be converted or decoded and reference information indicating a position of a region corresponding to the target block in the reference image A prediction vector generation device for generating a prediction vector of the reference information used when encoding or decoding an image, wherein information representing a distance corresponding to the target image and reference to a block adjacent to the target block A prediction vector generation device that generates a prediction vector of the target block using information.
(5)また、本発明の他の態様は、符号化または復号の対象画像をブロックに分割し、前記ブロックの各々にフレーム間動き予測符号化方式もしくは視差補償予測符号化方式を適用し、符号化または復号の対象となっている前記ブロックである対象ブロックの参照画像と該参照画像における前記対象ブロックに対応する領域の位置を示す参照情報とに基づいて前記対象ブロックの予測画像を生成して画像を符号化もしくは復号するときに用いられる、前記参照情報の予測ベクトルを生成する予測ベクトル生成装置のコンピュータに、前記対象画像に対応する距離を表す情報と、前記対象ブロックに隣接するブロックの参照情報とを用いて、前記対象ブロックの予測ベクトルを生成する予測ベクトル生成ステップを実行させるための予測ベクトル生成プログラムである。 (5) According to another aspect of the present invention, an image to be encoded or decoded is divided into blocks, and an inter-frame motion prediction encoding method or a disparity compensation prediction encoding method is applied to each of the blocks. Generating a predicted image of the target block based on a reference image of the target block that is the block to be converted or decoded and reference information indicating a position of a region corresponding to the target block in the reference image A computer of a prediction vector generation device that generates a prediction vector of the reference information, which is used when encoding or decoding an image, and information indicating a distance corresponding to the target image and a reference to a block adjacent to the target block A prediction vector for executing a prediction vector generation step for generating a prediction vector of the target block using the information Is the generation program.
(6)また、本発明の他の態様は、符号化の対象画像をブロックに分割し、前記ブロックの各々について、既に符号化済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を符号化することで画像を符号化する画像符号化装置であって、前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成することを特徴とする画像符号化装置である。 (6) Moreover, the other aspect of this invention divides | segments the encoding target image into a block, and is used when predicting the said target block from the several image already encoded about each of the said block. Selecting a reference image to be generated, generating a predicted image using reference information designating an area corresponding to the target block in the reference image, and encoding a difference between the predicted image and the target block An image encoding apparatus that encodes an image using the information representing a distance corresponding to the target image and reference information of a block adjacent to the target block, and calculating a prediction vector of the target block An image encoding device that generates the image encoding device.
(7)また、本発明の他の態様は、符号化の対象画像をブロックに分割し、前記ブロックの各々について、既に符号化済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を符号化することで画像を符号化する画像符号化装置のコンピュータに、前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップを実行させるための画像符号化プログラムである。 (7) In another aspect of the present invention, the target image to be encoded is divided into blocks, and each block is used for predicting the target block from a plurality of already encoded images. Selecting a reference image to be generated, generating a predicted image using reference information designating an area corresponding to the target block in the reference image, and encoding a difference between the predicted image and the target block The computer of the image encoding apparatus that encodes the image with the information representing the distance corresponding to the target image and the reference information of the block adjacent to the target block, the prediction vector of the target block It is an image coding program for performing the prediction vector production | generation step to produce | generate.
(8)また、本発明の他の態様は、復号の対象画像全体をブロックに分割し、前記ブロックの各々について、既に復号済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を復号することで画像を復号する画像復号装置であって、前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成することを特徴とする画像復号装置である。 (8) According to another aspect of the present invention, the entire decoding target image is divided into blocks, and each block is used for predicting the target block from a plurality of already decoded images. An image is generated by selecting a reference image, generating a predicted image using reference information designating an area corresponding to the target block in the reference image, and decoding a difference between the predicted image and the target block An information decoding apparatus for decoding a target block using information representing a distance corresponding to the target image and reference information of a block adjacent to the target block. This is a featured image decoding apparatus.
(9)また、本発明の他の態様は、復号の対象画像全体をブロックに分割し、前記ブロックの各々について、既に復号済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を復号することで画像を復号する画像復号装置のコンピュータに、前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップを実行させるための画像復号プログラムである。 (9) According to another aspect of the present invention, the entire decoding target image is divided into blocks, and each block is used to predict the target block from a plurality of already decoded images. An image is generated by selecting a reference image, generating a predicted image using reference information designating an area corresponding to the target block in the reference image, and decoding a difference between the predicted image and the target block A prediction vector for generating a prediction vector of the target block using information representing a distance corresponding to the target image and reference information of a block adjacent to the target block. An image decoding program for executing a generation step.
この発明によれば、優れた符号化効率を奏することができる。 According to the present invention, excellent encoding efficiency can be achieved.
[第1の実施形態]
以下、図面を参照して、本発明の第1の実施形態について説明する。図1は、本実施形態における画像符号化装置100の構成を示す概略ブロック図である。画像符号化装置100は、立体表示用の2視点の動画像を符号化(圧縮)する。図1に示すように、本実施形態における画像符号化装置100は、画像入力部101と、ブロックマッチング実施部102と、予測画像作成部103と、差分画像符号化部104と、差分画像復号部105と、参照画像メモリ106と、参照情報蓄積メモリ107と、予測ベクトル生成部108と、差分参照情報符号化部110と、参照画像指定情報蓄積メモリ111と、参照画像選択部112と、参照画像指定情報符号化部113と、減算部114、115と、加算部116とを備える。
[First Embodiment]
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a schematic block diagram illustrating a configuration of an
画像入力部101は、符号化する画像(対象画像)の画像データGDの入力を受け付ける。本実施形態において符号化する画像は、立体表示用の2視点の動画像である。ブロックマッチング実施部102は、画像入力部101が受け付けた画像データGDの画像をブロックに分割する。ブロックマッチング実施部102は、参照画像メモリ106を参照して、該ブロックの各々について、既に符号化済みの画像の中から該ブロックの予測に用いる参照画像を選択し、参照画像選択部112に指定する。さらに、ブロックマッチング実施部102は、該ブロックの各々について、選択した参照画像から該ブロックに対応する領域を探し出すブロックマッチングを行い、該ブロック各々の参照情報を生成する。
The
この対応する領域の位置を示す参照情報として、分割により得られたブロックから、対応する領域までのベクトルを用いる。このベクトルは、符号化済みの画像が、分割された画像と同一視点かつ異なるフレーム(時刻)の画像であるときは、動きベクトルといい、符号化済みの画像が、分割された画像と異なる視点の画像であるときは、視差ベクトルいう。なお、本実施形態において、ブロックマッチングを行う際に、対応するブロックを探す候補とする既に符号化済みの画像は、分割された画像と同一視点かつ異なる時刻の画像と、分割された画像と異なる視点かつ同一時刻の画像のみであるが、これに限定されない。 As reference information indicating the position of the corresponding region, a vector from the block obtained by the division to the corresponding region is used. This vector is called a motion vector when the encoded image is an image of the same viewpoint and different frame (time) as the divided image, and the encoded image has a different viewpoint from that of the divided image. Is the parallax vector. In the present embodiment, when block matching is performed, an already encoded image that is a candidate for searching for a corresponding block is different from an image at the same viewpoint and a different time as the divided image and the divided image. Although it is only a viewpoint and the image of the same time, it is not limited to this.
予測画像生成部103は、参照画像メモリ106を参照して、ブロックマッチング実施部102がブロックマッチングにより得た対応する領域の画像を、元の分割により得られたブロックの位置に配置して、予測画像を生成する。減算部115は、画像入力部101が受け付けた画像を構成する画素各々の画素値と、予測画像生成部103が生成した予測画像を構成する画素各々の画素値との差分をとり、差分画像を生成する。差分画像符号化部104は、減算部115が生成した差分画像に対して、量子化や離散コサイン変換などを施して、符号化した差分画像符号化データDEを生成する。差分画像復号部105は、符号化された差分画像を復号する。加算部116は、予測画像生成部103が生成した予測画像を構成する画素各々の画素値と、差分画像復号部105が復号した差分画像を構成する画素各々の画素値とを加算し、参照画像を生成し、参照画像メモリ106に記憶させる。
The predicted
参照情報蓄積メモリ107は、ブロックマッチング実施部102が生成した各ブロックの参照情報を記憶する。予測ベクトル生成部108は、各ブロックについて、距離を示す情報であるデプスマップDMのうち、該ブロックに対応する部分と、参照情報蓄積メモリ107が記憶する該ブロックに隣接するブロックの参照情報NRとを用いて、該ブロックの予測ベクトルPVを生成する。なお、ここで隣接するブロックとは、画像内を左上から右下へブロック列ごとに走査していくラスタスキャン順で符号化している場合、対象のブロックの左側、上側、右上側の3つのブロックである。本実施形態における予測ベクトル生成部108は、予測ベクトルを生成する際に、参照画像指定情報蓄積メモリ11が記憶する、各ブロックの参照画像を指定する情報RAも用いる。
The reference
参照画像選択部112は、ブロックマッチング実施部102が各ブロックについて選択した参照画像を指定する情報を、参照画像メモリ106、参照画像指定情報蓄積メモリ111、参照画像指定情報符号化部113に出力する。参照画像指定情報符号化部113は、参照画像選択部112から受けた各ブロックの参照画像を指定する情報を符号化して、参照画像指定情報符号化データRAEを生成し、出力する。減算部114は、ブロックマッチング実施部102が生成した各ブロックの参照情報と、予測ベクトル生成部108が生成した各ブロックの予測ベクトルとの差分をとり、差分参照情報を生成する。差分参照情報符号化110は、減算部114が生成した差分参照情報を符号化して、差分参照情報符号化データDREを生成する。
The reference
図2は、画像符号化装置100の動作を説明するフローチャートである。ただし、既に符号化対象画像と同じ視点の複数の画像と、符号化対象画像と同じ時間位置(時刻)の別視点の画像を符号化済みであり、なおかつ符号化対象の画像も途中のブロックまで符号化済みであり、その結果が参照画像メモリ106、参照情報蓄積メモリ107、参照画像指定情報蓄積メモリ111に蓄積されている状態にあるものとして説明する。
FIG. 2 is a flowchart for explaining the operation of the
まず、画像入力部101より符号化対象となる画像の画像データGDが入力される(A1)。ブロックマッチング実施部102は、入力された符号化対象画像を、ブロック単位に分割する。符号化は、このブロックごとに行われる。画像符号化装置100は、符号化対象画像内の全ブロックを符号化するまで、以下の処理(ステップA2〜A15)を繰り返し実行する。
First, image data GD of an image to be encoded is input from the image input unit 101 (A1). The block
ブロックマッチング実施部102は、符号化対象ブロックに実施しようとしている符号化モードを示す情報を参照画像選択部112に送り、参照画像選択部112はその情報に基づき必要な参照画像を参照画像メモリ106に伝え、参照画像メモリ106は指定された参照画像をブロックマッチング実施部102に対して出力する。なお、参照画像とは既に符号化及び復号済みの画像のことである。このような方法でブロックマッチング部102は参照画像を入力として受け取りつつ、ブロック毎に全ての符号化モード(動き補償フレーム間予測符号化、視差補償予測符号化)でブロックマッチングを実施する(A3)。
ブロックマッチングとは符号化対象ブロックと既に符号化済みの画像の領域との輝度値の差分絶対値を求める処理である。そして、ブロックマッチングの結果であるマッチングの残差と参照情報に基づいて、ブロックマッチング実施部102は、符号化効率の最も高い符号化モードを判定し、該符号化モードに必要な参照画像を示す情報である参照画像指定情報を参照画像選択部112に出力する(A4)。
The block
Block matching is a process for obtaining an absolute value difference between luminance values of an encoding target block and an already encoded image area. Then, based on the matching residual and reference information, which is the result of block matching, the block matching
後の符号化のために、ブロックマッチング実施部102は、参照情報を参照情報蓄積メモリ107に格納し(A5)、参照画像選択部112は、ブロックマッチング実施部102が出力した参照画像指定情報を参照画像指定情報蓄積メモリ111に格納する(A6)。予測ベクトル生成部108は予測ベクトルを生成する(A7)。なお、予測ベクトルの具体的な生成方法については後で詳しく説明する。減算部114は、参照情報と予測ベクトルとの差分を取り、差分参照情報を生成する(A8)。
For later encoding, the block matching
参照画像選択部112は、参照画像指定情報により指定されている参照画像を参照画像メモリ106から予測画像生成部103へ出力させる。予測画像生成部103は受け取った参照画像と参照情報とから予測画像を生成する。そして、減算部115は、符号化対象ブロックと前記生成した予測画像との差分をとり、差分画像を生成する(A9)。
参照画像指定情報符号化部113は、参照画像指定情報を符号化し、その結果である参照画像指定情報符号データRAEを生成する。差分参照情報符号化部110は、差分参照情報を符号化し、その結果である差分参照情報符号化データDREを生成する。差分画像符号化部104は、差分画像を符号化し、その結果である差分画像符号化データDEを生成する(A10)。そして、これら3つの符号化データを、画像符号化装置100は、出力する。
The reference
The reference image designation
符号化対象画像が後の符号化で参照画像として用いられる場合には(A11−Yes)、符号化された差分画像を差分画像復号部105が復号する(A12)。次に、加算部116が、この復号した差分画像と予測画像を加算し復号画像を得て(A13)、復号画像を参照画像メモリ106に格納する(A14)。全ブロックについて、処理していなければ、ステップA3に戻り、処理しているときは、終了する(A15)。また、ステップA11で、符号化対象画像が後の符号化で参照画像として用いられない場合は(A11−No)、ステップA15に進み、全ブロックについて、処理していなければ、ステップA3に戻り、処理しているときは、終了する(A15)。
When the encoding target image is used as a reference image in later encoding (A11-Yes), the difference
次に、予測ベクトル生成方法について詳しく説明する。図3は、本実施形態における予測ベクトル生成部108の構成を示す概略ブロック図である。図3に示すように、予測ベクトル生成部108は、ブロック間相関性算出部301と、予測ベクトル算出部109とを備える。予測ベクトル算出部109は、隣接ブロック参照情報判定部302と、隣接ブロック参照情報蓄積メモリ303と、予測ベクトル設定部304とを備える。
Next, the prediction vector generation method will be described in detail. FIG. 3 is a schematic block diagram illustrating a configuration of the prediction
ブロック間相関性算出部301は、符号化対象のブロックと、隣接するブロック各々とのデプスマップDMにおける相関性を算出する。本実施形態において、この相関性は、その隣接するブロックが、符号化対象のブロックに表示されているオブジェクトと同一のオブジェクトを表示している可能性を示す情報である。これは、隣接するブロックに表示されているオブジェクトが、符号化対象のブロックに表示されているオブジェクトと同一であれば、距離が大きく変化しないことを利用している。
The inter-block
予測ベクトル算出部109は、ブロック間相関性算出部301が算出した相関性と、隣接するブロックの参照情報NRとを用いて、予測ベクトルを生成する。
隣接ブロック参照情報判定部302は、符号化対象ブロックとその隣接ブロックの参照画像指定情報RAと、隣接ブロックの参照情報NRを受け取る。そして、隣接ブロック参照情報判定部302は、符号化対象ブロックの参照画像と隣接ブロックの参照画像が同一か否かを判定し、同一であれば該隣接ブロックの参照情報を、隣接ブロック参照情報蓄積メモリ303に出力する。
The prediction
The adjacent block reference
隣接ブロック参照情報蓄積メモリ303は、隣接ブロック参照情報判定部302が出力した参照情報を記憶する。予測ベクトル設定部304は、隣接するブロックで、符号化の対象ブロックと参照画像が同一もののうち、相関性が最も大きかった隣接するブロックの参照情報を、予測ベクトルPVにする。
The adjacent block reference
図4は、予測ベクトル生成方法を示すフローチャートである。このフローチャートは、図2のステップA7の詳細を示すものである。また、図5、図6は本発明における予測ベクトル生成方法の概念説明図である。図5は、符号化の対象画像の例701を示す図である。図5において、符号O1は、一番手前にある被写体であり、符号O2は、被写体O1の後ろにある被写体である。これらの被写体O1、O2は、台O3の上に置かれている。
また、符号703は、符号化対象のブロックである。符号704は、この符号化対象のブロック703の左の隣接ブロックである。符号705は、符号化対象のブロック703の上の隣接ブロックである。符号706は、符号化対象のブロック703の右上の隣接ブロックである。
FIG. 4 is a flowchart showing a prediction vector generation method. This flowchart shows the details of step A7 in FIG. 5 and 6 are conceptual explanatory diagrams of a prediction vector generation method according to the present invention. FIG. 5 is a diagram illustrating an example 701 of an encoding target image. In FIG. 5, the symbol O1 is the foreground subject, and the symbol O2 is the subject behind the subject O1. These subjects O1 and O2 are placed on the base O3.
図6は、符号化の対象画像の例701に対応するデプスマップ702を示す図である。
図6において、符号OD1は、デプスマップ中の被写体O1である。同様に符号OD2は、デプスマップ中の被写体O2である。符号OD3は、デプスマップ中の台O3である。
また、符号707は、符号化対象のブロック703に対応するデプスマップ中の領域である。符号708は、符号化対象のブロック703の左の隣接ブロック704に対応するデプスマップ中の領域である。符号709は、符号化対象のブロック703の上の隣接ブロック705に対応するデプスマップ中の領域である。符号710は、符号化対象のブロック703の右上の隣接ブロック706に対応するデプスマップ中の領域である。この図4のフローチャートおよび図5、図6を用いて予測ベクトル生成方法の説明をする。
FIG. 6 is a diagram illustrating a
In FIG. 6, the symbol OD1 is the subject O1 in the depth map. Similarly, the symbol OD2 is the subject O2 in the depth map. The code OD3 is a table O3 in the depth map.
まず、ブロック間相関性算出部301は、入力として符号化対象画像701に対応する既に符号化済みのデプスマップ702を受け取る(B1)。ここで符号化済みのデプスマップ702を使用するのは、符号化装置と復号装置でデプスマップを同一にすることにより、生成される予測ベクトルを一致させるためである。デプスマップの符号化方法については、時間軸上に並べたデプスマップを動画像とみなし、従来の動画像符号化方式、例えばMPEG−2やH.264/AVCを用いてもよい。そして、デプスマップを用いて符号化対象ブロック703と隣接ブロック704、705、706の間の相関性を表す情報を算出する(ステップB2)。
First, the inter-block
相関性の具体的な算出方法としては、例えばデプスマップ702内で符号化対象ブロック703と同じ位置にあるブロック707のデプス値の平均値と、デプスマップ702内で符号化対象ブロック703の各隣接ブロック704、705、706と同じ位置にある各ブロック708、709、710のデプス値の平均値との差分絶対値を符号化対象ブロックと隣接ブロックの相関性を示す情報として算出する方法がある。なお、差分絶対値ではなく2乗誤差を用いて算出してもよい。図5の場合、ブロック708、709、710の中では、ブロック707と同一オブジェクト内に存在するブロック708とのデプス値の平均値の差分絶対値が最も小さくなり、全て背景領域に含まれているブロック709とのデプス値の平均値の差分絶対値が最も大きくなる。そして、デプス値の差分絶対値比較部301はデプス値の平均値の差分絶対値が小さいブロックはブロック708、ブロック710、ブロック709の順である事を示すブロック間相関度情報を出力する。すなわち、符号対象ブロックと同じオブジェクトを表示している可能性が最も高い隣接ブロックは、ブロック708であり、次に高いのはブロック710であり、その次はブロック709であることを示す情報を出力する。
As a specific calculation method of the correlation, for example, the average value of the depth values of the
次に、隣接ブロック参照情報判定部302は、入力として、符号化対象ブロック703とその隣接ブロック704,705,706の参照画像指定情報と、隣接ブロック704,705,706の参照情報を受け取る。まず、隣接ブロック参照情報判定部302は、ブロック間相関度情報で順位が最も高いブロック708の参照画像と、符号化対象ブロック703の参照画像が同一であるか否かを判定する(B3)。同一のときは、判定した隣接ブロック、ここではブロック708の参照情報を出力してステップB6に進み、同一でないときは、ステップB4に進む。
Next, the adjacent block reference
ステップB4では、隣接ブロック参照情報判定部302は、ブロック間相関度情報で順位が、次に高いブロック710の参照画像と、符号化対象ブロック703の参照画像が同一であるか否かを判定する。同一のときは、判定した隣接ブロック、ここではブロック710の参照情報を出力してステップB6に進み、同一でないときは、ステップB5に進む。
ステップB5では、隣接ブロック参照情報判定部302は、ブロック間相関度情報で順位が、次に高い(最も低い)ブロック709の参照画像と、符号化対象ブロック703の参照画像が同一であるか否かを判定する。同一のときは、判定した隣接ブロック、ここではブロック709の参照情報を出力してステップB6に進み、同一でないときは、ステップB7に進む。
In step B4, the adjacent block reference
In step B5, the adjacent block reference
ステップB6では、参照情報蓄積メモリ303は、当該ステップの前に、隣接ブロック参照情報判定部302が出力した隣接ブロックの参照情報を格納し(B6)、ステップB8に進む。
ステップB7では、また、参照情報蓄積メモリ303は、参照情報として(0,0)、すなわち0ベクトルを格納する。
そして、ステップB8において、予測ベクトル設定部304は、参照情報蓄積メモリ303がステップB6またはB7にて格納した参照情報を、予測ベクトルに設定し出力する。
In step B6, the reference
In step B7, the reference
In step B8, the prediction
これにより、符号化対象ブロックとデプス値が一番近い値の隣接ブロック、すなわち、符号化対象ブロックと同一オブジェクトに属している可能性が最も高い隣接ブロックの参照情報が予測ベクトルとして選択されるため、予測ベクトルの精度が向上し、参照情報の符号化効率が向上する。 As a result, the adjacent block having the closest depth value to the encoding target block, that is, the reference information of the adjacent block most likely to belong to the same object as the encoding target block is selected as the prediction vector. The accuracy of the prediction vector is improved, and the encoding efficiency of the reference information is improved.
次に、上述の画像符号化装置100により符号化されたデータを復号する画像復号装置200について説明する。図7は、本実施形態における画像復号装置200の構成を示す概略ブロック図である。図7に示すように、動画像復号装置200は、差分画像復号部201と、差分参照情報復号部202と、参照画像指定情報復号部203と、予測画像作成部204と、参照画像メモリ205と、参照情報蓄積メモリ206と、予測ベクトル生成部108と、参照画像指定情報蓄積メモリ209と、加算部210、211を備える。図7に示すように、画像復号装置200は、画像符号化装置100と同様に予測ベクトル生成部108を備える。
Next, the
図8は、本実施形態における画像復号装置200の動作を説明するフローチャートである。このフローチャートに従って画像復号装置200に、2視点の動画像に対応する符号化データを入力した際に実行する処理の説明をする。ただし、既に復号対象画像と同じ視点の複数の画像と復号対象画像と同じ時間軸の別視点の画像を復号済みであり、なおかつ復号対象の画像も途中のブロックまで復号済みであり、その結果が参照画像メモリ205、参照情報蓄積メモリ206、参照画像指定情報蓄積メモリ209に蓄積されている状態にあるものとして説明する。
FIG. 8 is a flowchart for explaining the operation of the
まず、差分画像復号部201、差分参照情報復号部202、参照画像指定情報復号部203にそれぞれ差分画像符号化データDE、参照画像指定情報符号化データDRE、差分参照情報符号化データRAEが入力される(ステップC1)。上記データは、画像符号化装置100におけるブロックに対応する単位で入力され、画像復号装置200は、入力されたブロック順に復号を行う。
First, the difference image encoded data DE, the reference image specified information encoded data DRE, and the difference reference information encoded data RAE are input to the difference
画像復号装置200は、復号対象画像内の全ブロックを復号するまで、以下の処理を繰り返し実行する(ステップC2〜C14)。
参照画像指定情報復号部203は、参照画像指定情報符号化データDREを復号し、参照画像指定情報を取得する(ステップC3)。後の復号処理のために、参照画像指定情報復号部203は、復号した参照画像指定情報を、参照画像指定情報蓄積メモリ209に格納する(ステップC4)。
The
The reference image designation information decoding unit 203 decodes the reference image designation information encoded data DRE, and acquires reference image designation information (step C3). For subsequent decoding processing, the reference image designation information decoding unit 203 stores the decoded reference image designation information in the reference image designation information storage memory 209 (step C4).
予測ベクトル生成部108は、画像符号化装置100の予測ベクトル生成部108と同様の処理を行い、予測ベクトルを生成する(ステップC5)。差分参照情報復号部202は、差分参照情報符号化データRAEを復号し、差分参照情報を取得する(ステップC6)。加算部211は、差分参照情報復号部202により復号された差分参照情報と、予測ベクトル生成部108が生成した予測ベクトルの和を取ることにより、参照情報を取得する(ステップC7)。後の復号処理のために、加算部211は、取得した参照情報を参照情報蓄積メモリ206に出力し、格納する(ステップC8)。
The prediction
次に、参照画像メモリ205は、参照画像指定情報復号部203が復号した参照画像指定情報に従って参照画像を予測画像生成部204へ出力する。そして、予測画像生成部204は、参照画像メモリ205が出力した参照画像と、加算部211が取得した参照情報とから予測画像を生成する(ステップC9)。差分画像復号部201は、差分画像符号化データDEを復号し、差分画像を取得する(ステップC10)。加算部210は、差分画像復号部201が取得した差分画像と、予測画像生成部204が取得した予測画像との和を取ることにより、復号画像を取得し(ステップC11)、復号画像データDDを画像復号装置200の出力として、出力する。この復号画像が後の復号で参照画像として用いられる場合には、加算部210は、この復号画像を参照画像メモリ205に格納する(ステップC12,13)。その画像に含まれるすべてのブロックのデコードが完了するまで、ステップC3に戻って処理を繰り返す。
なお、加算部210からの出力は、その画像より時間的に前に表示される画像が全て出力されてから、画像復号装置200より出力する。
Next, the
Note that the output from the adding
これにより、符号化対象ブロックとデプス値が一番近い値の隣接ブロック、すなわち、符号化対象ブロックと同一オブジェクトに属している可能性が最も高い隣接ブロックの参照情報が予測ベクトルとして選択されるため、予測ベクトルの精度が向上し、参照情報の符号化効率が向上する。 As a result, the adjacent block having the closest depth value to the encoding target block, that is, the reference information of the adjacent block most likely to belong to the same object as the encoding target block is selected as the prediction vector. The accuracy of the prediction vector is improved, and the encoding efficiency of the reference information is improved.
[第2の実施形態]
以下、図面を参照して、本発明の第2の実施形態について説明する。第2の実施形態では、隣接ブロックが対象ブロックに表示されているオブジェクトと同一のオブジェクトを表示している可能性を示す情報として、デプスマップのエッジ情報と隣接ブロックとその周辺のブロックとのデプス値の大小関係を用いた場合の予測ベクトルの生成方法について説明する。
[Second Embodiment]
The second embodiment of the present invention will be described below with reference to the drawings. In the second embodiment, as information indicating the possibility that the adjacent block displays the same object as the object displayed in the target block, the edge information of the depth map and the depth of the adjacent block and its surrounding blocks are displayed. A method of generating a prediction vector when using a magnitude relationship between values will be described.
本実施形態における画像符号化装置100aは、図1に示す画像符号化装置100と、予測ベクトル生成部108に変えて、予測ベクトル生成部108aを備える点が異なる。
また、本実施形態における画像復号装置200aは、図7に示す画像復号装置200と、予測ベクトル生成部108に変えて、予測ベクトル生成部108aを備える点が異なる。
図9は、本実施形態における予測ベクトル生成部108aの構成を示す概略ブロック図である。
The image encoding device 100a in this embodiment is different from the
Also, the image decoding device 200a in the present embodiment is different from the
FIG. 9 is a schematic block diagram illustrating the configuration of the prediction
図9に示すように、予測ベクトル108aは、エッジ検出部401と、ブロック間相関性判定部402と、予測ベクトル算出部109aとを備える。予測ベクトル算出部109aは、隣接ブロック参照情報判定部302と、予測ベクトル候補判定部403と、中央値による予測ベクトル生成部404を備える。エッジ検出部401は、デプスマップ中の隣接ブロックに対応する領域に対して、エッジ検出を行なうことで、符号化対象ブロックと隣接ブロックとの相関性を判定する。ブロック間相関性判定部402は、デプスマップ中の隣接ブロックに対応する領域と、該隣接ブロックの周辺ブロックに対応する領域との大小関係に基づき、符号化対象ブロックと隣接ブロックとの相関性を判定する。
As shown in FIG. 9, the
隣接ブロック参照情報判定部302は、図3における隣接ブロック参照情報判定部302と同様である。予測ベクトル候補判定部403は、エッジ検出部401によるエッジ検出の結果と、ブロック間相関性判定部402による判定結果とを併せて、隣接ブロックと符号化対象ブロックとの相関性を表す情報とし、前記情報に基づき、隣接ブロック参照情報判定部302による判定結果の中から、予測ベクトルの候補となる参照情報を判定する。
The adjacent block reference
図10は、本実施形態における予測ベクトル生成部108aの動作を説明するフローチャートである。このフローチャート、図5および図11を用いて、一つの符号化対象ブロックの予測ベクトルを生成する方法の説明をする。図11に示すデプスマップ702は、図6に示すデプスマップ702と同じものであり、図5に示す画像701に対応するデプスマップである。符号707は、符号対象ブロックに対応する領域であり、符号708、709、710は、隣接ブロックに対応する領域である。また、隣接ブロックに対応する領域708の左側の矩形801、領域709の上側の矩形802、領域710の右上の矩形803は、隣接ブロックの周辺ブロックに対応する領域である。なお、周辺ブロックとは、隣接ブロックを基準として符号化対象ブロックと対称な位置にあるブロックである。
FIG. 10 is a flowchart for explaining the operation of the prediction
まず、エッジ検出部401およびブロック間相関性判定部402は、入力として符号化対象画像701に対応するデプスマップ702を受け取る(ステップD1)。なお、このステップD1は、符号化対象ブロック毎ではなく、1フレーム毎に行っても良い。そして、符号化対象ブロック703と各隣接ブロック704,705,706との相関性を示す情報としてデプスマップ702のエッジ情報を取得し、結果を出力する(ステップD2)。エッジの検出方法としては、例えばキャニーフィルタを用いるものや微分によるエッジ検出手法など、公知の方法を用いることができる。
First, the
次に、以下の処理(ステップD4からD9)を各隣接ブロックについて行う。まず、隣接ブロック参照情報判定部302は、第1の実施形態と同様に、当該隣接ブロックの参照画像が、符号化対象ブロックの参照画像と同一か否かの判定を行う(ステップD4)。同一でないと判定したときは(D4−No)、ステップD7に遷移する。同一であると判定したときは(D4−Yes)、ステップD5に遷移する。ステップD5では、予測ベクトル候補判定部403が、エッジ検出部401の出力結果を基に、当該隣接ブロックにエッジが含まれているかどうかを判定する。エッジが含まれていないと判定したときは(D5−No)、ステップD8に遷移し、予測ベクトル候補判定部403は、当該隣接ブロックの参照情報を予測ベクトルの候補に設定する。そして、ステップD9にて、全ての隣接ブロックについて、処理をしていれば、ステップD10に遷移し、未処理の隣接ブロックが有るときは、ステップD4に戻る。
Next, the following processing (steps D4 to D9) is performed for each adjacent block. First, the adjacent block reference
一方、ステップD5にて、エッジが含まれていると判定したときは(D5−Yes)、ステップD6に遷移する。ステップD6では、ブロック間相関性判定部402は、隣接ブロックとの相関性を示す情報を取得する。具体的には、以下の式(1)を用いて符号化対象ブロックと隣接ブロック(ブロックX)の相関性を判定する。
On the other hand, when it is determined in step D5 that an edge is included (D5-Yes), the process proceeds to step D6. In step D6, the inter-block
|Depth[符号化対象ブロック]−Depth[ブロックX]|<|Depth[ブロックX]−Depth[ブロックX’]|?相関性あり:相関性なし …(1)
ここで、Depth[ブロックα]は、デプスマップ中のブロックαに対応する領域の値の平均値を示し、|β|は、βの絶対値を示す。また、α?β:γは、式αが成立するときは、βであり、式αが成立しないときは、γであることを示す。
| Depth [Block to be encoded] −Depth [Block X] | <| Depth [Block X] −Depth [Block X ′] | Correlation: No correlation (1)
Here, Depth [block α] indicates an average value of values of regions corresponding to the block α in the depth map, and | β | indicates an absolute value of β. Also α? β: γ is β when the formula α is satisfied, and γ when the formula α is not satisfied.
また、式(1)において、ブロックX’は、ブロックXの周辺ブロックである。すなわち、図11の例では、Depth[符号化対象ブロック]は、領域707のデプス値の平均値である。ブロックXが、図5のブロック704のときは、Depth[ブロックX]は、領域708のデプス値の平均値であり、Depth[ブロックX’]は、領域801のデプス値の平均値である。また、ブロックXが、図5のブロック705のときは、Depth[ブロックX]は、領域709のデプス値の平均値であり、Depth[ブロックX’]は、領域802のデプス値の平均値である。また、ブロックXが図5のブロック706のときは、Depth[ブロックX]は、領域710のデプス値の平均値であり、Depth[ブロックX’]は、領域803のデプス値の平均値である。
In Expression (1), the block X ′ is a peripheral block of the block X. That is, in the example of FIG. 11, Depth [encoding target block] is an average value of the depth values of the
このように、ブロック間相関性判定部402は、符号化対象ブロックに対応する領域707のデプス値の平均値と、領域708,709,710のうち、ステップD3〜D9のループで、当該ループの処理対象となっている隣接ブロックに対応する領域のデプス値の平均値との差分絶対値と、当該ループの処理対象となっている隣接ブロックに対応する領域のデプス値の平均値と、当該ループの処理対象となっている隣接ブロックの周辺ブロックに対応する領域のデプス値の平均値との差分絶対値を比較する。そして、ブロック間相関性判定部402は、当該ループの処理対象となっている隣接ブロックについて、その大小関係によって符号化対象ブロックと該隣接ブロックの相関性があるかないかを判別する。
As described above, the inter-block
このステップD6における判別の結果、相関性があるときは(ステップD6−Yes)、上述のステップD8に遷移する。一方、このステップD6における判別の結果、相関性がないときは(ステップD6−No)、ステップD7に遷移する。
ステップD7では、予測ベクトル候補判定部403は、当該隣接ブロックの参照情報を、予測ベクトルの候補に設定せず、ステップD9に遷移する。そして、ステップD9では、上述のように、全ての隣接ブロックについて、処理をしていれば、ステップD10に遷移し、未処理の隣接ブロックが有るときは、ステップD4に戻る。
If the result of determination in step D6 is that there is a correlation (step D6-Yes), the process proceeds to step D8 described above. On the other hand, if the result of determination in step D6 is that there is no correlation (step D6-No), the process proceeds to step D7.
In step D7, the prediction vector
そして、ステップD10では、中央値による予測ベクトル生成部404が、入力として予測ベクトルの候補に設定された参照情報を0から3個受け取り、H.264/AVCと同様の方法で予測ベクトルを生成し出力する。具体的には、受け取った参照情報が3個の場合には、3個の参照情報から、水平成分及び垂直成分それぞれについて中央値を取りその値を予測ベクトルとし、2個の場合には、水平成分及び垂直成分が0の参照情報を加え参照情報を3個にし、参照情報を3個受け取った場合と同じ方法で予測ベクトルを生成し、1個の場合には、唯一入力として受けっとった参照情報を予測ベクトルとし、0個の場合には、予測ベクトルの水平成分及び垂直成分を0に設定する。
In step D10, the median prediction
上述のステップD6において、相関性があると判別したときに、ステップD8に遷移して、該隣接ブロックの参照情報を予測ベクトルに設定している。これは、その隣接ブロックにエッジが含まれている場合であっても、隣接ブロックの大部分が符号化対象ブロックと同一のオブジェクトに含まれていることも考えられ、その場合にはその隣接ブロックの参照情報を用いて予測ベクトルを生成した方が、予測ベクトルの精度が向上する可能性が高いからである。 When it is determined in step D6 that there is a correlation, the process proceeds to step D8, and the reference information of the adjacent block is set as a prediction vector. Even if the adjacent block contains an edge, it is possible that most of the adjacent block is included in the same object as the encoding target block. This is because it is more likely that the accuracy of the prediction vector is improved when the prediction vector is generated using the reference information.
そのため、上述のように、エッジが含まれている隣接ブロックに対しては、ブロック間相関性判定部402の出力である隣接ブロックと符号化対象ブロックとの相関性を示す情報が、相関性がある旨を示しているならば該隣接ブロックの参照情報を予測ベクトルの候補に設定し、相関性が無い旨を示しているならば該隣接ブロックの参照情報を予測ベクトルの候補に設定しない。
Therefore, as described above, for an adjacent block including an edge, information indicating the correlation between the adjacent block and the encoding target block, which is the output of the inter-block
このように、符号化対象ブロックと同一オブジェクト内に存在する可能性の高い隣接ブロックの参照情報のみを予測ベクトル生成時の候補とすることが出来るため、予測ベクトルの精度が向上し、参照情報の符号化効率が向上する。 In this way, only the reference information of an adjacent block that is likely to exist in the same object as the encoding target block can be used as a candidate when generating a prediction vector, so that the accuracy of the prediction vector is improved and the reference information Encoding efficiency is improved.
[第3の実施形態]
以下、図面を参照して、本発明の第3の実施形態について説明する。第3の実施形態では、符号化対象ブロックと隣接ブロックの相関性を表す情報を重みとした加重平均による予測ベクトルの生成方法について説明する。
本実施形態における画像符号化装置100bは、図1に示す画像符号化装置100と、予測ベクトル生成部108に変えて、予測ベクトル生成部108bを備える点が異なる。
また、本実施形態における画像復号装置200bは、図7に示す画像復号装置200と、予測ベクトル生成部108に変えて、予測ベクトル生成部108bを備える点が異なる。
[Third embodiment]
The third embodiment of the present invention will be described below with reference to the drawings. In the third embodiment, a method of generating a prediction vector by weighted average using information indicating the correlation between the encoding target block and adjacent blocks as a weight will be described.
The image encoding device 100b according to this embodiment is different from the
Also, the image decoding device 200b according to the present embodiment is different from the
図12は、本実施形態における予測ベクトル生成部108bの構成を示す概略ブロック図である。予測ベクトル生成部108は、符号化対象ブロックと隣接ブロックの相関性を表す情報を重みとした加重平均によって予測ベクトルを生成する。予測ベクトル生成部108bは、ブロック間相関性算出部301、予測ベクトル算出部109bを備える。予測ベクトル算出部109bは、隣接ブロック参照情報判定部302、加重平均による予測ベクトル生成部502を備える。ブロック間相関性算出部301および隣接ブロック参照情報判定部302は、図3におけるブロック間相関性算出部301および隣接ブロック参照情報判定部302と同様である。加重平均による予測ベクトル生成部502は、ブロック間相関性算出部301が算出した相関性に応じた重みを用いて、隣接ブロックの参照情報の加重平均を算出し、予測ベクトルとする。
FIG. 12 is a schematic block diagram illustrating a configuration of the prediction
図13は、本実施形態における予測ベクトル生成部108bの動作を説明するフローチャートである。このフローチャートおよび図5を用いて予測ベクトル生成方法の説明をする。まず、ブロック間相関性算出部301は、入力として画像701に対応するデプスマップ702を受け取る(ステップE1)。そして、ブロック間相関性算出部301は、デプスマップを用いて符号化対象ブロック703と隣接ブロック704,705,706の間の相関性を表す情報を算出し、出力する(ステップE2)。具体的な算出方法としては、例えばデプスマップ702上の符号化対象ブロックと同じ位置のブロック707のデプス値の平均値とその隣接ブロック708,709,710のデプス値の平均値の差分絶対値を算出し、出力する。なお、差分絶対値ではなく2乗誤差を算出し、出力してもよい。
FIG. 13 is a flowchart for explaining the operation of the prediction
次に処理を行う隣接ブロック参照情報判定部302は、第1の実施形態と同様に、各隣接ブロックについて、符号化対象ブロックと参照画像が同一か否かを判定し(E4)、同一であれば該隣接ブロックの参照情報を予測ベクトルの候補とし(E5)、同一でなければ該隣接ブロックの参照情報を予測ベクトルの候補から外す(E6)。次に、加重平均による予測ベクトル生成部502は、入力として隣接ブロック参照情報判定部302から予測ベクトルの候補とした隣接ブロックの参照情報を受け取り、ブロック間相関性算出部501から隣接ブロックと符号化対象ブロックとの相関性を表す情報を受け取る。そして、その相関性を表す情報の逆数を重みとした参照情報の加重平均を水平成分、垂直成分それぞれについて算出し、その算出結果を予測ベクトルに設定する(ステップE8)。
The adjacent block reference
これにより、符号化対象ブロックと同一オブジェクト内に存在する可能性の高い隣接ブロックに重きを置いた参照情報を取得出来るため、予測ベクトルの精度が向上し、参照情報の符号化効率が向上する。 This makes it possible to acquire reference information that places emphasis on adjacent blocks that are likely to exist in the same object as the encoding target block, thereby improving the accuracy of prediction vectors and improving the encoding efficiency of reference information.
なお、上述の各実施形態において、画像符号化装置および画像復号装置は、2視点の動画像を対象としているが、3視点以上の動画像や1視点の動画像、多視点の静止画像を対象にするようにしてもよい。ただし、1視点の動画像の場合は視差補償予測を、多視点の静止画像の場合はフレーム間動き補償予測を符号化モードとして選択することが出来ない。 In each of the above-described embodiments, the image encoding device and the image decoding device target two-viewpoint moving images, but target three-viewpoint moving images, one-viewpoint moving images, and multi-viewpoint still images. You may make it. However, the parallax compensation prediction cannot be selected as a coding mode in the case of a one-view video, and the inter-frame motion compensation prediction cannot be selected as a coding mode in the case of a multi-view still image.
以上の画像符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積装置として実現することができるのはもちろんのこと、ROMやフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。
そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
The above processing related to image encoding and decoding can be realized as a transmission and storage device using hardware, as well as firmware stored in ROM, flash memory, etc., and software such as a computer. Can also be realized.
The firmware program and software program can be recorded on a computer-readable recording medium, provided from a server through a wired or wireless network, or provided as a data broadcast of terrestrial or satellite digital broadcasting Is also possible.
The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and the design and the like within the scope of the present invention are also within the scope of the claims. include.
また、上述の各実施形態における画像符号化装置または画像復号装置の機能、または、これらの一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、これらの機能を実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。 In addition, the functions of the image encoding device or the image decoding device in each of the above-described embodiments, or a program for realizing a part of these functions are recorded on a computer-readable recording medium and recorded on the recording medium. These functions may be realized by reading the executed program into a computer system and executing the program. Here, the “computer system” includes an OS and hardware such as peripheral devices.
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like within a scope not departing from the gist of the present invention.
100、100a、100b…画像符号化装置
101…画像入力部
102…ブロックマッチング実施部
103…予測画像生成部
104…差分画像符号化部
105…差分画像復号部
106…参照画像メモリ
107…参照情報蓄積メモリ
108、108a、108b…予測ベクトル生成部
109、109a、109b…予測ベクトル算出部
110…差分参照情報符号化部
111…参照画像指定情報蓄積メモリ
112…参照画像選択部
113…参照画像指定情報符号化部
114…減算部
115、116…加算部
200、200a、200b…画像復号装置
201…差分画像復号部
202…差分参照情報復号部
203…参照画像指定情報復号部
204…予測画像生成部
205…参照画像メモリ
206…参照情報蓄積メモリ
209…参照画像指定情報蓄積メモリ
210、211…加算部
301…ブロック間相関性算出部
302…隣接ブロック参照情報判定部
303…隣接ブロック参照情報蓄積メモリ
304…予測ベクトル設定部
401…エッジ検出部
402…ブロック間相関性判定部
403…予測ベクトル候補判定部
404…中央値による予測ベクトル生成部
502…加重平均による予測ベクトル生成部
DESCRIPTION OF
Claims (9)
前記対象画像に対応する距離を表す情報と、前記対象ブロックに隣接するブロックの参照情報とを用いて、前記対象ブロックの予測ベクトルを生成する予測ベクトル生成ステップを有することを特徴とする予測ベクトル生成方法。 The target image to be encoded or decoded is obtained by dividing an image to be encoded or decoded into blocks, and applying an inter-frame motion prediction encoding method or a parallax compensation prediction encoding method to each of the blocks, thereby encoding or decoding the block. Used when encoding or decoding an image by generating a prediction image of the target block based on a reference image of the target block and reference information indicating a position of a region corresponding to the target block in the reference image; In a method for generating a prediction vector of reference information,
Prediction vector generation, comprising: a prediction vector generation step of generating a prediction vector of the target block using information representing a distance corresponding to the target image and reference information of a block adjacent to the target block Method.
前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップを有することを特徴とする画像符号化方法。 A target image to be encoded is divided into blocks, and for each of the blocks, a reference image used for predicting the target block is selected from a plurality of already encoded images, and the reference image in the reference image is selected. An image encoding method that generates a predicted image using reference information that specifies an area corresponding to a target block, and encodes an image by encoding a difference between the predicted image and the target block. ,
An image having a prediction vector generation step of generating a prediction vector of the target block using information representing a distance corresponding to the target image and reference information of a block adjacent to the target block Encoding method.
前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップを有することを特徴とする画像復号方法。 The entire target image to be decoded is divided into blocks, and for each of the blocks, a reference image used for predicting the target block is selected from a plurality of already decoded images, and the target in the reference image is selected. An image decoding method for generating a predicted image using reference information that specifies an area corresponding to a block of the image, and decoding an image by decoding a difference between the predicted image and the target block,
An image having a prediction vector generation step of generating a prediction vector of the target block using information representing a distance corresponding to the target image and reference information of a block adjacent to the target block Decryption method.
前記対象画像に対応する距離を表す情報と、前記対象ブロックに隣接するブロックの参照情報とを用いて、前記対象ブロックの予測ベクトルを生成すること
を特徴とする予測ベクトル生成装置。 The target image to be encoded or decoded is obtained by dividing an image to be encoded or decoded into blocks, and applying an inter-frame motion prediction encoding method or a parallax compensation prediction encoding method to each of the blocks, thereby encoding or decoding the block. Used when encoding or decoding an image by generating a prediction image of the target block based on a reference image of the target block and reference information indicating a position of a region corresponding to the target block in the reference image; A prediction vector generation device that generates a prediction vector of reference information,
A prediction vector generation device that generates a prediction vector of the target block using information representing a distance corresponding to the target image and reference information of a block adjacent to the target block.
前記対象画像に対応する距離を表す情報と、前記対象ブロックに隣接するブロックの参照情報とを用いて、前記対象ブロックの予測ベクトルを生成する予測ベクトル生成ステップ
を実行させるための予測ベクトル生成プログラム。 The target image to be encoded or decoded is obtained by dividing an image to be encoded or decoded into blocks, and applying an inter-frame motion prediction encoding method or a parallax compensation prediction encoding method to each of the blocks, thereby encoding or decoding the block. Used when encoding or decoding an image by generating a prediction image of the target block based on a reference image of the target block and reference information indicating a position of a region corresponding to the target block in the reference image; A computer of a prediction vector generation device that generates a prediction vector of reference information,
A prediction vector generation program for executing a prediction vector generation step of generating a prediction vector of the target block using information representing a distance corresponding to the target image and reference information of a block adjacent to the target block.
前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成すること
を特徴とする画像符号化装置。 A target image to be encoded is divided into blocks, and for each of the blocks, a reference image used for predicting the target block is selected from a plurality of already encoded images, and the reference image in the reference image is selected. An image encoding apparatus that generates a predicted image using reference information that specifies an area corresponding to a target block, and encodes an image by encoding a difference between the predicted image and the target block. ,
An image encoding apparatus, wherein a prediction vector of the target block is generated using information representing a distance corresponding to the target image and reference information of a block adjacent to the target block.
前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップ
を実行させるための画像符号化プログラム。 A target image to be encoded is divided into blocks, and for each of the blocks, a reference image used for predicting the target block is selected from a plurality of already encoded images, and the reference image in the reference image is selected. A computer of an image encoding device that generates a predicted image using reference information that specifies an area corresponding to a target block, and encodes a difference between the predicted image and the target block. ,
Image coding for executing a prediction vector generation step of generating a prediction vector of the target block using information representing a distance corresponding to the target image and reference information of a block adjacent to the target block program.
前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成すること
を特徴とする画像復号装置。 The entire target image to be decoded is divided into blocks, and for each of the blocks, a reference image used for predicting the target block is selected from a plurality of already decoded images, and the target in the reference image is selected. An image decoding device that generates a predicted image using reference information that specifies an area corresponding to a block of the image and decodes an image by decoding a difference between the predicted image and the target block,
An image decoding apparatus that generates a prediction vector of the target block using information representing a distance corresponding to the target image and reference information of a block adjacent to the target block.
前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップ
を実行させるための画像復号プログラム。 The entire target image to be decoded is divided into blocks, and for each of the blocks, a reference image used for predicting the target block is selected from a plurality of already decoded images, and the target in the reference image is selected. A computer of an image decoding apparatus that generates a predicted image using reference information that specifies an area corresponding to a block of the image and decodes a difference between the predicted image and the target block,
An image decoding program for executing a prediction vector generation step of generating a prediction vector of the target block using information representing a distance corresponding to the target image and reference information of a block adjacent to the target block .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012035461A JP2012124946A (en) | 2012-02-21 | 2012-02-21 | Prediction vector generating method, image encoding method, image decoding method, prediction vector generator, image encoder, image decoder, prediction vector generating program, image encoding program and image decoding program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012035461A JP2012124946A (en) | 2012-02-21 | 2012-02-21 | Prediction vector generating method, image encoding method, image decoding method, prediction vector generator, image encoder, image decoder, prediction vector generating program, image encoding program and image decoding program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010222189A Division JP4938884B2 (en) | 2010-09-30 | 2010-09-30 | Prediction vector generation method, image encoding method, image decoding method, prediction vector generation device, image encoding device, image decoding device, prediction vector generation program, image encoding program, and image decoding program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012124946A true JP2012124946A (en) | 2012-06-28 |
Family
ID=46505858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012035461A Pending JP2012124946A (en) | 2012-02-21 | 2012-02-21 | Prediction vector generating method, image encoding method, image decoding method, prediction vector generator, image encoder, image decoder, prediction vector generating program, image encoding program and image decoding program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012124946A (en) |
-
2012
- 2012-02-21 JP JP2012035461A patent/JP2012124946A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4938884B2 (en) | Prediction vector generation method, image encoding method, image decoding method, prediction vector generation device, image encoding device, image decoding device, prediction vector generation program, image encoding program, and image decoding program | |
JP6490203B2 (en) | Image prediction method and related apparatus | |
US9264691B2 (en) | Method and system for backward 3D-view synthesis prediction using neighboring blocks | |
KR102059066B1 (en) | Motion vector field coding method and decoding method, and coding and decoding apparatuses | |
CN104412597A (en) | Method and apparatus of unified disparity vector derivation for 3d video coding | |
CN104685882A (en) | Method for processing one or more videos of a 3D-scene | |
JPWO2012147621A1 (en) | Encoding apparatus and encoding method, and decoding apparatus and decoding method | |
JP6039178B2 (en) | Image encoding apparatus, image decoding apparatus, method and program thereof | |
JP2022173582A (en) | Image decoding method and apparatus based on motion prediction in sub-block unit in image coding system | |
CN114731428A (en) | Image encoding/decoding method and apparatus for performing PROF and method of transmitting bitstream | |
JPWO2015098948A1 (en) | Video encoding method, video decoding method, video encoding device, video decoding device, video encoding program, and video decoding program | |
KR101598855B1 (en) | Apparatus and Method for 3D video coding | |
US20230199175A1 (en) | Method and device for subpicture-based image encoding/decoding, and method for transmitting bitstream | |
JP2012124564A (en) | Multi-viewpoint image encoding method, multi-viewpoint image decoding method, multi-viewpoint image encoding apparatus, multi-viewpoint image decoding apparatus, and programs thereof | |
JP5926451B2 (en) | Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, and image decoding program | |
CN114208171A (en) | Image decoding method and apparatus for deriving weight index information for generating prediction samples | |
US20220224912A1 (en) | Image encoding/decoding method and device using affine tmvp, and method for transmitting bit stream | |
JPWO2015056712A1 (en) | Moving picture encoding method, moving picture decoding method, moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding program, and moving picture decoding program | |
JP2009164865A (en) | Video coding method, video decoding method, video coding apparatus, video decoding apparatus, programs therefor and computer-readable recording medium | |
JP2015128252A (en) | Prediction image generating method, prediction image generating device, prediction image generating program, and recording medium | |
JP6386466B2 (en) | Video encoding apparatus and method, and video decoding apparatus and method | |
JP5737383B2 (en) | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program | |
WO2012108315A1 (en) | Predicted information generating method, image encoding method, image decoding method, predicted information generating apparatus, predicted information generating program, image encoding apparatus, image encoding program, image decoding apparatus and image decoding program | |
JP2012124946A (en) | Prediction vector generating method, image encoding method, image decoding method, prediction vector generator, image encoder, image decoder, prediction vector generating program, image encoding program and image decoding program | |
JP6232117B2 (en) | Image encoding method, image decoding method, and recording medium |