JP2012222670A - Image encoder - Google Patents

Image encoder Download PDF

Info

Publication number
JP2012222670A
JP2012222670A JP2011087768A JP2011087768A JP2012222670A JP 2012222670 A JP2012222670 A JP 2012222670A JP 2011087768 A JP2011087768 A JP 2011087768A JP 2011087768 A JP2011087768 A JP 2011087768A JP 2012222670 A JP2012222670 A JP 2012222670A
Authority
JP
Japan
Prior art keywords
image data
imaging unit
parallax
main
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011087768A
Other languages
Japanese (ja)
Other versions
JP5794668B2 (en
Inventor
Kimio Shiozawa
公男 塩澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011087768A priority Critical patent/JP5794668B2/en
Publication of JP2012222670A publication Critical patent/JP2012222670A/en
Application granted granted Critical
Publication of JP5794668B2 publication Critical patent/JP5794668B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To efficiently encode a main image and a sub image of different parallaxes.SOLUTION: A main imaging unit (101) and a sub imaging unit (112) image the same object. An encoding unit (100) executes motion compensation prediction encoding of main image data from the main imaging unit (101). A parallax detection unit (113) detects the parallax from the main image data of the main imaging unit (101) and sub image data of the sub imaging unit (112). A parallax compensation unit (114) executes parallax compensation of local decode image data of a frame memory (110) according to the detected parallax, and stores parallax compensated image data in a frame memory (115). A motion compensation unit (111) generates predicted image data by motion-compensating the local decode image data for the main image data, and generates predicted image data by motion-compensating one of the local decode image data and the parallax compensated image data according to imaging conditions of the main imaging unit (101) and the sub imaging unit (112) for the sub image data.

Description

本発明は、画像符号化装置に関し、より具体的には、視差の異なる２つの画像を符号化する画像符号化装置に関する。   The present invention relates to an image encoding device, and more specifically to an image encoding device that encodes two images having different parallaxes.

右目用と左目用に視差の異なる２つの画像を、対応する目で観察するように構成することで、立体視を実現できる。そのような２つの画像（一方を主画像とし、他方を副画像とする）を符号化する方法として、主画像と副画像の視差補償のみを行い符号化する構成、副画像を動き補償符号化する構成及び両者を組み合わせる構成が知られている（特許文献１−３）。   Stereoscopic viewing can be realized by configuring two images with different parallaxes for the right eye and the left eye to be observed with the corresponding eyes. As a method for encoding such two images (one as a main image and the other as a sub image), the main image and the sub image are encoded by performing only the parallax compensation, and the sub image is motion compensation encoded. The structure which combines and the structure which combines both are known (patent documents 1-3).

特開平０２−０５０６８９号公報Japanese Patent Laid-Open No. 02-050689 特開平０７−２４０９４４号公報Japanese Patent Application Laid-Open No. 07-240944 特開平１０−０２８２７４号公報Japanese Patent Laid-Open No. 10-028274

従来の技術では、副画像の動き補償を行う際に、符号化対象の映像シーンに関わらず、主画像と副画像を用いて動き補償を行っており、処理が煩雑になる。   In the conventional technique, when motion compensation of a sub image is performed, motion compensation is performed using the main image and the sub image regardless of the video scene to be encoded, and the processing becomes complicated.

本発明は、視差の異なる主画像と副画像を効率良く符号化する画像符号化装置を提示することを目的とする。   An object of this invention is to show the image coding apparatus which encodes the main image and sub image with which parallax differs efficiently.

上記目的を達成するために、本発明に係る画像符号化装置は、同じ被写体を撮像する主撮像部及び副撮像部を有する撮像手段と、前記主撮像部から出力される主画像データを、予測画像データを使って動き補償予測符号化する符号化手段と、前記符号化手段により符号化された画像データを復号化し、ローカルデコード画像データを出力する復号化手段と、前記主撮像部と前記副撮像部との視差を検出する視差検出手段と、前記視差検出手段により検出される前記視差に従い、前記復号化手段の前記ローカルデコード画像を視差補償し、視差補償画像データを生成する視差補償手段と、前記主画像データの符号化に対しては、前記復号化手段のローカルデコード画像データを動き補償して前記予測画像データを生成し、前記副撮像部から出力される副画像データに対しては、前記主撮像部及び前記副撮像部から供給される撮像情報に従って前記復号化手段のローカルデコード画像データ又は前記視差補償画像データを選択して動き補償して前記予測画像データを生成する動き補償手段とを具備することを特徴とする。
また、上記目的を達成するために、本発明に係る他の画像符号化装置は、同じ被写体を撮像する主撮像部及び副撮像部を有する撮像手段と、前記被写体までの距離を検出する検出手段と、前記主撮像部から出力される主画像データを、予測画像データを使って動き補償予測符号化する符号化手段と、前記符号化手段により符号化された画像データを復号化し、ローカルデコード画像データを出力する復号化手段と、前記主撮像部と前記副撮像部との視差を検出する視差検出手段と、前記視差検出手段により検出される前記視差に従い、前記復号化手段の前記ローカルデコード画像を視差補償し、視差補償画像データを生成する視差補償手段と、前記主画像データの符号化に対しては、前記復号化手段のローカルデコード画像データを動き補償して前記予測画像データを生成し、前記副撮像部から出力される副画像データに対しては、前記検出手段によって検出される前記被写体までの距離に従って前記復号化手段のローカルデコード画像データ又は前記視差補償画像データを選択して動き補償して前記予測画像データを生成する動き補償手段
とを具備することを特徴とする。 In order to achieve the above object, an image coding apparatus according to the present invention predicts main image data output from the main image pickup unit and an image pickup unit having a main image pickup unit and a sub image pickup unit that pick up the same subject. Coding means for performing motion compensation predictive coding using image data, decoding means for decoding the image data encoded by the encoding means and outputting local decoded image data, the main imaging unit, and the sub image Parallax detection means for detecting parallax with the imaging unit; and parallax compensation means for generating parallax compensation image data by performing parallax compensation on the local decoded image of the decoding means according to the parallax detected by the parallax detection means. For the encoding of the main image data, motion prediction is performed on the locally decoded image data of the decoding unit to generate the predicted image data, which is output from the sub-imaging unit The sub-image data to be subjected to motion compensation by selecting local decoded image data or the parallax-compensated image data of the decoding means according to the imaging information supplied from the main imaging unit and the sub-imaging unit And motion compensation means for generating image data.
In order to achieve the above object, another image encoding device according to the present invention includes an imaging unit having a main imaging unit and a sub imaging unit that images the same subject, and a detection unit that detects a distance to the subject. Encoding the main image data output from the main imaging unit using motion-predictive prediction data using predicted image data; decoding the image data encoded by the encoding unit; Decoding means for outputting data, parallax detection means for detecting parallax between the main imaging section and the sub imaging section, and the local decoded image of the decoding means according to the parallax detected by the parallax detection means Parallax compensation means for generating parallax compensated image data, and for the encoding of the main image data, local decoding image data of the decoding means for motion compensation The predicted image data is generated, and for the sub-image data output from the sub-imaging unit, local decoding image data of the decoding unit or the parallax according to the distance to the subject detected by the detection unit And motion compensation means for selecting the compensated image data and performing motion compensation to generate the predicted image data.

本発明によれば、映像に応じて立体映像を効率的に符号化することができる。   According to the present invention, a stereoscopic video can be efficiently encoded according to the video.

本発明の一実施例の概略構成ブロック図である。It is a schematic block diagram of one Example of this invention. ２つの撮像部の配置と画像例である。It is arrangement | positioning and an example of an image of two imaging parts. 本実施例における動き補償の参照関係を示す模式図である。It is a schematic diagram which shows the reference relationship of the motion compensation in a present Example. 別の動き補償動作を説明する画像例である。It is an example of an image explaining another motion compensation operation. 別の動き補償動作における参照関係を示す模式図である。It is a schematic diagram which shows the reference relationship in another motion compensation operation | movement.

以下、図面を参照して、本発明の実施例を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図１は、本発明に係る画像符号化装置の一実施例の概略構成ブロック図を示す。主撮像部１０１と副撮像部１１２は、同じ被写体を異なる視差で撮像する。例えば、主撮像部１０１は右目に対応し、副撮像部１１２は左目に対応する。主撮像部１０１は、撮像で得られる主画像データを符号化部１００に供給し、主撮像部１０１のフォーカス情報を撮像情報処理部１１６に供給する。副撮像部１１２は、撮像で得られる副画像データを符号化部１００に供給し、副撮像部１１２のフォーカス情報を撮像情報処理部１１６に供給する。符号化部１００は、主画像データを動き補償予測符号化し、副画像データに対して、主画像データのローカルデコード画像データ又は当該ローカルデコード画像データを視差補償した画像データを使って動き補償予測符号化する。ローカルデコード画像とは、符号化部１００内で量子化後の画像データを復元して生成される局所復号画像である。   FIG. 1 shows a schematic block diagram of an embodiment of an image encoding apparatus according to the present invention. The main imaging unit 101 and the sub imaging unit 112 capture the same subject with different parallaxes. For example, the main imaging unit 101 corresponds to the right eye, and the sub imaging unit 112 corresponds to the left eye. The main imaging unit 101 supplies main image data obtained by imaging to the encoding unit 100, and supplies focus information of the main imaging unit 101 to the imaging information processing unit 116. The sub imaging unit 112 supplies sub image data obtained by imaging to the encoding unit 100 and supplies focus information of the sub imaging unit 112 to the imaging information processing unit 116. The encoding unit 100 performs motion compensation predictive encoding on the main image data, and uses the local decoded image data of the main image data or image data obtained by parallax compensation of the local decoded image data for the sub image data. Turn into. The local decoded image is a locally decoded image generated by restoring the quantized image data in the encoding unit 100.

撮像情報処理部１１６は、予め判っている主撮像部１０１及び副撮像部１１２の設置位置と、撮像する毎に変換するフォーカス情報から主撮像部１０１及び副撮像部１１２の視差ベクトルを算出し、その視差ベクトルの大きさに従い符号化部１００を制御する。具体的には、撮像情報処理部１１６は、主撮像部１０１及び副撮像部１１２から取得したフォーカス情報から主撮像部１０１及び副撮像部１１２から主被写体までの距離を算出する。そして、主撮像部１０１及び副撮像部１１２から主被写体までの距離と、主撮像部１０１及び副撮像部１１２の物理的位置とから、図２に示すように、視差ベクトルを算出する。図２（ａ）は、撮像部１０１，１１２及び主被写体２０２の位置関係を示す平面図を示す。図２（ｂ）は主画像を示し、図２（ｃ）は副画像を示す。Ｌは視差ベクトルを示す。各撮像部から主被写体までの距離が近い場合、図２（ｂ）と図２（ｃ）に示すように主画像と副画像に大きな差分があり、視差ベクトルが大きくなる。また、撮像情報処理部１１６は、絞り及び被写界深度等のフォーカス情報に関連する情報を用いても、視差ベクトルＬを算出できる。   The imaging information processing unit 116 calculates the disparity vectors of the main imaging unit 101 and the sub imaging unit 112 from the installation positions of the main imaging unit 101 and the sub imaging unit 112 that are known in advance and the focus information that is converted every time imaging is performed. The encoding unit 100 is controlled according to the magnitude of the disparity vector. Specifically, the imaging information processing unit 116 calculates the distances from the main imaging unit 101 and the sub imaging unit 112 to the main subject from the focus information acquired from the main imaging unit 101 and the sub imaging unit 112. Then, as shown in FIG. 2, a parallax vector is calculated from the distances from the main imaging unit 101 and the sub imaging unit 112 to the main subject and the physical positions of the main imaging unit 101 and the sub imaging unit 112. FIG. 2A is a plan view showing the positional relationship between the imaging units 101 and 112 and the main subject 202. FIG. 2B shows a main image, and FIG. 2C shows a sub image. L indicates a disparity vector. When the distance from each imaging unit to the main subject is short, as shown in FIGS. 2B and 2C, there is a large difference between the main image and the sub-image, and the parallax vector becomes large. The imaging information processing unit 116 can also calculate the parallax vector L using information related to focus information such as the aperture and the depth of field.

符号化部１００は、主撮像部１０１からの主画像データを、所定数の画素から構成される所定のブロック（マクロブロックと称す）の単位に画面内で行列状に分割し、減算器１０２に入力する。減算器１０２は、入力画像データから後述する予測画像データを減算し、得られる画像残差データを直交変換部１０３に出力する。直交変換部１０３は、減算器１０２からの画像残差データを直交変換（例えば、離散コサイン変換（ＤＣＴ））し、その変換係数（ＤＣＴ係数）データを量子化部１０４に出力する。量子化部１０４は、符号量制御部１０５からの量子化パラメータに従い変換係数データを量子化し、エントロピー符号化部１０６に出力する。   The encoding unit 100 divides the main image data from the main imaging unit 101 into a matrix form within a screen in units of a predetermined block (referred to as a macroblock) composed of a predetermined number of pixels, and the subtracter 102 input. The subtracter 102 subtracts predicted image data described later from the input image data, and outputs the obtained image residual data to the orthogonal transform unit 103. The orthogonal transform unit 103 performs orthogonal transform (for example, discrete cosine transform (DCT)) on the image residual data from the subtractor 102 and outputs the transform coefficient (DCT coefficient) data to the quantization unit 104. The quantization unit 104 quantizes the transform coefficient data according to the quantization parameter from the code amount control unit 105 and outputs the quantized coefficient data to the entropy encoding unit 106.

量子化部１０４で量子化された変換係数データ（量子化係数データ）は、予測画像データの生成にも使われる。そのために、逆量子化部１０７は、量子化部１０４から出力される量子化係数データを逆量子化する。逆直交変換部１０８は、逆量子化部１０７で逆量子化されて復元された変換係数データを逆直交変換し、画像残差データの復号データを出力する。加算器１０９は、逆直交変換部１０８からの画像残差データの復号データに予測画像データを加算する。加算器１０９の加算結果は、ローカルデコード画像データとしてフレームメモリ１１０に格納される。逆量子化部１０７、逆直交変換部１０８及び加算器１０９は、ローカルの復号化手段を構成する。   The transform coefficient data (quantized coefficient data) quantized by the quantization unit 104 is also used for generating predicted image data. For this purpose, the inverse quantization unit 107 inversely quantizes the quantized coefficient data output from the quantization unit 104. The inverse orthogonal transform unit 108 performs inverse orthogonal transform on the transform coefficient data restored by inverse quantization by the inverse quantization unit 107, and outputs decoded data of the image residual data. The adder 109 adds the predicted image data to the decoded image residual data from the inverse orthogonal transform unit 108. The addition result of the adder 109 is stored in the frame memory 110 as local decoded image data. The inverse quantization unit 107, the inverse orthogonal transform unit 108, and the adder 109 constitute a local decoding unit.

動き補償部１１１は、フレームメモリ１１０に保存されたローカルデコード画像データを用いてフレーム内予測処理及びフレーム間予測処理での予測画像データを生成する。フレーム間予測処理では、まずフレーム間での動きベクトルを検出し、検出した動きベクトルに基づいてフレーム間予測処理を行い、予測画像データを生成する。   The motion compensation unit 111 generates predicted image data in the intra-frame prediction process and the inter-frame prediction process using the local decoded image data stored in the frame memory 110. In the inter-frame prediction process, first, a motion vector between frames is detected, and an inter-frame prediction process is performed based on the detected motion vector to generate predicted image data.

副撮像部１１２は、撮像された副画像データを、マクロブロックに分割して視差検出部１１３に供給する。視差検出部１１３には、副画像データと同じタイミングの主撮像部１０１による主画像データも入力する。視差検出部１１３は、主画像データと副画像データの左右方向の差分を算出し、差分の絶対値和が最小となる値を視差ベクトルとして視差補償部１１４に出力する。撮像情報処理部１１６で算出される視差ベクトルを使用してもよいが、一般に、視差検出部１１３による視差ベクトルのほうが、精度が良い。   The sub imaging unit 112 divides the captured sub image data into macro blocks and supplies the macro blocks to the parallax detection unit 113. The parallax detection unit 113 also receives main image data from the main imaging unit 101 at the same timing as the sub-image data. The parallax detection unit 113 calculates a difference in the left-right direction between the main image data and the sub-image data, and outputs a value that minimizes the sum of absolute values of the differences to the parallax compensation unit 114 as a parallax vector. Although the parallax vector calculated by the imaging information processing unit 116 may be used, generally, the parallax vector by the parallax detection unit 113 is more accurate.

視差補償部１１４は、視差検出部１１３からの視差ベクトルに基づき、フレームメモリ１１０に記憶されるローカルデコード画像データに視差補償を行い、視差補償画像データをフレームメモリ１１５に出力して保存する。動き補償部１１１は、フレームメモリ１１０とフレームメモリ１１５に保存される画像データとを用いて、フレーム内予測処理及びフレーム間予測処理での、副画像のための予測画像データを生成する。   The parallax compensation unit 114 performs parallax compensation on the local decoded image data stored in the frame memory 110 based on the parallax vector from the parallax detection unit 113, and outputs and saves the parallax compensation image data to the frame memory 115. The motion compensation unit 111 uses the frame memory 110 and the image data stored in the frame memory 115 to generate predicted image data for the sub-image in the intra-frame prediction process and the inter-frame prediction process.

エントロピー符号化部１０６は、量子化部１０４からの量子化変換係数データをエントロピー符号化してストリームデータを生成し、ストリームバッファ１１７に供給する。ストリームバッファ１１７は、エントロピー符号化部１０６から出力される符号化データを蓄積し、目標ビットレートに従ったビットレートを出力する。また、ストリームバッファ１１７は、入力された符号化データ量をカウントして得られた発生符号量と、ストリームバッファ１１７のデータ占有量又は空き容量を示すバッファポジションを符号量制御部１０５に出力する。   The entropy coding unit 106 entropy codes the quantized transform coefficient data from the quantization unit 104 to generate stream data, and supplies the stream data to the stream buffer 117. The stream buffer 117 accumulates the encoded data output from the entropy encoding unit 106 and outputs a bit rate according to the target bit rate. Further, the stream buffer 117 outputs the generated code amount obtained by counting the input encoded data amount and the buffer position indicating the data occupation amount or free capacity of the stream buffer 117 to the code amount control unit 105.

符号量制御部１０５には、エントロピー符号化部１０６から出力されるストリームのビットレートと、ストリームバッファ１１７のバッファ容量が入力する。符号量制御部１０５は、これらの情報に従い、ストリームバッファ１１７のバッファ容量がオーバーフローもアンダーフローもしないように、各ピクチャの目標符号量と量子化パラメータを決定する。   The code amount control unit 105 receives the bit rate of the stream output from the entropy encoding unit 106 and the buffer capacity of the stream buffer 117. The code amount control unit 105 determines the target code amount and quantization parameter of each picture so that the buffer capacity of the stream buffer 117 does not overflow or underflow according to these pieces of information.

図３は、本実施例の動き補償動作を示す模式図である。一般的に知られているＨ．２６４符号化方式（ＭＰＥＧ４−ＡＶＣ）を例にして、符号化ピクチャは、Ｉピクチャ、Ｐピクチャ及びＢピクチャから構成される。Ｉピクチャは、画面内符号化（イントラ符号化）画像である。Ｐピクチャは、前方予測符号化（インター符号化）画像である。Ｂピクチャは前方及び／又は後方からの双方向予測符号化（インター符号化）画像である。   FIG. 3 is a schematic diagram showing the motion compensation operation of this embodiment. The generally known H.P. Using the H.264 encoding method (MPEG4-AVC) as an example, an encoded picture is composed of an I picture, a P picture, and a B picture. An I picture is an intra-coded (intra-coded) image. A P picture is a forward predictive encoded (inter-coded) image. A B picture is a bi-predictive encoded (inter-coded) image from the front and / or the rear.

本実施例では、理解を容易にするために、ＩピクチャとＰピクチャのみを用いて説明する。図３（ａ）は従来の符号化例であり、図３（ｂ）は本実施例の符号化例を示す。従来の符号化では、動き補償部は、副画像データの動き補償を行う際の参照画像として図３（ａ）に示すように、同じ時点の主画像のＰピクチャを参照する。他方、本実施例では、フォーカス情報から主被写体までの距離に応じて、すなわち、この距離から算出される視差ベクトルの大きさに応じて、参照元を切り替えるようにした。具体的に、図３（ｂ）に示すＰピクチャ３０１では、各撮像部から主被写体までの距離が所定値より近い、即ち、撮像情報処理部１１６により算出される視差ベクトルが所定のベクトル値以上になった状態とする。このとき、撮像情報処理部１１６は、主画像データからの動き補償ではなく、副画像データのみからの動き補償に切り替えるように動き補償部１１１を制御する。すなわち、主画像データのピクチャを参照した動き補償を禁止する。そして、動き補償部１１１は、以後のピクチャの参照元も副画像データとして、動き補償を行う。撮像情報処理部１１６は、フォーカス情報から算出した主被写体までの距離が前記所定値以上に遠くなった場合、そのピクチャ以降から図３（ａ）に示すような参照関係に戻して動き補償を行うように動き補償部１１１に指示する。   In this embodiment, in order to facilitate understanding, description will be made using only an I picture and a P picture. FIG. 3A shows a conventional encoding example, and FIG. 3B shows an encoding example of this embodiment. In the conventional coding, the motion compensation unit refers to the P picture of the main image at the same time as a reference image when performing motion compensation of the sub-image data, as shown in FIG. On the other hand, in this embodiment, the reference source is switched according to the distance from the focus information to the main subject, that is, according to the magnitude of the parallax vector calculated from this distance. Specifically, in the P picture 301 shown in FIG. 3B, the distance from each imaging unit to the main subject is closer than a predetermined value, that is, the parallax vector calculated by the imaging information processing unit 116 is equal to or greater than a predetermined vector value. Suppose that At this time, the imaging information processing unit 116 controls the motion compensation unit 111 so as to switch to motion compensation only from the sub-image data instead of motion compensation from the main image data. That is, motion compensation with reference to the picture of the main image data is prohibited. Then, the motion compensation unit 111 performs motion compensation using the subsequent picture reference sources as sub-image data. When the distance to the main subject calculated from the focus information is greater than or equal to the predetermined value, the imaging information processing unit 116 performs motion compensation by returning to the reference relationship as shown in FIG. The motion compensation unit 111 is instructed as follows.

以上説明したように、本実施例では、主被写体までの距離が近い（視差ベクトルが大きい）場合に、主画像データと副画像データの差が大きいと判断し、参照画像を副画像データのみに限定して副画像の動き補償を行う。こうすることで、主画像と副画像からなる立体視画像を効率的に符号化できる。   As described above, in this embodiment, when the distance to the main subject is short (the parallax vector is large), it is determined that the difference between the main image data and the sub image data is large, and the reference image is changed to only the sub image data. Limited motion compensation for sub-images. By doing so, it is possible to efficiently encode a stereoscopic image composed of a main image and a sub-image.

図１に示す構成で、顔情報、露出補正情報、被写界深度情報又は動き情報を用いて動き補償の参照画像を制御する動作を説明する。図４は、その動き補償動作を説明する模式図である。   An operation of controlling a reference image for motion compensation using face information, exposure correction information, depth of field information, or motion information in the configuration shown in FIG. 1 will be described. FIG. 4 is a schematic diagram for explaining the motion compensation operation.

図４（ａ）は、顔情報を用いて動き補償の参照画像を制御する場合の説明例である。撮像情報処理部１１６は、主撮像部１０１と副撮像部１１２の各撮影画像から顔領域を検出し、顔領域が大きい場合には主被写体が近いと判断する。このとき、撮像情報処理部１１６は、図３（ｂ）で説明したのと同様の参照関係で動き補償を行うように動き補償部１１１に指示する。   FIG. 4A is an explanatory example in the case of controlling a motion compensation reference image using face information. The imaging information processing unit 116 detects a face area from the captured images of the main imaging unit 101 and the sub imaging unit 112, and determines that the main subject is close when the face area is large. At this time, the imaging information processing unit 116 instructs the motion compensation unit 111 to perform motion compensation with the same reference relationship as described in FIG.

図４（ｂ）は、露出補正情報を用いて動き補償の参照画像を制御する場合の説明例である。太陽や光、主被写体の状況によって露出補正値が大きく異なる場合が考えられる。このような場合で、撮像情報処理部１１６は、主撮像部１０１と副撮像部１１２から得られた露出補正値の差が所定閾値より大きいとき、図３（ｂ）で示した参照関係で動き補償を行うように動き補償部１１１に指示する。   FIG. 4B is an explanatory example in the case of controlling a reference image for motion compensation using exposure correction information. It is conceivable that the exposure correction value varies greatly depending on the conditions of the sun, light, and main subject. In such a case, when the difference between the exposure correction values obtained from the main imaging unit 101 and the sub imaging unit 112 is greater than a predetermined threshold, the imaging information processing unit 116 moves according to the reference relationship illustrated in FIG. The motion compensation unit 111 is instructed to perform compensation.

図４（ｃ）は、動き情報を用いて動き補償の参照画像を制御する場合の説明例である。主被写体が大きく動いている場合である。撮像情報処理部１１６は、動いている主被写体自体の物理的な領域の大きさ、動きベクトルの大きさ及び動きの方向から、図５に示す参照方向５０１、５０２、５０３の中で最適な参照関係を選択する。そして、撮像情報処理部１１６は、選択した参照関係で動き補償を行うように、動き補償部１１１に指示する。参照方向５０１を選択するのは、例えば、動きは大きいが、全体的にランダムな方向に動きが発散している場合が考えられる。参照方向５０２を選択するのは、動きが大きく、方向も同一の方向を差している場合が考えられる。参照方向５０３を選択するのは、動きが大きく、各ピクチャ間で比較しても主被写体の位置が大きく異なる位に大きな動きである場合が考えられる。   FIG. 4C is an explanatory example of controlling a motion compensation reference image using motion information. This is a case where the main subject is moving greatly. The imaging information processing unit 116 determines the optimum reference in the reference directions 501, 502, and 503 shown in FIG. 5 from the size of the physical area of the moving main subject itself, the size of the motion vector, and the direction of motion. Select a relationship. Then, the imaging information processing unit 116 instructs the motion compensation unit 111 to perform motion compensation with the selected reference relationship. The reference direction 501 is selected, for example, when the movement is large but the movement diverges in a random direction as a whole. The reference direction 502 may be selected when the movement is large and the directions are the same. The reference direction 503 may be selected when the movement is large and the movement of the main subject is greatly different even when compared between the pictures.

以上説明したように、顔情報、露出補正情報又は動き情報を用いて、参照画像を限定して副画像の動き補償を行うことで、効率的に立体視画像を符号化できる。   As described above, the stereoscopic image can be efficiently encoded by performing motion compensation of the sub-image by limiting the reference image using the face information, the exposure correction information, or the motion information.

Claims (6)

同じ被写体を撮像する主撮像部及び副撮像部を有する撮像手段と、
前記主撮像部から出力される主画像データを、予測画像データを使って動き補償予測符号化する符号化手段と、
前記符号化手段により符号化された画像データを復号化し、ローカルデコード画像データを出力する復号化手段と、
前記主撮像部と前記副撮像部との視差を検出する視差検出手段と、
前記視差検出手段により検出される前記視差に従い、前記復号化手段の前記ローカルデコード画像を視差補償し、視差補償画像データを生成する視差補償手段と、
前記主画像データの符号化に対しては、前記復号化手段のローカルデコード画像データを動き補償して前記予測画像データを生成し、前記副撮像部から出力される副画像データに対しては、前記主撮像部及び前記副撮像部から供給される撮像情報に従って前記復号化手段のローカルデコード画像データ又は前記視差補償画像データを選択して動き補償して前記予測画像データを生成する動き補償手段
とを具備することを特徴とする画像符号化装置。 An imaging means having a main imaging unit and a sub imaging unit for imaging the same subject;
Encoding means for performing motion compensation prediction encoding of main image data output from the main imaging unit using predicted image data;
Decoding means for decoding the image data encoded by the encoding means and outputting local decoded image data;
Parallax detection means for detecting parallax between the main imaging unit and the sub imaging unit;
Parallax compensation means for generating parallax compensated image data by performing parallax compensation on the local decoded image of the decoding means according to the parallax detected by the parallax detection means;
For the encoding of the main image data, the predicted image data is generated by performing motion compensation on the locally decoded image data of the decoding means, and for the sub image data output from the sub imaging unit, Motion compensation means for selecting the locally decoded image data of the decoding means or the parallax compensation image data according to the imaging information supplied from the main imaging section and the sub imaging section, and generating the predicted image data by performing motion compensation An image encoding apparatus comprising: 前記撮像情報は、前記主撮像部及び前記副撮像部のフォーカス情報であることを特徴とする請求項１に記載の画像符号化装置。   The image coding apparatus according to claim 1, wherein the imaging information is focus information of the main imaging unit and the sub imaging unit. 前記撮像情報は、前記主画像データ及び前記副画像データに含まれる顔情報であることを特徴とする請求項１に記載の画像符号化装置。   The image coding apparatus according to claim 1, wherein the imaging information is face information included in the main image data and the sub image data. 前記撮像情報は、前記主撮像部及び前記副撮像部の露出補正情報であることを特徴とする請求項１に記載の画像符号化装置。   The image coding apparatus according to claim 1, wherein the imaging information is exposure correction information of the main imaging unit and the sub imaging unit. 前記撮像情報は、前記主撮像部及び前記副撮像部の被写体の動き情報であることを特徴とする請求項１に記載の画像符号化装置。   The image coding apparatus according to claim 1, wherein the imaging information is motion information of a subject of the main imaging unit and the sub imaging unit. 同じ被写体を撮像する主撮像部及び副撮像部を有する撮像手段と、
前記被写体までの距離を検出する検出手段と、
前記主撮像部から出力される主画像データを、予測画像データを使って動き補償予測符号化する符号化手段と、
前記符号化手段により符号化された画像データを復号化し、ローカルデコード画像データを出力する復号化手段と、
前記主撮像部と前記副撮像部との視差を検出する視差検出手段と、
前記視差検出手段により検出される前記視差に従い、前記復号化手段の前記ローカルデコード画像を視差補償し、視差補償画像データを生成する視差補償手段と、
前記主画像データの符号化に対しては、前記復号化手段のローカルデコード画像データを動き補償して前記予測画像データを生成し、前記副撮像部から出力される副画像データに対しては、前記検出手段によって検出される前記被写体までの距離に従って前記復号化手段のローカルデコード画像データ又は前記視差補償画像データを選択して動き補償して前記予測画像データを生成する動き補償手段
とを具備することを特徴とする画像符号化装置。
An imaging means having a main imaging unit and a sub imaging unit for imaging the same subject;
Detecting means for detecting a distance to the subject;
Encoding means for performing motion compensation prediction encoding of main image data output from the main imaging unit using predicted image data;
Decoding means for decoding the image data encoded by the encoding means and outputting local decoded image data;
Parallax detection means for detecting parallax between the main imaging unit and the sub imaging unit;
Parallax compensation means for generating parallax compensated image data by performing parallax compensation on the local decoded image of the decoding means according to the parallax detected by the parallax detection means;
For the encoding of the main image data, the predicted image data is generated by performing motion compensation on the locally decoded image data of the decoding means, and for the sub image data output from the sub imaging unit, Motion compensation means for selecting the locally decoded image data of the decoding means or the parallax compensation image data according to the distance to the subject detected by the detection means and performing motion compensation to generate the predicted image data. An image encoding apparatus characterized by that.
JP2011087768A 2011-04-11 2011-04-11 Image encoding device Expired - Fee Related JP5794668B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011087768A JP5794668B2 (en) 2011-04-11 2011-04-11 Image encoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011087768A JP5794668B2 (en) 2011-04-11 2011-04-11 Image encoding device

Publications (2)

Publication Number Publication Date
JP2012222670A true JP2012222670A (en) 2012-11-12
JP5794668B2 JP5794668B2 (en) 2015-10-14

Family

ID=47273699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011087768A Expired - Fee Related JP5794668B2 (en) 2011-04-11 2011-04-11 Image encoding device

Country Status (1)

Country Link
JP (1) JP5794668B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191394A (en) * 1996-12-24 1998-07-21 Sharp Corp Multi-view-point image coder
JPH11205819A (en) * 1998-01-08 1999-07-30 Oki Electric Ind Co Ltd Image coding method and image coder
JP2008271217A (en) * 2007-04-20 2008-11-06 Kddi Corp Multi-viewpoint video encoder
JP2011130030A (en) * 2009-12-15 2011-06-30 Panasonic Corp Image encoding method and image encoder

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191394A (en) * 1996-12-24 1998-07-21 Sharp Corp Multi-view-point image coder
JPH11205819A (en) * 1998-01-08 1999-07-30 Oki Electric Ind Co Ltd Image coding method and image coder
JP2008271217A (en) * 2007-04-20 2008-11-06 Kddi Corp Multi-viewpoint video encoder
JP2011130030A (en) * 2009-12-15 2011-06-30 Panasonic Corp Image encoding method and image encoder

Also Published As

Publication number Publication date
JP5794668B2 (en) 2015-10-14

Similar Documents

Publication Publication Date Title
JP2021168479A (en) Efficient multi-view coding using depth-map estimation and update
JP5268645B2 (en) Method for predicting disparity vector using camera parameter, device for encoding and decoding multi-view video using the method, and recording medium on which program for performing the method is recorded
KR100774296B1 (en) Method and apparatus for encoding and decoding motion vectors
CA2692250C (en) Video encoding and decoding methods using residual prediction, and corresponding apparatuses
JP4663792B2 (en) Apparatus and method for encoding and decoding multi-view video
US8817871B2 (en) Adaptive search range method for motion estimation and disparity estimation
WO2006073116A1 (en) Video encoding method and device, video decoding method and device, program thereof, and recording medium containing the program
JP2009505607A (en) Method and apparatus for encoding multi-view video
JP2012257198A (en) Stereoscopic image encoding apparatus, method therefor, and image pickup apparatus having stereoscopic image encoding apparatus
Ahmmed et al. Fisheye video coding using elastic motion compensated reference frames
WO2011114755A1 (en) Multi-view image encoding device
WO2014156648A1 (en) Method for encoding a plurality of input images and storage medium and device for storing program
JP2013115583A (en) Moving image encoder, control method of the same, and program
JP5395911B2 (en) Stereo image encoding apparatus and method
EP1929783A1 (en) Method of estimating disparity vector using camera parameters, apparatus for encoding and decoding multi-view picture using the disparity vectors estimation method, and computer-redadable recording medium storing a program for executing the method
JP4570159B2 (en) Multi-view video encoding method, apparatus, and program
JP2010050911A (en) Encoding apparatus
JP2009164865A (en) Video coding method, video decoding method, video coding apparatus, video decoding apparatus, programs therefor and computer-readable recording medium
KR101220097B1 (en) Multi-view distributed video codec and side information generation method on foreground segmentation
JP5794668B2 (en) Image encoding device
JP2011130030A (en) Image encoding method and image encoder
JP5871602B2 (en) Encoder
JP5171675B2 (en) Image processing apparatus and imaging apparatus equipped with the same
KR20140051789A (en) Methods for performing inter-view motion prediction in 3d video and methods for determining inter-view merging candidate
KR100774297B1 (en) Method and apparatus for decoding motion vectors

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150807

R151 Written notification of patent or utility model registration

Ref document number: 5794668

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03

LAPS Cancellation because of no payment of annual fees