JP2012212952A - Image processing system, image processing device, and image processing method - Google Patents
Image processing system, image processing device, and image processing method Download PDFInfo
- Publication number
- JP2012212952A JP2012212952A JP2011076190A JP2011076190A JP2012212952A JP 2012212952 A JP2012212952 A JP 2012212952A JP 2011076190 A JP2011076190 A JP 2011076190A JP 2011076190 A JP2011076190 A JP 2011076190A JP 2012212952 A JP2012212952 A JP 2012212952A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- viewpoint
- image processing
- operation mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本技術は、画像処理システム、画像処理装置、および画像処理方法に関し、特に、安価で多視点の画像を撮影することができるようにした画像処理システム、画像処理装置、および画像処理方法に関する。 The present technology relates to an image processing system, an image processing apparatus, and an image processing method, and more particularly, to an image processing system, an image processing apparatus, and an image processing method that are capable of capturing multi-viewpoint images at low cost.
従来、多視点の画像を撮影する撮影システムでは、例えば、視点ごとに同一の機能を有するカメラが設けられていた（例えば、特許文献１参照）。 Conventionally, in a photographing system for photographing multi-viewpoint images, for example, a camera having the same function is provided for each viewpoint (see, for example, Patent Document 1).
しかしながら、視点ごとに同一の機能を有するカメラが設けられる場合、視点数が多いと製造コストが高くなる。 However, when a camera having the same function is provided for each viewpoint, the manufacturing cost increases if the number of viewpoints is large.
本技術は、このような状況に鑑みてなされたものであり、安価で多視点の画像を撮影することができるようにするものである。 The present technology has been made in view of such a situation, and makes it possible to capture a multi-viewpoint image at low cost.
本技術の第１の側面の画像処理システムは、３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部と、動作モードを決定する動作モード決定部と、前記動作モード決定部により決定された前記動作モードを送信する送信部とを備える主の画像処理装置と、前記送信部により送信された前記動作モードを受信する受信部と、所定の１視点の画像を撮影する１視点撮影部と、前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部とを備える副の画像処理装置とを備える画像処理システムである。 The image processing system according to the first aspect of the present technology is determined by a two-viewpoint photographing unit that photographs two-viewpoint images constituting a 3D image, an operation mode determination unit that determines an operation mode, and the operation mode determination unit. A main image processing apparatus including a transmission unit that transmits the operation mode, a reception unit that receives the operation mode transmitted by the transmission unit, and a one-viewpoint imaging unit that captures a predetermined one-viewpoint image. And an auxiliary image processing device including a movement control unit that moves the one-viewpoint imaging unit according to the operation mode received by the reception unit.
本技術の第１の側面の画像処理方法は、本技術の第１の側面の画像処理システムに対応する。 The image processing method according to the first aspect of the present technology corresponds to the image processing system according to the first aspect of the present technology.
本技術の第１の側面においては、主の画像処理装置により、３Ｄ画像を構成する２視点の画像が撮影され、動作モードが決定され、決定された前記動作モードが送信される。また、副の画像処理装置により、送信された前記動作モードが受信され、所定の１視点の画像が撮影され、受信された前記動作モードに応じて、前記所定の１視点の画像を撮影する１視点撮影部が移動される。 In the first aspect of the present technology, images of two viewpoints constituting a 3D image are taken by the main image processing apparatus, an operation mode is determined, and the determined operation mode is transmitted. The sub image processing apparatus receives the transmitted operation mode, captures a predetermined one viewpoint image, and captures the predetermined one viewpoint image according to the received operation mode. The viewpoint photographing unit is moved.
本技術の第２の側面の画像処理装置は、３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部と、動作モードを決定する動作モード決定部と、前記動作モード決定部により決定された前記動作モードを送信する送信部とを備える画像処理装置である。 The image processing device according to the second aspect of the present technology is determined by a two-viewpoint photographing unit that captures two viewpoint images constituting a 3D image, an operation mode determination unit that determines an operation mode, and the operation mode determination unit. In addition, the image processing apparatus includes a transmission unit that transmits the operation mode.
本技術の第２の側面においては、３Ｄ画像を構成する２視点の画像が撮影され、動作モードが決定され、決定された前記動作モードが送信される。 In the second aspect of the present technology, images of two viewpoints constituting a 3D image are captured, an operation mode is determined, and the determined operation mode is transmitted.
本技術の第３の側面の画像処理装置は、動作モードを受信する受信部と、所定の１視点の画像を撮影する１視点撮影部と、前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部とを備える画像処理装置である。 An image processing apparatus according to a third aspect of the present technology includes a receiving unit that receives an operation mode, a one-viewpoint shooting unit that captures a predetermined one-viewpoint image, and the operation mode received by the receiving unit. An image processing apparatus comprising: a movement control unit that moves the one-viewpoint imaging unit.
本技術の第３の側面においては、動作モードが受信され、所定の１視点の画像が撮影され、前記動作モードに応じて前記所定の１視点の画像を撮影する１視点撮影部が移動される。 In the third aspect of the present technology, an operation mode is received, an image of a predetermined one viewpoint is captured, and a one-viewpoint imaging unit that captures the image of the predetermined one viewpoint is moved according to the operation mode. .
なお、第１の側面の画像処理システム並びに第２および第３の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。 The image processing system according to the first aspect and the image processing apparatuses according to the second and third aspects can be realized by causing a computer to execute a program.
また、第１の側面の画像処理システム並びに第２および第３の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。 In order to realize the image processing system according to the first aspect and the image processing apparatuses according to the second and third aspects, a program to be executed by a computer is transmitted via a transmission medium or recorded on a recording medium. Can be recorded and provided.
本技術の第１の側面によれば、安価で多視点の画像を撮影することができる。 According to the first aspect of the present technology, it is possible to capture a multi-viewpoint image at low cost.
本技術の第２の側面によれば、安価で多視点の画像を撮影することが可能であるように制御を行うことができる。 According to the second aspect of the present technology, it is possible to perform control so that a multi-viewpoint image can be taken at a low cost.
本技術の第３の側面によれば、安価で多視点の画像を撮影することが可能であるように、所定の１視点の画像を撮影することができる。 According to the third aspect of the present technology, a predetermined one-viewpoint image can be captured so that a multi-viewpoint image can be captured at low cost.
＜一実施の形態＞
［画像処理システムの一実施の形態の外観構成例］
図１は、本技術を適用した画像処理システムの一実施の形態の外観構成例を示す図である。
<One embodiment>
[External configuration example of one embodiment of image processing system]
FIG. 1 is a diagram illustrating an external configuration example of an embodiment of an image processing system to which the present technology is applied.
なお、図１は、通常の使用状態における画像処理システム１０を側面から見た図である。以下では、図１の上下方向を垂直方向といい、左右方向を水平方向という。
FIG. 1 is a side view of the
図１の画像処理システム１０は、主カメラ装置１１と、副カメラ装置１２−１乃至１２−４とにより構成される。
The
主カメラ装置１１は、主の画像処理装置として機能し、左目用の画像（以下、左目画像という）と右目用の画像（以下、右目画像という）からなる３Ｄ画像を撮影する装置である。主カメラ装置１１は、左目画像を撮影する左目カメラ１１−１、右目画像を撮影する右目カメラ１１−２などにより構成される。
The
副カメラ装置１２−１乃至１２−４は、副の画像処理装置として機能し、主カメラ装置１１に対して自由に移動可能な装置である。また、副カメラ装置１２−１乃至１２−４は、主カメラ装置１１に比べて低機能であり、安価な装置である。なお、以下では、副カメラ装置１２−１乃至１２−４を特に区別する必要がない場合、副カメラ装置１２という。
The secondary camera devices 12-1 to 12-4 function as secondary image processing devices and are devices that can freely move with respect to the
［主カメラ装置の内部構成例］
図２は、図１の主カメラ装置１１の内部構成例を示すブロック図である。
[Example of internal configuration of main camera unit]
FIG. 2 is a block diagram showing an example of the internal configuration of the
図２に示すように、主カメラ装置１１は、入力部２１、動作モード決定部２２、送信部２３、撮影モード決定部２４、撮影部２５、画像処理部２６、および受信部２７により構成される。
As shown in FIG. 2, the
主カメラ装置１１の入力部２１は、ユーザからの指示を受け付け、その指示を動作モード決定部２２および撮影モード決定部２４に供給する。
The
動作モード決定部２２は、入力部２１から供給される指示に応じて、画像処理システム１０の動作モードを決定し、送信部２３に供給する。
The operation
送信部２３は、主カメラ装置１１の情報である主カメラ情報を、副カメラ装置１２に送信する。なお、主カメラ情報は、動作モード決定部２２からの動作モード、撮影モード決定部２４からの画像処理システム１０の撮影モード、撮影部２５からの主カメラ画像、画像処理部２６からの画像処理情報などにより構成される。
The
撮影モード決定部２４は、入力部２１から供給される指示に応じて、画像処理システム１０の撮影モードを決定し、送信部２３と撮影部２５に供給する。
The shooting
撮影部２５は、左目カメラ１１−１と右目カメラ１１−２により構成され、２視点撮影部として機能する。左目カメラ１１−１は、撮影モード決定部２４から供給される撮影モードに応じて、焦点距離、被写界深度等の撮影に関するパラメータである撮影パラメータの値を決定する。左目カメラ１１−１は、その撮影パラメータの値に基づいて所定の１視点の画像を撮影し、その結果得られる画像を左目画像とする。
The photographing
また、右目カメラ１１−２は、左目カメラ１１−１と同様に、撮影モードに応じて撮影パラメータの値を決定する。右目カメラ１１−２は、その撮影パラメータの値に基づいて、左目カメラ１１−１とは異なる所定の１視点の画像を撮影し、その結果得られる画像を右目画像とする。そして、撮影部２５は、左目画像と右目画像からなる３Ｄ画像を主カメラ画像として、送信部２３と画像処理部２６に供給する。
The right eye camera 11-2 determines the value of the shooting parameter according to the shooting mode, as with the left eye camera 11-1. The right-eye camera 11-2 captures an image of a predetermined one viewpoint different from the left-eye camera 11-1 based on the value of the capturing parameter, and sets the resulting image as the right-eye image. The photographing
画像処理部２６は、２視点画像処理部として機能し、撮影部２５から供給される主カメラ画像に対して、各種の画像処理を行う。このとき、画像処理部２６は、必要に応じて、受信部２７から供給される副カメラ装置１２の情報である副カメラ情報を用いる。画像処理部２６は、画像処理の結果得られる情報である画像処理情報を送信部２３に供給する。
The
受信部２７は、副カメラ装置１２から送信されてくる副カメラ情報を受信し、画像処理部２６に供給する。
The receiving unit 27 receives the sub camera information transmitted from the
［副カメラ装置の内部構成例］
図３は、図１の副カメラ装置１２の内部構成例を示すブロック図である。
[Internal configuration example of secondary camera device]
FIG. 3 is a block diagram illustrating an internal configuration example of the
図３に示すように、副カメラ装置１２は、撮影部４１、送信部４２、受信部４３、移動制御部４４、および画像処理部４５により構成される。
As shown in FIG. 3, the
副カメラ装置１２の撮影部４１は、受信部４３から供給される主カメラ情報に含まれる撮影モードに応じて撮影パラメータの値を決定する。撮影部４１は、１視点撮影部として機能し、撮影パラメータの値に基づいて所定の１視点の画像を撮影する。撮影部４１は、その結果得られる画像を副カメラ画像として送信部４２および画像処理部４５に供給する。
The photographing
送信部４２は、撮影部４１から供給される副カメラ画像、画像処理部４５から供給される画像処理後の副カメラ画像などを、副カメラ情報として、主カメラ装置１１に送信する。
The
受信部４３は、主カメラ装置１１から送信されてくる主カメラ情報を受信する。受信部４３は、主カメラ情報に含まれる撮影モードを撮影部４１に供給し、動作モード、画像処理情報などを移動制御部４４に供給する。また、受信部４３は、主カメラ情報に含まれる主カメラ画像、画像処理情報、および動作モードを画像処理部４５に供給する。
The receiving
移動制御部４４は、受信部４３から供給される動作モードに応じて、副カメラ装置１２の移動を制御する。このとき、移動制御部４４は、必要に応じて、受信部４３から供給される画像処理情報を用いる。
The
画像処理部４５は、１視点画像処理部として機能し、撮影部４１から供給される副カメラ画像に対して画像処理を行う。このとき、画像処理部４５は、必要に応じて、受信部４３から供給される主カメラ画像、画像処理情報、および動作モードを用いる。画像処理部４５は、画像処理後の副カメラ画像を送信部４２に供給する。
The
［動作モードの例］
図４は、図１の画像処理システム１０の動作モードの例を示す図である。
[Example of operation mode]
FIG. 4 is a diagram illustrating an example of an operation mode of the
図４に示すように、画像処理システム１０の動作モードとしては、超広角画像モード、注目点高解像度化モード、超多視点画像モードなどがある。
As shown in FIG. 4, the operation mode of the
超広角画像モードとは、水平方向に並ぶ多視点の画像を撮影し、各視点の画像を合成することにより広角の画像を生成するモードである。従って、超広角画像モード時には、副カメラ装置１２は、主カメラ装置１１と垂直方向の位置が略同一であり、水平方向の位置が所定の位置である位置を開始位置とし、その開始位置から副カメラ装置１２を水平方向に移動させる。これにより、画像処理システム１０自体を移動させずに、超広角画像を撮影することができる。
The super wide-angle image mode is a mode in which images of multiple viewpoints arranged in the horizontal direction are taken and a wide-angle image is generated by combining the images of the viewpoints. Therefore, in the super wide-angle image mode, the
注目点高解像度化モードとは、主カメラ装置１１における画像処理で検出された注目点を高解像度で撮影し、３Ｄ画像の他に、注目点の複数視点の画像を生成するモードである。従って、注目点高解像度化モード時には、副カメラ装置１２は、画像処理情報としての注目点の位置に基づいて、その注目点を撮影可能な位置に副カメラ装置１２を移動させる。これにより、ユーザの所望の領域の複数視点の画像を高解像度で撮影することができる。
The attention point high-resolution mode is a mode in which attention points detected by image processing in the
超多視点画像モードとは、左目画像の視点（以下、左視点という）および右目画像の視点（以下、右視点という）それぞれの上下の視点の画像を撮影し、水平方向および垂直方向の位置の異なる視点の画像からなる３Ｄ画像を生成するモードである。従って、超多視点画像モード時には、副カメラ装置１２は、副カメラ装置１２を水平方向および垂直方向に高速移動させる。
The super multi-viewpoint image mode captures images of the upper and lower viewpoints of the viewpoint of the left-eye image (hereinafter referred to as the left viewpoint) and the viewpoint of the right-eye image (hereinafter referred to as the right viewpoint). In this mode, a 3D image composed of images from different viewpoints is generated. Accordingly, in the super multi-viewpoint image mode, the
具体的には、副カメラ装置１２は、主カメラ装置１１と垂直方向の位置が略同一であり、水平方向の位置が所定の位置である位置を開始位置とし、その開始位置から副カメラ装置１２を水平方向に高速移動させることと、主カメラ装置１１と水平方向の位置が略同一であり、垂直方向の位置が所定の位置である位置を開始位置とし、その開始位置から副カメラ装置１２を垂直方向に高速移動させることを繰り返す。これにより、上下左右に首を移動しても裸眼で視認可能な自然な３Ｄ画像を撮影することができる。
Specifically, the
［各動作モード時の副カメラ装置の移動の説明］
図５は、超広角画像モード時の副カメラ装置１２の移動を説明する図である。
[Description of movement of sub camera device in each operation mode]
FIG. 5 is a diagram for explaining the movement of the
図５に示すように、画像処理システム１０の動作モードが超広角画像モードである場合、まず、副カメラ装置１２は、主カメラ装置１１と垂直方向の位置が略同一であり、水平方向の位置が所定の位置である開始位置に副カメラ装置１２を移動させる。その結果、図５の例では、副カメラ装置１２−１および副カメラ装置１２−２が、主カメラ装置１１の左側の上下に位置し、副カメラ装置１２−３および副カメラ装置１２−４が、主カメラ装置１１の右側の上下に位置する。次に、副カメラ装置１２は、開始位置から水平方向に副カメラ装置１２を移動させる。即ち、副カメラ装置１２−１および１２−２の視点が、左視点の左で左右方向に移動し、副カメラ装置１２−３および１２−４の視点が、右視点の右で左右方向に移動する。
As shown in FIG. 5, when the operation mode of the
図６は、注目点高解像度化モード時の副カメラ装置１２の移動を説明する図である。
FIG. 6 is a diagram for explaining the movement of the
図６に示すように、画像処理システム１０の動作モードが注目点高解像度化モードである場合、副カメラ装置１２は、主カメラ装置１１における画像処理で検出された注目点を撮影可能な位置に副カメラ装置１２を移動させる。
As shown in FIG. 6, when the operation mode of the
図７は、超多視点画像モード時の副カメラ装置１２の移動の第１の例を説明する図である。
FIG. 7 is a diagram illustrating a first example of movement of the
図７の例では、画像処理システム１０の動作モードが超多視点画像モードである場合、まず、副カメラ装置１２は、図５に示したように、開始位置から水平方向に副カメラ装置１２を移動させる。
In the example of FIG. 7, when the operation mode of the
次に、副カメラ装置１２は、主カメラ装置１１と水平方向の位置が略同一であり、垂直方向の位置が所定の位置である開始位置に副カメラ装置１２を移動させる。その結果、図７の例では、副カメラ装置１２−１および副カメラ装置１２−２の水平方向の位置が、主カメラ装置１１の左目カメラ１１−１の中心と同一になり、垂直方向の位置が左目カメラ１１−１の上または下になる。また、副カメラ装置１２−３および副カメラ装置１２−４の水平方向の位置が、右目カメラ１１−２の中心と同一になり、垂直方向の位置が右目カメラ１１−２の上または下になる。そして、副カメラ装置１２は、その開始位置から垂直方向に副カメラ装置１２を移動させる。即ち、副カメラ装置１２−１乃至１２−４の視点が、それぞれ、左視点の上、下、右視点の上、下で上下方向に移動する。
Next, the
図８は、超多視点画像モード時の副カメラ装置１２の移動の第２の例を説明する図である。
FIG. 8 is a diagram for explaining a second example of movement of the
図８の例では、画像処理システム１０の動作モードが超多視点画像モードである場合、まず、副カメラ装置１２は、図５に示した開始位置を水平方向の開始位置とし、その開始位置に副カメラ装置１２を移動させる。その後、図７に示した開始位置を垂直方向の開始位置とし、その開始位置に副カメラ装置１２を移動させる。次に、副カメラ装置１２は、水平方向の開始位置と水平方向の位置が異なる位置に副カメラ装置１２を移動させ、次に、垂直方向の開始位置と垂直方向の位置が異なる位置に副カメラ装置１２を移動させる。以降も同様にして、副カメラ装置１２は、主カメラ装置１１と垂直方向の位置が略同一である位置と、左目カメラ１１−１または右目カメラ１１−２と水平方向の位置が略同一である位置に交互に副カメラ装置１２を移動させる。
In the example of FIG. 8, when the operation mode of the
これにより、図７の場合のように、水平方向および垂直方向のいずれか一方の移動が行われている際に、他方の移動による副カメラ画像が長時間得られないことを防止することができる。即ち、図７の場合に比べて、連続して撮影される水平方向の撮影位置が異なる副カメラ画像どうしの時間間隔の最大値と、垂直方向の撮影位置が異なる副カメラ画像どうしの時間間隔の最大値を短くすることができる。その結果、例えば、副カメラ画像に対して、その副カメラ画像を用いた高精度のフレーム補間処理を行うことができる。 As a result, as in the case of FIG. 7, when one of the horizontal and vertical movements is performed, it is possible to prevent a secondary camera image from being obtained for a long time due to the other movement. . That is, compared with the case of FIG. 7, the maximum value of the time interval between the sub camera images with different horizontal shooting positions and the time interval between the sub camera images with different vertical shooting positions are compared. The maximum value can be shortened. As a result, for example, a highly accurate frame interpolation process using the sub camera image can be performed on the sub camera image.
［撮影モードの例］
図９は、図１の画像処理システム１０の撮影モードの例を示す図である。
[Example of shooting mode]
FIG. 9 is a diagram illustrating an example of a shooting mode of the
図９に示すように、画像処理システム１０の撮影モードとしては、動的被写界深度モードなどがある。
As shown in FIG. 9, the imaging mode of the
動的被写界深度モードとは、主カメラ装置１１および副カメラ装置１２それぞれの焦点距離および被写界深度が異なるように撮影するモードである。撮影モードが動的被写界深度モードである場合、例えば、主カメラ装置１１は、パンフォーカス撮影を行い、副カメラ装置１２は、テレ端やワイド端で撮影を行う。
The dynamic depth of field mode is a mode in which the
動的被写界深度モード時、画像処理システム１０は、フォーカスや被写界深度の異なる画像を撮影することができる。例えば、１眼レフカメラで撮影したときのようなボケ味のある画像と、コンパクトデジタルカメラで撮影したときのような被写界深度の深い画像を撮影することができる。
In the dynamic depth of field mode, the
［主カメラ装置の撮影処理の説明］
図１０は、図２の主カメラ装置１１の撮影処理を説明するフローチャートである。この撮影処理は、例えば、主カメラ装置１１の入力部２１が、ユーザからの撮影開始の指示を受け付けたとき、開始される。
[Explanation of shooting process of main camera unit]
FIG. 10 is a flowchart for explaining the photographing process of the
図１０のステップＳ１１において、動作モード決定部２２は、入力部２１を介して供給されるユーザからの指示に応じて、超広角画像モード、注目点高解像度化モード、超多視点画像モード等のいずれかに動作モードを決定し、送信部２３に供給する。
In step S11 of FIG. 10, the operation
ステップＳ１２において、撮影モード決定部２４は、入力部２１を介して供給されるユーザからの指示に応じて、動的被写界深度モード、通常モード等のいずれかに撮影モードを決定し、送信部２３に供給する。なお、通常モードとは、主カメラ装置１１および副カメラ装置１２の焦点距離と被写界深度が同一であるように撮影するモードである。
In step S <b> 12, the shooting
ステップＳ１３において、撮影部２５の左目カメラ１１−１および右目カメラ１１−２は、撮影モード決定部２４から供給される撮影モードに応じて撮影パラメータの値を設定する。
In step S <b> 13, the left eye camera 11-1 and the right eye camera 11-2 of the photographing
ステップＳ１４において、撮影部２５の左目カメラ１１−１および右目カメラ１１−２は、撮影パラメータに基づく撮影を開始する。左目カメラ１１−１および右目カメラ１１−２は、撮影の結果得られる左目画像と右目画像からなる３Ｄ画像を主カメラ画像として、送信部２３と画像処理部２６に供給する。
In step S14, the left eye camera 11-1 and the right eye camera 11-2 of the photographing
ステップＳ１５において、動作モード決定部２２は、動作モードが注目点高解像度化モードであるかどうかを判定する。
In step S15, the operation
ステップＳ１５で動作モードが注目点高解像度化モードであると判定された場合、ステップＳ１６において、画像処理部２６は、撮影部２５から供給される主カメラ画像の注目点を検出し、注目点の位置を表す情報を画像処理情報として送信部２３に供給する。そして処理はステップＳ１７に進む。
When it is determined in step S15 that the operation mode is the attention point high resolution mode, in step S16, the
一方、ステップＳ１５で動作モードが注目点高解像度化モードではないと判定された場合、処理はステップＳ１７に進む。 On the other hand, if it is determined in step S15 that the operation mode is not the attention point high resolution mode, the process proceeds to step S17.
ステップＳ１７において、送信部２３は、動作モード決定部２２からの動作モード、撮影モード決定部２４からの撮影モード、および画像処理部２６からの画像処理情報などを、主カメラ情報として副カメラ装置１２に送信する。
In step S <b> 17, the
ステップＳ１８において、入力部２１は、ユーザにより動作モードの変更が指示されたかどうかを判定する。入力部２１は、ユーザからの動作モードの変更指示を受け付けた場合、ステップＳ１８でユーザにより動作モードの変更が指示されたと判定して、その指示を動作モード決定部２２に供給し、処理をステップＳ１９に進める。
In step S18, the
ステップＳ１９において、動作モード決定部２２は、入力部２１から供給される動作モードの変更指示に応じて、動作モードを変更し、処理をステップＳ１５に戻す。
In step S19, the operation
一方、入力部２１は、ユーザからの動作モードの変更指示を受け付けていない場合、ステップＳ１９でユーザにより動作モードの変更が指示されていないと判定し、処理をステップＳ２０に進める。
On the other hand, if the
ステップＳ２０において、入力部２１は、ユーザにより撮影モードの変更が指示されたかどうかを判定する。入力部２１は、ユーザからの撮影モードの変更指示を受け付けた場合、ステップＳ２０でユーザにより撮影モードの変更が指示されたと判定して、その指示を撮影モード決定部２４に供給し、処理をステップＳ２１に進める。
In step S20, the
ステップＳ２１において、撮影モード決定部２４は、入力部２１から供給される撮影モードの変更の指示に応じて、撮影モードを変更し、送信部２３と撮影部２５に供給する。
In step S <b> 21, the shooting
ステップＳ２２において、撮影部２５の左目カメラ１１−１および右目カメラ１１−２は、ステップＳ２１で撮影モード決定部２４から供給される変更後の撮影モードに応じて撮影パラメータの値を変更する。そして、処理はステップＳ１５に戻り、以降の処理が繰り返される。
In step S22, the left-eye camera 11-1 and the right-eye camera 11-2 of the photographing
一方、入力部２１は、ユーザからの撮影モードの変更指示を受け付けていない場合、ステップＳ２０でユーザにより撮影モードの変更が指示されていないと判定し、処理をステップＳ２３に進める。
On the other hand, when the
ステップＳ２３において、入力部２１は、撮影を終了するかどうか、即ちユーザからの撮影終了の指示を受け付けたかどうかを判定する。ステップＳ２４で撮影を終了しないと判定された場合、処理はステップＳ１５に戻り、撮影を終了すると判定されるまで、ステップＳ１５乃至Ｓ２３の処理が繰り返される。
In step S <b> 23, the
ステップＳ２３で撮影を終了すると判定された場合、ステップＳ２４において、撮影部２５の左目カメラ１１−１と右目カメラ１１−２は、ステップＳ１４で開始された撮影を停止する。また、送信部２３は、撮影の終了指令を副カメラ装置１２に送信する。そして撮影処理は終了する。
If it is determined in step S23 that the shooting is to be ended, in step S24, the left eye camera 11-1 and the right eye camera 11-2 of the
［副カメラ装置の撮影処理の説明］
図１１は、図３の副カメラ装置１２の撮影処理を説明するフローチャートである。この撮影処理は、例えば、主カメラ装置１１から主カメラ情報が送信されてきたとき、開始される。
[Explanation of shooting process of sub camera device]
FIG. 11 is a flowchart for describing a photographing process of the
図１１のステップＳ３１において、副カメラ装置１２の受信部４３は、主カメラ装置１１から主カメラ情報を受信する。受信部４３は、受信された動作モード、画像処理情報などを移動制御部４４に供給し、撮影モードを撮影部４１に供給する。
In step S <b> 31 of FIG. 11, the receiving
ステップＳ３２において、移動制御部４４は、受信部４３から供給される動作モードに応じた副カメラ装置１２の移動制御を開始する。このとき、動作モードが注目点高解像度化モードである場合には、移動制御部４４は、受信部４３から供給される画像処理情報としての注目点の位置を表す情報に基づいて、副カメラ装置１２の移動制御を行う。
In step S <b> 32, the
ステップＳ３３において、撮影部４１は、受信部４３から供給される撮影モードに応じて撮影パラメータの値を決定し、その撮影パラメータの値に基づく撮影を開始する。撮影の結果得られる副カメラ画像は、送信部４２を介して副カメラ情報として送信されるか、または、画像処理部４５と送信部４２を介して副カメラ情報として送信される。
In step S33, the photographing
ステップＳ３４において、移動制御部４４は、動作モードが変更されたかどうか、即ち、受信部４３により受信される動作モードが変更されたかどうかを判定する。ステップＳ３４で動作モードが変更されたと判定された場合、処理は、ステップＳ３５に進む。
In step S34, the
ステップＳ３５において、移動制御部４４は、変更後の動作モードに応じて移動制御を変更し、処理をステップＳ３４に戻す。
In step S35, the
一方、ステップＳ３４で動作モードが変更されていないと判定された場合、ステップＳ３６において、撮影モードが変更されたかどうか、即ち、受信部４３により受信される撮影モードが変更されたかどうかを判定する。
On the other hand, if it is determined in step S34 that the operation mode has not been changed, it is determined in step S36 whether or not the shooting mode has been changed, that is, whether or not the shooting mode received by the receiving
ステップＳ３６で撮影モードが変更されたと判定された場合、処理はステップＳ３７に進む。ステップＳ３７において、撮影部４１は、変更後の撮影モードに応じて撮影パラメータの値を変更し、処理をステップＳ３４に戻す。
If it is determined in step S36 that the shooting mode has been changed, the process proceeds to step S37. In step S37, the
一方、ステップＳ３６で撮影モードが変更されていないと判定された場合、ステップＳ３８において、撮影部４１は、撮影を終了するかどうか、即ち主カメラ装置１１から撮影の終了指令が送信されてきたかどうかを判定する。ステップＳ３８で撮影を終了すると判定されない場合、処理はステップＳ３４に戻り、撮影を終了すると判定されるまで、ステップＳ３４乃至Ｓ３８の処理が繰り返される。
On the other hand, when it is determined in step S36 that the shooting mode has not been changed, in step S38, the
ステップＳ３８で撮影を終了すると判定された場合、ステップＳ３９において、撮影部４１は、撮影を停止する。
If it is determined in step S38 that shooting is to be ended, in step S39, the
ステップＳ４０において、移動制御部４４は、副カメラ装置１２の移動制御を停止すし、処理を終了する。
In step S40, the
以上のように、画像処理システム１０では、主カメラ装置１１が動作モードを決定して送信し、副カメラ装置１２が主カメラ装置１１から送信されてくる動作モードに応じて１視点の画像を撮影する撮影部４１を移動させる。従って、撮影部４１において、動作モードに応じた複数視点の画像を撮影することができる。その結果、画像処理システム１０では、視点ごとにカメラが設けられる場合に比べて、安価で多視点の画像を撮影することができる。
As described above, in the
[副カメラ装置の画像処理の例]
図１２は、図３の副カメラ装置１２の画像処理部４５における画像処理の例を説明する図である。
[Example of image processing of secondary camera device]
FIG. 12 is a diagram illustrating an example of image processing in the
図１２に示すように、画像処理部４５における画像処理としては、例えば、フレームレート可変処理、第１のフレーム補間処理、第２のフレーム補間処理、動きボケ補償処理、解像度補間処理、色空間補間処理、符号化処理等がある。
As shown in FIG. 12, the image processing in the
フレームレート可変処理は、画像処理情報としての被写体や主カメラ装置１１の動き情報に基づいて、副カメラ画像のフレームレートを変更する処理である。例えば、フレームレート可変処理では、動き情報が比較的小さい場合、即ち被写体や主カメラ装置１１が略静止している場合、副カメラ画像のフレームレートが下げられる。また、動き情報が比較的大きい場合、即ち被写体や主カメラ装置１１に動きがある場合、副カメラ画像のフレームレートが上げられる。フレームレート可変処理により、副カメラ装置１２が、被写体や副カメラ装置１２の動き情報を検出する機能を有しない安価な装置である場合であっても、副カメラ画像のビットレートを削減することができる。
The frame rate variable process is a process of changing the frame rate of the sub camera image based on the subject as the image processing information and the motion information of the
第１のフレーム補間処理は、画像処理情報としての主カメラ画像の動きベクトルや主カメラ画像そのものを利用して、副カメラ画像を補間する処理である。これにより、副カメラ装置１２が、フレームレートの低い安価な装置である場合であっても、滑らかな副カメラ画像を生成することができる。
The first frame interpolation process is a process for interpolating the sub camera image using the motion vector of the main camera image as the image processing information and the main camera image itself. Thereby, even if the
第２のフレーム補間処理は、撮影時刻の異なる主カメラ画像を利用して、副カメラ画像を補間する処理である。これにより、副カメラ装置１２が、フレームレートの低い安価な装置である場合であっても、滑らかな副カメラ画像を生成することができる。
The second frame interpolation process is a process of interpolating the sub camera image using the main camera image having a different shooting time. Thereby, even if the
動きボケ補償処理は、画像処理情報としての主カメラ画像の動きボケ量に基づいて副カメラ画像の動きボケ補償を行う処理である。これにより、副カメラ装置１２のシャッタスピードが主カメラ装置１１に比べて遅い場合であっても、シャッタスピードの速い主カメラ装置１１の主カメラ画像から検出された動きボケ量に基づいて、副カメラ画像の動きボケを精度良く改善することができる。
The motion blur compensation process is a process of performing motion blur compensation of the sub camera image based on the motion blur amount of the main camera image as the image processing information. Thereby, even if the shutter speed of the
解像度補間処理は、主カメラ画像と動作モードを利用して副カメラ画像を高解像度化する処理である。これにより、副カメラ装置１２の撮影時の解像度を所望の解像度より低くし、ビットレートを削減することができる。
The resolution interpolation process is a process for increasing the resolution of the sub camera image using the main camera image and the operation mode. Thereby, the resolution at the time of imaging | photography of the
色空間補間処理は、色空間の広い主カメラ画像を利用して副カメラ画像の色空間を補間する処理である。例えば、色空間補間処理では、YCbCr422の主カメラ画像を用いてYCbCr420の副カメラ画像の色空間が補間され、YCbCr422の副カメラ画像が生成される。
これにより、撮影時の色空間を所望の色空間より狭くし、ビットレートを削減することができる。
The color space interpolation process is a process of interpolating the color space of the sub camera image using the main camera image having a wide color space. For example, in the color space interpolation process, the color space of the YCbCr420 secondary camera image is interpolated using the YCbCr422 primary camera image, and a YCbCr422 secondary camera image is generated.
Thereby, the color space at the time of photographing can be made narrower than the desired color space, and the bit rate can be reduced.
符号化処理は、主カメラ画像の符号化に関する特徴量を用いて副カメラ画像の符号化を行う処理である。なお、符号化に関する特徴量としては、例えば、フォーカス値や、画像処理情報としてのエッジ、シーンチェンジ、トランジション、注目領域などがある。この符号化処理により、副カメラ装置１２が符号化に関する特徴量を生成しなくて済むため、副カメラ装置１２の製造コストを削減することができる。
The encoding process is a process of encoding the sub camera image using the feature amount related to the encoding of the main camera image. Note that the feature amount related to encoding includes, for example, a focus value, an edge as an image processing information, a scene change, a transition, an attention area, and the like. With this encoding process, the
[超多視点画像処理部の構成例]
図１３は、動作モードが超多視点画像モードである場合に動作する、図３の画像処理部４５の一部を構成する超多視点画像処理部６０の構成例を示すブロック図である。
[Configuration example of super multi-viewpoint image processing unit]
FIG. 13 is a block diagram illustrating a configuration example of the super multi-view
図１３の超多視点画像処理部６０は、フレームメモリ６１、動きボケ補償部６２、補間部６３、フレームメモリ６４、補間フレームメモリ６５、および画像出力部６６により構成される。超多視点画像処理部６０は、超多視点画像モード時に動きボケ補償処理等を行う。
The super multi-view
具体的には、超多視点画像処理部６０のフレームメモリ６１には、撮影部４１からフレーム単位の副カメラ画像が供給され、保持される。
Specifically, the
動きボケ補償部６２は、フレームメモリ６１から副カメラ画像をフレーム単位で読み出す。動きボケ補償部６２は、受信部４３から供給される画像処理情報としての主カメラ画像の動きボケ量に基づいて、読み出された副カメラ画像に対して動きボケ補償処理を行う。動きボケ補償部６２は、動きボケ補償処理後のフレーム単位の副カメラ画像を補間部６３とフレームメモリ６４に供給する。
The motion blur compensation unit 62 reads the sub camera image from the
補間部６３は、動きボケ補償部６２から供給されるフレーム単位の副カメラ画像に対してフレーム補間処理を行う。具体的には、補間部６３は、動きボケ補償部６２からのフレーム単位の副カメラ画像と、そのフレームより１つ前のフレームの、フレームメモリ６４に記憶されている副カメラ画像とを用いて、両フレームの間の時刻のフレーム単位の副カメラ画像を補間する。補間部６３は、補間された副カメラ画像を補間フレームメモリ６５に供給する。
The
フレームメモリ６４は、動きボケ補償部６２から供給される動きボケ補償処理後のフレーム単位の副カメラ画像を保持する。補間フレームメモリ６５は、補間部６３から供給される、補間された副カメラ画像を保持する。
The frame memory 64 holds the sub-camera image for each frame after the motion blur compensation process supplied from the motion blur compensation unit 62. The interpolated
画像出力部６６は、フレームメモリ６４に保持されているフレーム単位の副カメラ画像と、補間フレームメモリ６５に保持されているフレーム単位の副カメラ画像を交互に送信部４２に出力する。これにより、送信部４２に入力される副カメラ画像のフレームレートは、撮影時のフレームレートの２倍になる。
The image output unit 66 alternately outputs the sub camera image in units of frames held in the frame memory 64 and the sub camera image in units of frames held in the
[超多視点画像処理部の処理の説明]
図１４は、図１３の超多視点画像処理部６０の超多視点画像処理を説明するフローチャートである。この超多視点画像処理は、例えば、撮影部４１からフレーム単位の副カメラ画像が供給されるとき、開始される。
[Description of super multi-viewpoint image processing unit]
FIG. 14 is a flowchart illustrating super multi-view image processing of the super multi-view
図１４のステップＳ５１において、超多視点画像処理部６０のフレームメモリ６１は、撮影部４１から供給される副カメラ画像を保持する。
In step S <b> 51 of FIG. 14, the
ステップＳ５２において、動きボケ補償部６２は、受信部４３から供給される画像処理情報としての動きボケ量に基づいて、フレームメモリ６１に記憶されている副カメラ画像の動きボケ補償処理を行う。動きボケ補償部６２は、動きボケ補償処理後の副カメラ画像を補間部６３とフレームメモリ６４に供給する。
In step S <b> 52, the motion blur compensation unit 62 performs motion blur compensation processing of the sub camera image stored in the
ステップＳ５３において、フレームメモリ６４は、動きボケ補償部６２から供給される動きボケ補償処理後の副カメラ画像を保持する。 In step S <b> 53, the frame memory 64 holds the sub-camera image after the motion blur compensation process supplied from the motion blur compensation unit 62.
ステップＳ５４において、補間部６３は、動きボケ補償部６２から供給される動きボケ補償処理後の副カメラ画像が先頭フレームの副カメラ画像であるかどうかを判定する。ステップＳ５４で動きボケ補償処理後の副カメラ画像が先頭フレームの副カメラ画像であると判定された場合、処理はステップＳ５５乃至Ｓ５７をスキップし、ステップＳ５８に進む。
In step S54, the
一方、ステップＳ５４で動きボケ補償処理後の副カメラ画像が先頭フレームの副カメラ画像ではないと判定された場合、処理はステップＳ５５に進む。 On the other hand, if it is determined in step S54 that the sub camera image after the motion blur compensation process is not the sub camera image of the first frame, the process proceeds to step S55.
ステップＳ５５において、補間部６３は、動きボケ補償部６２から供給されるフレーム単位の副カメラ画像と、そのフレームより１つ前のフレームの、フレームメモリ６４に記憶されている副カメラ画像とを用いて補間を行う。これにより、両フレームの間の時刻のフレーム単位の副カメラ画像が補間される。補間部６３は、補間された副カメラ画像を補間フレームメモリ６５に供給する。
In step S55, the
ステップＳ５６において、補間フレームメモリ６５は、補間部６３から供給される、補間された副カメラ画像を保持する。
In step S <b> 56, the
ステップＳ５７において、画像出力部６６は、補間フレームメモリ６５に保持されている補間された副カメラ画像を送信部４２に出力する。
In step S <b> 57, the image output unit 66 outputs the interpolated sub camera image held in the
ステップＳ５８において、画像出力部６６は、フレームメモリ６４に保持されている副カメラ画像を送信部４２に出力し、処理を終了する。
In step S58, the image output unit 66 outputs the sub camera image held in the frame memory 64 to the
[解像度補間処理部の構成例]
図１５は、図３の画像処理部４５の一部を構成する解像度補間処理部８０の構成例を示すブロック図である。
[Configuration example of resolution interpolation processing unit]
FIG. 15 is a block diagram illustrating a configuration example of the resolution
図１４の解像度補間処理部８０は、選択部８１および高解像度化部８２乃至８４により構成され、解像度補間処理を行う。
A resolution
具体的には、解像度補間処理部８０の選択部８１は、図３の受信部４３から供給される主カメラ画像と動作モードに基づいて、副カメラ画像に適した方法で解像度補間を行う高解像度化部８２乃至８４のいずれかを選択する。解像度補間処理部８０は、選択された高解像度化部８２乃至８４を示す選択情報を高解像度化部８２乃至８４に供給する。
Specifically, the
高解像度化部８２は、選択部８１から供給される選択情報が自分自身を示す場合、図３の撮影部４１から供給される副カメラ画像に対して、再構成型解像度補間を行う。再構成型解像度補間とは、前のフレームの処理結果を用いた数理的に最適なIIR（Infinite Impulse Response）処理により高解像度化する処理である。高解像度化部８２は、再構成型解像度補間後の副カメラ画像を図３の送信部４２に供給する。
When the selection information supplied from the
高解像度化部８３は、選択部８１から供給される選択情報が自分自身を示す場合、撮影部４１から供給される副カメラ画像に対して、学習型解像度補間を行う。学習型解像度補間とは、事前に学習により求められた係数を用いて高解像度化する処理である。なお、事前に行われる学習とは、学習型解像度補間前の副カメラ画像に対応する画像を生徒画像とし、学習型解像度補間後の副カメラ画像に対応する画像を教師画像とした学習であり、この学習により、生徒画像から教師画像を求めるための係数が求められる。高解像度化部８３は、学習型解像度補間後の副カメラ画像を送信部４２に供給する。
When the selection information supplied from the
高解像度化部８４は、選択部８１から供給される選択情報が自分自身を示す場合、撮影部４１から供給される副カメラ画像に対して、特徴モデル型解像度補間を行う。特徴モデル型解像度補間とは、処理対象の画像を、エッジ成分、テクスチャ成分等の成分に分解し、各成分を既知の特徴モデルに合わせて最適に高解像度化する処理である。高解像度化部８４は、特徴モデル型解像度補間後の副カメラ画像を送信部４２に供給する。
When the selection information supplied from the
[解像度補間処理部の処理の概略説明]
図１６は、図１５の解像度補間処理部８０の処理の概略を説明する図である。
[Outline of processing of resolution interpolation processing unit]
FIG. 16 is a diagram for explaining the outline of the processing of the resolution
図１６に示すように、副カメラ画像１２の撮影部４１により撮影された低解像度の副カメラ画像は、高解像度化部８２による再構成型解像度補間、高解像度化部８３による学習型解像度補間、または高解像度化部８４による特徴モデル型解像度補間により高解像度化される。
As shown in FIG. 16, the low-resolution sub-camera image captured by the
具体的には、例えば、動作モードが超多視点画像モードであり、副カメラ画像が３Ｄ画像を構成する所定の視点の画像である場合、副カメラ画像に対応する主カメラ画像が折り返し歪みを有する場合などには、再構成型解像度補間が行われる。 Specifically, for example, when the operation mode is the super multi-viewpoint image mode and the sub camera image is an image of a predetermined viewpoint constituting the 3D image, the main camera image corresponding to the sub camera image has aliasing distortion. In some cases, reconfigurable resolution interpolation is performed.
また、例えば、主カメラ画像の特徴が、学習型解像度補間における学習時に用いられた教師画像の特徴に近似する場合には、学習型解像度補間が行われる。 Further, for example, when the feature of the main camera image approximates the feature of the teacher image used during learning in learning-type resolution interpolation, learning-type resolution interpolation is performed.
さらに、例えば、主カメラ画像が、アニメーション、ＣＧ（Computer Graphics）、ゲーム用画像等のエッジを多く含む画像である場合には、特徴モデル型解像度補間が行われる。 Furthermore, for example, when the main camera image is an image including many edges such as an animation, CG (Computer Graphics), and a game image, feature model type resolution interpolation is performed.
[解像度補間処理部の説明]
図１７は、図１５の解像度補間処理部８０の解像度補間処理を説明するフローチャートである。この解像度補間処理は、例えば、解像度補間処理部８０に図３の撮影部４１から副カメラ画像が供給されたとき、開始される。
[Description of resolution interpolation processing unit]
FIG. 17 is a flowchart for explaining the resolution interpolation processing of the resolution
図１７のステップＳ７１において、解像度補間処理部８０の選択部８１は、受信部４３から供給される主カメラ画像と動作モードに基づいて、副カメラ画像に適した解像度補間処理を行う高解像度化部８２乃至８４のいずれかを選択する。解像度補間処理部８０は、選択された高解像度化部８２乃至８４を示す選択情報を高解像度化部８２乃至８４に供給する。
In step S71 of FIG. 17, the
ステップＳ７２において、高解像度化部８２は、選択部８１から供給される選択情報が高解像度化部８２を示す情報であるかどうかを判定する。ステップＳ７２で選択情報が高解像度化部８２を示す情報であると判定された場合、高解像度化部８２は、撮影部４１から供給される副カメラ画像に対して、再構成型解像度補間を行う。そして、高解像度化部８２は、再構成型解像度補間後の副カメラ画像を図３の送信部４２に供給し、処理を終了する。
In step S <b> 72, the
一方、ステップＳ７２で選択情報が高解像度化部８２を示す情報ではないと判定された場合、ステップＳ７４において、高解像度化部８３は、選択情報が高解像度化部８３を示す情報であるかどうかを判定する。
On the other hand, when it is determined in step S72 that the selection information is not information indicating the
ステップＳ７４で選択情報が高解像度化部８３を示す情報であると判定された場合、ステップＳ７５において、高解像度化部８３は、撮影部４１から供給される副カメラ画像に対して、学習型解像度補間を行う。そして、高解像度化部８３は、学習型解像度補間後の副カメラ画像を送信部４２に供給し、処理を終了する。
When it is determined in step S74 that the selection information is information indicating the
一方、ステップＳ７４で選択情報が高解像度化部８３を示す情報ではないと判定された場合、即ち選択情報が高解像度化部８４を示す情報である場合、処理はステップＳ７６に進む。
On the other hand, if it is determined in step S74 that the selection information is not information indicating the
ステップＳ７６において、高解像度化部８４は、撮影部４１から供給される副カメラ画像に対して、特徴モデル型解像度補間を行う。そして、高解像度化部８４は、特徴モデル型解像度補間後の副カメラ画像を送信部４２に供給し、処理を終了する。
In step S <b> 76, the
以上のように、解像度補間処理部８０では、主カメラ画像と動作モードに基づいて選択された、再構成型解像度補間、学習型解像度補間、または特徴モデル型解像度補間が、副カメラ画像に対して行われるので、精度良く高解像度化を行うことができる。
As described above, the resolution
[主カメラ装置の画像処理の例]
図１８は、図２の主カメラ装置１１の画像処理部２６における画像処理の例を説明する図である。
[Example of main camera device image processing]
FIG. 18 is a diagram illustrating an example of image processing in the
図１８に示すように、画像処理部２６における画像処理としては、例えば、手ぶれ補正処理、符号化処理等がある。
As shown in FIG. 18, image processing in the
手ぶれ補正処理は、主カメラ画像の手振れ補正を行い、副カメラ情報としての副カメラ画像を用いて、手振れ補正後の主カメラ画像の画枠付近の存在しない画素を補間する処理である。これにより、手振れ補正後の主カメラ画像の画質を高画質にすることができる。 The camera shake correction process is a process of performing camera shake correction of the main camera image and interpolating non-existing pixels near the image frame of the main camera image after camera shake correction using the sub camera image as the sub camera information. Thereby, the image quality of the main camera image after camera shake correction can be improved.
符号化処理は、副カメラ画像と主カメラ画像のGOPの位相をずらすように、副カメラ画像と主カメラ画像を符号化する処理である。これにより、副カメラ画像や主カメラ画像のGOPフリッカを軽減することができる。 The encoding process is a process of encoding the sub camera image and the main camera image so that the GOP phases of the sub camera image and the main camera image are shifted. Thereby, it is possible to reduce GOP flicker in the sub camera image and the main camera image.
[符号化処理部の構成例]
図１９は、図２の画像処理部２６の一部を構成する符号化処理部１００の構成例を示すブロック図である。
[Configuration example of encoding processing unit]
FIG. 19 is a block diagram illustrating a configuration example of the
図１９の符号化処理部１００は、A/D変換部１１１、画面並べ替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可逆符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、加算部１２０、デブロックフィルタ１２１、フレームメモリ１２２、イントラ予測部１２３、動き予測・補償部１２４、選択部１２５、およびレート制御部１２６により構成される。図１９の符号化処理部１００は、主カメラ画像の一方に対して、イントラ予測または時間方向のインター予測を行い、主カメラ画像の他方と副カメラ画像に対して、イントラ予測または時間方向と視差方向のインター予測を行うことにより、圧縮符号化を行う。なお、以下では、イントラ予測または時間方向のインター予測が行われる主カメラ画像の一方を、ベース主カメラ画像といい、イントラ予測または時間方向と視差方向のインター予測が行われる主カメラ画像の他方を、ノンベース主カメラ画像という。
The
具体的には、符号化処理部１００のA/D変換部１１１は、入力信号として入力されたフレーム単位の主カメラ画像および副カメラ画像をA/D変換し、画面並べ替えバッファ１１２に出力して記憶させる。画面並べ替えバッファ１１２は、記憶した表示の順番のフレーム単位の主カメラ画像および副カメラ画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替える。なお、このとき、主カメラ画像および副カメラ画像それぞれのGOPの位相がずれるように、GOPが設定される。画面並べ替えバッファ１１２は、並べ替え後の主カメラ画像および副カメラ画像を時刻ごとに順に、符号化対象の画像として、演算部１１３、イントラ予測部１２３、および動き予測・補償部１２４に出力する。
Specifically, the A /
演算部１１３は、選択部１２５から供給される予測画像と、画面並べ替えバッファ１１２から出力された符号化対象の画像の差分を演算する。具体的には、演算部１１３は、画面並べ替えバッファ１１２から出力された符号化対象の画像から、選択部１２５から供給される予測画像を減算する。演算部１１３は、減算の結果得られる画像を、残差情報として直交変換部１１４に出力する。なお、選択部１２５から予測画像が供給されない場合、演算部１１３は、画面並べ替えバッファ１１２から読み出された画像をそのまま残差情報として直交変換部１１４に出力する。
The
直交変換部１１４は、演算部１１３からの残差情報に対して離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その結果得られる係数を量子化部１１５に供給する。
The
量子化部１１５は、直交変換部１１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１１６に入力される。
The
可逆符号化部１１６は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）をイントラ予測部１２３から取得し、最適インター予測モードを示す情報（以下、インター予測モード情報という）、動きベクトル、参照画像を特定する情報などを動き予測・補償部１２４から取得する。
The
可逆符号化部１１６は、量子化部１１５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行い、その結果得られる情報を圧縮画像とする。また、可逆符号化部１１６は、イントラ予測モード情報、または、インター予測モード情報および動きベクトルなどを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。可逆符号化部１１６は、可逆符号化の結果得られるヘッダ情報が付加された圧縮画像を画像圧縮情報として蓄積バッファ１１７に供給し、蓄積させる。
The
蓄積バッファ１１７は、可逆符号化部１１６から供給される画像圧縮情報を、一時的に記憶し、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
The
また、量子化部１１５より出力された、量子化された係数は、逆量子化部１１８にも入力され、逆量子化された後、逆直交変換部１１９に供給される。
Further, the quantized coefficient output from the
逆直交変換部１１９は、逆量子化部１１８から供給される係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部１２０に供給する。
The inverse
加算部１２０は、逆直交変換部１１９から供給される復号対象の画像としての残差情報と、選択部１２５から供給される予測画像を加算して、局部的に復号された画像を得る。なお、選択部１２５から予測画像が供給されない場合、加算部１２０は、逆直交変換部１１９から供給される残差情報を局部的に復号された画像とする。加算部１２０は、局部的に復号された画像をデブロックフィルタ１２１に供給するとともに、参照画像としてイントラ予測部１２３に供給する。
The adding
デブロックフィルタ１２１は、加算部１２０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１２１は、その結果得られる画像をフレームメモリ１２２に供給し、蓄積させる。フレームメモリ１２２に蓄積された画像は、参照画像として動き予測・補償部１２４に出力される。
The
イントラ予測部１２３は、画面並べ替えバッファ１１２から読み出された符号化対象の画像と、加算部１２０から供給された参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測を行い、予測画像を生成する。
The
また、イントラ予測部１２３は、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部１２３は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部１２３は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部１２５に供給する。イントラ予測部１２３は、選択部１２５から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部１１６に供給する。
The
なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウェアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。 The cost function value is also referred to as RD (Rate Distortion) cost. It is calculated based on either the High Complexity mode or the Low Complexity mode as defined by JM (Joint Model) which is reference software in the H.264 / AVC format.
具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。 Specifically, when the High Complexity mode is employed as the cost function value calculation method, all the prediction modes that are candidates are subjected to lossless encoding, and are expressed by the following equation (1). A cost function value is calculated for each prediction mode.
Cost(Mode)=D＋λ・R ・・・（１） Cost (Mode) = D + λ ・ R (1)
Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。 D is a difference (distortion) between the original image and the decoded image, R is a generated code amount including up to the coefficient of orthogonal transform, and λ is a Lagrange multiplier given as a function of the quantization parameter QP.
一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（２）で表わされるコスト関数が各予測モードに対して算出される。 On the other hand, when the Low Complexity mode is adopted as a cost function value calculation method, a decoded image is generated and header bits such as information indicating the prediction mode are calculated for all candidate prediction modes. A cost function represented by the following equation (2) is calculated for each prediction mode.
Cost(Mode)=D＋QPtoQuant(QP)・Header_Bit ・・・（２） Cost (Mode) = D + QPtoQuant (QP) ・ Header_Bit (2)
Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。 D is a difference (distortion) between the original image and the decoded image, Header_Bit is a header bit for the prediction mode, and QPtoQuant is a function given as a function of the quantization parameter QP.
Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。なお、ここでは、コスト関数値の算出手法としてHigh Complexity モードが採用されるものとする。 In the Low Complexity mode, it is only necessary to generate a decoded image for all the prediction modes, and it is not necessary to perform lossless encoding. Here, it is assumed that the High Complexity mode is employed as a cost function value calculation method.
動き予測・補償部１２４は、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部１２４は、例えば、符号化対象がベース主カメラ画像のGOPの先頭以外の画像である場合、フレームメモリ１２２から、符号化対象と時刻の異なるベース主カメラ画像を参照画像として読み出す。一方、動き予測・補償部１２４は、例えば、符号化対象がノンベース主カメラ画像と副カメラ画像のGOPの先頭の画像である場合、フレームメモリ１２２から、符号化対象と同一の時刻のベース主カメラ画像を参照画像として読み出す。また、動き予測・補償部１２４は、例えば、符号化対象がノンベース主カメラ画像と副カメラ画像のGOPの先頭以外の画像である場合、フレームメモリ１２２から符号化対象と同一の時刻のベース主カメラ画像、および、異なる時刻かつ同一の視点の副カメラ画像を参照画像として読み出す。
The motion prediction /
そして、動き予測・補償部１２４は、画面並べ替えバッファ１１２から供給される符号化対象の画像と、フレームメモリ１２２から読み出される参照画像に基づいて、所定のブロックごとに、候補となる全てのインター予測モードの動きベクトルを検出する。動き予測・補償部１２４は、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。
Then, the motion prediction /
このとき、動き予測・補償部１２４は、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部１２４は、最適インター予測モードのコスト関数値と、対応する予測画像を選択部１２５に供給する。また、動き予測・補償部１２４は、選択部１２５から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトルや参照画像を特定する情報などを可逆符号化部１１６に出力する。
At this time, the motion prediction /
選択部１２５は、イントラ予測部１２３および動き予測・補償部１２４から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのいずれかを、最適予測モードに決定する。そして、選択部１２５は、最適予測モードの予測画像を、演算部１１３および加算部１２０に供給する。また、選択部１２５は、最適予測モードの予測画像の選択をイントラ予測部１２３または動き予測・補償部１２４に通知する。
Based on the cost function values supplied from the
レート制御部１２６は、蓄積バッファ１１７に蓄積された画像圧縮情報に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１１５の量子化動作のレートを制御する。
The
[第１の符号化処理の概略の説明]
図２０は、図１９の符号化処理部１００の符号化処理の概略を説明する図である。
[Overview of first encoding process]
FIG. 20 is a diagram for explaining the outline of the encoding process of the
図２０に示すように、図１９の符号化処理部１００の符号化処理では、主カメラ画像と副カメラ画像それぞれのGOPの位相がずらされる。従って、副カメラ画像が、時間方向のインター予測を行えないGOPの先頭の画像である場合、その副カメラ画像に対して、時間方向のインター予測を用いて符号化されるベース主カメラ画像のGOPの先頭以外の画像を参照画像として、動き予測・補償処理を行うことができる。即ち、GOPの先頭の副カメラ画像に対して、GOPの先頭ではないベース主カメラ画像を用いて視差方向の予測を行うことができる。その結果、GOPの先頭の副カメラ画像で発生するフリッカを軽減することができる。なお、図示は省略するが、ノンベース主カメラ画像についても、副カメラ画像と同様である。
As shown in FIG. 20, in the encoding process of the
［第１の符号化部の処理の説明］
図２１および図２２は、図１９の符号化処理部１００による符号化処理を説明するフローチャートである。この符号化処理は、例えば、入力信号としてフレーム単位の主カメラ画像や副カメラ画像が符号化処理部１００に入力されるたびに行われる。
[Description of Processing of First Encoding Unit]
21 and 22 are flowcharts for explaining the encoding process by the
図２１のステップＳ１１１において、符号化処理部１００のA/D変換部１１１は、入力信号として入力されたフレーム単位の主カメラ画像や副カメラ画像をA/D変換し、画面並べ替えバッファ１１２に出力して記憶させる。
In step S111 of FIG. 21, the A /
ステップＳ１１２において、画面並べ替えバッファ１１２は、記憶した表示の順番のフレーム単位の主カメラ画像や副カメラ画像を、GOP構造に応じて、符号化のための順番に並べ替える。なお、このとき、主カメラ画像および副カメラ画像それぞれのGOPの位相がずれるように、GOPが設定される。画面並べ替えバッファ１１２は、並べ替え後の主カメラ画像や副カメラ画像を、符号化対象の画像として、演算部１１３、イントラ予測部１２３、および動き予測・補償部１２４に出力する。
In step S112, the
なお、以下のステップＳ１１３乃至Ｓ１２９の処理は、例えばマクロブロック単位で行われる。但し、ベース主カメラ画像のGOPの先頭フレームの先頭マクロブロック等の処理時には、ステップＳ１１３乃至Ｓ１１９およびＳ１２７の処理は行われず、先頭フレームの画像が残差情報および局部的に復号された画像とされる。また、ベース主カメラ画像のGOPの先頭フレームの先頭以外のマクロブロック等の処理時には、ステップＳ１１４の処理が行われず、ステップＳ１１５において最適イントラ予測モードが最適予測モードに決定される。 Note that the processing in the following steps S113 to S129 is performed, for example, in units of macroblocks. However, at the time of processing the first macroblock of the first frame of the GOP of the base main camera image, the processing of steps S113 to S119 and S127 is not performed, and the image of the first frame is the residual information and the locally decoded image. The Further, when processing a macro block other than the head of the first frame of the GOP of the base main camera image, the process of step S114 is not performed, and the optimal intra prediction mode is determined as the optimal prediction mode in step S115.
ステップＳ１１３において、画面並べ替えバッファ１１２から読み出された符号化対象の画像と、加算部１２０から供給された参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測を行い、予測画像を生成する。また、イントラ予測部１２３は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部１２３は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部１２３は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部１２５に供給する。
In step S113, based on the encoding target image read from the
ステップＳ１１４において、動き予測・補償部１２４は、画面並べ替えバッファ１１２から読み出された符号化対象の画像と、フレームメモリ１２２から読み出された参照画像とに基づいて、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部１２４は、候補となる全てのインター予測モードに対してコスト関数値を算出する。そして、動き予測・補償部１２４は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。動き予測・補償部１２４は、最適インター予測モードで生成された予測画像、および、対応するコスト関数値を、選択部１２５に供給する。
In step S <b> 114, the motion prediction /
ステップＳ１１５において、選択部１２５は、イントラ予測部１２３および動き予測・補償部１２４から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、選択部１２５は、最適予測モードの予測画像を、演算部１１３および加算部１２０に供給する。
In step S115, the selection unit 125 minimizes the cost function value of the optimal intra prediction mode and the optimal inter prediction mode based on the cost function values supplied from the
ステップＳ１１６において、選択部１２５は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ１１６で最適予測モードが最適インター予測モードであると判定された場合、選択部１２５は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部１２４に通知する。これにより、動き予測・補償部１２４は、インター予測モード情報、対応する動きベクトルや参照画像を特定する情報などを可逆符号化部１１６に出力する。
In step S116, the selection unit 125 determines whether or not the optimal prediction mode is the optimal inter prediction mode. When it is determined in step S116 that the optimal prediction mode is the optimal inter prediction mode, the selection unit 125 notifies the motion prediction /
そして、ステップＳ１１７において、可逆符号化部１１６は、動き予測・補償部１２４から供給されるインター予測モード情報、動きベクトル、参照画像を特定する情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。そして、処理はステップＳ１１９に進む。
In step S117, the
一方、ステップＳ１１６で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、選択部１２５は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部１２３に通知する。これにより、イントラ予測部１２３は、イントラ予測モード情報を可逆符号化部１１６に供給する。
On the other hand, when it is determined in step S116 that the optimal prediction mode is not the optimal inter prediction mode, that is, when the optimal prediction mode is the optimal intra prediction mode, the selection unit 125 selects the prediction image generated in the optimal intra prediction mode. The selection is notified to the
そして、ステップＳ１１８において、可逆符号化部１１６は、イントラ予測部１２３から供給されるイントラ予測モード情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。そして、処理はステップＳ１１９に進む。
In step S118, the
ステップＳ１１９において、演算部１１３は、画面並べ替えバッファ１１２から供給される画像から、選択部１２５から供給される予測画像を減算する。演算部１１３は、減算の結果得られる画像を、残差情報として直交変換部１１４に出力する。
In step S119, the
ステップＳ１２０において、直交変換部１１４は、演算部１１３からの残差情報に対して直交変換を施し、その結果得られる係数を量子化部１１５に供給する。
In step S <b> 120, the
ステップＳ１２１において、量子化部１１５は、直交変換部１１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１１６と逆量子化部１１８に入力される。
In step S121, the
ステップＳ１２２において、可逆符号化部１１６は、量子化部１１５から供給される量子化された係数を可逆符号化し、その結果得られる情報を圧縮画像とする。そして、可逆符号化部１１６は、ステップＳ１１７またはＳ１１８の処理で生成されたヘッダ情報を圧縮画像に付加し、画像圧縮情報を生成する。
In step S122, the
図２１のステップＳ１２３において、可逆符号化部１１６は、画像圧縮情報を蓄積バッファ１１７に供給し、蓄積させる。
In step S123 of FIG. 21, the
ステップＳ１２４において、蓄積バッファ１１７は、蓄積されている画像圧縮情報を、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
In step S124, the
ステップＳ１２５において、逆量子化部１１８は、量子化部１１５から供給される量子化された係数を逆量子化する。
In step S125, the inverse quantization unit 118 inversely quantizes the quantized coefficient supplied from the
ステップＳ１２６において、逆直交変換部１１９は、逆量子化部１１８から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１２０に供給する。
In step S <b> 126, the inverse
ステップＳ１２７において、加算部１２０は、逆直交変換部１１９から供給される残差情報と、選択部１２５から供給される予測画像を加算し、局部的に復号された画像を得る。加算部１２０は、得られた画像をデブロックフィルタ１２１に供給するとともに、参照画像としてイントラ予測部１２３に供給する。
In step S127, the
ステップＳ１２８において、デブロックフィルタ１２１は、加算部１２０から供給される局部的に復号された画像に対してフィルタリングを行うことにより、ブロック歪を除去する。
In step S128, the
ステップＳ１２９において、デブロックフィルタ１２１は、フィルタリング後の画像をフレームメモリ１２２に供給し、蓄積させる。フレームメモリ１２２に蓄積された画像は、参照画像として動き予測・補償部１２４に出力される。そして、処理は終了する。
In step S129, the
[符号化処理部の他の構成例]
図２３は、図２の画像処理部２６の一部を構成する符号化処理部１００の他の構成例を示すブロック図である。
[Another configuration example of the encoding processing unit]
FIG. 23 is a block diagram illustrating another configuration example of the
図２３に示す構成のうち、図１９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。 Of the configurations shown in FIG. 23, the same configurations as those in FIG. 19 are denoted by the same reference numerals. The overlapping description will be omitted as appropriate.
図２３の符号化処理部１００の構成は、主に、動き予測・補償部１２４の代わりに動き予測・補償部１４１が設けられている点、および、フリッカ検出部１４２が新たに設けられている点が図１９の構成と異なる。図２３の符号化処理部１００は、GOPの先頭のノンベース主カメラ画像または副カメラ画像でフリッカの発生が予測される場合、そのノンベース主カメラ画像または副カメラ画像の1つ前のノンベース主カメラ画像または副カメラ画像に対して、ベース主カメラ画像を用いた視差方向の予測を行う。
The configuration of the
具体的には、図２３の符号化処理部１００の動き予測・補償部１４１は、フリッカ検出部１４２から供給される、フリッカの発生が予測されるかどうかを表すフリッカ情報に基づいて、候補となる全てのインター予測モードの動き予測・補償処理を行う。より詳細には、フリッカ情報が、フリッカの発生が予測されることを表す場合、動き予測・補償部１４１は、フレームメモリ１２２から、現在の符号化対象と同一時刻のベース主カメラ画像を参照画像として読み出す。一方、フリッカ情報が、フリッカの発生が予測されないことを表す場合、動き予測・補償部１４１は、フレームメモリ１２２から動き予測・補償部１２４と同様の参照画像を読み出す。
Specifically, the motion prediction /
そして、動き予測・補償部１４１は、動き予測・補償部１２４と同様に、画面並べ替えバッファ１１２から供給される符号化対象の画像と、フレームメモリ１２２から読み出される参照画像に基づいて、所定のブロックごとに、候補となる全てのインター予測モードの動きベクトルを検出する。動き予測・補償部１４１は、動き予測・補償部１２４と同様に、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。
Then, similarly to the motion prediction /
このとき、動き予測・補償部１４１は、動き予測・補償部１２４と同様に、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部１４１は、動き予測・補償部１２４と同様に、最適インター予測モードのコスト関数値と、対応する予測画像を選択部１２５に供給する。また、動き予測・補償部１４１は、動き予測・補償部１２４と同様に、選択部１２５から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトルや参照画像を特定する情報などを可逆符号化部１１６に出力する。
At this time, like the motion prediction /
フリッカ検出部１４２は、予測部として機能する。具体的には、フリッカ検出部１４２は、画面並べ替えバッファ１１２から供給される符号化対象の画像を保持する。フリッカ検出部１４２は、符号化対象の画像がGOPの終端の副カメラ画像である場合、保持されている、GOPの終端の副カメラ画像と、その副カメラ画像より前の同一視点の副カメラ画像を用いて、そのGOPの終端の副カメラ画像より１つ後のGOPの先頭の副カメラ画像におけるフリッカの発生を予測する。
The
例えば、フリッカ検出部１４２は、GOPの終端の副カメラ画像と、その副カメラ画像より前の同一視点の副カメラ画像を用いて動きを検出する。そして、その動きが比較的少ない場合、フリッカ検出部１４２は、そのGOPの終端の副カメラ画像より１つ後のGOPの先頭の副カメラ画像におけるフリッカの発生を予測する。同様に、フリッカ検出部１４２は、符号化対象の画像がGOPの終端のノンベース主カメラ画像である場合、フリッカの発生を予測する。フリッカ検出部１４２は、予測結果を表すフリッカ情報を、動き予測・補償部１４１に供給する。
For example, the
［第２の符号化処理の概略の説明］
図２４は、図２３の符号化処理部１００の符号化処理の概略を説明する図である。
[Description of Outline of Second Encoding Process]
FIG. 24 is a diagram for explaining the outline of the encoding process of the
図２４に示すように、図２３の符号化処理部１００の符号化処理では、図１９の符号化処理部１００の符号化処理と同様に、主カメラ画像と副カメラ画像それぞれのGOPの位相がずらされる。従って、GOPの先頭の副カメラ画像に対して、GOPの先頭ではないベース主カメラ画像を用いて視差方向の予測を行うことができる。
As shown in FIG. 24, in the encoding process of the
また、図２３の符号化処理部１００の符号化処理では、GOPの先頭の副カメラ画像においてフリッカの発生が予測される。そして、フリッカの発生が予測される場合、GOPの先頭の副カメラ画像より1つ前の副カメラ画像に対して、視差方向の予測が行われる。
In addition, in the encoding process of the
以上により、GOPの先頭の副カメラ画像、および、その副カメラ画像より1つ前の副カメラ画像の両方において、視差方向の予測による歪みが発生するので、GOPの先頭の副カメラ画像におけるフリッカをより軽減することができる。なお、図示は省略するが、ノンベース主カメラ画像についても、副カメラ画像と同様である。 As described above, since the distortion due to the prediction of the parallax direction occurs in both the sub camera image at the head of the GOP and the sub camera image immediately before the sub camera image, flicker in the sub camera image at the head of the GOP is reduced. It can be reduced more. Although not shown, the non-base main camera image is the same as the sub camera image.
［第２の符号化部の処理の説明］
図２３の符号化処理部１００の符号化処理は、動き予測・補償処理を除いて図２１および図２２の符号化処理と同様であるので、動き予測・補償処理についてのみ説明する。
[Description of Processing of Second Encoding Unit]
Since the encoding process of the
図２５は、図２３の符号化処理部１００の動き予測・補償処理の詳細を説明するフローチャートである。
FIG. 25 is a flowchart for explaining the details of the motion prediction / compensation processing of the
図２５のステップＳ１６１において、フリッカ検出部１４２は、符号化対象の画像がノンベース主カメラ画像または副カメラ画像であるかどうかを判定する。ステップＳ１６１で符号化対象の画像がノンベース主カメラ画像または副カメラ画像であると判定された場合、フリッカ検出部１４２は、画面並べ替えバッファ１１２から供給される符号化対象の画像を保持する。
In step S161 in FIG. 25, the
そして、ステップＳ１６２において、フリッカ検出部１４２は、符号化対象の画像がGOPの先頭のノンベース主カメラ画像または副カメラ画像であるかどうかを判定する。ステップＳ１６２で符号化対象の画像がGOPの先頭のノンベース主カメラ画像および副カメラ画像ではないと判定された場合、ステップＳ１６３において、フリッカ検出部１４２は、符号化対象の画像がGOPの終端のノンベース主カメラ画像または副カメラ画像であるかどうかを判定する。
In step S162, the
ステップＳ１６３で符号化対象の画像がGOPの終端のノンベース主カメラ画像または副カメラ画像であると判定された場合、フリッカ検出部１４２は、画面並べ替えバッファ１１２から供給される符号化対象の画像を保持し、処理をステップＳ１６４に進める。
When it is determined in step S163 that the encoding target image is a non-base main camera image or sub camera image at the end of the GOP, the
ステップＳ１６４において、フリッカ検出部１４２は、保持している符号化対象の画像と、その画像より１つ前の同一視点のノンベース主カメラ画像または副カメラ画像を用いて、符号化対象の画像より１つ後のGOPの先頭のノンベース主カメラ画像または副カメラ画像でフリッカが発生するかどうかを判定する。
In step S164, the
ステップＳ１６４でフリッカが発生すると判定された場合、フリッカ検出部１４２は、フリッカの発生が予測されることを表すフリッカ情報を動き予測・補償部１４１に供給し、処理をステップＳ１６５に進める。
If it is determined in step S164 that flicker occurs, the
一方、ステップＳ１６２で符号化対象の画像がGOPの先頭のノンベース主カメラ画像または副カメラ画像であると判定された場合、処理はステップＳ１６５に進む。 On the other hand, if it is determined in step S162 that the image to be encoded is the first non-base main camera image or sub camera image of the GOP, the process proceeds to step S165.
ステップＳ１６５において、動き予測・補償部１４１は、フレームメモリ１２２から符号化対象の画像と同一時刻のベース主カメラ画像を参照画像として読み出し、処理をステップＳ１６９に進める。
In step S165, the motion prediction /
一方、ステップＳ１６３で符号化対象の画像がGOPの終端のノンベース主カメラ画像または副カメラ画像ではないと判定された場合、即ち、符号化対象の画像がGOPの先頭および終端以外のノンベース主カメラ画像または副カメラ画像である場合、処理はステップＳ１６６に進む。 On the other hand, if it is determined in step S163 that the image to be encoded is not the non-base main camera image or the sub camera image at the end of the GOP, that is, the image to be encoded is a non-base main image other than the beginning and end of the GOP. If it is a camera image or sub camera image, the process proceeds to step S166.
ステップＳ１６６において、動き予測・補償部１４１は、フレームメモリ１２２から符号化対象の画像と同一時刻のベース主カメラ画像および異なる時刻の同一視点のノンベース主カメラ画像または副カメラ画像を読み出し、処理をステップＳ１６９に進める。
In step S166, the motion prediction /
また、ステップＳ１６１で符号化対象の画像がノンベース主カメラ画像または副カメラ画像ではないと判定された場合、即ち符号化対象の画像がベース主カメラ画像である場合、処理はステップＳ１６７に進む。ステップＳ１６７において、動き予測・補償部１４１は、符号化対象の画像がGOPの先頭のベース主カメラ画像であるかどうかを判定する。
If it is determined in step S161 that the image to be encoded is not a non-base main camera image or a sub camera image, that is, if the image to be encoded is a base main camera image, the process proceeds to step S167. In step S167, the motion prediction /
ステップＳ１６７で符号化対象の画像がGOPの先頭のベース主カメラ画像ではないと判定された場合、即ち、符号化対象の画像がGOPの先頭以外のベース主カメラ画像である場合、処理はステップＳ１６８に進む。ステップＳ１６８において、動き予測・補償部１４１は、異なる時刻のベース主カメラ画像を参照画像として読み出し、処理をステップＳ１６９に進める。
If it is determined in step S167 that the image to be encoded is not the first base main camera image of the GOP, that is, if the image to be encoded is a base main camera image other than the beginning of the GOP, the process proceeds to step S168. Proceed to In step S168, the motion prediction /
ステップＳ１６９において、動き予測・補償部１４１は、画面並べ替えバッファ１１２から供給される符号化対象の画像と、フレームメモリ１２２から読み出される参照画像に基づいて、候補となる全てのインター予測モードの予測画像を生成する。このとき、動き予測・補償部１４１は、候補となる全てのインター予測モードに対してコスト関数値を算出する。
In step S169, the motion prediction /
ステップＳ１７０において、動き予測・補償部１４１は、候補となる全てのインター予測モードに対するコスト関数値の最小値に対応するインター予測モードを最適インター予測モードに決定し、処理を終了する。
In step S170, the motion prediction /
一方、ステップＳ１６７で符号化対象の画像がGOPの先頭のベース主カメラ画像であると判定された場合、処理は終了する。 On the other hand, if it is determined in step S167 that the image to be encoded is the first base main camera image of the GOP, the process ends.
なお、図２３の符号化処理部１００は、フリッカを軽減するように符号化処理を行ったが、通常の符号化処理を行い、フリッカ情報を復号装置に伝送するようにしてもよい。この場合、復号装置において、フリッカ情報に基づいてフリッカを軽減する処理が行われる。
Note that the
また、図２３の符号化処理部１００は、マクロブロック単位でフリッカの発生を予測するようにしてもよい。この場合、図２５のステップＳ１６４乃至Ｓ１６６の処理がマクロブロック単位で行われる。
Also, the
さらに、図２３の符号化処理部１００は、各副カメラ画像を用いて各副カメラ画像のフリッカの発生を予測したが、主カメラ画像を用いて各副カメラ画像のフリッカの発生を予測してもよい。また、図２３の符号化処理部１００は、フリッカの発生を予測した場合、GOPの先頭のノンベース主カメラ画像または副カメラ画像より1つ前のノンベース主カメラ画像または副カメラ画像に対して、視差方向の予測を行ったが、GOPの先頭のノンベース主カメラ画像または副カメラ画像より前の複数のノンベース主カメラ画像または副カメラ画像に対して、視差方向の予測を行うようにしてもよい。
23 predicts the occurrence of flicker in each sub camera image using each sub camera image, but predicts the occurrence of flicker in each sub camera image using the main camera image. Also good. When the occurrence of flicker is predicted, the
また、上述した図１９や図２３符号化処理部１００では、主カメラ画像と副カメラ画像の解像度が同一であるものとしたが、主カメラ画像と副カメラ画像の解像度は異なるようにしてもよい。また、時間方向のインター予測のみを行う画像を可変にし、副カメラ画像を用いて主カメラ画像の両方のフリッカも軽減するようにしてもよい。
Further, in the
[本技術を適用したコンピュータの説明]
次に、上述した一連の少なくとも一部の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
[Description of computer to which this technology is applied]
Next, at least a part of the series of processes described above can be performed by hardware or can be performed by software. When a series of processing is performed by software, a program constituting the software is installed in a general-purpose computer or the like.
そこで、図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。 Therefore, FIG. 26 shows a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０９やROM（Read Only Memory）２０２に予め記録しておくことができる。
The program can be recorded in advance in a
あるいはまた、プログラムは、リムーバブルメディア２１２に格納（記録）しておくことができる。このようなリムーバブルメディア２１２は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１２としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
Alternatively, the program can be stored (recorded) in the
なお、プログラムは、上述したようなリムーバブルメディア２１２からドライブ２１１を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０９にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
The program can be installed in the computer from the
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
The computer includes a CPU (Central Processing Unit) 201, and an input /
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０９に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
When a command is input by the user operating the
これにより、CPU２０１は、撮影部２０６により撮影された画像等に対する上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０８から出力、あるいは、通信部２１０から送信、さらには、記憶部２０９に記録等させる。
Accordingly, the
なお、入力部２０７は、キーボードや、マウス、マイク等で構成される。また、出力部２０８は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
The
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。 Here, in the present specification, the processing performed by the computer according to the program does not necessarily have to be performed in time series in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。 Further, the program may be processed by one computer (processor) or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。 In this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。 Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
なお、本技術は、以下のような構成もとることができる。
（１）
３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部と、
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える
主の画像処理装置と、
前記送信部により送信された前記動作モードを受信する受信部と、
所定の１視点の画像を撮影する１視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部と
を備える
副の画像処理装置と
を備える画像処理システム。
（２）
４個の前記副の画像処理装置を備え、
４個の前記副の画像処理装置の前記移動制御部は、前記所定の１視点が、それぞれ、前記２視点の一方の視点の上、下、他方の視点の上、下で上下方向に移動するように、前記副の画像処理装置を移動させる
前記（１）に記載の画像処理システム。
（３）
前記１視点撮影部により撮影された前記所定の１視点の画像に対して画像処理を行う１視点画像処理部と、
前記２視点撮影部により撮影された前記２視点の画像に対して画像処理を行う２視点画像処理部と
をさらに備え、
前記１視点画像処理部は、前記２視点画像処理部により検出された前記２視点の画像の動きボケ量に基づいて、前記所定の１視点の画像に対して動きボケ補償処理を行う
前記（１）または（２）に記載の画像処理システム。
（４）
前記１視点画像処理部は、動きボケ補償処理後の前記所定の１視点の画像に対してフレーム補間処理を行う
前記（３）に記載の画像処理システム。
（５）
前記２視点撮影部により撮影された前記２視点の画像に対して画像処理を行う２視点画像処理部
をさらに備え、
前記移動制御部は、前記第１視点撮影部が、前記２視点画像処理部による画像処理の結果検出された注目点を撮影可能な位置に移動させる
前記（１）または（２）に記載の画像処理システム。
（６）
２個以上の前記副の画像処理装置を備え、
２個の前記副の画像処理装置の前記移動制御部は、前記所定の１視点が、それぞれ、前記２視点のうちの左側の視点の左、右側の視点の右で左右方向に移動するように、前記副の画像処理装置を移動させる
前記（１）、（２）、または（５）に記載の画像処理システム。
（７）
前記主の画像処理装置は、
前記画像処理システムの撮影モードを決定する撮影モード決定部
をさらに備え、
前記２視点撮影部は、前記撮影モードに対応する撮影に関するパラメータの値に基づいて、前記２視点の画像を撮影し、
前記送信部は、前記動作モードと前記撮影モードを送信し、
前記受信部は、前記動作モードと前記撮影モードを受信し、
前記第１視点撮影部は、前記受信部により受信された前記撮影モードに対応する、前記２視点撮影部における値とは異なる、前記撮影に関するパラメータの値に基づいて、前記所定の１視点の画像を撮影する
前記（１）乃至（６）のいずれかに記載の画像処理システム。
（８）
前記２視点撮影部により撮影された前記２視点の画像と、前記１視点撮影部により撮影された前記所定の１視点の画像とを、前記２視点の画像と前記所定の１視点の画像のGOP（Group Of Pictures）の位相がずれるように符号化する符号化部
をさらに備える
前記（１）乃至（７）のいずれかに記載の画像処理システム。
（９）
前記１視点撮影部により撮影された前記所定の１視点の画像において、フリッカの発生を予測する予測部
をさらに備え、
前記符号化部は、前記予測部によりフリッカの発生が予測された場合、フリッカの発生が予測された画像に対応するGOPの先頭より前の所定数の画像に対するインター予測において、視差方向の予測を行う
前記（８）に記載の画像処理システム。
（１０）
前記１視点撮影部により撮影された前記所定の１視点の画像に対して画像処理を行う１視点画像処理部
をさらに備え、
前記送信部は、さらに、前記第２視点撮影部により撮影された前記２視点の画像を送信し、
前記受信部は、さらに、前記送信部により送信された前記２視点の画像を受信し、
前記１視点画像処理部は、前記受信部により受信された前記２視点の画像に基づいて選択された方法で、前記所定の１視点の画像を高解像度化する
前記（１）、（２）、または（５）乃至（９）のいずれかに記載の画像処理システム。
（１１）
前記１視点画像処理部は、前記２視点の画像および前記動作モードに基づいて選択された方法で、前記所定の１視点の画像を高解像度化する
前記（１０）に記載の画像処理システム。
（１２）
画像処理システムの３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部を備える主の画像処理装置が、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含み、
所定の１視点の画像を撮影する１視点撮影部を備える副の画像処理装置が、
前記送信ステップの処理により送信された前記動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御ステップと
を含む
画像処理方法。
（１３）
３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部と、
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える画像処理装置。
（１４）
画像処理装置が、
３Ｄ画像を構成する２視点の画像を撮影する２視点撮影ステップと、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含む画像処理方法。
（１５）
動作モードを受信する受信部と、
所定の１視点の画像を撮影する１視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部と
を備える画像処理装置。
（１６）
所定の１視点の画像を撮影する１視点撮影部を備える画像処理装置が、
動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御ステップと
を含む画像処理方法。
In addition, this technique can also take the following structures.
(1)
A two-viewpoint photographing unit for photographing two-viewpoint images constituting a 3D image;
An operation mode determination unit for determining an operation mode;
A main image processing apparatus comprising: a transmission unit that transmits the operation mode determined by the operation mode determination unit;
A receiver for receiving the operation mode transmitted by the transmitter;
A one-viewpoint photographing unit for photographing an image of a predetermined one viewpoint;
An image processing system comprising: a secondary image processing apparatus comprising: a movement control unit that moves the one-viewpoint imaging unit according to the operation mode received by the reception unit.
(2)
Comprising four sub image processing devices,
The movement control unit of the four sub image processing apparatuses moves the predetermined one viewpoint in the vertical direction above, below, and above and below one of the two viewpoints. The image processing system according to (1), wherein the secondary image processing apparatus is moved.
(3)
A one-viewpoint image processing unit that performs image processing on the image of the predetermined one viewpoint captured by the one-viewpoint photographing unit;
A two-viewpoint image processing unit that performs image processing on the two-viewpoint image captured by the two-viewpoint capturing unit;
The one-viewpoint image processing unit performs a motion blur compensation process on the predetermined one-viewpoint image based on a motion blur amount of the two-viewpoint image detected by the two-viewpoint image processing unit. Or the image processing system according to (2).
(4)
The image processing system according to (3), wherein the one-viewpoint image processing unit performs a frame interpolation process on the predetermined one-viewpoint image after the motion blur compensation process.
(5)
A two-viewpoint image processing unit that performs image processing on the two-viewpoint image captured by the two-viewpoint capturing unit;
The image according to (1) or (2), wherein the movement control unit causes the first viewpoint photographing unit to move an attention point detected as a result of image processing by the two-viewpoint image processing unit to a position where photographing is possible. Processing system.
(6)
Comprising two or more sub-image processing devices,
The movement control units of the two sub image processing devices move the predetermined one viewpoint in the left-right direction on the left of the left viewpoint and the right of the right viewpoint of the two viewpoints, respectively. The image processing system according to (1), (2), or (5), wherein the sub image processing apparatus is moved.
(7)
The main image processing apparatus includes:
A shooting mode determining unit for determining a shooting mode of the image processing system;
The two-viewpoint photographing unit photographs the two-viewpoint image based on a value of a parameter relating to photographing corresponding to the photographing mode,
The transmission unit transmits the operation mode and the shooting mode,
The receiving unit receives the operation mode and the shooting mode,
The first viewpoint photographing unit is configured to generate an image of the predetermined one viewpoint based on a value of the shooting-related parameter that is different from a value in the two-viewpoint photographing unit corresponding to the photographing mode received by the receiving unit. The image processing system according to any one of (1) to (6).
(8)
The two-viewpoint image captured by the two-viewpoint capturing unit and the predetermined one-viewpoint image captured by the one-viewpoint capturing unit are converted into a GOP of the two-viewpoint image and the predetermined one-viewpoint image. The image processing system according to any one of (1) to (7), further including: an encoding unit that performs encoding so that a phase of (Group Of Pictures) is shifted.
(9)
A prediction unit that predicts occurrence of flicker in the image of the predetermined one viewpoint captured by the one-viewpoint imaging unit;
When the prediction unit predicts occurrence of flicker, the encoding unit performs prediction of a parallax direction in inter prediction for a predetermined number of images before the head of a GOP corresponding to an image for which occurrence of flicker is predicted. Perform The image processing system according to (8).
(10)
A one-viewpoint image processing unit that performs image processing on the predetermined one-viewpoint image captured by the one-viewpoint capturing unit;
The transmission unit further transmits the image of the two viewpoints photographed by the second viewpoint photographing unit,
The receiving unit further receives the image of the two viewpoints transmitted by the transmitting unit,
The one-viewpoint image processing unit increases the resolution of the predetermined one-viewpoint image by a method selected based on the two-viewpoint image received by the receiving unit (1), (2), Or the image processing system in any one of (5) thru | or (9).
(11)
The image processing system according to (10), wherein the one-viewpoint image processing unit increases the resolution of the predetermined one-viewpoint image by a method selected based on the two-viewpoint image and the operation mode.
(12)
A main image processing apparatus including a two-viewpoint photographing unit that photographs two-viewpoint images constituting a 3D image of the image processing system,
An operation mode determining step for determining an operation mode;
Transmitting the operation mode determined by the processing of the operation mode determination step, and
A secondary image processing apparatus including a one-viewpoint photographing unit that photographs a predetermined one-viewpoint image,
A reception step of receiving the operation mode transmitted by the processing of the transmission step;
A movement control step of moving the one-viewpoint imaging unit according to the operation mode received by the processing of the reception step.
(13)
A two-viewpoint photographing unit for photographing two-viewpoint images constituting a 3D image;
An operation mode determination unit for determining an operation mode;
An image processing apparatus comprising: a transmission unit that transmits the operation mode determined by the operation mode determination unit.
(14)
The image processing device
A two-viewpoint photographing step for photographing a two-viewpoint image constituting a 3D image;
An operation mode determining step for determining an operation mode;
A transmission step of transmitting the operation mode determined by the processing of the operation mode determination step.
(15)
A receiver for receiving the operation mode;
A one-viewpoint photographing unit for photographing an image of a predetermined one viewpoint;
An image processing apparatus comprising: a movement control unit that moves the one-viewpoint imaging unit according to the operation mode received by the reception unit.
(16)
An image processing apparatus including a one-viewpoint photographing unit that photographs a predetermined one-viewpoint image,
A receiving step for receiving the operation mode;
A movement control step of moving the one-viewpoint imaging unit according to the operation mode received by the processing of the reception step.
１０ 画像処理システム， １１ 主カメラ装置， １２ 副カメラ装置， ２２ 動作モード決定部， ２３ 送信部， ２４ 撮影モード決定部， ２５ 撮影部， ２６ 画像処理部， ４１ 撮影部， ４３ 受信部， ４４ 移動制御部， ４５ 画像処理部， ６２ 動きボケ補償部， ６３ 補間部， ８０ 解像度補間処理部， ８２乃至８４ 高解像度化部， １００ 符号化処理部， １４２ フリッカ検出部
DESCRIPTION OF
Claims (16)
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える
主の画像処理装置と、
前記送信部により送信された前記動作モードを受信する受信部と、
所定の１視点の画像を撮影する１視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部と
を備える
副の画像処理装置と
を備える画像処理システム。 A two-viewpoint photographing unit for photographing two-viewpoint images constituting a 3D image;
An operation mode determination unit for determining an operation mode;
A main image processing apparatus comprising: a transmission unit that transmits the operation mode determined by the operation mode determination unit;
A receiver for receiving the operation mode transmitted by the transmitter;
A one-viewpoint photographing unit for photographing an image of a predetermined one viewpoint;
An image processing system comprising: a secondary image processing apparatus comprising: a movement control unit that moves the one-viewpoint imaging unit according to the operation mode received by the reception unit.
４個の前記副の画像処理装置の前記移動制御部は、前記所定の１視点が、それぞれ、前記２視点の一方の視点の上、下、他方の視点の上、下で上下方向に移動するように、前記副の画像処理装置を移動させる
請求項１に記載の画像処理システム。 Comprising four sub image processing devices,
The movement control unit of the four sub image processing apparatuses moves the predetermined one viewpoint in the vertical direction above, below, and above and below one of the two viewpoints. The image processing system according to claim 1, wherein the secondary image processing apparatus is moved as described above.
前記２視点撮影部により撮影された前記２視点の画像に対して画像処理を行う２視点画像処理部と
をさらに備え、
前記１視点画像処理部は、前記２視点画像処理部により検出された前記２視点の画像の動きボケ量に基づいて、前記所定の１視点の画像に対して動きボケ補償処理を行う
請求項１に記載の画像処理システム。 A one-viewpoint image processing unit that performs image processing on the image of the predetermined one viewpoint captured by the one-viewpoint photographing unit;
A two-viewpoint image processing unit that performs image processing on the two-viewpoint image captured by the two-viewpoint capturing unit;
The one-viewpoint image processing unit performs a motion blur compensation process on the predetermined one-viewpoint image based on a motion blur amount of the two-viewpoint image detected by the two-viewpoint image processing unit. The image processing system described in 1.
請求項３に記載の画像処理システム。 The image processing system according to claim 3, wherein the one-viewpoint image processing unit performs a frame interpolation process on the predetermined one-viewpoint image after the motion blur compensation process.
をさらに備え、
前記移動制御部は、前記第１視点撮影部が、前記２視点画像処理部による画像処理の結果検出された注目点を撮影可能な位置に移動させる
請求項１に記載の画像処理システム。 A two-viewpoint image processing unit that performs image processing on the two-viewpoint image captured by the two-viewpoint capturing unit;
The image processing system according to claim 1, wherein the movement control unit moves the point of interest detected as a result of image processing by the two-viewpoint image processing unit to a position where the first viewpoint photographing unit can shoot.
２個の前記副の画像処理装置の前記移動制御部は、前記所定の１視点が、それぞれ、前記２視点のうちの左側の視点の左、右側の視点の右で左右方向に移動するように、前記副の画像処理装置を移動させる
請求項１に記載の画像処理システム。 Comprising two or more sub-image processing devices,
The movement control units of the two sub image processing devices move the predetermined one viewpoint in the left-right direction on the left of the left viewpoint and the right of the right viewpoint of the two viewpoints, respectively. The image processing system according to claim 1, wherein the sub image processing apparatus is moved.
前記画像処理システムの撮影モードを決定する撮影モード決定部
をさらに備え、
前記２視点撮影部は、前記撮影モードに対応する撮影に関するパラメータの値に基づいて、前記２視点の画像を撮影し、
前記送信部は、前記動作モードと前記撮影モードを送信し、
前記受信部は、前記動作モードと前記撮影モードを受信し、
前記第１視点撮影部は、前記受信部により受信された前記撮影モードに対応する、前記２視点撮影部における値とは異なる、前記撮影に関するパラメータの値に基づいて、前記所定の１視点の画像を撮影する
請求項１に記載の画像処理システム。 The main image processing apparatus includes:
A shooting mode determining unit for determining a shooting mode of the image processing system;
The two-viewpoint photographing unit photographs the two-viewpoint image based on a value of a parameter relating to photographing corresponding to the photographing mode,
The transmission unit transmits the operation mode and the shooting mode,
The receiving unit receives the operation mode and the shooting mode,
The first viewpoint photographing unit is configured to generate an image of the predetermined one viewpoint based on a value of the shooting-related parameter that is different from a value in the two-viewpoint photographing unit corresponding to the photographing mode received by the receiving unit. The image processing system according to claim 1.
をさらに備える
請求項１に記載の画像処理システム。 The two-viewpoint image captured by the two-viewpoint capturing unit and the predetermined one-viewpoint image captured by the one-viewpoint capturing unit are converted into a GOP of the two-viewpoint image and the predetermined one-viewpoint image. The image processing system according to claim 1, further comprising: an encoding unit that performs encoding so that a phase of (Group Of Pictures) is shifted.
をさらに備え、
前記符号化部は、前記予測部によりフリッカの発生が予測された場合、フリッカの発生が予測された画像に対応するGOPの先頭より前の所定数の画像に対するインター予測において、視差方向の予測を行う
請求項８に記載の画像処理システム。 A prediction unit that predicts occurrence of flicker in the image of the predetermined one viewpoint captured by the one-viewpoint imaging unit;
When the prediction unit predicts occurrence of flicker, the encoding unit performs prediction of a parallax direction in inter prediction for a predetermined number of images before the head of a GOP corresponding to an image for which occurrence of flicker is predicted. The image processing system according to claim 8.
をさらに備え、
前記送信部は、さらに、前記第２視点撮影部により撮影された前記２視点の画像を送信し、
前記受信部は、さらに、前記送信部により送信された前記２視点の画像を受信し、
前記１視点画像処理部は、前記受信部により受信された前記２視点の画像に基づいて選択された方法で、前記所定の１視点の画像を高解像度化する
請求項１に記載の画像処理システム。 A one-viewpoint image processing unit that performs image processing on the predetermined one-viewpoint image captured by the one-viewpoint capturing unit;
The transmission unit further transmits the image of the two viewpoints photographed by the second viewpoint photographing unit,
The receiving unit further receives the image of the two viewpoints transmitted by the transmitting unit,
The image processing system according to claim 1, wherein the one-viewpoint image processing unit increases the resolution of the predetermined one-viewpoint image by a method selected based on the two-viewpoint image received by the receiving unit. .
請求項１０に記載の画像処理システム。 The image processing system according to claim 10, wherein the one-viewpoint image processing unit increases the resolution of the predetermined one-viewpoint image by a method selected based on the two-viewpoint image and the operation mode.
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含み、
所定の１視点の画像を撮影する１視点撮影部を備える副の画像処理装置が、
前記送信ステップの処理により送信された前記動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御ステップと
を含む
画像処理方法。 A main image processing apparatus including a two-viewpoint photographing unit that photographs two-viewpoint images constituting a 3D image of the image processing system,
An operation mode determining step for determining an operation mode;
Transmitting the operation mode determined by the processing of the operation mode determination step, and
A secondary image processing apparatus including a one-viewpoint photographing unit that photographs a predetermined one-viewpoint image,
A reception step of receiving the operation mode transmitted by the processing of the transmission step;
A movement control step of moving the one-viewpoint imaging unit according to the operation mode received by the processing of the reception step.
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える画像処理装置。 A two-viewpoint photographing unit for photographing two-viewpoint images constituting a 3D image;
An operation mode determination unit for determining an operation mode;
An image processing apparatus comprising: a transmission unit that transmits the operation mode determined by the operation mode determination unit.
３Ｄ画像を構成する２視点の画像を撮影する２視点撮影ステップと、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含む画像処理方法。 The image processing device
A two-viewpoint photographing step for photographing a two-viewpoint image constituting a 3D image;
An operation mode determining step for determining an operation mode;
A transmission step of transmitting the operation mode determined by the processing of the operation mode determination step.
所定の１視点の画像を撮影する１視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部と
を備える画像処理装置。 A receiver for receiving the operation mode;
A one-viewpoint photographing unit for photographing an image of a predetermined one viewpoint;
An image processing apparatus comprising: a movement control unit that moves the one-viewpoint imaging unit according to the operation mode received by the reception unit.
動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御ステップと
を含む画像処理方法。 An image processing apparatus including a one-viewpoint photographing unit that photographs a predetermined one-viewpoint image,
A receiving step for receiving the operation mode;
A movement control step of moving the one-viewpoint imaging unit according to the operation mode received by the processing of the reception step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011076190A JP2012212952A (en) | 2011-03-30 | 2011-03-30 | Image processing system, image processing device, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011076190A JP2012212952A (en) | 2011-03-30 | 2011-03-30 | Image processing system, image processing device, and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012212952A true JP2012212952A (en) | 2012-11-01 |
Family
ID=47266594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011076190A Withdrawn JP2012212952A (en) | 2011-03-30 | 2011-03-30 | Image processing system, image processing device, and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012212952A (en) |
-
2011
- 2011-03-30 JP JP2011076190A patent/JP2012212952A/en not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10412413B2 (en) | Image processing device and image processing method | |
| JP6687015B2 (en) | Image processing apparatus and image processing method | |
| WO2016140083A1 (en) | Image processing device and image processing method | |
| US11758179B2 (en) | Image encoding method, image encoding device, image decoding method, and image decoding device | |
| JP7279154B2 (en) | Motion vector prediction method and apparatus based on affine motion model | |
| KR20130053452A (en) | Calculating disparity for three-dimensional images | |
| JP2012257198A (en) | Stereoscopic image encoding apparatus, method therefor, and image pickup apparatus having stereoscopic image encoding apparatus | |
| JP6648753B2 (en) | Image encoding apparatus and method | |
| JP6039178B2 (en) | Image encoding apparatus, image decoding apparatus, method and program thereof | |
| JP6307152B2 (en) | Image encoding apparatus and method, image decoding apparatus and method, and program thereof | |
| JP7303894B2 (en) | Encoders, decoders and corresponding inter-prediction methods | |
| WO2012042895A1 (en) | Three-dimensional video encoding apparatus, three-dimensional video capturing apparatus, and three-dimensional video encoding method | |
| JP4944046B2 (en) | Video encoding method, decoding method, encoding device, decoding device, program thereof, and computer-readable recording medium | |
| JP5869839B2 (en) | Image processing apparatus and control method thereof | |
| JP2013258577A (en) | Imaging device, imaging method and program, image encoding device, and image encoding method and program | |
| JP2012212952A (en) | Image processing system, image processing device, and image processing method | |
| JP2014241507A (en) | Image processing apparatus, method and program, and imaging apparatus | |
| JP5815326B2 (en) | Video decoding device and image display device | |
| JP7417388B2 (en) | Encoding device, decoding device, and program | |
| JP2012178818A (en) | Video encoder and video encoding method | |
| JP2017060008A (en) | Multi-viewpoint image encoding device, and multi-viewpoint image encoding method, and program | |
| JP5750191B2 (en) | Image decoding method | |
| JP2017055425A (en) | Image encoding method, image decoding method and recording medium | |
| JP2019087827A (en) | Encoding device, image processing device, and image processing method | |
| JP2015186052A (en) | Stereoscopic video encoding device and stereoscopic video encoding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140603 |