JP2010278979A - Stereoscopic video adjusting apparatus, stereoscopic video adjusting system, and program - Google Patents
Stereoscopic video adjusting apparatus, stereoscopic video adjusting system, and program Download PDFInfo
- Publication number
- JP2010278979A JP2010278979A JP2009132292A JP2009132292A JP2010278979A JP 2010278979 A JP2010278979 A JP 2010278979A JP 2009132292 A JP2009132292 A JP 2009132292A JP 2009132292 A JP2009132292 A JP 2009132292A JP 2010278979 A JP2010278979 A JP 2010278979A
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- stereoscopic
- adjustment
- adjusted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、立体撮像装置から出力される映像のずれを自動調整する、立体映像調整装置、立体映像調整システム、及びプログラムに関する。 The present invention relates to a stereoscopic video adjustment device, a stereoscopic video adjustment system, and a program for automatically adjusting a shift of a video output from a stereoscopic imaging device.
従来、人間の両眼視差による立体知覚を利用して立体映像を再現する技法が知られている。立体映像を再現するには、視差を含む画像、すなわち、水平方向に所定の量だけずれた画像を撮像装置によって取得する必要がある。しかし、左右の映像が垂直方向、回転方向にわずかでもずれていると、生成された立体映像を視る者に不快感を与えることになる。また、立体撮像装置のカメラ位置、レンズ位置によって、左眼用映像と右眼用映像が左右又は上下に反転していることがある。そこで、左右の映像を調整するために、撮像装置によって取得した画像を、ユーザからの指示に基づいて移動、回転する技法が知られている（例えば、特許文献１参照）。また、映像番組製作において映像を調整する装置として、ディジタルビデオエフェクターが知られている（例えば、非特許文献１参照）。 2. Description of the Related Art Conventionally, a technique for reproducing a stereoscopic image using stereoscopic perception by human binocular parallax is known. In order to reproduce a stereoscopic video, it is necessary to acquire an image including parallax, that is, an image shifted by a predetermined amount in the horizontal direction by the imaging device. However, if the left and right images are slightly shifted in the vertical direction and the rotation direction, it is uncomfortable for a person viewing the generated stereoscopic image. Further, the left-eye video and the right-eye video may be reversed left and right or up and down depending on the camera position and lens position of the stereoscopic imaging device. Therefore, a technique for moving and rotating an image acquired by an imaging device based on an instruction from a user in order to adjust left and right images is known (see, for example, Patent Document 1). Also, a digital video effector is known as an apparatus for adjusting video in video program production (see, for example, Non-Patent Document 1).
ディジタルビデオエフェクターは高価かつ重量・サイズが大きく、複数台のディジタルビデオエフェクターを撮影現場に持ち込むことが困難であるため、後処理でスタジオにてディジタルビデオエフェクターを使用し、手動で左眼用映像及び右眼用映像の調整をしていた。しかし、手動による調整は手間と時間がかかるうえ、熟練の技術を要するという問題があった。 Digital video effectors are expensive, heavy and large in size, and it is difficult to bring multiple digital video effectors to the shooting site. The video for the right eye was adjusted. However, manual adjustment is troublesome and time consuming and requires skilled techniques.
また、左眼用映像と右眼用映像のうちの一方のみの調整で済ませた場合には、両映像間で映像遅延が発生し、立体映像を正確に再現できないという問題があった。 In addition, when only one of the left-eye video and the right-eye video is adjusted, there is a problem that a video delay occurs between the two videos and the stereoscopic video cannot be accurately reproduced.
さらに、内視鏡などの広角レンズを用いたカメラで撮像すると、レンズ歪みが発生し、平面ディスプレイ上では湾曲した映像となる。そのため、立体映像を再現するには、球面ディスプレイに投影する等により歪みをとる必要があるという問題があった。 Furthermore, when an image is captured by a camera using a wide-angle lens such as an endoscope, lens distortion occurs, and a curved image is displayed on the flat display. Therefore, in order to reproduce a stereoscopic image, there is a problem that it is necessary to take distortion by projecting it onto a spherical display.
本発明の目的は、上記問題を解決するため、左眼用映像と右眼用映像の調整を自動で行い、後処理時間、番組制作費の大幅な軽減を実現し、かつ軽量でコンパクトな立体映像調整装置を提供することにある。 The object of the present invention is to automatically adjust the left-eye video and the right-eye video in order to solve the above-mentioned problems, achieve a significant reduction in post-processing time and program production cost, and is a lightweight and compact stereoscopic. The object is to provide an image adjustment device.
上記課題を解決するため、本発明に係る立体映像調整装置は、被写体を撮像した立体撮像装置から出力される右眼用撮像画像及び左眼用撮像画像の間のずれを自動調整する立体映像調整装置であって、前記右眼用撮像画像及び前記左眼用撮像画像を取り込む画像取込手段と、前記右眼用撮像画像及び前記左眼用撮像画像の各々の左右方向及び上下方向の向きを判定する方向判定手段と、前記方向判定手段による判定結果に基づき、前記被写体と同じ方向を向いた右眼用方向調整済み画像及び左眼用方向調整済み画像を生成する方向調整手段と、前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の間の回転方向及び垂直方向のずれ量を算出するずれ量算出手段と、前記ずれ量算出手段によって算出したずれ量に基づいて、前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の回転及び垂直方向の移動を行い、右眼用調整済み画像及び左眼用調整済み画像を生成するずれ量調整手段と、前記右眼用調整済み画像及び前記左眼用調整済み画像の同期をとって遅延が生じないように制御する制御手段とを備えることを特徴とする。 In order to solve the above-described problem, a stereoscopic video adjustment device according to the present invention is a stereoscopic video adjustment that automatically adjusts a shift between a right-eye captured image and a left-eye captured image output from a stereoscopic imaging device that images a subject. An image capturing unit that captures the right-eye captured image and the left-eye captured image; and the horizontal and vertical directions of each of the right-eye captured image and the left-eye captured image. Direction determining means, direction adjusting means for generating a right-eye direction-adjusted image and a left-eye direction-adjusted image facing the same direction as the subject based on the determination result by the direction determining means, and the right Based on the shift amount calculation means for calculating the shift amount in the rotation direction and the vertical direction between the eye direction adjusted image and the left eye direction adjusted image, and the shift amount calculated by the shift amount calculation means, Right eye A shift amount adjusting means for rotating and vertically moving the direction adjusted image and the left eye direction adjusted image to generate a right eye adjusted image and a left eye adjusted image, and the right eye adjustment And a control means for controlling the left image and the adjusted image for the left eye so as not to cause a delay.
また、本発明に係る立体映像調整装置は、被写体として上下及び左右方向に非対称の調整用画像を用いる場合には、前記立体映像調整装置は、さらに、前記調整用画像を生成する調整用画像生成手段を備え、前記方向判定手段は、前記右眼用撮像画像及び前記左眼用撮像画像と、前記調整用画像とを比較することによって判定することを特徴とする。 In addition, when the stereoscopic video adjustment device according to the present invention uses an adjustment image that is asymmetric in the vertical and horizontal directions as a subject, the stereoscopic video adjustment device further generates an adjustment image for generating the adjustment image. Means for determining by comparing the captured image for the right eye and the captured image for the left eye with the adjustment image.
また、本発明に係る立体映像調整装置において、被写体として前記調整用画像を用いない場合には、前記制御部は、被写体を撮像した前記立体撮像装置から出力される右眼用撮像画像及び左眼用撮像画像を立体映像調整装置に接続されるモニタに出力するように制御し、前記画像取込手段は、さらに、前記モニタに表示される画像に対して特徴点がマーキングされた特徴画像を取り込む手段を有し、前記方向判定手段は、さらに外部からの指示に基づいて判定する手段を有し、前記ずれ量算出手段は、前記特徴画像に対して生成された前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の間の回転方向及び垂直方向のずれ量を算出することを特徴とする。 Further, in the stereoscopic video adjustment device according to the present invention, when the adjustment image is not used as a subject, the control unit is configured to output the right-eye captured image and the left eye output from the stereoscopic imaging device that captured the subject. The captured image is controlled to be output to a monitor connected to the stereoscopic image adjusting device, and the image capturing means further captures a feature image in which a feature point is marked with respect to the image displayed on the monitor The direction determining means further includes a means for determining based on an instruction from the outside, and the deviation amount calculating means is the right-eye direction adjusted image generated for the feature image. And calculating a shift amount in the rotation direction and the vertical direction between the left-eye direction-adjusted images.
また、本発明に係る立体映像調整装置は、さらに、前記ずれ量調整手段による回転後の画像に対し、画像の見切れを防止するために有効画像領域を抽出し、前記有効画像領域以外の画像表示領域をマスクするマスク手段、又は前記有効画像領域を拡大する拡大手段を備えることを特徴とする。 In addition, the stereoscopic image adjustment apparatus according to the present invention further extracts an effective image area for preventing the image from being cut out from the image rotated by the shift amount adjusting unit, and displays an image other than the effective image area. Masking means for masking an area, or enlargement means for enlarging the effective image area is provided.
また、本発明に係る立体映像調整装置は、さらに、視差量の演算に必要となる撮像情報を外部から入力するする撮像情報入力部を備えることを特徴とする。 The stereoscopic image adjustment apparatus according to the present invention further includes an imaging information input unit that inputs imaging information necessary for calculating the amount of parallax from the outside.
また、本発明に係る立体映像調整装置において、前記調整用画像生成手段は、さらに、視差が織り込まれた画像を生成することを特徴とする。 In the stereoscopic video adjustment device according to the present invention, the adjustment image generation unit further generates an image in which parallax is woven.
また、本発明に係る立体映像調整装置において、前記ずれ量算出手段は、さらに、撮像情報から水平方向のずれを算出する手段を有し、前記ずれ量調整手段は、さらに、該ずれ量算出手段によって算出したずれ量に基づいて、前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の水平方向の移動を行う手段を有することを特徴とする。 In the stereoscopic video adjustment apparatus according to the present invention, the deviation amount calculating means further includes means for calculating a horizontal deviation from the imaging information, and the deviation amount adjusting means further includes the deviation amount calculating means. Based on the amount of deviation calculated by the above, there is provided means for horizontally moving the right-eye direction adjusted image and the left-eye direction adjusted image.
また、本発明に係る立体映像調整装置は、さらに、前記ずれ量調整手段による水平方向の移動後の画像に対し、画像の見切れを防止するために縮小する縮小手段を備えることを特徴とする。 The stereoscopic image adjusting apparatus according to the present invention further includes a reducing unit that reduces the image after the horizontal movement by the shift amount adjusting unit to prevent the image from being cut off.
また、本発明に係る立体映像調整装置は、さらに、前記立体撮像装置に用いられるレンズが広角レンズである場合に生じるレンズ歪みを防止するために、前記右眼用撮像画像及び前記左眼用撮像画像を記憶部に書き込む際のアドレスを、予め設定された補正テーブルに従って変換した後のアドレスとするレンズ歪み補正手段を備えることを特徴とする。 The stereoscopic image adjustment apparatus according to the present invention further includes the right-eye captured image and the left-eye captured image to prevent lens distortion that occurs when a lens used in the stereoscopic imaging apparatus is a wide-angle lens. A lens distortion correction unit is provided, in which an address when the image is written in the storage unit is an address after being converted according to a preset correction table.
また、本発明に係る立体映像調整装置において、前記制御手段は、前記立体撮像装置が空から被写体を撮像する場合には、前記右眼用調整済み画像及び前記左眼用調整済み画像の間に同期をとって遅延が生じないように制御する代わりに、前記右眼用調整済み画像及び左眼用調整済み画像の間に、予め設定したフレーム数分の遅延が生じるように制御する手段を有することを特徴とする。 Further, in the stereoscopic video adjustment device according to the present invention, the control unit may be arranged between the adjusted image for the right eye and the adjusted image for the left eye when the stereoscopic imaging device images a subject from the sky. Instead of performing control so as not to cause a delay in synchronization, there is provided means for controlling so that a delay corresponding to a preset number of frames occurs between the adjusted image for the right eye and the adjusted image for the left eye. It is characterized by that.
さらに、上述の課題を解決するために、本発明に係る立体映像調整システムは、一つの被写体を複数の立体撮像装置で撮像し、前記複数の立体撮像装置から出力される複数の右眼用撮像画像及び左眼用撮像画像の間のずれを請求項１から１０のいずれか一項に記載の立体映像調整装置を複数用いて自動調整する立体映像調整システムであって、前記立体撮像装置をｎ個（ただし、ｎ＞１）備え、前記立体撮像装置は右眼用立体撮像装置及び左眼用立体撮像装置を有し、隣接する前記右眼用立体撮像装置及び前記左眼用立体撮像装置の間のずれを自動調整するために、前記立体映像調整装置を（２ｎ−１）個備え、前記画像取込手段は、さらに、撮像画像を取り込む代わりに、他の立体映像調整装置から出力される調整済み画像を取り込む手段を有することを特徴とする。
Furthermore, in order to solve the above-described problems, the stereoscopic image adjustment system according to the present invention images a single subject with a plurality of stereoscopic imaging devices, and a plurality of right-eye imaging output from the plurality of stereoscopic imaging devices. A stereoscopic image adjustment system that automatically adjusts a shift between an image and a captured image for the left eye using a plurality of stereoscopic image adjustment devices according to any one of
さらに、上述の課題を解決するために、本発明に係るプログラムは、立体撮像装置から出力される撮像画像を取り込み、右眼用撮像画像と左眼用撮像画像との間のずれを自動調整する立体映像調整装置として機能するコンピュータに、（ａ）前記撮像画像の左右方向及び上下方向の向きを判定するステップと、（ｂ）前記ステップ（ａ）による判定結果に基づき、反転のない画像生成するステップと、（ｃ）前記右眼用撮像画像及び前記左眼用撮像画像との間の回転方向及び垂直方向のずれ量を算出するステップと、（ｄ）前記ステップ（ｃ）により算出したずれ量に基づいて、画像の回転及び画像の垂直方向の移動を行うステップと、（ｅ）右眼用撮像画像に対する処理と左眼用撮像画像に対する処理との間の同期をとり、立体映像調整装置から出力する右眼用調整済み画像と左眼用調整済み画像との間に遅延が生じないように制御するステップとを実行させる。 Furthermore, in order to solve the above-described problem, the program according to the present invention captures a captured image output from the stereoscopic imaging device, and automatically adjusts a shift between the captured image for the right eye and the captured image for the left eye. In a computer functioning as a stereoscopic image adjustment device, (a) a step of determining the horizontal and vertical directions of the captured image, and (b) generating an image without inversion based on the determination result of step (a). And (c) calculating a shift amount in the rotation direction and the vertical direction between the captured image for the right eye and the captured image for the left eye, and (d) a shift amount calculated in step (c). And (e) synchronizing the processing for the captured image for the right eye and the processing for the captured image for the left eye, and performing a stereoscopic image adjustment device. Delay between the right-eye adjusted image and the left eye adjusted image output from and a step of controlling so as not to cause the.
本発明によれば、立体撮像装置から出力される映像の調整を自動で行うことができるようになる。そのため、後処理でディジタルビデオエフェクターを使用する必要がなくなり、後処理時間、番組制作費の大幅な軽減を実現することができるようになる。 According to the present invention, it is possible to automatically adjust the video output from the stereoscopic imaging apparatus. For this reason, it is not necessary to use a digital video effector for post-processing, and post-processing time and program production costs can be greatly reduced.
また、左眼用画像と右眼用画像を同時に調整するため、両画像間の遅延が発生せず、立体映像を正確に再現できるようになる。 In addition, since the image for the left eye and the image for the right eye are adjusted at the same time, a delay between the two images does not occur, and the stereoscopic video can be accurately reproduced.
さらに、広角レンズを用いたカメラで撮像した場合に、レンズ歪みを自動で補正することができるようになる。 Furthermore, when taking an image with a camera using a wide-angle lens, lens distortion can be automatically corrected.
以下、本発明の各実施例について図面を参照して説明する。以下の説明において、撮像画像とは、立体撮像装置から出力される画像のことをいう。 Embodiments of the present invention will be described below with reference to the drawings. In the following description, a captured image refers to an image output from a stereoscopic imaging device.
まず、本発明による立体映像調整装置を用いたシステムの構成について、図１を参照して説明する。 First, the configuration of a system using a stereoscopic image adjusting apparatus according to the present invention will be described with reference to FIG.
［立体映像調整装置を用いたシステムの構成］
本システムは、立体撮像装置１０と、本発明による立体映像調整装置１１と、送信装置１２と、受信装置１３と、立体映像再生装置１４（右眼用立体映像再生装置１４−１と左眼用立体映像再生装置１４−２）とを備える。
[System configuration using stereoscopic image adjustment device]
The system includes a
立体撮像装置１０は、被写体からの撮像光を、ミラーを用いて左眼用撮像装置と右眼用撮像装置に導くものである。ミラーと撮像装置の構成については、いくつかのパターンがあるが、ここでは代表的な３つの構成例について、図１４を参照して説明する。
The
図１４（ａ）は、立体撮像装置１０を上から見た図である。立体撮像装置１０は、右眼用撮像装置１０1と、左眼用撮像装置１０２と、ハーフミラー１０３と、ミラー１０４とを備える。右眼用撮像装置１０1と左眼用撮像装置１０２は、平行に配置される。被写体からの撮像光ａは、ハーフミラー１０３に入射され、撮像光ｂとｃとに分離される。分離された撮像光ｂは左眼用撮像装置1０２に入射される。また、分離された撮像光ｃは、ミラー１０４で反射し、右眼用撮像装置１０１に入射される。そして、左眼用撮像装置1０２に入射された撮像光ｂは、左眼用撮像装置1０２の固体撮像素子（ＣＣＤ等）によって、光電変換され、右眼用撮像装置１０１に入射された撮像光ｃは、右眼用撮像装置１０１の固体撮像素子（ＣＣＤ等）によって、光電変換される。右眼用撮像装置１０1で撮像した画像と左眼用撮像装置１０２は、ともに、左右及び上下方向に反転のない画像である。
FIG. 14A is a diagram of the
図１４（ｂ）は、立体撮像装置１０を上から見た図である。立体撮像装置１０は、右眼用撮像装置1０１と、左眼用撮像装置１０２と、ハーフミラー１０３とを備える。左眼用撮像装置１０２は、右眼用撮像装置１０１に対して、水平方向に９０度回転した位置に配置される。被写体からの撮像光ａは、ハーフミラー１０３に入射され、撮像光ｂとｃとに分離される。分離された撮像光ｂは左眼用撮像装置1０２に入射され、分離された撮像光ｃは右眼用撮像装置１０１に入射される。右眼用撮像装置１０1で撮像した画像は、左右方向に反転した画像となる。
FIG. 14B is a diagram of the
図１４（ｃ）は、立体撮像装置１０を横から見た図である。立体撮像装置１０は、右眼用撮像装置1０１と、左眼用撮像装置１０２と、ハーフミラー１０３とを備える。左眼用撮像装置１０２は、右眼用撮像装置１０１に対して、垂直方向に９０度回転した位置に配置される。被写体からの撮像光ａは、ハーフミラー１０３に入射され、撮像光ｂとｃとに分離される。分離された撮像光ｂは右眼用撮像装置1０１に入射され、分離された撮像光ｃは左眼用撮像装置１０２に入射される。左眼用撮像装置１０２で撮像した画像は、左右方向の反転はないが、左眼用撮像装置１０２の配置方向によっては、上下方向に反転した画像となる。
FIG. 14C is a diagram of the
立体映像調整装置１１は、右眼用立体撮像装置１０１から出力される右眼用映像と、左眼用立体撮像装置１０２から出力される左眼用映像と間のずれを自動調整する。詳細な説明は後述する。
The stereoscopic
送信装置１２は、立体映像調整装置１１から出力される左眼用画像と右眼用画像をサイドバイサイド方式により、フレームごとに、左眼用フレームと右眼用フレームとを水平方向又は垂直方向に並置して合成する。続いて、合成後の画像をＭＰＥＧ２方式又はＨ．２６４方式に基づいて圧縮する。そして、圧縮画像を変調し、受信装置１３に送信する。
The
受信装置１３は、送信装置１２から送信される画像を受信し、復調する。続いて、圧縮画像を復号する。そして、フレームごとに左眼用フレームと右眼用フレームとを分離し、左眼用画像を左眼用の立体映像再生装置１４−１に、右眼用画像を右眼用の立体映像再生装置１４−２に出力する。
The receiving
立体映像再生装置１４は、ディスプレイに映像を再生する。立体映像の再生方法としては、眼鏡を用いるアナグリフ方式、偏光フィルタ方式、時分割方式、裸眼視するパララックスバリア方式、レンティキュラ方式などがある。 The stereoscopic video playback device 14 plays back video on the display. As a stereoscopic image reproduction method, there are an anaglyph method using glasses, a polarization filter method, a time division method, a parallax barrier method for naked eye viewing, a lenticular method, and the like.
次に、本発明による立体映像調整装置１１による調整について、図５を参照して説明する。
Next, adjustment by the 3D
［立体映像調整装置による調整］
立体映像調整装置１１を用いて映像調整を行う場合には、最初に被写体として調整用画像５０を用意する。調整用画像５０は、ディスプレイ上に表示された画像でも、紙面上に表示された画像でもよい。
[Adjustment using 3D image adjustment device]
When performing video adjustment using the stereoscopic
立体撮像装置１０は、調整用画像５０を撮像し、立体映像調整装置１１に出力する。立体映像調整装置１１は、立体撮像装置１０から出力される撮像画像を取り込み、右眼用撮像装置１０１からの撮像画像と左眼用撮像装置１０２からの撮像画像とを比較し、ずれ量を算出する。ずれ量を算出した後に、立体映像再現用の被写体を撮像することにより、その後の撮像画像に対して、所定の画像処理を施し、自動調整を行うことができるようになる。
The
図８に、調整用画像５０の例を示す。調整用画像５０は、画像の方向を判別できるように、上下、左右方向に非対称の画像が用いられる。
FIG. 8 shows an example of the
また、水平方向のずれ量を自動調整可能とするために、図８（ｃ）に示すような、視差織り込み済み調整用画像を用いることもできる。ここで、視差織り込み済み画像とは、平行な２本の線８１と線８２が描かれており、線８１と線８２の間隔を視差量と一致させた画像のことをいう。ここで、視差量とは、同一物を、理想的な（位置調整が完全になされた）右眼用立体撮像装置と左眼用立体撮像装置とで撮像した場合の、撮像画像の水平方向のずれ量のことであり、演算により求めることができる。
In addition, in order to automatically adjust the amount of deviation in the horizontal direction, a parallax woven adjustment image as shown in FIG. 8C can be used. Here, the parallax-incorporated image is an image in which two
図８（ｄ）は、視差織り込み済み調整用画像を立体撮像装置１０で撮像した場合の撮像画像を重ねて表示したものである。右眼用立体撮像装置１０１からの撮像画像には線８１−Ｒと線８２−Ｒが描かれ、左眼用立体撮像装置１０２からの撮像画像には線８１−Ｌと線８２−Ｌが描かれる。理想的な立体撮像装置１０で視差織り込み済み調整用画像を撮像した場合、視差織り込み済み調整用画像には視差が織り込まれているため、線８１−Ｌと線８２−Ｒとが同じ位置に描かれるようになる。なお、調整用画像５０をスクリーン面（右眼用立体撮像装置１０１と左眼用立体撮像装置１０２との光軸が交わるコンバージェンスポイントを含み、立体撮像装置１０に正対する面）５１より近いに配置した場合には、線８１−Ｒ・線８２−Ｒは線８１−Ｌ・線８２−Ｌに対して左側に描かれ、調整用画像５０をスクリーン面５１より遠い位置に配置した場合には、線８１−Ｒ・線８２−Ｒは線８１−Ｌ・線８２−Ｌに対して右側に描かれるようになる。
FIG. 8D shows an image obtained by superimposing the captured images when the
また、被写体として調整用画像を用いず、既存の物体を用いることもできる。この場合について、図６を参照して説明する。既存の物体として、図６では一例として家６１を用いている。調整用画像を撮像した場合には、撮像後に立体映像調整装置１１により自動調整が可能であるが、調整用画像を用いなかった場合には、撮像画像のずれ量を算出するために、画像の特徴点を２点以上抽出する必要がある。
Also, an existing object can be used without using the adjustment image as the subject. This case will be described with reference to FIG. As an existing object, a
そこで、図６（ａ）に示すように、立体撮像装置１０により家６１を撮像し、撮像画像を立体映像調整装置１１で取り込んだ後に、右眼用撮像装置１０１からの撮像画像を右眼用モニタ１５−１に、左眼用撮像装置１０２からの撮像画像を左眼用モニタ１５−２に表示し、２点以上の特徴点をマーキングする。特徴点は、ユーザが手動で、画像のエッジ部分などのマーキングしやすい点を選択する。図６（ｂ）は、モニタ１５上に表示される撮像画像を示しており、４箇所の特徴点６２〜６５がマーキングされている。
Therefore, as illustrated in FIG. 6A, after the
ずれ量は、特徴点６２−１〜６５−１を線で結んだ右眼用特徴画像と、特徴点６２−２〜６５−２を線で結んだ左眼用特徴画像を立体映像調整装置１１に取り込み、両特徴画像を比較することにより、算出する。
The three-dimensional
また、被写体として平面な壁を使用することもできる。この場合には、複数のレーザポインタを用いて２箇所以上の点を指し示し、レーザポインタによって複数点が示された壁を撮像する。立体映像調整装置１１は、フレームメモリに格納された撮像画像を読み出し、レーザポインタによって示された点を線で結び、右眼用撮像画像と左眼用撮像画像を比較することにより、ずれ量を算出する。
In addition, a flat wall can be used as a subject. In this case, two or more points are pointed using a plurality of laser pointers, and a wall on which the plurality of points are indicated by the laser pointers is imaged. The stereoscopic
次に、本発明による実施例１の立体映像調整装置１１−ａの構成について、図２を参照して説明する。 Next, the configuration of the stereoscopic image adjustment device 11-a according to the first embodiment of the present invention will be described with reference to FIG.
［立体映像調整装置の構成］
立体映像調整装置１１は、画像取込部１１１と、フレームメモリ１１２（右眼用フレームメモリ１１２−１と左眼用フレームメモリ１１２−２）と、方向判定部１１３（右眼用方向判定部１１３−１と左眼用方向判定部１１３−２）と、ずれ量算出部１１４と、回転・Ｖシフト部１１５（右眼用回転・Ｖシフト部１１５−１と左眼用回転・Ｖシフト部１１５−２）と、拡大／マスク部１１６（右眼用拡大／マスク部１１６−１と左眼用拡大／マスク部１１６−２）と、Ｈシフト部１１７（右眼用Ｈシフト部１１７−１と左眼用Ｈシフト部１１７−２）と、縮小部１１８（右眼用縮小部１１８−１と左眼用縮小部１１８−２）と、調整用画像生成部１１９とを備える。なお、右眼用と左眼用とに分けて記載しているブロックは説明の便宜上のためであり、１つのブロックに統合することもできる。
[Configuration of stereoscopic image adjustment device]
The stereoscopic
画像取込部１１１は、立体撮像装置１０から出力される撮像画像を取り込み、フレームメモリ１１２に書き込む。
The image capturing unit 111 captures a captured image output from the
フレームメモリ１１２は、撮像画像及び画像処理に必要となるフレーム数分の画像を記憶する。 The frame memory 112 stores captured images and images for the number of frames necessary for image processing.
方向判定部１１３は、フレームメモリ１１２から撮像画像を読み出し、撮像画像の左右方向及び上下方向の向きを判別する。向きの種類は、立体撮像装置１０の構成により、反転なし、左右方向の反転あり、上下方向の反転あり、左右及び上下方向の反転あり、の４種類がある。方向判定部１１３は、判定が終了すると、２ｂｉｔの判定結果（例えば、００：反転なし、０１：左右方向の反転あり、１０：上下方向の反転あり、１１：左右及び上下方向の反転あり）を画像取込部１１１に出力する。画像取込部１１１は、方向判定信号に基づいたアドレス制御を行い、被写体と同じ方向を向いた反転のない方向調整済み画像をフレームメモリ１１２に書き込む。
The direction determination unit 113 reads the captured image from the frame memory 112 and determines the horizontal and vertical directions of the captured image. Depending on the configuration of the
被写体として調整用画像を用いる場合には、調整用画像生成部１１９にて調整用画像を生成し、方向判定部１１３は、撮像画像と調整用画像とを比較することによって判定する。例えば、調整用画像を生成する段階で調整用画像のパターン、濃度、ヒストグラム等の情報を得ることができるので、これらの情報を比較することで判定する。一方、被写体として調整用画像を用いない場合には、上述したように撮像画像をモニタ１５に表示させることによって、ユーザは撮像画像の方向を判定でき、ユーザが方向判定部１１３に判定結果を指示する。
When the adjustment image is used as the subject, the adjustment
ずれ量算出部１１４は、左眼用フレームメモリ１１２−１から読み出した方向調整済み画像と、右眼用フレームメモリ１１２−２から読み出した方向調整済み画像とを比較し、ずれ量を算出する。ずれには、垂直方向のずれ、回転方向のずれ、及び視差を含んだ水平方向のずれが存在する。 The shift amount calculation unit 114 compares the direction adjusted image read from the left eye frame memory 112-1 with the direction adjusted image read from the right eye frame memory 112-2, and calculates the shift amount. The shift includes a vertical shift, a rotation shift, and a horizontal shift including parallax.
調整用画像として図８（ａ）に示す画像を用いた場合、右眼用撮像画像の斜線の傾きをベクトルＲ、左眼用撮像画像の斜線の傾きをベクトルＬとすると、両撮像画像の回転方向の傾きΔＴは、図９（ａ）に示すように、ΔＴ＝ベクトルＲ−ベクトルＬで表される。ずれ量判定部１１４は、このΔＴが最小となるような回転角を算出する。また、被写体として調整用画像を用いずに既存の物体を用いた場合には、上述した撮像画像の特徴点を結んだ図形の傾きΔＴ、又はレーザポインタで指し示した点を結んだ図形の傾きΔＴが、最小となるような回転角を算出する。 When the image shown in FIG. 8A is used as the adjustment image, assuming that the slope of the oblique line of the right-eye captured image is vector R and the slope of the oblique line of the left-eye captured image is vector L, rotation of both captured images is performed. The direction inclination ΔT is represented by ΔT = vector R−vector L as shown in FIG. The deviation amount determination unit 114 calculates a rotation angle that minimizes this ΔT. When an existing object is used as the subject without using the adjustment image, the inclination ΔT of the figure connecting the feature points of the captured image described above or the inclination ΔT of the figure connecting the points pointed by the laser pointer is used. However, the rotation angle that minimizes is calculated.
ずれ量算出部１１４は、撮像画像をΔＴが最小となるように回転させた後に、垂直シフト量ΔＶを算出する。例えば、図９（ｂ）に示すように、左眼用撮像画像の斜線の始点を（ＸＬ０，ＹＬ０）、終点を（ＸＬ１，ＹＬ１）とし、図９（ｃ）に示すように、右眼用撮像画像の斜線の始点を（ＸＲ０，ＹＲ０）、終点を（ＸＲ１，ＹＲ１）としたとき、ΔＶは、ＹＬ０とＹＲ０の差分、ＹＬ１とＹＲ１の差分、又は両差分の平均値とする。 The deviation amount calculation unit 114 calculates the vertical shift amount ΔV after rotating the captured image so that ΔT is minimized. For example, as shown in FIG. 9B, the start point of the diagonal line of the left-eye captured image is (XL0, YL0), the end point is (XL1, YL1), and as shown in FIG. When the start point of the oblique line of the captured image is (XR0, YR0) and the end point is (XR1, YR1), ΔV is the difference between YL0 and YR0, the difference between YL1 and YR1, or the average value of both differences.
水平方向のずれ量には、視差量が含まれるため、右眼用撮像画像と左眼用撮像画像の水平方向のずれ量から視差量を減じた値を水平シフト量とする必要がある。そこで、立体映像調整装置１１に撮像情報を与え、撮像情報から視差量を求める必要がある。また、図８（ｃ）に示す視差織り込み済み調整用画像を用いた場合には、ずれがない場合には図８（ｄ）に示すように、線８１−Ｌと線８２−Ｒが重なるため、線８１−Ｌと線８２−Ｒの水平方向のずれ量が水平シフト量となる。なお、視差情報を立体映像調整装置１１に与えていない場合には、自動で水平シフト量を算出することはできず、撮像画像をモニタに表示させた後に、手動で調整する必要がある。
Since the amount of shift in the horizontal direction includes the amount of parallax, a value obtained by subtracting the amount of parallax from the amount of shift in the horizontal direction between the captured image for the right eye and the captured image for the left eye needs to be used as the horizontal shift amount. Therefore, it is necessary to give imaging information to the stereoscopic
回転・Ｖシフト部１１５は、フレームメモリ１１２から画像を読み出し、ずれ量判定部１１４で算出した回転角及び垂直シフト量に基づき、回転処理及び垂直シフト処理を行い、フレームメモリ１１２に書き込む。 The rotation / V shift unit 115 reads an image from the frame memory 112, performs a rotation process and a vertical shift process based on the rotation angle and the vertical shift amount calculated by the shift amount determination unit 114, and writes them in the frame memory 112.
拡大／マスク部１１６は、見切れ画像が発生しないようにするため、フレームメモリ１１２から回転後の画像を読み出し、拡大処理又はマスク処理を行い、フレームメモリ１１２に書き込む。なお、拡大処理をするかマスク処理をするかは、予め設定された処理モードに従う。 The enlargement / masking unit 116 reads out the rotated image from the frame memory 112, performs enlargement processing or mask processing, and writes it in the frame memory 112 so as not to generate a parting image. Whether the enlargement process or the mask process is performed depends on a preset processing mode.
図１０は、画像を回転した場合の画像の見切れについて説明する図である。回転後の画像は、画像表示領域からはみ出る見切れ画像（図の斜線部分）が存在する。そこで、拡大／マスク部１１６は、見切れ画像が存在しない有効領域を抽出する。有効画像領域の水平方向の幅をａ、有効画像領域の垂直方向の高さをｂ、画像表示領域の垂直方向の高さをｖ、回転角をα、画像表示領域の対角線と中心点から水平方向に引いた線との間のなす角度を２φ、有効画像領域の対角線の長さを２ｒとしたとき、ａ＝２ｒcosφ、ｂ＝２ｒsinφとなる。ここで、ｖ＝２ｒsin(φ+α)であるため、式を変形すると、ａ＝ｖcosφ／sin(φ+α)、ｂ＝ｖsinφ／sin(φ+α)となる。拡大処理をする場合、拡大率Ｋ＝ｈ／ａ＝ｖ/ｂとなる。 FIG. 10 is a diagram for explaining the discontinuity of an image when the image is rotated. The rotated image has a parting image (shaded portion in the figure) that protrudes from the image display area. Therefore, the enlargement / masking unit 116 extracts an effective area where no parted image exists. The horizontal width of the effective image area is “a”, the vertical height of the effective image area is “b”, the vertical height of the image display area is “v”, the rotation angle is “α”, and horizontal from the diagonal line and the center point of the image display area When the angle between the line drawn in the direction is 2φ and the length of the diagonal line of the effective image area is 2r, a = 2rcosφ and b = 2rsinφ. Here, since v = 2rsin (φ + α), when the equation is modified, a = vcosφ / sin (φ + α) and b = vsinφ / sin (φ + α). When the enlargement process is performed, the enlargement ratio K = h / a = v / b.
回転後の画像を垂直方向にｃだけシフトさせた場合には、有効画像領域の垂直方向の高さはｂ−ｃとなり、拡大率Ｋ＝ｖ/（ｂ−ｃ）となる。 When the rotated image is shifted by c in the vertical direction, the height of the effective image area in the vertical direction is bc, and the enlargement ratio K = v / (bc).
また、拡大／マスク部１１６は、無効画像領域と有効画像領域とを区別するために１ｂｉｔのキー信号（例えば、０：無効画像領域、１：有効画像領域）を生成する。回転・Ｖシフト部１１５で回転処理のみを行い、その後拡大／マスク部１１６で拡大処理を選択した場合には、図１０（ｂ）に示すように、画像表示領域全体が有効画像領域となる。拡大／マスク部１１６でマスク処理を選択した場合には、図１０（ｃ）に示す見切れ画像（無効画像領域）を０、有効画像領域を１とするキー信号を生成する。 Further, the enlargement / masking unit 116 generates a 1-bit key signal (for example, 0: invalid image area, 1: valid image area) in order to distinguish the invalid image area from the valid image area. When only the rotation process is performed by the rotation / V shift unit 115 and the enlargement process is selected by the enlargement / masking unit 116, the entire image display area becomes an effective image area as shown in FIG. When mask processing is selected by the enlargement / masking unit 116, a key signal is generated in which the cut-off image (invalid image region) shown in FIG.
Ｈシフト部１１７は、フレームメモリ１１２から画像を読み出し、例えば、水平シフト量がｎであった場合、右眼用Ｈシフト部１１７−１と、左眼用Ｈシフト部１１７−２は、それぞれｎ／２ずつ、左右反対方向にシフトする。 The H shift unit 117 reads an image from the frame memory 112. For example, when the horizontal shift amount is n, the right eye H shift unit 117-1 and the left eye H shift unit 117-2 respectively Shift by 2 in opposite directions.
縮小部１１８は、見切れ画像が存在しないようにするため、フレームメモリ１１２から画像を読み出し、縮小処理を行い、フレームメモリ１１２に書き込む、又は調整済み画像を画像出力部１２１に出力する。図１１は、画像を水平方向にシフトした場合の画像の見切れについて説明する図である。シフト後の画像は、画像表示領域からはみ出る見切れ画像（図の斜線部分）が存在する。 The reduction unit 118 reads out an image from the frame memory 112 and performs a reduction process to write the image into the frame memory 112 or output the adjusted image to the image output unit 121 so that there is no missing image. FIG. 11 is a diagram for explaining the discontinuity of an image when the image is shifted in the horizontal direction. The shifted image includes a parting image (shaded portion in the figure) that protrudes from the image display area.
見切れ画像が存在しないようにするために必要な縮小率Ｓは、画像表示領域の水平方向の幅をｈ、シフト幅をｄとしたとき、Ｓ＝ｈ／（ｈ＋２ｄ）で表される。 The reduction ratio S necessary to prevent the presence of the part-off image is represented by S = h / (h + 2d), where h is the horizontal width of the image display area and d is the shift width.
縮小した場合は、図１１（ｂ）に示す無効画像領域をマスクするために、キー信号を新たに生成する。 When the image is reduced, a key signal is newly generated in order to mask the invalid image area shown in FIG.
調整用画像生成部１１９は、図８（ａ）〜（ｃ）に例示した調整用画像を生成する。図８（ｃ）に示した視差織り込み済み調整用画像を生成する場合には、線８１と線８２の間隔（視差量）を、外部から入力される撮像情報を用いて演算することにより決定する。撮像情報とは、立体撮像装置１０の位置、右眼用立体撮像装置１０１と左眼用立体撮像装置１０２の間隔、立体撮像装置１０から被写体までの距離、立体撮像装置のパラメータ（広角レンズか否か）等の情報である。
The adjustment
制御部１２０は、上述した各部と接続され（配線は省略）、各部の動作を制御するとともに、通常モード設定時には、左眼用画像に対する処理と右眼用画像に対する処理とが完全に同期するように制御し、立体映像調整装置１１−１出力される左眼用調整済み画像（左眼用調整済み映像信号）と、立体映像調整装置１１−１出力される右眼用調整済み画像（右眼用調整済み映像信号）との間に遅延が生じないように制御する。
The
また、制御部１２０は、空撮した映像を立体映像として再生する場合に設定される、空撮モード設定時には、右眼用調整済み画像と左眼用調整済み画像の間にあらかじめ設定したフレーム数分の遅延が生じるように制御する。空撮モード設定時には、右眼用調整済み画像と左眼用調整済み画像とは同一の画像（視差のない画像）とする。そのために、空撮モードが設定されると、制御部１２０は、一方の（ここでは右眼用とする）画像取込部１１１−１のみから撮像画像を取り込み、方向判定部１１３−１で方向判定をし、方向調整済み画像を、右眼用調整済み画像及び左眼用調整済み画像として出力するように制御する。
Further, the
画像出力部１２１は、調整済み映像信号を、被写体として調整用画像を用いた場合は、送信装置１２に出力し、被写体として調整用画像を用いずに既存の物体を用いた場合には、モニタ１５に出力する。
The image output unit 121 outputs the adjusted video signal to the
次に、本発明による実施例１の立体映像調整装置１１−ａの動作について、図１２を参照して説明する。 Next, the operation of the stereoscopic image adjusting device 11-a according to the first embodiment of the present invention will be described with reference to FIG.
［立体映像調整装置の動作］
ステップＳ１２１にて、立体映像調整装置１１は、調整用画像生成部１１９によって、調整用画像を生成する。
[Operation of stereoscopic image adjustment device]
In step S <b> 121, the stereoscopic
ステップＳ１２２にて、立体撮像装置１０は、被写体として調整用画像を撮像する。なお、調整用画像を用いない場合には、ステップＳ１２１による処理は実行されず、ステップＳ１２２では被写体として既存の物体を撮像する。
In step S122, the
ステップＳ１２３にて、立体映像調整装置１１は、画像取込部１１１によって、立体撮像装置１０から出力される撮像画像を取り込み、フレームメモリ１１２に書き込む。
In step S <b> 123, the stereoscopic
ステップＳ１２４にて、立体映像調整装置１１は、方向判定部１１３によって、フレームメモリ１１２から撮像画像を読み出し、撮像画像の左右方向及び上下方向の向きを判別する。方向判定部１１３による判定が終了すると、立体映像調整装置１１は、画像取込部１１１によって、方向判定信号に基づいたアドレス制御を行い、反転のない反転処理済み画像をフレームメモリ１１２に書き込む。
In step S <b> 124, the stereoscopic
ステップＳ１２５にて、立体映像調整装置１１は、ずれ量算出部１１４によって、左眼用フレームメモリ１１２−１から読み出した反転処理済み画像と、右眼用フレームメモリ１１２−２から読み出した反転処理済み画像とを比較し、回転方向、垂直方向、水平方向のずれ量を算出する。
In step S <b> 125, the stereoscopic
ステップＳ１２６にて、立体撮像装置１０は、被写体として立体映像の再生に用いる映像を撮像する。ステップＳ１２４で方向が判定され、ステップＳ１２５でずれ量が算出されているので、ステップＳ１２７以降では、ステップＳ１２４で判定した方向とＳ１２５で算出したずれ量に基づき、立体映像の再生に用いる映像について画像処理を施す。
In step S126, the
ステップＳ１２７にて、立体映像調整装置１１は、画像取込部１１１によって、立体撮像装置１０から出力される撮像画像を取り込み、方向判定信号に基づいたアドレス制御を行い、反転のない反転処理済み画像をフレームメモリ１１２に書き込む。
In step S127, the stereoscopic
ステップＳ１２８にて、立体映像調整装置１１は、回転・Ｖシフト部１１５によって、フレームメモリ１１２から反転処理済み画像を読み出し、ずれ量判定部１１４で算出した回転角及び垂直シフト量に基づき、回転処理及び垂直シフト処理を行い、回転・垂直シフト処理済み画像をフレームメモリ１１２に書き込む。
In step S128, the stereoscopic
ステップＳ１２９にて、立体映像調整装置１１は、拡大／マスク部１１６によって、フレームメモリ１１２から回転・垂直シフト処理済み画像を読み出し、拡大処理又はマスク処理を行い、拡大／マスク処理済み画像をフレームメモリ１１２に書き込む。
In step S129, the stereoscopic
ステップＳ１３０にて、立体映像調整装置１１は、Ｈシフト部１１７によって、フレームメモリ１１２から拡大／マスク処理済み画像を読み出し、ずれ量判定部１１４で算出した水平シフト量に基づき、水平シフト処理を行い、水平シフト処理済み画像をフレームメモリ１１２に書き込む。
In step S <b> 130, the stereoscopic
ステップＳ１３１にて、立体映像調整装置１１は、縮小部１１８によって、フレームメモリ１１２から水平シフト処理済み画像を読み出し、縮小処理を行い、調整済み画像を送信装置１２に出力する。
In step S <b> 131, the stereoscopic
実施例１の立体映像調整装置１１−ａによれば、映像調整を自動で行うことができ、後処理時間、番組制作費の大幅な軽減を実現することができるようになる。 According to the stereoscopic image adjustment device 11-a of the first embodiment, the image adjustment can be automatically performed, and the post-processing time and the program production cost can be greatly reduced.
次に、本発明による実施例２の立体映像調整装置１１−ｂの構成について、図３を参照して説明する。 Next, the configuration of the stereoscopic image adjustment device 11-b according to the second embodiment of the present invention will be described with reference to FIG.
実施例２の立体映像調整装置１１−ｂは、図２に示した実施例１の立体映像調整装置１１−ａに対して、さらに補正テーブル１１９及びレンズ歪み補正部１２０を備える。内視鏡などの広角レンズを用いたカメラで撮像すると、図１３（ａ）に示すようなレンズ歪み（歪曲収差）が生じる。補正テーブル１１９及びレンズ歪み補正部１２０は、このレンズ歪みを補正するためのものである。
The stereoscopic image adjustment device 11-b according to the second embodiment is further provided with a correction table 119 and a lens
補正テーブル１１９は、フレームメモリ１１２に書き込む際のアドレスを変換するためのテーブルである。レンズ歪み補正部１２０は、補正テーブル１１９に従ってアドレスを変換し、フレームメモリ１１２に対して、変換後のアドレスにデータを書き込む。
The correction table 119 is a table for converting an address when writing to the frame memory 112. The lens
図１３（ｂ）に示す画像は、図１３（ａ）に示す画像に対して歪み補正をした画像である。歪み補正後の画像には、画像の周囲に無効画像領域が存在する。そこで、図１３（ｃ）に示すように、無効画像領域と有効画像領域を区別するために、キー信号を生成する。 The image shown in FIG. 13B is an image obtained by performing distortion correction on the image shown in FIG. The image after distortion correction has an invalid image area around the image. Therefore, as shown in FIG. 13C, a key signal is generated in order to distinguish the invalid image area from the valid image area.
実施例２の立体映像調整装置１１−ｂによれば、レンズ歪みを自動で補正することができるため、広角レンズを用いたカメラで撮像した場合であっても、立体映像を再現することができるようになる。 According to the stereoscopic image adjusting device 11-b of the second embodiment, since the lens distortion can be automatically corrected, a stereoscopic image can be reproduced even when captured by a camera using a wide-angle lens. It becomes like this.
次に、本発明による実施例３の立体映像調整装置の構成について、図４を参照して説明する。 Next, the configuration of the stereoscopic image adjustment apparatus according to the third embodiment of the present invention will be described with reference to FIG.
実施例３の立体映像調整装置１１−ｃは、図２に示した実施例１の立体映像調整装置１１−１に対して、さらに２つの参照メモリ１２２（右眼用参照メモリ１２２−１と左眼用参照メモリ１２２−２）を備え、ずれ量算出部１１４を２つ（右眼用ずれ量算出部１１４−１と左眼用ずれ量算出部１１４−２）備える。 The stereoscopic image adjusting device 11-c according to the third embodiment further includes two reference memories 122 (a right-eye reference memory 122-1 and a left-side reference) with respect to the stereoscopic image adjusting device 11-1 according to the first embodiment illustrated in FIG. Eye reference memory 122-2) and two shift amount calculation units 114 (right eye shift amount calculation unit 114-1 and left eye shift amount calculation unit 114-2).
調整用画像生成部１１９は、調整用画像を生成するとともに、外部から入力される撮像情報を基に、理想的な立体撮像装置１０で調整用画像を撮像した場合の右眼用参照用撮像画像及び左眼用参照用撮像画像を生成する。
The adjustment
右眼用参照メモリ１２２−１は右眼用参照用撮像画像を記憶し、左眼用参照メモリ１２２−２は左眼用参照用撮像画像を記憶する。 The right-eye reference memory 122-1 stores a right-eye reference captured image, and the left-eye reference memory 122-2 stores a left-eye reference captured image.
実施例１の立体映像調整装置１１−ａ又は実施例２の立体映像調整装置１１−ｂにおけるずれ量算出部１１４は、フレームメモリ１１２−１から読み出した反転処理済み画像と、フレームメモリ１１２−２から読み出した反転処理済み画像とを比較してずれ量を算出する。一方、実施例３の立体映像調整装置１１−ｃにおける右眼用ずれ量算出部１１４は、フレームメモリ１１２から読み出した反転処理済み画像と、参照メモリ１２４から読み出した参照用撮像画像とを比較して、右眼用撮像画像と左眼用撮像画像のずれ量をそれぞれ独立して算出する。 The shift amount calculation unit 114 in the stereoscopic video adjustment device 11-a of the first embodiment or the stereoscopic video adjustment device 11-b of the second embodiment uses the inverted image read from the frame memory 112-1 and the frame memory 112-2. The amount of deviation is calculated by comparing with the inverted image read out from. On the other hand, the right-eye shift amount calculation unit 114 in the stereoscopic image adjustment device 11-c according to the third embodiment compares the inverted image read from the frame memory 112 with the reference captured image read from the reference memory 124. Thus, the shift amount between the right-eye captured image and the left-eye captured image is calculated independently.
実施例３の立体映像調整装置１１−ｃによれば、参照用画像を基にし、右眼用撮像画像と左眼用撮像画像のずれを独立して算出するため、より精密な調整をすることができるようになる。 According to the stereoscopic image adjustment device 11-c of the third embodiment, more accurate adjustment is performed because the shift between the right-eye captured image and the left-eye captured image is independently calculated based on the reference image. Will be able to.
次に、裸眼で立体映像を再生するために、複数の立体撮像装置１０−１〜１０−ｎを用いて撮像する場合ついて、実施例４として、図７を参照して説明する。 Next, a case where imaging is performed using a plurality of stereoscopic imaging devices 10-1 to 10-n to reproduce a stereoscopic video with the naked eye will be described as Example 4 with reference to FIG.
本実施例では、立体映像調整装置１１−１は、他の実施例と同様に右眼用立体撮像装置１０１−１と左眼用立体撮像装置１０２−１との間のずれを調整する。しかし、立体映像調整装置１１−２は、右眼用立体撮像装置１０１−２と左眼用立体撮像装置１０２−２との間のずれではなく、左眼用立体撮像装置１０２−１と右眼用立体撮像装置１０１−２との間のずれを調整する。すなわち、複数の立体撮像装置１０を用いて撮像する場合、立体映像調整装置１１は、隣接する右眼用立体撮像装置１０１と左眼用立体撮像装置１０２との間のずれを調整する。このため、立体撮像装置１０の台数をｎ（右眼用立体撮像装置１０１の台数をｎ、左眼用立体撮像装置１０２の台数をｎ）とすると、立体映像調整装置１１の台数は２ｎ−１必要となる。
In the present embodiment, the stereoscopic image adjustment device 11-1 adjusts the shift between the right-eye stereoscopic imaging device 101-1 and the left-eye stereoscopic imaging device 102-1, similarly to the other embodiments. However, the stereoscopic image adjustment device 11-2 is not a shift between the right-eye stereoscopic imaging device 101-2 and the left-eye stereoscopic imaging device 102-2, but the left-eye stereoscopic imaging device 102-1 and the right eye. The deviation from the stereoscopic imaging device 101-2 is adjusted. That is, when imaging using a plurality of
また、立体映像調整装置１１−ｎ（ｎ≧２）の右眼用の入力信号には、立体映像調整装置１１−（ｎ−1）の左眼用の出力画像を用いる。このため、本実施例の画像取込部１１１は、他の立体映像調整装置から出力される調整済み画像を取り込むことができる。 In addition, the output image for the left eye of the stereoscopic video adjustment device 11- (n−1) is used as the input signal for the right eye of the stereoscopic video adjustment device 11-n (n ≧ 2). For this reason, the image capturing unit 111 according to the present embodiment can capture an adjusted image output from another stereoscopic video adjustment device.
立体映像調整装置１１−１は、調整用画像生成部１１９により、図８（ｄ）に示す視差織り込み済み調整用画像を生成する。そして、立体撮像装置１０ごとに視差織り込み済み調整用画像を交換して撮像する手間を省くために、他の立体撮像装置１０−ｎ（ｎ≧２）も、立体映像調整装置１１−１で生成した同一の視差織り込み済み調整用画像を被写体として撮像する。しかし、立体撮像装置１０の位置によって視差が異なるため、立体映像調整装置１１−１用に調整された視差織り込み済み調整用画像を被写体とした場合、このままでは立体映像調整装置１１−ｎ（ｎ≧２）において、水平シフト量を自動で算出することができない。
The stereoscopic image adjusting device 11-1 generates the parallax woven adjustment image shown in FIG. 8D by the adjustment
そこで、実施例４の立体映像調整装置１１は、立体映像調整装置１１間で視差量の演算に必要となる撮像情報を共有する。立体映像調整装置１１−ｎ（ｎ≧２）は、撮像情報に基づいて、理想的な立体撮像装置１０で視差織り込み済み調整用画像を撮像した場合の、線８１−Ｌと線８２−Ｒとの間隔を算出する。このようにすることで、全ての立体映像調整装置１１において自動調整が可能となる。
Therefore, the stereoscopic
なお、本実施例では、立体映像調整装置１１−ｎ（ｎ≧２）の右眼用の調整済み映像信号は不要となる。図７の例では、調整済み映像信号として信号１〜６が用いられる。 In this embodiment, the adjusted video signal for the right eye of the stereoscopic video adjustment device 11-n (n ≧ 2) is not necessary. In the example of FIG. 7, signals 1 to 6 are used as adjusted video signals.
実施例４の立体映像調整装置１１の構成によれば、複数の立体撮像装置１０を用いて撮像する場合にも、ずれ量を自動調整することができるようになる。
According to the configuration of the stereoscopic
ここで、立体映像調整装置１１として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、画像取込部１１１と、フレームメモリ１１２と、方向判定部１１３と、ずれ量算出部１１４と、回転・Ｖシフト部１１５と、拡大／マスク部１１６と、Ｈシフト部１１７と、縮小部１１８と、調整用画像生成部１１９とを機能させるための制御部１２０を、中央演算処理装置（ＣＰＵ）と少なくとも１つのメモリで構成される記憶部で実現できる。
Here, in order to function as the stereoscopic
さらに、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、画像取込部１１１と、フレームメモリ１１２と、方向判定部１１３と、ずれ量算出部１１４と、回転・Ｖシフト部１１５と、拡大／マスク部１１６と、Ｈシフト部１１７と、縮小部１１８と、調整用画像生成部１１９の有する機能を実現させることができる。更に、画像取込部１１１と、フレームメモリ１１２と、方向判定部１１３と、ずれ量算出部１１４と、回転・Ｖシフト部１１５と、拡大／マスク部１１６と、Ｈシフト部１１７と、縮小部１１８と、調整用画像生成部１１９の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納することができる。そのような記憶部は、コンピュータ内部のＲＡＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、立体映像調整装置１１としてのコンピュータで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。
Further, by causing such a computer to execute a predetermined program by the CPU, the image capturing unit 111, the frame memory 112, the direction determination unit 113, the deviation amount calculation unit 114, and the rotation / V shift unit 115 are processed. The functions of the enlargement / masking unit 116, the H shift unit 117, the reduction unit 118, and the adjustment
さらに、立体映像調整装置１１として機能させるコンピュータを、本発明の各構成要素としての手段として機能させるためのプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。
Furthermore, a program for causing a computer that functions as the stereoscopic
上述の実施例は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができ、更に、各実施例を組み合わせて別の実施例を実現することができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。 Each of the above-described embodiments has been described as a representative example. However, many modifications and replacements can be made within the spirit and scope of the present invention, and each embodiment can be combined to realize another embodiment. It will be apparent to those skilled in the art that Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes can be made without departing from the scope of the claims.
このように、本発明によれば、左眼用映像と右眼用映像の調整を自動で行う立体映像調整装置を提供することができるので、立体映像を生成する任意の用途に有用である。 As described above, according to the present invention, it is possible to provide a stereoscopic video adjustment device that automatically adjusts the left-eye video and the right-eye video, which is useful for any application for generating a stereoscopic video.
１１ 立体映像調整装置
１１１ 画像取込部
１１２ フレームメモリ
１１３ 方向判定部
１１４ ずれ量算出部
１１５ 回転・Ｖシフト部
１１６ 拡大／マスク部
１１７ Ｈシフト部
１１８ 縮小部
１１９ 調整用画像生成部
１２０ 制御部
１２１ 画像出力部
１２２ 補正テーブル
１２３ レンズ歪み補正部
１２４ 参照メモリ
DESCRIPTION OF
Claims (12)
前記右眼用撮像画像及び前記左眼用撮像画像を取り込む画像取込手段と、
前記右眼用撮像画像及び前記左眼用撮像画像の各々の左右方向及び上下方向の向きを判定する方向判定手段と、
前記方向判定手段による判定結果に基づき、前記被写体と同じ方向を向いた右眼用方向調整済み画像及び左眼用方向調整済み画像を生成する方向調整手段と、
前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の間の回転方向及び垂直方向のずれ量を算出するずれ量算出手段と、
前記ずれ量算出手段によって算出したずれ量に基づいて、前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の回転及び垂直方向の移動を行い、右眼用調整済み画像及び左眼用調整済み画像を生成するずれ量調整手段と、
前記右眼用調整済み画像及び前記左眼用調整済み画像の同期をとって遅延が生じないように制御する制御手段と、
を備えることを特徴とする立体映像調整装置。 A stereoscopic image adjustment device that automatically adjusts a shift between a right-eye captured image and a left-eye captured image output from a stereoscopic imaging device that images a subject,
Image capturing means for capturing the captured image for the right eye and the captured image for the left eye;
Direction determination means for determining the horizontal and vertical directions of each of the right-eye captured image and the left-eye captured image;
Direction adjustment means for generating a right-eye direction-adjusted image and a left-eye direction-adjusted image facing the same direction as the subject based on the determination result by the direction determination means;
A deviation amount calculation means for calculating a deviation amount in the rotation direction and the vertical direction between the right-eye direction adjusted image and the left-eye direction adjusted image;
Based on the shift amount calculated by the shift amount calculation means, the right-eye direction adjusted image and the left-eye direction adjusted image are rotated and moved in the vertical direction, and the right-eye adjusted image and the left eye are moved. A deviation amount adjusting means for generating an adjusted image,
Control means for controlling the adjusted image for the right eye and the adjusted image for the left eye so as not to cause a delay;
A stereoscopic image adjusting device comprising:
前記立体映像調整装置は、さらに、前記調整用画像を生成する調整用画像生成手段を備え、
前記方向判定手段は、前記右眼用撮像画像及び前記左眼用撮像画像と、前記調整用画像とを比較することによって判定することを特徴とする、請求項１に記載の立体映像調整装置。 When using an adjustment image that is asymmetric in the vertical and horizontal directions as a subject,
The stereoscopic video adjustment device further includes an adjustment image generation means for generating the adjustment image,
The stereoscopic image adjustment apparatus according to claim 1, wherein the direction determination unit determines the comparison by comparing the captured image for the right eye and the captured image for the left eye with the adjustment image.
前記制御部は、被写体を撮像した前記立体撮像装置から出力される右眼用撮像画像及び左眼用撮像画像を立体映像調整装置に接続されるモニタに出力するように制御し、
前記画像取込手段は、さらに、前記モニタに表示される画像に対して特徴点がマーキングされた特徴画像を取り込む手段を有し、
前記方向判定手段は、さらに外部からの指示に基づいて判定する手段を有し、
前記ずれ量算出手段は、前記特徴画像に対して生成された前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の間の回転方向及び垂直方向のずれ量を算出することを特徴とする、請求項１に記載の立体映像調整装置。 When the adjustment image is not used as a subject,
The control unit controls to output a captured image for the right eye and a captured image for the left eye output from the stereoscopic imaging device that images the subject to a monitor connected to the stereoscopic video adjustment device;
The image capturing means further includes means for capturing a feature image in which feature points are marked with respect to an image displayed on the monitor,
The direction determining means further includes means for determining based on an instruction from the outside,
The shift amount calculating means calculates a shift amount in a rotation direction and a vertical direction between the right-eye direction adjusted image and the left-eye direction adjusted image generated for the feature image. The stereoscopic image adjustment device according to claim 1.
前記ずれ量調整手段は、さらに、該ずれ量算出手段によって算出したずれ量に基づいて、前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の水平方向の移動を行う手段を有することを特徴とする、請求項１から６のいずれか一項に記載の立体映像調整装置。 The deviation amount calculating means further includes means for calculating a horizontal deviation from the imaging information,
The deviation amount adjusting means further includes means for horizontally moving the right-eye direction adjusted image and the left-eye direction adjusted image based on the deviation amount calculated by the deviation amount calculating means. The three-dimensional image adjusting device according to any one of claims 1 to 6, wherein
前記立体撮像装置をｎ個（ただし、ｎ＞１）備え、
前記立体撮像装置は右眼用立体撮像装置及び左眼用立体撮像装置を有し、
隣接する前記右眼用立体撮像装置及び前記左眼用立体撮像装置の間のずれを自動調整するために、前記立体映像調整装置を（２ｎ−１）個備え、
前記画像取込手段は、さらに、撮像画像を取り込む代わりに、他の立体映像調整装置から出力される調整済み画像を取り込む手段を有することを特徴とする立体映像調整システム。 11. The shift between a plurality of right-eye captured images and a left-eye captured image output from the plurality of stereoscopic imaging devices is picked up by a plurality of stereoscopic imaging devices, and any one of claims 1 to 10. A stereoscopic video adjustment system that automatically adjusts using a plurality of stereoscopic video adjustment devices according to claim,
N stereoscopic imaging devices (where n> 1),
The stereoscopic imaging device has a stereoscopic imaging device for the right eye and a stereoscopic imaging device for the left eye,
In order to automatically adjust the shift between the adjacent right-eye stereoscopic imaging device and the left-eye stereoscopic imaging device, (2n-1) stereoscopic image adjustment devices are provided,
The image capturing means further includes means for capturing an adjusted image output from another stereoscopic image adjusting device instead of capturing a captured image.
（ａ）前記右眼用撮像画像及び前記左眼用撮像画像を取り込むステップと、
（ｂ）前記右眼用撮像画像及び前記左眼用撮像画像の各々の左右方向及び上下方向の向きを判定するステップと、
（ｃ）前記ステップ（ｂ）による判定結果に基づき、前記被写体と同じ方向を向いた右眼用方向調整済み画像及び左眼用調方向整済み画像を生成するステップと、
（ｄ）前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の間の回転方向及び垂直方向のずれ量を算出するステップと、
（ｅ）前記ステップ（ｄ）により算出したずれ量に基づいて、前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の回転及び垂直方向の移動を行い、右眼用調整済み画像及び左眼用調整済み画像を生成するステップと、
（ｆ）前記右眼用調整済み画像及び前記左眼用調整済み画像の同期をとって遅延が生じないように制御するステップと、
を実行させるためのプログラム。 In a computer functioning as a stereoscopic video adjustment device that automatically adjusts the deviation between the right-eye captured image and the left-eye captured image output from the stereoscopic imaging device that captured the subject,
(A) capturing the captured image for the right eye and the captured image for the left eye;
(B) determining the horizontal and vertical directions of each of the right-eye captured image and the left-eye captured image;
(C) generating a right-eye adjusted image and a left-eye adjusted image oriented in the same direction as the subject based on the determination result in step (b);
(D) calculating a rotation amount and a vertical shift amount between the right-eye direction adjusted image and the left-eye direction adjusted image;
(E) Based on the amount of deviation calculated in the step (d), the right-eye direction adjusted image and the left-eye direction adjusted image are rotated and moved in the vertical direction to adjust the right-eye adjusted image. And generating an adjusted image for the left eye;
(F) controlling the right-eye adjusted image and the left-eye adjusted image so as not to cause a delay; and
A program for running
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009132292A JP5297899B2 (en) | 2009-06-01 | 2009-06-01 | Stereoscopic image adjustment device, stereoscopic image adjustment system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009132292A JP5297899B2 (en) | 2009-06-01 | 2009-06-01 | Stereoscopic image adjustment device, stereoscopic image adjustment system, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010278979A true JP2010278979A (en) | 2010-12-09 |
| JP5297899B2 JP5297899B2 (en) | 2013-09-25 |
Family
ID=43425468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009132292A Expired - Fee Related JP5297899B2 (en) | 2009-06-01 | 2009-06-01 | Stereoscopic image adjustment device, stereoscopic image adjustment system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5297899B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012117703A1 (en) * | 2011-03-02 | 2012-09-07 | パナソニック株式会社 | Three-dimensional image processing device, three-dimensional image processing method, spectacles device for viewing three-dimensional image, integrated circuit for three-dimensional image processing device, optical disk playback device, three-dimensional video signal playback device, and three-dimensional video signal display device |
| CN104871535A (en) * | 2012-12-24 | 2015-08-26 | 汤姆逊许可公司 | Display unit for rotatably displaying an autostereoscopic presentation |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06269025A (en) * | 1993-03-16 | 1994-09-22 | Fujitsu Ltd | Coding system for multi-eye stereoscopic video image |
| JPH08317425A (en) * | 1995-05-19 | 1996-11-29 | Olympus Optical Co Ltd | Electronic camera |
| JPH1127703A (en) * | 1997-06-30 | 1999-01-29 | Canon Inc | Display device and its control method |
| JP2001211403A (en) * | 2000-01-25 | 2001-08-03 | Mixed Reality Systems Laboratory Inc | Head mount display device and head mount display system |
| JP2002125135A (en) * | 2000-10-18 | 2002-04-26 | Konica Corp | Image quality evaluation device |
| JP2003052058A (en) * | 2001-08-06 | 2003-02-21 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image photographing equipment |
| JP2005130312A (en) * | 2003-10-24 | 2005-05-19 | Sony Corp | Stereoscopic vision image processing device, computer program, and parallax correction method |
| JP2005277606A (en) * | 2004-03-23 | 2005-10-06 | Fuji Photo Film Co Ltd | Photographing apparatus |
| JP2006041979A (en) * | 2004-07-28 | 2006-02-09 | Matsushita Electric Ind Co Ltd | Television receiver |
| JP2008524673A (en) * | 2004-12-06 | 2008-07-10 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート | Stereo camera image distortion correction apparatus and method |
-
2009
- 2009-06-01 JP JP2009132292A patent/JP5297899B2/en not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06269025A (en) * | 1993-03-16 | 1994-09-22 | Fujitsu Ltd | Coding system for multi-eye stereoscopic video image |
| JPH08317425A (en) * | 1995-05-19 | 1996-11-29 | Olympus Optical Co Ltd | Electronic camera |
| JPH1127703A (en) * | 1997-06-30 | 1999-01-29 | Canon Inc | Display device and its control method |
| JP2001211403A (en) * | 2000-01-25 | 2001-08-03 | Mixed Reality Systems Laboratory Inc | Head mount display device and head mount display system |
| JP2002125135A (en) * | 2000-10-18 | 2002-04-26 | Konica Corp | Image quality evaluation device |
| JP2003052058A (en) * | 2001-08-06 | 2003-02-21 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image photographing equipment |
| JP2005130312A (en) * | 2003-10-24 | 2005-05-19 | Sony Corp | Stereoscopic vision image processing device, computer program, and parallax correction method |
| JP2005277606A (en) * | 2004-03-23 | 2005-10-06 | Fuji Photo Film Co Ltd | Photographing apparatus |
| JP2006041979A (en) * | 2004-07-28 | 2006-02-09 | Matsushita Electric Ind Co Ltd | Television receiver |
| JP2008524673A (en) * | 2004-12-06 | 2008-07-10 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート | Stereo camera image distortion correction apparatus and method |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012117703A1 (en) * | 2011-03-02 | 2012-09-07 | パナソニック株式会社 | Three-dimensional image processing device, three-dimensional image processing method, spectacles device for viewing three-dimensional image, integrated circuit for three-dimensional image processing device, optical disk playback device, three-dimensional video signal playback device, and three-dimensional video signal display device |
| CN104871535A (en) * | 2012-12-24 | 2015-08-26 | 汤姆逊许可公司 | Display unit for rotatably displaying an autostereoscopic presentation |
| JP2016509388A (en) * | 2012-12-24 | 2016-03-24 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | Display device for displaying autostereoscopic presentation in a rotatable manner |
| CN104871535B (en) * | 2012-12-24 | 2018-11-06 | 汤姆逊许可公司 | The display unit presented for rotatably showing automatic stereo |
| US10412376B2 (en) | 2012-12-24 | 2019-09-10 | Interdigital Ce Patent Holdings | Apparatus for controlling a pixel arrangement in a display unit |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5297899B2 (en) | 2013-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5413184B2 (en) | Camera system and camera control method | |
| JP4897940B2 (en) | Stereo imaging device | |
| JP5166650B2 (en) | Stereo imaging device, image playback device, and editing software | |
| WO2011136191A1 (en) | Stereoscopic image reproduction device and method, stereoscopic image capturing device, stereoscopic display device | |
| WO2011121840A1 (en) | 3d-image capturing device | |
| JP5371845B2 (en) | Imaging apparatus, display control method thereof, and three-dimensional information acquisition apparatus | |
| WO2012002046A1 (en) | Stereoscopic panorama image synthesizing device and compound-eye imaging device as well as stereoscopic panorama image synthesizing method | |
| JP3595634B2 (en) | Compound eye camera and image processing method | |
| JP5515729B2 (en) | Camera adapter device and camera control method | |
| JP5449535B2 (en) | Stereo imaging device and control method thereof | |
| JP2012129768A (en) | Document camera, document camera control method, program, and display processing system | |
| JP2005020606A (en) | Digital camera | |
| JP2014154907A (en) | Stereoscopic imaging apparatus | |
| JP2010093626A (en) | Image processing apparatus and method, image reproducing device and method, and program | |
| JP5297899B2 (en) | Stereoscopic image adjustment device, stereoscopic image adjustment system, and program | |
| WO2012101916A1 (en) | Stereoscopic video processor, stereoscopic video processing program and recording medium therefor, stereoscopic imaging device and stereoscopic video processing method | |
| WO2011024423A1 (en) | Control device for stereoscopic image display and imaging device for stereoscopic images | |
| JP6004741B2 (en) | Image processing apparatus, control method therefor, and imaging apparatus | |
| JPH11187425A (en) | Stereoscopic video system and method | |
| JP4217182B2 (en) | Imaging device | |
| JP2014022888A (en) | Image pickup device and image pickup device manufacturing method | |
| JP2011182003A (en) | Panorama camera and 360-degree panorama stereoscopic video system | |
| WO2004071101A1 (en) | 3-dimensional video recording/reproduction device | |
| JP2000261830A (en) | Stereoscopic video image pickup device | |
| JP2014090252A (en) | Image processing device and control method for the same, image pickup device and control method for the same and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120518 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130530 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130611 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130617 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5297899 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |