JP2011199556A - Stereoscopy imaging device, stereoscopic signal generator, and program - Google Patents
Stereoscopy imaging device, stereoscopic signal generator, and program Download PDFInfo
- Publication number
- JP2011199556A JP2011199556A JP2010063649A JP2010063649A JP2011199556A JP 2011199556 A JP2011199556 A JP 2011199556A JP 2010063649 A JP2010063649 A JP 2010063649A JP 2010063649 A JP2010063649 A JP 2010063649A JP 2011199556 A JP2011199556 A JP 2011199556A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- rotation angle
- eye
- image
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、少なくとも３台のカメラにより撮像した映像信号から、視軸まわりの所望の回転角度方向から見た被写体のステレオ映像信号を出力する立体映像撮像装置及び立体映像信号生成装置に関するものである。
また、本発明は、少なくとも３台のカメラにより撮影された映像信号を受け取り、視軸まわりの任意の回転角方向から見た被写体のステレオ映像信号を生成するプログラムにも関するものである。
The present invention relates to a stereoscopic video imaging apparatus and a stereoscopic video signal generation apparatus that output a stereoscopic video signal of a subject viewed from a desired rotation angle around a visual axis from video signals captured by at least three cameras. .
The present invention also relates to a program that receives video signals captured by at least three cameras and generates a stereo video signal of a subject viewed from an arbitrary rotation angle around the visual axis.
立体映像技術は、映画やテレビ等のコンテンツ産業はもとより、医療や３次元計測などの様々な分野で利用されている。立体映像技術には種々の方式が開発されているが、右眼及び左眼に独立して映像を提示する２眼方式は、撮像技術及び表示技術共に実用レベルに到達しており、最も広く普及している。 The stereoscopic image technology is used in various fields such as medical treatment and three-dimensional measurement as well as the content industry such as movies and television. Various methods have been developed for stereoscopic video technology, but the twin-lens method that presents video independently to the right and left eyes has reached the practical level in terms of both imaging technology and display technology, and is most widely used. is doing.
２眼ステレオ映像を撮影する方式として、両眼視差を形成するために、２台のカメラを所定の間隔だけ水平方向にずらして撮像する手法が一般的であり、すでに立体ハイビジョンを撮影できる２眼ステレオカメラが開発され実用化されている。２眼ステレオカメラでは、撮影できる視差は１方向のみである。しかしながら、宇宙空間などの無重力空間で撮影する場合、複数の異なる方向の視差映像を形成することが望まれている。同様に、立体顕微鏡のように上方から覗き込んで試料を観察する場合、カメラを覗き込む角度に対応して様々な方向から見た立体画像を表示することも望まれている。さらに、外科手術においては、手術中に複数の角度方向から見た患部の立体画像がモニタ上に表示されれば、一層正確な手術を行う上で極めて有益である。 As a method for capturing a binocular stereo image, a method of capturing images by shifting two cameras in a horizontal direction by a predetermined interval in order to form binocular parallax is generally used. Stereo cameras have been developed and put into practical use. In the binocular stereo camera, the parallax that can be photographed is only in one direction. However, when photographing in a weightless space such as outer space, it is desired to form a plurality of parallax images in different directions. Similarly, when a sample is observed by looking into it from above like a stereoscopic microscope, it is also desired to display a stereoscopic image viewed from various directions corresponding to the angle of looking into the camera. Further, in a surgical operation, if a stereoscopic image of an affected part viewed from a plurality of angular directions is displayed on a monitor during the operation, it is extremely useful for performing a more accurate operation.
複数の異なる方向の視差映像を取得する方法として、半球状に配置した多眼カメラを用いて撮影する方法が既知である（特許文献１参照）。この撮影方法では、同時に多数の視差映像が生成されるので、全方位のステレオ映像を同時に取得することができる。 As a method of acquiring a plurality of parallax images in different directions, a method of photographing using a multi-lens camera arranged in a hemisphere is known (see Patent Document 1). In this photographing method, a large number of parallax images are generated at the same time, so that omnidirectional stereo images can be simultaneously acquired.
また、ステレオカメラをコンピュータ制御可能な６自由度の回転台に取付け、任意の回転方向に対するステレオ画像を取得する方法も提案されている（例えば、非特許文献１参照）。この撮影方式では、撮影方向を自由にコントロールすることができるので、自由な視点のステレオ映像を生成することができる。
特許文献１に記載の撮影方法では、同時に全方位方向の視点の映像を取得できるため、カメラを回転させることなく、様々な視差方向のステレオ映像を取得することができる。しかしながら、多数のカメラを半球状に高密度に配置するため、１つのカメラ当たりの解像度が得られず、ステレオ映像を高精細化することが困難であった。また、選択したカメラの組み合わせによっては視差が異なるため、カメラの選択次第では奥行きが変化する不具合もある。さらに、多数のカメラを半球状に配置する必要があり、撮像装置の構造が複雑化し実用化しにくい欠点もある。 In the photographing method described in Patent Document 1, since images of viewpoints in all directions can be acquired simultaneously, stereo images of various parallax directions can be acquired without rotating the camera. However, since a large number of cameras are arranged in a hemispherical shape at a high density, the resolution per camera cannot be obtained, and it has been difficult to increase the definition of stereo images. In addition, since the parallax varies depending on the combination of the selected cameras, there is a problem that the depth changes depending on the selection of the cameras. Further, it is necessary to arrange a large number of cameras in a hemispherical shape, and there is a drawback that the structure of the imaging device is complicated and difficult to put into practical use.
非特許文献１に記載の方法では、ステレオカメラ自体を視軸の回転も含めて自由に回転できるので、高品質のステレオ画像が撮影される。また、視差が固定されたステレオカメラを用いることにより、回転角によって奥行きの変化が生じることもない。しかしながら、カメラを物理的に移動させて各視点回転角度毎に撮影するため、１回の撮影操作により複数の視点回転方向のステレオ映像を同時に取得できない欠点があった。さらに、視点の回転角に応じてカメラを移動させるため、複雑な駆動系が必要であり、撮影装置自体が大掛かりになる欠点もある。 In the method described in Non-Patent Document 1, since the stereo camera itself can be freely rotated including the rotation of the visual axis, a high-quality stereo image is taken. Further, by using a stereo camera with a fixed parallax, there is no change in depth depending on the rotation angle. However, since the camera is physically moved to shoot at each viewpoint rotation angle, there is a drawback that stereo images in a plurality of viewpoint rotation directions cannot be acquired simultaneously by one shooting operation. Furthermore, since the camera is moved according to the rotation angle of the viewpoint, a complicated drive system is required, and there is a disadvantage that the photographing apparatus itself becomes large.
本発明の目的は、装置が大掛かりになることなく、視軸まわりの任意の角度方向から見た被写体のステレオ映像を取得できる立体映像撮像装置及び立体映像信号生成装置を実現することにある。 An object of the present invention is to realize a stereoscopic video imaging apparatus and a stereoscopic video signal generation apparatus that can acquire a stereoscopic video of a subject viewed from an arbitrary angle around a visual axis without the apparatus becoming large.
本発明による立体映像撮像装置は、視軸まわりの所望の角度方向から見た被写体のステレオ映像を撮像する立体映像撮像装置であって、
円周上に等間隔で配置したｍ個（ｍは３以上の自然数）のカメラ、及び、前記円周の中心を通る視軸を有する撮像系と、
前記視軸まわりの回転角を入力する回転角入力手段と、
回転角と、右眼映像を撮像するカメラ及び左眼映像を撮像するカメラのカメラ対との関係を規定した情報を有し、前記回転角入力手段を介して入力された回転角に対応するカメラ対を選択するカメラ対選択手段と、
前記カメラ対選択手段により選択されたカメラ対の各カメラによりそれぞれ撮影された映像信号を受け取り、左眼用及び右眼用のカメラ映像について回転処理を行って、前記入力された回転角だけ回転した回転映像を生成する映像処理手段とを有し、
生成された左眼用及び右眼用の回転映像の映像信号を、前記入力された回転角度方向から見た被写体のステレオ映像信号として出力することを特徴とする。
A stereoscopic video imaging apparatus according to the present invention is a stereoscopic video imaging apparatus that captures a stereoscopic video of a subject viewed from a desired angular direction around a visual axis,
An m number of cameras (m is a natural number of 3 or more) arranged at equal intervals on the circumference, and an imaging system having a visual axis passing through the center of the circumference;
Rotation angle input means for inputting a rotation angle around the visual axis;
A camera having information defining a relationship between a rotation angle and a camera pair of a camera that captures a right-eye image and a camera that captures a left-eye image, and that corresponds to the rotation angle input through the rotation angle input unit Camera pair selection means for selecting a pair;
Receiving video signals shot by each camera of the camera pair selected by the camera pair selection means, rotating the left-eye and right-eye camera images, and rotating the input rotation angle Video processing means for generating a rotated video,
The generated left-eye and right-eye rotation video signals are output as stereo video signals of the subject viewed from the input rotation angle direction.
本発明では、円周上に等間隔で固定配置した少なくとも３台のカメラを用いて被写体を撮像する。回転角入力手段を介して被写体を臨む視軸まわりの所望の回転角が入力されると、カメラ対選択手段が作動して入力された回転角に対応するカメラ対が選択される。映像処理手段において、選択されたカメラ対の各カメラから出力されるカメラ映像について回転処理が行われ、入力された回転角だけ回転した回転映像が形成される。回転処理された各カメラ映像は、入力された回転角度方向から見た左眼用及び右眼用の被写体像であるから、回転映像から所定の画素サイズの映像を切り出すことにより、立体映像信号が出力される。本発明による立体映像撮像装置は、固定配置された少なくとも３台のカメラを用い、信号処理により回転映像を形成しているので、装置が大掛かりになることなく、観察者が望む任意の角度方向から見た被写体の立体映像を生成することが可能である。 In the present invention, the subject is imaged using at least three cameras fixedly arranged at equal intervals on the circumference. When a desired rotation angle around the visual axis facing the subject is input via the rotation angle input means, the camera pair selection means is operated to select a camera pair corresponding to the input rotation angle. In the video processing means, a rotation process is performed on the camera video output from each camera of the selected camera pair, and a rotated video rotated by the input rotation angle is formed. Since each rotated camera image is a left-eye and right-eye subject image viewed from the input rotation angle direction, a stereoscopic image signal is obtained by cutting out an image having a predetermined pixel size from the rotated image. Is output. The stereoscopic image pickup apparatus according to the present invention uses at least three cameras arranged in a fixed manner and forms a rotated image by signal processing, so that the apparatus does not become large and can be viewed from any angle direction desired by the observer. It is possible to generate a stereoscopic image of the viewed subject.
本発明による立体映像撮像装置では、入力される回転角によっては、水平視差及び垂直視差を含む立体映像が生成される。しかし、水平視差が十分に小さい範囲であれば、ある程度の垂直視差が含まれていても右眼映像と左眼映像とが融合され、立体視することが可能である。この点について、学術論文においても同様な報告がされている（“時分割立体視の成立条件”、テレビジョン学会誌、Vol.41、No.6、pp.549-555(1987)）。当該学術論文では、水平視差が１０分以下の範囲であれば、水平視差に対する垂直視差の比が１／２程度まで許容され、立体視することが可能である旨述べられている。 In the stereoscopic video imaging apparatus according to the present invention, a stereoscopic video including horizontal parallax and vertical parallax is generated depending on the input rotation angle. However, if the horizontal parallax is in a sufficiently small range, the right-eye video and the left-eye video can be fused and stereoscopically viewed even if some vertical parallax is included. A similar report on this point has been made in academic papers ("Conditions for time-division stereoscopic viewing", Television Society Journal, Vol. 41, No. 6, pp. 549-555 (1987)). The academic paper states that when the horizontal parallax is in the range of 10 minutes or less, the ratio of the vertical parallax to the horizontal parallax is allowed up to about 1/2, and stereoscopic viewing is possible.
本発明による立体映像信号生成装置は、円周上に等間隔で配置したｍ個（ｍは３以上の自然数）のカメラにより撮影された映像信号を受け取り、前記円周の中心を通る視軸まわりの任意の回転角方向から見た被写体のステレオ映像信号を生成する立体映像信号生成装置であって、
前記視軸まわりの回転角を入力する回転角入力手段と、
回転角と、右眼映像を撮像するカメラ及び左眼映像を撮像するカメラのカメラ対との関係を規定した情報を有し、前記回転角入力手段を介して入力された回転角に対応するカメラ対を選択するカメラ対選択手段と、
前記カメラ対選択手段により選択されたカメラ対の各カメラによりそれぞれ撮影された映像信号を受け取り、左眼用及び右眼用のカメラ映像について回転処理を行って、前記入力された回転角だけ回転した回転映像を生成する映像処理手段とを有し、
生成された左眼用及び右眼用の回転映像の映像信号を、前記入力された回転角度方向から見た被写体のステレオ映像信号として出力することを特徴とする。
A stereoscopic video signal generating apparatus according to the present invention receives video signals photographed by m (m is a natural number of 3 or more) cameras arranged at equal intervals on the circumference, and around the visual axis passing through the center of the circumference. A stereoscopic video signal generation device for generating a stereo video signal of a subject viewed from any rotation angle direction of
Rotation angle input means for inputting a rotation angle around the visual axis;
A camera having information defining a relationship between a rotation angle and a camera pair of a camera that captures a right-eye image and a camera that captures a left-eye image, and that corresponds to the rotation angle input through the rotation angle input unit Camera pair selection means for selecting a pair;
Receiving video signals shot by each camera of the camera pair selected by the camera pair selection means, rotating the left-eye and right-eye camera images, and rotating the input rotation angle Video processing means for generating a rotated video,
The generated left-eye and right-eye rotation video signals are output as stereo video signals of the subject viewed from the input rotation angle direction.
本発明では、選択された２台のカメラから出力される映像信号をリアルタイムで処理してステレオ映像信号を出力することができる。或いは、カメラから出力された映像信号を記憶媒体に一旦記憶し、その後、本発明による立体映像信号生成装置を用いて、記憶媒体に記憶されている映像信号について信号処理を行い所望の回転角度方向から見た被写体の立体映像信号を生成することも可能である。すなわち、本発明による立体映像撮像装置を用いれば、例えば外科手術中に患者の患部を所望の角度方向から見た立体映像を手術と並行してリアルタイムでモニタ上に表示することができ、或いは、手術が終了した後に、手術中に種々の角度方向から見た患者の患部の立体映像を再生することも可能である。 In the present invention, it is possible to process a video signal output from two selected cameras in real time and output a stereo video signal. Alternatively, the video signal output from the camera is temporarily stored in a storage medium, and then the video signal stored in the storage medium is subjected to signal processing by using the stereoscopic video signal generation apparatus according to the present invention, and a desired rotation angle direction. It is also possible to generate a stereoscopic video signal of the subject viewed from the above. That is, by using the stereoscopic image pickup device according to the present invention, for example, a stereoscopic image obtained by viewing the affected part of a patient from a desired angle direction during a surgical operation can be displayed on a monitor in real time in parallel with the operation, or It is also possible to reproduce a stereoscopic image of the affected area of the patient viewed from various angles during the operation after the operation is completed.
本発明による立体映像信号生成装置は、撮像系から出力される映像信号を受け取って、コンピュータに所定の処理を実行させるプログラムとしても構成される。本発明によるプログラムは、円周上に等間隔で配置したｍ個（ｍは３以上の自然数）のカメラを含む撮像系により撮影された映像信号を受け取り、前記円周の中心を通る視軸まわりの任意の回転角方向から見た被写体のステレオ映像信号を生成するプログラムであって、コンピュータに、
視軸まわりの回転角と右眼映像を撮像するカメラ及び左眼映像を撮像するカメラのカメラ対との関係を規定した情報を用い、回転角入力手段を介して入力された回転角に対応するカメラ対を選択する手順と、
選択されたカメラ対の各カメラによりそれぞれ撮影された映像信号を受け取り、左眼用及び右眼用のカメラ映像について回転処理を行って、前記入力された回転角だけ回転した回転映像を生成する手順と、
生成された左眼用及び右眼用の回転映像から所定の水平画素数及び垂直画素数の画像を切り出し、切り出された画像の映像信号を、前記入力された回転角度方向から見た被写体のステレオ映像信号として出力させる手順とを実行させる。
The stereoscopic video signal generation apparatus according to the present invention is also configured as a program that receives a video signal output from an imaging system and causes a computer to execute predetermined processing. The program according to the present invention receives a video signal taken by an imaging system including m (m is a natural number of 3 or more) cameras arranged at equal intervals on the circumference, and moves around the visual axis passing through the center of the circumference. A program for generating a stereo video signal of a subject viewed from an arbitrary rotation angle direction of
Corresponding to the rotation angle input through the rotation angle input means using information defining the relationship between the rotation angle around the visual axis and the camera pair of the camera that captures the right-eye image and the camera that captures the left-eye image The procedure to select a camera pair,
A procedure for receiving a video signal shot by each camera of the selected camera pair, performing rotation processing on the left-eye and right-eye camera images, and generating a rotated image rotated by the input rotation angle When,
An image having a predetermined number of horizontal pixels and vertical pixels is cut out from the generated left-eye and right-eye rotation images, and the video signal of the cut-out image is viewed as a stereo of the subject viewed from the input rotation angle direction. And a procedure for outputting as a video signal.
本発明によれば、視軸まわりの任意の角度方向から見た被写体の立体映像を撮像することが可能である。また、異なる複数の角度方向から見た被写体の立体映像を同時に出力することも可能である。従って、例えば外科手術中に、術者（医者）の反対側から見た患者の患部の立体映像を手術と並行してモニタ上に表示することも可能となる。これにより、術者は、自身では見にくい反対側から見た立体映像を参照しながら手術を行うことができ、手術を行う上で有益な画像情報を得ることが可能になる。 According to the present invention, it is possible to capture a stereoscopic image of a subject viewed from an arbitrary angle around the visual axis. It is also possible to simultaneously output a stereoscopic image of a subject viewed from a plurality of different angular directions. Accordingly, for example, during a surgical operation, a stereoscopic image of the affected area of the patient viewed from the opposite side of the operator (doctor) can be displayed on the monitor in parallel with the operation. Accordingly, the surgeon can perform an operation while referring to a stereoscopic image viewed from the opposite side that is difficult to see, and can obtain image information useful for performing the operation.
図１は本発明による立体映像撮像装置の撮像系（カメラ系）の配置例を示し、図１（Ａ）は斜視図、図１（Ｂ）はカメラ側から被写体方向を見た線図的平面図である。本発明による立体映像撮像装置は、観察すべき被写体を撮像する撮像系１と、撮像系から出力される映像出力を処理してステレオ映像信号を生成する信号処理系（立体映像信号生成装置）１０とで構成される。撮像系１は、固定配置されたｍ個（ｍは３以上の自然数）のカメラを有し、各カメラにより撮像された映像出力を信号処理系１０に供給して立体映像信号（２眼ステレオ映像信号）を生成する。図１（Ｂ）に示すように、本発明では、撮像系１を構成する各カメラは円周２上に等間隔で配置する。すなわち、円周２と内接する正多角形の各頂点にカメラを配置する。円周２の中心を通り、円周が形成される面と直交する方向に延在する軸線を撮像系１の視軸３とする。本例では、３台のカメラを用いて被写体４の立体映像を撮像するものとし、３台のカメラであるカメラＡ〜Ｃは、円周２上に１２０°の角度間隔で等間隔に配置する。また、３台のカメラＡ〜Ｃは、各カメラにより撮像される画像の水平走査線方向又は垂直走査線方向がそれぞれ平行になるように配置する。 FIG. 1 shows an example of the arrangement of an imaging system (camera system) of a stereoscopic video imaging apparatus according to the present invention, FIG. 1 (A) is a perspective view, and FIG. 1 (B) is a diagrammatic plane as seen from the camera side. FIG. A stereoscopic video imaging apparatus according to the present invention includes an imaging system 1 that captures an object to be observed, and a signal processing system (stereoscopic video signal generation apparatus) 10 that processes a video output output from the imaging system to generate a stereo video signal. It consists of. The imaging system 1 has m cameras (m is a natural number of 3 or more) arranged in a fixed manner, and supplies a video output captured by each camera to the signal processing system 10 to provide a stereoscopic video signal (two-lens stereo video). Signal). As shown in FIG. 1B, in the present invention, the cameras constituting the imaging system 1 are arranged on the circumference 2 at equal intervals. That is, a camera is arranged at each vertex of a regular polygon inscribed in the circumference 2. An axis passing through the center of the circumference 2 and extending in a direction orthogonal to the plane on which the circumference is formed is defined as the visual axis 3 of the imaging system 1. In this example, it is assumed that a three-dimensional image of the subject 4 is captured using three cameras, and the cameras A to C, which are three cameras, are arranged on the circumference 2 at an equal interval of 120 °. . In addition, the three cameras A to C are arranged so that the horizontal scanning line direction or the vertical scanning line direction of images captured by the cameras are parallel to each other.
カメラＡ〜Ｃの光軸は、視軸１に対して平行に設定され又は視軸上の所定の点に輻輳させることもできる。また、３台のカメラを鉛直面内に配置して、撮像系１の視軸３を水平方向に延在するように設定することができる。或いは、３台のカメラを水平面内に配置し、視軸が鉛直方向に延在するように設定することもできる。例えば、外科手術中の患者の患部の立体映像を撮像する場合、手術台の上方に円周に沿って３台のカメラを等間隔で配置し、上方から患者の患部の立体映像を撮像することができる。 The optical axes of the cameras A to C can be set parallel to the visual axis 1 or converge to a predetermined point on the visual axis. In addition, it is possible to set three cameras in the vertical plane so that the visual axis 3 of the imaging system 1 extends in the horizontal direction. Alternatively, three cameras can be arranged in a horizontal plane so that the visual axis extends in the vertical direction. For example, when imaging a stereoscopic image of an affected part of a patient during a surgical operation, three cameras are arranged at equal intervals along the circumference above the operating table, and a stereoscopic image of the affected part of the patient is captured from above. Can do.
図２は、撮像系１を被写体方向に見た図である。説明の便宜上、カメラＢとカメラＣとを結ぶ線分の方向を基準視差方向とし、基準視差を符号５で示す。ここで、カメラＢを左眼用のカメラ及びカメラＣを右眼用カメラとして用いて被写体を撮像すれば、カメラＢ及びＣの映像出力を対としてステレオ映像信号（両眼ステレオ映像信号）が形成される。本発明では、視軸３まわりの任意の角度方向から見た被写体の立体映像を出力する。被写体を見る或いは被写体を臨む視軸まわりの角度方向を規定するため、本例では、基準視差５と視軸３とを結ぶ線分６を視軸周りの回転角を規定するための基準線（基準角度位置）とする。基準線（基準角度位置）６から視軸まわりの時計方向の回転角θを視軸まわりの回転角とし、角度θで規定される角度方向から被写体を見た際の立体映像を出力する。 FIG. 2 is a diagram of the imaging system 1 as viewed in the subject direction. For convenience of explanation, the direction of the line segment connecting the camera B and the camera C is set as a reference parallax direction, and the reference parallax is denoted by reference numeral 5. Here, if the subject is imaged using the camera B as the left-eye camera and the camera C as the right-eye camera, a stereo video signal (binocular stereo video signal) is formed using the video output of the cameras B and C as a pair. Is done. In the present invention, a stereoscopic image of a subject viewed from an arbitrary angle around the visual axis 3 is output. In order to define the angular direction around the visual axis that looks at the subject or faces the subject, in this example, a line 6 connecting the reference parallax 5 and the visual axis 3 is a reference line for defining the rotation angle around the visual axis ( Reference angular position). The clockwise rotation angle θ around the visual axis from the reference line (reference angle position) 6 is set as the rotation angle around the visual axis, and a stereoscopic image when the subject is viewed from the angle direction defined by the angle θ is output.
図３は信号処理系（立体映像信号生成装置）の一例を示す図である。３台のカメラＡ〜Ｃから出力される映像信号は、信号処理系１０に供給される。尚、信号処理系１０は、コンピュータにより実行されるソフトウエァとして構成することができる。信号処理系１０は、被写体を見る視軸まわりの回転角θを入力するための回転角入力手段１１を有する。回転角入力手段１１は、例えばコンピュータに接続したキーボードで構成する。入力された回転角θは、カメラ対選択手段１２及び映像処理手段１３にそれぞれ供給される。また、３台のカメラＡ〜Ｃから出力される映像信号は、カメラ対選択手段１２に入力する。 FIG. 3 is a diagram illustrating an example of a signal processing system (stereoscopic image signal generation device). Video signals output from the three cameras A to C are supplied to the signal processing system 10. The signal processing system 10 can be configured as software executed by a computer. The signal processing system 10 includes rotation angle input means 11 for inputting a rotation angle θ around the visual axis for viewing the subject. The rotation angle input means 11 is constituted by a keyboard connected to a computer, for example. The input rotation angle θ is supplied to the camera pair selection unit 12 and the video processing unit 13, respectively. The video signals output from the three cameras A to C are input to the camera pair selection unit 12.
カメラ対選択手段１２は、回転角と選択されるカメラ対との関係を規定したテーブルを有し、回転角入力手段を介して入力された回転角θに対応するカメラ対、すなわち右眼用カメラと左眼用カメラとのカメラ対を選択する。そして、選択したカメラ対の右眼用カメラ及び左眼用カメラからの映像出力を映像処理手段１３に出力する。 The camera pair selection means 12 has a table that defines the relationship between the rotation angle and the selected camera pair, and the camera pair corresponding to the rotation angle θ input via the rotation angle input means, that is, the right-eye camera. And a camera pair with the left-eye camera. Then, the video output from the right-eye camera and the left-eye camera of the selected camera pair is output to the video processing means 13.
映像処理手段１３は、回転角入力手段を介して入力された回転角θに基づき、受け取ったカメラ映像について回転処理を行い映像の中心を回転中心として回転角θだけ回転した回転映像を生成し、基準画素数の回転映像を切り出し、右眼用映像信号及び左眼用映像信号を対として出力する。 The image processing means 13 performs rotation processing on the received camera image based on the rotation angle θ input via the rotation angle input means, generates a rotation image rotated by the rotation angle θ with the center of the image as the rotation center, A rotated image of the reference number of pixels is cut out, and a right-eye video signal and a left-eye video signal are output as a pair.
カメラ対選択手段１２におけるカメラ対の選択方法について説明する。図４はカメラ対選択方法を説明するための撮像系から被写体方向を見た図である。図４において、カメラＡの光軸とカメラＣの光軸とを結ぶ線分を符号ａで示し、カメラＣの光軸とカメラＢの光軸とを結ぶ線分を符号ｂで示し、カメラＢの光軸とカメラＡの光軸とを結ぶ線分を符号ｃで示す。線分ａと直交し視軸に向かう線分の視軸まわりの角度方向を符号イで示し、線分ｂと直交し視軸に向かう線分の視軸まわりの角度方向を符号ロで示し、線分ｃと直交し視軸に向かう線分の視軸まわりの角度方向を符号ハで示す。カメラＡ〜Ｃは、撮像される各画像の垂直走査線が互いに平行になるように設定され、本例では、垂直走査線が図面上下向きとなるように設定されているものとする。 A method for selecting a camera pair in the camera pair selection unit 12 will be described. FIG. 4 is a view of the subject direction as viewed from the imaging system for explaining the camera pair selection method. In FIG. 4, a line segment connecting the optical axis of the camera A and the optical axis of the camera C is indicated by a symbol a, and a line segment connecting the optical axis of the camera C and the optical axis of the camera B is indicated by a symbol b. A line segment connecting the optical axis of the camera and the optical axis of the camera A is denoted by reference symbol c. The angle direction around the visual axis that is orthogonal to the line segment a and toward the visual axis is indicated by symbol a, the angular direction around the visual axis that is orthogonal to the line segment b and toward the visual axis is indicated by symbol b, The angular direction around the visual axis perpendicular to the line segment c and toward the visual axis is indicated by symbol C. The cameras A to C are set so that the vertical scanning lines of each image to be captured are parallel to each other, and in this example, the vertical scanning lines are set to be vertically oriented in the drawing.
符号ロで示す角度方向から被写体を撮像する場合、カメラＢとカメラＣとの離間方向と映像の視差方向とは一致する。従って、カメラＢから出力される映像信号を左眼用の映像出力とし、カメラＣから出力される映像信号を右眼用の映像出力とすることにより、視軸まわりの符号ロで示す角度方向から見たステレオ映像信号が形成される。また、符号ハで示す視軸まわりの角度方向から被写体を撮像する場合、カメラＡ及びＢにより撮像されるカメラ映像をそれぞれ時計方向に１２０°回転させると、カメラＡとカメラＢとの離間方向と映像の視差方向とが一致した回転映像が形成される。従って、カメラＡから出力されたカメラ映像を時計方向に１２０°回転させた回転映像を左眼用映像出力とし、カメラＢから出力されたカメラ映像を１２０°時計方向に回転させた回転映像を右眼用映像とすることにより、符号ハで示す角度方向から見たステレオ映像信号が形成される。さらに、符号イで示す角度方向から被写体を撮像する場合、カメラＣ及びＡにより撮像されるカメラ映像をそれぞれ時計方向に２４０°回転させると、カメラＣとカメラＡとの離間方向と視差方向とが一致した回転映像が形成される。従って、カメラＣから出力されるカメラ映像を２４０°回転させた回転映像を左眼用映像出力とし、カメラＡから出力されるカメラ映像を２４０°時計方向に回転させた回転映像を右眼用映像とすることにより、符号イで示す回転角度方向から見たステレオ映像信号が形成される。 When the subject is imaged from the angle direction indicated by the symbol B, the separation direction between the camera B and the camera C matches the parallax direction of the video. Accordingly, the video signal output from the camera B is used as the video output for the left eye, and the video signal output from the camera C is used as the video output for the right eye. A viewed stereo video signal is formed. Further, when imaging a subject from an angular direction around the visual axis indicated by reference symbol C, if the camera images captured by the cameras A and B are rotated 120 ° clockwise, respectively, the separation direction between the camera A and the camera B A rotated image in which the parallax direction of the image matches is formed. Therefore, the rotation image obtained by rotating the camera image output from the camera A by 120 ° clockwise is set as the left-eye image output, and the rotation image obtained by rotating the camera image output from the camera B by 120 ° clockwise is set to the right. By setting it as the image | video for eyes, the stereo video signal seen from the angle direction shown by code | symbol C is formed. Further, when the subject is imaged from the angle direction indicated by the symbol A, when the camera images captured by the cameras C and A are rotated by 240 ° clockwise, respectively, the separation direction and the parallax direction between the camera C and the camera A are changed. A coincident rotating image is formed. Therefore, the rotated image obtained by rotating the camera image output from the camera C by 240 ° is used as the left-eye image output, and the rotated image obtained by rotating the camera image output from the camera A by 240 ° clockwise is used as the right-eye image. As a result, a stereo video signal viewed from the rotation angle direction indicated by symbol A is formed.
さらに、角度方向ロから時計方向に１８０°回転した符号ニで示す角度方向、すなわち視軸をはさんで角度方向ロの反対側から被写体を撮像する場合、カメラＣ及びＢによりそれぞれ撮像されるカメラ映像を時計方向に１８０°回転させると、カメラＣとカメラＢの離間方向と映像の視差方向とが一致した回転映像が形成される。従って、カメラＣから出力されたカメラ映像を時計方向に１８０°回転させた回転映像を左眼用映像出力とし、カメラＢから出力されたカメラ映像を１２０°時計方向に回転させた回転映像を右眼用映像とすることにより、符号ニで示す角度方向から見たステレオ映像信号が形成される。同様に、角度方向ハから１８０°回転した符号ホで示す角度方向から被写体を撮像する場合、カメラＢ及びＡにより撮像されるカメラ映像を時計方向に３００°回転させると、カメラＢとカメラＡの離間方向と映像の視差方向とが一致した回転映像が形成される。また、角度方向イから１８０°回転した符号ヘで示す角度方向から被写体を撮像する場合、カメラＡ及びＣにより撮像されるカメラ映像を時計方向に６０°回転させると、カメラＡとカメラＣの離間方向と視差方向とが一致した回転映像が形成される。 Further, in the case where an object is imaged from the opposite side of the angle direction B across the visual axis, ie, the angle direction indicated by the symbol D rotated 180 ° clockwise from the angle direction B, the cameras imaged by the cameras C and B, respectively. When the image is rotated 180 ° in the clockwise direction, a rotated image in which the separation direction between the camera C and the camera B and the parallax direction of the image coincide with each other is formed. Therefore, the rotation image obtained by rotating the camera image output from the camera C by 180 ° clockwise is set as the left-eye image output, and the rotation image obtained by rotating the camera image output from the camera B by 120 ° clockwise is set to the right. By setting it as the image | video for eyes, the stereo video signal seen from the angle direction shown by code | symbol D is formed. Similarly, when the subject is imaged from the angle direction indicated by the symbol E rotated 180 ° from the angle direction C, if the camera images captured by the cameras B and A are rotated 300 ° clockwise, the camera B and the camera A A rotated image in which the separation direction and the parallax direction of the image coincide with each other is formed. Further, when the subject is imaged from the angle direction indicated by the reference numeral rotated 180 ° from the angle direction A, when the camera images captured by the cameras A and C are rotated 60 ° clockwise, the camera A and the camera C are separated from each other. A rotated image in which the direction and the parallax direction match is formed.
視軸まわりの角度方向イ〜ヘから被写体を撮像し、得られたカメラ映像をそれぞれ対応する回転角だけ回転させた回転映像を形成することにより、水平視差だけを含み垂直視差を含まないステレオ映像信号が形成される。よって、符号イ〜ヘで示す視軸まわりの角度方向を視差基準方向と称することにする。 Stereo image that includes only horizontal parallax and does not include vertical parallax by imaging the subject from the angular directions a to f around the visual axis and forming a rotated image obtained by rotating the obtained camera image by the corresponding rotation angle. A signal is formed. Therefore, the angular direction around the visual axis indicated by reference signs A to F is referred to as a parallax reference direction.
上述したように、等間隔で配置した３台のカメラで撮像する場合、水平視差だけを含み垂直視差を含まないステレオ映像信号が形成される６つの視差基準方向イ〜ヘが視軸まわりに等間隔で形成される。そこで、本例のカメラ対選択方法では、視軸まわりの角度を６等分し、各視差基準方向イ〜ヘをそれぞれ中心に含み６０°の角度範囲を有する６つの角度領域１〜６を規定する。このように設定された６つの角度領域１〜６を図５に示す。図５には、角度領域１〜６と共に各角度領域１〜６が分担する角度範囲及び割り当てられるカメラ対も示す。尚、例えば撮像系が４台のカメラを含む場合、４つの角度領域が形成され、５台のカメラを含む場合５×２＝１０個の角度領域が形成される。 As described above, when imaging with three cameras arranged at equal intervals, six parallax reference directions a to f in which a stereo video signal that includes only horizontal parallax and does not include vertical parallax are formed around the visual axis, etc. Formed at intervals. Therefore, in the camera pair selection method of this example, the angle around the visual axis is divided into six equal parts, and six angle regions 1 to 6 having an angle range of 60 ° with each of the parallax reference directions A to F being the center are defined. To do. FIG. 5 shows six angle regions 1 to 6 set in this way. FIG. 5 also shows the angle ranges shared by the angle regions 1 to 6 and the assigned camera pairs together with the angle regions 1 to 6. For example, when the imaging system includes four cameras, four angle regions are formed, and when five cameras are included, 5 × 2 = 10 angle regions are formed.
各角度領域１〜６が分担する角度範囲は、前述した基準線６により規定される基準角度位置からの回転角度とする。
角度領域１は、０〜３０°及び３３０〜３６０°の角度範囲を分担し、カメラ対（Ｂ，Ｃ）が割り当てられる。ここで、カメラ対（Ｂ，Ｃ）は、左眼用カメラとしてカメラＢが割り当てられ、右眼用カメラとしてカメラＣが割り当てられることを示す。また、カメラ対（Ｃ，Ｂ）は、左眼用カメラとしてカメラＣが割り当てられ、右眼用カメラとしてカメラＢが割り当てられることを示す。
角度領域２は、３０〜９０°の角度範囲を分担し、カメラ対（Ａ，Ｃ）が割り当てられる。
角度領域３は、９０°〜１５０°の角度範囲を分担し、カメラ対（Ａ，Ｂ）が割り当てられる。
角度領域４は、１５０°〜２１０°の角度範囲を分担し、カメラ対（Ｃ，Ｂ）が割り当てられる。
角度領域５は、２１０°〜２７０°の角度範囲を分担し、カメラ対（Ｃ，Ａ）が割り当てられる。
角度領域６は、２７０°〜３３０°の角度範囲を分担し、カメラ対（Ｂ，Ａ）が割り当てられる。
The angle range shared by each angle region 1 to 6 is a rotation angle from the reference angle position defined by the reference line 6 described above.
The angle area 1 shares an angle range of 0 to 30 ° and 330 to 360 °, and a camera pair (B, C) is assigned. Here, the camera pair (B, C) indicates that the camera B is assigned as the left-eye camera and the camera C is assigned as the right-eye camera. The camera pair (C, B) indicates that the camera C is assigned as the left-eye camera and the camera B is assigned as the right-eye camera.
The angle area 2 shares an angle range of 30 to 90 °, and a camera pair (A, C) is assigned.
The angle region 3 shares an angle range of 90 ° to 150 ° and is assigned a camera pair (A, B).
The angle area 4 shares an angle range of 150 ° to 210 ° and is assigned a camera pair (C, B).
The angle region 5 shares an angle range of 210 ° to 270 ° and is assigned a camera pair (C, A).
The angle area 6 shares an angle range of 270 ° to 330 ° and is assigned a camera pair (B, A).
信号処理系１０のカメラ対選択手段は、図５に示す視軸まわりの６つの角度領域１〜６と分担する角度範囲及び選択されるカメラ対との関係を規定した情報を例えばテーブルとして有し、回転角入力手段１１から入力された回転角について、テーブルの情報に基づいて対応するカメラ対を決定する。 The camera pair selection means of the signal processing system 10 has, for example, a table that includes information defining the relationship between the angle range shared by the six angle regions 1 to 6 around the visual axis shown in FIG. 5 and the selected camera pair. The camera pair corresponding to the rotation angle input from the rotation angle input means 11 is determined based on the information in the table.
尚、カメラの組み合わせの総数は、Ｎ台のカメラから２台の並べる順列となるので、一般化すると以下の式が示される。
ＮＰ２＝Ｎ！／（Ｎ−２）！
Since the total number of camera combinations is a permutation in which two cameras are arranged from N cameras, the following equation can be generalized.
N P 2 = N! / (N-2)!
次に、映像処理手段１３における処理内容について説明する。映像処理手段１３は、受け取った左眼用カメラ及び右眼用カメラのカメラ映像について回転処理及び切り出し処理を行って、左眼用映像信号及び右眼用映像信号を出力する。図６は回転処理を説明するための図である。本例では、基準線（基準角度位置）６から時計方向に１１０°回転した角度方向から見た立体映像を出力することが選択され、回転角度入力手段１１を介して１１０°の回転角が入力されたものとする。回転角入力手段１１を介して１１０°の回転角が入力されると、カメラ対選択手段１２は、図５に示す回転角とカメラ対との関係を規定したテーブルを参照し、角度領域３を選択する。そして、左眼用カメラとしてカメラＡ及び右眼用カメラとしてカメラＢを含むカメラ対（Ａ，Ｂ）が選択され、カメラＡ及びＢの映像信号が映像処理手段１３に出力される。図６において、映像処理手段１３に出力されるカメラＡ及びＢのカメラ映像を実線で示し、カメラ映像の垂直走査線方向を矢印線で示す。映像処理手段１３では、カメラＡ及びカメラＢからそれぞれ出力されるカメラ映像の中心を回転中心として１１０°回転させ、１１０°回転した回転映像を生成する。生成された回転映像を破線で示す。本例の場合、図６に示すように、入力された１１０°の回転角度方向から被写体を見た場合、２台のカメラ間の離間方向と映像の視差方向とが一致した回転映像が形成される。従って、カメラＡ及びＢから出力されるカメラ映像を１１０°回転した回転映像を形成し、カメラＡの映像出力に基づく回転映像を左眼映像信号とし、カメラＢの映像出力に基づく回転映像を右眼映像信号として出力することにより、ステレオ映像信号が出力される。 Next, processing contents in the video processing means 13 will be described. The video processing means 13 performs rotation processing and clipping processing on the received camera images of the left eye camera and right eye camera, and outputs a left eye video signal and a right eye video signal. FIG. 6 is a diagram for explaining the rotation processing. In this example, it is selected to output a stereoscopic image viewed from an angle direction rotated 110 ° clockwise from the reference line (reference angle position) 6, and a rotation angle of 110 ° is input via the rotation angle input means 11. It shall be assumed. When a rotation angle of 110 ° is input via the rotation angle input means 11, the camera pair selection means 12 refers to the table defining the relationship between the rotation angle and the camera pair shown in FIG. select. The camera pair (A, B) including the camera A as the left eye camera and the camera B as the right eye camera is selected, and the video signals of the cameras A and B are output to the video processing means 13. In FIG. 6, the camera images of the cameras A and B output to the image processing means 13 are indicated by solid lines, and the vertical scanning line direction of the camera images is indicated by arrow lines. The image processing means 13 rotates the camera image output from the camera A and the camera B by 110 ° around the center of rotation, and generates a rotated image rotated by 110 °. The generated rotation image is indicated by a broken line. In the case of this example, as shown in FIG. 6, when the subject is viewed from the input rotation angle direction of 110 °, a rotation image in which the separation direction between the two cameras and the parallax direction of the image coincide is formed. The Accordingly, a rotated image obtained by rotating the camera images output from the cameras A and B by 110 ° is formed, the rotated image based on the image output from the camera A is used as the left eye image signal, and the rotated image based on the image output from the camera B is By outputting as an eye video signal, a stereo video signal is output.
左眼用及び右眼用の回転映像が形成された後、切り出し処理を行って所望のサイズの回転映像を形成する。出力される映像のサイズは、回転角によっては、元のカメラ映像からはみ出すことが想定される。そこで、カメラの水平及び垂直画素数をＨＣ，ＶＣ（ＶＣ≦ＨＣ）とし、出力される映像の水平及び垂直画素数をＨ０，Ｖ０とし、出力される映像のアスペクト比を１：Ａ（Ａ≧１）とし、以下の式
Ｖ０≦ ＶＣ／（１＋Ａ２）１／２
を満たすように出力映像の解像度を規定することにより、いずれの回転角が入力されても、出力映像がカメラ映像の画角からはみ出ることが防止される。この状態を図７に示す。
After the left-eye and right-eye rotation images are formed, a cut-out process is performed to form a rotation image of a desired size. The size of the output video is assumed to protrude from the original camera video depending on the rotation angle. Therefore, the number of horizontal and vertical pixels of the camera is set to H C , V C (V C ≦ H C ), the number of horizontal and vertical pixels of the output video is set to H 0 and V 0, and the aspect ratio of the output video is set. 1: A (A ≧ 1) and the following formula V 0 ≦ V C / (1 + A 2 ) 1/2
By defining the resolution of the output video so as to satisfy this condition, it is possible to prevent the output video from protruding from the angle of view of the camera video regardless of which rotation angle is input. This state is shown in FIG.
本発明による立体映像撮像装置では、入力される回転角によっては、水平視差及び垂直視差を含む立体映像が生成される。しかし、垂直視差を含んでも、水平視差が十分に小さい（例えば、水平視差が１０分以下）場合には、水平視差の１／２程度の垂直視差が含まれても、右眼映像と左眼映像とが融合され、明瞭な立体映像を出力することが可能である。 In the stereoscopic video imaging apparatus according to the present invention, a stereoscopic video including horizontal parallax and vertical parallax is generated depending on the input rotation angle. However, even if the vertical parallax is included, if the horizontal parallax is sufficiently small (for example, the horizontal parallax is 10 minutes or less), the right eye image and the left eye are included even if the vertical parallax is about ½ of the horizontal parallax. It is possible to output a clear stereoscopic video by combining the video.
本発明による立体映像信号生成装置は、コンピュータにより実行されるプログラムとして構成することもできる。本発明によるプログラムは、視軸まわりの回転角と右眼映像を撮像するカメラ及び左眼映像を撮像するカメラのカメラ対との関係を規定した情報を用い、例えばキーボードにより構成される回転角入力手段１１を介して入力された回転角に対応するカメラ対を選択する手順と、選択されたカメラ対の各カメラによりそれぞれ撮影された映像信号を受け取り、左眼用及び右眼用のカメラ映像について回転処理を行って、前記入力された回転角だけ回転した回転映像を生成する手順と、生成された左眼用及び右眼用の回転映像から所定の水平画素数及び垂直画素数の画像を切り出し、切り出された画像の映像信号を、前記入力された回転角度方向から見た被写体のステレオ映像信号として出力させる手順とをコンピュータに実行させる。 The stereoscopic video signal generation apparatus according to the present invention can also be configured as a program executed by a computer. The program according to the present invention uses information that defines the relationship between the rotation angle around the visual axis and the camera pair of the camera that captures the right-eye image and the camera that captures the left-eye image. A procedure for selecting a camera pair corresponding to the rotation angle input via the means 11 and a video signal captured by each camera of the selected camera pair are received, and the left-eye and right-eye camera images are received. Rotation processing is performed to generate a rotated image rotated by the input rotation angle, and an image having a predetermined number of horizontal pixels and vertical pixels is cut out from the generated left-eye and right-eye rotated images. And causing the computer to execute a procedure for outputting the video signal of the clipped image as the stereo video signal of the subject viewed from the input rotation angle direction.
図８は本発明による立体映像撮像装置の変形例を示す線図である。図３で用いた構成要素と同一の構成要素には同一符号を付して説明する。本例では、１回の回転角入力操作により複数の回転角を入力し、被写体を種々の回転角度方向から見たステレオ映像信号を同時に出力する。本例では、回転角入力手段１１を介して複数の回転角（θ1〜θm）を入力する。カメラ対選択手段１２は、入力された回転角に対応する複数のカメラ対を選択し、各カメラ対の左眼用カメラ及び右眼用カメラで撮影した映像信号を映像処理手段１３に供給する。映像処理手段１３は、入力された回転角に応じた回転処理を行うと共に切り出し処理を行い、各回転角度方向から見たステレオ映像信号を同時に出力する。本例では、異なる複数の角度方向から見たステレオ映像信号が同時に出力されるので、例えば手術中の患者の患部を複数の医者が手術する場合、各医者が臨む角度方向から見た患部の立体映像を同時に撮像し、モニタ上に表示することができる。 FIG. 8 is a diagram showing a modification of the stereoscopic video imaging apparatus according to the present invention. The same components as those used in FIG. 3 will be described with the same reference numerals. In this example, a plurality of rotation angles are input by one rotation angle input operation, and stereo image signals obtained by viewing the subject from various rotation angle directions are output simultaneously. In this example, a plurality of rotation angles (θ1 to θm) are input via the rotation angle input means 11. The camera pair selection unit 12 selects a plurality of camera pairs corresponding to the input rotation angle, and supplies the video processing unit 13 with video signals captured by the left eye camera and the right eye camera of each camera pair. The video processing means 13 performs a rotation process according to the input rotation angle and performs a cutout process, and simultaneously outputs a stereo video signal viewed from each rotation angle direction. In this example, since stereo image signals viewed from a plurality of different angular directions are simultaneously output, for example, when a plurality of doctors operate on an affected area of a patient who is undergoing surgery, the three-dimensional structure of the affected area viewed from the angle direction facing each doctor. Images can be taken simultaneously and displayed on a monitor.
図９は、用いるカメラが４台以上の場合、カメラ対の選択方法として隣接するカメラ同士をカメラ対として選択する例を示す。４台以上のカメラを用いて立体映像を撮像する場合、カメラ対の選択方法として、隣接するカメラ同士を選択する場合に加えて、対角方向に隣接するカメラ同士を選択することも可能である。しかしながら、対角方向に隣接するカメラ同士をカメラ対として選択すると、回転角が連続的に変化する立体映像を撮像する場合、水平視差量が不連続に変化する事態が発生する。しかしながら、視差量が不連続に変化した場合、撮像される立体映像の奥行き感が不自然に変化する不具合が発生する。そこで、本例では、４台以上のカメラを用いる撮像系において、円周上で隣接するカメラ同士をカメラ対として選択する。尚、図９において、４つの角度方向から見た場合に選択されるカメラ対を記載する。 FIG. 9 shows an example in which, when four or more cameras are used, adjacent cameras are selected as camera pairs as a camera pair selection method. When capturing a stereoscopic image using four or more cameras, as a method for selecting a camera pair, in addition to selecting adjacent cameras, it is also possible to select cameras adjacent in the diagonal direction. . However, when cameras that are adjacent in the diagonal direction are selected as a camera pair, a situation occurs in which the amount of horizontal parallax changes discontinuously when a stereoscopic image whose rotation angle continuously changes is captured. However, when the amount of parallax changes discontinuously, there arises a problem that the sense of depth of the captured stereoscopic video changes unnaturally. Therefore, in this example, in an imaging system using four or more cameras, cameras adjacent on the circumference are selected as camera pairs. In FIG. 9, a camera pair selected when viewed from four angular directions is described.
次に、最小限のカメラ台数で、取り得る視差基準方向を増加する実施例について説明する。図１０は、５台のカメラを用いて８つの視差基準方向が形成される例を示す。図１０（Ａ）に示すように、８つの視差基準方向を形成する場合、８台のカメラａ〜ｈが視軸まわりに等間隔で配置される。しかし、各視差基準方向に対して、それぞれ２通りずつ、水平視差が同一となるカメラ対が得られる。この場合、２通りのカメラ対のいずれのカメラ対を選択しても水平視差量は変わらないため、組み合わせが重複する組み合わせについてはカメラを削減することが可能である。つまり、図１０（Ｂ）に示すように、円周上に連続配置された５台のカメラａ〜ｅを残し、３台のカメラｆ〜ｈを削減することができる。すなわち、撮像系が２Ｎ個（Ｎは２以上の自然数）の視差基準方向を形成する場合、（Ｎ＋１）個のカメラを視軸まわりに３６０°／２Ｎの角度間隔で円周上に連続するように配置する。このようにカメラを配置することにより、最小限のカメラ台数で取り得る視差基準方向を増やすことができる。 Next, an embodiment in which the possible parallax reference directions are increased with the minimum number of cameras will be described. FIG. 10 shows an example in which eight parallax reference directions are formed using five cameras. As shown in FIG. 10A, when eight parallax reference directions are formed, eight cameras a to h are arranged at equal intervals around the visual axis. However, two pairs of cameras with the same horizontal parallax are obtained for each parallax reference direction. In this case, since the horizontal parallax amount does not change even if any one of the two camera pairs is selected, it is possible to reduce the number of cameras for combinations with overlapping combinations. That is, as shown in FIG. 10B, the five cameras a to e continuously arranged on the circumference can be left, and the three cameras f to h can be reduced. That is, when the imaging system forms 2N parallax reference directions (N is a natural number of 2 or more), (N + 1) cameras are arranged on the circumference at an angular interval of 360 ° / 2N around the visual axis. To place. By arranging the cameras in this way, it is possible to increase the parallax reference directions that can be taken with the minimum number of cameras.
本発明は上述した実施例だけに限定されず種々の変形や変更が可能である。例えば、上述した実施例では、予め視軸まわりの回転角を入力し、撮像された映像信号について直ちに映像処理を行ってステレオ映像信号を出力したが、撮像系の各カメラにより撮像された映像信号を一旦メモリに記憶し、本発明による立体映像信号生成装置を用い、メモリに記憶されている映像信号について信号処理を行って所望の角度方向から見たステレオ映像信号を出力することも可能である。この場合、撮像操作と映像処理操作とを時間的に相違して行うことができる。 The present invention is not limited to the above-described embodiments, and various modifications and changes can be made. For example, in the above-described embodiment, the rotation angle around the visual axis is input in advance, and the captured video signal is immediately processed to output a stereo video signal. However, the video signal captured by each camera of the imaging system Can be temporarily stored in the memory, and the stereoscopic video signal generation apparatus according to the present invention can be used to perform signal processing on the video signal stored in the memory and output a stereo video signal viewed from a desired angle direction. . In this case, the imaging operation and the video processing operation can be performed with a temporal difference.
１ 撮像系
２ 円周
３ 視軸
４ 被写体
５ 基準視差
６ 基準線
１０ 信号処理系
１１ 回転各入力手段
１２ カメラ対選択手段
１３ 映像処理手段
DESCRIPTION OF SYMBOLS 1 Imaging system 2 Circumference 3 Visual axis 4 Subject 5 Reference parallax 6 Reference line 10 Signal processing system 11 Each rotation means 12 Camera pair selection means 13 Image processing means
Claims (7)
円周上に等間隔で配置したｍ個（ｍは３以上の自然数）のカメラ、及び、前記円周の中心を通る視軸を有する撮像系と、
前記視軸まわりの回転角を入力する回転角入力手段と、
回転角と、右眼映像を撮像するカメラ及び左眼映像を撮像するカメラのカメラ対との関係を規定した情報を有し、前記回転角入力手段を介して入力された回転角に対応するカメラ対を選択するカメラ対選択手段と、
前記カメラ対選択手段により選択されたカメラ対の各カメラによりそれぞれ撮影された映像信号を受け取り、左眼用及び右眼用のカメラ映像について回転処理を行って、前記入力された回転角だけ回転した回転映像を生成する映像処理手段とを有し、
生成された左眼用及び右眼用の回転映像の映像信号を、前記入力された回転角度方向から見た被写体のステレオ映像信号として出力することを特徴とする立体映像撮像装置。 A stereoscopic video imaging device that captures a stereoscopic video of a subject viewed from a desired angular direction around a visual axis,
An m number of cameras (m is a natural number of 3 or more) arranged at equal intervals on the circumference, and an imaging system having a visual axis passing through the center of the circumference;
Rotation angle input means for inputting a rotation angle around the visual axis;
A camera having information defining a relationship between a rotation angle and a camera pair of a camera that captures a right-eye image and a camera that captures a left-eye image, and that corresponds to the rotation angle input through the rotation angle input unit Camera pair selection means for selecting a pair;
Receiving video signals shot by each camera of the camera pair selected by the camera pair selection means, rotating the left-eye and right-eye camera images, and rotating the input rotation angle Video processing means for generating a rotated video,
A stereoscopic video imaging apparatus, wherein the generated left-eye and right-eye rotated video signals are output as a stereo video signal of a subject viewed from the input rotation angle direction.
前記視軸まわりの回転角を入力する回転角入力手段と、
回転角と、右眼映像を撮像するカメラ及び左眼映像を撮像するカメラのカメラ対との関係を規定した情報を有し、前記回転角入力手段を介して入力された回転角に対応するカメラ対を選択するカメラ対選択手段と、
前記カメラ対選択手段により選択されたカメラ対の各カメラによりそれぞれ撮影された映像信号を受け取り、左眼用及び右眼用のカメラ映像について回転処理を行って、前記入力された回転角だけ回転した回転映像を生成する映像処理手段とを有し、
生成された左眼用及び右眼用の回転映像の映像信号を、前記入力された回転角度方向から見た被写体のステレオ映像信号として出力することを特徴とする立体映像信号生成装置。 A subject that receives video signals taken by m cameras (m is a natural number of 3 or more) arranged at equal intervals on the circumference and viewed from any rotation angle around the visual axis passing through the center of the circumference. A stereoscopic video signal generation device for generating a stereo video signal of
Rotation angle input means for inputting a rotation angle around the visual axis;
A camera having information defining a relationship between a rotation angle and a camera pair of a camera that captures a right-eye image and a camera that captures a left-eye image, and that corresponds to the rotation angle input through the rotation angle input unit Camera pair selection means for selecting a pair;
Receiving video signals shot by each camera of the camera pair selected by the camera pair selection means, rotating the left-eye and right-eye camera images, and rotating the input rotation angle Video processing means for generating a rotated video,
A three-dimensional video signal generation apparatus that outputs the generated left-eye and right-eye rotation video signals as a stereo video signal of a subject viewed from the input rotation angle direction.
視軸まわりの回転角と右眼映像を撮像するカメラ及び左眼映像を撮像するカメラのカメラ対との関係を規定した情報を用い、回転角入力手段を介して入力された回転角に対応するカメラ対を選択する手順と、
選択されたカメラ対の各カメラによりそれぞれ撮影された映像信号を受け取り、左眼用及び右眼用のカメラ映像について回転処理を行って、前記入力された回転角だけ回転した回転映像を生成する手順と、
生成された左眼用及び右眼用の回転映像から所定の水平画素数及び垂直画素数の画像を切り出し、切り出された画像の映像信号を、前記入力された回転角度方向から見た被写体のステレオ映像信号として出力させる手順とを実行させるためのプログラム。 Arbitrary rotation angle direction around the visual axis passing through the center of the circumference, receiving video signals taken by an imaging system including m cameras (m is a natural number of 3 or more) arranged at equal intervals on the circumference A program for generating a stereo video signal of a subject viewed from a computer,
Corresponding to the rotation angle input through the rotation angle input means using information defining the relationship between the rotation angle around the visual axis and the camera pair of the camera that captures the right-eye image and the camera that captures the left-eye image The procedure to select a camera pair,
A procedure for receiving a video signal shot by each camera of the selected camera pair, performing rotation processing on the left-eye and right-eye camera images, and generating a rotated image rotated by the input rotation angle When,
An image having a predetermined number of horizontal pixels and vertical pixels is cut out from the generated left-eye and right-eye rotation images, and the video signal of the cut-out image is viewed as a stereo of the subject viewed from the input rotation angle direction. A program for executing a procedure for outputting as a video signal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010063649A JP2011199556A (en) | 2010-03-19 | 2010-03-19 | Stereoscopy imaging device, stereoscopic signal generator, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010063649A JP2011199556A (en) | 2010-03-19 | 2010-03-19 | Stereoscopy imaging device, stereoscopic signal generator, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011199556A true JP2011199556A (en) | 2011-10-06 |
Family
ID=44877207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010063649A Pending JP2011199556A (en) | 2010-03-19 | 2010-03-19 | Stereoscopy imaging device, stereoscopic signal generator, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011199556A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101358430B1 (en) | 2012-06-25 | 2014-02-05 | 인텔렉추얼디스커버리 주식회사 | Method and system for generating depth image |
| WO2014021134A1 (en) * | 2012-07-30 | 2014-02-06 | オリンパス株式会社 | Image capture device and image capture method |
| JP5501474B2 (en) * | 2011-06-10 | 2014-05-21 | パナソニック株式会社 | Stereoscopic image generating apparatus and stereoscopic image generating method |
| JP2015176142A (en) * | 2014-03-12 | 2015-10-05 | ラム・スリカンス・ミルレイ | Multi-plane camera apparatus |
| WO2019111473A1 (en) * | 2017-12-06 | 2019-06-13 | ソニー・オリンパスメディカルソリューションズ株式会社 | Medical control device and medical observation system |
| CN114245024A (en) * | 2022-02-25 | 2022-03-25 | 深圳市雷影光电科技有限公司 | Optical camera acquisition control system and method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0792939A (en) * | 1993-08-25 | 1995-04-07 | Konica Corp | Image reproducing device |
| JPH11341518A (en) * | 1998-05-26 | 1999-12-10 | Nippon Telegr & Teleph Corp <Ntt> | Multi-viewpoint simultaneous observation type horizontal layout stereoscopic image display system |
| JP2001258050A (en) * | 2000-03-14 | 2001-09-21 | Nippon Hoso Kyokai <Nhk> | Stereoscopic video imaging device |
| JP2002354505A (en) * | 2001-05-29 | 2002-12-06 | Vstone Kk | Stereoscopic system |
| JP2003319418A (en) * | 2002-04-24 | 2003-11-07 | Hitachi Zosen Corp | Method and device for displaying stereoscopic image |
-
2010
- 2010-03-19 JP JP2010063649A patent/JP2011199556A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0792939A (en) * | 1993-08-25 | 1995-04-07 | Konica Corp | Image reproducing device |
| JPH11341518A (en) * | 1998-05-26 | 1999-12-10 | Nippon Telegr & Teleph Corp <Ntt> | Multi-viewpoint simultaneous observation type horizontal layout stereoscopic image display system |
| JP2001258050A (en) * | 2000-03-14 | 2001-09-21 | Nippon Hoso Kyokai <Nhk> | Stereoscopic video imaging device |
| JP2002354505A (en) * | 2001-05-29 | 2002-12-06 | Vstone Kk | Stereoscopic system |
| JP2003319418A (en) * | 2002-04-24 | 2003-11-07 | Hitachi Zosen Corp | Method and device for displaying stereoscopic image |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5501474B2 (en) * | 2011-06-10 | 2014-05-21 | パナソニック株式会社 | Stereoscopic image generating apparatus and stereoscopic image generating method |
| US9338425B2 (en) | 2011-06-10 | 2016-05-10 | Panasonic Intellectual Property Management Co., Ltd. | Device and method for generating stereoscopic image |
| KR101358430B1 (en) | 2012-06-25 | 2014-02-05 | 인텔렉추얼디스커버리 주식회사 | Method and system for generating depth image |
| WO2014021134A1 (en) * | 2012-07-30 | 2014-02-06 | オリンパス株式会社 | Image capture device and image capture method |
| JP2015176142A (en) * | 2014-03-12 | 2015-10-05 | ラム・スリカンス・ミルレイ | Multi-plane camera apparatus |
| KR20160130487A (en) * | 2014-03-12 | 2016-11-11 | 램 스리칸쓰 밀래이 | Multi-planar camera apparatus |
| WO2019111473A1 (en) * | 2017-12-06 | 2019-06-13 | ソニー・オリンパスメディカルソリューションズ株式会社 | Medical control device and medical observation system |
| EP3677213A4 (en) * | 2017-12-06 | 2020-11-04 | Sony Olympus Medical Solutions Inc. | Medical control device and medical observation system |
| JPWO2019111473A1 (en) * | 2017-12-06 | 2020-12-03 | ソニー・オリンパスメディカルソリューションズ株式会社 | Medical control device and medical observation system |
| CN114245024A (en) * | 2022-02-25 | 2022-03-25 | 深圳市雷影光电科技有限公司 | Optical camera acquisition control system and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9210407B2 (en) | Image processing apparatus and method, and program | |
| JP2011199556A (en) | Stereoscopy imaging device, stereoscopic signal generator, and program | |
| WO2013179855A1 (en) | Stereoscopic endoscope system | |
| JP2006208407A (en) | Microscopic system for observing stereoscopic picture | |
| CN103169487A (en) | Stereo x-ray imaging apparatus and stereo x-ray imaging method | |
| US20130300737A1 (en) | Stereoscopic image generating apparatus, stereoscopic image generating method, and stereoscopic image generating program | |
| CN115919239A (en) | Imaging method for 3D endoscopic imaging system and 3D endoscopic imaging system | |
| JP2015220643A (en) | Stereoscopic observation device | |
| JP4975256B2 (en) | 3D image presentation device | |
| JPH07129792A (en) | Method and device for image processing | |
| JP2006101224A (en) | Image generating apparatus, method, and program | |
| US10148931B2 (en) | Three-dimensional video image display processing device, video information recording medium, video information providing server, and recording medium storing a program | |
| JP2012129768A (en) | Document camera, document camera control method, program, and display processing system | |
| KR101614121B1 (en) | Apparatus and method for displaying integrated image | |
| JP2013009864A (en) | Three-dimensional image processing device | |
| JP2007150536A (en) | Stereoscopic image photographing/displaying device | |
| JP2011182003A (en) | Panorama camera and 360-degree panorama stereoscopic video system | |
| JP5868055B2 (en) | Image processing apparatus and image processing method | |
| KR101883883B1 (en) | method for glass-free hologram display without flipping images | |
| JP2015116435A (en) | Radiation image display device and radiation image display method | |
| JP2004120095A (en) | Method for generating omniazimuth binocular stereoscopic vision image | |
| Hill | Scalable multi-view stereo camera array for real world real-time image capture and three-dimensional displays | |
| KR100652204B1 (en) | Method for displaying volumetric image and apparatus thereof | |
| KR20160028165A (en) | Apparatus and method for recording panorama stereo image | |
| JP2011015227A (en) | Stereoscopic image generating device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120809 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20120809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120809 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130611 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131022 |