JP2001305682A - Device and method for image pickup - Google Patents
Device and method for image pickupInfo
- Publication number
- JP2001305682A JP2001305682A JP2000118843A JP2000118843A JP2001305682A JP 2001305682 A JP2001305682 A JP 2001305682A JP 2000118843 A JP2000118843 A JP 2000118843A JP 2000118843 A JP2000118843 A JP 2000118843A JP 2001305682 A JP2001305682 A JP 2001305682A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- incident
- unit
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、撮像装置および方
法に関し、例えば、被写体の3次元形状をステレオ法に
基づいて計測するとき用いる画像を撮像する場合に用い
て好適な撮像装置および方法に関する。[0001] 1. Field of the Invention [0002] The present invention relates to an image pickup apparatus and method, and more particularly to an image pickup apparatus and method suitable for use in picking up an image used for measuring a three-dimensional shape of a subject based on a stereo method.
【0002】[0002]
【従来の技術】物体の3次元形状を計測するために、当
該物体(以下、被写体と記述する)を異なる複数の視点
から同時に撮影し、得られる画像間で各画素の対応点を
探索し、対応する画素の視差に基づいて、視点から被写
体までの距離を得る方法が知られている。この方法は、
一般にステレオ法と呼ばれている。2. Description of the Related Art In order to measure a three-dimensional shape of an object, the object (hereinafter, referred to as a subject) is simultaneously photographed from a plurality of different viewpoints, and a corresponding point of each pixel is searched between obtained images. There is known a method of obtaining a distance from a viewpoint to a subject based on a parallax of a corresponding pixel. This method
Generally called the stereo method.
【0003】一方、微細な視差がある2枚の画像を人が
両目で見た場合、当該画像を立体的に視覚できることが
知られており、そのような2枚の画像(以下、ステレオ
画像と記述する)を同時に撮影することができるステレ
オカメラが存在する。既存のステレオカメラには、2枚
の画像を撮影するために2つのレンズを備えるものや、
レンズを1つ備える通常のカメラの当該レンズの被写体
側に、レンズの視野を2つに分割するアタッチメントを
取り付けるものがある。[0003] On the other hand, it is known that when a person views two images having fine parallax with both eyes, the images can be viewed three-dimensionally. There is a stereo camera that can shoot simultaneously (described). Some existing stereo cameras have two lenses to capture two images,
There is a camera in which an attachment for dividing a field of view of a lens into two is attached to a subject side of the lens of a normal camera having one lens.
【0004】既存のステレオカメラによって撮影される
ステレオ画像は、人が両眼で見ることによって立体的に
視覚することを目的としているので、その枚数は2枚で
あり、2枚の画像のサイズおよび画角が同一とされてい
る。[0004] A stereo image taken by an existing stereo camera is intended to be viewed stereoscopically by a person viewing the image with both eyes. Therefore, the number of stereo images is two. The angle of view is the same.
【0005】[0005]
【発明が解決しようとする課題】ところで、上述したス
テレオ法を、既存のステレオカメラで撮影したステレオ
画像に適用して、被写体の3次元形状を計測することも
可能ではあるが、次のような課題が存在する。It is possible to measure the three-dimensional shape of a subject by applying the above-mentioned stereo method to a stereo image taken by an existing stereo camera. Challenges exist.
【0006】例えば、人の顔のような中央に凸部(人の
鼻等)がある被写体の場合、凸部の両端部分において、
隠れが生じ、一方の画像には写し出されるが、他方の画
像には写し出されないことがあり、その領域はステレオ
画像間で対応点付けができないので、その領域の3次元
形状を計測することができない課題があった。For example, in the case of a subject having a convex portion (such as a human nose) at the center, such as a human face, at both ends of the convex portion,
Occlusion occurs, and it is projected on one image, but not on the other image. Since the corresponding area cannot be pointed between stereo images, it is necessary to measure the three-dimensional shape of the area. There was a task that could not be done.
【0007】ステレオ画像間の各画素で対応点を探索す
る場合、一般には、注目した画素を中心とする所定の大
きさの画像領域を比較して対応点を決定するブロックマ
ッチング方式が用いられるが、被写体がステレオカメラ
に対して並行ではなく斜めに位置する場合、実際には対
応している点同士であっても、ステレオ画像のそれぞれ
のマッチングブロック内の画像が異なるものとなってし
まう。この現象は、ステレオカメラに対する被写体の傾
きが増すほど顕著になり、マッチングエラーが生じ易く
なる課題があった。When a corresponding point is searched for in each pixel between stereo images, a block matching method is generally used in which an image area of a predetermined size centered on a pixel of interest is compared to determine a corresponding point. However, if the subject is positioned diagonally rather than parallel to the stereo camera, the images in the respective matching blocks of the stereo image will be different even if they correspond to each other. This phenomenon becomes more conspicuous as the inclination of the subject with respect to the stereo camera increases, and there is a problem that a matching error is likely to occur.
【0008】3次元形状の計測結果を用いて、例えばコ
ンピュータグラフィックスにより被写体の3次元モデル
を生成する場合、ステレオ画像のうちの一方の画像をテ
クスチャとして、計測した3次元形状にレンダリングす
ることになる。したがって、例えば人の顔が画被写体で
あって、ステレオ画像が顔の正面からそれぞれ左右にず
れた位置からの画像である場合、生成された3次元モデ
ルの視線が正面を向かない課題があった。また、ステレ
オ画像のうち、一方の画像が顔の正面からの画像であ
り、他方の画像が左右のどちらかにずれた位置からの画
像である場合、生成される3次元モデルが左右対称とな
らない課題があった。When a three-dimensional model of a subject is generated using, for example, computer graphics using the three-dimensional shape measurement result, one of the stereo images is rendered as a texture into the measured three-dimensional shape. Become. Therefore, for example, when a human face is an image subject and the stereo image is an image from a position shifted left and right from the front of the face, there is a problem that the line of sight of the generated three-dimensional model does not face the front. . When one of the stereo images is an image from the front of the face and the other image is an image from a position shifted to the left or right, the generated three-dimensional model is not bilaterally symmetric. There were challenges.
【0009】ステレオ法では、ステレオ画像のうち、一
方を基準画像とし、他方を参照画像として対応点付けを
行うが、さらに参照画像の数が増加すれば、より高精度
に対応点付けが行えることが知られている。しかしなが
ら、従来のステレオカメラでは、同時に2枚だけしか撮
影することができない課題があった。In the stereo method, one of the stereo images is used as a reference image, and the other is used as a reference image. Corresponding scoring is performed. If the number of reference images is further increased, the corresponding scoring can be performed with higher accuracy. It has been known. However, the conventional stereo camera has a problem that only two pictures can be taken at the same time.
【0010】また、通常のカメラにアタッチメントを取
り付けてステレオカメラとする方法に関して、当該カメ
ラにオートフォーカス機能が備えられている場合、オー
トフォーカスは一般的に画像の中心部分を用いてフォー
カス調整するため、アタッチメントを付けた状態では、
画像の中心で領域が分割されるので、正確なオートフォ
ーカスを実行することが困難である課題があった。[0010] In addition, regarding a method of attaching an attachment to a normal camera to form a stereo camera, if the camera is provided with an autofocus function, autofocus is generally performed by using a central portion of an image. , With the attachment attached,
Since the area is divided at the center of the image, there has been a problem that it is difficult to execute accurate autofocus.
【0011】本発明はこのような状況に鑑みてなされた
ものであり、ステレオ法に用いて好適な3枚の画像を既
存のカメラを用いて当時に撮影することができるように
することを目的とする。The present invention has been made in view of such a situation, and an object of the present invention is to enable three images suitable for use in a stereo method to be taken at that time using an existing camera. And
【0012】[0012]
【課題を解決するための手段】本発明の撮像装置は、光
画像に感光して画像データを生成する感光手段と、感光
手段に被写体の光画像を入射する入射手段と、入射手段
の視野を3つに分割する分割手段とを含むことを特徴と
する。According to the present invention, there is provided an image pickup apparatus comprising: a photosensitive unit for generating image data by being exposed to an optical image; an incident unit for entering a light image of a subject into the photosensitive unit; And a dividing means for dividing into three.
【0013】前記分割手段は、入射手段が異なる3点の
視点に対応する3つの光画像を感光手段に入射するよう
に、入射手段の視野を3つに分割するようにすることが
できる。[0013] The dividing means may divide the field of view of the incident means into three such that the incident means enters three light images corresponding to three different viewpoints into the photosensitive means.
【0014】前記分割手段は、入射手段が異なる3点の
視点に対応する3つの光画像のうち、中心の光画像が上
方または下方のうちの一方にずらされ、且つ、両端の光
画像が上方または下方のうちの他方にずらされて感光手
段に入射するように、入射手段の水平方向視野を3つに
分割するようにすることができる。The dividing means shifts the light image at the center of the three light images corresponding to the three different viewpoints to the upper side or the lower side, and shifts the light images at both ends upward. Alternatively, the horizontal view of the incident means may be divided into three so that the light is incident on the photosensitive means while being shifted to the other of the lower sides.
【0015】前記分割手段は、脱着可能であるようにす
ることができる。[0015] The dividing means may be detachable.
【0016】本発明の撮像方法は、光画像に感光して画
像データを生成する感光手段に被写体の光画像を入射す
る入射ステップと、感光手段に対する視野を3つに分割
する分割ステップとを含むことを特徴とする。The image pickup method according to the present invention includes an incident step of inputting an optical image of a subject to a photosensitive means for generating image data by sensitizing an optical image, and a dividing step of dividing a field of view for the photosensitive means into three. It is characterized by the following.
【0017】本発明の撮像装置および方法においては、
視野が3つに分割された状態で、被写体の光画像が入射
され、光画像に感光して画像データが生成される。In the image pickup apparatus and method according to the present invention,
In a state where the field of view is divided into three, an optical image of a subject is incident, and image data is generated in response to the optical image.
【0018】[0018]
【発明の実施の形態】本発明を適用したステレオ画像撮
影システムの構成例について、図1を参照して説明す
る。図1は、ステレオ画像撮影システムを真上から見下
ろした状態を示している。ステレオ画像撮影システム
は、通常のカメラ1、およびカメラ1の被写体側に装着
されるステレオアタッチメント4から構成される。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A configuration example of a stereo image photographing system to which the present invention is applied will be described with reference to FIG. FIG. 1 shows a state in which the stereo image capturing system is viewed from directly above. The stereo image capturing system includes a normal camera 1 and a stereo attachment 4 mounted on the subject side of the camera 1.
【0019】カメラ1は、既存のフィルムカメラ、ディ
ジタルスチルカメラ、ビデオカメラ等である。カメラ1
は、ステレオアタッチメント4を介して入力される被写
体の光画像を撮像素子3に集光するレンズ2、および、
レンズ2により集光された光画像を画像データとして保
持する撮像素子3から構成される。カメラ1がフィルム
カメラである場合、撮像素子3はフィルムに相当し、カ
メラ1がディジタルスチルカメラまたはビデオカメラで
ある場合、撮像素子3はCCD(Charge Coupled Device)等
の光電変換素子に相当する。撮像素子3では、光画像の
輝度値が上限値(飽和値)を超えず、また、光画像中の
暗い部分もノイズに埋もれることなく検知して、光画像
のダイナミックレンジをできるだけ大きくする。The camera 1 is an existing film camera, digital still camera, video camera or the like. Camera 1
Is a lens 2 for condensing an optical image of a subject input via a stereo attachment 4 on an image sensor 3, and
The image sensor 3 includes an image sensor 3 that holds a light image collected by the lens 2 as image data. When the camera 1 is a film camera, the imaging device 3 corresponds to a film. When the camera 1 is a digital still camera or a video camera, the imaging device 3 corresponds to a photoelectric conversion device such as a CCD (Charge Coupled Device). The imaging element 3 detects the luminance value of the optical image not exceeding the upper limit value (saturation value) and detects a dark portion in the optical image without being buried in noise, thereby increasing the dynamic range of the optical image as much as possible.
【0020】カメラ1の撮影視野は、レンズ2と撮像素
子3の位置関係により決定される。図1においては、水
平視野角度が44度(35ミリ換算で焦点距離f=45
ミリ)の例を示している。The field of view of the camera 1 is determined by the positional relationship between the lens 2 and the image sensor 3. In FIG. 1, the horizontal viewing angle is 44 degrees (the focal length f = 45 in 35 mm conversion).
Mm).
【0021】ステレオアタッチメント4は、カメラ1の
被写体側の面に備えられているフィルタネジ(不図
示)、またはカメラ1の本体に備えられている保持機構
(不図示)により、カメラ1に脱着可能に装着できるよ
うになされている。The stereo attachment 4 can be attached to and detached from the camera 1 by a filter screw (not shown) provided on the surface of the camera 1 on the subject side or a holding mechanism (not shown) provided on the main body of the camera 1. It can be attached to.
【0022】ステレオアタッチメント4は、被写体の光
画像の光量を落としてレンズ2に入射させる減光フィル
タ5、仮想的な視点Aで観察される被写体の光画像がミ
ラー7に向けて反射するように設けられたミラー6、ミ
ラー6からの被写体の光画像がレンズ2に入射されるよ
うに配置されたミラー7、仮想的な視点Bで観察される
被写体の光画像がミラー9に向けて反射するように設け
られたミラー8、および、ミラー8からの被写体の光画
像がレンズ2に入射されるように配置されたミラー9か
ら構成される。ミラー6乃至8の反射率は、通常、1.
0よりも小さい。The stereo attachment 4 includes a neutral density filter 5 for reducing the amount of light of the light image of the object and entering the lens 2 so that the light image of the object observed from the virtual viewpoint A is reflected toward the mirror 7. The provided mirror 6, the mirror 7 arranged so that the light image of the subject from the mirror 6 is incident on the lens 2, and the light image of the subject observed from the virtual viewpoint B is reflected toward the mirror 9. And a mirror 9 arranged so that an optical image of a subject from the mirror 8 is incident on the lens 2. The reflectivity of the mirrors 6 to 8 is usually 1.
Less than 0.
【0023】減光フィルタ5は、ミラー6,7、または
ミラー8,9によって反射された後にレンズ2に入射さ
れる被写体の光画像の光量(反射率が1.0よりも小さ
いので光量が落ちている)と、減光フィルタ5を介して
レンズ2に入射される被写体の光画像の光量を揃えるた
めに設けられる。したがって、ミラー6乃至8の反射率
がほぼ1.0であり、反射によって光量が落ちていない
ようであれば、減光フィルタ5を省略してもかまわな
い。The neutral density filter 5 is used to reduce the amount of light of the light image of the subject which is incident on the lens 2 after being reflected by the mirrors 6 and 7 or the mirrors 8 and 9 (because the reflectance is smaller than 1.0, the amount of light is reduced). Is provided) in order to equalize the amounts of light images of the subject incident on the lens 2 via the neutral density filter 5. Therefore, if the reflectance of the mirrors 6 to 8 is approximately 1.0 and the amount of light does not decrease due to reflection, the neutral density filter 5 may be omitted.
【0024】ミラー6乃至9の配置および角度は、被写
体までの距離(撮影距離)に応じて、適宜、調整が可能
である。また、ミラー7,9の配置および角度を変更す
ることにより、撮像素子3の中心領域に集光される光画
像の水平視野角度を変更することが可能である。図1に
おいては、中心領域の水平視野角度は15度とされ、撮
像素子3の左右それぞれの領域に集光される光画像の水
平視野角度は、それぞれ、14.5度とされている。The arrangement and angles of the mirrors 6 to 9 can be adjusted as appropriate according to the distance to the subject (photographing distance). Further, by changing the positions and angles of the mirrors 7 and 9, it is possible to change the horizontal viewing angle of the optical image focused on the central region of the image sensor 3. In FIG. 1, the horizontal viewing angle of the central region is set to 15 degrees, and the horizontal viewing angles of the optical images focused on the left and right regions of the image sensor 3 are each set to 14.5 degrees.
【0025】次に、動作について説明する。ステレオア
タッチメント4は、3つの異なる視点(点A,B、およ
びレンズ2の中心点)から観察される被写体の3つの光
画像をカメラ1に入射させ、カメラ1のレンズ2は、3
つの光画像を撮像素子3の異なる領域に集光する。具体
的には、図2に示すように、仮想的な視点Aで観察され
る被写体の光画像は、カメラ1から被写体に向いた方向
で、撮像素子3の右側の約1/3の領域に集光される。
仮想的な視点Bで観察される被写体の光画像は、同方向
で、撮像素子3の左側の約1/3の領域に集光される。
また、レンズ2の中心点で観察される被写体の光画像
は、撮像素子3の中心の約1/3の領域に集光される。Next, the operation will be described. The stereo attachment 4 causes the three light images of the subject observed from three different viewpoints (points A and B and the center point of the lens 2) to enter the camera 1, and the lens 2 of the camera 1
The two light images are focused on different regions of the image sensor 3. Specifically, as shown in FIG. 2, the light image of the subject observed from the virtual viewpoint A is located in an area about 1/3 on the right side of the image sensor 3 in the direction from the camera 1 to the subject. It is collected.
The light image of the subject observed from the virtual viewpoint B is converged in the same direction on an approximately 1/3 region on the left side of the image sensor 3.
The light image of the subject observed at the center point of the lens 2 is condensed on a region of about 1/3 of the center of the image sensor 3.
【0026】なお、撮像素子3の中心の領域に写像され
た画像は、ステレオ法における基準画像として用いら
れ、撮像素子3の左右それぞれの領域に写像された画像
は、ステレオ法における参照画像として用いられる。し
たがって、当該ステレオ画像撮影システムによれば、1
枚の基準画像に対して、2枚の参照画像を得られること
になる。The image mapped on the center area of the image sensor 3 is used as a reference image in the stereo method, and the images mapped on the left and right areas of the image sensor 3 are used as reference images in the stereo method. Can be Therefore, according to the stereo image capturing system, 1
Two reference images can be obtained for one reference image.
【0027】次に、図3にカメラ1から被写体を向いた
方向における、カメラアタッチメント4を構成するミラ
ー6乃至9の配置を示している。同図に示すように、ミ
ラー6乃至9は、カメラ1、ステレオアタッチメント4
および被写体がなす平面に対して、垂直に配置される。
ただし、カメラ1およびステレオアタッチメント4に対
して、被写体が上方または下方に位置する場合、カメラ
1およびステレオアタッチメント4が成す平面に対し
て、ミラー6乃至9を垂直に配置しなくてもよい。FIG. 3 shows the arrangement of the mirrors 6 to 9 constituting the camera attachment 4 in the direction from the camera 1 to the subject. As shown in the figure, mirrors 6 to 9 are camera 1, stereo attachment 4
And a plane perpendicular to the plane formed by the subject.
However, when the subject is located above or below the camera 1 and the stereo attachment 4, the mirrors 6 to 9 need not be arranged perpendicular to the plane formed by the camera 1 and the stereo attachment 4.
【0028】このように、撮像素子3の中心領域に集光
される光画像の水平視野角度は、次の理由により、カメ
ラ1の水平視野角の1/3よりも若干大きい角度に設定
する。As described above, the horizontal viewing angle of the optical image focused on the central area of the image sensor 3 is set to be slightly larger than 1/3 of the horizontal viewing angle of the camera 1 for the following reason.
【0029】第1の理由について説明する。撮像素子3
の中心領域に集光される光画像に対応する視点(レンズ
2の中心点)は、仮想的な視点A,Bに比較して、被写
体との距離が若干近い。よって、撮像素子3の左右それ
ぞれの領域に集光される光画像としての被写体の大きさ
は、撮像素子3の中心領域に集光される光画像としての
被写体の大きさよりも小さくなる。The first reason will be described. Image sensor 3
The viewpoint (the center point of the lens 2) corresponding to the optical image condensed in the central region of the above is slightly closer to the subject than the virtual viewpoints A and B. Therefore, the size of the subject as an optical image focused on each of the left and right regions of the image sensor 3 is smaller than the size of the subject as an optical image focused on the central region of the image sensor 3.
【0030】したがって、撮像素子3の中心領域に集光
される光画像の水平視野角度と、撮像素子3の左右それ
ぞれの領域に集光される光画像のそれぞれの水平視野角
度を等しくした場合、撮像素子3の中心領域に比較し
て、撮像素子3の左右それぞれの領域では、被写体以外
の背景等が占める無駄な部分が多くなる。そこで、撮像
素子3の中心領域に集光される光画像の水平視野角度を
他よりも若干広くすることで、撮像素子3を有効に利用
するようにする。Therefore, when the horizontal viewing angle of the optical image focused on the central region of the image sensor 3 is equal to the horizontal viewing angle of the optical image focused on the left and right regions of the image sensor 3, Compared to the central region of the image sensor 3, the useless portion occupied by the background other than the subject increases in each of the left and right regions of the image sensor 3. Therefore, by making the horizontal viewing angle of the optical image focused on the central region of the image sensor 3 slightly wider than the others, the image sensor 3 is effectively used.
【0031】第2の理由について説明する。例えば、被
写体上のD点を、仮想的な視点Aから撮影することがで
きるが、仮想的な視点Bから撮影することは困難であ
る。仮に、仮想的な視点Bから撮影することができたと
しても、視線方向と被写体表面の法線方向との違いが大
きいので、斜め方向から撮影することになり、撮影され
た像が大きく歪んでしまい対応点付けが困難となる。The second reason will be described. For example, point D on the subject can be photographed from virtual viewpoint A, but it is difficult to photograph from virtual viewpoint B. Even if it is possible to take an image from the virtual viewpoint B, since the difference between the line of sight and the normal direction of the subject surface is large, the image is taken from an oblique direction, and the captured image is greatly distorted. This makes it difficult to assign corresponding points.
【0032】したがって、被写体上のD点を、敢えて仮
想的な視点Bから撮影する必要はなく、仮想的な視点A
から撮影した画像を対応点付けに用いた方がよい。よっ
て、仮想的な視点Bから撮影する画像は、被写体の向か
って左側(D点側)が若干欠けていてもよい。同様に、
仮想的な視点Aから撮影する画像は、被写体の向かって
左側(C点側)が若干欠けていてもよい。したがって、
撮像素子3の左右それぞれの領域に集光される光画像の
それぞれの水平視野角度が、撮像素子3の中心領域に集
光される光画像の水平視野角度よりも若干狭くてもよ
い。Therefore, it is not necessary to photograph the point D on the object from the virtual viewpoint B.
It is better to use the image taken from the above for corresponding scoring. Therefore, the image photographed from the virtual viewpoint B may be slightly missing on the left side (point D side) of the subject. Similarly,
In the image captured from the virtual viewpoint A, the left side (point C side) of the subject may be slightly missing. Therefore,
The horizontal viewing angles of the optical images focused on the left and right regions of the imaging device 3 may be slightly smaller than the horizontal viewing angles of the optical images focused on the central region of the imaging device 3.
【0033】次に、被写体の形状が円形である場合にお
いて、撮像素子3の領域をより有効に分割する方法につ
いて説明する。具体的には、図4および図5に示すよう
に、ミラー6,8の上部を被写体から遠ざけるようにし
て反射面を傾け、且つ、ミラー7,9の形状を台形とす
る。さらに、ミラー6乃至9で反射されずに入射される
光画像が、撮像素子3の上部に射影されるように、被写
体を若干下方から見上げるように撮影する。Next, a method for effectively dividing the area of the image sensor 3 when the shape of the subject is circular will be described. Specifically, as shown in FIGS. 4 and 5, the reflection surfaces are inclined so that the upper portions of the mirrors 6 and 8 are separated from the subject, and the shapes of the mirrors 7 and 9 are trapezoidal. Furthermore, the subject is photographed so as to look up the subject from slightly below so that the light image that is incident without being reflected by the mirrors 6 to 9 is projected onto the upper portion of the image sensor 3.
【0034】これにより、撮像素子3の領域は、図6に
示すように分割され、左右の各領域に入射される光画像
は、領域の下部に射影され、中央の領域に入射される光
画像は、領域の上部に射影される。As a result, the region of the image sensor 3 is divided as shown in FIG. 6, and the light images incident on the left and right regions are projected at the lower part of the region and the light images incident on the central region. Is projected onto the top of the region.
【0035】なお、ミラー6乃至9の角度や形状は、撮
像素子3に入射される3つの光画像が、図6に示すよう
に写像されるのであれば、図4および図5に示したもの
に限定されない。The angles and shapes of the mirrors 6 to 9 are the same as those shown in FIGS. 4 and 5 if three light images incident on the image sensor 3 are mapped as shown in FIG. It is not limited to.
【0036】図6に示した撮像素子3の分割の例が、図
2に示した撮像素子3の分割の例よりも、撮像素子3の
領域をより有効に利用できることについて、図7および
図8を参照して説明する。なお、説明を簡略化するため
に、以下においては、撮像部3に入射される被写体の写
像の大きさが等しいものとする。The fact that the example of the division of the image sensor 3 shown in FIG. 6 can use the area of the image sensor 3 more effectively than the example of the division of the image sensor 3 shown in FIG. 2 will be described with reference to FIGS. This will be described with reference to FIG. For the sake of simplicity, in the following, it is assumed that the size of the image of the subject incident on the imaging unit 3 is equal.
【0037】図3に示したミラー6乃至9の配置および
角度によれば、撮像素子3は、図7に示すように、3つ
の長方形の領域に分割される(図2に示した例と同様で
ある)。いま、撮像素子3の縦の幅をHとし、横の幅を
Wとし、3つの長方形の各領域に入射される円形の被写
体の写像をそれぞれ円C1乃至C3とした場合、円形の
写像C1乃至C3の直径Lの最大値Lmax=W/3とな
る。According to the arrangement and angles of the mirrors 6 to 9 shown in FIG. 3, the image pickup device 3 is divided into three rectangular areas as shown in FIG. 7 (similar to the example shown in FIG. 2). Is). Now, assuming that the vertical width of the image sensor 3 is H, the horizontal width is W, and the images of the circular objects incident on the three rectangular areas are circles C1 to C3, respectively, the circular images C1 to C3. The maximum value Lmax = W / 3 of the diameter L of C3 is obtained.
【0038】一方、ミラー6乃至9を図4および図5に
示したように調整して、被写体の光画像が、図8に示す
ように、撮像素子3の中心の領域においては、上部にオ
フセットして写像され、撮像素子3の左右それぞれの領
域においては、下部にオフセットして写像されるように
した場合、撮像素子3の領域は、線QPおよび線SPに
より分割されることになる。ただし、点Pは、撮像素子
3の横の幅の中点とする。すると、左右それぞれの領域
の円形の写像C2’,C3’の中心の横方向の位置と、
点Sまたは点Qの横方向の位置が一致することになる。On the other hand, the mirrors 6 to 9 are adjusted as shown in FIGS. 4 and 5 so that the light image of the subject is offset upward in the center region of the image pickup device 3 as shown in FIG. In the case where the left and right regions of the image sensor 3 are mapped to be offset downward, the region of the image sensor 3 is divided by the line QP and the line SP. However, the point P is a middle point of the horizontal width of the image sensor 3. Then, the horizontal position of the center of the circular mappings C2 'and C3' in the left and right regions,
The horizontal position of the point S or the point Q coincides.
【0039】この場合、各領域の円形の写像C1’乃至
C3’の直径L’の最大値L’maxは、次式を解くこと
により算出される。 r3−Wr2+((WH/2)+W2/4)r−HW2/8
=0 ただし、r=L’max/2である。In this case, the maximum value L'max of the diameter L 'of the circular maps C1' to C3 'of each area is calculated by solving the following equation. r 3 -Wr 2 + ((WH / 2) + W 2/4) r-HW 2/8
= 0, where r = L′ max / 2.
【0040】例えば、撮像素子3の縦横比が一般的なCC
Dと同様に、3:4(H=3,W=4)である場合、図
7の円形の写像C1乃至C3の直径Lの最大値Lmax=
4/3=1.33となり、図8の円形の写像C1’乃至
C3’の直径L’の最大値L’max=1.62(r=
0.81)となる。For example, when the aspect ratio of the image sensor 3 is a general CC
Similarly to D, when 3: 4 (H = 3, W = 4), the maximum value Lmax of the diameter L of the circular maps C1 to C3 in FIG.
4/3 = 1.33, and the maximum value L'max of the diameters L 'of the circular maps C1' to C3 'in FIG. 8 is 1.62 (r =
0.81).
【0041】例えばまた、撮像素子3の縦横比が一般的
な35ミリフィルムと同様に、2:3(H=2,W=
3)である場合、図7の円形の写像C1乃至C3の直径
Lの最大値Lmax=3/3=1.0となり、図8の円形
の写像C1’乃至C3’の直径L’の最大値L’max=
1.17となる。For example, the image sensor 3 has an aspect ratio of 2: 3 (H = 2, W = 2) as in a general 35 mm film.
In the case of 3), the maximum value Lmax = 3/3 = 1.0 of the diameter L of the circular maps C1 to C3 in FIG. 7, and the maximum value of the diameter L ′ of the circular maps C1 ′ to C3 ′ in FIG. L'max =
1.17.
【0042】したがって、図7の例よりも図8の例の方
が、円形の写像が占める撮像素子3の領域が広くなるの
で、対応点付けの精度をより高めることが可能となる。Therefore, in the example of FIG. 8, the area of the image pickup device 3 occupied by the circular mapping is wider than that of the example of FIG. 7, so that the accuracy of the corresponding spotting can be further improved.
【0043】図8の例のように撮像素子3を分割するこ
とによる他の利点について、図9を参照して説明する。
図9において、S0は撮像素子3の中心の領域を示して
おり、S1は撮像素子3の左側の領域を示しており、S
2は撮像素子3の右側の領域を示している。領域S0の
点Rに対応する領域S1または領域S2上の対応点を探
索する場合には、領域S1または領域S2上のエピポー
ララインに沿って対応点を探索する方法が一般的であ
る。Another advantage of dividing the image sensor 3 as in the example of FIG. 8 will be described with reference to FIG.
In FIG. 9, S0 indicates a central region of the image sensor 3, S1 indicates a left region of the image sensor 3, and
Reference numeral 2 denotes an area on the right side of the image sensor 3. When searching for a corresponding point on the area S1 or S2 corresponding to the point R of the area S0, a method of searching for a corresponding point along an epipolar line on the area S1 or S2 is general.
【0044】ここで、エピポーララインとは、領域S0
の一点Rに写像される実空間上の直線PQが、領域S1
に写像される直線P1Q1、および、領域S2に写像さ
れる直線P2Q2を指している。Here, the epipolar line is defined as a region S0
A straight line PQ in real space mapped to one point R is
And a straight line P2Q2 mapped to the area S2.
【0045】ところで、撮像素子3を図7の例のように
分割して利用した場合、左右それぞれの領域におけるエ
ピポーララインは、撮像素子3上において水平な直線と
なる。しかしながら、撮像素子3を図8の例のように分
割して利用した場合、左右それぞれの領域におけるエピ
ポーララインは、図9に示すように、撮像素子3上にお
いて斜めの直線となる。When the image sensor 3 is divided and used as in the example of FIG. 7, the epipolar lines in the left and right regions are horizontal straight lines on the image sensor 3. However, when the image sensor 3 is divided and used as in the example of FIG. 8, the epipolar lines in the right and left regions are oblique straight lines on the image sensor 3 as shown in FIG.
【0046】一般に、ステレオ画像間の対応点付けで
は、撮影する画像の中には水平線や垂直線が多く含まれ
ているので、エピポーララインが水平であるよりも斜め
である方が、対応点を探索し易く、ロバスト性が高まる
ことが知られている。In general, when the corresponding points are set between the stereo images, since the image to be photographed contains many horizontal lines and vertical lines, the corresponding points are more inclined when the epipolar line is oblique than when it is horizontal. It is known that searching is easy and robustness is enhanced.
【0047】したがって、図8の例のように撮像素子3
を分割することにより対応点付けにおいてロバスト性を
高めることが可能となる。Therefore, as shown in the example of FIG.
, It is possible to increase the robustness in the corresponding scoring.
【0048】なお、図6に示した例とは反対に、被写体
の光画像が、撮像素子3の中心の領域においては、下部
にオフセットして写像され、撮像素子3の左右それぞれ
の領域においては、上部にオフセットして写像されるよ
うにしても、同様の効果を得ることができる。In contrast to the example shown in FIG. 6, the light image of the subject is mapped with a lower offset in the center area of the image sensor 3 and in the right and left areas of the image sensor 3. The same effect can be obtained even if the image is mapped offset to the upper part.
【0049】ところで、ステレオ法において、1枚の基
準画像に対して複数の参照画像を用いる場合、参照画像
毎に基線長(基準画像を撮像する視点と参照画像を撮像
する視点の距離)を変化させることによって、対応点付
けの精度およびロバスト性を高めることができる。な
お、1枚の基準画像に対して、基線長が異なる複数の参
照画像を用いる方法は、マルチベースラインステレオ法
と呼ばれている。In the stereo method, when a plurality of reference images are used for one reference image, the base line length (the distance between the viewpoint for capturing the reference image and the viewpoint for capturing the reference image) changes for each reference image. By doing so, the accuracy and robustness of corresponding scoring can be improved. Note that a method of using a plurality of reference images having different base line lengths for one reference image is called a multi-baseline stereo method.
【0050】図10は、マルチベースラインステレオ法
に用いることができる画像を撮像するステレオ画像撮影
システムの構成例を示している。この構成例は、図1の
構成例のミラー8、9がミラー21,22に置換された
ものであり、他の構成要素は同一である。FIG. 10 shows an example of the configuration of a stereo image capturing system for capturing an image that can be used in the multi-baseline stereo method. In this configuration example, mirrors 8 and 9 of the configuration example in FIG. 1 are replaced with mirrors 21 and 22, and the other components are the same.
【0051】図11は、カメラ1側から見た、ミラー
8,9およびミラー21,22の配置、角度、およびサ
イズを示している。なお、ミラー8,9およびミラー2
1,22の配置、角度、およびサイズは、図11に示し
た例に限定されるものではなく、撮像素子3に入射され
る3つの光画像が、図12に示すように写像されるので
あればよい。FIG. 11 shows the arrangement, angles and sizes of the mirrors 8 and 9 and the mirrors 21 and 22 as viewed from the camera 1 side. The mirrors 8 and 9 and the mirror 2
The arrangement, angle, and size of 1, 2 are not limited to the example shown in FIG. 11, and three light images incident on the image sensor 3 are mapped as shown in FIG. I just need.
【0052】ミラー21は、ミラー6に比較して反射面
が大きい。よって、ミラー21,22に対応する仮想的
な視点B’は、ミラー6,7に対応する仮想的な視点A
よりも被写体からの距離が遠くなる。したがって、ミラ
ー21,22で反射された後にレンズ2を介して撮像素
子3に入射される写像の大きさは、図12に示すよう
に、ミラー6,7で反射された後にレンズ2を介して撮
像素子3に入射される写像の大きさよりも若干小さいも
のとなる。ただし、図12は、撮像素子3の写像をレン
ズ2側から見た状態を示している。The mirror 21 has a larger reflecting surface than the mirror 6. Therefore, the virtual viewpoint B ′ corresponding to the mirrors 21 and 22 is changed to the virtual viewpoint A corresponding to the mirrors 6 and 7.
The distance from the subject is longer than that. Accordingly, as shown in FIG. 12, the size of the image reflected by the mirrors 21 and 22 and then incident on the image sensor 3 via the lens 2 is reflected by the mirrors 6 and 7 via the lens 2 as shown in FIG. The size is slightly smaller than the size of the mapping incident on the image sensor 3. However, FIG. 12 shows a state in which the image of the image sensor 3 is viewed from the lens 2 side.
【0053】なお、ミラー8,9およびミラー21,2
2の配置、角度、およびサイズは、図11に示した例に
限定されるものではなく、撮像素子3に入射される3つ
の光画像が、図12に示すように写像されるのであれば
よい。The mirrors 8 and 9 and the mirrors 21 and 21
The arrangement, angle, and size of 2 are not limited to the example shown in FIG. 11, but may be any as long as three light images incident on the image sensor 3 are mapped as shown in FIG. .
【0054】また、図11に示したミラー8,9および
ミラー21,22に関し、ミラー6,21については、
図4に示したミラー6,8と同様に、上部を被写体から
遠ざけるようにして反射面を傾け、且つ、ミラー7,2
2については、図4に示したミラー7,9と同様に、形
状を台形とするようにすれば、図6の例と同様の効果を
得ることができる。With respect to the mirrors 8 and 9 and the mirrors 21 and 22 shown in FIG.
Similar to the mirrors 6 and 8 shown in FIG. 4, the reflecting surface is inclined so that the upper part is kept away from the subject, and the mirrors 7 and 2 are tilted.
With regard to 2, the same effect as in the example of FIG. 6 can be obtained by making the shape of the trapezoid similar to the mirrors 7 and 9 shown in FIG.
【0055】以上のように、本発明によれば、3つの視
点からの画像を撮像することができるので、3次元形状
を計測可能な範囲が広くなる。また、3つの視点の全て
から撮影することができる被写体に部位については、マ
ルチベースラインステレオ法が適用できるので、3次元
形状の計測精度が向上する。As described above, according to the present invention, images can be taken from three viewpoints, so that the range in which a three-dimensional shape can be measured is widened. In addition, since the multi-baseline stereo method can be applied to a part of a subject that can be photographed from all three viewpoints, the measurement accuracy of the three-dimensional shape is improved.
【0056】また、本発明のステレオアタッチメント4
は、撮像素子3の中心部分を分割しないので、撮像素子
3の中心部分の画像を用いてフォーカス調整を実行する
オートフォーカス機能をカメラ1に備えるようにするこ
とができる。The stereo attachment 4 of the present invention
Since the camera does not divide the central portion of the image sensor 3, the camera 1 can be provided with an autofocus function of executing focus adjustment using an image of the central portion of the image sensor 3.
【0057】また、本発明によれば、撮像素子3の中心
の領域の写像を基準画像とするので、左右対称に3次元
形状を計測することが可能となる。また、正面から被写
体を撮影した正面画像が得られるので、3次元コンピュ
ータグラフックスソフトウェアでレンダリングした場
合、正面画像をテクスチャとして用いることができるの
で、被写体の視線がずれている等の不自然な描写を抑止
することが可能となる。Further, according to the present invention, the mapping of the central region of the image sensor 3 is used as the reference image, so that it is possible to measure the three-dimensional shape symmetrically. In addition, since a front image obtained by photographing the subject from the front can be obtained, when rendered by three-dimensional computer graphics software, the front image can be used as a texture. Can be suppressed.
【0058】なお、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものであ
る。Note that in this specification, the system is
It represents the entire device composed of a plurality of devices.
【0059】[0059]
【発明の効果】以上のように、本発明の撮像装置および
方法によれば、水平方向視野を3つに分割した状態で被
写体の光画像を入射するようにしたので、ステレオ法に
用いて好適な3枚の画像を既存のカメラを用いて当時に
撮影することが可能となる。As described above, according to the imaging apparatus and method of the present invention, a light image of a subject is incident in a state where a horizontal visual field is divided into three parts, so that it is suitable for use in a stereo method. Three images can be taken at that time using an existing camera.
【図1】本発明を適用したステレオ画像撮像システムの
構成例を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration example of a stereo image capturing system to which the present invention has been applied.
【図2】被写体の3つの光画像が撮像素子3に写像され
た状態を示す図である。FIG. 2 is a diagram showing a state in which three light images of a subject are mapped on an image sensor 3;
【図3】ミラー6乃至9の配置および角度の例を示す図
である。FIG. 3 is a diagram showing an example of arrangement and angles of mirrors 6 to 9;
【図4】ミラー6乃至9の配置、角度、およびサイズの
例を示す図である。FIG. 4 is a diagram showing an example of arrangement, angles, and sizes of mirrors 6 to 9;
【図5】ミラー6乃至9の配置、角度、およびサイズの
例を側面から示す図である。FIG. 5 is a diagram illustrating an example of the arrangement, angle, and size of mirrors 6 to 9 from the side.
【図6】被写体の3つの光画像が撮像素子3に写像され
た状態を示す図である。FIG. 6 is a diagram showing a state in which three light images of a subject are mapped on an image sensor 3;
【図7】円形の被写体が撮像素子3に写像された状態を
示す図である。FIG. 7 is a diagram showing a state where a circular subject is mapped on the image sensor 3;
【図8】円形の被写体が撮像素子3に写像された状態を
示す図である。FIG. 8 is a diagram showing a state where a circular subject is mapped on the image sensor 3;
【図9】エピポーララインについて説明するための図で
ある。FIG. 9 is a diagram for explaining an epipolar line.
【図10】本発明を適用したステレオ画像撮像システム
の構成例を示すブロック図である。FIG. 10 is a block diagram illustrating a configuration example of a stereo image capturing system to which the present invention has been applied.
【図11】ミラー6,7、およびミラー21,22の配
置および角度の例を示す図である。FIG. 11 is a diagram showing an example of arrangement and angles of mirrors 6 and 7 and mirrors 21 and 22.
【図12】被写体の3つの光画像が撮像素子3に写像さ
れた状態を示す図である。FIG. 12 is a diagram showing a state in which three light images of a subject are mapped on an image sensor 3;
1 カメラ, 2 レンズ, 3 撮像素子, 4 ス
テレオアタッチメント, 5 減光フィルタ, 6乃至
9 ミラー, 21,22 ミラーReference Signs List 1 camera, 2 lens, 3 image sensor, 4 stereo attachment, 5 neutral density filter, 6 to 9 mirror, 21 and 22 mirror
Claims (7)
いて計測するとき用いる画像データを生成する撮像装置
において、 光画像に感光して画像データを生成する感光手段と、 前記感光手段に前記被写体の前記光画像を入射する入射
手段と、 前記入射手段の視野を3つに分割する分割手段とを含む
ことを特徴とする撮像装置。1. An imaging apparatus for generating image data used when measuring a three-dimensional shape of a subject based on a stereo method, a photosensitive means for generating image data by sensitizing to an optical image, and An image pickup apparatus, comprising: an incidence unit that receives the light image of claim 1; and a division unit that divides a field of view of the incidence unit into three.
3点の視点に対応する3つの前記光画像を前記感光手段
に入射するように、前記入射手段の前記視野を3つに分
割することを特徴とする請求項1に記載の撮像装置。2. The method according to claim 1, wherein the dividing unit divides the visual field of the incident unit into three such that the incident unit enters three light images corresponding to three different viewpoints into the photosensitive unit. The imaging device according to claim 1, wherein:
の前記視点の一方から前記被写体までの距離は、他方か
ら前記被写体までの距離と等しいことを特徴とする請求
項2に記載の撮像装置。3. The imaging method according to claim 2, wherein a distance from one of the viewpoints at both ends of the three different viewpoints to the subject is equal to a distance from the other viewpoint to the subject. apparatus.
の前記視点の一方から前記被写体までの距離は、他方か
ら前記被写体までの距離と異なることを特徴とする請求
項2に記載の撮像装置。4. The imaging apparatus according to claim 2, wherein a distance from one of the viewpoints at both ends of the three different viewpoints to the subject is different from a distance from the other to the subject. apparatus.
なる3点の前記視点に対応する3つの前記光画像のう
ち、中心の前記光画像が上方または下方のうちの一方に
ずらされ、且つ、両端の前記光画像が上方または下方の
うちの他方にずらされて前記感光手段に入射するよう
に、前記入射手段の前記水平方向視野を3つに分割する
ことを特徴とする請求項1に記載の撮像装置。5. The splitting unit, wherein the incident unit shifts the center light image of the three light images corresponding to the three different viewpoints to one of an upper side and a lower side, and The horizontal field of view of the incident means is divided into three so that the light images at both ends are shifted to the other of the upper side and the lower side to enter the photosensitive means. An imaging device according to any one of the preceding claims.
特徴とする請求項1に記載の撮像装置。6. The imaging apparatus according to claim 1, wherein the dividing unit is detachable.
いて計測するとき、感光手段に光画像を入射して画像デ
ータを生成する撮像装置の撮像方法において、 光画像に感光して画像データを生成する前記感光手段に
前記被写体の前記光画像を入射する入射ステップと、 前記感光手段に対する視野を3つに分割する分割ステッ
プとを含むことを特徴とする撮像方法。7. An image pickup method for an image pickup apparatus, which measures a three-dimensional shape of a subject based on a stereo method and generates an image data by inputting an optical image to a photosensitive unit. An imaging method, comprising: an incident step of causing the optical image of the subject to enter the generated photosensitive means; and a dividing step of dividing a field of view with respect to the photosensitive means into three.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000118843A JP2001305682A (en) | 2000-04-20 | 2000-04-20 | Device and method for image pickup |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000118843A JP2001305682A (en) | 2000-04-20 | 2000-04-20 | Device and method for image pickup |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001305682A true JP2001305682A (en) | 2001-11-02 |
Family
ID=18629913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000118843A Withdrawn JP2001305682A (en) | 2000-04-20 | 2000-04-20 | Device and method for image pickup |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001305682A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7437066B2 (en) | 2003-05-29 | 2008-10-14 | Olympus Corporation | Stereo optical module and stereo camera |
JP2011058858A (en) * | 2009-09-08 | 2011-03-24 | Honda Motor Co Ltd | Viewing device |
WO2015182147A1 (en) * | 2014-05-28 | 2015-12-03 | 京セラ株式会社 | Stereo camera device and vehicle provided with stereo camera device |
-
2000
- 2000-04-20 JP JP2000118843A patent/JP2001305682A/en not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7437066B2 (en) | 2003-05-29 | 2008-10-14 | Olympus Corporation | Stereo optical module and stereo camera |
JP2011058858A (en) * | 2009-09-08 | 2011-03-24 | Honda Motor Co Ltd | Viewing device |
WO2015182147A1 (en) * | 2014-05-28 | 2015-12-03 | 京セラ株式会社 | Stereo camera device and vehicle provided with stereo camera device |
JPWO2015182147A1 (en) * | 2014-05-28 | 2017-04-20 | 京セラ株式会社 | Stereo camera device, vehicle having stereo camera device installed, and program |
US10180318B2 (en) | 2014-05-28 | 2019-01-15 | Kyocera Corporation | Stereo camera apparatus, vehicle provided with stereo camera apparatus, and non-transitory recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI668997B (en) | Image device for generating panorama depth images and related image device | |
JP4115801B2 (en) | 3D imaging device | |
US20080278804A1 (en) | Method and apparatus for quantitative 3-D imaging | |
US9057942B2 (en) | Single camera for stereoscopic 3-D capture | |
US20040001138A1 (en) | Stereoscopic panoramic video generation system | |
JP2000316120A (en) | Fully focusing image pickup device | |
JP2009300268A (en) | Three-dimensional information detection device | |
JPH06194758A (en) | Method and apparatus for formation of depth image | |
CN1314056A (en) | Acquisition for 3-D scenes with a single hand held camera | |
KR100264393B1 (en) | Stereo Camera System by Prism | |
Kagawa et al. | A three‐dimensional multifunctional compound‐eye endoscopic system with extended depth of field | |
US20150301313A1 (en) | Stereoscopic lens for digital cameras | |
JP4193292B2 (en) | Multi-view data input device | |
JPH1069543A (en) | Method and device for reconstituting curved surface of object | |
JP2000112019A (en) | Electronic triplet lens camera apparatus | |
KR20190019059A (en) | System and method for capturing horizontal parallax stereo panoramas | |
JP3676916B2 (en) | Stereoscopic imaging device and stereoscopic display device | |
JP3678792B2 (en) | Stereo imaging device | |
JP2001305682A (en) | Device and method for image pickup | |
US7880799B2 (en) | Focus detecting apparatus and image pickup apparatus | |
JP6367803B2 (en) | Method for the description of object points in object space and combinations for its implementation | |
WO2021093804A1 (en) | Omnidirectional stereo vision camera configuration system and camera configuration method | |
RU2305320C2 (en) | Method for creating matrix image of an object | |
JPH11281332A (en) | Image pickup device | |
JPH07220113A (en) | Image recording/reproducing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070703 |