JP2005107463A - Integral photography - Google Patents

Integral photography Download PDF

Info

Publication number
JP2005107463A
JP2005107463A JP2003373449A JP2003373449A JP2005107463A JP 2005107463 A JP2005107463 A JP 2005107463A JP 2003373449 A JP2003373449 A JP 2003373449A JP 2003373449 A JP2003373449 A JP 2003373449A JP 2005107463 A JP2005107463 A JP 2005107463A
Authority
JP
Japan
Prior art keywords
image
camera
pinhole
pixel
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003373449A
Other languages
Japanese (ja)
Inventor
Kazuhisa Yanaka
一寿 谷中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2003373449A priority Critical patent/JP2005107463A/en
Publication of JP2005107463A publication Critical patent/JP2005107463A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide integral photography capable of obtaining a stereoscopic image of high image quality free from distortion in shape. <P>SOLUTION: A three-dimensional substance as an object, a plurality of cameras placed in different positions, a virtual convex lens array or a pin hole array, and a virtual IP image are placed in a three-dimensional space. A camera through which light going into the three-dimensional space through the convex lens or the pin hole after being emitted from a certain pixel of the virtual IP image as a light source passes or near which the light passes is obtained. Among the pixels of the image photographed by the obtained camera, the value of the pixel corresponding to the pin hole direction is set as a pixel value assumed as the light source in the IP image. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、画面から飛び出したり引っ込んで見えるような立体表示方式の一つである、インテグラルフォトグラフィ(Integral Photography,以下IPと略す)に関するものである。  The present invention relates to integral photography (Integral Photography, hereinafter abbreviated as IP), which is one of three-dimensional display systems that appear to pop out or retract from a screen.

立体表示については、従来から種々の発明があるが、中でも1908年にリップマンにより提案されたIPは、観察者が特別なメガネを着用する必要がなく、しかも任意の方向から立体像を観察することができる点で優れた方式である。  There have been various inventions for stereoscopic display, but the IP proposed by Lippmann in 1908 does not require the observer to wear special glasses and observes a stereoscopic image from any direction. This is an excellent method in that

IPの実現方法としては、微小な凸レンズを二次元的に並べた蝿の目レンズ(フライアイレンズともいう)を用いる方法と、凸レンズをピンホール(針穴ともいう)で置き換えたピンホールアレイを用いた方法がある。ピンホールで凸レンズを代替できることは、針穴写真機(ピンホールカメラ)の例からも明らかである。またレンズの厚さが十分薄いなら、凸レンズの中心を通る光は直進するとみなせるので、その点からも、本発明の範囲内においては、凸レンズとピンホールは機能的には同等と言える。  As a method for realizing IP, there are a method using a moth-eye lens (also called a fly-eye lens) in which minute convex lenses are two-dimensionally arranged, and a pinhole array in which the convex lens is replaced with a pinhole (also called a needle hole). There is a method used. It is clear from the example of a needle hole camera (pinhole camera) that a convex lens can replace a convex lens. Further, if the lens is sufficiently thin, light passing through the center of the convex lens can be regarded as going straight, and from this point, it can be said that the convex lens and the pinhole are functionally equivalent within the scope of the present invention.

IPでは、凸レンズアレイまたはピンホールアレイの後方に、概ね凸レンズの焦点距離相当の間隔を空けて、立体表示の元になる1枚の画像が置かれる。この画像を本明細書ではIP画像と呼ぶ。1枚のIP画像は多数の要素画像から構成され、1個の凸レンズないしピンホールに対し、1つの要素画像が対応する。要素画像はアナログ画像であることもあるが、要素画像がデジタル画像である場合、その画素数は多眼数に関係する。発明者らの実験では、要素画像の画素数は32×32=1024とした。この場合多眼数は1024眼になる。  In the IP, one image that is the basis of stereoscopic display is placed behind a convex lens array or pinhole array, with an interval corresponding to the focal length of the convex lens. This image is called an IP image in this specification. One IP image is composed of many element images, and one element image corresponds to one convex lens or pinhole. The element image may be an analog image, but when the element image is a digital image, the number of pixels is related to the number of multiple eyes. In the experiments by the inventors, the number of pixels in the element image is 32 × 32 = 1024. In this case, the number of multiple eyes is 1024.

従来、IP画像データを作成するためには、次の文献に記述されているように、表示に用いるのと同様の蝿の目レンズを用いる必要があった。
吉田達哉、苗村健、原島博:“インテグラルフォトグラフィを用いた3次元CGの合成”、映像情報メディア学会誌、Vol.55,No.3,pp.474〜478,2001.
Conventionally, in order to create the IP image data, it is necessary to use the same eyelet lens as that used for display as described in the following document.
Tatsuya Yoshida, Ken Naemura, Hiroshi Harashima: “Synthesis of 3D CG using integral photography”, Journal of the Institute of Image Information and Television Engineers, Vol. 55, no. 3, pp. 474-478, 2001.

「従来のインテグラルフォトグラフィでは、まず蝿の目レンズを通して被写体の多数の倒立像をフィルムに撮影する。このフィルムを蝿の目レンズを通して再生することにより、被写体の立体像を生成することができる。ただし、このままでは奥行きの逆転した像(偽像)が再生されるため、フィルムに写った倒立像を正立像にする必要がある。一般的にこの修正には、フィルム上の倒立像を、正立像として再び蝿の目レンズを通して別のフィルムに撮り直すという手法はとられる。」  “In conventional integral photography, first, a large number of inverted images of a subject are photographed on a film through the eye-eye lens. By reproducing this film through the eye-eye lens, a stereoscopic image of the subject can be generated. However, since an image with a reversed depth (false image) is reproduced as it is, it is necessary to make an inverted image on the film an upright image. The method of taking an erect image again on another film through the eyelid lens is taken. "

このように、非常に面倒な手順を踏まなければならなかった、さらに、表示できる物体は、物体全体が画面の手前にあるか、もしくは画面の後ろにあるかのいずれかしか許されず、1つの物体の一部を画面の手前に飛び出させ、別な部分は画面の奥に引っ込むような立体像を作ることはできなかった。  In this way, a very troublesome procedure has to be taken, and the object that can be displayed can only be either in front of the screen or behind the screen. It was not possible to create a 3D image in which a part of an object popped out in front of the screen and another part retracted into the back of the screen.

本発明では、入力にはフライアイレンズは使わず、CCD力メラで複数の方向から被写体を撮した。また入力した画像をそのまま使うのではなく、コンピュータで処理を行ってIP画像を合成することにより、これらの問題を解決した。また、幾何学的な歪が原理的に生じないようにした。  In the present invention, a fly-eye lens is not used for input, and a subject is photographed from a plurality of directions with a CCD power camera. Also, instead of using the input image as it is, these problems were solved by synthesizing the IP image by processing with a computer. In addition, geometric distortion was not generated in principle.

本発明は、歪みのない、高品質なインテグラルフォトグラフィを実現することを課題とする。  An object of the present invention is to realize high-quality integral photography without distortion.

上記課題を解決するために、3次元空間内において複数のカメラ位置から被写体である3次元物体を撮影した。また、同じ3次元空間内の既知の位置に、仮想的に凸レンズアレイまたはピンホールアレイを配置し、その僅か奥には、仮想的なIP画像を配置した。ここで「仮想的」とは、計算上そこに凸レンズアレイなどがあると仮定して計算を行うという意味である。実物の凸レンズアレイをそこに置くのではない。  In order to solve the above problem, a three-dimensional object as a subject is photographed from a plurality of camera positions in a three-dimensional space. Further, a convex lens array or a pinhole array is virtually arranged at a known position in the same three-dimensional space, and a virtual IP image is arranged slightly behind. Here, “virtual” means that the calculation is performed assuming that there is a convex lens array in the calculation. We don't put a real convex lens array there.

IP画像の各要素画像から出た光が、近くの凸レンズまたはピンホールを通って、どのカメラに到達するのかということと、そのカメラから撮影した画像においてどの画素が、凸レンズまたはピンホールの方向に対応しているのかということは既知である(少なくとも計算で求めることができる)ので、凸レンズまたはピンホールの方向に対応する画素の値を読み取り、その値を、その凸レンズまたはピンホールの奥にある要素画像の値として設定した。この処理を、すべての要素画像について行うことによって、IP画像を作成した。この処理は、一種のレイトレーシングともみなせるが、通常のレイトレーシングがカメラ位置を基点として追跡するのに対し、本発明では、要素画像を基点とする点が異なる。  Which light from each elemental image of the IP image reaches which camera through a nearby convex lens or pinhole, and which pixel in the image taken from that camera is in the direction of the convex lens or pinhole Since it is known whether it is compatible (at least it can be obtained by calculation), the value of the pixel corresponding to the direction of the convex lens or pinhole is read, and the value is in the back of the convex lens or pinhole. Set as element image value. An IP image was created by performing this process for all element images. Although this process can be regarded as a kind of ray tracing, ordinary ray tracing tracks with a camera position as a base point, whereas the present invention differs in that an element image is a base point.

この結果、3次元物体の形状の歪が原理的に存在しない高品質のIPを実現した。また、凸レンズアレイなどはあくまで計算上の仮想的なものなので、たとえば球などの物体の内部にも置くことができ、この場合、球の一部が画面の手前に飛び出し、他の一部が画面より引っ込んで見えるようにすることもできる。  As a result, a high-quality IP having no distortion in the shape of a three-dimensional object was realized. In addition, the convex lens array etc. is only a virtual one for calculation, so it can be placed inside an object such as a sphere, for example. In this case, a part of the sphere pops out in front of the screen and the other part of the screen You can also make it look more retracted.

次に、発明を実施するための最良の形態について実施例に基づき述べる。    Next, the best mode for carrying out the invention will be described based on examples.

図1は本発明の実施例1であり、実写にもとづいてIP画像を作る場合である。図1はピンホールアレイを用いた方法について示しているが、凸レンズでも同様にできる。原点を中心としたXY平面内に仮想的なピンホールアレイを置き、そのわずか後方に、仮想的なIP画像を置く。発明者らの実験では1個のピンホールに対したとえば32×32=1024画素が対応するが、図1では説明を簡単にするため3×3=9画素が対応する。  FIG. 1 shows a first embodiment of the present invention, in which an IP image is created based on a real image. Although FIG. 1 shows a method using a pinhole array, a convex lens can be used similarly. A virtual pinhole array is placed in the XY plane centered on the origin, and a virtual IP image is placed slightly behind it. In our experiments, for example, 32 × 32 = 1024 pixels correspond to one pinhole, but in FIG. 1, 3 × 3 = 9 pixels correspond to simplify the explanation.

画素4を光源とする光はピンホール2を通って観察者の左目6に達し、画素5を光源とする光は同じピンホール2を通って観察者の右目7に達する。したがって、右目と左目で異なる像を見るので両眼視差により立体視ができる。ここで、物体8がこの位置に浮かんでいるように見せたいとする。この場合、視線と物体8との交点9における物体表面の色を画素4に、また視線と物体8との交点10における物体表面の色を画素5に、それぞれ書き込めばよい。観察者の目にとっては、その光が、IP画像の画素から出たものなのか、それとも3次元物体から出たものなのか区別がつかないので、実際にそこに物体があるように見える。  Light using the pixel 4 as a light source passes through the pinhole 2 and reaches the left eye 6 of the observer, and light using the pixel 5 as a light source passes through the same pinhole 2 and reaches the observer's right eye 7. Accordingly, since different images are seen by the right eye and the left eye, stereoscopic vision can be achieved by binocular parallax. Here, it is assumed that the object 8 appears to float at this position. In this case, the color of the object surface at the intersection 9 between the line of sight and the object 8 may be written into the pixel 4, and the color of the object surface at the intersection 10 between the line of sight and the object 8 may be written into the pixel 5. For the observer's eyes, it cannot be distinguished whether the light comes from a pixel in the IP image or from a three-dimensional object, so that it appears that there is actually an object there.

もし、左目6または右目7の位置にカメラがあれば、交点9または交点10における物体の色を得ることは容易である。カメラの位置や向き、視野角などが既知なら、カメラが撮影した画像のうちのどの画素がピンホール2の向きかがわかる。この場合カメラから見て、ピンホール2と、交点9または交点10は、同じ位置に見えるので、その画素値をサンプルすれば、交点9または交点10の色を得ることができるので、これを画素4や画素5に書き込めばよい。  If there is a camera at the position of the left eye 6 or the right eye 7, it is easy to obtain the color of the object at the intersection 9 or the intersection 10. If the position, orientation, viewing angle, etc. of the camera are known, it is possible to determine which pixel in the image captured by the camera is the direction of the pinhole 2. In this case, as viewed from the camera, the pinhole 2 and the intersection 9 or 10 appear at the same position. Therefore, if the pixel value is sampled, the color of the intersection 9 or 10 can be obtained. 4 and pixel 5 may be written.

このことから、物体8の像をその位置に浮かび上がらせたいのなら、IP画像のすべての画素から発してすべてのピンホールを通って進むようなすべての光線の進む先にカメラを取りつけて、カメラから見てピンホールの方向に物体があれば、その物体の色を、ピンホールの先の画素6に塗ればよいことがわかる。しかし、それではカメラ位置の数が無限に必要になってしまう。  For this reason, if you want the image of the object 8 to rise to that position, attach the camera to the destination of all the rays that travel from all the pixels of the IP image and travel through all the pinholes. It can be seen that if there is an object in the direction of the pinhole, the color of the object may be applied to the pixel 6 ahead of the pinhole. However, this requires an infinite number of camera positions.

しかし実際には、カメラ位置の数は有限である。図1においては、カメラ11からカメラ33までの9台しかカメラはない。そこで、IP画像の各要素画像を出た光がピンホールを通過して、どのカメラにもっとも接近するかを求める。カメラ位置は既知であるので、これは計算で求めることが可能である。たとえば、画素4からピンホール2を通って左目6に達する光線が最も近くを通るカメラは、カメラ11である。次に、カメラ11から撮影した画像41のどの画素が、ピンホール2の方向に対応するかを求める。カメラが向いている方向とカメラの視野角が既知であるので、これも計算可能である。この例では、画素P42がそれにあたる。  In practice, however, the number of camera positions is finite. In FIG. 1, there are only nine cameras from the camera 11 to the camera 33. Therefore, it is determined which light that has exited each elemental image of the IP image passes through the pinhole and is closest to which camera. Since the camera position is known, this can be determined by calculation. For example, the camera 11 is the camera through which the light beam reaching the left eye 6 from the pixel 4 through the pinhole 2 passes closest. Next, which pixel of the image 41 photographed from the camera 11 corresponds to the direction of the pinhole 2 is obtained. Since the direction in which the camera is facing and the viewing angle of the camera are known, this can also be calculated. In this example, the pixel P42 corresponds to this.

この際、カメラが撮影した画像の画素は離散的なので、ちょうど画素P42の位置には実は画素が存在しないこともあるが、その場合には、最も近傍の画素を用いるか、または近傍の複数画素の単純平均または重みつき平均を用いる。このようにして求めた画素値を、ピンホールの向こう側の、光の発信源と想定したIP画像の画素の値として決定する。この例では画素P42の色を、画素5に書き込む。この処理を繰り返すことによって、IP画像の全ての画素値を決定し、IP画像を完成させる。  At this time, since the pixels of the image photographed by the camera are discrete, there may actually be no pixel at the position of the pixel P42. In this case, the nearest pixel is used or a plurality of neighboring pixels are used. Use a simple average or a weighted average. The pixel value thus obtained is determined as the pixel value of the IP image that is assumed to be the light source beyond the pinhole. In this example, the color of the pixel P42 is written in the pixel 5. By repeating this process, all pixel values of the IP image are determined, and the IP image is completed.

なお、「カメラの位置」は複数必要になるが、被写体が静止していて、入力に時間をかけても良いのなら、物理的なカメラ自体は1台でも良い。発明者は、CCDカメラを製図などに使うXYプロッタのペンの代わりに取り付け、パソコンでXYプロッタを制御することで、CCDカメラを縦横に移動させた。このようにXYプロッタを用いる方法のほか、工作機械などで使われているロボットアームの先端にCCDカメラを取り付ける方法もある。  Note that a plurality of “camera positions” are required. However, if the subject is stationary and input may take time, only one physical camera may be used. The inventor attached the CCD camera in place of the pen of the XY plotter used for drawing and the like, and moved the CCD camera vertically and horizontally by controlling the XY plotter with a personal computer. In addition to the method using the XY plotter, there is a method of attaching a CCD camera to the tip of a robot arm used in a machine tool or the like.

なお、仮想的なピンホールアレイやIP画像は、現実のピンホールアレイやIP画像と必ずしも同じ大きさでなくても良い。ただし、立体像の形状に歪が生じないためには、仮想的なピンホールアレイやIP画像は、現実のピンホールアレイやIP画像と、それらの間隔も含め相似形でなければならない。その場合には、立体像の大きさが現実の物体と異なることはあっても、形状は歪まない。  Note that the virtual pinhole array or IP image does not necessarily have the same size as the actual pinhole array or IP image. However, in order to prevent distortion in the shape of the three-dimensional image, the virtual pinhole array or IP image must be similar to the actual pinhole array or IP image, including their spacing. In that case, even if the size of the stereoscopic image is different from that of the actual object, the shape is not distorted.

立体像を再生する場合は、「仮想」と「実在」の関係が逆になる。すなわち、ピンホールアレイ1とIP画像3の位置に物理的に実在するピンホールアレイとIP画像を置くと、物体8の位置に、物体の像が浮かび上がって見える。  When reproducing a stereoscopic image, the relationship between “virtual” and “real” is reversed. That is, when a pinhole array and an IP image that physically exist at the positions of the pinhole array 1 and the IP image 3 are placed, an image of the object appears to appear at the position of the object 8.

図2は本発明の実施例2であり、コンピュータグラフィックス(CG)を用いた場合である。POV−Ray(ポブレイ)というフリーソフトウェアを用いた場合について述べる。まずシーンファイルを呼ばれる、物体の配置をPOV−Rayの様式に従ってテキストで記述したものを作り、その中には視点の位置や方向も記述する。次にこれをレンダリングする。一般にCGでは、視点のことをカメラと呼ぶので、本実施例でもそう呼ぶこととする。この場合のカメラは、物理的に存在するカメラではなく、POV−Rayというソフトの中に論理的に存在するものである。  FIG. 2 shows a second embodiment of the present invention, in which computer graphics (CG) is used. The case where free software called POV-Ray is used will be described. First, a scene file called a text file that describes the object layout according to the POV-Ray format is created, and the viewpoint position and direction are also described therein. Then render it. In general, in CG, a viewpoint is called a camera, and so in this embodiment. The camera in this case is not a physically existing camera, but logically exists in software called POV-Ray.

図2に示すように、カメラをPOV−Rayの3次元空間内で縦横に動かすようシーンファイルに記述し、各カメラ位置から原点を見た方向を撮影し、これを静止画として出力させる。この際、POV−Rayにはアニメーションの機能が用意されており、clockという実数値をとる変数が0から1まで等間隔で自動的に変化するので、この変数でカメラの位置を制御することにより、カメラ位置の異なる複数の静止画像を一度にレンダリングすることができるので、大変便利である。  As shown in FIG. 2, a scene file is described so as to move the camera vertically and horizontally in the three-dimensional space of POV-Ray, and the direction of viewing the origin from each camera position is photographed, and this is output as a still image. At this time, POV-Ray has an animation function, and a variable that takes a real value called clock automatically changes from 0 to 1 at equal intervals. By controlling the position of the camera with this variable, Since a plurality of still images with different camera positions can be rendered at once, it is very convenient.

また、異なる要素画像内で同じ位置にある画素から出てピンホールを通った光は互いに平行になる。POV−Rayではカメラとして「平行投影カメラ」が用意されているので、これを用いると、それらの光を一括してカメラでとらえることができ、大変便利である。もし「平行投影カメラ」が使用できない場合には、カメラを原点からなるべく遠くに置き、視野角をなるべく小さくすれば、近似的に平行投影になる。次に、これらの静止画を、発明者が開発した独自のソフトで合成して、求めるIP画像を得る。  In addition, light that has exited from the pixels at the same position in different element images and passed through the pinholes are parallel to each other. In POV-Ray, a “parallel projection camera” is prepared as a camera. If this is used, the light can be captured by the camera all at once, which is very convenient. If a “parallel projection camera” cannot be used, a parallel projection can be obtained approximately by placing the camera as far as possible from the origin and making the viewing angle as small as possible. Next, these still images are synthesized by original software developed by the inventor to obtain the desired IP image.

図2において、ピンホールアレイはXY平面上に、原点を中心として置かれていると想定する。IP画像は、それと平行に、わずかの距離dだけ後ろ側に置かれる。一方、カメラの位値を(a,b,c)とする。本実施例では、cは固定とし、aとbは等間隔で変化させることにより、格子点にカメラが位置するようにしている。またカメラがどの位置にあっても、カメラの向きは常に原点を向いており、カメラは横方向には傾いていないものとする。また計算を容易にするため、カメラが撮影した画像すなわち視平面の中心が原点になるようにする。このとき、視平面は、原点(0,0,0)とカメラ(a,b,c)を結ぶ直線と直交することより、その方程式は次のようになる。  In FIG. 2, it is assumed that the pinhole array is placed on the XY plane with the origin as the center. The IP image is placed behind it by a small distance d in parallel with it. On the other hand, the position of the camera is (a, b, c). In this embodiment, c is fixed, and a and b are changed at equal intervals so that the camera is positioned at the lattice point. In addition, regardless of the position of the camera, the camera always faces the origin, and the camera is not inclined in the lateral direction. In order to facilitate the calculation, the center of the image taken by the camera, that is, the viewing plane is set as the origin. At this time, since the viewing plane is orthogonal to a straight line connecting the origin (0, 0, 0) and the camera (a, b, c), the equation is as follows.

また、図3に示すように、視平面内の任意の点をXYZ座標系で表したものを(x,y,z)とし、視平面内のUV座標系で表したものを(u,v)とすると、次の関係が成り立つ。 Further, as shown in FIG. 3, (x, y, z) represents an arbitrary point in the viewing plane in the XYZ coordinate system, and (u, v) represents in the UV coordinate system in the viewing plane. ), The following relationship holds.

あるピンホールの座標を(x,y,z)とする。ただしピンホールはXY平面内にあるので、zは常に0である。そのピンホールから出て、視線に平行に進む光が視平面と交わる点の座標は、Let the coordinates of a certain pinhole be (x 0 , y 0 , z 0 ). However, since the pinhole is in the XY plane, z 0 is always zero. The coordinates of the point where light that goes out of the pinhole and travels parallel to the line of sight intersects the viewing plane is

数3を数2に代入すると、各ピンホールが、カメラがとらえた静止画像のどの位置に対応するかが(u,v)として得られる。もっとも、ピンホール自体は、仮想的に置かれたものなので、カメラには写らないのであって、実際には、その方向におかれた3次元物体、たとえば球とか円錐とかチェッカーボードなどの表面の色が見える。  By substituting Equation 3 into Equation 2, it can be obtained as (u, v) which position of each pinhole corresponds to the still image captured by the camera. However, since the pinhole itself is virtually placed, it does not appear in the camera. Actually, a 3D object placed in that direction, such as a sphere, a cone, or a checkerboard I can see the color.

そこで、カメラがとらえた静止画像の中で、ちょうど(u,v)の位置にある画素の値を取り出し、そのピンホールの先にあるIP画像の画素値として設定する。この場合、(u,v)は連続的な値をとるのに対し、画素は離散的なので、ちょうどその位置には画素が存在しないこともあるが、その場合には、最も近傍の画素を用いるか、または近傍の複数の画素の平均値を用いる。この処理を、すべてのカメラ位置について行うことにより、求めるIP画像の全ての画素値を決めることができる。  Therefore, the value of the pixel at the position (u, v) is extracted from the still image captured by the camera and set as the pixel value of the IP image ahead of the pinhole. In this case, while (u, v) takes a continuous value, the pixel is discrete, so there may be no pixel at that position. In that case, the nearest pixel is used. Or an average value of a plurality of neighboring pixels is used. By performing this process for all camera positions, all pixel values of the desired IP image can be determined.

本発明の実施例1の斜視図である。It is a perspective view of Example 1 of the present invention. 本発明の実施例2の斜視図である。It is a perspective view of Example 2 of the present invention. 本発明の実施例2における座標系の関係を示す図である。It is a figure which shows the relationship of the coordinate system in Example 2 of this invention. 本発明の実施例2におけるIP画像の合成法である。It is an IP image composition method in Embodiment 2 of the present invention.

符号の説明Explanation of symbols

1 ピンホールアレイ
2 ピンホール
3 IP画像
4 画素
5 画素
6 右目
7 左目
8 物体
9 交点
10 交点
11 カメラ
12 カメラ
13 カメラ
21 カメラ
22 カメラ
23 カメラ
31 カメラ
32 カメラ
33 カメラ
41 カメラ11が撮影した画像
42 画素P
201 仮想ピンホールアレイ
202 仮想IP画像
203 物体
204 カメラ
301 仮想ピンホールアレイ
302 カメラ位置
303 カメラが撮影した静止画像(視平面)
304 ピンホール
305 交点
1 pinhole array 2 pinhole 3 IP image 4 pixels 5 pixels 6 right eye 7 left eye 8 object 9 intersection 10 intersection 11 camera 12 camera 13 camera 21 camera 22 camera 23 camera 31 camera 32 camera 33 camera 41 image 42 taken by the camera 11 Pixel P
201 Virtual Pinhole Array 202 Virtual IP Image 203 Object 204 Camera 301 Virtual Pinhole Array 302 Camera Position 303 Still Image Taken by Camera (View Plane)
304 Pinhole 305 Intersection

Claims (1)

3次元空間に、被写体となる3次元物体と、位置が異なる複数のカメラと、仮想的な凸レンズアレイまたはピンホールアレイと、仮想的なIP画像が置かれていて、仮想的なIP画像のある画素を光源とし凸レンズまたはピンホールを通って3次元空間に出た光が通過するかまたは最も近くを通るカメラから撮影された画像の画素のうちでピンホールの方向に対応する画素の値が、IP画像において光源として想定した画素の値となっていることを特徴とする、インテグラルフォトグラフィ。In a three-dimensional space, a three-dimensional object as a subject, a plurality of cameras with different positions, a virtual convex lens array or a pinhole array, and a virtual IP image are placed, and there is a virtual IP image The pixel value corresponding to the direction of the pinhole among the pixels of the image taken from the camera through which the light emitted from the pixel through the convex lens or the pinhole to the three-dimensional space passes or is passed through the closest, Integral photography, which has pixel values assumed as light sources in an IP image.
JP2003373449A 2003-09-26 2003-09-26 Integral photography Pending JP2005107463A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003373449A JP2005107463A (en) 2003-09-26 2003-09-26 Integral photography

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003373449A JP2005107463A (en) 2003-09-26 2003-09-26 Integral photography

Publications (1)

Publication Number Publication Date
JP2005107463A true JP2005107463A (en) 2005-04-21

Family

ID=34544121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003373449A Pending JP2005107463A (en) 2003-09-26 2003-09-26 Integral photography

Country Status (1)

Country Link
JP (1) JP2005107463A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081440A (en) * 2008-09-26 2010-04-08 National Institute Of Information & Communication Technology Three-dimensional video image display, three-dimensional video display method, and three-dimensional video display program
JP2011015227A (en) * 2009-07-02 2011-01-20 Nippon Hoso Kyokai <Nhk> Stereoscopic image generating device and program
CN102164298A (en) * 2011-05-18 2011-08-24 长春理工大学 Method for acquiring element image based on stereo matching in panoramic imaging system
CN103986926A (en) * 2014-05-26 2014-08-13 四川大学 Crosstalk-free integrated 3D display device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081440A (en) * 2008-09-26 2010-04-08 National Institute Of Information & Communication Technology Three-dimensional video image display, three-dimensional video display method, and three-dimensional video display program
JP2011015227A (en) * 2009-07-02 2011-01-20 Nippon Hoso Kyokai <Nhk> Stereoscopic image generating device and program
CN102164298A (en) * 2011-05-18 2011-08-24 长春理工大学 Method for acquiring element image based on stereo matching in panoramic imaging system
CN103986926A (en) * 2014-05-26 2014-08-13 四川大学 Crosstalk-free integrated 3D display device
CN103986926B (en) * 2014-05-26 2015-11-11 四川大学 A kind of integration imaging 3D display unit without crosstalk

Similar Documents

Publication Publication Date Title
CN107431796B (en) The omnibearing stereo formula of panoramic virtual reality content captures and rendering
JP4861309B2 (en) Ghost artifact reduction for rendering 2.5D graphics
JP4065488B2 (en) 3D image generation apparatus, 3D image generation method, and storage medium
KR20180111798A (en) Adaptive stitching of frames in the panorama frame creation process
JP2009031797A (en) 2d-3d convertible display method and device having background of integral image
JP2020525912A (en) System and method for adaptively stitching digital images
KR101433803B1 (en) Method and apparatus for generating elemental image in integral imaging
JP2005107463A (en) Integral photography
JP6166985B2 (en) Image generating apparatus and image generating program
JP4049738B2 (en) Stereoscopic video display device and stereoscopic video imaging device
JPH07240945A (en) Virtual space generating and presenting device
JP2006211386A (en) Stereoscopic image processing apparatus, stereoscopic image display apparatus, and stereoscopic image generating method
JP5522794B2 (en) Stereoscopic image generating apparatus and program thereof
JP2008090750A (en) Method and device for generating three-dimensional image
KR20070010306A (en) Device taking a picture and method to generating the image with depth information
JP2006146597A (en) Method of preparing three-dimensional image and method of displaying the same
JP2001118074A (en) Method and device for producing three-dimensional image and program recording medium
JP2005026772A (en) Method and apparatus of displaying stereoscopic video image
KR101883883B1 (en) method for glass-free hologram display without flipping images
JP4270695B2 (en) 2D-3D image conversion method and apparatus for stereoscopic image display device
JP2006211383A (en) Stereoscopic image processing apparatus, stereoscopic image display apparatus, and stereoscopic image generating method
WO2019026388A1 (en) Image generation device and image generation method
JP4993355B2 (en) Occlusion processing method for free-viewpoint video generation with local region division
JP2019045679A (en) Image processing apparatus, control method of image processing apparatus, image display apparatus and program
JP6814036B2 (en) Element image group generator and its program