JP2018014650A - Tomographic image generation system, tomographic image generation method, and tomographic image generation program - Google Patents
Tomographic image generation system, tomographic image generation method, and tomographic image generation program Download PDFInfo
- Publication number
- JP2018014650A JP2018014650A JP2016143764A JP2016143764A JP2018014650A JP 2018014650 A JP2018014650 A JP 2018014650A JP 2016143764 A JP2016143764 A JP 2016143764A JP 2016143764 A JP2016143764 A JP 2016143764A JP 2018014650 A JP2018014650 A JP 2018014650A
- Authority
- JP
- Japan
- Prior art keywords
- tomographic image
- subject
- image generation
- parabolic mirror
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003384 imaging method Methods 0.000 claims abstract description 121
- 230000003287 optical effect Effects 0.000 claims abstract description 58
- 230000001419 dependent effect Effects 0.000 abstract description 5
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 31
- 238000010586 diagram Methods 0.000 description 14
- 238000005457 optimization Methods 0.000 description 10
- 230000000052 comparative effect Effects 0.000 description 7
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000010226 confocal imaging Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 208000036829 Device dislocation Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 210000002421 cell wall Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Image Input (AREA)
Abstract
Description
本発明は、正対する２つの放物面鏡を用いた断層画像生成システムおよび断層画像生成方法に関するものである。 The present invention relates to a tomographic image generation system and a tomographic image generation method using two paraboloid mirrors facing each other.
従来から、被写界深度を浅くするための手法として、複数の小口径の結像系を用いて、大口径の結像系に相当する分解能を得る合成開口法が知られている（例えば、非特許文献１，２を参照。）。これは、多数の小口径の結像系を用いて多視点から撮影対象を見ることにより、仮想的に被写界深度を浅くする手法である。
また、共焦点撮像法は、顕微鏡で特定の一点のみを可視化する手法であり（例えば、非特許文献３を参照。）、顕微鏡の焦点とレーザの焦点を一致させて撮影を行うものである。共焦点撮像法において、共焦点光学系は、従来の顕微鏡と異なり、焦点の合った部分だけが際立って明るく撮像されるため（非合焦の部分は暗い）、焦点の合っていない箇所からの不要な散乱光が除去され、高コントラストになり、高解像度の撮影が可能である。
また、暗視野顕微鏡は、共焦点撮像法と同様、顕微鏡に用いられる手法であり、撮影対象に光源を対物レンズに当たらない角度で照射して、物体に当たって散乱した光のみを撮影することにより、細胞壁などの特定の位置にある物体のみを可視化するものである。
Conventionally, as a technique for reducing the depth of field, a synthetic aperture method is known that uses a plurality of small-aperture imaging systems to obtain a resolution equivalent to a large-aperture imaging system (for example, (See Non-Patent Documents 1 and 2.) This is a technique for virtually reducing the depth of field by using a large number of small-aperture imaging systems to view a subject to be photographed from multiple viewpoints.
Further, the confocal imaging method is a method of visualizing only one specific point with a microscope (see, for example, Non-Patent Document 3), and performs imaging by matching the focus of the microscope with the focus of the laser. In the confocal imaging method, the confocal optical system differs from the conventional microscope in that only the focused part is noticeably bright (the unfocused part is dark). Unnecessary scattered light is removed, the contrast becomes high, and high-resolution imaging is possible.
In addition, the dark field microscope is a technique used for a microscope, similar to the confocal imaging method, by irradiating a light source with an angle that does not hit the objective lens and photographing only the scattered light hitting the object, Only an object at a specific position such as a cell wall is visualized.
また、断層画像の生成において、所望の被写界深度の画像や所望の視線方向から見た被写体の画像の品質を向上する撮像システムが知られている（例えば、特許文献１を参照。）。特許文献１に開示された撮像システムは、結像光学系の光軸方向に焦点位置を変えながら被写体を複数回撮像することにより、複数の画像を取得し、それらの画像に基づいて、任意の被写界深度の画像又は任意の視線方向から見た被写体の画像を生成するものであるが、結像光学系の中に開口絞りが存在し（特許文献１中の図２を参照）、この開口絞りを調整することで被写界深度を制御している。 In addition, in the generation of tomographic images, an imaging system that improves the quality of an image of a desired depth of field and a subject image viewed from a desired line-of-sight direction is known (see, for example, Patent Document 1). The imaging system disclosed in Patent Literature 1 acquires a plurality of images by imaging a subject a plurality of times while changing a focal position in the optical axis direction of the imaging optical system, and based on these images, an arbitrary An image of a depth of field or an image of a subject viewed from an arbitrary line-of-sight direction is generated. An aperture stop exists in the imaging optical system (see FIG. 2 in Patent Document 1). The depth of field is controlled by adjusting the aperture stop.
また、撮影した画像のピンボケ等を低減する技術として、被写界深度の制御技術があり、結像光学系の光軸方向に焦点位置を変えながら被写体を複数回撮像した画像と、ボケ関数をデコンボリューションさせることによって、所望の被写界深度の制御画像を生成する技術が知られている。その中で、被写体が二次元コードである場合、二次元コードの構成単位であるセル上に配置されることを制約とした幾何変形行列を用いて、二次元コードの復元画像を決定する技術が知られている（特許文献２を参照。）。 In addition, there is a technology to control the depth of field as a technique for reducing out-of-focus, etc. of a captured image, and an image obtained by capturing an object multiple times while changing the focal position in the optical axis direction of the imaging optical system, and a blur function. A technique for generating a control image having a desired depth of field by deconvolution is known. Among them, when the subject is a two-dimensional code, there is a technique for determining a restored image of a two-dimensional code using a geometric deformation matrix that is constrained to be placed on a cell that is a constituent unit of the two-dimensional code. It is known (see Patent Document 2).
上述した合成開口法では、複数の視点からの画像が必要となるため、複数台のカメラを使用して撮影を行う必要がある。このときカメラの外部および内部パラメータの幾何学的な補正や光学的な補正が必要となる。そのため、装置の作成コストが大きいといった問題がある。複数枚のミラーを利用して撮影する方法もあるが、解像度が低下するといった問題がある。
また、共焦点撮像法では、対象となる１点のみを計測する手法であるため、面を撮影するためには二次元の走査が必要である。また、共焦点撮像法や暗視野顕微鏡では、開口数の高い大きなレンズを作製することが難しいといった理由から、比較的大きな物体を計測するのには困難である。
また、特許文献１に開示された撮像システムでは、開口絞りを調整することで被写界深度を制御することから、その構成上、非常に浅い被写界深度を実現することは困難である。
In the synthetic aperture method described above, images from a plurality of viewpoints are required, so it is necessary to perform imaging using a plurality of cameras. At this time, geometric correction and optical correction of external and internal parameters of the camera are required. Therefore, there is a problem that the production cost of the apparatus is high. There is a method of taking a picture using a plurality of mirrors, but there is a problem that the resolution is lowered.
Further, since the confocal imaging method is a method of measuring only one target point, two-dimensional scanning is necessary to capture a surface. In addition, it is difficult to measure a relatively large object with a confocal imaging method or a dark field microscope because it is difficult to manufacture a large lens with a high numerical aperture.
Moreover, in the imaging system disclosed in Patent Document 1, since the depth of field is controlled by adjusting the aperture stop, it is difficult to realize a very shallow depth of field due to its configuration.
そこで、本発明者らは、被写界深度の非常に浅い撮像装置に特化した最適化を行うことにより、解像度の低下を防ぎつつ、幾何学的および光学的な補正の必要がない断層画像生成システムを開発し、本発明を完成した。 Therefore, the present inventors have carried out optimization specialized for an imaging apparatus with a very shallow depth of field, thereby preventing a reduction in resolution and eliminating the need for geometric and optical correction. A generation system was developed and the present invention was completed.
すなわち、上記状況に鑑みて、本発明は、被写界深度の非常に浅い撮像装置を用いて撮影した画像と、その撮像装置が持つ位置依存の光学的なボケを利用して、より鮮明な断層画像を生成するシステムおよび方法を提供することを目的とする。 That is, in view of the above situation, the present invention is clearer by using an image captured using an imaging device with a very shallow depth of field and position-dependent optical blur that the imaging device has. It is an object to provide a system and method for generating a tomographic image.
上記課題を解決すべく、本発明の断層画像生成システムは、下記の１）撮像装置と２）断層画像生成手段とから構成される。
１）撮像装置
結像光学系の焦点位置に被写体を配置する。そして、結像光学系の光軸方向に被写体を平行移動させる移動手段を設ける。
２）断層画像生成手段
下記ａ）〜ｃ）を用いて、被写体の断層画像を生成する。
ａ）上記の移動手段により被写体を移動させて異なる位置から撮影された複数の撮影画像
ｂ）被写体の位置に依存するボケ関数
ｃ）撮影画像の画素値に関する上界と下界の制約
In order to solve the above problems, the tomographic image generation system of the present invention includes the following 1) an imaging device and 2) a tomographic image generation means.
1) Imaging device A subject is placed at the focal position of the imaging optical system. Then, a moving means for translating the subject in the optical axis direction of the imaging optical system is provided.
2) Tomographic image generating means A tomographic image of a subject is generated using the following a) to c).
a) A plurality of photographed images taken from different positions by moving the subject by the above moving means b) A blur function depending on the position of the subject c) Constraints on upper and lower bounds on pixel values of the photographed image
ここで、結像光学系は、第１放物面鏡と第２放物面鏡を正対配置させ、第１放物面鏡の焦点位置に撮像素子を配置し、第２放物面鏡の焦点位置に被写体を配置したものが好適に用いられる。すなわち、撮像装置は、正対する２つの放物面鏡（第１放物面鏡と第２放物面鏡）によって構成される。一方の放物面鏡（第２放物面鏡）の焦点位置に置いた対象物体（被写体）から出た光は、放物面鏡（第２放物面鏡）によって平行光として反射され、平行な反射光は、正対する放物面鏡（第１放物面鏡）により反射され、もう一方の焦点、すなわち、放物面鏡（第１放物面鏡）の焦点に集光する。そのため、放物面鏡の最大直径を開口とする非常に浅い被写界深度を持つ撮像系を実現できる。この撮像装置によって撮影された画像は、焦点付近に設置した撮像素子と対象物体（被写体）の位置関係に依存する独特な光学的なボケを生じる。この位置依存の光学的なボケ方を事前に計測しておいて、光学的なボケに基づく光線強度に関する制約を用いた最適化を行うことによって、鮮明な断層画像を撮影する。 Here, the imaging optical system arranges the first parabolic mirror and the second parabolic mirror facing each other, arranges the imaging element at the focal position of the first parabolic mirror, and sets the second parabolic mirror. Those in which the subject is arranged at the focal position are preferably used. That is, the imaging apparatus is configured by two parabolic mirrors (a first parabolic mirror and a second parabolic mirror) that face each other. Light emitted from the target object (subject) placed at the focal position of one parabolic mirror (second parabolic mirror) is reflected as parallel light by the parabolic mirror (second parabolic mirror), The parallel reflected light is reflected by the parabolic mirror (first parabolic mirror) that directly faces, and is collected at the other focal point, that is, the focal point of the parabolic mirror (first parabolic mirror). Therefore, it is possible to realize an imaging system having a very shallow depth of field with the maximum diameter of the parabolic mirror as an opening. An image photographed by this imaging device produces a unique optical blur that depends on the positional relationship between an imaging element installed near the focal point and a target object (subject). A clear tomographic image is taken by measuring the position-dependent optical blur in advance and performing optimization using constraints on the light intensity based on the optical blur.
つまり、正対する２つの放物面鏡を用いて、集光する光を撮影することにより、解像度の犠牲を減らした撮影が可能となり、高い開口数を持ち、被写界深度の浅い撮影装置を実現することができる。また、被写体の位置依存の光学的なボケ、すなわち、被写体の位置によって独特に変化するボケ方を解析し、ボケ度合いを用いた最適化処理を行い、より鮮明な断層画像の撮影を行うことが可能となる。
なお、正対する２つの放物面鏡（第１放物面鏡と第２放物面鏡）の中心間距離が、それぞれの焦点距離の合計距離よりも小さい場合でも大きい場合でも、被写体から出る光の光路は同じで、一方の放物面鏡（第２放物面鏡）の焦点位置に置いた対象物体（被写体）から出た光は、放物面鏡（第２放物面鏡）によって平行光として反射され、平行な反射光は、正対する放物面鏡（第１放物面鏡）により反射され、もう一方の焦点、すなわち、放物面鏡（第１放物面鏡）の焦点に集光する。
In other words, by using two paraboloid mirrors facing each other to shoot the condensed light, it is possible to shoot with reduced sacrifice of resolution, a high numerical aperture, and a shallow depth of field photographic device. Can be realized. Also, it is possible to analyze optical blur depending on the position of the subject, i.e., how the blur changes uniquely depending on the position of the subject, perform optimization processing using the degree of blur, and capture a clearer tomographic image. It becomes possible.
Note that the two paraboloid mirrors (the first paraboloid mirror and the second paraboloid mirror) facing each other come out of the subject regardless of whether the distance between the centers is smaller or larger than the total distance of the respective focal lengths. The light path is the same, and the light emitted from the target object (subject) placed at the focal position of one parabolic mirror (second parabolic mirror) is parabolic mirror (second parabolic mirror). The parallel reflected light is reflected by the opposite parabolic mirror (first parabolic mirror), and the other focal point, that is, the parabolic mirror (first parabolic mirror). Focus on the focus.
本発明の断層画像生成システムの断層画像生成手段において、上記ｃ）の制約は撮影画像の画素値の上界と下界の制約であり、上界は前記ボケ関数から算出した値であり、下界は非負値である。
光線強度は負の値にならないという条件と、ボケ度合いから推定される上界を定めることにより、より鮮明な断層画像の撮影を行うことが可能となる。
In the tomographic image generation means of the tomographic image generation system of the present invention, the restriction c) is a restriction on the upper and lower bounds of the pixel value of the captured image, the upper bound is a value calculated from the blur function, and the lower bound is It is a non-negative value.
By defining the condition that the light intensity does not become a negative value and the upper bound estimated from the degree of blur, a clearer tomographic image can be taken.
本発明の断層画像生成システムの断層画像生成手段は、推定する断層画像にボケ関数を掛け合わせた画像と、撮影画像との誤差が最小になるもので、上記制約を満たす画像を推定断層画像として生成する。 The tomographic image generation means of the tomographic image generation system of the present invention minimizes an error between an image obtained by multiplying a tomographic image to be estimated by a blur function and a photographed image, and an image satisfying the above constraints is used as an estimated tomographic image. Generate.
本発明の断層画像生成システムにおいて、第１放物面鏡と第２放物面鏡は、それぞれの開口径が同じであることが好ましい。開口径が同じ放物面鏡を正対させることにより、放物面鏡による反射光の利用率を高めることができる。
また、第１放物面鏡と第２放物面鏡は、それぞれの開口径および曲率が同じであり、中心間距離が焦点距離となるように縁同士を合せて正対配置させたことがより好ましい。この場合、正対する２つの放物面鏡を用いて、集光する光を撮影することにより、解像度を犠牲にしない撮影が可能となり、開口数でみると顕微鏡より高い開口数を持ち、撮影範囲も大きく取れるため、レンズでは実現できない被写界深度の非常に浅い撮影装置を実現できる。
In the tomographic image generation system of the present invention, it is preferable that the first parabolic mirror and the second parabolic mirror have the same opening diameter. By making the parabolic mirrors having the same opening diameter face each other, the utilization rate of the reflected light by the parabolic mirrors can be increased.
In addition, the first parabolic mirror and the second parabolic mirror have the same opening diameter and curvature, and the edges are aligned with each other so that the center-to-center distance is the focal length. More preferred. In this case, using two paraboloid mirrors facing each other to shoot the condensed light, it is possible to shoot without sacrificing the resolution. In terms of numerical aperture, it has a higher numerical aperture than the microscope and has a shooting range. Therefore, it is possible to realize a photographing device with a very shallow depth of field that cannot be realized with a lens.
本発明の断層画像生成システムにおいて、被写体を光軸方向に垂直な方向に平行移動させる第２移動手段を更に備え、そして、断層画像生成手段は、光軸方向に垂直な方向に平行移動させながら被写体をする撮影した画像を用いて、被写体の断層画像を生成することが好ましい。 The tomographic image generation system of the present invention further includes a second moving unit that translates the subject in a direction perpendicular to the optical axis direction, and the tomographic image generation unit translates the subject in a direction perpendicular to the optical axis direction. It is preferable to generate a tomographic image of a subject using a photographed image of the subject.
本発明の断層画像生成システムの撮像装置において、装置外側に光源、第２放物面鏡の焦点位置に光入射口、撮像素子と被写体の間に光遮蔽用マスクが設けられる。 In the imaging apparatus of the tomographic image generation system of the present invention, a light source is provided outside the apparatus, a light entrance is provided at the focal position of the second parabolic mirror, and a light shielding mask is provided between the imaging element and the subject.
次に、本発明の断層画像生成方法について説明する。
本発明の断層画像生成方法は、下記１）〜３）のステップを備える。
１）結像光学系の光軸方向に被写体を平行移動させる移動ステップ
２）光軸方向に移動させて異なる位置から被写体を撮影する撮像ステップ
３）被写体を移動させて異なる位置から撮影された複数の撮影画像と、被写体の位置に依存するボケ関数と、撮影画像の画素値に関する上界と下界の制約とを用いて、被写体の断層画像を生成する断層画像生成ステップ
Next, the tomographic image generation method of the present invention will be described.
The tomographic image generation method of the present invention includes the following steps 1) to 3).
1) Moving step for translating the subject in the optical axis direction of the imaging optical system 2) Imaging step for moving the subject in the optical axis direction and photographing the subject from different positions 3) Multiple images taken from different positions by moving the subject A tomographic image generation step for generating a tomographic image of a subject using the captured image of the subject, a blur function depending on the position of the subject, and upper and lower bounds on the pixel value of the captured image
ここで、結像光学系は、第１放物面鏡と第２放物面鏡を正対配置させ、第１放物面鏡の焦点位置に撮像素子を配置し、第２放物面鏡の焦点位置に被写体を配置したものが好適に用いられる。
上記３）の断層画像生成ステップにおいて、上記制約は撮影画像の画素値の上界と下界の制約であり、上界は前記ボケ関数から算出した値であり、下界は非負値である。
Here, the imaging optical system arranges the first parabolic mirror and the second parabolic mirror facing each other, arranges the imaging element at the focal position of the first parabolic mirror, and sets the second parabolic mirror. Those in which the subject is arranged at the focal position are preferably used.
In the tomographic image generation step of 3), the restriction is a restriction on the upper and lower bounds of the pixel value of the photographed image, the upper bound is a value calculated from the blur function, and the lower bound is a non-negative value.
また、断層画像生成ステップは、推定する断層画像にボケ関数を掛け合わせた画像と、撮影画像との誤差が最小になるもので、上記制約を満たす画像を断層画像として生成する。 The tomographic image generation step generates an image satisfying the above constraints as a tomographic image, in which an error between the image obtained by multiplying the estimated tomographic image by the blur function and the captured image is minimized.
また、第１放物面鏡と第２放物面鏡は、それぞれの開口径が同じであることが好ましい。光の利用率を高めることができる。さらに、第１放物面鏡と第２放物面鏡は、それぞれの開口径および曲率が同じであり、中心間距離が焦点距離となるように縁同士を合せて正対配置させたことがより好ましい。被写界深度の非常に浅い撮影装置を実現できる。 The first parabolic mirror and the second parabolic mirror preferably have the same opening diameter. Light utilization can be increased. Furthermore, the first parabolic mirror and the second parabolic mirror have the same opening diameter and curvature, and the edges are aligned with each other so that the center-to-center distance is the focal length. More preferred. An imaging device with a very shallow depth of field can be realized.
また、被写体を光軸方向に垂直な方向に平行移動させる第２移動ステップを更に備え、断層画像生成ステップは、光軸方向に垂直な方向に平行移動させながら被写体をする撮影した画像を用いて、被写体の断層画像を生成することが好ましい。 In addition, the image processing apparatus further includes a second movement step of translating the subject in a direction perpendicular to the optical axis direction, and the tomographic image generation step uses a photographed image of the subject while translating in the direction perpendicular to the optical axis direction. It is preferable to generate a tomographic image of the subject.
本発明の断層画像生成プログラムについて説明する。
本発明の断層画像生成プログラムは、コンピュータを、本発明の断層画像生成システムにおける断層画像生成手段として機能させるプログラムである。
他の観点によれば、本発明の断層画像生成プログラムは、コンピュータに、本発明の断層画像生成方法における断層画像生成ステップを実行させるためのプログラムである。
The tomographic image generation program of the present invention will be described.
The tomographic image generation program of the present invention is a program that causes a computer to function as tomographic image generation means in the tomographic image generation system of the present invention.
According to another aspect, the tomographic image generation program of the present invention is a program for causing a computer to execute a tomographic image generation step in the tomographic image generation method of the present invention.
本発明によれば、被写界深度の浅い撮像装置を用いて撮影した画像と、撮像装置が持つ位置依存の光学的なボケを利用して、より鮮明な断層画像を生成できるといった効果がある。 According to the present invention, there is an effect that a clearer tomographic image can be generated by using an image captured using an imaging device with a shallow depth of field and position-dependent optical blur of the imaging device. .
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。 Hereinafter, an example of an embodiment of the present invention will be described in detail with reference to the drawings. The scope of the present invention is not limited to the following examples and illustrated examples, and many changes and modifications can be made.
まず、本発明の断層画像生成方法の処理フローについて説明する。
図１は、本発明の断層画像生成方法のフローを示している。本発明の断層画像生成方法は、２つの放物面鏡を正対させた撮像装置に被写体を配置する配置ステップと、被写体を平行移動させる移動ステップと、異なる位置から被写体を撮影する撮像ステップと、被写体の位置に依存するボケ関数と撮影画像の画素値の上界と下界の制約を用いて、断層画像を生成する断層画像生成ステップから成る。
２つの放物面鏡を正対させた撮像装置では、曲率とサイズが同じ第１放物面鏡と第２放物面鏡とを中心間距離が焦点距離となるように縁同士を合せて正対配置させ、第１放物面鏡の焦点位置に撮像素子を配置させる。そして、第２放物面鏡の焦点位置に被写体を配置する。
First, the processing flow of the tomographic image generation method of the present invention will be described.
FIG. 1 shows a flow of the tomographic image generation method of the present invention. The tomographic image generation method of the present invention includes an arrangement step of arranging a subject on an imaging device in which two paraboloidal mirrors face each other, a moving step of moving the subject in parallel, and an imaging step of photographing the subject from different positions. And a tomographic image generation step for generating a tomographic image using the blur function depending on the position of the subject and the upper and lower bounds of the pixel value of the captured image.
In an imaging device in which two paraboloidal mirrors face each other, the edges of the first parabolic mirror and the second parabolic mirror having the same curvature and size are aligned so that the center-to-center distance is the focal length. The imaging element is arranged at the focal position of the first parabolic mirror. Then, the subject is placed at the focal position of the second parabolic mirror.
次に、本発明の断層画像生成方法ならびに断層画像生成システムで用いる光学系、すなわち、正対する２つの放物面鏡を用いた結像光学系について、図２を参照して説明する。
本発明で用いる光学系では、第１放物面鏡３と第２放物面鏡２が正対配置され、第１放物面鏡３の焦点Ｆ１の位置に撮像素子６が配置され、第２放物面鏡２の焦点Ｆ２の位置に被写体４が配置される。そして、撮像素子６に被写体４の直接光が入らないように、撮像素子６と被写体４の間には光遮断用マスク８が設けられる。
Next, an optical system used in the tomographic image generation method and the tomographic image generation system of the present invention, that is, an imaging optical system using two paraboloid mirrors facing each other will be described with reference to FIG.
In the optical system used in the present invention, the first parabolic mirror 3 and the second parabolic mirror 2 are arranged facing each other, and the image sensor 6 is arranged at the position of the focal point F 1 of the first parabolic mirror 3. The subject 4 is arranged at the position of the focal point F 2 of the second parabolic mirror 2. A light blocking mask 8 is provided between the image sensor 6 and the subject 4 so that direct light from the subject 4 does not enter the image sensor 6.
図２（１）に示す光学系は、曲率と開口径が同じ２つの第１放物面鏡３と第２放物面鏡２とを中心間距離が焦点距離となるように正対配置させたものである。曲率が同じ２つ放物面鏡は焦点距離も同じである。この場合、第１放物面鏡３の焦点Ｆ１の位置が第２放物面鏡２の中心部と重なり、第２放物面鏡２の焦点Ｆ２の位置が第１放物面鏡３の中心部と重なる。第２放物面鏡２の焦点Ｆ２の位置に被写体４が配置されていると、被写体４から出射した光は、第２放物面鏡２で反射すると平行光となり、第１放物面鏡３に向う。そして、この平行光は第１放物面鏡３で反射すると第１放物面鏡３の焦点Ｆ１の位置に集光する。第１放物面鏡３の焦点Ｆ１の位置に撮像素子６が配置されているので、撮像素子６によって被写体４が鮮明に撮影されることになる。図２（１）に示す光学系の場合、２つの第１放物面鏡３と第２放物面鏡２の縁は合わさっていないが、縁が合わさるまで放物面鏡の開口径を拡げてもよい。２つの第１放物面鏡３と第２放物面鏡２の縁同士が合わさった場合、開口径が最も大きくなり、また被写体４の光が外部に漏れることがなく、撮像素子６に入る光量を最大化することが可能である。
なお、２つの放物面鏡の縁同士が合わさらない場合、開口径が同じである必要はないが、被写体４から出射した光は、第２放物面鏡２で反射すると平行光となり、第１放物面鏡３に向うことから、第２放物面鏡２よりも第１放物面鏡３の開口径を大きくするべきである。
In the optical system shown in FIG. 2 (1), two first paraboloidal mirrors 3 and 2 having the same curvature and aperture diameter are arranged so that the center-to-center distance is the focal length. It is a thing. Two parabolic mirrors with the same curvature have the same focal length. In this case, the position of the focal point F 1 of the first parabolic mirror 3 overlaps with the center of the second parabolic mirror 2, and the position of the focal point F 2 of the second parabolic mirror 2 is the first parabolic mirror. 3 overlaps the center. When the object 4 to the position of the focal point F 2 of the second parabolic mirror 2 is arranged, light emitted from the object 4 becomes parallel light when reflected by the second parabolic mirror 2, face first parabolic Head to mirror 3. When this parallel light is reflected by the first parabolic mirror 3, it is condensed at the position of the focal point F 1 of the first parabolic mirror 3. Since the imaging device 6 is disposed at the position of the focal point F 1 of the first parabolic mirror 3, the subject 4 is clearly captured by the imaging device 6. In the case of the optical system shown in FIG. 2A, the edges of the two first parabolic mirrors 3 and the second parabolic mirror 2 are not combined, but the opening diameter of the parabolic mirror is increased until the edges are combined. May be. When the edges of the two first parabolic mirrors 3 and the second parabolic mirror 2 are joined together, the aperture diameter becomes the largest, and the light of the subject 4 does not leak outside and enters the image sensor 6. It is possible to maximize the amount of light.
If the edges of the two parabolic mirrors do not match, the aperture diameters do not have to be the same, but the light emitted from the subject 4 becomes parallel light when reflected by the second parabolic mirror 2, Since it faces the first parabolic mirror 3, the opening diameter of the first parabolic mirror 3 should be larger than that of the second parabolic mirror 2.
図２（２）に示す光学系は、曲率と開口径が同じ２つの第１放物面鏡３と第２放物面鏡２とを中心間距離が焦点距離より大きく、それぞれの焦点距離の合計より小さくなるように正対配置させたものである。この場合、第１放物面鏡３の焦点Ｆ１の位置が第２放物面鏡２の中心部から離れ、また、第２放物面鏡２の焦点Ｆ２の位置が第１放物面鏡３の中心部から離れる。第２放物面鏡２の焦点Ｆ２の位置に被写体４が配置されていると、被写体４から出射した光は、第２放物面鏡２で反射すると平行光となり、第１放物面鏡３に向う。そして、この平行光は第１放物面鏡３で反射すると第１放物面鏡３の焦点Ｆ１の位置に集光する。第１放物面鏡３の焦点Ｆ１の位置に撮像素子６が配置されているので、撮像素子６によって被写体４が鮮明に撮影されることになる。図２（２）に示す光学系の場合、２つの第１放物面鏡３と第２放物面鏡２の縁は合わさっていないが、縁が合わさるまで放物面鏡の開口径を拡げてもよい。２つの第１放物面鏡３と第２放物面鏡２の縁同士が合わさった場合、開口径が最も大きくなり、また被写体４の光が外部に漏れることがなく、撮像素子６に入る光量を最大化することが可能である。
また、図２（２）に示す光学系の場合、曲率が異なる、すなわち焦点距離が異なる２つの放物面鏡を用いることも可能である。なお、一方の放物面鏡の焦点距離が中心間距離より大きい場合であっても、本発明で用いる光学系として適用することが可能である。
In the optical system shown in FIG. 2 (2), the distance between the centers of the first parabolic mirror 3 and the second parabolic mirror 2 having the same curvature and the same aperture diameter is larger than the focal length, and the respective focal lengths are the same. It is arranged to face each other so as to be smaller than the total. In this case, the position of the focal point F 1 of the first parabolic mirror 3 is away from the center of the second parabolic mirror 2, and the position of the focal point F 2 of the second parabolic mirror 2 is the first paraboloid. The center part of the surface mirror 3 is separated. When the object 4 to the position of the focal point F 2 of the second parabolic mirror 2 is arranged, light emitted from the object 4 becomes parallel light when reflected by the second parabolic mirror 2, face first parabolic Head to mirror 3. When this parallel light is reflected by the first parabolic mirror 3, it is condensed at the position of the focal point F 1 of the first parabolic mirror 3. Since the imaging device 6 is disposed at the position of the focal point F 1 of the first parabolic mirror 3, the subject 4 is clearly captured by the imaging device 6. In the case of the optical system shown in FIG. 2 (2), the edges of the two first parabolic mirrors 3 and the second parabolic mirror 2 are not combined, but the opening diameter of the parabolic mirror is increased until the edges are combined. May be. When the edges of the two first parabolic mirrors 3 and the second parabolic mirror 2 are joined together, the aperture diameter becomes the largest, and the light of the subject 4 does not leak outside and enters the image sensor 6. It is possible to maximize the amount of light.
In the case of the optical system shown in FIG. 2B, it is possible to use two parabolic mirrors having different curvatures, that is, different focal lengths. Even if the focal length of one parabolic mirror is larger than the center-to-center distance, it can be applied as an optical system used in the present invention.
図２（３）に示す光学系は、曲率と開口径が同じ２つの第１放物面鏡３と第２放物面鏡２とを中心間距離が、それぞれの焦点距離の合計より大きくなるように正対配置させたものである。この場合、第２放物面鏡２の焦点Ｆ２の位置に被写体４が配置されるのではなく、第１放物面鏡３の焦点Ｆ１の位置に被写体４が配置され、第２放物面鏡２の焦点Ｆ２の位置に撮像素子６が配置される。被写体４から出射した光は、第１放物面鏡３で反射すると平行光となり、第２放物面鏡２に向う。そして、この平行光は第２放物面鏡２で反射すると第２放物面鏡２の焦点Ｆ２の位置に集光する。第２放物面鏡２の焦点Ｆ２の位置に撮像素子６が配置されているので、撮像素子６によって被写体４が鮮明に撮影されることになる。図２（３）に示す光学系の場合も、曲率が異なる（すなわち焦点距離が異なる）２つの放物面鏡を用いることが可能である。また、開口径が異なる２つの放物面鏡を用いることも可能である。被写体４から出射した光は、第１放物面鏡３で反射すると平行光となり、第２放物面鏡２に向うことから、第１放物面鏡３よりも第２放物面鏡２の開口径を大きくするべきである。 In the optical system shown in FIG. 2 (3), the center-to-center distance between the two first parabolic mirrors 3 and the second parabolic mirror 2 having the same curvature and the same aperture diameter is larger than the sum of the respective focal lengths. In this way, they are arranged face to face. In this case, instead of the object 4 is placed at the focal point F 2 of the second parabolic mirror 2, the object 4 is placed at the focal point F 1 of the first parabolic mirror 3, the second discharge The image sensor 6 is disposed at the position of the focal point F 2 of the object mirror 2. When the light emitted from the subject 4 is reflected by the first parabolic mirror 3, it becomes parallel light and travels toward the second parabolic mirror 2. Then, when this parallel light is reflected by the second parabolic mirror 2, it is condensed at the position of the focal point F 2 of the second parabolic mirror 2. Since the image sensor 6 is disposed at the position of the focal point F 2 of the second parabolic mirror 2, the subject 4 is clearly imaged by the image sensor 6. In the case of the optical system shown in FIG. 2C, it is possible to use two parabolic mirrors having different curvatures (that is, different focal lengths). It is also possible to use two parabolic mirrors having different opening diameters. The light emitted from the subject 4 becomes parallel light when reflected by the first parabolic mirror 3 and travels toward the second parabolic mirror 2, so that the second parabolic mirror 2 rather than the first parabolic mirror 3. The opening diameter should be increased.
以下では、本発明の断層画像生成システムならびに断層画像生成方法で用いる撮像装置の一実施形態について説明する。図３は、断層画像生成システムで用いる撮像装置の構成図を示している。
撮像装置１は、曲率とサイズが同じ第１放物面鏡３と第２放物面鏡２とを中心間距離が焦点距離となるように縁同士を合せて正対配置させて構成される。つまり、撮像装置１は、頂点と焦点同士が一致する同じ形状の放物面鏡（２，３）一対で構成される。下側に配置された第１放物面鏡３の焦点位置には撮像素子６を配置する。撮像素子６にはレンズを設けていない。一方、上側に配置された第２放物面鏡２の焦点位置には被写体４を配置する。下側に配置された第１放物面鏡３の焦点位置には開口孔１０が設けられ、照明光源７の光が２枚の放物面鏡の内部に入射できるようになっている。このため、被写体からの光は、下側に配置された第１放物面鏡３の開口孔１０から入る光が被写体を透過したものになる。この透過光の中で、撮像素子への直接到達する光は、被写体の内部層の可視化を阻害する可能性がある。このため、薄い光遮断用マスク８を、撮像素子と被写体の間に設け、撮像素子に光が直接到達しないようにしている。光遮断用マスク８は円板状であり、透明なマスク支持部９によって正対する放物面鏡の内部で支持されている。
Hereinafter, an embodiment of an imaging apparatus used in the tomographic image generation system and the tomographic image generation method of the present invention will be described. FIG. 3 shows a configuration diagram of an imaging apparatus used in the tomographic image generation system.
The imaging device 1 is configured by arranging a first parabolic mirror 3 and a second parabolic mirror 2 having the same curvature and size, with their edges aligned with each other so that the center-to-center distance is a focal length. . That is, the imaging device 1 is configured by a pair of paraboloidal mirrors (2, 3) having the same shape whose apex and focal point coincide with each other. The image sensor 6 is disposed at the focal position of the first parabolic mirror 3 disposed on the lower side. The imaging element 6 is not provided with a lens. On the other hand, the subject 4 is arranged at the focal position of the second parabolic mirror 2 arranged on the upper side. An opening hole 10 is provided at the focal position of the first parabolic mirror 3 arranged on the lower side so that the light from the illumination light source 7 can enter the inside of the two parabolic mirrors. For this reason, the light from the subject is light that enters through the opening hole 10 of the first parabolic mirror 3 disposed on the lower side and passes through the subject. Of the transmitted light, light that directly reaches the image sensor may hinder visualization of the inner layer of the subject. For this reason, a thin light blocking mask 8 is provided between the image sensor and the subject so that light does not reach the image sensor directly. The light shielding mask 8 has a disk shape and is supported by a transparent mask support portion 9 inside a parabolic mirror facing the light.
ここで、同じ２つ放物面鏡を中心間距離が焦点距離となるように縁同士を合せて正対配置させた撮像装置の光学的特徴について説明する。図４（１）に示すように、放物面鏡では、放物面鏡の焦点から出た光は、鏡で反射して平行な光束となる。また、図４（２）に示すように、平行な光束は、鏡で反射した後、焦点に集まるといった特徴を有する。 Here, the optical characteristics of the imaging apparatus in which the same two paraboloidal mirrors are arranged facing each other with their edges aligned so that the center-to-center distance becomes the focal length will be described. As shown in FIG. 4A, in the parabolic mirror, light emitted from the focal point of the parabolic mirror is reflected by the mirror to become a parallel light beam. Further, as shown in FIG. 4 (2), the parallel light beams have a characteristic that they are collected at the focal point after being reflected by the mirror.
図５に示すように、上側に配置された放物面鏡の焦点にある撮影対象物からの光、すなわち、下側に配置された放物面鏡の開口孔から入る光による透過光は、上側の放物面鏡により反射され平行な光束となる。平行な光束は、下側の放物面鏡により反射され、下側に配置された放物面鏡の焦点に置かれた撮像素子に集束する。 As shown in FIG. 5, the light from the object to be photographed at the focal point of the parabolic mirror arranged on the upper side, that is, the transmitted light by the light entering from the opening hole of the parabolic mirror arranged on the lower side, It is reflected by the upper parabolic mirror and becomes a parallel light beam. The parallel light flux is reflected by the lower parabolic mirror and focused on the image sensor placed at the focal point of the lower parabolic mirror.
図６は、撮像装置の寸法パラメータと方向軸についての説明図である。放物面鏡の開口幅をｗとし、２つ放物面鏡を中心間距離である焦点距離をｌとする。また、被写体の移動方向であって、結像光学系の光軸方向（撮像装置の奥行き方向、垂直方向）をＺ軸、光軸方向に垂直な方向（撮像装置の水平方向）をＸ−Ｙ軸とする。また、撮像素子の２次元配列の方向をＶ軸、Ｕ軸とする。 FIG. 6 is an explanatory diagram of dimensional parameters and direction axes of the imaging apparatus. The opening width of the parabolic mirror is w, and the focal length which is the distance between the centers of the two parabolic mirrors is l. Also, the moving direction of the subject, the optical axis direction of the imaging optical system (depth direction of the imaging device, vertical direction) is the Z axis, and the direction perpendicular to the optical axis direction (horizontal direction of the imaging device) is XY. Axis. In addition, the directions of the two-dimensional array of image sensors are assumed to be the V axis and the U axis.
本撮像装置では、撮像素子の面に垂直方向（Ｚ軸方向）に、被写体が焦点から僅かに移動しただけで、被写体からの光線は撮像素子で収束しなくなり、その結果、ぼやけた画像が生成される。つまり、本撮像装置では、焦点に存在する特定の層のみを鮮明に画像化することができるのである。 In this imaging device, the subject moves only slightly from the focal point in the direction perpendicular to the surface of the imaging device (Z-axis direction), and the light from the subject does not converge at the imaging device, resulting in a blurred image. Is done. That is, in the present imaging device, only a specific layer existing at the focal point can be clearly imaged.
ここで、本撮像装置のＦ値（Ｆ−number）について説明する。Ｆ値は、一般的に、レンズの焦点距離を有効口径で割った値であり、レンズの明るさを示す指標として用いられ、下記数式１で表される。数式１において、ｆは平行光線が一点に集まる焦点距離であり、φは有効開口の直径である。 Here, the F value (F-number) of the imaging apparatus will be described. The F value is generally a value obtained by dividing the focal length of the lens by the effective aperture, and is used as an index indicating the brightness of the lens. In Equation 1, f is a focal length where parallel rays gather at one point, and φ is a diameter of the effective aperture.
カメラの場合は、Ｆ値は絞りの開き具合（光の取り込む穴の大きさ）を数値化したものである。これに対して、本撮像装置の場合、図７に示すように、放物面鏡の開口幅ｗの２倍の開口幅の平行光線を集束できる焦点距離ｌのレンズと見做すことができる。したがって、数式１におけるｆとφは、それぞれ焦点距離ｌと放物面鏡の開口幅ｗの２倍に対応する。図６に示すＹ座標系において、ｙ＝０のときの放物面鏡の表現は、下記数式２で表される。 In the case of a camera, the F value is a numerical value of the degree of opening of the diaphragm (the size of the light receiving hole). On the other hand, in the case of the present imaging apparatus, as shown in FIG. 7, it can be regarded as a lens having a focal length l that can focus parallel rays having an opening width twice as large as the opening width w of the parabolic mirror. . Therefore, f and φ in Equation 1 correspond to twice the focal length l and the opening width w of the parabolic mirror, respectively. In the Y coordinate system shown in FIG. 6, the expression of the parabolic mirror when y = 0 is expressed by the following mathematical formula 2.
本撮像装置では、ｌは放物面鏡の焦点距離であり、１つの放物面鏡のＺ方向の距離は焦点距離ｌの半分となる。また、ｘ方向の距離は開口幅ｗの半分となる。したがって、ｘ＝ｗ／２，ｚ＝ｌ／２を上記数式２に当てはめると下記数式３が成立する。数式３から、放物面鏡の開口幅ｗを求めることができる。 In this imaging apparatus, l is the focal length of the parabolic mirror, and the distance in the Z direction of one parabolic mirror is half of the focal length l. The distance in the x direction is half of the opening width w. Therefore, when x = w / 2 and z = 1/2 are applied to the above equation 2, the following equation 3 is established. From Equation 3, the opening width w of the parabolic mirror can be obtained.
上記数式３から、ｗを求めると、ｗ＝２√2・ｌとなる。このｗを用いて、本撮像装置のＦ値を求める。下記数式４に示すように、Ｆ値＝０．１７７であり、既存のレンズと比べて非常に小さな値となっていることがわかる。また、放物面鏡のスケールが変化したとしても、Ｆ値は放物面鏡の焦点長さｌと開口幅ｗに依存しないので一定である。 When w is obtained from the above Equation 3, w = 2√2 · l. Using this w, the F value of the imaging apparatus is obtained. As shown in the following formula 4, it can be seen that the F value = 0.177, which is a very small value compared to the existing lens. Further, even if the scale of the parabolic mirror changes, the F value is constant because it does not depend on the focal length l and the aperture width w of the parabolic mirror.
次に、本撮像装置の特性に関し、幾何学的収差の影響について、シミュレーションを用いて確認した結果を説明する。対象点の三次元位置に応じて変化する点像分布関数（Point spread function；ＰＳＦ）を測定することによって評価を行った。本撮像装置の利点を示すために、Ｆ値の小さい従来のカメラ装置によって撮像された画像と比較した。
光学系の点光源からのインパルス入力に対する応答を表す関数である点像分布関数（ＰＳＦ）の形状は、本撮像装置に配置された点光源の三次元位置に応じて変化する。本撮像装置の特性を分析するために、撮像素子内の異なる光源位置についての点像分布関数（ＰＳＦ）の形状をシミュレーション環境で測定した。シミュレーションの実験設定は、次のとおりである。
焦点距離ｐは６５ｍｍに設定され、放物面鏡の開口幅ｗは上記数式３から１８４ｍｍとして決定された。 撮像素子は、サイズ２０ｍｍ角で、画素数２０１×２０１ピクセルのものを用いた。被写体の位置、すなわち、点光源の位置を移動させながら、本撮像装置における点像分布関数（ＰＳＦ）の形状を観察した。
Next, regarding the characteristics of the imaging apparatus, the results of confirming the influence of geometric aberration using simulation will be described. Evaluation was performed by measuring a point spread function (PSF) that changes according to the three-dimensional position of the target point. In order to show the advantage of this imaging device, it compared with the image imaged with the conventional camera device with small F value.
The shape of the point spread function (PSF), which is a function representing the response to the impulse input from the point light source of the optical system, changes according to the three-dimensional position of the point light source arranged in the imaging apparatus. In order to analyze the characteristics of the imaging device, the shape of the point spread function (PSF) for different light source positions in the imaging device was measured in a simulation environment. The experimental settings for the simulation are as follows.
The focal length p was set to 65 mm, and the opening width w of the parabolic mirror was determined as 184 mm from the above Equation 3. An image sensor having a size of 20 mm square and a pixel number of 201 × 201 pixels was used. While moving the position of the subject, that is, the position of the point light source, the shape of the point spread function (PSF) in the imaging apparatus was observed.
図８は、本撮像装置において、焦点位置に被写体、すなわち、焦点上に点光源がある場合に、撮像素子にて撮影された画像を示している。図８（２）に示すように、撮影された画像は鮮明であり、ぼやけていない画像である。焦点上に点光源がある場合には、他方の放物面鏡の焦点に集光するため、撮像素子上で集光し、鮮明に撮影される。
図９は、本撮像装置において、焦点位置に被写体を右水平方向に４ｍｍ移動させて、撮像素子にて撮影された画像を示している。図９（２）に示すように、撮影された画像はボケが生じていたが、撮像素子の面上に集光して撮影されている。
FIG. 8 shows an image photographed by the image sensor when the subject is at the focal position, that is, when the point light source is on the focal point, in this imaging apparatus. As shown in FIG. 8B, the photographed image is clear and unblurred. When there is a point light source on the focal point, the light is condensed on the focal point of the other parabolic mirror, so that the light is condensed on the image sensor and photographed clearly.
FIG. 9 shows an image photographed by the image sensor with the subject moved to the focal position by 4 mm in the right horizontal direction in this imaging apparatus. As shown in FIG. 9 (2), the photographed image was blurred, but was photographed while being condensed on the surface of the image sensor.
図１０は、本撮像装置において、焦点位置に被写体を奥行き方向に０．４ｍｍだけ僅かに移動させて、本撮像素子にて撮影された画像を示している。図１０（２）に示すように、撮影された画像は大きくボケが生じていた。本撮像素子は、開口数（Numerical Aperture,；NA）が大きいため、奥行き方向の少しのズレで、撮像素子の画像が大きくぼけることになる。これは、図１１に示すように、上側の放物面鏡の焦点上の点光源が、奥行き方向に僅かに移動した場合には、撮像素子の面から上にズレた位置に結像するからである。 FIG. 10 shows an image captured by the imaging device with the imaging device moved slightly by 0.4 mm in the depth direction to the focal position in the imaging device. As shown in FIG. 10 (2), the photographed image was largely blurred. Since this imaging device has a large numerical aperture (NA), the image of the imaging device is greatly blurred with a slight shift in the depth direction. As shown in FIG. 11, when the point light source on the focal point of the upper parabolic mirror moves slightly in the depth direction, it forms an image at a position shifted upward from the surface of the image sensor. It is.
図１２に示すように、点光源を焦点位置から水平方向に移動、或は、奥行き方向に移動させた場合に、撮像素子によってどのように撮影されるかをシミュレーション環境で確認した。図１３は、シミュレーション環境での確認結果を示している。図１３から、水平方向に移動してもぼやけるが、奥行き方向には僅かに移動するだけで（水平方向の移動距離の１／１０）、撮影画像が大きくぼやける（移動時のボケ度合いが大きい）ことが確認できた。 As shown in FIG. 12, it was confirmed in a simulation environment how an image is picked up by the image sensor when the point light source is moved in the horizontal direction from the focal position or moved in the depth direction. FIG. 13 shows the confirmation result in the simulation environment. From FIG. 13, it is blurred even if it moves in the horizontal direction, but it moves slightly in the depth direction (1/10 of the moving distance in the horizontal direction), and the photographed image is greatly blurred (the degree of blur during movement is large). I was able to confirm.
図１４および図１５は、撮像素子のイメージセンサの平面上（Ｕ，Ｖ）で観測された点像分布関数（ＰＳＦ）を示す。図６に示したＺ軸とＸ軸に沿って点光源を移動させながら撮像素子で撮影した。本撮像装置は回転対称であるので、これら二つの軸を使用して装置の特性を知ることができる。図１４から、Ｚ軸に沿って点光源が移動した場合は、ＰＳＦの形状が急激に変化することがわかる。一方、図１５から、Ｘ軸沿って点光源が移動した場合は、ＰＳＦの形状変化は比較的緩やかである。Ｚ方向に移動する場合は、Ｘ方向の場合とは対照的に、大きくぼやけていることがわかる。 14 and 15 show the point spread function (PSF) observed on the plane (U, V) of the image sensor of the image sensor. Images were taken with the image sensor while moving the point light source along the Z-axis and X-axis shown in FIG. Since the imaging apparatus is rotationally symmetric, the characteristics of the apparatus can be known using these two axes. FIG. 14 shows that the shape of the PSF changes abruptly when the point light source moves along the Z axis. On the other hand, from FIG. 15, when the point light source moves along the X-axis, the shape change of the PSF is relatively gradual. In the case of moving in the Z direction, it can be seen that the image is largely blurred in contrast to the case of the X direction.
次に、被写体として層状サンプルを用いて、本撮像装置の性能を確認した結果について説明する。層状の被写体のサンプルは、図１６に示すように、メッシュ柄の画像と、蝶々の画像とが、それぞれ厚さ０．１ｍｍの透明な膜として作製され、２層の平坦面から構成される２層構造物体である。サンプルの面の大きさは２０ｍｍ×２０ｍｍであり、２層を構成する膜同士は１．２ｍｍ間隔で分離されている。この層状サンプルを被写体１とする。 Next, a result of confirming the performance of the imaging apparatus using a layered sample as a subject will be described. As shown in FIG. 16, the sample of the layered subject is made up of a mesh pattern image and a butterfly image as transparent films each having a thickness of 0.1 mm. It is a layered structure object. The size of the sample surface is 20 mm × 20 mm, and the films constituting the two layers are separated at an interval of 1.2 mm. This layered sample is defined as subject 1.
本撮像装置を用いて、２層構造物体の被写体１を撮影した画像について示す。なお、比較例として、開口数ＮＡ＝０．５３のレンズ（シュナイダーファストＣマウントレンズ、１７ｍｍＦＬ、Ｆ値＝０．９５）とカメラ（Ｇｒａｓｓｈｏｐｐｅｒ２）により撮影した画像を示す。
図１７（１）は被写体１の上層、下層の画像を示している。図１７（２）は、比較例としてＮＡ＝０．５３のレンズを用いて撮影した画像を示している。図１７（３）は、本撮像装置を用いて撮影した画像を示している。また、図１７（２）（３）におけるＺは、奥行き方向の移動距離を示し、Ｚ＝０．０ｍｍは下層に焦点位置を合せた場合を示し、Ｚ＝−１．２ｍｍは上層に焦点位置を合せた場合を示している。下層の位置を原点とし、上層から下層に向ってプラス、下層から上層に向ってマイナスとしている。
比較例では、レンズの絞り機構を調整して、焦点位置を変化させ、焦点位置を上層の画像に合せたものと、下層の画像に合せている。図１７（２）に計５種類の撮影画像を示す。いずれの撮影画像も上層の画像と下層の画像の両方の画像が同じ明瞭さ、もしくは同じぼやけ方で表れているのが確認できる。
一方、本撮像装置では、レンズや絞り機構を用いず、被写体を奥行き方向に移動させ、焦点位置から被写体を僅かに移動させて、焦点位置を上層の画像に合せたものと、下層の画像に合せている。図１７（３）に計５種類の撮影画像を示す。焦点位置を上層の画像に合せた撮影画像では、上層のメッシュ柄の模様が表れている。また、焦点位置を下層の画像に合せた撮影画像では、下層の蝶々の模様が表れている。
An image obtained by photographing the subject 1 having a two-layer structure using the imaging apparatus will be described. As a comparative example, an image photographed with a lens having a numerical aperture NA = 0.53 (Schneider Fast C-mount lens, 17 mm FL, F value = 0.95) and a camera (Glasshopper 2) is shown.
FIG. 17A shows the upper and lower layer images of the subject 1. FIG. 17 (2) shows an image photographed using a lens with NA = 0.53 as a comparative example. FIG. 17 (3) shows an image photographed using this imaging apparatus. In FIGS. 17 (2) and 17 (3), Z indicates the movement distance in the depth direction, Z = 0.0 mm indicates the case where the focal position is aligned with the lower layer, and Z = −1.2 mm indicates the focal position with the upper layer. Is shown. The position of the lower layer is the origin, plus from the upper layer to the lower layer, and minus from the lower layer to the upper layer.
In the comparative example, the lens iris mechanism is adjusted to change the focal position, and the focal position is matched to the upper layer image and the lower layer image. FIG. 17 (2) shows a total of five types of captured images. In any captured image, it can be confirmed that both the upper layer image and the lower layer image appear in the same clarity or the same blurring manner.
On the other hand, in this imaging device, the subject is moved in the depth direction without using a lens or a diaphragm mechanism, the subject is slightly moved from the focal position, and the focal position is adjusted to the upper layer image and the lower layer image. Match. FIG. 17 (3) shows a total of five types of captured images. In the photographed image in which the focal position is matched to the upper layer image, the upper layer mesh pattern appears. In the photographed image in which the focal position is matched to the lower layer image, the pattern of the lower butterfly appears.
他の例の被写体として、被写体１とは異なる層状サンプルを用いて、本撮像装置の性能を確認した結果について説明する。この層状サンプルを被写体２とする。被写体２は、蝶々の画像とＡＢＣＤ文字の画像とが、それぞれ厚さ０．１ｍｍの透明な膜として作製され、２層の平坦面から構成される２層構造物体である。サンプルの面の大きさは２０ｍｍ×２０ｍｍであり、２層を構成する膜同士は１．２ｍｍ間隔で分離されている。
本撮像装置を用いて、２層構造物体の被写体２を撮影した画像について示す。なお、比較例は、上述した比較例と同様で、開口数ＮＡ＝０．５３のレンズにより撮影した画像を示す。
図１８（１）は被写体１の上層、下層の画像を示している。図１８（２）は、比較例としてＮＡ＝０．５３（Ｆ０．９５）のレンズを用いて撮影した画像を示している。図１８（３）は、本撮像装置を用いて撮影した画像を示している。図１７と同様、図１８（２）（３）におけるＺは、奥行き方向の移動距離を示し、Ｚ＝０．０ｍｍは下層に焦点位置を合せた場合を示し、Ｚ＝−１．２ｍｍは上層に焦点位置を合せた場合を示している。下層の位置を原点とし、上層から下層に向ってプラス、下層から上層に向ってマイナスとしている。
比較例では、レンズの絞り機構を調整して、焦点位置を変化させ、焦点位置を上層の画像に合せたものと、下層の画像に合せている。図１８（２）に計５種類の撮影画像を示す。いずれの撮影画像も上層の蝶々の画像だけが確認でき、下層の文字画像は蝶々の画像の下に隠れてしまっている。
一方、本撮像装置では、被写体を奥行き方向に移動させ、焦点位置から被写体を僅かに移動させて、焦点位置を上層の画像に合せたものと、下層の画像に合せている。図１８（３）に計５種類の撮影画像を示す。焦点位置を上層の画像に合せた撮影画像では、上層の蝶々の模様が表れており、焦点位置を下層の画像に合せた撮影画像では、下層のＡＢＣＤ文字画像が表れている。
As a subject of another example, a result of confirming the performance of the imaging apparatus using a layered sample different from the subject 1 will be described. This layered sample is defined as subject 2. The subject 2 is a two-layer structure object in which a butterfly image and an ABCD character image are each formed as a transparent film having a thickness of 0.1 mm, and is composed of two flat surfaces. The size of the sample surface is 20 mm × 20 mm, and the films constituting the two layers are separated at an interval of 1.2 mm.
An image obtained by photographing the subject 2 having a two-layer structure using the imaging apparatus will be described. The comparative example is the same as the comparative example described above, and shows an image taken with a lens having a numerical aperture NA = 0.53.
FIG. 18A shows the upper and lower layer images of the subject 1. FIG. 18 (2) shows an image taken using a lens with NA = 0.53 (F0.95) as a comparative example. FIG. 18 (3) shows an image taken using this imaging apparatus. As in FIG. 17, Z in FIGS. 18 (2) and 18 (3) indicates the movement distance in the depth direction, Z = 0.0 mm indicates the case where the focal point is aligned with the lower layer, and Z = −1.2 mm indicates the upper layer. The case where the focal position is matched is shown. The position of the lower layer is the origin, plus from the upper layer to the lower layer, and minus from the lower layer to the upper layer.
In the comparative example, the lens iris mechanism is adjusted to change the focal position, and the focal position is matched to the upper layer image and the lower layer image. FIG. 18B shows a total of five types of captured images. In any of the captured images, only the image of the upper butterfly can be confirmed, and the character image of the lower layer is hidden under the image of the butterfly.
On the other hand, in this imaging apparatus, the subject is moved in the depth direction, the subject is slightly moved from the focal position, and the focal position is matched with the upper layer image and the lower layer image. FIG. 18 (3) shows a total of five types of captured images. In the photographed image in which the focal position is matched with the upper layer image, an upper butterfly pattern appears, and in the photographed image in which the focal position is matched with the lower layer image, the lower ABCD character image appears.
図１７，図１８に示す結果から、本撮像装置では、上層の画像に隠れた下層の画像が確認でき、従来のレンズベースのシステムよりも、はるかに浅い被写界深度のイメージングを達成できることがわかる。しかしながら、本撮像装置により撮影された画像は、従来のレンズベースのシステムで撮影された画像と比べ、周辺領域でボケ度合いが著しいこと、そして、光が集束しない他の層の画像が目的とする層の画像に若干残っていることの問題がある。 From the results shown in FIGS. 17 and 18, the imaging apparatus can confirm the lower layer image hidden behind the upper layer image, and can achieve imaging with a much shallower depth of field than the conventional lens-based system. Recognize. However, the image captured by the imaging device is significantly blurred in the peripheral area compared to the image captured by the conventional lens-based system, and the image of the other layer where the light is not focused is intended. There is a problem of some remaining in the layer image.
図１９，図２０を参照して、本撮像装置による撮影画像のボケに関して説明する。
図１９に示す層状の被写体は、被写体２と同様に、蝶々の画像とＡＢＣＤ文字の画像とが、それぞれ厚さ０．１ｍｍの透明な膜として作製され２層構造物体であるが、被写体２と異なり更に薄く、２層を構成する膜同士は０．５ｍｍ間隔で分離されている。図１９では、本撮像装置の焦点位置と被写体（２層構造物体）の相対位置が異なる５つの位置における撮影画像を示している。２層構造物体を撮像素子へ向かう方向（奥行き方向）に移動させて、５種類の相対位置で撮影する。それぞれ５種類の相対位置は、図１９に示すように、ａ）焦点位置が２層構造物体の下層の更に下の位置、ｂ）焦点位置が２層構造物体の下層と重なる位置、ｃ）焦点位置が２層構造物体の上層と下層の間の位置、ｄ）焦点位置が２層構造物体の上層と重なる位置、ｅ）焦点位置が２層構造物体の上層の更に上の位置である。すなわち、撮影は０．２５ｍｍ間隔で行う。
上記ａ）の位置と上記ｂ）の位置に焦点位置がある場合、下層のＡＢＣＤ文字の画像が確認できる。一方、上記ｄ）の位置と上記ｅ）の位置に焦点位置がある場合、上層の蝶々の画像が確認できる。また、上記ｃ）の位置に焦点位置がある場合、蝶々の画像とＡＢＣＤ文字の画像とが混ざった画像が確認できる。なお、ＡＢＣＤ文字はそれぞれ異なる色彩で描かれており、そのため文字によっては見づらくなっている。
With reference to FIGS. 19 and 20, blurring of a captured image by the imaging apparatus will be described.
The layered object shown in FIG. 19 is a two-layer structure object in which a butterfly image and an ABCD character image are each formed as a transparent film having a thickness of 0.1 mm. Unlikely, the membranes constituting the two layers are separated from each other by an interval of 0.5 mm. FIG. 19 shows captured images at five positions where the focal position of the imaging apparatus and the relative position of the subject (two-layer structure object) are different. The two-layer structure object is moved in the direction toward the image sensor (depth direction), and images are taken at five relative positions. As shown in FIG. 19, each of the five types of relative positions includes a) a position where the focal position is further below the lower layer of the two-layer structure object, b) a position where the focal position overlaps the lower layer of the two-layer structure object, and c) focus. The position is a position between the upper layer and the lower layer of the two-layer structure object, d) the focus position is a position overlapping the upper layer of the two-layer structure object, and e) the focus position is a position further above the upper layer of the two-layer structure object. That is, photographing is performed at intervals of 0.25 mm.
When the focal position is at the position a) and the position b), an ABCD character image below can be confirmed. On the other hand, when there is a focal position at the position d) and the position e), an image of the upper butterfly can be confirmed. When the focal position is at the position c), an image in which the butterfly image and the ABCD character image are mixed can be confirmed. Note that ABCD characters are drawn in different colors, which makes it difficult to see some characters.
図２０は、本撮影装置によって撮影した画像を、被写体の位置に依存するボケ関数と、撮影画像の画素値に関する制約とを用いて、鮮明化処理を行って最適化を行った結果を示している。図２０では、（１）撮影対象（上層、下層）、（２）本撮影装置による撮影画像（上層、下層）、（３）本撮影装置による撮影画像に対して鮮明化処理を行った画像（上層、下層）、（４）本撮影装置による撮影位置を図１９で示した５ヶ所で撮影し鮮明化処理を行った画像（上層、下層）を示している。図２０に示すように、本撮影装置による撮影画像に対して鮮明化処理を行った画像は、撮影対象に近似していることがわかる。また、本撮影装置による撮影位置を図１９で示した５ヶ所で撮影し鮮明化処理を行った画像は、撮影対象に更に近似していることがわかる。 FIG. 20 shows a result of performing optimization by performing a sharpening process on an image photographed by the photographing apparatus using a blur function depending on the position of the subject and restrictions on pixel values of the photographed image. Yes. In FIG. 20, (1) a subject to be photographed (upper layer, lower layer), (2) a photographed image (upper layer, lower layer) by the photographing apparatus, and (3) an image obtained by performing a sharpening process on the photographed image by the photographing apparatus ( (Upper layer, lower layer), (4) Images (upper layer, lower layer) obtained by photographing the photographing positions by the present photographing apparatus at the five positions shown in FIG. As shown in FIG. 20, it can be seen that the image obtained by performing the sharpening process on the photographed image by the photographing apparatus approximates the subject to be photographed. Further, it can be seen that the images obtained by photographing the photographing positions by the photographing apparatus at the five positions shown in FIG. 19 and performing the sharpening processing are further approximated to the photographing object.
（ボケ関数と画素値の制約について）
以下では、図２１〜２６を参照して、被写体の位置に依存するボケ関数と、撮影画像の画素値に関する制約について説明する。
被写体の位置に依存するボケ関数に関しては、２つの放物面鏡を正対配置させた本撮像装置を用いて予め計測しておくことが必要である。すなわち、２つの放物面鏡を正対配置させ、焦点位置から被写体を動かして、例えば、図１９の５ヶ所の位置に動かして、それぞれの被写体の位置に依存するボケ関数を予め計測する。
画像のボケ方を表すボケ関数として、行列で表記する。以下では、ボケ関数を表す行列を、ボケ行列と呼ぶ。撮影対象となる画像の位置（例えば、中央と周辺）によって、異なるボケ方をして撮影されることから（中央では全体に拡がるが、周辺ではある一方向に拡がるなどの違いがある）、画像の位置毎にボケ方を計測し、それらを列毎に示して行列の形で表す。
すなわち、ボケ行列を予め計測し、撮影画像を利用して鮮明な撮影対象の画像を推定する。図２１に示すように、具体的には、撮影画像と、推定画像にボケ行列を掛けた画像との誤差が最小となるように、撮影対象を推定する。その際、光線強度に関する制約、すなわち、撮影画像の画素値に関する制約を用いた最適化を行う。
(About blur function and pixel value restrictions)
Hereinafter, with reference to FIGS. 21 to 26, the blur function depending on the position of the subject and the restrictions on the pixel value of the captured image will be described.
The blur function that depends on the position of the subject needs to be measured in advance using the imaging apparatus in which two paraboloidal mirrors are arranged facing each other. That is, two paraboloidal mirrors are arranged facing each other, the subject is moved from the focal position, and moved to, for example, five positions in FIG.
This is expressed in a matrix as a blur function that represents how the image is blurred. Hereinafter, a matrix representing a blur function is referred to as a blur matrix. Depending on the position of the target image (for example, the center and the periphery) Measure the blur at each position, and show them in the form of a matrix showing each column.
That is, the blur matrix is measured in advance, and a clear image to be captured is estimated using the captured image. As shown in FIG. 21, specifically, the imaging target is estimated so that the error between the captured image and the image obtained by multiplying the estimated image by the blur matrix is minimized. At that time, optimization is performed using the constraint on the light intensity, that is, the constraint on the pixel value of the captured image.
本撮影画像では、照明光源によって照らされた被写体（撮影対象）の散乱光を計測するため、撮像素子には、被写体の光が必ず到達するため、撮影対象の光線強度は負にならず、撮影画像の画素値は負になることは無い。つまり、撮影画像の画素値に関する制約として、下界は非負値であるということが当てはまる。したがって、撮影画像の画素値の非負値制約を、推定画像の最適化に用いることができる。 In the actual captured image, the scattered light of the subject (photographing target) illuminated by the illumination light source is measured, so the light of the subject always reaches the image sensor. The pixel value of the image never becomes negative. In other words, the lower bound is a non-negative value as a restriction on the pixel value of the captured image. Therefore, the non-negative value constraint on the pixel value of the captured image can be used for optimization of the estimated image.
また、撮影対象の光線強度はとして、ボケが生じた画像とボケ行列より上界を定めることができる。すなわち、撮影画像の画素値に関する制約として、上界をボケが生じた画像とボケ行列より決定できる。
図２２に示すように、撮影対象のある画素がボケて撮影されたと仮定する。予めボケ行列は計測されており、ボケ行列から、例えば５×５画素においては、中央が“４”、中央の縦一列は上から“１，２，４，２，１”、中央の横一列は左から“１，２，４，２，１”、中央から左上、右上、左下、右下はそれぞれ“１”といったように、中央に画素値が周辺に拡がりボケが生じることがわかっている。
Further, as the light intensity of the photographing target, the upper bound can be determined from the blurred image and the blurred matrix. In other words, the upper bound can be determined from the blurred image and the blur matrix as a restriction on the pixel value of the captured image.
As shown in FIG. 22, it is assumed that a certain pixel to be photographed is photographed out of focus. The blur matrix is measured in advance. From the blur matrix, for example, in 5 × 5 pixels, the center is “4”, the center vertical column is “1, 2, 4, 2, 1” from the top, and the center horizontal column "1, 2, 4, 2, 1" from the left, and "1" from the center to the upper left, upper right, lower left, and lower right, respectively. .
図２３に示すように、例えば中央の最上位の画素値で、ボケ行列と撮影画像と比べると、ボケ行列では“１”であるのに対して、撮影画像では“４”である。撮影画像の各画素値は、画素に当る本来の光と、画素の周辺からぼけた光との足し合わせになる。そのため、撮影画像の画素値から撮影対象の画素値を推定することが可能であり、撮影対象はこの推定した画素値以下の光線強度であるという制約を設けることが可能になる。
中央の最上位の画素値で説明する。ボケ行列では“１”であるのに対して、撮影画像では“４”である。ボケ行列では全体の光量は、ボケ行列の各値の合計であり、ここでは“２０”である。すなわち、ボケ行列における中央の最上位の値“１”は、全体の光量の１／２０であることを示している。撮影画像の１画素（最上位の画素）には、注目している撮影対象からの光と、その他の周辺画素からの光がぼけて撮影されている。よって、Ｘを撮影対象の推定画素値とし、αを周辺からのボケの光による値とすると、下記数式５が成り立つことになる。αは周辺からのボケの光であり、０以上の値であるから、下記数式６が成立する。下記数式６から、撮影対象の１画素（最上位の画素）の推定画素値として、その上界が“８０”とすることができるのである（図２４を参照）。
As shown in FIG. 23, for example, at the uppermost pixel value at the center, when compared with the blurred matrix and the captured image, it is “1” for the blurred matrix and “4” for the captured image. Each pixel value of the captured image is the sum of the original light hitting the pixel and the light blurred from the periphery of the pixel. For this reason, it is possible to estimate the pixel value of the imaging target from the pixel value of the captured image, and it is possible to provide a constraint that the imaging target has a light intensity equal to or less than the estimated pixel value.
The description will be made with the uppermost pixel value at the center. It is “1” in the blur matrix and “4” in the captured image. In the blur matrix, the total light amount is the sum of the values of the blur matrix, and is “20” here. In other words, the uppermost value “1” at the center in the blur matrix indicates 1/20 of the total light amount. One pixel (topmost pixel) of the photographed image is photographed by blurring light from the subject to be photographed and light from other peripheral pixels. Therefore, when X is an estimated pixel value of the object to be imaged and α is a value due to blur light from the periphery, the following Equation 5 is established. Since α is blur light from the periphery and has a value of 0 or more, the following Expression 6 is satisfied. From Equation 6 below, as the estimated pixel value of one pixel (topmost pixel) to be imaged, the upper bound can be set to “80” (see FIG. 24).
もう１つ他の画素を例にして説明する。例えば中央の画素値で、ボケ行列と撮影画像と比べると、ボケ行列では“４”であるのに対して、撮影画像では“９”である。先ほどと同様に、撮影画像の各画素値は、画素に当る本来の光と、画素の周辺からぼけた光との足し合わせになる。ボケ行列では全体の光量は、ボケ行列の各値の合計であり、ここでは“２０”であるので、ボケ行列における中央の値“４”は、全体の光量の４／２０であることを示すことになる。撮影画像の中央の画素には、注目している撮影対象からの光と、その他の周辺画素からの光がぼけて撮影されているので、Ｘを撮影対象の推定画素値とし、αを周辺からのボケの光による値とすると、下記数式７が成り立つことになる。αは周辺からのボケの光であり、０以上の値であるから、下記数式８が成立する。下記数式８から、撮影対象の１画素（最上位の画素）の推定画素値として、その上界が“４５”とすることができるのである。 Another pixel will be described as an example. For example, the pixel value at the center is “4” in the blurred matrix and “9” in the captured image as compared to the blurred matrix and the captured image. As before, each pixel value of the captured image is the sum of the original light striking the pixel and the light blurred from the periphery of the pixel. In the blur matrix, the total amount of light is the sum of the values of the blur matrix, and is “20” here. Therefore, the central value “4” in the blur matrix indicates 4/20 of the total amount of light. It will be. Since the center pixel of the photographed image is taken with the light from the subject being photographed and the light from other peripheral pixels blurred, X is the estimated pixel value of the subject and α is from the periphery. If the value is determined based on the blur light, the following formula 7 is established. Since α is a blur light from the periphery and has a value of 0 or more, the following Expression 8 is established. From Equation 8 below, the upper bound can be set to “45” as the estimated pixel value of one pixel (topmost pixel) to be imaged.
上述の如く、例として５×５画素マトリクスにおける中央の画素と中央の最上位の画素の２つを例に挙げると、中央の画素値の上界の制約は４５とでき、中央の最上位の画素値の上界の制約は８０とできることがわかる。この例において、同様に他の画素値を調べると、図２５のような値となることがわかる。
以上のようにして、撮影画像の画素値に関する制約として、上界と下界を制約として設けることができるのである。
As described above, taking the center pixel and the center top pixel in the 5 × 5 pixel matrix as an example, the upper limit of the center pixel value can be set to 45, and the center top It can be seen that the upper limit of the pixel value can be 80. In this example, when other pixel values are similarly examined, it is found that the values are as shown in FIG.
As described above, the upper bound and the lower bound can be provided as constraints on the pixel value of the captured image.
図２６は、ボケ行列を用いた最適化の説明図である。例えば、図１８に示す被写体２の２層構造物体の断層画像を鮮明化する場合、本撮像装置を用いて上層に焦点を合わせて画像を撮影し、また下層に焦点を合わせて画像を撮影する。予め、上層に焦点を合わせた位置におけるボケ行列を計測しておく。同様に、下層に焦点を合わせた位置におけるボケ行列を予め計測しておく。ボケ行列は、対応する撮影対象の位置から光が出た時に、撮影画像にどのように影響するかを示すもので、各点から出る光のボケ特性ベクトルの集合である。撮影画像は、放物面鏡を用いた撮影装置などによって撮影された画像ベクトルである。ボケ行列と推定する撮影対象を掛け合わしたものと、撮影画像との誤差が最小になるように最適化する。最適化の際には、撮影対象の画素値の上界と下界の制約を用いる。
ボケ行列は、被写体の位置に依存するものである。被写体の位置を色々と変え、複数個所で予めボケ行列を計測しておき、実際の撮影対象においても、被写体の位置を変えて、複数個所で撮影した画像を用いる。すなわち、鮮明化処理に用いる画像を増やすことで、より精度の高い推定を行い、鮮明で推定精度の高い断層画像を生成することが可能になる。
FIG. 26 is an explanatory diagram of optimization using a blur matrix. For example, when the tomographic image of the two-layer structure object of the subject 2 shown in FIG. 18 is sharpened, the image is taken with the imaging device focused on the upper layer, and the image is taken with the focus on the lower layer. . A blur matrix at a position focused on the upper layer is measured in advance. Similarly, the blur matrix at the position focused on the lower layer is measured in advance. The blur matrix indicates how the shot image is affected when light is emitted from the corresponding shooting target position, and is a set of blur characteristic vectors of light emitted from each point. The photographed image is an image vector photographed by a photographing device using a parabolic mirror. Optimization is performed so that an error between the image obtained by multiplying the blur matrix and the subject to be estimated and the photographed image is minimized. In the optimization, the upper and lower bounds of the pixel value to be imaged are used.
The blur matrix depends on the position of the subject. By changing the position of the subject in various ways, the blur matrix is measured in advance at a plurality of locations, and an image taken at a plurality of locations is used by changing the location of the subject even in an actual shooting target. That is, by increasing the number of images used for the sharpening process, it is possible to perform more accurate estimation and generate a clear and highly accurate tomographic image.
本発明は、葉脈の構造解析など層構造物体の内部構造の解析や可視化、撮影対象に埃やカビなど取り除くことが困難な遮蔽物が存在する際の遮蔽物除去、半透明物体の内部構造の可視化、推定された断層画像を積み重ねることで半透明物体の内部構造を再現する３Ｄスキャナとして有用である。 The present invention analyzes and visualizes the internal structure of a layered structure object such as a structural analysis of a vein, removes a shielding object when there is a shielding object that is difficult to remove such as dust or mold, and the internal structure of a translucent object. It is useful as a 3D scanner that reproduces the internal structure of a translucent object by stacking visualized and estimated tomographic images.
１ 撮像装置
２ 第２放物面鏡
３ 第１放物面鏡
４ 被写体
５ 被写体支持台
６ 撮像素子
７ 照明光源
８ 光遮断用マスク
９ マスク支持部
１０ 開口孔
１１ 移動ステージ
１２ 垂直方向駆動機構
１３ 水平方向駆動機構
１４ 放物面鏡の固定支持部
１５ 移動機構支持部
１６ 台座
DESCRIPTION OF SYMBOLS 1 Imaging device 2 2nd parabolic mirror 3 1st parabolic mirror 4 Subject 5 Subject support stand 6 Imaging element 7 Illumination light source 8 Light blocking mask 9 Mask support part 10 Aperture hole 11 Moving stage 12 Vertical direction drive mechanism 13 Horizontal direction drive mechanism 14 Parabolic mirror fixed support 15 Moving mechanism support 16 Pedestal
Claims (17)
前記移動手段により被写体を移動させて異なる位置から撮影された複数の撮影画像と、被写体の位置に依存するボケ関数と、撮影画像の画素値に関する上界と下界の制約とを用いて、被写体の断層画像を生成する断層画像生成手段と、
を備えたことを特徴とする断層画像生成システム。 An imaging apparatus including a moving unit that arranges a subject at a focal position of the imaging optical system and translates the subject in the optical axis direction of the imaging optical system;
Using a plurality of captured images captured from different positions by moving the subject by the moving means, a blur function depending on the position of the subject, and upper and lower bounds on pixel values of the captured image, A tomographic image generating means for generating a tomographic image;
A tomographic image generation system comprising:
前記制約の上界は前記ボケ関数から算出した値であり、下界は非負値である、
ことを特徴とする請求項１又は２に記載の断層画像生成システム。 In the tomographic image generating means,
The upper bound of the constraint is a value calculated from the blur function, and the lower bound is a non-negative value.
The tomographic image generation system according to claim 1 or 2.
前記断層画像生成手段は、
前記光軸方向に垂直な方向に平行移動させながら前記被写体をする撮影した画像を用いて、
前記被写体の断層画像を生成することを特徴とする請求項１〜６の何れかに記載の断層画像生成システム。 A second moving means for translating the subject in a direction perpendicular to the optical axis direction;
The tomographic image generation means includes
Using a photographed image of the subject while translating in a direction perpendicular to the optical axis direction,
The tomographic image generation system according to claim 1, wherein a tomographic image of the subject is generated.
装置外側に光源、
第２放物面鏡の焦点位置に光入射口、
前記撮像素子と前記被写体の間に光遮蔽用マスク、
が設けられたことを特徴とする請求項１〜７の何れかに記載の断層画像生成システム。 In the imaging apparatus,
A light source outside the device,
A light entrance at the focal position of the second parabolic mirror,
A light shielding mask between the image sensor and the subject;
The tomographic image generation system according to claim 1, wherein the tomographic image generation system is provided.
光軸方向に移動させて異なる位置から被写体を撮影する撮像ステップと、
被写体を移動させて異なる位置から撮影された複数の撮影画像と、被写体の位置に依存するボケ関数と、撮影画像の画素値に関する上界と下界の制約とを用いて、被写体の断層画像を生成する断層画像生成ステップ、
を備えたことを特徴とする断層画像生成方法。 A moving step for translating the subject in the direction of the optical axis of the imaging optical system;
An imaging step of photographing the subject from different positions by moving in the optical axis direction;
Generate tomographic images of a subject using multiple captured images taken from different positions by moving the subject, a blur function that depends on the location of the subject, and upper and lower bounds on pixel values of the captured image Tomographic image generation step,
A tomographic image generation method comprising:
前記制約の上界は前記ボケ関数から算出した値であり、下界は非負値である、
ことを特徴とする請求項９又は１０に記載の断層画像生成方法。 In the tomographic image generation step,
The upper bound of the constraint is a value calculated from the blur function, and the lower bound is a non-negative value.
The tomographic image generation method according to claim 9 or 10.
前記断層画像生成ステップは、
前記光軸方向に垂直な方向に平行移動させながら前記被写体をする撮影した画像を用いて、
前記被写体の断層画像を生成することを特徴とする請求項９〜１４の何れかに記載の断層画像生成方法。 A second movement step of translating the subject in a direction perpendicular to the optical axis direction;
The tomographic image generation step includes
Using a photographed image of the subject while translating in a direction perpendicular to the optical axis direction,
The tomographic image generation method according to claim 9, wherein a tomographic image of the subject is generated.
請求項１〜８の何れかの断層画像生成システムにおける前記断層画像生成手段として機能させる断層画像生成プログラム。 Computer
A tomographic image generation program that functions as the tomographic image generation means in the tomographic image generation system according to claim 1.
請求項９〜１５の何れかの断層画像生成方法における前記断層画像生成ステップを実行させるための断層画像生成プログラム。
On the computer,
A tomographic image generation program for executing the tomographic image generation step in the tomographic image generation method according to claim 9.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016143764A JP6719721B2 (en) | 2016-07-21 | 2016-07-21 | Tomographic image generation system, tomographic image generation method, and tomographic image generation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016143764A JP6719721B2 (en) | 2016-07-21 | 2016-07-21 | Tomographic image generation system, tomographic image generation method, and tomographic image generation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018014650A true JP2018014650A (en) | 2018-01-25 |
| JP6719721B2 JP6719721B2 (en) | 2020-07-08 |
Family
ID=61021321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016143764A Active JP6719721B2 (en) | 2016-07-21 | 2016-07-21 | Tomographic image generation system, tomographic image generation method, and tomographic image generation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6719721B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003060916A (en) * | 2001-08-16 | 2003-02-28 | Minolta Co Ltd | Image processor, image processing method, program and recording medium |
| JP2004015255A (en) * | 2002-06-05 | 2004-01-15 | Sony Corp | Imaging apparatus and imaging method, image processor and image processing method, and program and recording medium |
| JP2006235509A (en) * | 2005-02-28 | 2006-09-07 | Yokogawa Electric Corp | Omnidirectional imaging device |
| JP2009092426A (en) * | 2007-10-04 | 2009-04-30 | Nippon Steel Corp | Surface inspection method and surface inspection device |
| US20110125029A1 (en) * | 2009-10-30 | 2011-05-26 | The Regents Of The University Of Michigan | Targeted Dual-Axes Confocal Imaging Apparatus with Vertical Scanning Capabilities |
| JP2013117848A (en) * | 2011-12-02 | 2013-06-13 | Canon Inc | Image processing apparatus and image processing method |
-
2016
- 2016-07-21 JP JP2016143764A patent/JP6719721B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003060916A (en) * | 2001-08-16 | 2003-02-28 | Minolta Co Ltd | Image processor, image processing method, program and recording medium |
| JP2004015255A (en) * | 2002-06-05 | 2004-01-15 | Sony Corp | Imaging apparatus and imaging method, image processor and image processing method, and program and recording medium |
| JP2006235509A (en) * | 2005-02-28 | 2006-09-07 | Yokogawa Electric Corp | Omnidirectional imaging device |
| JP2009092426A (en) * | 2007-10-04 | 2009-04-30 | Nippon Steel Corp | Surface inspection method and surface inspection device |
| US20110125029A1 (en) * | 2009-10-30 | 2011-05-26 | The Regents Of The University Of Michigan | Targeted Dual-Axes Confocal Imaging Apparatus with Vertical Scanning Capabilities |
| JP2013117848A (en) * | 2011-12-02 | 2013-06-13 | Canon Inc | Image processing apparatus and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6719721B2 (en) | 2020-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4673202B2 (en) | Image input device | |
| JP5446797B2 (en) | Imaging device | |
| JP5968107B2 (en) | Image processing method, image processing apparatus, and program | |
| JP5134694B2 (en) | Image processing apparatus and image processing method | |
| JP5187145B2 (en) | Image composition apparatus and method | |
| CN108432230B (en) | Imaging device and method for displaying an image of a scene | |
| TWI618640B (en) | Three dimensional printing system, and method for three dimensional printing | |
| JP5618943B2 (en) | Image processing method, imaging apparatus, image processing apparatus, and image processing program | |
| JP6862569B2 (en) | Virtual ray tracing method and dynamic refocus display system for light field | |
| JP6223169B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2007128009A (en) | Imaging device and imaging method using out-of-focus structure | |
| JP5677366B2 (en) | Imaging device | |
| JP2013042443A5 (en) | ||
| US9100562B2 (en) | Methods and apparatus for coordinated lens and sensor motion | |
| JPWO2011158507A1 (en) | Image processing apparatus and image processing method | |
| JP2011149931A (en) | Distance image acquisition device | |
| JP2022128517A (en) | ranging camera | |
| JP5635342B2 (en) | Imaging device | |
| JP6719721B2 (en) | Tomographic image generation system, tomographic image generation method, and tomographic image generation program | |
| JP2011133360A (en) | Distance measuring device, distance measurement method, and program | |
| JP2015203756A (en) | Parallax amount calculation device, distance calculation device, imaging apparatus, and parallax amount calculation method | |
| JP5721891B2 (en) | Imaging device | |
| JP5553862B2 (en) | Image pickup apparatus and image pickup apparatus control method | |
| JP2013044893A (en) | Compound-eye imaging device, and distance image acquisition device | |
| JP5553863B2 (en) | Image processing method, imaging apparatus, image processing apparatus, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191223 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200525 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200529 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6719721 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |