JP2020096272A - Imaging apparatus and imaging method - Google Patents
Imaging apparatus and imaging method Download PDFInfo
- Publication number
- JP2020096272A JP2020096272A JP2018232369A JP2018232369A JP2020096272A JP 2020096272 A JP2020096272 A JP 2020096272A JP 2018232369 A JP2018232369 A JP 2018232369A JP 2018232369 A JP2018232369 A JP 2018232369A JP 2020096272 A JP2020096272 A JP 2020096272A
- Authority
- JP
- Japan
- Prior art keywords
- light intensity
- modulation
- light
- modulator
- multilevel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 53
- 230000003287 optical effect Effects 0.000 claims abstract description 57
- 238000004458 analytical method Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims description 6
- 230000010287 polarization Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置および撮像方法に関するものである。 The present invention relates to an imaging device and an imaging method.
特許文献１および非特許文献１に記載された撮像装置は、入力光に対する出力光の強度比を画素毎に変調することができる光強度変調器としてデジタル・マイクロミラー・デバイス（ＤＭＤ: Digital Micromirror Device）を用いるとともに、入力光の強度を検出する光検出器を用いて、対象物の像を得ることができる。ここで用いられる光検出器は、入力光の光束断面における強度分布を検出する必要はなく、単一の画素からなるポイントセンサであってよい。 The imaging device described in Patent Document 1 and Non-Patent Document 1 is a digital micromirror device (DMD: Digital Micromirror Device) as a light intensity modulator capable of modulating the intensity ratio of output light to input light for each pixel. ) And a photodetector that detects the intensity of the input light, the image of the object can be obtained. The photodetector used here does not need to detect the intensity distribution in the light beam cross section of the input light, and may be a point sensor including a single pixel.
これらの文献に記載された撮像装置では、対象物の像をＤＭＤの変調面に形成し、設定された光強度変調パターンに基づいてＤＭＤにより画素毎に光強度変調を行って、その変調後の光の強度を光検出器により検出する。複数種類の光強度変調パターンを順次にＤＭＤに設定し、各々の光強度変調パターンの設定時に光検出器により光強度値を取得して、各光強度変調パターンおよび対応する光強度値を記憶部により記憶する。そして、記憶部に記憶された複数組の光強度変調パターンおよび光強度値を解析することにより、対象物の像を取得することができる。 In the image pickup devices described in these documents, an image of an object is formed on the modulation surface of the DMD, the DMD performs light intensity modulation for each pixel based on the set light intensity modulation pattern, and after the modulation, The light intensity is detected by a photo detector. A plurality of types of light intensity modulation patterns are sequentially set in the DMD, a light intensity value is acquired by a photodetector when setting each light intensity modulation pattern, and each light intensity modulation pattern and the corresponding light intensity value are stored in a storage unit. Memorized by. Then, an image of the object can be acquired by analyzing the plurality of sets of light intensity modulation patterns and light intensity values stored in the storage unit.
このような撮像装置で用いられる光検出器は、入力光の強度分布を検出するために複数の画素が配列されたイメージセンサである必要はなく、ポイントセンサであってよい。したがって、イメージセンサの使用が適切でない波長域で対象物を撮像することが要求される場合、または、イメージセンサより低ノイズもしくは高性能で対象物を撮像することが要求される場合等に、ポイントセンサを用いた撮像装置による撮像が有効である。 The photodetector used in such an imaging device does not need to be an image sensor in which a plurality of pixels are arranged in order to detect the intensity distribution of input light, but may be a point sensor. Therefore, if the use of the image sensor is required to image an object in a wavelength range that is not appropriate, or if it is required to image the object with lower noise or higher performance than the image sensor, the point Imaging by an imaging device using a sensor is effective.
特許文献１および非特許文献１に記載された従来の撮像装置は、光強度変調器としてＤＭＤを用いている。ＤＭＤは、ＭＥＭＳ（Micro Electro Mechanical Systems）技術により作製され、基板上に複数の可動ミラーが配列されている。ＤＭＤの各可動ミラーは、反射面の方位に応じて、反射光を光検出器に入射させるか否かを選択することができる。すなわち、光強度変調器としてのＤＭＤには二値の光強度変調パターンが設定される。 The conventional imaging device described in Patent Document 1 and Non-Patent Document 1 uses a DMD as a light intensity modulator. The DMD is manufactured by a MEMS (Micro Electro Mechanical Systems) technique, and a plurality of movable mirrors are arranged on a substrate. Each movable mirror of the DMD can select whether or not the reflected light is incident on the photodetector, depending on the orientation of the reflecting surface. That is, a binary light intensity modulation pattern is set in the DMD as the light intensity modulator.
従来の撮像装置は、二値の光強度変調パターンが設定されるＤＭＤを光強度変調器として用いることから、多くの光強度変調パターンを順次にＤＭＤに設定して光検出器により光強度値を取得する必要がある。このことから、対象物の像を取得するために必要な多くのデータの取得に長時間を要し、また、対象物の像を取得するための解析は複雑になる。 Since the conventional image pickup apparatus uses a DMD in which a binary light intensity modulation pattern is set as a light intensity modulator, many light intensity modulation patterns are sequentially set in the DMD and the light intensity value is set by the photodetector. Need to get. For this reason, it takes a long time to acquire a lot of data necessary for acquiring the image of the object, and the analysis for acquiring the image of the object becomes complicated.
本発明は、上記問題点を解消する為になされたものであり、光強度変調器および光検出器を用いて容易に対象物の像を取得することができる撮像装置および撮像方法を提供することを目的とする。 The present invention has been made to solve the above problems, and provides an image pickup apparatus and an image pickup method that can easily obtain an image of an object using a light intensity modulator and a photodetector. With the goal.
本発明の撮像装置は、(1) 各々入力した光に対して光強度変調を行って光を出力する複数の画素領域が配列された変調面を有し、設定された光強度変調パターンに基づいて変調面の複数の画素領域それぞれにおいて三値以上の光強度変調が可能であり、対象物から変調面に到達した光により変調面に形成された対象物の像に対して光強度変調パターンに基づいて光強度変調を行って当該変調後の光を出力する多値光強度変調器と、(2) 多値光強度変調器から出力された光を受光し、その光強度を検出して光強度値を出力する光検出器と、(3) 多値光強度変調器において設定された複数種類の光強度変調パターンそれぞれについて、各光強度変調パターンとこれに対応して光検出器から出力された光強度値とを組にして記憶して、これら記憶した複数組の光強度変調パターンおよび光強度値に基づいて対象物の像を求める解析部と、を備える。 The image pickup device of the present invention has (1) a modulation surface in which a plurality of pixel regions that perform light intensity modulation on each input light and output light are arranged, and based on a set light intensity modulation pattern. Light intensity modulation of three or more values is possible in each of the multiple pixel areas on the modulation surface, and a light intensity modulation pattern is created for the image of the object formed on the modulation surface by the light that reaches the modulation surface from the object. A multi-valued light intensity modulator that performs light intensity modulation based on the modulated light output, and (2) receives the light output from the multi-valued light intensity modulator, detects the light intensity, and outputs the light. An optical detector that outputs an intensity value, and (3) each of the multiple types of optical intensity modulation patterns set in the multilevel optical intensity modulator, each optical intensity modulation pattern and the corresponding optical output from the photodetector. And a light intensity value, which is stored as a set, and an image of the object is obtained based on the stored plurality of sets of light intensity modulation patterns and light intensity values.
或いは、本発明の撮像装置は、(1) 各々入力した光に対して光強度変調を行って光を出力する複数の画素領域が配列された変調面を有し、設定された光強度変調パターンに基づいて変調面の複数の画素領域それぞれにおいて三値以上の光強度変調が可能であり、変調面に到達した光に対して光強度変調パターンに基づいて変調面において光強度変調を行って当該変調後の光を出力する多値光強度変調器と、(2) 多値光強度変調器から到達した光により多値光強度変調器の変調面の像が形成される位置に配置された対象物から出力された光を受光し、その光強度を検出して光強度値を出力する光検出器と、(3) 多値光強度変調器において設定された複数種類の光強度変調パターンそれぞれについて、各光強度変調パターンとこれに対応して光検出器から出力された光強度値とを組にして記憶して、これら記憶した複数組の光強度変調パターンおよび光強度値に基づいて対象物の像を求める解析部と、を備える。 Alternatively, the image pickup apparatus of the present invention has (1) a light intensity modulation pattern in which a plurality of pixel regions that perform light intensity modulation on each input light and output the light are arrayed, It is possible to modulate light intensity of three or more values in each of a plurality of pixel areas on the modulation surface based on the above, and perform light intensity modulation on the modulation surface based on the light intensity modulation pattern for the light reaching the modulation surface. A multilevel light intensity modulator that outputs modulated light, and (2) an object that is placed at a position where an image of the modulation surface of the multilevel light intensity modulator is formed by the light that has arrived from the multilevel light intensity modulator. A light detector that receives the light output from an object, detects the light intensity and outputs a light intensity value, and (3) each of the multiple types of light intensity modulation patterns set in the multilevel light intensity modulator. , A light intensity modulation pattern and a light intensity value output from the photodetector corresponding to the light intensity modulation pattern are stored as a set, and the object is determined based on the stored plurality of sets of the light intensity modulation pattern and the light intensity value. And an analysis unit for obtaining an image of.
本発明の撮像方法は、(1) 各々入力した光に対して光強度変調を行って光を出力する複数の画素領域が配列された変調面を有し、設定された光強度変調パターンに基づいて変調面の複数の画素領域それぞれにおいて三値以上の光強度変調が可能である多値光強度変調器を用いて、対象物から変調面に到達した光により変調面に形成された対象物の像に対して光強度変調パターンに基づいて光強度変調を行って当該変調後の光を出力する光強度変調ステップと、(2) 多値光強度変調器から出力された光を受光する光検出器を用いて、その光強度を検出して光強度値を出力する光検出ステップと、(3) 多値光強度変調器において設定された複数種類の光強度変調パターンそれぞれについて、各光強度変調パターンとこれに対応して光検出器から出力された光強度値とを組にして記憶する記憶ステップと、(4) これら記憶した複数組の光強度変調パターンおよび光強度値に基づいて対象物の像を求める解析ステップと、を備える。 The imaging method of the present invention has (1) a modulation surface in which a plurality of pixel regions that perform light intensity modulation on each input light and output light are arranged, and based on a set light intensity modulation pattern. By using a multi-valued light intensity modulator capable of light intensity modulation of three or more values in each of a plurality of pixel areas on the modulation surface, the light reaching the modulation surface from the object causes the object formed on the modulation surface to be modulated. Light intensity modulation step of performing light intensity modulation on the image based on the light intensity modulation pattern and outputting the modulated light, and (2) Light detection of receiving the light output from the multilevel light intensity modulator. Detector, which detects the light intensity and outputs the light intensity value, and (3) each light intensity modulation for each of the multiple types of light intensity modulation patterns set in the multilevel light intensity modulator. A storage step of storing a pattern and a light intensity value output from the photodetector corresponding to the pattern, and (4) an object based on the plurality of stored light intensity modulation patterns and the light intensity value. And an analysis step for obtaining an image of.
或いは、本発明の撮像方法は、(1) 各々入力した光に対して光強度変調を行って光を出力する複数の画素領域が配列された変調面を有し、設定された光強度変調パターンに基づいて変調面の複数の画素領域それぞれにおいて三値以上の光強度変調が可能である多値光強度変調器を用いて、変調面に到達した光に対して光強度変調パターンに基づいて変調面において光強度変調を行って当該変調後の光を出力する光強度変調ステップと、(2) 多値光強度変調器から到達した光により多値光強度変調器の変調面の像が形成される位置に配置された対象物から出力された光を受光する光検出器を用いて、その光強度を検出して光強度値を出力する光検出ステップと、(3) 多値光強度変調器において設定された複数種類の光強度変調パターンそれぞれについて、各光強度変調パターンとこれに対応して光検出器から出力された光強度値とを組にして記憶する記憶ステップと、(4) これら記憶した複数組の光強度変調パターンおよび光強度値に基づいて対象物の像を求める解析ステップと、を備える。 Alternatively, the imaging method of the present invention has (1) a light intensity modulation pattern in which a plurality of pixel regions that perform light intensity modulation for each input light and output the light are arranged, A multi-valued light intensity modulator capable of modulating light intensity of three or more values in each of a plurality of pixel areas on the modulation surface is used to modulate the light reaching the modulation surface based on the light intensity modulation pattern. The light intensity modulation step of performing light intensity modulation on the surface and outputting the modulated light, and (2) the light arriving from the multi-valued light intensity modulator forms an image of the modulation surface of the multi-valued light intensity modulator. Using the photodetector that receives the light output from the object placed at the position, the light detection step of detecting the light intensity and outputting the light intensity value, and (3) Multilevel light intensity modulator For each of the plurality of types of light intensity modulation patterns set in, each light intensity modulation pattern and the storage step of storing the light intensity value output from the photodetector corresponding thereto, and (4) these. And an analysis step of obtaining an image of the object based on the stored plurality of sets of light intensity modulation patterns and light intensity values.
本発明の撮像装置または撮像方法において、多値光強度変調器は、(a) 各々入力した光の偏光方位によって異なる変調を行って光を出力する複数の画素領域が配列された変調面を有する光変調器と、(b) 特定方位の直線偏光の光を光変調器へ入力させる第１偏光子と、(c) 光変調器から出力された光のうち特定方位と異なる方位の直線偏光の光を出力する第２偏光子と、を含む構成としてもよい。 In the image pickup apparatus or the image pickup method of the present invention, the multilevel light intensity modulator has (a) a modulation surface in which a plurality of pixel regions that perform different modulation depending on the polarization azimuth of each input light and output the light are arranged. An optical modulator, (b) a first polarizer for inputting linearly polarized light of a specific direction to the optical modulator, and (c) a linearly polarized light of a direction different from the specific direction out of the light output from the optical modulator. A second polarizer that outputs light may be included.
本発明の撮像装置または撮像方法において、複数の多値光強度変調器を用いる構成としてもよい。この場合、複数の多値光強度変調器それぞれの変調面は、対象物の像が形成される位置、または、他の多値光強度変調器の変調面の像が形成される位置、に配置される。 In the image pickup apparatus or the image pickup method of the present invention, a plurality of multilevel light intensity modulators may be used. In this case, the modulation surface of each of the plurality of multilevel light intensity modulators is arranged at the position where the image of the object is formed or at the position where the image of the modulation surface of another multilevel light intensity modulator is formed. To be done.
本発明の撮像装置または撮像方法において、二値光強度変調器を更に用いる構成としてもよい。二値光強度変調器は、各々入力した光に対して光強度変調を行って光を出力する複数の画素領域が配列された変調面を有し、設定された光強度変調パターンに基づいて複数の画素領域それぞれにおいて二値の光強度変調が可能であり、光強度変調パターンに基づいて変調面において光強度変調を行って当該変調後の光を出力する。この場合、二値光強度変調器の変調面は、対象物の像が形成される位置、または、多値光強度変調器の変調面の像が形成される位置、に配置される。 In the image pickup apparatus or the image pickup method of the present invention, the binary light intensity modulator may be further used. The binary light intensity modulator has a modulation surface in which a plurality of pixel regions that perform light intensity modulation on each input light and output the light are arrayed, and a plurality of light intensity modulation patterns are output based on a set light intensity modulation pattern. Binary light intensity modulation is possible in each of the pixel regions, and light intensity modulation is performed on the modulation surface based on the light intensity modulation pattern, and the modulated light is output. In this case, the modulation surface of the binary light intensity modulator is arranged at the position where the image of the object is formed or the position where the image of the modulation surface of the multi-valued light intensity modulator is formed.
本発明によれば、光強度変調器および光検出器を用いて容易に対象物の像を取得することができる。 According to the present invention, an image of an object can be easily acquired using a light intensity modulator and a photodetector.
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 Hereinafter, a mode for carrying out the present invention will be described in detail with reference to the accompanying drawings. In the description of the drawings, the same elements will be denoted by the same reference symbols, without redundant description. The present invention is not limited to these exemplifications, but is defined by the scope of the claims, and is intended to include meanings equivalent to the scope of the claims and all modifications within the scope.
図１は、第１実施形態の撮像装置１の構成を示す図である。この図に示される撮像装置１は、光源１０、多値光強度変調器２０、光検出器３０、解析部４０および光学系６０を備える。撮像装置１は、光源１０と多値光強度変調器２０との間の光路上に配置された対象物９０の像を取得する。 FIG. 1 is a diagram showing a configuration of the image pickup apparatus 1 according to the first embodiment. The image pickup apparatus 1 shown in this figure includes a light source 10, a multilevel light intensity modulator 20, a photodetector 30, an analysis unit 40, and an optical system 60. The imaging device 1 acquires an image of an object 90 arranged on the optical path between the light source 10 and the multilevel light intensity modulator 20.
光源１０は、対象物９０へ照射すべき光を出力する。光源１０が出力する光は、単色光であってもよいし、或る帯域を有する光であってもよい。光源１０が出力する光は、パルス光であってもよいし、連続発振光であってもよい。光源１０が出力する光は、多値光強度変調器２０による光強度変調が可能であって、光検出器３０が感度を有する波長であればよい。 The light source 10 outputs light to be applied to the object 90. The light output from the light source 10 may be monochromatic light or light having a certain band. The light output from the light source 10 may be pulsed light or continuous wave light. The light output from the light source 10 may have any wavelength as long as the light intensity can be modulated by the multilevel light intensity modulator 20 and the photodetector 30 has sensitivity.
光源１０から出力された光が対象物９０に照射されたことにより該対象物９０で生じた光は、多値光強度変調器２０の変調面に到達する。対象物９０で生じる光は、照射光波長と同じ波長の光（透過光または反射光）であってもよいし、照射光波長と異なる波長の光（例えば蛍光またはラマン散乱光）であってもよい。後者の場合、対象物９０と多値光強度変調器２０との間の光路上には、照射光波長と異なる波長の光を選択的に通過させる光フィルタが設けられる。 The light emitted from the light source 10 is applied to the target object 90, and the light generated in the target object 90 reaches the modulation surface of the multilevel light intensity modulator 20. The light generated in the object 90 may be light having the same wavelength as the irradiation light wavelength (transmitted light or reflected light), or light having a wavelength different from the irradiation light wavelength (for example, fluorescence or Raman scattered light). Good. In the latter case, an optical filter that selectively passes light having a wavelength different from the irradiation light wavelength is provided on the optical path between the object 90 and the multilevel light intensity modulator 20.
多値光強度変調器２０は、複数の画素領域が１次元状または２次元状に配列された変調面を有する。変調面の各画素領域は、入力した光に対して光強度変調を行って、当該変調後の光を出力する。多値光強度変調器２０は、設定された光強度変調パターンに基づいて変調面の複数の画素領域それぞれにおいて三値以上の光強度変調が可能である。なお、本発明では、多値とは三値以上を意味する。多値光強度変調器２０は、対象物９０から変調面に到達した光により変調面に形成された対象物９０の像に対して、光強度変調パターンに基づいて光強度変調を行い、当該変調後の光を出力する。 The multi-valued light intensity modulator 20 has a modulation surface in which a plurality of pixel regions are arranged one-dimensionally or two-dimensionally. Each pixel area on the modulation surface performs light intensity modulation on the input light and outputs the modulated light. The multi-valued light intensity modulator 20 is capable of ternary or more light intensity modulation in each of the plurality of pixel regions on the modulation surface based on the set light intensity modulation pattern. In addition, in this invention, a multivalue means three or more values. The multi-valued light intensity modulator 20 performs light intensity modulation on the image of the object 90 formed on the modulation surface by the light reaching the modulation surface from the object 90 based on the light intensity modulation pattern, and performs the modulation. Output the light after.
多値光強度変調器２０は、透過型または反射型の空間光変調器を含む構成とすることができる。空間光変調器は、強度変調型および位相変調型の何れであってもよい。多値光強度変調器２０は、位相変調型の空間光変調器を含む場合であっても、更に偏光子をも含む構成とすることで、全体として光強度変調を行うことができる。 The multilevel light intensity modulator 20 may be configured to include a transmissive or reflective spatial light modulator. The spatial light modulator may be either an intensity modulation type or a phase modulation type. Even if the multi-level light intensity modulator 20 includes a phase modulation type spatial light modulator, the multi-level light intensity modulator 20 can also perform light intensity modulation as a whole by including a polarizer.
対象物９０と多値光強度変調器２０との間に、多値光強度変調器２０の変調面に対象物９０の像を結像するための結像光学系が設けられてもよい。対象物９０から多値光強度変調器２０の変調面に到達する光が像を維持したまま伝搬するのであれば結像光学系は不要である。 An imaging optical system for forming an image of the object 90 on the modulation surface of the multilevel light intensity modulator 20 may be provided between the target object 90 and the multilevel light intensity modulator 20. If the light reaching the modulation surface of the multilevel light intensity modulator 20 from the object 90 propagates while maintaining the image, the imaging optical system is not necessary.
光学系６０は、多値光強度変調器２０から出力された光を光検出器３０の受光領域に集光する。光学系６０は凸レンズまたは凹面鏡を含む。光検出器３０は、多値光強度変調器２０から出力された光を受光し、その光強度を検出して光強度値を出力する。光検出器３０は、イメージセンサである必要はなく、ポイントセンサであってよい。多値光強度変調器２０から光検出器３０へ到達する光の光束径が光検出器３０の受光領域の大きさより小さければ、光学系６０は不要である。 The optical system 60 focuses the light output from the multilevel light intensity modulator 20 on the light receiving region of the photodetector 30. The optical system 60 includes a convex lens or a concave mirror. The photodetector 30 receives the light output from the multilevel light intensity modulator 20, detects the light intensity, and outputs a light intensity value. The photodetector 30 need not be an image sensor, but may be a point sensor. If the light flux diameter of the light reaching the photodetector 30 from the multilevel light intensity modulator 20 is smaller than the size of the light receiving area of the photodetector 30, the optical system 60 is not necessary.
解析部４０は、多値光強度変調器２０において設定された複数種類の光強度変調パターンそれぞれについて、各光強度変調パターンとこれに対応して光検出器３０から出力された光強度値とを組にして記憶する。そして、解析部４０は、これら記憶した複数組の光強度変調パターンおよび光強度値に基づいて解析を行うことで対象物９０の像を求める。 For each of the plurality of types of light intensity modulation patterns set in the multi-level light intensity modulator 20, the analysis unit 40 determines each light intensity modulation pattern and the light intensity value output from the photodetector 30 corresponding thereto. Remember as a pair. Then, the analysis unit 40 obtains an image of the target object 90 by performing analysis based on the plurality of sets of stored light intensity modulation patterns and light intensity values.
撮像装置１は以下のように動作する。光源１０から出力された光は対象物９０に照射さる。この光照射により対象物９０で生じた光は多値光強度変調器２０の変調面に到達して、多値光強度変調器２０の変調面に対象物９０の像が形成される。多値光強度変調器２０により、変調面に形成された対象物９０の像に対して光強度変調パターンに基づいて光強度変調が施され、当該変調後の光が出力される（光強度変調ステップ）。光検出器３０により、多値光強度変調器２０から出力された光が受光され、その受光された光強度値が出力される（光検出ステップ）。解析部４０により、多値光強度変調器２０において設定された複数種類の光強度変調パターンそれぞれについて、各光強度変調パターンとこれに対応して光検出器３０から出力された光強度値とが組にして記憶される（記憶ステップ）。そして、解析部４０により、これら記憶した複数組の光強度変調パターンおよび光強度値に基づいて解析が行われて、対象物９０の像が求められる（解析ステップ）。解析の内容については後述する。 The imaging device 1 operates as follows. The light output from the light source 10 illuminates the target object 90. The light generated by the object 90 by this light irradiation reaches the modulation surface of the multi-valued light intensity modulator 20, and an image of the object 90 is formed on the modulation surface of the multi-valued light intensity modulator 20. The multilevel light intensity modulator 20 performs light intensity modulation on the image of the object 90 formed on the modulation surface based on the light intensity modulation pattern, and outputs the modulated light (light intensity modulation). Step). The light output from the multilevel light intensity modulator 20 is received by the photodetector 30, and the received light intensity value is output (light detection step). By the analysis unit 40, for each of a plurality of types of light intensity modulation patterns set in the multilevel light intensity modulator 20, each light intensity modulation pattern and the light intensity value output from the photodetector 30 corresponding thereto are It is stored as a set (storage step). Then, the analysis unit 40 performs an analysis based on the plurality of sets of stored light intensity modulation patterns and light intensity values, and obtains an image of the target object 90 (analysis step). The details of the analysis will be described later.
図２は、撮像装置１の変形例の構成を示す図である。この図２に示される撮像装置１Ａの多値光強度変調器２０は、図１に示された撮像装置１の多値光強度変調器２０の具体的な一構成例を示している。撮像装置１Ａの多値光強度変調器２０は、光変調器２１、第１偏光子２２、第２偏光子２３およびビームスプリッタ２４を含む。 FIG. 2 is a diagram showing a configuration of a modified example of the image pickup apparatus 1. The multi-valued light intensity modulator 20 of the image pickup apparatus 1A shown in FIG. 2 shows a specific configuration example of the multi-valued light intensity modulator 20 of the image pickup apparatus 1 shown in FIG. The multilevel light intensity modulator 20 of the image pickup apparatus 1A includes a light modulator 21, a first polarizer 22, a second polarizer 23, and a beam splitter 24.
光変調器２１は、各々入力した光の偏光方位によって異なる変調を行って光を出力する複数の画素領域が配列された変調面を有する空間光変調器（ＳＬＭ: Spatial Light Modulator）である。光変調器２１は、例えば反射型電気アドレス空間光位相変調器であるＬＣＯＳ-ＳＬＭ（Liquid Crystal on Silicon ＳＬＭ）である。ＬＣＯＳ-ＳＬＭは、アドレス部にＣＭＯＳ技術を応用して直接液晶を電圧制御することで、高精度かつ高速応答の位相変調を行うことができる。 The light modulator 21 is a spatial light modulator (SLM: Spatial Light Modulator) having a modulation surface in which a plurality of pixel regions that perform different modulation depending on the polarization direction of the input light and output the light are arranged. The optical modulator 21 is, for example, a LCOS-SLM (Liquid Crystal on Silicon SLM) which is a reflective electrical address space optical phase modulator. The LCOS-SLM can perform phase modulation with high accuracy and high speed response by directly controlling the voltage of the liquid crystal by applying CMOS technology to the address part.
第１偏光子２２は、特定方位（例えば光変調器２１における液晶の配向方向に対して４５度の方位）の直線偏光の光を光変調器２１へ入力させる。第２偏光子２３は、光変調器２１から出力された光のうち前記特定方位と異なる方位（例えば光変調器２１における液晶の配向方向に対して１３５度の方位）の直線偏光の光を出力する。ビームスプリッタ２４は、第１偏光子２２から出力された光を光変調器２１へ透過させ、光変調器２１から出力された光を第２偏光子２３へ反射させる。ＬＣＯＳ-ＳＬＭは位相変調型のものであるが、このような構成とすることで多値光強度変調器２０は強度変調型のものとなる。 The first polarizer 22 inputs the linearly polarized light of a specific azimuth (for example, an azimuth of 45 degrees with respect to the alignment direction of the liquid crystal in the optical modulator 21) to the optical modulator 21. The second polarizer 23 outputs linearly polarized light of a direction different from the specific direction (for example, a direction of 135 degrees with respect to the alignment direction of the liquid crystal in the light modulator 21) of the light output from the light modulator 21. To do. The beam splitter 24 transmits the light output from the first polarizer 22 to the optical modulator 21, and reflects the light output from the optical modulator 21 to the second polarizer 23. The LCOS-SLM is of the phase modulation type, but with such a configuration, the multilevel light intensity modulator 20 is of the intensity modulation type.
図３は、第２実施形態の撮像装置２の構成を示す図である。この図３に示される撮像装置２は、光源１０、多値光強度変調器２０、光検出器３０、解析部４０および光学系６０を備える点では、図１に示された撮像装置１の構成と同じである。図１に示された撮像装置１は、光源１０と多値光強度変調器２０との間の光路上に配置された対象物９０の像を取得するのに対して、図３に示される撮像装置２は、多値光強度変調器２０と光検出器３０との間の光路上に配置された対象物９０の像を取得する。 FIG. 3 is a diagram showing a configuration of the image pickup apparatus 2 according to the second embodiment. The image pickup apparatus 2 shown in FIG. 3 includes the light source 10, the multilevel light intensity modulator 20, the photodetector 30, the analysis unit 40, and the optical system 60 in that the image pickup apparatus 2 shown in FIG. Is the same as. The imaging device 1 shown in FIG. 1 acquires an image of the object 90 arranged on the optical path between the light source 10 and the multilevel light intensity modulator 20, whereas the imaging device 1 shown in FIG. The device 2 acquires an image of the object 90 arranged on the optical path between the multilevel light intensity modulator 20 and the photodetector 30.
対象物９０は、多値光強度変調器２０から到達した光により多値光強度変調器２０の変調面の像が形成される位置に配置されている。多値光強度変調器２０と対象物９０との間に、対象物９０の位置に多値光強度変調器２０の変調面の像を結像するための結像光学系が設けられてもよい。多値光強度変調器２０の変調面から対象物９０に到達する光が像を維持したまま伝搬するのであれば結像光学系は不要である。 The object 90 is arranged at a position where an image of the modulation surface of the multilevel light intensity modulator 20 is formed by the light that has arrived from the multilevel light intensity modulator 20. An imaging optical system for forming an image of the modulation surface of the multilevel light intensity modulator 20 at the position of the target object 90 may be provided between the multilevel light intensity modulator 20 and the target object 90. .. If the light reaching the object 90 from the modulation surface of the multilevel light intensity modulator 20 propagates while maintaining the image, the imaging optical system is not necessary.
撮像装置２は以下のように動作する。光源１０から出力された光は多値光強度変調器２０の変調面に到達する。多値光強度変調器２０により、変調面に到達した光に対して光強度変調パターンに基づいて変調面において光強度変調が施され、当該変調後の光が出力される（光強度変調ステップ）。多値光強度変調器２０から出力された光は対象物９０に照射され、この光照射により対象物９０から光が出力される。光検出器３０により、対象物９０から出力された光が受光され、その受光された光強度値が出力される（光検出ステップ）。解析部４０により、多値光強度変調器２０において設定された複数種類の光強度変調パターンそれぞれについて、各光強度変調パターンとこれに対応して光検出器３０から出力された光強度値とが組にして記憶される（記憶ステップ）。そして、解析部４０により、これら記憶した複数組の光強度変調パターンおよび光強度値に基づいて解析が行われて、対象物９０の像が求められる（解析ステップ）。 The imaging device 2 operates as follows. The light output from the light source 10 reaches the modulation surface of the multilevel light intensity modulator 20. The multilevel light intensity modulator 20 performs light intensity modulation on the light reaching the modulation surface on the modulation surface based on the light intensity modulation pattern, and outputs the light after the modulation (light intensity modulation step). .. The light output from the multi-valued light intensity modulator 20 is applied to the object 90, and the light irradiation causes the object 90 to output light. The light output from the object 90 is received by the photodetector 30, and the received light intensity value is output (light detection step). By the analysis unit 40, for each of a plurality of types of light intensity modulation patterns set in the multilevel light intensity modulator 20, each light intensity modulation pattern and the light intensity value output from the photodetector 30 corresponding thereto are It is stored as a set (storage step). Then, the analysis unit 40 performs an analysis based on the plurality of sets of stored light intensity modulation patterns and light intensity values, and obtains an image of the target object 90 (analysis step).
次に、解析部４０による解析の内容について説明する。図４は、多値光強度変調器２０の変調面に設定される光強度変調パターンを説明する図である。ここでは、説明の簡便化のために、多値光強度変調器２０の変調面において４×４個の画素領域が配列されているものとする。複数の光強度変調パターンのうちの第ｉの光強度変調パターンにおいて、変調面の４×４個の画素領域のうちの第ｍ行第ｎ列に位置する画素領域の変調度をａi,j とする。ｊ＝４(ｍ−１)＋(ｎ−１) である。各ａi,j は、第ｍ行第ｎ列に位置する画素領域への入力光強度に対する出力光強度の比を表すものであり、０以上１以下の値を有する。各ａi,j がとり得る値は三値以上である。 Next, the content of the analysis by the analysis unit 40 will be described. FIG. 4 is a diagram illustrating a light intensity modulation pattern set on the modulation surface of the multilevel light intensity modulator 20. Here, for simplification of description, it is assumed that 4×4 pixel regions are arranged on the modulation surface of the multilevel light intensity modulator 20. In the i-th light intensity modulation pattern of the plurality of light intensity modulation patterns, the modulation degree of the pixel region located in the m-th row and the n-th column of the 4×4 pixel regions on the modulation surface is a i,j And j=4(m-1)+(n-1). Each a i,j represents the ratio of the output light intensity to the input light intensity to the pixel area located in the m-th row and the n-th column, and has a value of 0 or more and 1 or less. The value that each a i,j can take is three or more.
対象物９０の像のうち、多値光強度変調器２０の変調面の第ｍ行第ｎ列に位置する画素領域に対応する領域における光強度値をｘｊとする。多値光強度変調器２０の変調面に第ｉの光強度変調パターンが設定されたときに、光検出器３０から出力された光強度値をｙｉとする。そして、ａi,j を要素とする二次元の観測行列Ａを下記（１）式で表し、ｘｊを要素とする縦ベクトルを下記（２）式で表し、ｙｉを要素とする縦ベクトルを下記（３）式で表す。これらの間には下記（４）式の関係がある。対象物９０の像の光強度分布ｘは、下記（５）式を解くことにより推定することができる。 In the image of the object 90, the light intensity value in a region corresponding to the pixel region located in the m-th row and the n-th column of the modulation surface of the multilevel light intensity modulator 20 is x j . The light intensity value output from the photodetector 30 when the i-th light intensity modulation pattern is set on the modulation surface of the multilevel light intensity modulator 20 is y i . A two-dimensional observation matrix A having a i,j as an element is expressed by the following equation (1), a vertical vector having x j as an element is expressed by the following equation (2), and a vertical vector having y i as an element Is expressed by the following equation (3). There is a relationship of the following formula (4) between them. The light intensity distribution x of the image of the target object 90 can be estimated by solving the following equation (5).
解がスパース性を有している場合は、圧縮センシングの枠組みを用いることで、計測回数を減らすことができる。なお、多値光強度変調器２０の変調面に設定される光強度変調パターンとしてフーリエ基底の実部を用いることで、Ｓ／Ｎが低くても高い像質が得られる（非特許文献２参照）。また、多値光強度変調器２０の変調面に設定される光強度変調パターンとしてウェーブレット基底を用いることもできる（非特許文献３参照）。 If the solution is sparse, the number of measurements can be reduced by using the compressed sensing framework. By using the real part of the Fourier base as the light intensity modulation pattern set on the modulation surface of the multilevel light intensity modulator 20, a high image quality can be obtained even if the S/N is low (see Non-Patent Document 2). ). Also, a wavelet base can be used as the light intensity modulation pattern set on the modulation surface of the multilevel light intensity modulator 20 (see Non-Patent Document 3).
観測行列Ａの各要素は、従来技術では二値に限られていたのに対して、本実施形態では三値以上である。従来技術と比べて、本実施形態では、観測行例Ａの設計の自由度が高い。このことから、本実施形態では、多値光強度変調器２０の変調面に設定する光強度変調パターンの個数を少なくして計測回数を減らしても、Ｓ／Ｎが良好な対象物の像を取得することができる。したがって、本実施形態では、計測に要する時間を短縮することができ、対象物の像を取得するための解析の負荷を低減することができる。本実施形態では、多値光強度変調器および光検出器（ポイントセンサ）を用いて容易に対象物の像を取得することができる。 While each element of the observation matrix A is limited to binary in the conventional technique, it is ternary or more in this embodiment. In this embodiment, the degree of freedom in designing the observation example A is higher than that in the related art. For this reason, in the present embodiment, even if the number of measurement times is reduced by reducing the number of light intensity modulation patterns set on the modulation surface of the multilevel light intensity modulator 20, an image of an object with a good S/N is obtained. Can be obtained. Therefore, in the present embodiment, the time required for measurement can be shortened, and the analysis load for acquiring the image of the object can be reduced. In the present embodiment, an image of the object can be easily acquired using the multilevel light intensity modulator and the photodetector (point sensor).
次に、他の実施形態の撮像装置の構成について説明する。図５は、第３実施形態の撮像装置３の構成を示す図である。この図５に示される撮像装置３は、図１に示された撮像装置１の構成において多値光強度変調器２０に替えて、２つの多値光強度変調器２０Ａ，２０Ｂを備える。多値光強度変調器２０Ａ，２０Ｂは、多値光強度変調器２０と同様のものである。 Next, the configuration of the image pickup apparatus according to another embodiment will be described. FIG. 5 is a diagram showing the configuration of the image pickup apparatus 3 according to the third embodiment. The image pickup apparatus 3 shown in FIG. 5 includes two multilevel light intensity modulators 20A and 20B in place of the multilevel light intensity modulator 20 in the configuration of the image pickup apparatus 1 shown in FIG. The multilevel light intensity modulators 20A and 20B are similar to the multilevel light intensity modulator 20.
多値光強度変調器２０Ａの変調面は、対象物９０の像が形成される位置に配置されている。多値光強度変調器２０Ｂの変調面は、多値光強度変調器２０Ａから出力された光により多値光強度変調器２０Ａの変調面の像が形成される位置（すなわち、対象物９０の像が形成される位置）に配置されている。光学系６０は、多値光強度変調器２０Ｂから出力された光を光検出器３０の受光領域に集光する。 The modulation surface of the multilevel light intensity modulator 20A is arranged at a position where an image of the object 90 is formed. The modulation surface of the multilevel light intensity modulator 20B is at a position where an image of the modulation surface of the multilevel light intensity modulator 20A is formed by the light output from the multilevel light intensity modulator 20A (that is, the image of the object 90). Is formed). The optical system 60 focuses the light output from the multilevel light intensity modulator 20B on the light receiving region of the photodetector 30.
対象物９０と多値光強度変調器２０Ａとの間に結像光学系が設けられてもよい。多値光強度変調器２０Ａと多値光強度変調器２０Ｂとの間に結像光学系が設けられてもよい。対象物９０から多値光強度変調器２０Ａを経て多値光強度変調器２０Ｂの変調面に到達する光が像を維持したまま伝搬するのであれば結像光学系は不要である。 An imaging optical system may be provided between the object 90 and the multilevel light intensity modulator 20A. An imaging optical system may be provided between the multilevel light intensity modulator 20A and the multilevel light intensity modulator 20B. If the light reaching the modulation surface of the multilevel light intensity modulator 20B from the object 90 via the multilevel light intensity modulator 20A propagates while maintaining the image, the imaging optical system is not necessary.
第３実施形態では、多値光強度変調器２０Ａの光強度変調パターンをＡ＝{ａi,j}とし、多値光強度変調器２０Ｂの光強度変調パターンをＢ＝{ｂi,j}とすると、全体の観測行列はＣ＝{ａi,jｂi,j}で表される。第３実施形態では、全体の観測行例Ｃの設計の自由度が更に高い。例えば、ａi,jおよびｂi,jそれぞれがとり得る値が０.０、０.５、１.０であるとすると、ｃi,jがとり得る値は０.０、０.２５、０.５、１.０となる。 In the third embodiment, the light intensity modulation pattern of the multilevel light intensity modulator 20A is A={a i,j }, and the light intensity modulation pattern of the multilevel light intensity modulator 20B is B={b i,j }. Then, the entire observation matrix is represented by C={a i,j b i,j }. In the third embodiment, the degree of freedom in designing the entire observation row example C is higher. For example, if the possible values of a i,j and b i,j are 0.0, 0.5 and 1.0, the possible values of c i,j are 0.0, 0.25, It becomes 0.5 and 1.0.
この実施形態の構成では２個の多値光強度変調器を用いたが、３個以上の多値光強度変調器を用いてもよい。多値光強度変調器の個数が多いほど、全体の観測行列の各要素がとり得る値の個数が多くなる。 Although two multi-valued light intensity modulators are used in the configuration of this embodiment, three or more multi-valued light intensity modulators may be used. The larger the number of multilevel light intensity modulators, the larger the number of values that each element of the entire observation matrix can have.
図６は、第４実施形態の撮像装置４の構成を示す図である。この図６に示される撮像装置４は、図１に示された撮像装置１の構成に加えて二値光強度変調器５０を更に備える。 FIG. 6 is a diagram showing the configuration of the imaging device 4 of the fourth embodiment. The image pickup apparatus 4 shown in FIG. 6 further includes a binary light intensity modulator 50 in addition to the configuration of the image pickup apparatus 1 shown in FIG.
二値光強度変調器５０は、複数の画素領域が１次元状または２次元状に配列された変調面を有する。変調面の各画素領域は、入力した光に対して光強度変調を行って、当該変調後の光を出力する。二値光強度変調器５０は、設定された光強度変調パターンに基づいて変調面の複数の画素領域それぞれにおいて二値の光強度変調が可能である。二値とは、例えば、入力した光を次段の多値光強度変調器２０へ出力するか否かである。二値光強度変調器５０は、例えばＤＭＤである。 The binary light intensity modulator 50 has a modulation surface in which a plurality of pixel regions are arranged one-dimensionally or two-dimensionally. Each pixel area on the modulation surface performs light intensity modulation on the input light and outputs the modulated light. The binary light intensity modulator 50 is capable of binary light intensity modulation in each of the plurality of pixel regions on the modulation surface based on the set light intensity modulation pattern. The binary value is, for example, whether or not the input light is output to the multi-level light intensity modulator 20 in the next stage. The binary light intensity modulator 50 is, for example, a DMD.
二値光強度変調器５０の変調面は、対象物９０の像が形成される位置に配置されている。多値光強度変調器２０の変調面は、二値光強度変調器５０から出力された光により二値光強度変調器５０の変調面の像が形成される位置（すなわち、対象物９０の像が形成される位置）に配置されている。光学系６０は、多値光強度変調器２０から出力された光を光検出器３０の受光領域に集光する。 The modulation surface of the binary light intensity modulator 50 is arranged at a position where an image of the object 90 is formed. The modulation surface of the multilevel light intensity modulator 20 is located at a position where the image of the modulation surface of the binary light intensity modulator 50 is formed by the light output from the binary light intensity modulator 50 (that is, the image of the object 90). Is formed). The optical system 60 focuses the light output from the multilevel light intensity modulator 20 on the light receiving region of the photodetector 30.
対象物９０と二値光強度変調器５０との間に結像光学系が設けられてもよい。二値光強度変調器５０と多値光強度変調器２０との間に結像光学系が設けられてもよい。対象物９０から二値光強度変調器５０を経て多値光強度変調器２０の変調面に到達する光が像を維持したまま伝搬するのであれば結像光学系は不要である。 An imaging optical system may be provided between the object 90 and the binary light intensity modulator 50. An imaging optical system may be provided between the binary light intensity modulator 50 and the multi-valued light intensity modulator 20. If the light reaching the modulation surface of the multi-valued light intensity modulator 20 from the object 90 through the binary light intensity modulator 50 propagates while maintaining the image, the imaging optical system is not necessary.
多値光強度変調器２０と二値光強度変調器５０とは逆に配置されていてもよい。この場合、二値光強度変調器５０の変調面は、多値光強度変調器２０から出力された光により多値光強度変調器２０の変調面の像が形成される位置（すなわち、対象物９０の像が形成される位置）に配置されている。 The multilevel light intensity modulator 20 and the binary light intensity modulator 50 may be arranged in reverse. In this case, the modulation surface of the binary light intensity modulator 50 is located at a position where the image of the modulation surface of the multivalued light intensity modulator 20 is formed by the light output from the multivalued light intensity modulator 20 (that is, the target object). 90 positions where images are formed).
第４実施形態では、多値光強度変調器２０の光強度変調パターンをＡ＝{ａi,j}とし、二値光強度変調器５０の光強度変調パターンをＢ＝{ｂi,j}とすると、全体の観測行列はＣ＝{ａi,jｂi,j}で表される。二値光強度変調器５０としてＤＭＤを用いた場合、ｂi,j の値を０または１とすることができ、ｃi,j の値を０にすることもできる。第４実施形態では、全体の観測行例Ｃの設計の自由度が更に高い。全体の観測行例Ｃは、ＤＭＤをバイナリモードで駆動したときと同程度の速度で、バイナリを超えた表現が可能となる。ＤＭＤをグレイスケールモードで駆動した場合も同様である。ＤＭＤをグレイスケールモードで駆動した場合、ｂi,j の値はデューティ比となる。 In the fourth embodiment, the light intensity modulation pattern of the multilevel light intensity modulator 20 is A={a i,j }, and the light intensity modulation pattern of the binary light intensity modulator 50 is B={b i,j }. Then, the entire observation matrix is represented by C={a i,j b i,j }. When a DMD is used as the binary optical intensity modulator 50 , the value of b i,j can be 0 or 1, and the value of c i,j can also be 0. In the fourth embodiment, the degree of freedom in designing the entire observation row example C is higher. The entire observation row example C can be expressed in a manner beyond the binary at the same speed as when the DMD is driven in the binary mode. The same applies when the DMD is driven in the gray scale mode. When the DMD is driven in the gray scale mode, the value of b i,j becomes the duty ratio.
図７は、第４実施形態における光強度変調パターンの例を説明する図である。図７（ａ）は、多値光強度変調器２０の光強度変調パターンＡを示す。図７（ｂ）は、多値光強度変調器２０の光強度変調パターンＡと二値光強度変調器５０の光強度変調パターンＢとによる全体の光強度変調パターンＣを示す。図７（ｃ）は、多値光強度変調器２０の光強度変調パターンＡと二値光強度変調器５０の他の光強度変調パターンＢとによる全体の光強度変調パターンＣを示す。これらの図において、色が濃いほど、ａi,j またはｃi,j の値が０に近いことを表す。 FIG. 7 is a diagram illustrating an example of a light intensity modulation pattern in the fourth embodiment. FIG. 7A shows a light intensity modulation pattern A of the multilevel light intensity modulator 20. FIG. 7B shows the overall light intensity modulation pattern C formed by the light intensity modulation pattern A of the multilevel light intensity modulator 20 and the light intensity modulation pattern B of the binary light intensity modulator 50. FIG. 7C shows the overall light intensity modulation pattern C by the light intensity modulation pattern A of the multilevel light intensity modulator 20 and the other light intensity modulation pattern B of the binary light intensity modulator 50. In these figures, the darker the color, the closer the value of a i,j or c i,j is to 0.
この実施形態の構成では１個の多値光強度変調器および１個の二値光強度変調器を用いたが、２個以上の多値光強度変調器または２個以上の二値光強度変調器を用いてもよい。多値光強度変調器の個数が多いほど、また、二値光強度変調器の個数が多いほど、全体の観測行列の各要素がとり得る値の個数が多くなる。 Although one multi-valued light intensity modulator and one binary light intensity modulator are used in the configuration of this embodiment, two or more multi-valued light intensity modulators or two or more binary light intensity modulators are used. You may use a container. The greater the number of multilevel light intensity modulators and the greater the number of binary light intensity modulators, the greater the number of values that each element of the entire observation matrix can take.
図８は、第５実施形態の撮像装置５の構成を示す図である。この図８に示される撮像装置５は、図２に示された撮像装置１Ａの構成に加えて、対象物９０と多値光強度変調器２０との間の光路上に設けられた光学系７０を更に備える。光学系７０は、レンズ７１およびレンズ７２を含み、これら二つのレンズ７１，７２それぞれの焦点距離の比に応じた拡大縮小率を有する。光学系７０の拡大縮小率は、対象物９０の大きさと多値光強度変調器２０の撮像面の大きさとの比に応じて適切に設定される。 FIG. 8 is a diagram showing the configuration of the imaging device 5 of the fifth embodiment. In addition to the configuration of the image pickup apparatus 1A shown in FIG. 2, the image pickup apparatus 5 shown in FIG. 8 has an optical system 70 provided on the optical path between the object 90 and the multilevel light intensity modulator 20. Is further provided. The optical system 70 includes a lens 71 and a lens 72, and has an enlargement/reduction rate according to the ratio of the focal lengths of these two lenses 71 and 72. The enlargement/reduction ratio of the optical system 70 is appropriately set according to the ratio between the size of the object 90 and the size of the imaging surface of the multilevel light intensity modulator 20.
図９は、第６実施形態の撮像装置６の構成を示す図である。この図９に示される撮像装置６は、図２に示された撮像装置１Ａの構成において、光源１０を取り除いた上で、対象物９０と多値光強度変調器２０との間の光路上に設けられた光学系８０を更に備える。対象物９０が自発光（例えば化学発光）する場合には、光源は不要である。光学系８０は、対象物９０で生じた光を多値光強度変調器２０の変調面に結像する結像光学系である。 FIG. 9 is a diagram showing the configuration of the image pickup apparatus 6 according to the sixth embodiment. The image pickup apparatus 6 shown in FIG. 9 is the same as the image pickup apparatus 1A shown in FIG. 2 except that the light source 10 is removed, and then the image pickup apparatus 6 is provided on the optical path between the object 90 and the multilevel light intensity modulator 20. The optical system 80 provided is further provided. When the object 90 emits light by itself (for example, chemiluminescence), the light source is unnecessary. The optical system 80 is an imaging optical system that forms an image of the light generated by the object 90 on the modulation surface of the multilevel light intensity modulator 20.
図１０は、第７実施形態の撮像装置７の構成を示す図である。この図１０に示される撮像装置７は、図２に示された撮像装置１Ａの構成に加えて、対象物９０と多値光強度変調器２０との間の光路上に設けられた光学系８０およびミラー８１を更に備える。第１〜第５の各実施形態の撮像装置は対象物９０の透過光像を取得するものであったが、この第７実施形態の撮像装置７は対象物９０の反射光像を取得する。光源１０から出力された光が対象物９０に照射されて生じた反射光は、ミラー８１により反射され、光学系８０により多値光強度変調器２０の変調面に結像される。 FIG. 10 is a diagram showing the configuration of the imaging device 7 of the seventh embodiment. In addition to the configuration of the image pickup apparatus 1A shown in FIG. 2, the image pickup apparatus 7 shown in FIG. 10 has an optical system 80 provided on the optical path between the object 90 and the multilevel light intensity modulator 20. And a mirror 81. The imaging device of each of the first to fifth embodiments acquires the transmitted light image of the target object 90, but the imaging device 7 of the seventh embodiment acquires the reflected light image of the target object 90. The reflected light generated by irradiating the object 90 with the light output from the light source 10 is reflected by the mirror 81, and is imaged on the modulation surface of the multilevel light intensity modulator 20 by the optical system 80.
本発明は、上記実施形態に限定されるものではなく、種々の変形が可能である。本実施形態の撮像装置よび撮像方法は、三値以上の光強度変調が可能な多値光強度変調器および光検出器（ポイントセンサ）を用いる。これにより、本実施形態では、多値光強度変調器の変調面に設定する光強度変調パターンの個数を少なくして計測回数を減らしても、Ｓ／Ｎが良好な対象物の像を取得することができる。したがって、本実施形態では、計測に要する時間を短縮することができ、対象物の像を取得するための解析の負荷を低減することができる。本実施形態では、容易に対象物の像を取得することができる。 The present invention is not limited to the above embodiment, but various modifications can be made. The image pickup apparatus and the image pickup method of the present embodiment use a multilevel light intensity modulator and a photodetector (point sensor) capable of modulating light intensity of three or more values. As a result, in this embodiment, an image of an object with a good S/N is acquired even if the number of measurement times is reduced by reducing the number of light intensity modulation patterns set on the modulation surface of the multilevel light intensity modulator. be able to. Therefore, in the present embodiment, the time required for measurement can be shortened, and the analysis load for acquiring the image of the object can be reduced. In the present embodiment, the image of the object can be easily acquired.
１，１Ａ，２〜７…撮像装置、１０…光源、２０，２０Ａ，２０Ｂ…多値光強度変調器、２１…光変調器、２２…第１偏光子、２３…第２偏光子、２４…ビームスプリッタ、３０…光検出器、４０…解析部、５０…二値光強度変調器、９０…対象物。 1, 1A, 2 to 7... Imaging device, 10... Light source, 20, 20A, 20B... Multi-valued light intensity modulator, 21... Optical modulator, 22... First polarizer, 23... Second polarizer, 24... Beam splitter, 30... Photodetector, 40... Analysis part, 50... Binary light intensity modulator, 90... Object.
Claims (10)
前記多値光強度変調器から出力された光を受光し、その光強度を検出して光強度値を出力する光検出器と、
前記多値光強度変調器において設定された複数種類の光強度変調パターンそれぞれについて、各光強度変調パターンとこれに対応して前記光検出器から出力された前記光強度値とを組にして記憶して、これら記憶した複数組の光強度変調パターンおよび光強度値に基づいて前記対象物の像を求める解析部と、
を備える撮像装置。 Each of the plurality of pixel areas of the modulation surface has a modulation surface in which a plurality of pixel areas for performing light intensity modulation on the input light and outputting the light are arranged, and based on a set light intensity modulation pattern. Light intensity modulation of three or more values is possible in each, and light intensity based on the light intensity modulation pattern with respect to the image of the object formed on the modulation surface by the light reaching the modulation surface from the object. A multilevel light intensity modulator that performs modulation and outputs the light after the modulation,
A light detector that receives the light output from the multilevel light intensity modulator, detects the light intensity, and outputs a light intensity value,
For each of a plurality of types of light intensity modulation patterns set in the multilevel light intensity modulator, each light intensity modulation pattern and the light intensity value output from the photodetector corresponding thereto are stored as a set. Then, an analysis unit that obtains an image of the object based on these stored multiple sets of light intensity modulation patterns and light intensity values,
An imaging device including.
前記多値光強度変調器から到達した光により前記多値光強度変調器の前記変調面の像が形成される位置に配置された対象物から出力された光を受光し、その光強度を検出して光強度値を出力する光検出器と、
前記多値光強度変調器において設定された複数種類の光強度変調パターンそれぞれについて、各光強度変調パターンとこれに対応して前記光検出器から出力された前記光強度値とを組にして記憶して、これら記憶した複数組の光強度変調パターンおよび光強度値に基づいて前記対象物の像を求める解析部と、
を備える撮像装置。 Each of the plurality of pixel areas of the modulation surface has a modulation surface in which a plurality of pixel areas for performing light intensity modulation on the input light and outputting the light are arranged, and based on a set light intensity modulation pattern. Light intensity modulation of three or more values is possible in each, and light intensity modulation is performed on the light reaching the modulation surface on the modulation surface based on the light intensity modulation pattern, and the light after the modulation is output. A multilevel light intensity modulator,
The light arriving from the multi-valued light intensity modulator receives light output from an object arranged at a position where an image of the modulation surface of the multi-valued light intensity modulator is formed, and the light intensity is detected. And a photodetector that outputs a light intensity value,
For each of a plurality of types of light intensity modulation patterns set in the multilevel light intensity modulator, each light intensity modulation pattern and the light intensity value output from the photodetector corresponding thereto are stored as a set. Then, an analysis unit that obtains an image of the object based on these stored multiple sets of light intensity modulation patterns and light intensity values,
An imaging device including.
各々入力した光の偏光方位によって異なる変調を行って光を出力する複数の画素領域が配列された変調面を有する光変調器と、
特定方位の直線偏光の光を前記光変調器へ入力させる第１偏光子と、
前記光変調器から出力された光のうち前記特定方位と異なる方位の直線偏光の光を出力する第２偏光子と、
を含む、
請求項１または２に記載の撮像装置。 The multilevel light intensity modulator,
An optical modulator having a modulation surface in which a plurality of pixel areas that perform different modulation depending on the polarization direction of the input light and output the light are arranged,
A first polarizer for inputting linearly polarized light in a specific direction to the optical modulator;
A second polarizer that outputs linearly polarized light in an azimuth different from the specific azimuth among the lights output from the optical modulator;
including,
The image pickup apparatus according to claim 1.
前記複数の多値光強度変調器それぞれの変調面は、前記対象物の像が形成される位置、または、他の多値光強度変調器の変調面の像が形成される位置、に配置されている、
請求項１〜３の何れか１項に記載の撮像装置。 A plurality of the multilevel light intensity modulators,
The modulation surface of each of the plurality of multilevel light intensity modulators is arranged at a position where an image of the object is formed or at a position where an image of the modulation surface of another multilevel light intensity modulator is formed. ing,
The image pickup apparatus according to claim 1.
前記二値光強度変調器の変調面は、前記対象物の像が形成される位置、または、前記多値光強度変調器の変調面の像が形成される位置、に配置されている、
請求項１〜４の何れか１項に記載の撮像装置。 Each input light has a modulation surface in which a plurality of pixel areas that perform light intensity modulation and output light are arranged, and a binary value is set in each of the plurality of pixel areas based on a set light intensity modulation pattern. The light intensity modulation is possible, further comprising a binary light intensity modulator that performs light intensity modulation on the modulation surface based on the light intensity modulation pattern and outputs the light after the modulation,
The modulation surface of the binary light intensity modulator is arranged at a position where an image of the object is formed, or at a position where an image of the modulation surface of the multivalued light intensity modulator is formed.
The image pickup apparatus according to claim 1.
前記多値光強度変調器から出力された光を受光する光検出器を用いて、その光強度を検出して光強度値を出力する光検出ステップと、
前記多値光強度変調器において設定された複数種類の光強度変調パターンそれぞれについて、各光強度変調パターンとこれに対応して前記光検出器から出力された前記光強度値とを組にして記憶する記憶ステップと、
これら記憶した複数組の光強度変調パターンおよび光強度値に基づいて前記対象物の像を求める解析ステップと、
を備える撮像方法。 Each of the plurality of pixel areas of the modulation surface has a modulation surface in which a plurality of pixel areas for performing light intensity modulation on the input light and outputting the light are arranged, and based on a set light intensity modulation pattern. Using a multi-valued light intensity modulator capable of light intensity modulation of three or more values in each, with respect to the image of the object formed on the modulation surface by the light reaching the modulation surface from the object A light intensity modulation step of performing light intensity modulation based on the light intensity modulation pattern and outputting the modulated light;
Using a photodetector that receives the light output from the multilevel light intensity modulator, a light detection step of detecting the light intensity and outputting a light intensity value,
For each of a plurality of types of light intensity modulation patterns set in the multilevel light intensity modulator, each light intensity modulation pattern and the light intensity value output from the photodetector corresponding thereto are stored as a set. A memory step
An analysis step of obtaining an image of the object based on a plurality of stored light intensity modulation patterns and light intensity values;
An imaging method comprising:
前記多値光強度変調器から到達した光により前記多値光強度変調器の前記変調面の像が形成される位置に配置された対象物から出力された光を受光する光検出器を用いて、その光強度を検出して光強度値を出力する光検出ステップと、
前記多値光強度変調器において設定された複数種類の光強度変調パターンそれぞれについて、各光強度変調パターンとこれに対応して前記光検出器から出力された前記光強度値とを組にして記憶する記憶ステップと、
これら記憶した複数組の光強度変調パターンおよび光強度値に基づいて前記対象物の像を求める解析ステップと、
を備える撮像方法。 Each of the plurality of pixel areas of the modulation surface has a modulation surface in which a plurality of pixel areas for performing light intensity modulation on the input light and outputting the light are arranged, and based on a set light intensity modulation pattern. Using a multi-valued light intensity modulator capable of three or more light intensity modulation in each, the light intensity modulation is performed on the light reaching the modulation surface on the modulation surface based on the light intensity modulation pattern. And a light intensity modulation step of outputting the modulated light,
Using a photodetector that receives light output from an object arranged at a position where an image of the modulation surface of the multilevel light intensity modulator is formed by the light reaching from the multilevel light intensity modulator , A light detection step of detecting the light intensity and outputting a light intensity value,
For each of a plurality of types of light intensity modulation patterns set in the multilevel light intensity modulator, each light intensity modulation pattern and the light intensity value output from the photodetector corresponding thereto are stored as a set. A memory step
An analysis step of obtaining an image of the object based on a plurality of stored light intensity modulation patterns and light intensity values;
An imaging method comprising:
各々入力した光の偏光方位によって異なる変調を行って光を出力する複数の画素領域が配列された変調面を有する光変調器と、
特定方位の直線偏光の光を前記光変調器へ入力させる第１偏光子と、
前記光変調器から出力された光のうち前記特定方位と異なる方位の直線偏光の光を出力する第２偏光子と、
を含む、
請求項６または７に記載の撮像方法。 The multilevel light intensity modulator,
An optical modulator having a modulation surface in which a plurality of pixel areas that perform different modulation depending on the polarization direction of the input light and output the light are arranged,
A first polarizer for inputting linearly polarized light in a specific direction to the optical modulator;
A second polarizer that outputs linearly polarized light in an azimuth different from the specific azimuth among the lights output from the optical modulator;
including,
The imaging method according to claim 6 or 7.
前記複数の多値光強度変調器それぞれの変調面は、前記対象物の像が形成される位置、または、他の多値光強度変調器の変調面の像が形成される位置、に配置されている、
請求項６〜８の何れか１項に記載の撮像方法。 Using a plurality of the multi-valued light intensity modulator,
The modulation surface of each of the plurality of multilevel light intensity modulators is arranged at a position where an image of the object is formed or at a position where an image of the modulation surface of another multilevel light intensity modulator is formed. ing,
The imaging method according to any one of claims 6 to 8.
前記二値光強度変調器の変調面は、前記対象物の像が形成される位置、または、前記多値光強度変調器の変調面の像が形成される位置、に配置されている、
請求項６〜９の何れか１項に記載の撮像方法。 Each input light has a modulation surface in which a plurality of pixel areas that perform light intensity modulation and output light are arranged, and a binary value is set in each of the plurality of pixel areas based on a set light intensity modulation pattern. The light intensity modulation is possible, further using a binary light intensity modulator that performs light intensity modulation on the modulation surface based on the light intensity modulation pattern and outputs the light after the modulation,
The modulation surface of the binary light intensity modulator is arranged at a position where an image of the object is formed, or at a position where an image of the modulation surface of the multivalued light intensity modulator is formed.
The imaging method according to any one of claims 6 to 9.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018232369A JP7249140B2 (en) | 2018-12-12 | 2018-12-12 | Imaging device and imaging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018232369A JP7249140B2 (en) | 2018-12-12 | 2018-12-12 | Imaging device and imaging method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020096272A true JP2020096272A (en) | 2020-06-18 |
| JP7249140B2 JP7249140B2 (en) | 2023-03-30 |
Family
ID=71085127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018232369A Active JP7249140B2 (en) | 2018-12-12 | 2018-12-12 | Imaging device and imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7249140B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120236310A1 (en) * | 2009-09-22 | 2012-09-20 | Corporation De L'ecole Polytechnique De Montreal | Method and system for optical data acquisition and tomography imaging of a turbid medium object |
| JP2013535931A (en) * | 2010-08-11 | 2013-09-12 | インビュー・テクノロジー・コーポレイション | Reduced image acquisition time for compression imaging devices |
| WO2016136801A1 (en) * | 2015-02-24 | 2016-09-01 | 国立大学法人東京大学 | Dynamic high-speed high-sensitivity imaging device and imaging method |
| JP2018132501A (en) * | 2017-02-17 | 2018-08-23 | 国立大学法人大阪大学 | Electromagnetic wave detection device, flow cytometer, electromagnetic wave detection method, and electromagnetic wave detection program |
-
2018
- 2018-12-12 JP JP2018232369A patent/JP7249140B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120236310A1 (en) * | 2009-09-22 | 2012-09-20 | Corporation De L'ecole Polytechnique De Montreal | Method and system for optical data acquisition and tomography imaging of a turbid medium object |
| JP2013535931A (en) * | 2010-08-11 | 2013-09-12 | インビュー・テクノロジー・コーポレイション | Reduced image acquisition time for compression imaging devices |
| WO2016136801A1 (en) * | 2015-02-24 | 2016-09-01 | 国立大学法人東京大学 | Dynamic high-speed high-sensitivity imaging device and imaging method |
| JP2018132501A (en) * | 2017-02-17 | 2018-08-23 | 国立大学法人大阪大学 | Electromagnetic wave detection device, flow cytometer, electromagnetic wave detection method, and electromagnetic wave detection program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7249140B2 (en) | 2023-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Edgar et al. | Principles and prospects for single-pixel imaging | |
| Gibson et al. | Single-pixel imaging 12 years on: a review | |
| US10606055B2 (en) | Aperture scanning Fourier ptychographic imaging | |
| US10228550B2 (en) | Laser-based Fourier ptychographic imaging systems and methods | |
| Chung et al. | Wide-field Fourier ptychographic microscopy using laser illumination source | |
| Mahalanobis et al. | Recent results of medium wave infrared compressive sensing | |
| Horstmeyer et al. | Overlapped Fourier coding for optical aberration removal | |
| Yu et al. | Compressive microscopic imaging with “positive–negative” light modulation | |
| US10992924B2 (en) | Stereo-polarimetric compressed ultrafast photography (SP-CUP) systems and methods | |
| US20170276545A1 (en) | An imaging system parallelizing compressive sensing imaging | |
| EP3007432B1 (en) | Image acquisition device and image acquisition method | |
| US11727294B2 (en) | Method and system for quantum information processing and computation | |
| KR102343626B1 (en) | Apparatus, system and method for detecting light | |
| US20150036021A1 (en) | Multiple Scattering Medium For Compressive Imaging | |
| Rodríguez et al. | Dual-mode optical microscope based on single-pixel imaging | |
| US20200386974A1 (en) | Time-resolved imaging method with high spatial resolution | |
| Yu et al. | Single-photon compressive imaging with some performance benefits over raster scanning | |
| CN114846783B (en) | Image pickup apparatus and image pickup method | |
| JP7249140B2 (en) | Imaging device and imaging method | |
| Ye et al. | Compressive confocal microscopy | |
| Wu et al. | Development of a DMD-based compressive sampling hyperspectral imaging (CS-HSI) system | |
| WO2021131649A1 (en) | Imaging device and imaging method | |
| WO2019182019A1 (en) | Imaging apparatus and imaging method | |
| Mazhar et al. | CAOS line camera | |
| US10935819B2 (en) | Concepts pertaining to integrated sensor and optical phase/amplitude modulator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220916 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230317 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7249140 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |