JP2017121061A - Image conversion apparatus and imaging apparatus - Google Patents
Image conversion apparatus and imaging apparatus Download PDFInfo
- Publication number
- JP2017121061A JP2017121061A JP2016257494A JP2016257494A JP2017121061A JP 2017121061 A JP2017121061 A JP 2017121061A JP 2016257494 A JP2016257494 A JP 2016257494A JP 2016257494 A JP2016257494 A JP 2016257494A JP 2017121061 A JP2017121061 A JP 2017121061A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- output
- signal
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 102
- 238000003384 imaging method Methods 0.000 title claims description 98
- 238000001514 detection method Methods 0.000 claims abstract description 112
- 230000002123 temporal effect Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 3
- 238000004148 unit process Methods 0.000 claims description 3
- 230000003111 delayed effect Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 description 37
- 230000003287 optical effect Effects 0.000 description 35
- 238000005286 illumination Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 12
- 238000007726 management method Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 5
- 230000004907 flux Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000010408 film Substances 0.000 description 2
- 238000002073 fluorescence micrograph Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 229910001873 dinitrogen Inorganic materials 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000004298 light response Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、所定の遅延等の処理を行って画像を伝達する事象抽出用の画像変換装置等に関し、特に不規則に発生する事象を高速で検知し、記録できる撮像装置に用いられる画像変換装置及び当該画像変換装置を組み込んだ撮像装置に関する。 The present invention relates to an image conversion device for event extraction that performs processing such as a predetermined delay and transmits an image, and more particularly to an image conversion device used in an imaging device that can detect and record irregularly occurring events at high speed. The present invention also relates to an imaging apparatus incorporating the image conversion apparatus.
撮像対象となる事象を蛍光像に変換し、その蛍光像を光分配部により2つの蛍光像に分配した一方を用いて、残りの一方の蛍光像を撮像する撮像部のためのシャッター信号等を得ることで、撮像対象の事象を選択的に撮像する光分配型撮像装置が提案されている(特許文献1参照)。特許文献1の撮像装置には、分配された一方の蛍光像について撮像部の電子倍増器(MCP)に入力するタイミングを適宜遅延させる遅延機構が設けられている。具体的には、特許文献1の撮像装置では、遅延機構を構成するイメージ増倍管において蛍光体を用いてディレイタイムを設定している。この際、蛍光の残光特性に応じてシャッター信号によるトリガーのタイミングを調整しているが、露光時間の設定や調整が容易でなく、タイミングズレが生じるとともに撮像される光量に変動や感度不足が生じ得る。すなわち、特にバックグラウンドに埋もれるような微弱で高速の事象を抽出する場合、トリガー出力のための充分な判断時間が必要となり、本格的な観測のための充分なディレイタイムを確保する必要がある。このため、上記のように蛍光体の残光特性を利用することが行われているが、蛍光体の選択範囲が狭くディレイタイムの調整の自由度がなく、残光に波形の乱れが生じ、精密なトリガー信号を得ることは容易でない。 An event to be imaged is converted into a fluorescent image, and the fluorescence image is distributed to two fluorescent images by the light distribution unit, and the shutter signal for the imaging unit that captures the other fluorescent image is used. As a result, there has been proposed an optical distribution type imaging device that selectively images an event to be imaged (see Patent Document 1). The imaging apparatus of Patent Document 1 is provided with a delay mechanism that appropriately delays the timing at which one of the distributed fluorescent images is input to the electronic multiplier (MCP) of the imaging unit. Specifically, in the imaging apparatus of Patent Document 1, a delay time is set using a phosphor in an image intensifier tube constituting a delay mechanism. At this time, the trigger timing based on the shutter signal is adjusted according to the afterglow characteristics of the fluorescence, but it is not easy to set and adjust the exposure time. Can occur. That is, particularly when weak and high-speed events that are buried in the background are extracted, a sufficient judgment time for trigger output is required, and a sufficient delay time for full-scale observation needs to be ensured. For this reason, as described above, the afterglow characteristic of the phosphor is used, but the phosphor selection range is narrow and there is no freedom of adjustment of the delay time, resulting in waveform disturbance in the afterglow, It is not easy to obtain a precise trigger signal.
なお、天体望遠鏡の技術として、2分岐した画像の一方を2種の撮像素子で撮像して取得した画像から輝度情報と色情報とをそれぞれ取得し、これらの画像情報から画像処理を施し、画像処理後の画像をディスプレイ等に表示するものがある(特許文献2参照)。特許文献2の技術の場合、画像表示側において所望の遅延時間を設定可能にするディレイ表示について考慮していない。また、特許文献2の装置は、高速トリガー撮像を可能とする機能を有していない。 As an astronomical telescope technique, luminance information and color information are acquired from images acquired by imaging one of two branched images with two types of image sensors, and image processing is performed from these image information. Some display the processed image on a display or the like (see Patent Document 2). In the case of the technique disclosed in Patent Document 2, no consideration is given to delay display that enables a desired delay time to be set on the image display side. Further, the apparatus of Patent Document 2 does not have a function that enables high-speed trigger imaging.
本発明は、所望の遅延等を高精度で容易に設定できる事象抽出用の画像変換装置及び当該画像装置を組み込んだ撮像装置を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide an event extraction image conversion device that can easily set a desired delay and the like with high accuracy and an imaging device incorporating the image device.
上記課題を解決するため、本発明に係る画像変換装置は、画像を検出する画像検出部と、画像検出部で検出した画像を表示可能な画像出力部と、画像検出部で検出した画像に基づいて画像出力部に出力画像を生成する際に、時間的要素で調整する画像処理及び位置的要素で調整する画像処理の少なくとも一方を行う事象抽出用の表示制御部とを備える。 In order to solve the above problems, an image conversion apparatus according to the present invention is based on an image detection unit that detects an image, an image output unit that can display an image detected by the image detection unit, and an image detected by the image detection unit. When generating an output image in the image output unit, an event extraction display control unit that performs at least one of image processing adjusted by a temporal element and image processing adjusted by a positional element is provided.
上記画像変換装置によれば、表示制御部によって画像出力部に表示させる出力画像を時間的要素及び位置的要素の少なくとも一方で調整して表示することにより、例えば検出対象である微弱光が高速で変化する事象を画像として検出する際に、所定以上の高輝度となるように露光時間及び位置の少なくとも一方を適切なものとすることができる。この際、デジタル的な画像処理によって画像出力部での表示をコントロールできるため、MCPの場合のように入出力部間に高電圧をかける必要がなく画像変換装置の信号ノイズ比(S/N)を大きくすることができる。これにより、撮像装置に組み込んだ際に、高速かつ鮮明かつ高感度化を達成しつつ低消費電力化を図ることができるとともに信頼性を高めることができる。 According to the above-described image conversion device, the output image to be displayed on the image output unit by the display control unit is displayed by adjusting and displaying at least one of the temporal element and the positional element. When detecting the changing event as an image, at least one of the exposure time and the position can be made appropriate so that the brightness becomes higher than a predetermined level. At this time, since display in the image output unit can be controlled by digital image processing, it is not necessary to apply a high voltage between the input and output units as in the case of MCP, and the signal-to-noise ratio (S / N) of the image conversion apparatus Can be increased. As a result, when incorporated in an imaging apparatus, low power consumption can be achieved while achieving high speed, clearness, and high sensitivity, and reliability can be increased.
本発明の具体的な側面又は態様では、上記画像変換装置において、表示制御部は、画像検出部において検出した所定画像を時間的要素で調整する画像処理によって所定時間遅延させて表示するように画像出力部を動作させる。このような時間遅延内で必要な画像の認識と処理とを完了させる。この場合、安定した遅延時間で出力画像を表示させることができる。 In a specific aspect or aspect of the present invention, in the image conversion device, the display control unit displays an image so that the predetermined image detected by the image detection unit is displayed with a predetermined time delay by image processing that is adjusted by a temporal element. Operate the output unit. The necessary image recognition and processing are completed within such a time delay. In this case, the output image can be displayed with a stable delay time.
本発明の別の側面では、表示制御部は、画像検出部において検出した所定画像を位置的要素で調整する画像処理によって所定画像のうち一部の所定の領域を表示するように画像出力部を動作させる。この場合、検出対象に対応する特定の画像領域を選択的に表示させることができる。 In another aspect of the present invention, the display control unit includes an image output unit configured to display a predetermined region of the predetermined image by image processing that adjusts the predetermined image detected by the image detection unit using a positional element. Make it work. In this case, a specific image region corresponding to the detection target can be selectively displayed.
本発明のさらに別の側面では、画像検出部は、所定の画素単位で所定画像を検出し、表示制御部は、位置的要素で調整する画像処理によって所定画像のうち1つ以上の画素を含む所定の領域を表示するように画像出力部を動作させる。この場合、画素単位で検出することにより、画像変換装置のS/Nをより大きくすることができる。 In still another aspect of the present invention, the image detection unit detects a predetermined image in units of predetermined pixels, and the display control unit includes one or more pixels of the predetermined image by image processing adjusted by positional elements. The image output unit is operated so as to display a predetermined area. In this case, the S / N of the image conversion apparatus can be increased by detecting the pixel unit.
本発明のさらに別の側面では、表示制御部は、時間的要素及び位置的要素の少なくとも一方の調整量を指示する調整信号に基づいて出力画像を処理する。 In still another aspect of the invention, the display control unit processes the output image based on an adjustment signal that indicates an adjustment amount of at least one of a temporal element and a positional element.
本発明のさらに別の側面では、表示制御部は、画像検出部で検出した画像から調整信号を生成する。 In still another aspect of the present invention, the display control unit generates an adjustment signal from the image detected by the image detection unit.
本発明のさらに別の側面では、表示制御部は、別途並行して得られた時間的要素及び位置的要素の少なくとも一方の調整量を指示する調整信号に基づいて出力画像を処理する。 In yet another aspect of the present invention, the display control unit processes the output image based on an adjustment signal that indicates an adjustment amount of at least one of the temporal element and the positional element obtained separately in parallel.
上記課題を解決するため、本発明に係る第1の撮像装置は、微弱な事象を蛍光像に変換するイメージ増倍装置と、イメージ増倍装置から出力された蛍光像を電気的な画像信号に変換する信号変換装置とを備え、信号変換装置は、上述の画像変換装置を有する。 In order to solve the above problems, a first imaging device according to the present invention includes an image intensifier that converts a weak event into a fluorescent image, and a fluorescent image output from the image intensifier as an electrical image signal. A signal conversion device for conversion, and the signal conversion device includes the above-described image conversion device.
上記第1の撮像装置によれば、検出対象である微弱光が高速で変化する事象を画像として検出する際に、所定以上の高輝度となる露光時間及び位置の少なくとも一方を適切なものとし、高速かつ鮮明かつ高感度化を達成しつつ低消費電力化を実現できる。 According to the first imaging device, when detecting an event in which the weak light that is the detection target changes at high speed, at least one of the exposure time and position at which the luminance is higher than a predetermined level is appropriate, Low power consumption can be realized while achieving high speed, clearness and high sensitivity.
上記課題を解決するため、本発明に係る第2の撮像装置は、微弱な事象を蛍光像に変換するイメージ増倍装置と、イメージ増倍装置から出力された蛍光像を電気的な画像信号に変換する信号変換装置と、画像変換装置の画像検出部で検出する画像に対応する蛍光像を並行して取得する検出装置とを備え、信号変換装置は、上述の画像変換装置を有し、検出装置は、検出した画像から時間的要素及び位置的要素の少なくとも一方の調整量を指示する調整信号を画像変換装置の表示制御部に出力し、表示制御部は、調整信号に基づいて得られた出力画像を表示するように画像変換装置の画像出力部を動作させる。 In order to solve the above problems, a second imaging device according to the present invention includes an image intensifier that converts a weak event into a fluorescent image, and the fluorescent image output from the image intensifier as an electrical image signal. A signal conversion device for conversion, and a detection device for acquiring in parallel a fluorescent image corresponding to an image detected by the image detection unit of the image conversion device, the signal conversion device having the above-described image conversion device, and detecting The apparatus outputs an adjustment signal indicating an adjustment amount of at least one of a temporal element and a positional element from the detected image to the display control unit of the image conversion apparatus, and the display control unit is obtained based on the adjustment signal The image output unit of the image conversion apparatus is operated so as to display the output image.
上記第2の撮像装置によれば、検出対象である微弱光が高速で変化する事象を画像として検出する際に、所定以上の高輝度となるように露光時間及び位置の少なくとも一方をより適切なものとし、高速かつ鮮明かつ高感度化を達成しつつ低消費電力化を実現できる。 According to the second imaging apparatus, when detecting an event in which the weak light that is the detection target changes at high speed as an image, at least one of the exposure time and the position is more appropriate so that the brightness is higher than a predetermined level. As a result, low power consumption can be realized while achieving high speed, clearness and high sensitivity.
本発明の別の側面では、上記第1及び第2の撮像装置において、信号変換装置は、CMOS型撮像素子と、有機ELパネル等の表示素子とを有する。この場合、撮像装置の動作を高精度で信頼性の高いものとできる。 In another aspect of the present invention, in the first and second imaging devices, the signal conversion device includes a CMOS image sensor and a display element such as an organic EL panel. In this case, the operation of the imaging apparatus can be made highly accurate and reliable.
〔1.撮像装置の全体構造等〕
以下、本発明の一実施形態に係る撮像装置の構造等について説明する。図1に示す撮像装置10は、微弱な事象を蛍光像に変換するイメージ増倍装置11と、イメージ増倍装置11によって得た蛍光像出力(以下、単に蛍光像と表記する)から時間的要素及び空間的要素に基づいて出力画像を選択して電気的な画像信号に変換する信号変換装置12と、イメージ増倍装置11によって得た蛍光像を第1蛍光像として信号変換装置12に投射するリレー光学系13と、リレー光学系13に設けたディストリビューター15により分離された第2蛍光像に基づいて信号変換装置12を動作させるための撮像タイミング等を設定する検出装置17とを備える。
[1. Overall structure of the imaging device etc.)
Hereinafter, the structure and the like of an imaging apparatus according to an embodiment of the present invention will be described. An
イメージ増倍装置11は、例えば自然界でランダムに発生する事象、すなわち微弱な電磁波の到来又は光の発生及び消失、或いはそれらの移動等を蛍光像に変換する。つまり、イメージ増倍装置11は、所定波長の電磁波の到来(光電変換部21への電磁波の入射)を検出し、検出した電磁波の強度分布に対応する蛍光像を出力面11bから出力する。このため、イメージ増倍装置11は、入力段に配置される光電変換部21と、その後段に配置される近接型増倍素子23とを有する。
The image intensifier 11 converts, for example, events that occur randomly in the natural world, that is, the arrival of weak electromagnetic waves, the generation and disappearance of light, or their movement into a fluorescent image. That is, the
イメージ増倍装置11において、光電変換部21は、光電子変換面21aと、電極部21bと、蛍光面21cとを有する。光電子変換面21aは、電磁波が到来する入力側に配置され、入射した電磁波を光電変換する。電極部21bは、光電子変換面21aから射出される電子を加速しつつ収束させて蛍光面21cに入射させる。蛍光面21cは、例えばファイバーオプティックプレートの入射面に設けられており、加速等された電子を蛍光像に変換する。近接型増倍素子23は、蛍光面21cからの蛍光像を増倍するマイクロチャネルプレート(MCP)23aを2段以上に重ねたものである。出力面11bは、蛍光面21cから射出され、多段のMCP23aで増幅された蛍光像を射出する。
In the
リレー光学系13は、光軸OAに沿った光路上流側に配置されるディストリビューター15と、ディストリビューター15よりも光路下流側に配置される本体光学系14とを備える。リレー光学系13は、イメージ増倍装置11の出力面11bにおける蛍光像を、信号変換装置12の受光面33s上に略等倍で投射する。リレー光学系13は、イメージ増倍装置11の出力面11bすなわち物体側でテレセントリックであり、信号変換装置12の受光面33sすなわち像側で非テレセントリックである。
The relay
ディストリビューター15は、一種のハーフミラーであるビームスプリットミラー15cを内蔵するプリズムである。ディストリビューター15は、イメージ増倍装置11の出力面11bにおける蛍光像を所定強度の2つの蛍光像すなわち第1及び第2蛍光像に分配する。ディストリビューター15のビームスプリットミラー15cを透過して直進する第1蛍光像の光束は、第1光路OP1に導かれ、本体光学系14を通過して信号変換装置12の受光面33sに入射する。ディストリビューター15のビームスプリットミラー15cで反射されて折り曲げられた第2蛍光像の光束は、第2光路OP2に導かれ、検出装置17のトリガー用センサー41の撮像面41aに入射する。ディストリビューター15は、ビームスプリットミラー15cを透過する光の強度と、透過されずに反射される光の強度とが、適宜の比率となるように設定されている。具体的には、ディストリビューター15自身の吸収による透過率の低下を考慮しない場合、例えば透過率α=70%、反射率β=30%に設定されている。なお、α/βの比は、信号変換装置12の受光面33sに入射する第1蛍光像の光束の光量を多くする観点で、1よりも大きくすることが一般に望ましい。
The
〔検出装置〕
検出装置17は、ディストリビューター15で反射されることにより第2光路OP2に導かれた第2蛍光像を検出する検出部40と、検出部40から得られた検出画像に基づいて信号変換装置12の動作を制御する管理部50とを備える。検出装置17は、ディストリビューター15で分配された第2蛍光像の光束を監視して、信号変換装置12の動作、特に後述する画像変換装置33を介しての固体撮像素子31による第1蛍光像の撮影(正確には第1蛍光像に対して時間的及び位置的な調整を行った後の画像取り込み)を適切なものとする。
[Detection device]
The
検出部40は、第2蛍光像の光束が入射するトリガー用センサー41と、第2蛍光像をトリガー用センサー41の撮像面41a上に投射するトリガー用光学系42とを有する。
The
トリガー用センサー41は、例えば多極光電子増倍管であり、その撮像面41aは、Y方向にm(例えば12)行で、X方向にn(例えば12)列で、全体としてm行×n列=A(例えば144)チャンネルの区分領域AR1を有する。つまり、トリガー用センサー41は、Aチャンネルの区分領域AR1に対応してメッシュダイノードを有する。トリガー用センサー41において、第2蛍光像が所定以上の強度で入力されたダイノードのアノードからのみ、撮像面41a上の第2蛍光像を光電変換して得られた電流信号が出力される。なお、撮像面41a上に第2蛍光像の光束が入射して電流信号が出力されるまでに要する時間は、1ナノ秒程度である。トリガー用センサー41は、各アノードから出力された電流信号を出力し、いずれの区分領域AR1に第2蛍光像の光束が入射したかを、その現出タイミングとともに特定できるようにしている。つまり、イメージ増倍装置11の出力面11bは、トリガー用センサー41の撮像面41aを構成する区分領域AR1によって、仮想的にm行×n列=Aチャンネルに区分されて個別に監視可能になっている。なお、このような区分領域AR1に対応するイメージ増倍装置11の出力面11b上の仮想的な区分領域AR1は、後述する信号変換装置12の区分領域AR2,AR3,AR4にも対応するものとなっている。ここで、出力面11bのうち微弱な事象が現出した区分領域を現出領域と呼ぶものとする。
The
トリガー用センサー41において、第2蛍光画像は、第1蛍光画像よりも粗い画像として認識されるが、画像が粗い分、認識速度及び処理速度が速くなる。
In the
トリガー用光学系42は、イメージ増倍装置11の出力面11bの像を、トリガー用センサー41の撮像面41a上に略等倍で投射する。トリガー用光学系42は、明るさを最も重視しており、物体側にも像側にも非テレセントリックである。なお、ディストリビューター15は、トリガー用光学系42の一部にもなっている。
The trigger
管理部50は、トリガー用センサー41の検出信号に基づいて動作する判定部51と、判定部51の出力に基づいて信号変換装置12を動作させる駆動部52と、信号変換装置12の動作を制御するためのパラメータや信号変換装置12の固体撮像素子31で撮像された画像を記憶する記憶部53と、判定部51、駆動部52、及び記憶部53の動作を制御する制御部54とを有する。
The
判定部51は、例えば波高弁別器を備えており、トリガー用センサー41の各アノードから出力される電流信号が所定の閾値を超えたか否か、すなわち微弱な事象の現出タイミングを例えば2値的な情報として検出する。具体的には、判定部51は、トリガー用センサー41を構成する任意の行のアノードから出力される電流信号と、任意の列のアノードから出力される電流信号とをスレショルドしており、トリガー用センサー41によって検出した第2蛍光像を、Y方向(m行)とX方向(n列)とのそれぞれに関する位置情報及びタイミング情報に変換する。つまり、トリガー用センサー41の特定の区分領域AR1に第2蛍光像の光束が入射した場合、判定部51は、その時間、位置等に関する情報を出力することにより、イメージ増倍装置11によって検出した微弱な事象について、この事象が現出している時間、位置、移動方向等を求めることを可能にする。この出力は、検出対象の事象に応じた所定の論理に基づいて論理判定される。特定の論理判定結果が得られた場合、判定部51から信号変換装置12を動作させるトリガー信号が出力される。
The
駆動部52は、通信回路等を含んでおり、判定部51から出力された情報、すなわち微弱な事象の現出に関する位置情報及びタイミング情報に基づいて信号変換装置12を動作させる。より詳細には、駆動部52は、画像変換装置33の区分領域AR2において第1蛍光像の撮像を継続しつつ、区分領域AR1のうち第2蛍光像が検出された現出領域に対応する画像変換装置33の区分領域AR3において出力画像を選択的に表示すべく、表示制御部33cに対して表示動作を規定する制御信号を出力する。また、駆動部52は、現出領域に対応する固体撮像素子31の区分領域AR4において画像変換装置33による出力画像の撮像を行わせるべく、後述する撮像駆動部32に対して撮像動作を規定する制御信号を出力する。これにより、トリガー用センサー41によって検出された微弱な事象が現出している時間、位置、移動方向等に応じて、信号変換装置12による動作を必要最小限に調整することができる。そのため、イメージ増倍装置11の出力から高速で変化する微弱な事象のみを抽出して高いS/Nで撮像することを可能にする。この際、駆動部52は、トリガー用センサー41の出力(特に強度情報)に基づいて、固体撮像素子31による撮像の露光時間を調整することもできる。
The
記憶部53は、判定部51で得られたタイミング情報、位置情報等を記憶する。また、記憶部53は、制御部54で指定された時間的要素(後述する遅延時間ΔTやその構成要素)及び位置的要素を記憶する。また、記憶部53は、信号変換装置12の固体撮像素子31で撮像された画像を計測結果として記憶する。なお、記憶部53は、画像変換装置33の動作に関する時間的要素(後述する遅延時間ΔTbの構成要素)を記憶していてもよい。
The
制御部54は、判定部51、駆動部52、記憶部53の動作をそれぞれ制御する。また、制御部54は、判定部51からのトリガー信号(具体的には、単なる信号の立ち上がりであってもよいタイミング情報のほかに、位置情報を含む信号)に基づいて、信号変換装置12を動作させるための時間的要素及び位置的要素を設定する。これにより、画像変換装置33の動作に用いられる調整信号、及び固体撮像素子31の動作に用いられる駆動信号を最適化する。ここで、調整信号とは、検出部40で得た検出画像から時間的要素及び位置的要素の調整量を画像変換装置33に指示する信号であり、タイミングを合わせるための信号を含めることができる。
The
制御部54によって設定される時間的要素は、検出部40での検出信号の検出タイミングから管理部50での調整信号の出力タイミングまでの検出装置17での動作時間を加味したものとなっている。具体的には、図2に示すように、時間的要素が出力されるまでの最速の時間は、トリガー用センサー41で検出画像として第2蛍光像が検出されてから判定部51でトリガー信号を生成するまでの時間T0と、判定部51からのトリガー信号に基づいて制御部54で調整信号(つまり、アドレス付きゲート信号)を生成するまでの時間T1とを合わせたものであり、検出側の遅延時間ΔTaとしている。なお、信号変換装置12の画像変換装置33においても出力画像の表示のために所定の応答時間を必要とする。そのため、この応答時間についても遅延時間として時間的要素に含めることができる。具体的には、図2に示すように、画像変換装置33の表示制御部33cにおいて画像検出部33aで検出された画像から出力画像を選択及び補正する時間T2と、制御部54によって指定可能な可変調整時間ATと、画像出力部33bに出力画像の表示動作を開始させて完了するまでに要する時間T3とを合わせたものを表示側の遅延時間ΔTbとしている。よって、制御部54からの調整信号に含まれる時間的要素は、遅延時間ΔTa+ΔTb(すなわち遅延時間ΔT)に対応する値又はこれを算出できる値となる。ここで、遅延時間ΔTのうち任意の可変調整時間ATを除いたもの(時間T0〜T3)は、各装置12,17や検出画像により変化するが、例えば100ナノ秒程度である。これらの時間T0〜T3に関する情報は、画像変換装置33に固有のものとして記憶部53に予め記憶されていてもよいし、画像変換装置33の表示制御部33c側で保持していてもよい。
なお、信号変換装置12、管理部50等が共通の時計又はタイマーを持つ場合、その時計及び時刻情報に基づいて時間的要素が処理され、適切な遅延表示が可能になる。信号変換装置12、管理部50等が共通の時計又はタイマーを持たない場合、例えば信号の立ち上がりを示す単なるゲート信号(表示制御部33cによる表示動作開始の指示する表示コマンド)と、このゲート信号の立ち上がり時からの差分遅延時間(ΔT−T3)とを含むものとできる。つまり、表示制御部33cがゲート信号を受けたタイミングで直ちに画像出力部33bを動作させる場合、事象発生から表示までに遅延時間ΔTを確保するためには、目的とする遅延時間ΔTから画像出力部33bでの表示に要する時間T3を除いた差分遅延時間(ΔT−T3)だけ、ゲート信号の入力時に取得中の検出画像から遡らせた既に取得済みの検出画像を表示させるといった時間遡及指示を含む表示コマンドを出力する必要がある。
また、遅延時間ΔTについては、これに付随して表示の維持時間を設定することができる。つまり、画像出力部33bに規定の1フレーム分の表示を行わせることもできるが、制御部54から指定された複数フレーム分だけ表示状態の維持を行わせることもできる。
The temporal element set by the
In addition, when the
As for the delay time ΔT, a display maintenance time can be set in association with the delay time ΔT. That is, the
制御部54によって設定される位置的要素は、トリガー用センサー41の区分領域AR1における現出領域のアドレスに対応する。
The positional element set by the
〔信号変換装置〕
信号変換装置12は、ディストリビューター15で透過されることにより第1光路OP1に導かれた第1蛍光像の光束が入射する画像変換装置33と、画像変換装置33で表示される出力画像(検出した第1蛍光像に対して時間的及び位置的な調整を行ったもの)を撮像する固体撮像素子31と、固体撮像素子31に撮像動作を行わせる撮像駆動部32と、画像変換装置33で表示される出力画像を固体撮像素子31に投射する撮像光学系34とを有する。信号変換装置12は、検出装置17から出力される調整信号及び駆動信号(具体的にはアドレス付きゲート信号等)に基づいて、画像変換装置33及び固体撮像素子31に動作を行わせる。
[Signal converter]
The
固体撮像素子31は、撮像面12aを有しており、撮像面12aを格子状に分割するように、Y方向にm(例えば12)行で、X方向にn(例えば12)列で、全体としてm行×n列=A(例えば144)チャンネルの区分領域AR4を有する。各区分領域AR4は、単独でCMOS型撮像素子として機能し、2次元的な画像検出がそれぞれ可能になっている。各区分領域AR4は、個別の異なるタイミングで撮像動作を行うことができ、上記の検出装置17から出力される個別の駆動信号に基づいて独立して撮像動作を行うことができる。つまり、イメージ増倍装置11の出力面11bは、固体撮像素子31を構成する区分領域AR4によって、仮想的にm行×n列=Aチャンネルに区分して個別に観察可能になっている。
The solid-
撮像光学系34は、画像変換装置33の画像出力部33bと固体撮像素子31との間に設けられており、画像出力部33bの発光面33tの出力画像を、固体撮像素子31の撮像面12a上に投射する。撮像光学系34は、画像出力部33bと固体撮像素子31とを密着させる場合不要となる。
The imaging
画像変換装置33は、画像を検出する画像検出部33aと、画像検出部33aで検出した画像を表示可能な画像出力部33bと、画像検出部33aで検出した画像に基づいて、画像出力部33bに表示させる出力画像を時間的要素で調整する画像処理及び位置的要素で調整する画像処理を行う表示制御部33cとを備える。
画像変換装置33は、検出装置17のトリガー用センサー41で検出画像として第2蛍光像が検出された所定の位置に対応する部分の画像を選択的に出力させるとともに、かかる選択的な画像の出力を第2蛍光像が検出された時点から画像出力部33bに出力画像が表示される時点までに関して、最小限の時間ΔTa+T2+T3に制御部54によって指定された積極的な可変調整時間ATを加算した時間(つまり、遅延時間ΔT)だけ遅延させる。ここで、トリガー用センサー41で検出画像として第2蛍光像が検出された時点は、画像検出部33aで第1蛍光像が検出された時点に相当し、遅延時間ΔTは、画像変換装置33による画像の伝送の遅延時間と見ることができる。
表示制御部33cは、時間ΔTa+T2+AT(=ΔT−T3)に対応する期間だけ検出画像を出力画像にしないで保持する必要があり、時間ΔT−T3の最大値として想定されるフレーム数分に相当する画像メモリーを有する。このように、画像出力部33bに表示させる出力画像において、制御部54からの指定等に基づく時間的要素と、トリガー用センサー41によって検出された微弱な事象が現出している現出領域に対応する位置的要素とを調整することにより、現出領域における微弱な事象の画像を的確に撮像することができる。
The
The
The
〔画像変換装置の詳細〕
図3は、画像変換装置33の具体的な構成例を例示する。この場合、画像検出部33aは、受光用FOP(Fiber Optic Plates)71と、受光素子アレイLSI72(Large-Scale Integration)と、受光用回路基板73とを有する。受光素子アレイLSI72は、受光用回路基板73上に設けられており、その入力側には、受光用FOP71が設けられている。画像検出部33aのうち受光素子アレイLSI72は、ディストリビューター15で分配され受光用FOP71に導かれた画像(具体的には、第1蛍光像)を受光する。受光用FOP71は、入力側に設けられて蛍光像をそのまま入射させる入射面71aと、入射した蛍光像をそのまま受光素子アレイLSI72に射出する出力面71bとを有する。受光用FOP71の入射面71aは、受光素子アレイLSI72の受光面33sに対応しているが、これらの間で伝送される像は必ずしも等倍でなくてもよい。受光面33sは、格子状に分割するように、Y方向にm(例えば12)行で、X方向にn(例えば12)列で、全体としてm行×n列=A(例えば144)チャンネルの区分領域AR2を有する。各区分領域AR2は、例えば単独でCMOS型撮像素子として機能し、2次元的な画像検出がそれぞれ可能になっている。各区分領域AR2は、上記の検出装置17から出力される共通の駆動信号に基づいて独立して撮像動作を行う。これにより、画像検出部33aは、区分領域AR2単位で略同時期に画像を検出することができる。
なお、以上は例示であり、区分領域AR2は、トリガー用センサー41の撮像面41aにおける区分領域AR1より面積を大きくし、区分領域AR1より少ない行列数(すなわちm行×n列以下)で構成してもよい。
[Details of image conversion device]
FIG. 3 illustrates a specific configuration example of the
The above is an example, and the segmented area AR2 has a larger area than the segmented area AR1 on the
画像出力部33bは、発光用FOP74と、発光素子アレイLSI75と、発光用回路基板76とを備える。発光素子アレイLSI75は、発光用回路基板76上に設けられており、その出力側には、発光用FOP74が設けられている。画像出力部33bのうち発光素子アレイLSI75は、画像検出部33aで検出された所定画像のうち所定領域の出力画像を所定のタイミングで表示させる。発光用FOP74は、入力側に設けられて出力画像をそのまま入射させる入射面74aと、入射した出力画像を固体撮像素子31側にそのまま射出する出力面74bとを有する。発光素子アレイLSI75の発光面33tは、発光用FOP74の出力面74bに対応しているが、これらの間で伝送される像は必ずしも等倍でなくてもよい。発光面33tは、格子状に分割するように、Y方向にm(例えば12)行で、X方向にn(例えば12)列で、全体としてm行×n列=A(例えば144)チャンネルの区分領域AR3を有する。各区分領域AR3は、受光面33sにおける各区分領域AR2にそれぞれ対応する。各区分領域AR3は、単独で2次元発光素子又は画像表示素子として機能し、2次元的な画像表示がそれぞれ可能になっている。各区分領域AR3は、個別の異なるタイミングで表示動作を行うことができ、上記の検出装置17から出力される個別の調整信号(具体的には、アドレス付きゲート信号)に基づいて独立して表示動作を行う。
The
なお、画像検出部33aと画像出力部33bとは、それぞれを構成する画素について空間的な対応関係があれば、同一サイズである必要はなく、発光素子アレイLSI75の発光面33tは、受光素子アレイLSI72の受光面33sを、小数を含むM倍に拡大又は縮小したものとすることができる。また、画像検出部33aについては、区分領域AR2単位で動作させる必要はなく、一括動作させることができる。この際、CMOSの各画素に電荷が蓄積されるタイミングを簡易に一致させることができる。
Note that the
受光用FOP71及び発光用FOP74は、用途に応じて要求される受光面積又は発光面積に応じて交換可能となっており、ハウジング筐体77の一部において窓及びホルダーが形成されている。受光用回路基板73と発光用回路基板76とは、回路結合コネクタ78を介して結合されている。ハウジング筐体77は、例えば気密な容器とすることができ、受光用FOP71、受光用回路基板73、発光用FOP74、発光用回路基板76等を支持する。ハウジング筐体77は、防塵、防水の役割を有するだけでなく、受光用回路基板73及び発光用回路基板76を窒素ガス雰囲気又は真空中に保持する。
The
表示制御部33cは、受光用回路基板73と発光用回路基板76とに分配して設けられている。
The
表示制御部33cは、以下のコネクタ91〜94を介して図2に示す管理部50に接続されている。これらのうち、電荷蓄積タイミング用ゲート信号コネクタ91は、管理部50からのタイミングに関する定期的な駆動信号を表示制御部33cに供給する。発光タイミング用ゲート信号コネクタ93は、管理部50からの調整信号のうちタイミングに関するゲート又はトリガー部分を表示制御部33cに供給する。発光領域指定用アドレス信号コネクタ94は、管理部50からの調整信号のうち位置に関するアドレス部分を表示制御部33cに供給する。電源供給コネクタ92は、受光用回路基板73及び発光用回路基板76にそれぞれ電源を供給する。
The
図4(A)に示すように、表示制御部33cは、画像検出部33aを動作させる検出駆動部101と、画像出力部33bを動作させる表示駆動部102と、検出画像又は出力画像、検出画像を処理するためのパラメータ等を記憶する記憶部103と、検出装置17と通信する通信部104と、検出駆動部101、表示駆動部102、記憶部103、及び通信部104の動作を制御する主制御部105とを有する。画像検出部33aによる検出画像や、画像出力部33bのための出力画像は、記憶部103を構成するフレームメモリーに一時的に蓄えられる。
As shown in FIG. 4A, the
表示制御部33cのうち検出駆動部101は、受光素子アレイLSI72に撮像動作を行わせる駆動回路である。画像検出部33aに入射した第1蛍光像は、逐次画像変換され記憶部103に一時保存される。
The
表示駆動部102は、発光素子アレイLSI75に表示動作を行わせる駆動回路である。表示駆動部102は、主制御部105からの指令に基づいて、発光素子アレイLSI75の発光面33tにおいて、指定時間又は指定タイミング、かつ、指定されたアドレスの区分領域AR3で表示動作を行わせる。画像出力部33bで表示された出力画像は、発光用FOP74を経て固体撮像素子31に入力される。
The
主制御部105は、検出駆動部101、表示駆動部102、記憶部103、通信部104の動作をそれぞれ制御する。
The
主制御部105は、時間的要素及び位置的要素の調整量を指示する検出装置17からの調整信号に基づいて画像出力の処理を行う。具体的には、主制御部105は、時間的要素に関する信号として、例えば信号の立ち上がりを示す単なるゲート信号と、このゲート信号の立ち上がり時からの差分遅延時間(ΔT−T3)とを入力として受け取って、現在取得中の検出画像から差分遅延時間(ΔT−T3)遡らせた既に取得済みの検出画像を特定するとともに、指定された位置的要素(アドレスの区分領域AR3)に対応する検出画像のみを記憶部103から読み出す。さらに、主制御部105は、表示駆動部102を介して画像出力部33b又は発光素子アレイLSI75を動作させ、指定された位置的要素(アドレスの区分領域AR3)にのみ表示を行わせる。結果的に、事象の検出から所望の遅延時間ΔTだけ遅延させるとともに所定の領域を選択的に表示するように画像出力部33bを動作させることができる。
The
図4(B)に示すように、記憶部103は、取得画像記憶部103aと、パラメータ記憶部103bと、補正画像記憶部103cとを有する。
As illustrated in FIG. 4B, the
取得画像記憶部103aは、画像検出部33aで検出した画像を記憶する。この画像は、例えば10ナノ秒毎に取得され、各画像は、トリガー用センサー41で取得される画像と同期させつつ、1フレーム毎に通し番号が付与される。取得画像記憶部103aは、例えば保存可能な画像数が予め設定されており、計測の対象である事象に対応しない古い画像は一定期間毎に削除される。
The acquired
パラメータ記憶部103bには、主制御部105が検出装置17から調整信号を受け取った際に、主制御部105によって、調整信号に含まれる位置情報に対応する区分領域AR2,AR3のアドレス(すなわち位置的要素)が一時的に保管され、発光素子アレイLSI75又は画像出力部33bで表示される画像の表示位置に反映される。また、パラメータ記憶部103bは、アドレス情報の他に、検出装置17から受け取った差分遅延時間(ΔT−T3)(すなわち時間的要素)や表示時間の設定に関するタイミング情報も保管される。
In the
補正画像記憶部103cは、発光素子アレイLSI75又は画像出力部33bに表示動作を行わせるため、主制御部105においてアドレス及びタイミングが指定された補正画像を一時記憶する。この際、補正画像に対しては、増幅等の画像処理が行われてもよい。
The corrected
図2に戻って、検出装置17の駆動部52から固体撮像素子31側にも出力されるゲート信号により、固体撮像素子31の撮像動作のタイミングは、画像出力部33bの表示動作のタイミングと関連づけられ、最適なタイミングに設定される。駆動部52から固体撮像素子31側にも出力されるゲート信号は、アドレス付きのものとすることができる。
Returning to FIG. 2, the timing of the imaging operation of the solid-
以下、図5を参照しつつ、画像変換装置33の具体的な動作例について説明する。
まず、主制御部105により検出駆動部101が動作され、受光素子アレイLSI72で検出された画像を取り込む(ステップS11)。画像の取り込みは、一定期間毎に繰り返し行われ、取得した画像は、記憶部103に逐次保存される(ステップS12のNo)。この際、主制御部105において、取得画像に通し番号(例えば、m=0、m=1、…m=n)が付与される。
Hereinafter, a specific operation example of the
First, the
この状態で、検出装置17から通信部104を介して主制御部105にアドレス付きゲート信号(調整信号)が入力された場合、主制御部105は、画像出力の表示コマンドを受け付けたと判断し(ステップS12のYes)、記憶部103からこれまで取得した多数の画像から調整信号に対応する画像が読み出される(ステップS13)。例えば、m=n番の画像をアドレス付きゲート信号で指定した場合、主制御部105は、現在取得中の検出画像から差分遅延時間(ΔT−T3)だけ遡った画像、或いは画像出力部33bで出力画像が表示されるタイミングを基準として指定された遅延時間ΔTだけ遡った画像を読み出す。この際、差分遅延時間(ΔT−T3)又は遅延時間ΔTはフレームの差分に変換され、例えば差分遅延時間(ΔT−T3)がiフレーム分であれば、現在取得中のm=n+i番の画像からiフレーム前の画像(すなわちm=n番の画像)が読み出される。読み出された画像は、調整信号の位置情報に対応するアドレスが指定されており、アドレスに対応する区分領域AR3について読み出された画像は、抽出画像として記憶部103に一時保存される。
In this state, when an addressed gate signal (adjustment signal) is input from the
次に、主制御部105により表示駆動部102が動作され、ステップS13で記憶部103から読み出された抽出画像を発光素子アレイLSI75に表示する(ステップS14)。以上の表示動作には、アドレス付きゲートの入力から時間T3を要する。これにより、事象の検出から時間ΔTの分だけ遅延して所望の画像が画像出力部33bに表示される。結果的に、画像出力部33bでは、事象に対応する調整信号に基づく時間的要素及び位置的要素で調整された画像が表示される。
Next, the
なお、処理を終了しない場合(ステップS15のNo)、主制御部105は、ステップS11に戻って画像を取り込みが繰り返されるとともに、画像出力のコマンドを受け付けた場合、調整信号に対応する画像が読み出される(ステップS13)。
If the process is not terminated (No in step S15), the
図6(A)〜6(E)は、具体的な動作例を説明するタイミングチャートである。図6(A)は、事象の現出を示しており、図6(B)は、判定部51による事象に対応するトリガー信号の出力を示す。図6(C)は、時間T1の経過後に制御部54から表示制御部33cにゲート信号が出力される状態を示し、図6(D)は、時間AT'+T3の経過後に画像出力部33bにおいて出力画像が表示される。ここで、時間AT'は、表示制御部33cによる時間調整を意味し、制御部54によって予め設定されている。結果的に、出力画像の表示は、事象の現出(つまり、画像検出部33aによる画像検出時)からΔT後となっている。図6(E)は、固体撮像素子31による撮像動作を示しており、画像出力部33bによる画像出力期間よりも広い時間幅で撮像動作が行われている。なお、δは、画像出力部33bの動作開始よりも固体撮像素子31の動作開始を若干早めるための前倒し時間となっている。
6A to 6E are timing charts illustrating a specific operation example. 6A shows the appearance of the event, and FIG. 6B shows the output of the trigger signal corresponding to the event by the
以上説明した画像変換装置によれば、表示制御部33cによって画像出力部33bに表示させる出力画像を時間的要素及び位置的要素で調整して表示することにより、検出対象である微弱光が高速で変化する事象を画像として検出する際に、所定以上の高輝度となる露光時間及び位置の少なくとも一方を適切なものとすることができる。この際、デジタル的な画像処理によって画像出力部33bでの表示をコントロールできるため、MCPの場合のように入出力部間に高電圧をかける必要がなく画像変換装置33のS/Nを大きくすることができる。これにより、撮像装置10に組み込んだ際に、高速かつ鮮明かつ高感度化、及び低消費電力化を図ることができるとともに信頼性を高めることができる。
According to the image conversion apparatus described above, the output light to be displayed on the
(実施例)
以下、本発明の画像変換装置の実施例を示す。
〔受光素子アレイLSI〕
チップサイズ:2.5mm角
設計規則:CMOS 0.18μm(ローム株式会社)
画素数:8×8
画素サイズ:250μm×250μm
実効画素サイズ:230μm×230μm
信号読み出し方式:パラレル
画素内の回路:PMOSリセット、トリガー用スイッチ、出力アンプ
入出力信号:全68ch(出力:64ch、グローバルリセット:1ch、グローバルトリガー:1ch、VDD(3.3V):1ch、VCC(0V):1ch)
〔発光素子アレイLSI〕
チップサイズ:2.5mm角
設計規則:CMOS 0.18μm(ローム株式会社)
画素数:8×8
画素サイズ:250μm×250μm
画素内の回路:電圧電流変換回路、電圧保護回路、EL駆動電極、選択用スイッチ
入出力信号:全69ch(電極64ch、グローバルリセット;1ch、グローバルトリガー;1ch、バイアス電圧(6V);1ch、VDD(3.3V);1ch、VCC(0V):1ch)
(Example)
Examples of the image conversion apparatus according to the present invention will be described below.
[Light receiving element array LSI]
Chip size: 2.5 mm square Design rule: CMOS 0.18 μm (ROHM Co., Ltd.)
Number of pixels: 8 × 8
Pixel size: 250 μm × 250 μm
Effective pixel size: 230 μm × 230 μm
Signal readout method: circuit in parallel pixel: PMOS reset, trigger switch, output amplifier input / output signal: all 68ch (output: 64ch, global reset: 1ch, global trigger: 1ch, VDD (3.3V): 1ch, VCC (0V): 1ch)
[Light emitting element array LSI]
Chip size: 2.5 mm square Design rule: CMOS 0.18 μm (ROHM Co., Ltd.)
Number of pixels: 8 × 8
Pixel size: 250 μm × 250 μm
Circuit in pixel: voltage-current conversion circuit, voltage protection circuit, EL drive electrode, selection switch I / O signal: all 69ch (electrode 64ch, global reset; 1ch, global trigger; 1ch, bias voltage (6V); 1ch, VDD (3.3V); 1ch, VCC (0V): 1ch)
〔変形例〕
図7に示す例では、画像変換装置33を構成する画像検出部33a、画像出力部33b、及び表示制御部33cの一体化を進展させている。画像変換装置33は、SOI(Silicon On Insulator)タイプの積層型集積回路であり、Si基板61の第1面61a上にSOI層として画像検出部33aと表示制御部33cの一部とが形成され、Si基板61の第2面61b上にSOI層として画像出力部33bと表示制御部33cの一部とが形成されている。第1面61a側の画像検出部33aは、CMOS型撮像素子である。より詳細には、画像検出部33aは、Si能動層、電極、配線その他で形成された集積回路を有しており、マトリックス状に配列されたフォトダイオード(不図示)が形成されるとともに、各フォトダイオードに付随してトランジスター等も形成され、これらの周囲にドライバー回路を付随させたものとなっている。第2面61b側の画像出力部33bは、有機EL型表示素子である。より詳細には、画像検出部33bは、有機EL層、電極、配線その他で形成された集積回路を有しており、マトリックス状に配列された有機EL発光素子(不図示)が形成されるとともに、各有機EL発光素子に付随してトランジスター等も形成され、これらの周囲にドライバー回路を付随させたものとなっている。
なお、画像検出部33aにおいて、フォトダイオードは、公知の半導体製造技術を活用して、絶縁膜上にシリコン薄膜や電極パターン等を形成し、これらを封止層で覆ったものであり、同様の技法でトランジスター回路も形成されている。また、画像出力部33bにおいて、有機EL発光素子は、例えば、絶縁層上に、画素陽電極と、有機EL層と、透明陰電極と、透明封止層と、保護及び反射防止用の被覆膜とを形成したものとなっている。
[Modification]
In the example shown in FIG. 7, the integration of the
Note that in the
図中に部分的に拡大して示すように、Si基板61には、第1面61a側の画像検出部33aと、第2面61b側の画像出力部33bとを繋ぐスルーホール61hが形成されている。スルーホール61hは、画素単位ではなく、図3に示す区分領域AR2,AR3単位で設けられており、画像検出部33aと画像出力部33bとの間で直接的に画像データの授受を行うことができるようにしている。
As shown partially enlarged in the figure, the
表示制御部33cは、例えば図4(A)に示すような構造を有し、充分なフレームメモリーを持つとともに、高速の信号処理回路を備える。信号処理回路は、制御回路、事象判定制御回路、発光素子駆動回路等を有する。この場合、画像検出部33aの受光面33sで受けた画像を、所望の時間だけ遅延させた状態で画像出力部33bの発光面33tに表示させることができ、区分領域AR2,AR3のアドレスを例えば外部から指定すれば、指定された区分領域AR3のみに画像表示を行うことができる。これにより、観測系の目的に応じたタイミングでのイメージ出力が可能になる。
The
さらに、表示制御部33cが閾値判定の弁別機能を有するならば、受光面33sで受けた画像をその場で弁別して、不定期の事象に起因する微弱光を検出した画素又は区分領域(つまり現出領域)のみの信号を発光面33tに選択的に表示させることもできる。つまり、表示制御部33cは、図1に示す判定部51の機能を組み込んだものとなっている。さらに、表示制御部33cに高度の信号処理機能(具体的には、信号検出アルゴリズム、画像処理機能等)を持たせるならば、受光面33sで受けた画像から得た画像信号のノイズやバックグラウンドを大元から除去することができ、ノイズに埋もれやすい微弱信号を選択的な抽出が容易になる。信号処理の負担軽減の観点からは、区分領域単位で、閾値による弁別を行ったり、ノイズフィルタリングを行ったりすることが望ましいと言える。
Furthermore, if the
図8は、画像変換装置33の具体的動作例を説明する概念図である。入力信号としての入力画像が背景ノイズを含む場合であっても、閾値レベルの設定によって背景ノイズが除去されて目的とする事象の微弱光のみを出力信号すなわち出力画像とすることができる。ここで、画像検出部33a側の表示制御部33cには露光用のゲート信号が入力され、画像出力部33b側の表示制御部33cには発光用のゲート信号が入力されている。これらゲート信号により、入力画像に対して遅延時間ΔTだけ遅延させて出力画像を出力することができる。なお、上記のように画像変換装置33自体に閾値判定の弁別機能を持たせるだけでなく、ゲート信号の生成機能、信号検出アルゴリズム、画像処理機能等を含む各種フィルター制御機能を持たせることができる。
FIG. 8 is a conceptual diagram illustrating a specific operation example of the
表示制御部33cが閾値判定の弁別機能を有する場合、その弁別結果のトリガー信号を画像変換装置33外に出力できるようにするならば、画像変換装置33と連携する観測系その他の外部機器の同期動作が可能になり、不定期の事象の発生を先行して並列的に検出する検出系(具体的には、例えば図1のトリガー用センサー41のようなもの)を設ける必要がなくなる。
When the
画像変換装置33は、例えば、8×8画素又は126×126画素からなる複数の区分領域を備える画像検出部33aと、これらに対応する複数の区分領域を備える画像出力部33bとを備えるものとして実現される。
The
以下、図7に示す画像変換装置33の具体的な仕様について説明する。画像変換装置33は、受光側及び発光側で8×8画素の構成である。試験の実績では、受光側において、画像検出部33aの受光部は、一辺20μm正方形の受光画素からなり、クロストークが10%以下であり、飽和電子数が5000であり、暗電流が1000e/sとなっている。また、発光側において、画像出力部33bの発光部は、一辺20μm正方形の発光画素からなり、クロストークが4%以下であり、遅延時間の制御については100ns以上で任意に指定することができる。全体として、光子−光子ゲインは、1倍以上100倍以下で指定でき、パルス光応答立ち上り時間は、10ns以下とできる。
Hereinafter, specific specifications of the
図7に示す画像変換装置によれば、図8に例示するノイズ除去にとどまらず、様々な画像信号処理を即時に実施でき、今後、画像を扱う多くの分野での応用が期待される。 According to the image conversion apparatus shown in FIG. 7, not only the noise removal illustrated in FIG. 8 but also various image signal processing can be performed immediately, and application in many fields that handle images is expected in the future.
〔2.計測システムの構造等〕
以下、図9を参照して、本発明の一実施形態に係る計測システムの構造等について説明する。
[2. Measurement system structure etc.)
Hereinafter, the structure and the like of the measurement system according to an embodiment of the present invention will be described with reference to FIG.
この計測システム100は、レーザー光を出力する照明部81と、照明部81を動作させる照明駆動部82と、計測対象からの電磁波を集光して結像させる結像光学系83と、照明部81の動作を制御する照明制御部85と、結像光学系83によって集光された電磁波を撮影する撮像装置10と、撮像装置10に付随する可視化・記憶装置84とを備える。
The
照明部81は、照明用のレーザー光を発生するパルスレーザーを有するレーザー光源81aと、レーザー光を2次元的に走査する2つのポリゴンミラーを有する照射光学系81bとを備える。なお、照射光学系81bには、ポリゴンミラーを回転させるためのモーター81dが付随して設けられており、モーター81dには、モーター81dの回転角を検出するエンコーダー81eが付随して設けられている。
The
照明駆動部82は、レーザー光源81aをパルス発光させるトリガー回路等を有しており、照明制御部85からの参照信号に基づいてレーザー光源81aから射出させる照明用のレーザー光の射出タイミングを調整する。
The
照明部81等に付随する照明制御部85は、照明駆動部82の動作を制御しており、照明駆動部82のトリガー回路に参照信号を出力するパルスジェネレーター等を有する。また、照明制御部85は、パルスジェネレーターからの参照信号に基づいて、照明部81に設けたエンコーダー81eを監視しつつモーター81dの動作を制御しており、照明駆動部82を介して照明部81にレーザー光の走査を行わせている。
The
撮像装置10は、計測対象からの電磁波を結像光学系83を介して撮影するものであるが、図1等に示した構造を有しており、詳細な説明は省略する。
The
可視化・記憶装置84は、撮像装置10の信号変換装置12から不定期に出力される画像信号をその強度等に応じて可視化したデータに変換するとともに、このように可視化したデータを随時記憶装置に保管する。また、可視化・記憶装置84は、撮像装置10の動作状態を制御しており、結像光学系83を介して撮像装置10によって撮影すべき対象の撮影方向等を調整する。なお、撮像装置10による撮像領域は、照明部81によるレーザー光の照射範囲をカバーするものとなっている。
The visualization /
以上実施形態に即して本発明を説明したが、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。 Although the present invention has been described based on the above embodiments, the present invention is not limited to the above embodiments, and can be implemented in various modes without departing from the gist thereof. Such modifications are also possible.
上記実施形態において、例えば、イメージ増倍装置11の構成は、図1に例示するものに限らず、様々なものとすることができる。
In the above embodiment, for example, the configuration of the
また、上記実施形態において、信号変換装置12を構成する固体撮像素子31としては、CMOS型撮像素子に限らず、CCD型撮像素子を用いることができる。CCD型撮像素子を用いる場合、そのシャッター機能を活用することができる。
Moreover, in the said embodiment, as the solid-
また、上記実施形態において、検出装置17を構成するトリガー用センサー41、トリガー用光学系42、判定部51、駆動部52等も単なる例示であり、様々な変形が可能である。例えば、トリガー用センサー41は、ハイブリッド光検出器とすることができる。ハイブリッド光検出器とは、真空管中にCCD、CMOSといったシリコン多画素センサーを封入したものであり、トリガー用センサーのように真空管表面で光電子への変換を行い、その光電子を真空中の静電レンズで伝播させ、直接シリコン多画素センサーに入射させることで光検出信号を得るものである。
Moreover, in the said embodiment, the
また、上記実施形態において、調整信号を時間的要素及び位置的要素の調整量を指示するものとしたが、時間的要素及び位置的要素の少なくとも一方の調整量を指示するものとしてもよい。 In the above embodiment, the adjustment signal indicates the adjustment amount of the temporal element and the positional element. However, the adjustment signal may indicate an adjustment amount of at least one of the temporal element and the positional element.
また、上記実施形態において、画像変換装置33の画像検出部33aは、所定の画素単位で画像を検出するものとしたが、画像の全面で検出してもよい。この場合、調整信号は、時間的要素のみを含んでいればよい。
In the above-described embodiment, the
また、上記実施形態において、区分領域AR1〜AR4の数は、位置関係がそれぞれ対応していれば同じでなくてよい。 Moreover, in the said embodiment, the number of division area AR1-AR4 may not be the same as long as the positional relationship respond | corresponds.
また、上記実施形態において、画像変換装置33の表示制御部33cは、検出装置17で別途並行して得られた調整信号に基づいて出力画像を処理したが、画像変換装置33で調整信号を設定可能な構成としておけば、画像変換装置33単独で出力画像を処理することができる。なお、表示制御部33cにおいて、検出装置17に起因する遅延時間ΔTaと画像変換装置33に起因する遅延時間ΔTbとから撮像装置10全体の遅延時間ΔTを決定してもよい。
In the above embodiment, the
上記計測システム100において、照明部81の動作と撮像装置10の動作とを統括的に制御する制御部を設けることができる。このような制御部により、撮像装置10による観察方向と、照明部81によるレーザー光の照射方向とを一致させて正確な関連付けを行うことができ、また、撮像装置10による観察タイミングと、照明部81によるレーザー光のタイミングとの差すなわち遅延を検出することもできる。
In the
上記実施形態の撮像装置10は、その仕様を適宜修正することにより、各種用途、例えば検査、監視、医療等の各種分野に適用可能である。
The
10…撮像装置、 11…イメージ増倍装置、 12…信号変換装置、 13…リレー光学系、 14…本体光学系、 15…ディストリビューター、 17…検出装置、 31…固体撮像素子、 32…撮像駆動部、 33…画像変換装置、 33a…画像検出部、 33b…画像出力部、 33c…表示制御部、 34…撮像光学系、 40…検出部、 41…トリガー用センサー、 42…トリガー用光学系、 50…管理部、 51…判定部、 52…駆動部、 53…制御部、 73…受光用回路基板、 76…発光用回路基板、 77…ハウジング筐体、 78…回路結合コネクタ、 81…照明部、 82…照明駆動部、 83…結像光学系、 84…可視化・記憶装置、 85…照明制御部、 100…計測システム、 101…検出駆動部、 102…表示駆動部、 103…記憶部、 103a…取得画像記憶部、 103b…パラメータ記憶部、 103c…補正画像記憶部、 104…通信部、 105…主制御部、 AR1,AR2,AR3,AR4…区分領域、 71…受光用FOP、 74…発光用FOP、 72…受光素子アレイLSI、 75…発光素子アレイLSI、 OA…光軸
DESCRIPTION OF
Claims (10)
前記画像検出部で検出した画像を表示可能な画像出力部と、
前記画像検出部で検出した画像に基づいて前記画像出力部に出力画像を生成する際に、時間的要素で調整する画像処理及び位置的要素で調整する画像処理の少なくとも一方を行う事象抽出用の表示制御部と
を備えることを特徴とする画像変換装置。 An image detection unit for detecting an image;
An image output unit capable of displaying an image detected by the image detection unit;
When generating an output image in the image output unit based on the image detected by the image detection unit, for event extraction that performs at least one of image processing adjusted by a temporal element and image processing adjusted by a positional element An image conversion apparatus comprising: a display control unit.
前記表示制御部は、前記位置的要素で調整する画像処理によって前記所定画像のうち1つ以上の画素を含む所定の領域を表示するように前記画像出力部を動作させることを特徴とする請求項3に記載の画像変換装置。 The image detection unit detects the predetermined image in a predetermined pixel unit,
The display control unit operates the image output unit to display a predetermined region including one or more pixels of the predetermined image by image processing adjusted with the positional element. 4. The image conversion apparatus according to 3.
前記イメージ増倍装置から出力された蛍光像を電気的な画像信号に変換する信号変換装置と
を備え、
前記信号変換装置は、請求項1から6までのいずれか一項に記載の画像変換装置を有することを特徴とする撮像装置。 An image intensifier that converts weak events into fluorescent images;
A signal conversion device that converts the fluorescent image output from the image intensifier into an electrical image signal;
The said signal converter has an image converter as described in any one of Claim 1-6, The imaging device characterized by the above-mentioned.
前記イメージ増倍装置から出力された蛍光像を電気的な画像信号に変換する信号変換装置と、
前記画像変換装置の前記画像検出部で検出する画像に対応する蛍光像を並行して取得する検出装置と
を備え、
前記信号変換装置は、請求項7に記載の画像変換装置を有し、
前記検出装置は、検出した画像から前記時間的要素及び前記位置的要素の少なくとも一方の調整量を指示する調整信号を前記画像変換装置の前記表示制御部に出力し、
前記表示制御部は、前記調整信号に基づいて得られた前記出力画像を表示するように前記画像変換装置の前記画像出力部を動作させることを特徴とする撮像装置。 An image intensifier that converts weak events into fluorescent images;
A signal converter for converting the fluorescent image output from the image intensifier into an electrical image signal;
A detection device for acquiring in parallel a fluorescent image corresponding to an image detected by the image detection unit of the image conversion device;
The signal conversion device includes the image conversion device according to claim 7,
The detection device outputs an adjustment signal indicating an adjustment amount of at least one of the temporal element and the positional element from the detected image to the display control unit of the image conversion device,
The display control unit operates the image output unit of the image conversion apparatus so as to display the output image obtained based on the adjustment signal.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015257716 | 2015-12-30 | ||
JP2015257716 | 2015-12-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017121061A true JP2017121061A (en) | 2017-07-06 |
JP6827806B2 JP6827806B2 (en) | 2021-02-10 |
Family
ID=59272515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016257494A Active JP6827806B2 (en) | 2015-12-30 | 2016-12-30 | Image converter and image pickup device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6827806B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022196779A1 (en) * | 2021-03-17 | 2022-09-22 | 国立大学法人 東京大学 | Three-dimensional-measurement device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4680635A (en) * | 1986-04-01 | 1987-07-14 | Intel Corporation | Emission microscope |
JP2006203665A (en) * | 2005-01-21 | 2006-08-03 | Canon Inc | Imaging device and method therefor, and recording medium and program |
US20080011941A1 (en) * | 2004-11-12 | 2008-01-17 | Oasys Technology Llc | Aviation night vision system using common aperture and multi-spectral image fusion |
JP2010166259A (en) * | 2009-01-14 | 2010-07-29 | Sony Corp | Image-capture device, image-capture method, and image-capture program |
JP2011244357A (en) * | 2010-05-20 | 2011-12-01 | Univ Of Tokyo | Imaging apparatus, relay optical system, and measurement system |
JP2013022054A (en) * | 2011-07-15 | 2013-02-04 | Olympus Corp | Electronic endoscopic apparatus |
-
2016
- 2016-12-30 JP JP2016257494A patent/JP6827806B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4680635A (en) * | 1986-04-01 | 1987-07-14 | Intel Corporation | Emission microscope |
US20080011941A1 (en) * | 2004-11-12 | 2008-01-17 | Oasys Technology Llc | Aviation night vision system using common aperture and multi-spectral image fusion |
JP2006203665A (en) * | 2005-01-21 | 2006-08-03 | Canon Inc | Imaging device and method therefor, and recording medium and program |
JP2010166259A (en) * | 2009-01-14 | 2010-07-29 | Sony Corp | Image-capture device, image-capture method, and image-capture program |
JP2011244357A (en) * | 2010-05-20 | 2011-12-01 | Univ Of Tokyo | Imaging apparatus, relay optical system, and measurement system |
JP2013022054A (en) * | 2011-07-15 | 2013-02-04 | Olympus Corp | Electronic endoscopic apparatus |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022196779A1 (en) * | 2021-03-17 | 2022-09-22 | 国立大学法人 東京大学 | Three-dimensional-measurement device |
Also Published As
Publication number | Publication date |
---|---|
JP6827806B2 (en) | 2021-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3519860B1 (en) | System and method for determining a distance to an object | |
US8405017B2 (en) | Adjustable CMOS sensor array | |
JP2021507584A (en) | Global Shutter Pixel Circuits and Methods for Computer Vision Applications | |
US8493483B2 (en) | Image taking device and camera system | |
US11221253B2 (en) | System with a SPAD-based semiconductor device having dark pixels for monitoring sensor parameters | |
KR20190057124A (en) | A system for determining the distance to an object | |
EP2041769A2 (en) | Method and device for detecting weak optical signals | |
EP1825297A1 (en) | Surface profile measurement | |
EP3448018A1 (en) | Imaging device and camera system equipped with same | |
US11696051B2 (en) | Imaging device | |
CN114424522B (en) | Image processing device, electronic apparatus, image processing method, and program | |
US6661500B1 (en) | Integrated range finder and imager | |
JP6827806B2 (en) | Image converter and image pickup device | |
US20200266027A1 (en) | Charged Particle Beam Device | |
WO2020196378A1 (en) | Distance image acquisition method and distance detection device | |
JP7218193B2 (en) | Imaging device | |
JP2016184868A (en) | Imaging device and driving method of imaging device | |
EP2582130A2 (en) | Infrared solid state imaging device | |
US20220191424A1 (en) | Imaging device | |
US9851556B2 (en) | Avalanche photodiode based imager with increased field-of-view | |
JP2670405B2 (en) | Weak light measuring device | |
JP4327625B2 (en) | Light position information detection device | |
JP6366325B2 (en) | Imaging system | |
JP2020107980A (en) | Light detection device and imaging system | |
RU2535299C1 (en) | Apparatus for recording images in wide illumination range |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20170214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170325 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170426 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6827806 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |