JP2005315574A - Electronic camera - Google Patents

Electronic camera Download PDF

Info

Publication number
JP2005315574A
JP2005315574A JP2004130233A JP2004130233A JP2005315574A JP 2005315574 A JP2005315574 A JP 2005315574A JP 2004130233 A JP2004130233 A JP 2004130233A JP 2004130233 A JP2004130233 A JP 2004130233A JP 2005315574 A JP2005315574 A JP 2005315574A
Authority
JP
Japan
Prior art keywords
light
sample
image
scanning
electronic camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004130233A
Other languages
Japanese (ja)
Inventor
Ryoichi Imanaka
良一 今中
Tetsuo Fujiwara
哲郎 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRIE Inc
Original Assignee
CRIE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRIE Inc filed Critical CRIE Inc
Priority to JP2004130233A priority Critical patent/JP2005315574A/en
Publication of JP2005315574A publication Critical patent/JP2005315574A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an electronic camera excelling in image reproducibility and also being low-cost, and a scanning laser microscope. <P>SOLUTION: As to this electronic camera, a specimen is illuminated by using light with at least one selected wavelength to photograph reflected light or transmitted light by the electronic camera. The specimen is illuminated by using light with a wavelength other than that of the illumination light to photograph reflected light of the light or transmitted light thereof by this electronic camera. Images thus obtained are used to observe the specimen. This scanning laser microscope is equipped with a modulator for modulating a scanning laser beam to control power per hour of the laser beam so to keep it constant on the specimen, a pulse generator for driving an actuator for causing the laser beam to scan, and an estimator for estimating the scanning speed of the laser beam caused to scan by the actuator. The scanning speed, which is an output of the estimator, is inputted into the modulator. The laser beam outputted from the modulator is pulse-width modulated, pulse-frequency modulated, or pulse-amplitude modulated. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、光源にレーザあるいはLED(Light Emitting Diode)などの発光素子を用い、光源の波長を変えて試料を照射し、波長の種類に応じて試料から反射あるいは試料を透過する光を、別のメモリ装置に入力する電子カメラあるいは、光源を振幅変調または光源からの光ビームにより試料を走査し、受光素子としてCCD(Charge Coupled Device),CMOS(Complementary Metal−Oxide Semiconductor)センサーを有する電子カメラに関する。   The present invention uses a light-emitting element such as a laser or LED (Light Emitting Diode) as a light source, irradiates the sample by changing the wavelength of the light source, and separates light reflected from or transmitted through the sample according to the type of wavelength. The present invention relates to an electronic camera that inputs to a memory device or an electronic camera that scans a sample by amplitude modulation of a light source or a light beam from the light source, and has a CCD (Charge Coupled Device), CMOS (Complementary Metal-Oxide Semiconductor) sensor as a light receiving element .

従来の顕微鏡用カラーCCDカメラ(電子カメラ)を用いた撮像装置は、CCDに入射される光を光学的なカラーフィルタを用い、カラー信号と輝度信号に分離し、例えばRGB信号(赤、緑、青を表す信号)を得ていた。
このためCCDを複数個使用したり、あるいはCCDの入射面にカラーフィルタを設けていたため、所定の解像度を得るためには、画素数の多いCCDを用いる必要があった。
また、CCDの入射面にカラーフィルタをCCDのピクセルに合わせて設けたときには、輝度情報と色情報を得るためのピクセル位置が異なり、被写体の画像を忠実に再現することができない問題があった。このため、高忠実度の必要な医療画像の分野にはCCDを3個使用し、各々のCCDの入射面にR,G,Bのカラーフィルタを設け、色情報を別々に検出し、それらを合成しカラー画像を得ていた。しかしこの時には、3個のCCD間の位置精度が要求され、高精度の位置合わせが必要でかつ、位置合わせがずれた時には、画像の再現性に問題が生じていた。また、試料を照射する光をレーザ光から放射される光ビームを利用した時には、レーザビームを走査する光学系が複雑高価となり普及を妨げていた。
A conventional imaging device using a microscope color CCD camera (electronic camera) separates light incident on the CCD into a color signal and a luminance signal using an optical color filter, for example, an RGB signal (red, green, Signal).
For this reason, since a plurality of CCDs are used or a color filter is provided on the incident surface of the CCD, it is necessary to use a CCD having a large number of pixels in order to obtain a predetermined resolution.
Further, when a color filter is provided on the CCD entrance surface so as to match the pixels of the CCD, the pixel positions for obtaining the luminance information and the color information are different, and there is a problem that the image of the subject cannot be reproduced faithfully. For this reason, three CCDs are used in the field of medical images that require high fidelity, R, G, and B color filters are provided on the entrance surface of each CCD, and color information is detected separately. A color image was obtained by synthesis. However, at this time, positional accuracy between the three CCDs is required, and high-accuracy alignment is required, and when the alignment is shifted, there is a problem in image reproducibility. Further, when a light beam emitted from a laser beam is used as the light for irradiating the sample, the optical system for scanning the laser beam is complicated and expensive, thereby preventing the spread.

図11は、従来の電子カメラを用いた撮像装置を図示する。
撮像用のレンズの後に3色分解プリズムを設け、R,G,Bの3原色に分割する。各光線の結像位置に同一サイズのCCDを設けることによりR,G,Bの信号が得られる。
図11において、1101は観測する対象の試料、1102は光源で、通常白熱電球などが使用される。そして1103の集光レンズにより平行光に変換され1104のビームスプリッタ1を経由し1105の対物レンズで試料を照射する。
照射された試料の反射光は1104のビームスプリッタ1を経由し、1106の結像レンズ、1107のビームスプリッタ2を経て1114の電子カメラ部に供給される。1114の電子カメラにおいて、1109は入射した光から赤色(R)を1110のCCD1に与えるビームスプリッタ3であり、1111は同じく1112のCCD2に青色(B)を与え、1113のCCD3には緑色(G)を供給するビームスプリッタ4を示している。各CCDから得られた信号は別々に処理され、最終的には標準方式の信号(RGB,あるいはNTSC(National Television Standards Committee)などとして利用される。また試料にレーザビームを走査し照射するレーザ走査顕微鏡においては、例えばマイクロアレイレンズを有するディスクを回転させ、レーザビームスポットにより試料を走査する機構を有しており、非常に高い精度が要求されていた。
FIG. 11 illustrates an imaging apparatus using a conventional electronic camera.
A three-color separation prism is provided after the imaging lens, and is divided into three primary colors of R, G, and B. R, G, B signals can be obtained by providing CCDs of the same size at the image forming positions of the respective rays.
In FIG. 11, 1101 is a sample to be observed, 1102 is a light source, and usually an incandescent light bulb or the like is used. Then, the light is converted into parallel light by the condenser lens 1103, and the sample is irradiated by the objective lens 1105 via the beam splitter 1 1104.
The reflected light of the irradiated sample is supplied to the electronic camera unit 1114 through the beam splitter 1 1104, the imaging lens 1106, and the beam splitter 2 1107. In the electronic camera 1114, 1109 is a beam splitter 3 that gives red (R) from incident light to the CCD 1 of 1110, 1111 also gives blue (B) to the CCD 2 of 1112, and green (G ) Is shown. The signals obtained from each CCD are processed separately, and finally used as standard signals (RGB, NTSC (National Television Standards Committee), etc.) Also, laser scanning that scans and irradiates a sample with a laser beam For example, a microscope has a mechanism for rotating a disk having a microarray lens and scanning a sample with a laser beam spot, and has required very high accuracy.

従来の方式は色分解に用いるビームスプリッタが高価であり、CCD間の位置決めのための機構精度を高くし、光学画像の結像位置に正確にCCDを置くことが必要である。もし位置合わせがずれた時には、対象となる試料の画像が、図11におけるCCD1,2,3の出力において、位置ズレを起こすため、問題が生じていた。またCCDを3個用いることが必要であり、も高価になっていた。さらに光源として走査型レーザを用いる場合には、全体の構造が複雑になり、非常に高価なものであった。
本発明の課題は、画像の再現性に優れ、且つ低価格化も可能な電子カメラ及び走査レーザ顕微鏡を提供することにある。
In the conventional system, the beam splitter used for color separation is expensive, and it is necessary to increase the accuracy of the mechanism for positioning between the CCDs and to accurately place the CCD at the imaging position of the optical image. If the alignment is deviated, there is a problem because the image of the target sample is displaced in the output of the CCDs 1, 2, and 3 in FIG. Also, it was necessary to use three CCDs, which was also expensive. Further, when a scanning laser is used as a light source, the overall structure is complicated and very expensive.
An object of the present invention is to provide an electronic camera and a scanning laser microscope that are excellent in image reproducibility and can be reduced in price.

本発明は以下の発明に係る。
1.試料を観察するための光学系により観察された画像を電気信号に変換し、前記電気信号をデジタル信号に変換後、メモリ装置に取り込む電子カメラにおいて、観察の対象である前記試料に照射するための複数の光の波長を選択可能にした上、前記選択した少なくとも1つの波長を有する光を用い、前記試料を照射し、前記試料を照射した光の反射光あるいは透過光を前記電子カメラにより撮影した画像と、前記照射光とは別の波長を有する光を用い、前記試料を照射し、前記試料を照射した光の反射光あるいは透過光を前記電子カメラにより撮影した画像を用い、前記試料を観察することを特徴とする電子カメラ。
2.試料をレーザから照射したビームスポットにより走査し、走査したレーザビームスポットの反射光あるいは透過光を観察する走査レーザ顕微鏡において、走査レーザビームの前記試料上における時間当りパワーを一定に制御するため、前記走査レーザビームを変調する変調器と、前記レーザビームを走査するアクチュエータを駆動するパルス発生器と、前記アクチュエータが走査する前記レーザビームの走査速度を推定する推定器と、前記変調器に前記推定器の出力である走査速度を入力し、前記変調器から出力される前記レーザビームをパルス幅変調、パルス周波数変調あるいはパルス振幅変調することを特徴とする走査レーザ顕微鏡。
The present invention relates to the following inventions.
1. An image observed by an optical system for observing a sample is converted into an electrical signal, and the electrical signal is converted into a digital signal, and then the electronic camera that takes in the memory device is used to irradiate the sample to be observed A plurality of wavelengths of light can be selected, and the sample is irradiated with light having at least one selected wavelength, and reflected light or transmitted light of the light irradiated on the sample is photographed by the electronic camera. Using an image and light having a wavelength different from the irradiation light, irradiating the sample, and observing the sample using an image obtained by photographing reflected light or transmitted light of the light irradiated on the sample with the electronic camera An electronic camera characterized by
2. In a scanning laser microscope that scans a sample with a beam spot irradiated from a laser and observes reflected light or transmitted light of the scanned laser beam spot, in order to control the power per time of the scanned laser beam on the sample constant, A modulator for modulating a scanning laser beam; a pulse generator for driving an actuator for scanning the laser beam; an estimator for estimating a scanning speed of the laser beam scanned by the actuator; and the estimator for the modulator. The scanning laser microscope is characterized in that a scanning speed which is an output of the above is input, and the laser beam output from the modulator is subjected to pulse width modulation, pulse frequency modulation or pulse amplitude modulation.

波長の異なる光源を試料に順次点灯し照射し、同一のCCDカメラあるいはCMOSセンサーに反射光あるいは透過光を取り込み、波長ごとに異なるメモリに入力し、観察できるようにしたため、波長の異なる光を照射し得られた画像間の位置ズレが生じない。また波長ごとに異なる光学フィルタを用いる必要もないため、価格を低下させることも出来る。
レーザを光源として用いた場合には、レーザ光源の波長広がりが小さいため、色の純度がLEDに比べて大幅に向上するため、得られる画像の質が改善される。
さらに、レーザビームをスポット状にフォーカスし、走査したレーザ顕微鏡においては、従来のレーザ顕微鏡と比べて構成を簡単にすることができる。このときレーザビーム出力をパルス間隔(パルス周波数)あるいはパルス幅、またはパルス振幅変調するため、走査されたレーザビームの試料上における単位時間当たりの照射エネルギーが一定に制御できる。その結果反射光あるいは透過光を検出した画像の輝度が一定となり、かつ試料に損傷を与えることもない。
Light sources with different wavelengths are sequentially turned on and irradiated, the reflected light or transmitted light is taken into the same CCD camera or CMOS sensor, and input to different memories for each wavelength so that they can be observed. Thus, there is no positional deviation between the obtained images. Further, since it is not necessary to use different optical filters for each wavelength, the price can be reduced.
When a laser is used as a light source, since the wavelength spread of the laser light source is small, the purity of the color is significantly improved as compared with the LED, so that the quality of the obtained image is improved.
Further, a laser microscope focused and scanned with a laser beam can be simplified in configuration as compared with a conventional laser microscope. At this time, since the laser beam output is subjected to pulse interval (pulse frequency), pulse width, or pulse amplitude modulation, the irradiation energy per unit time of the scanned laser beam on the sample can be controlled to be constant. As a result, the brightness of the image in which the reflected light or transmitted light is detected is constant, and the sample is not damaged.

本発明の請求項1に記載の発明は、被写体を照射する光源の波長を変化させ波長ごとに被写体の撮影画像を取り込む電子カメラを開示している。
ここで提案する電子カメラは、被写体を観察するための光学系により観察された画像を電気信号に変換し、前記電気信号をデジタル信号に変換後、メモリ装置に取り込む構成を有するものである。
The invention according to claim 1 of the present invention discloses an electronic camera that changes the wavelength of a light source that irradiates a subject and captures a photographed image of the subject for each wavelength.
The electronic camera proposed here has a configuration in which an image observed by an optical system for observing a subject is converted into an electric signal, and the electric signal is converted into a digital signal and then taken into a memory device.

光源の波長を変化させて、例えばR(赤),G(緑),B(青)色の各波長を有する光により被写体を順次照射し、Rの波長により被写体を照射したときに得られる画像から画像Rを、Gの波長により被写体を照射したときに得られる画像から画像Gを、Bの波長により被写体を照射したときに得られる画像から画像Bを撮影する。そして撮影した画像を各々画像メモリに蓄積し、蓄積した画像を、ディスプレイに表示できる標準画像フォーマットに変換した後、観察する。本発明においては、光学画像を電子画像に変換するためのCCDなどの撮像デバイスが1つあればよく、また光学画像を色信号情報に変換するための光学フィルタも不要であり、非常に簡単な構成でカラー画像が得られるという作用を有する。   An image obtained by changing the wavelength of the light source, for example, sequentially irradiating the subject with light having each wavelength of R (red), G (green), and B (blue), and irradiating the subject with the wavelength of R The image R is taken from the image obtained when the subject is irradiated with the wavelength of G, the image G is taken from the image obtained when the subject is irradiated with the wavelength of B, and the image B is taken from the image obtained when the subject is irradiated with the wavelength of B. Each captured image is stored in an image memory, and the stored image is converted into a standard image format that can be displayed on a display and then observed. In the present invention, there is only one imaging device such as a CCD for converting an optical image into an electronic image, and an optical filter for converting an optical image into color signal information is unnecessary, which is very simple. The structure has an effect that a color image can be obtained.

また、本発明の請求項8に記載の発明は、試料に走査レーザビームを照射する走査レーザ顕微鏡において、レーザと絞りレンズを一体構成にしたレーザ光照射ブロックを設け、試料に照射するビームスポットをアクチュエータにより走査するようにしたため、簡単な構成で走査レーザ顕微鏡を実現することを可能にした。   According to an eighth aspect of the present invention, in a scanning laser microscope for irradiating a sample with a scanning laser beam, a laser beam irradiation block in which a laser and an aperture lens are integrated is provided, and a beam spot irradiated to the sample is set. Since scanning is performed by an actuator, a scanning laser microscope can be realized with a simple configuration.

以下本発明の実施をするための最良の形態を具体的に示した実施例について、図面とともに記載する。
以下、図1、図2、図3及び図4を用いて、本発明の第1の実施例を説明する。図1は試料が反射した光をCCDカメラにより撮影するためのブロック図を示したものである。
Hereinafter, examples specifically showing the best mode for carrying out the present invention will be described with reference to the drawings.
Hereinafter, the first embodiment of the present invention will be described with reference to FIGS. 1, 2, 3 and 4. FIG. 1 is a block diagram for photographing the light reflected by the sample with a CCD camera.

図1において、101は同期信号発生器で、図3に示すタイミングにより、フレーム同期信号を発生する。フレーム同期信号は102a、102b、102cに示すLEDまたはレーザ駆動アンプに入力され103a、103b、103cに示す赤色LED(R)、緑色LED(G)、青色LED(B)を点灯する。各LEDは試料105を照射する。点灯するタイミングは図3に示すように、301のRパルス信号は時刻t1からt2の間ONとなり、同様に302のGパルス信号は時刻t2からt3の間ONとなり、同様に303のBパルス信号は時刻t3からt4の間ONとなり、その後信号は301〜303の動作を繰り返す。
同期信号は連続発生させているが、実際必要とされる同期動作は任意期間におけるRGBの3フレームのみでよい。
In FIG. 1, reference numeral 101 denotes a synchronization signal generator which generates a frame synchronization signal at the timing shown in FIG. The frame synchronization signal is input to the LEDs 102a, 102b and 102c or the laser drive amplifier, and the red LED (R), the green LED (G) and the blue LED (B) shown in 103a, 103b and 103c are turned on. Each LED irradiates the sample 105. As shown in FIG. 3, the timing of lighting is such that 301 R pulse signal is ON from time t1 to t2, similarly 302 G pulse signal is ON from time t2 to t3, and similarly 303 B pulse signal. Becomes ON from time t3 to t4, and then the signal repeats the operations of 301 to 303.
Although the synchronization signal is continuously generated, the synchronization operation actually required is only three frames of RGB in an arbitrary period.

104のB/W(白黒)CCDカメラの垂直同期信号104bから101の同期信号発生器において1/30秒の同期パルス信号、すなわち上記のフレーム同期信号を生成している。LEDにて照射された試料105の画像はB/Wカメラ104のCCDで撮像され104aの映像出力信号を得る。出力信号はR,G,Bのフレーム画像に合成するためスイッチャー106に送られ、107のビデオアンプで規定信号レベルにする。その信号出力108は次の画像処理部へ引き継がれる。   A synchronizing signal generator 104 generates a 1/30 second synchronizing pulse signal, that is, the frame synchronizing signal described above, in the vertical synchronizing signal 104b to 101 of the 104 B / W (monochrome) CCD camera. The image of the sample 105 irradiated by the LED is picked up by the CCD of the B / W camera 104, and a video output signal of 104a is obtained. The output signal is sent to the switcher 106 to be combined with the R, G, B frame images, and is set to the specified signal level by the video amplifier 107. The signal output 108 is transferred to the next image processing unit.

図2は、試料を照明するレーザ光源ブロックを示す。202はレーザ1、203はコリメーティングレンズ1、204はレーザ2、205はコリメーティングレンズ2、206はレーザ3、207はコリメーティングレンズ3である。各レーザから出射した光は各コリメーティングレンズにより平行光に変換され、201のX−cubeプリズムに入射し、208の照明光出力として、混合光が得られる。
例えば、3種類のレーザ202、204、206にR(赤),G(緑),B(青)光を発するデバイスを用いた時には、208の照明光は白色光となる。このブロックから出力される光208が試料を照射し、反射光あるいは透過光が光学系を経由して、光センサーに導かれる。図1においては照明用光源はLEDを用いて説明したが、レーザを光源を用いた方が、光源の波長の広がりが少なく,純度の高い光が得られ、顕微鏡による観察には好ましい。また各レーザ1,2,3の波長は試料の種類により選択することが可能である。
FIG. 2 shows a laser light source block for illuminating the sample. Reference numeral 202 denotes a laser 1, 203 denotes a collimating lens 1, 204 denotes a laser 2, 205 denotes a collimating lens 2, 206 denotes a laser 3, and 207 denotes a collimating lens 3. The light emitted from each laser is converted into parallel light by each collimating lens, enters the X-cube prism 201, and mixed light is obtained as an illumination light output 208.
For example, when a device that emits R (red), G (green), and B (blue) light is used for the three types of lasers 202, 204, and 206, the illumination light 208 becomes white light. Light 208 output from the block irradiates the sample, and reflected light or transmitted light is guided to the optical sensor via the optical system. In FIG. 1, the illumination light source has been described using an LED. However, the use of a laser as the light source is preferable for observation with a microscope because the wavelength of the light source is small and high-purity light is obtained. The wavelength of each laser 1, 2, 3 can be selected according to the type of sample.

図4は、本発明のI/F(インターフェース)及び画像処理の原理を示すブロック図を示す。
図4において、図1の回路部からの出力108で示すRGB信号が入力端子401に入力され、401は入力I/F 402を通り、ビットマップなどのフォーマットによりメモリ403に蓄積される。メモリからフレーム切り替え404で呼び出されたR,G,B画像はさらにR(赤)チャンネル、G(緑)チャンネル、B(青)チャンネルのカラーチャンネル405が抽出され、それぞれ405a、405b、405cの画像メモリに入力され、406のRGB画像が得られることになる。この画像は407の表示装置で確認することが可能である。
FIG. 4 is a block diagram showing the principle of I / F (interface) and image processing of the present invention.
In FIG. 4, an RGB signal indicated by an output 108 from the circuit unit in FIG. 1 is input to an input terminal 401, 401 passes through an input I / F 402, and is stored in a memory 403 in a format such as a bitmap. The R, G, and B images called from the memory by frame switching 404 are further extracted with color channels 405 of R (red) channel, G (green) channel, and B (blue) channel, and images of 405a, 405b, and 405c, respectively. It is input to the memory, and 406 RGB images are obtained. This image can be confirmed on the display device 407.

次に作用を説明する。
顕微鏡にて観察すべき試料は、実験室などの自然光では拡大観察を条件とするために光量が不足するため専用光源が必要である。本発明ではその光源を赤色(R)、緑色(G)、青色(B)を時間的に異なるタイミングで別々に試料に照射する。照射された像はB/W(白黒)カメラで捕らえられ、赤色を、緑色を、青色をそれぞれ照射した場合の輝度がCCD素子を通じて電気信号に変換されて画像処理部へ送られそれぞれの色濃度でカラー合成表現される。
また本発明は接眼目視で行なうシステムではないため、R−G−Bの連続光を直接観察するものではなく、表示装置にその結果を導くため、光源の輝度が強すぎて目に悪影響を与えるなど、視覚的な弊害は与えない。
Next, the operation will be described.
A sample to be observed with a microscope requires a dedicated light source because the amount of light is insufficient because natural light in a laboratory or the like is subject to magnification observation. In the present invention, the sample is irradiated with red (R), green (G), and blue (B) light sources separately at different timings. The irradiated image is captured by a B / W (black and white) camera, and the luminance when red, green, and blue are irradiated is converted into an electrical signal through a CCD element and sent to an image processing unit to be sent to each color density. In color composition expression.
In addition, since the present invention is not a system that performs visual inspection with an eyepiece, it does not directly observe continuous RGB light, but leads the result to the display device. It does not give visual harm.

本発明は、例えば赤色LED(あるいはレーザ)が試料を照射すれば、B/Wカメラを用いても結果として表示装置に赤色の像を再現することが可能となるシステムである。
このためには、図1の101で示す同期信号発生器が正確なタイミングでLEDを発光させると同時にその発光区間の画像を得る同期動作が重要である。
104のB/Wカメラとしては、例えばCCDビデオカメラを使用できる。図1の実施例では、このB/WカメラはTV映像信号出力を利用しており、垂直同期信号104bにより1/30秒の1フレームを得ることができる。同時にそれと同じタイミングにより103a、103b、103cのR,G,BのLEDが102a、102b、102cの駆動アンプにより電流が与えられ順次点灯する。106のスイッチャーにおいて同期信号が104aの映像出力信号をコントロールさせ、LED点灯とフレームは同期することになる。この処理された映像信号はビデオアンプで規定のレベルに調整され、R映像、G映像、B映像のパラレル出力108として次の画像処理部へ送られる。
The present invention is a system capable of reproducing a red image on a display device as a result even if a B / W camera is used, for example, when a red LED (or laser) irradiates a sample.
For this purpose, it is important that the synchronizing signal generator 101 shown in FIG. 1 emits the LED at an accurate timing and simultaneously obtains an image of the light emitting section.
As the B / W camera 104, for example, a CCD video camera can be used. In the embodiment of FIG. 1, this B / W camera uses a TV video signal output, and one frame of 1/30 second can be obtained by the vertical synchronization signal 104b. At the same time, the R, G, and B LEDs 103a, 103b, and 103c are sequentially turned on by being supplied with current by the drive amplifiers 102a, 102b, and 102c at the same timing. In the switcher 106, the synchronization signal controls the video output signal 104a, and the LED lighting and the frame are synchronized. The processed video signal is adjusted to a prescribed level by a video amplifier, and sent to the next image processing unit as a parallel output 108 of R video, G video, and B video.

図4において、図1の回路部からのRGBパラレル入力401は物理インターフェースである入力I/F(インターフェース)402を通り、1画像が1フレームとしてシステム内で読み取り可能なビットマップなどの静止画画像に変換されメモリ403に蓄積される。メモリからフレーム切り替え404で呼び出されたR,G,B画像はさらにR(赤)チャンネル、G(緑)チャンネル、B(青)チャンネルのカラーチャンネル405が抽出され、それぞれ405a、405b、405cのメモリに蓄積される。その出力はフルカラー表示である406のRGB画像が得られることになる。この画像は画像モニターなどのディスプレイ表示装置407でモニターすることが可能である。   4, an RGB parallel input 401 from the circuit unit of FIG. 1 passes through an input I / F (interface) 402 that is a physical interface, and a still image image such as a bitmap that can be read in the system as one frame as one frame. And stored in the memory 403. The R, G, and B images called out by the frame switching 404 from the memory further extract the color channels 405 of the R (red) channel, the G (green) channel, and the B (blue) channel, and the memories of 405a, 405b, and 405c, respectively. Accumulated in. The output is a 406 RGB image which is a full color display. This image can be monitored by a display device 407 such as an image monitor.

以下、図5、図6及び図3を用いて、本発明の第2の実施例を説明する。
図5は、本発明の一実施例を示すブロック図を示す。
図5において、501はカウンタで、クロック信号によりONになる区間が異なった出力を発生させるものであり、502はLED点灯テスト用のクロック信号発生器でその周期は502aのフリッカー調整トリマにより可変できる。クロックのタイミングは前記実施例1で説明した図3と同じである。
RGBのLEDは試料の上反射光用LEDブロック508と、下透過光用LEDブロック509の2箇所に配置し、その切り替えを503の上下LED切り替えスイッチにて行なう。
各LEDブロックは上反射光用LEDドライバ504と、下透過光用LEDドライバ505により駆動電流が与えられ、各LEDは506上反射光光度調整用トリマおよび507下透過光光度調整用トリマにて光度調整が可能である。
508または509のLEDブロックで照射された試料511は510のB/Wカメラで撮影され映像信号は510aで出力され、垂直同期信号は510bで出力される。510bの同期信号は510cの1/2分周器で半分の周波数にされる。分周された信号は502のテスト用クロック発生器と512LED点灯テスト用スイッチで切り替えられ、501のカウンタへ送られる。尚、513の焦点調整用白色光発生スイッチを用いて、クロックに無関係な直流点灯をさせた場合には、RGBのLEDは同時に点灯するので白色光が得られ、焦点調整に都合がよい。
The second embodiment of the present invention will be described below with reference to FIGS.
FIG. 5 shows a block diagram illustrating an embodiment of the present invention.
In FIG. 5, reference numeral 501 designates a counter for generating an output with different intervals depending on the clock signal, 502 is a clock signal generator for LED lighting test, and its cycle can be varied by a flicker adjustment trimmer 502a. . The clock timing is the same as in FIG. 3 described in the first embodiment.
RGB LEDs are arranged in two places, an upper reflected light LED block 508 and a lower transmitted light LED block 509, and switching is performed by an upper / lower LED changeover switch 503.
Each LED block is supplied with a drive current by an upper reflected light LED driver 504 and a lower transmitted light LED driver 505, and each LED has a luminous intensity by an upper reflected light intensity adjustment trimmer 506 and a lower transmitted light intensity adjustment trimmer 507. Adjustment is possible.
The sample 511 irradiated by the LED block 508 or 509 is photographed by the 510 B / W camera, the video signal is output at 510a, and the vertical synchronization signal is output at 510b. The sync signal 510b is halved by the ½ divider of 510c. The frequency-divided signal is switched by 502 test clock generator and 512 LED lighting test switch and sent to the counter 501. In addition, when the white light generation switch for focus adjustment 513 is used for direct current lighting unrelated to the clock, the RGB LEDs are simultaneously lighted, so that white light is obtained, which is convenient for focus adjustment.

510aの映像出力信号はカウンタ501の信号により514のビデオスイッチをスイッチングし、LEDを駆動する信号に同期した出力を得る。その出力は515映像出力レベルトリマにより規定レベルに調整されビデオアンプ516を経てインターフェース517へ送られる。出力518はRGB画像出力信号として画像処理部へ接続される。
また映像出力から519のビデオ同期信号分離回路を通りコンポジット同期信号520が得られ、次段I/Fの同期用に用いられる。
The video output signal 510a switches the video switch 514 by the signal of the counter 501, and obtains an output synchronized with the signal for driving the LED. The output is adjusted to a specified level by a 515 video output level trimmer and sent to an interface 517 through a video amplifier 516. The output 518 is connected to the image processing unit as an RGB image output signal.
Also, a composite sync signal 520 is obtained from the video output through the video sync signal separation circuit 519 and used for the synchronization of the next stage I / F.

図5に示す本実施例2は、前述した実施例1を発展させた構成であり、反射・透過光選択機能、LED光度個別調整機能、LED任意周期設定機能、LED照射テスト機能、焦点調整用白色光発生機能、映像信号個別調整機能など付加された実使用に則したユーザインターフェースを備えている。   The second embodiment shown in FIG. 5 is a configuration obtained by developing the first embodiment, and includes a reflection / transmission light selection function, an LED light intensity individual adjustment function, an LED arbitrary period setting function, an LED irradiation test function, and a focus adjustment function. It has a user interface that conforms to actual use, such as a white light generation function and a video signal individual adjustment function.

図6は、本発明のI/F及び画像処理の原理を示すブロック図を示す。図5からの信号出力518は、641入力からA/Dコンバータ642でデジタル信号に変換され、643のフレームメモリに一時保存される。画像信号は644のPCIバスマスターI/Fによりシステムに送られフレームはフレーム切り替え645で順次選択され画像を取り込み、646の画像コントローラ1によりメモリ648に保存される。画像ファイルはメモリ648から647の画像コントローラ2により読み出され、R,G,B画像はさらに649aのR(赤)チャンネル、649bのG(緑)チャンネル、649cのB(青)チャンネルの649カラーチャンネルに送出される。カラー画像は650の画像解析装置により色分布状況など所望のパラメータで解析することが可能である。解析結果やカラー画像、カラーチャンネルは651の表示装置で観察可能である。もちろんRGBカラー画像のままで利用することも可能である。   FIG. 6 is a block diagram showing the principle of I / F and image processing of the present invention. The signal output 518 from FIG. 5 is converted from a 641 input to a digital signal by an A / D converter 642 and temporarily stored in a 643 frame memory. The image signal is sent to the system by the 644 PCI bus master I / F, and the frames are sequentially selected by the frame switching 645 and the images are taken in. The images are stored in the memory 648 by the image controller 1 646. The image file is read from the memory 648 by the image controller 2 of 647, and the R, G, B images are further 649 colors of the R (red) channel of 649a, the G (green) channel of 649b, and the B (blue) channel of 649c. Sent to the channel. The color image can be analyzed with a desired parameter such as a color distribution state by an image analysis apparatus 650. The analysis result, the color image, and the color channel can be observed with the display device 651. Of course, RGB color images can be used as they are.

本発明は、例えば赤色LEDが試料を照射すれば、B/Wカメラを用いても結果として表示装置に赤色の像を再現することが可能となるシステムである。
このためには、図5の501で示すカウンタが正確なタイミングでLEDを発光させると同時にその発光区間の画像を510のB/Wカメラで得る同期動作が重要である。B/Wカメラは静止画像を得るためのデジタルカメラではなく、いわゆるCCDビデオカメラであり、EIA規格のTV映像信号出力、ビデオ映像出力信号510aを持っている。そのカメラで得られる垂直同期信号510bを510cの1/2分周器で分周することにより1/30秒の1フレームを得ることができ508、509の各LEDブロックの点滅に利用でき映像信号と同期が可能となる。
501のカウンタでは1/30秒のクロックでON−OFFが繰り返され、図3に示すタイミングでR,G,B毎のチャンネルで出力される。R−G−Bの出力の次にはリセットが働き、再度R−G−Bの動作に戻る。それぞれのタイミングに要する時間(t1−t2−t3−t4各区間)は約0.1マイクロ秒程度以下であり動作に悪影響は与えない。
502の点灯テスト用クロック発生器ではタイマー動作により1/30秒のクロック以外の周期を発生させ、個々のLED発光テスト、システムチェックや光度測定に利用できる。周期の可変は502aのフリッカー周波数調整トリマにて行なえる。カメラからの信号とテスト用クロック発生器からの信号は512のLED点灯用スイッチで切り替えて使用できる。
The present invention is a system that can reproduce a red image on a display device as a result even if a B / W camera is used, for example, when a red LED irradiates a sample.
For this purpose, it is important to perform a synchronous operation in which the counter 501 in FIG. 5 causes the LED to emit light at an accurate timing and at the same time obtain an image of the light emission section with the 510 B / W camera. The B / W camera is not a digital camera for obtaining a still image, but a so-called CCD video camera, and has an EIA standard TV video signal output and video video output signal 510a. One frame of 1/30 second can be obtained by dividing the vertical synchronizing signal 510b obtained by the camera with a ½ divider of 510c and can be used for blinking of the LED blocks 508 and 509. And can be synchronized.
In the counter 501, ON / OFF is repeated at a clock of 1/30 seconds, and the signals are output on channels for R, G, and B at the timing shown in FIG. Next to the output of RGB, a reset works, and the operation returns to RGB again. The time required for each timing (each interval of t1-t2-t3-t4) is about 0.1 microsecond or less and does not adversely affect the operation.
The lighting test clock generator 502 generates a period other than a 1/30 second clock by a timer operation and can be used for individual LED light emission tests, system checks, and light intensity measurements. The period can be varied by the flicker frequency adjustment trimmer 502a. The signal from the camera and the signal from the test clock generator can be switched and used with 512 LED lighting switches.

光源LEDは上反射光用と下透過光用の2つを装備することによって試料観察に都合がよい。2つのLED光源は503上下LED切り替えスイッチで切り替えが行なえる。カウンタの出力はRGBの3チャンネル分が、それぞれ504上反射光用LEDドライバと、505下透過光用LEDドライバのR,G,B用(504a、504b、504cおよび505a、505b、505c)に与えられ、前記図3に示すタイミングで各LED用電流が与えられる。
各LEDの電流は光度に影響を与えるため、個別LED毎に電流を調整可能とするため506上反射光光度調整用トリマと507下透過光光度調整用トリマを設け、RGBのバランスを調整する。LEDは508の上反射光用LEDブロックと509の下透過光用LEDブロックから成り、それぞれR―LEDチップ508a、G―LEDチップ508b、B―LEDチップ508cおよびR―LEDチップ509a、G―LEDチップ509b、B―LEDチップ509cから構成される。
The light source LED is convenient for sample observation by being equipped with two light sources for upper reflected light and lower transmitted light. The two LED light sources can be switched with a 503 up / down LED selector switch. The output of the counter for three RGB channels is given to the LED driver for reflected light 504 and the LED driver for transmitted light 505, R, G, B (504a, 504b, 504c and 505a, 505b, 505c), respectively. Each LED current is applied at the timing shown in FIG.
Since the current of each LED affects the luminous intensity, a reflected light luminous intensity adjustment trimmer 506 and a transmitted luminous intensity adjustment trimmer 507 are provided to adjust the current balance for each individual LED to adjust the RGB balance. The LED is composed of an LED block for upper reflected light 508 and an LED block for lower transmitted light 509, which are R-LED chip 508a, G-LED chip 508b, B-LED chip 508c, R-LED chip 509a, and G-LED, respectively. A chip 509b and a B-LED chip 509c are included.

513の焦点調整用白色光発生スイッチは、510cカウンタや502点灯テスト用クロック発生器で生成されたクロックをハイレベルの連続である直流に変え、LEDをRGB各色同時に発光させ色の混合を行なうもので、結果として白色光源が得られる。これにより、後述の表示装置に現れるR,G,Bの点滅による視覚的弊害を除き、焦点の調整を容易にするものである。尚、この白色光はRGBの点滅時と明るさが視覚的に相違なくするためにスイッチON時の混合ゲインを調整する機能も備えている。また、この機能で光源が確実に白色が得られるように506、507のトリマで各LEDの光量を調整することで容易に色バランス合わせを可能にしている。   The white light generation switch for focus adjustment 513 changes the clock generated by the 510c counter or the 502 lighting test clock generator to a continuous high-level direct current, and causes the LEDs to emit light at the same time to mix the colors of RGB. As a result, a white light source is obtained. This facilitates the adjustment of the focus except for the visual detriment caused by the blinking of R, G, and B appearing on the display device described later. The white light also has a function of adjusting the mixing gain when the switch is turned on in order to make the brightness visually different from that when RGB blinks. Also, color balance can be easily adjusted by adjusting the light quantity of each LED with a trimmer of 506 and 507 so that the light source can surely obtain a white color with this function.

LEDブロックで照射された試料511の映像は前記510のB/Wカメラで510aビデオ映像出力信号を得、514のビデオスイッチに送られ、前記510bの同期信号からの分周で得られた501のカウンタのクロックでスイッチングされ1フレーム毎に割り振られる。結果としてR,G,B照射に対応したの各フレームが得られる。スイッチ後の信号は516のビデオアンプへ送られ規定のレベルに変換され画像信号出力インターフェース517で出力518される。R,G,Bの各信号を人間が認識可能な色と物理量としての分光特性を関連付ける比視感度曲線に対応させた光の割合で混合させることにより視覚的に正しい色が感じられる。
この関係は、E=0.3Er+0.59Eg+0.11Eb
ただし、
:輝度信号の電圧値
Er,Eg,Eb:RGB3原色の電圧値
となるため、515の画像出力レベル調整トリマでRは515aトリマ、Gは515bトリマ、Bは515cトリマにて上記比率の電圧値調整が可能なようにしている。
The image of the sample 511 irradiated by the LED block is obtained by the 510 B / W camera, the 510a video image output signal is obtained, sent to the video switch 514, and the frequency of 501 obtained by frequency division from the synchronizing signal of the 510b. It is switched by the clock of the counter and assigned every frame. As a result, each frame corresponding to R, G, B irradiation is obtained. The signal after the switch is sent to a video amplifier 516, converted to a specified level, and output 518 by an image signal output interface 517. By mixing the R, G, and B signals at a ratio of light corresponding to a relative visibility curve that associates a human-recognizable color with a spectral characteristic as a physical quantity, a visually correct color can be felt.
This relationship is expressed as E k = 0.3Er + 0.59Eg + 0.11Eb
However,
E k : Voltage value of luminance signal Er, Eg, Eb: Since it is a voltage value of RGB three primary colors, R is a 515a trimmer, G is a 515b trimmer, B is a 515b trimmer, and B is a 515c trimmer. The voltage value can be adjusted.

図6のI/F、画像処理部詳細ブロック図において、図5の回路部からの映像信号は641入力として画像処理が行なわれる。図6は651の表示装置を除き電子計算機システムを用いて処理される。
入力はアナログRGB信号であるため、計算機内で処理できるようまずデジタル変換される。
この信号は指定の画素に対応した記憶装置であるフレームバッファ、フレームメモリ643に記憶され画像表示に利用される。電子計算機の内部バスインターフェース、バスマスター644を通じてシステム内部に取り込まれ、645のフレーム切り替えで必要なフレームを選択し切り替えて、1フレームが1画像としてファイル化され管理される。画像は646の画像コントローラ1で画像を取り込み、画像フォーマットファイルセーブ機能で648のメモリへ保存され、画像処理用にメモリから647の画像コントローラ2の画像ファイルロード機能で相当するファイルが読み出される。
画像ファイルはR,G,Bの3種類各1ファイルが読み出され、各ファイルはそれぞれ649のカラーチャンネルはRカラーチャンネル649a、Gカラーチャンネル649b、Bカラーチャンネル649cとして蓄積される。
観察結果はディスプレイなどの651表示装置、で表示され、RGB画像や各カラーチャンネル画像、さらに解析結果を表示することができる。また、リアルタイムでの画像観察や焦点確認調整、色調整などが表示装置上の像により行なうことが可能である。なお以上の説明は顕微鏡を例にとり説明したが、同じ構成を有する撮像装置であれば、スタジオ等で使用するカメラにも適用可能であり顕微鏡に限定するものではない。
In the detailed block diagram of the I / F and image processing unit in FIG. 6, the video signal from the circuit unit in FIG. FIG. 6 is processed using an electronic computer system except for the display device 651.
Since the input is an analog RGB signal, it is first digitally converted so that it can be processed in the computer.
This signal is stored in a frame buffer or frame memory 643 which is a storage device corresponding to the designated pixel and used for image display. The data is taken into the system through the internal bus interface of the electronic computer, the bus master 644, and a necessary frame is selected and switched by switching the frame 645, and one frame is filed and managed as one image. The image is captured by the image controller 1 646, stored in the memory 648 by the image format file save function, and a corresponding file is read from the memory by the image file load function of the image controller 2 647 for image processing.
Three types of image files, R, G, and B, are read out, and each file stores 649 color channels as an R color channel 649a, a G color channel 649b, and a B color channel 649c.
The observation result is displayed on a 651 display device such as a display, and an RGB image, each color channel image, and an analysis result can be displayed. In addition, real-time image observation, focus confirmation adjustment, color adjustment, and the like can be performed using the image on the display device. Although the above description has been given taking a microscope as an example, any imaging device having the same configuration can be applied to a camera used in a studio or the like and is not limited to a microscope.

図7は第3の実施例である走査レーザ顕微鏡の1実施例を示すブロック図である。
図7において、702はレーザ走査部で試料701を照射する。レーザビーム走査部は702cのレーザ光源と702dの対物レンズを一体に構成し、702bのレーザ走査アクチュエータにより702dの対物レンズから出射するレーザビームを試料701上のX,Yの2次元方向に走査する。701は観測する対象の試料、703は白色光源である。703の白色光源から出射した光は、704の集光レンズにより平行光に変換され705のビームスプリッタ1を経由し706の対物レンズで試料を照射する。照射された試料の反射光は705のビームスプリッタ1を経由し、710の光学フィルタを経由し、711のCCDカメラにより701の試料が撮影される。
FIG. 7 is a block diagram showing one embodiment of a scanning laser microscope according to the third embodiment.
In FIG. 7, reference numeral 702 denotes a laser scanning unit that irradiates a sample 701. The laser beam scanning unit integrally configures a laser light source 702c and an objective lens 702d, and scans a laser beam emitted from the objective lens 702d in the two-dimensional directions of X and Y on the sample 701 by a laser scanning actuator 702b. . Reference numeral 701 denotes a sample to be observed, and reference numeral 703 denotes a white light source. The light emitted from the white light source 703 is converted into parallel light by the condenser lens 704, and irradiates the sample with the objective lens 706 via the beam splitter 1 705. The reflected light of the irradiated sample passes through the beam splitter 1 705, passes through the optical filter 710, and the sample 701 is photographed by the CCD camera 711.

次に動作について図8、図9を用い説明する。
図8は、レーザ走査顕微鏡のブロック図である。801はパルス発生器で、802は変調器、803はレーザ駆動増幅器である。805は同期信号発生器で、図1のCCDカメラに用いたものと同種のものである。806は分周器で805の周期信号発生器の出力を分周し、807のアクチュエータX方向駆動増幅器に入力し、702bのレーザ走査アクチュエータを駆動しX方向に変位させる。同様に805の同期信号発生器の出力を分周し、809のアクチュエータY方向駆動増幅器に入力し、702bのレーザ走査アクチュエータを駆動しY方向に変位させる。
本実施例ではX方向の走査周波数は、例えば数100Hz,Y方向の走査周波数は数Hzとした。この走査周波数は、アクチュエータの特性に適合させることが望ましい。808は速度推定器であり、807のアクチュエータX方向の駆動入力を微分し、804のCPUにより、アクチュエータの走査速度を推定する。804はCPUであり、前述した動作を制御する。
Next, the operation will be described with reference to FIGS.
FIG. 8 is a block diagram of a laser scanning microscope. Reference numeral 801 denotes a pulse generator, reference numeral 802 denotes a modulator, and reference numeral 803 denotes a laser drive amplifier. Reference numeral 805 denotes a synchronization signal generator which is the same type as that used in the CCD camera of FIG. A frequency divider 806 divides the output of the periodic signal generator 805 and inputs it to an actuator X-direction drive amplifier 807 to drive the laser scanning actuator 702b and displace it in the X direction. Similarly, the output of the synchronization signal generator 805 is divided and input to the actuator Y-direction drive amplifier 809, and the laser scanning actuator 702b is driven and displaced in the Y-direction.
In this embodiment, the scanning frequency in the X direction is, for example, several hundred Hz, and the scanning frequency in the Y direction is several Hz. This scanning frequency is preferably adapted to the characteristics of the actuator. Reference numeral 808 denotes a speed estimator, which differentiates the drive input in the actuator X direction of 807 and estimates the scanning speed of the actuator by the CPU 804. A CPU 804 controls the above-described operation.

図9はタイミングチャートであり、図8の変調器802の出力を903の変調器出力波形として示す、807のアクチュエータ駆動増幅器の出力波形は、901のアクチュエータ駆動波形、808の速度推定器出力波形は、波形902に示されている。
図9の横軸は時刻904を、縦軸は、信号振幅905を示している。変調器802の出力は、808の速度推定器の出力に比例し、パルス間隔906あるいはパルス幅、パルス振幅905を変化させる。ここで、パルス間隔を変化させる場合はパルス周波数変調と呼ぶ。ここで用いた速度推定器は、例えば901のアクチュエータ駆動波形を微分する微分器を用いることにより得られる。またアクチュエータ可動部に磁気コイルとマグネットの組み合わせによる速度検出器を設け、速度を測定することも可能である。
FIG. 9 is a timing chart showing the output of the modulator 802 of FIG. 8 as the modulator output waveform of 903. The output waveform of the actuator drive amplifier of 807 is the actuator drive waveform of 901, and the output waveform of the speed estimator of 808 is , Shown in waveform 902.
In FIG. 9, the horizontal axis indicates time 904 and the vertical axis indicates signal amplitude 905. The output of the modulator 802 is proportional to the output of the velocity estimator 808 and changes the pulse interval 906 or the pulse width and pulse amplitude 905. Here, when the pulse interval is changed, it is called pulse frequency modulation. The speed estimator used here is obtained, for example, by using a differentiator that differentiates 901 actuator drive waveforms. It is also possible to measure the speed by providing a speed detector with a combination of a magnetic coil and a magnet in the actuator movable part.

また変調器出力903のパルス間隔906は808の速度推定器の出力に反比例するように変化させる。すなわち走査速度が大きい時には、パルス間隔を短く、パルス周波数は大きく設定する。
以上のように変調波形を制御することにより、アクチュエータにより走査されるレーザビームと試料上を走査した時の、単位時間当りのレーザビームエネルギーを一定にすることができる。このようにすることにより、試料に与えるレーザビームのエネルギーにより、試料が損傷することがないように出来る。
すなわち、アクチュエータはX軸方向に変位させられた時、変位の始点、終点においては、試料に対するレーザビームの相対速度が0となる。また相対速度は、図9に示すt1,t3の中間点で最大となり、走査レーザパワーの単位時間エネルギーは最小となる(図9のt2で示す)。このため、レーザビームパルスを変調しない時には、レーザビームのエネルギーにより、試料に熱による損傷を与えてしまう。これを回避するため、本発明では、レーザビームをパルス幅変調および振幅変調し、単位時間の試料を走査した時の単位時間当たりのレーザ照射エネルギーを一定値に制御している。
The pulse interval 906 of the modulator output 903 is changed so as to be in inverse proportion to the output of the speed estimator 808. That is, when the scanning speed is high, the pulse interval is set short and the pulse frequency is set high.
By controlling the modulation waveform as described above, the laser beam scanned by the actuator and the laser beam energy per unit time when the sample is scanned can be made constant. By doing so, the sample can be prevented from being damaged by the energy of the laser beam applied to the sample.
That is, when the actuator is displaced in the X-axis direction, the relative speed of the laser beam with respect to the sample becomes zero at the start and end points of the displacement. Further, the relative speed becomes maximum at the intermediate point between t1 and t3 shown in FIG. 9, and the unit time energy of the scanning laser power becomes minimum (indicated by t2 in FIG. 9). Therefore, when the laser beam pulse is not modulated, the sample is damaged by heat due to the energy of the laser beam. In order to avoid this, in the present invention, the laser beam is subjected to pulse width modulation and amplitude modulation, and the laser irradiation energy per unit time when the unit time sample is scanned is controlled to a constant value.

次にレーザビームが試料を走査する際に、走査位置を検出する必要がある。このため、試料を配置する位置に図10に示すXY方向にグルーブを設けた校正用ガラス板を置き、試料を観察する前にレーザビームをXY方向に走査し、CCDの出力をAD変換し、半導体メモリ上に記憶する。   Next, when the laser beam scans the sample, it is necessary to detect the scanning position. For this reason, a glass plate for calibration having grooves in the XY directions shown in FIG. 10 is placed at the position where the sample is arranged, the laser beam is scanned in the XY direction before observing the sample, and the output of the CCD is AD converted, Store on the semiconductor memory.

図10は、校正用ガラス板を示す図面である。図10において、1001はガラス板、1002はX軸方向のプリグルーブを示す。このガラス板上には、X軸方向に5μm間隔にプリグルーブと呼ばれる溝を設けてある。1003は同じくY軸方向のプリグルーブであり、例えば10μm間隔で、溝が設けてある。
この校正用ガラス板を、顕微鏡の試料の位置に置き、試料観察に先立って、レーザビームを走査すると、CCD画面にX,Y軸方向のスジとなって表示され、レーザビームの走査位置を知ることが出来る。もちろん、試料を校正用のガラス板上に載置して、観察しても良い。その時には観察対象の試料の大きさを知ることが出来る。
FIG. 10 shows a calibration glass plate. In FIG. 10, reference numeral 1001 denotes a glass plate, and 1002 denotes a pre-groove in the X-axis direction. On this glass plate, grooves called pregrooves are provided at intervals of 5 μm in the X-axis direction. 1003 is also a pre-groove in the Y-axis direction, and grooves are provided, for example, at intervals of 10 μm.
When this calibration glass plate is placed at the sample position of the microscope and scanned with a laser beam prior to sample observation, it is displayed as a streak in the X and Y axis directions on the CCD screen, and the laser beam scanning position is known. I can do it. Of course, the sample may be placed on a glass plate for calibration and observed. At that time, the size of the sample to be observed can be known.

図7の走査型レーザ顕微鏡を使用するときの操作に関して説明する。
最初、703の白色光源を点灯し、701の試料から反射する光を710の光学フィルタを経由して、711のCCDカメラにより撮影する。次に、702cのレーザを点灯し、701の試料の目的とする部分を照射し、その透過光を対物レンズ706、結像レンズ707を経て、710の光学フィルタを走査レーザ光が711のCCDカメラにより検出できるように設定し、観測する。また709の接眼レンズにより708のビームスプリッタ2を経由した像を観察することも可能である。
この時、レーザビームスポットは、数μm以下に設定できるので、試料の詳細を観測できる。もちろん、試料を蛍光体により、着色した場合においては、その蛍光体が発色する光を、710の光学フィルタにより選択的に観測できる。図7においては図示していないが、702dの対物レンズを試料に対して垂直方向に変位させ、フォーカス制御を行なうことが可能である。この時には、702dの対物レンズと試料701の間の距離を測定し、距離を自動的に一定に制御することも出来る。
The operation when using the scanning laser microscope of FIG. 7 will be described.
First, the white light source 703 is turned on, and the light reflected from the sample 701 is photographed by the CCD camera 711 via the optical filter 710. Next, the laser of 702c is turned on, the target portion of the sample of 701 is irradiated, the transmitted light passes through the objective lens 706 and the imaging lens 707, and the optical filter of 710 is scanned by the CCD camera of 711. Set so that it can be detected by, and observe. It is also possible to observe an image via the beam splitter 2 708 with the eyepiece 709.
At this time, since the laser beam spot can be set to several μm or less, the details of the sample can be observed. Of course, when the sample is colored with a phosphor, the light generated by the phosphor can be selectively observed with the optical filter 710. Although not shown in FIG. 7, it is possible to perform focus control by displacing the objective lens 702d in a direction perpendicular to the sample. At this time, the distance between the objective lens 702d and the sample 701 can be measured, and the distance can be automatically controlled to be constant.

本発明の原理である、試料が反射した光をCCDカメラにより撮影する原理をブロック図で示したものである。FIG. 2 is a block diagram illustrating the principle of photographing the light reflected by a sample with a CCD camera, which is the principle of the present invention. 本発明の電子カメラにおける照明部、試料を照明するレーザ光源を示したブロック図である。It is the block diagram which showed the illumination part in the electronic camera of this invention, and the laser light source which illuminates a sample. R(赤)、G(緑)、B(青)のLED点灯用パルスのタイミングチャートである。It is a timing chart of the LED lighting pulse of R (red), G (green), and B (blue). 本発明のI/F及び画像処理部の原理をブロック図で示している。The principle of the I / F and the image processing unit of the present invention is shown in a block diagram. 本発明の一実施例の詳細ブロック図である。It is a detailed block diagram of one Example of this invention. 本発明のI/F及び画像処理部の原理を示したブロック図である。It is the block diagram which showed the principle of I / F of this invention, and an image process part. 本発明の第3の実施例であるレーザ走査顕微鏡の構成を図示したものである。FIG. 3 illustrates a configuration of a laser scanning microscope according to a third embodiment of the present invention. FIG. レーザ走査顕微鏡のブロック図である。It is a block diagram of a laser scanning microscope. レーザ走査顕微鏡のアクチュエータ駆動波形901、速度推定器出力902、変調器出力903を示すタイミングチャートである。It is a timing chart which shows the actuator drive waveform 901, speed estimator output 902, and modulator output 903 of a laser scanning microscope. レーザ走査顕微鏡用の位置校正用ガラス板を図示したものである。1 is a diagram illustrating a glass plate for position calibration for a laser scanning microscope. 従来の電子カメラ光学系をブロック図示したものである。1 is a block diagram of a conventional electronic camera optical system.

符号の説明Explanation of symbols

101 同期信号発生器
102 LEDドライバ
102a LED(R)駆動アンプ
102b LED(G)駆動アンプ
102c LED(B)駆動アンプ
103 LEDブロック
103a LED(R)
103b LED(G)
103c LED(B)
104 B/Wカメラ
104a 映像出力信号
104b 垂直同期信号
105 試料
106 スイッチャー
107 ビデオアンプ
108 出力
201 X−Cubeプリズム
202 レーザ1
203 コリメーティングレンズ1
204 レーザ2
205 コリメーティングレンズ2
206 レーザ3
207 コリメーティングレンズ3
208 照明光出力
301 Rパルス信号
302 Gパルス信号
303 Bパルス信号
401 入力
402 入力I/F
403 メモリ
404 フレーム切替器
405 カラーチャンネル
405a 画像メモリ(R)
405b 画像メモリ(G)
405c 画像メモリ(B)
406 RGB画像
407 表示装置
501 カウンタ
502 点灯テスト用クロック発生器
502a フリッカー周波数調整トリマ
503 上下LED切替スイッチ
504 上反射光用LEDドライバ
504a R―LEDドライバ
504b G―LEDドライバ
504c B―LEDドライバ
505 下透過光用LEDドライバ
505a R―LEDドライバ
505b G―LEDドライバ
505c B―LEDドライバ
506 上反射光光度調整用トリマ
506a R―LED用トリマ
506b G―LED用トリマ
506c B―LED用トリマ
507 下透過光光度調整用トリマ
507a R―LED用トリマ
507b G―LED用トリマ
507c B―LED用トリマ
508 上反射光用LEDブロック
508a R―LEDチップ
508b G―LEDチップ
508c B―LEDチップ
509 下透過光用LEDブロック
509a R―LEDチップ
509b G―LEDチップ
509c B―LEDチップ
510 B/Wカメラ
510a ビデオ映像出力信号
510b 垂直同期信号
510c 1/2分周器
511 試料
512 LED点灯テスト用スイッチ
513 焦点調整用白色光発生スイッチ
514 ビデオスイッチ
514a R画像選択用ビデオスイッチ
514b G画像選択用ビデオスイッチ
514c B画像選択用ビデオスイッチ
515 画像出力レベル調整トリマ
515a R画像用トリマ
515b G画像用トリマ
515c B画像用トリマ
516 ビデオアンプ
516a R画像信号用ビデオアンプ
516b G画像信号用ビデオアンプ
516c B画像信号用ビデオアンプ
517 画像信号出力インターフェース
518 画像出力信号
519 ビデオ同期信号分離回路
520 コンポジット同期信号
641 入力
642 A/Dコンバータ
643 フレーム FIFOメモリ
644 PCIバス マスターI/F
645 フレーム切替器
646 画像コントローラ1
647 画像コントローラ2
648 メモリ
649 カラーチャンネル
649a Rカラーチャンネル
649b Gカラーチャンネル
649c Bカラーチャンネル
650 画像解析装置
651 表示装置
701 試料
702 レーザ走査部
702a フォーカスアクチュエータ
702b レーザ走査アクチュエータ
702c レーザ
702d 対物レンズ
703 白色光源
704 集光レンズ
705 ビームスプリッタ1
706 対物レンズ
707 結像レンズ
708 ビームスプリッタ2
709 接眼レンズ
710 光学フィルタ
711 CCDカメラ
801 パルス発生器
802 変調器
803 レーザ駆動増幅器
804 CPU
805 同期信号発生器
806 分周器
807 アクチュエータX方向駆動増幅器
808 速度推定器
809 アクチュエータY方向駆動増幅器
901 アクチュエータX方向駆動波形
902 速度推定器出力
903 変調器出力
904 時刻
905 信号振幅
906 パルス間隔
1001 ガラス板
1002 X軸 プリグルーブ
1003 Y軸 プリグルーブ
1101 試料
1102 白色光源
1103 集光レンズ
1104 ビームスプリッタ1
1105 対物レンズ
1106 結像レンズ
1107 ビームスプリッタ2
1108 接眼レンズ
1109 ビームスプリッタ3
1110 CCD1
1111 ビームスプリッタ4
1112 CCD2
1113 CCD3
1114 電子カメラ部
DESCRIPTION OF SYMBOLS 101 Synchronous signal generator 102 LED driver 102a LED (R) drive amplifier 102b LED (G) drive amplifier 102c LED (B) drive amplifier 103 LED block 103a LED (R)
103b LED (G)
103c LED (B)
104 B / W camera 104a Video output signal 104b Vertical synchronization signal 105 Sample 106 Switcher 107 Video amplifier 108 Output 201 X-Cube prism 202 Laser 1
203 Collimating lens 1
204 Laser 2
205 Collimating lens 2
206 Laser 3
207 Collimating lens 3
208 Illumination light output 301 R pulse signal 302 G pulse signal 303 B pulse signal 401 Input 402 Input I / F
403 Memory 404 Frame switcher 405 Color channel 405a Image memory (R)
405b Image memory (G)
405c Image memory (B)
406 RGB image 407 Display device 501 Counter 502 Lighting test clock generator 502a Flicker frequency adjustment trimmer 503 Upper / lower LED changeover switch 504 Upper reflected light LED driver 504a R-LED driver 504b G-LED driver 504c B-LED driver 505 Lower transmission LED driver for light 505a R-LED driver 505b G-LED driver 505c B-LED driver 506 Upper reflected light intensity adjustment trimmer 506a R-LED trimmer 506b G-LED trimmer 506c B-LED trimmer 507 Lower transmitted light intensity Adjustment trimmer 507a R-LED trimmer 507b G-LED trimmer 507c B-LED trimmer 508 Upper reflected light LED block 508a R-LED chip 508b G-LED chip 5 08c B-LED chip 509 Lower transmitted light LED block 509a R-LED chip 509b G-LED chip 509c B-LED chip 510 B / W camera 510a Video image output signal 510b Vertical synchronization signal 510c 1/2 divider 511 Sample 512 LED lighting test switch 513 Focus adjustment white light generation switch 514 Video switch 514a R image selection video switch 514b G image selection video switch 514c B image selection video switch 515 Image output level adjustment trimmer 515a R image trimmer 515b G image trimmer 515c B image trimmer 516 Video amplifier 516a R image signal video amplifier 516b G image signal video amplifier 516c B image signal video amplifier 517 Image signal output interface 518 Image output signal 519 Video sync signal separation circuit 520 Composite sync signal 641 Input 642 A / D converter 643 Frame FIFO memory 644 PCI bus Master I / F
645 Frame switcher 646 Image controller 1
647 Image controller 2
648 Memory 649 Color channel 649a R color channel 649b G color channel 649c B color channel 650 Image analysis device 651 Display device 701 Sample 702 Laser scanning unit 702a Focus actuator 702b Laser scanning actuator 702c Laser 702d Objective lens 703 White light source 704 Condensing lens 705 Beam splitter 1
706 Objective lens 707 Imaging lens 708 Beam splitter 2
709 Eyepiece lens 710 Optical filter 711 CCD camera 801 Pulse generator 802 Modulator 803 Laser drive amplifier 804 CPU
805 Synchronization signal generator 806 Divider 807 Actuator X direction drive amplifier 808 Speed estimator 809 Actuator Y direction drive amplifier 901 Actuator X direction drive waveform 902 Speed estimator output 903 Modulator output 904 Time 905 Signal amplitude 906 Pulse interval 1001 Glass Plate 1002 X-axis pre-groove 1003 Y-axis pre-groove 1101 Sample 1102 White light source 1103 Condensing lens 1104 Beam splitter 1
1105 Objective lens 1106 Imaging lens 1107 Beam splitter 2
1108 Eyepiece 1109 Beam splitter 3
1110 CCD1
1111 Beam splitter 4
1112 CCD2
1113 CCD3
1114 Electronic camera part

Claims (9)

試料を観察するための光学系により観察された画像を電気信号に変換し、前記電気信号をデジタル信号に変換後、メモリ装置に取り込む電子カメラにおいて、観察の対象である前記試料に照射するための複数の光の波長を選択可能にした上、前記選択した少なくとも1つの波長を有する光を用い、前記試料を照射し、前記試料を照射した光の反射光あるいは透過光を前記電子カメラにより撮影した画像と、前記照射光とは別の波長を有する光を用い、前記試料を照射し、前記試料を照射した光の反射光あるいは透過光を前記電子カメラにより撮影した画像を用い、前記試料を観察することを特徴とする電子カメラ。 An image observed by an optical system for observing a sample is converted into an electrical signal, and the electrical signal is converted into a digital signal, and then the electronic camera that takes in the memory device is used to irradiate the sample to be observed A plurality of wavelengths of light can be selected, and the sample is irradiated with light having at least one selected wavelength, and reflected light or transmitted light of the light irradiated on the sample is photographed by the electronic camera. Using an image and light having a wavelength different from the irradiation light, irradiating the sample, and observing the sample using an image obtained by photographing reflected light or transmitted light of the light irradiated on the sample with the electronic camera An electronic camera characterized by 試料を観察するための光学系により観察された画像を取り込む前記電子カメラにおいて、観察の対象である前記試料に照射するための光の波長を選択可能にした上、前記選択した第1の波長を有する光を用い、前記電子カメラの走査を行い、次に第2の波長を持つ光を照射し、走査を行い、次に第3の波長を持つ光を照射し、同じく走査を行い、前記電子カメラによりメモリ装置に画像を取り込み、前記メモリ装置に取り込まれたデジタル化された画像を、前記メモリ装置から読み出し、表示装置に転送し画像を表示することを特徴とする電子カメラ。 In the electronic camera that captures an image observed by an optical system for observing a sample, the wavelength of light for irradiating the sample to be observed can be selected, and the selected first wavelength is Scanning with the electronic camera, then irradiating with light having a second wavelength, scanning, then irradiating with light having a third wavelength, and scanning the same An electronic camera that captures an image in a memory device by a camera, reads a digitized image captured in the memory device from the memory device, transfers the image to a display device, and displays the image. 観察試料に光を照射するための光源として、光半導体を用いた白色のLEDを用い、前記白色LEDをRGBの3色から構成した上で、前記RGBの各色を選択的に切り替えて照射することを特徴とする請求項1記載の電子カメラ。 A white LED using an optical semiconductor is used as a light source for irradiating light to the observation sample, and the white LED is composed of three colors RGB, and each RGB color is selectively switched for irradiation. The electronic camera according to claim 1. 観察試料に光を照射するための光源として、少なくとも波長の異なる3種類のレーザを用い、前記3種類のレーザ出力光をコリメーティングレンズにより平行光に変換後、ビームスプリッタに入射し、3種類の出力光を混合した後、前記試料を照射することを特徴とする請求項1記載の電子カメラ。 As a light source for irradiating the observation sample with light, at least three types of lasers having different wavelengths are used. The three types of laser output light are converted into parallel light by a collimating lens and then incident on a beam splitter. The electronic camera according to claim 1, wherein the sample is irradiated after mixing the output light. 前記電子カメラにおいて、前記レーザ光を選択的に切り替えて照射することを特徴とする請求項4記載の電子カメラ。 The electronic camera according to claim 4, wherein the laser light is selectively switched for irradiation. 観察試料に光を照射するための光源として、光半導体を用いた白色のLEDあるいはレーザ光源による白色光源を用い、前記白色光源をRGBの3色から構成した上で、前記RGBの光源を同時に点灯し、試料を観察するための光学系により観察された画像のフォーカス調整を行い、フォーカス調整が完了後、前記RGBの各色を選択的に切り替えて照射することを特徴とする請求項1記載の電子カメラ。 As a light source for irradiating light to the observation sample, a white LED using an optical semiconductor or a white light source using a laser light source is used, and the white light source is composed of three colors RGB, and the RGB light sources are simultaneously turned on. 2. The electron according to claim 1, wherein focus adjustment of an image observed by an optical system for observing the sample is performed, and after the focus adjustment is completed, each of the RGB colors is selectively switched and irradiated. camera. 異なる波長の光を発するLEDまたはレーザに供給する電流値を個別に調整可能にし、受光するCCDまたはCMOSセンサーの波長感度差を補正することを特徴とする請求項1記載の電子カメラ。 2. The electronic camera according to claim 1, wherein a current value supplied to an LED or a laser emitting light of different wavelengths can be individually adjusted, and a wavelength sensitivity difference between a CCD or CMOS sensor receiving the light is corrected. 試料をレーザから照射したビームスポットにより走査し、走査したレーザビームスポットの反射光あるいは透過光を観察する走査レーザ顕微鏡において、走査レーザビームの前記試料上における時間当りパワーを一定に制御するため、前記走査レーザビームを変調する変調器と、前記レーザビームを走査するアクチュエータを駆動するパルス発生器と、前記アクチュエータが走査する前記レーザビームの走査速度を推定する推定器と、前記変調器に前記推定器の出力である走査速度を入力し、前記変調器から出力される前記レーザビームをパルス幅変調、パルス周波数変調あるいはパルス振幅変調することを特徴とする走査レーザ顕微鏡。 In a scanning laser microscope that scans a sample with a beam spot irradiated from a laser and observes reflected light or transmitted light of the scanned laser beam spot, the power per time on the sample of the scanned laser beam is controlled to be constant. A modulator for modulating a scanning laser beam; a pulse generator for driving an actuator for scanning the laser beam; an estimator for estimating a scanning speed of the laser beam scanned by the actuator; and the estimator for the modulator. The scanning laser microscope is characterized in that a scanning speed which is an output of the above is input, and the laser beam output from the modulator is subjected to pulse width modulation, pulse frequency modulation or pulse amplitude modulation. 前記変調器から出力されるレーザビームパルス幅あるいはパルス高さが、レーザビーム走査時において、前記アクチュエータの走査速度に比例することを特徴とする走査レーザ顕微鏡。 The scanning laser microscope characterized in that the laser beam pulse width or pulse height output from the modulator is proportional to the scanning speed of the actuator during laser beam scanning.
JP2004130233A 2004-04-26 2004-04-26 Electronic camera Pending JP2005315574A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004130233A JP2005315574A (en) 2004-04-26 2004-04-26 Electronic camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004130233A JP2005315574A (en) 2004-04-26 2004-04-26 Electronic camera

Publications (1)

Publication Number Publication Date
JP2005315574A true JP2005315574A (en) 2005-11-10

Family

ID=35443175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004130233A Pending JP2005315574A (en) 2004-04-26 2004-04-26 Electronic camera

Country Status (1)

Country Link
JP (1) JP2005315574A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013527017A (en) * 2009-07-15 2013-06-27 スパーク システムズ リミテッド Tablet container filling apparatus and method
JP2015219521A (en) * 2014-05-16 2015-12-07 チャム エンジニアリング カンパニー リミテッド Observer and laser processing apparatus comprising the same
US9254083B2 (en) 2013-12-06 2016-02-09 Canon Kabushiki Kaisha Light source modulation for a scanning microscope
JP2016102715A (en) * 2014-11-28 2016-06-02 富士フイルム株式会社 Photographing device and control method thereof and photographing system
JP2021521478A (en) * 2018-04-12 2021-08-26 ライフ テクノロジーズ コーポレーション Devices, systems, and methods for producing color video with monochrome sensors
CN115097618A (en) * 2022-06-30 2022-09-23 晶准生物医学(深圳)有限公司 Fluorescence microscopic imaging light path, optical imaging system and cell analyzer

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013527017A (en) * 2009-07-15 2013-06-27 スパーク システムズ リミテッド Tablet container filling apparatus and method
US8984844B2 (en) 2009-07-15 2015-03-24 Sparc Systems Limited Tablet container filling apparatus and method
US9254083B2 (en) 2013-12-06 2016-02-09 Canon Kabushiki Kaisha Light source modulation for a scanning microscope
JP2015219521A (en) * 2014-05-16 2015-12-07 チャム エンジニアリング カンパニー リミテッド Observer and laser processing apparatus comprising the same
JP2016102715A (en) * 2014-11-28 2016-06-02 富士フイルム株式会社 Photographing device and control method thereof and photographing system
JP2021521478A (en) * 2018-04-12 2021-08-26 ライフ テクノロジーズ コーポレーション Devices, systems, and methods for producing color video with monochrome sensors
CN115097618A (en) * 2022-06-30 2022-09-23 晶准生物医学(深圳)有限公司 Fluorescence microscopic imaging light path, optical imaging system and cell analyzer

Similar Documents

Publication Publication Date Title
JP3241327B2 (en) Chroma key system
JP6325816B2 (en) Magnification observation apparatus, magnification image observation method, magnification image observation program, and computer-readable recording medium
US7307261B2 (en) Fluorescence detecting apparatus
US7938541B2 (en) Laser picture formation device and color picture formation method
US7884980B2 (en) System for capturing graphical images using hyperspectral illumination
US8866803B2 (en) Image display device displaying image by applying laser light
WO2007094438A1 (en) Frame sequential-method color camera system
US11906724B2 (en) Apparatuses, systems and methods for generating color video with a monochrome sensor
KR20100066855A (en) Imaging apparatus and imaging method
JP5067269B2 (en) Mapping analyzer
JP2005315574A (en) Electronic camera
TWI411291B (en) Image pickup device, projector including the image pickup device, and image pickup method
JP6355334B2 (en) Magnification observation apparatus, magnification image observation method, magnification image observation program, and computer-readable recording medium
KR20080114550A (en) Ultraviolet microscope
WO2008041477A1 (en) Video generation device
JP2004029537A (en) Microscope, three-dimensional image generating method, program for making computer perform control of generating three-dimensional image and recording medium having the program recorded thereon
JP2004126768A (en) Color image preparing device for image measuring instrument, and color image composition method
JP2006170830A (en) Imaging element inspection device
JP2008089416A (en) Lighting system for inspection, and imaging element inspection apparatus
JP2006005509A (en) Characteristic evaluation apparatus and characteristic evaluation method for imaging apparatus
JPS5838995B2 (en) Comberzen Suirozure Kenchihouhou Oyobi Sonosouchi
JP4468642B2 (en) Confocal laser scanning microscope apparatus and sample information recording method
JPH08236060A (en) Scanning type electron beam diffraction device
JPH046304B2 (en)
JP2019028357A (en) Inspection device and inspection method