JP2003344782A - Imaging device for microscope - Google Patents

Imaging device for microscope

Info

Publication number
JP2003344782A
JP2003344782A JP2002154187A JP2002154187A JP2003344782A JP 2003344782 A JP2003344782 A JP 2003344782A JP 2002154187 A JP2002154187 A JP 2002154187A JP 2002154187 A JP2002154187 A JP 2002154187A JP 2003344782 A JP2003344782 A JP 2003344782A
Authority
JP
Japan
Prior art keywords
microscope
image
indicator
image pickup
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002154187A
Other languages
Japanese (ja)
Other versions
JP4217427B2 (en
JP2003344782A5 (en
Inventor
Shinji Matsushita
真治 松下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP2002154187A priority Critical patent/JP4217427B2/en
Publication of JP2003344782A publication Critical patent/JP2003344782A/en
Publication of JP2003344782A5 publication Critical patent/JP2003344782A5/ja
Application granted granted Critical
Publication of JP4217427B2 publication Critical patent/JP4217427B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Microscoopes, Condenser (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging device for a microscope which makes focusing easy by changing the scale of a focus indicator in correspondence respectively to the cases the observation conditions and specimen of the microscope are changed. <P>SOLUTION: The imaging device applied to imaging of the observed image by the microscope displays the focusing information of the image formed by the imaging device according to at least one state of the combinations of optical systems relating to at least objective lens (27) and photographic eyepiece (35a) on the microscope (1) side and a speculum method. <P>COPYRIGHT: (C)2004,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、顕微鏡に付属する
撮像装置に関し、具体的には、撮像装置の撮像素子の出
力信号を用いて標本への合焦情報を表示する方法に関す
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image pickup device attached to a microscope, and more particularly, to a method of displaying focus information on a specimen by using an output signal of an image pickup device of the image pickup device.

【0002】[0002]

【従来の技術】顕微鏡用撮像装置や画像測定装置の撮像
素子の出力信号を用いて標本への合焦情報を表示する方
法として、以下のような技術が知られている。
2. Description of the Related Art The following technique is known as a method of displaying focus information on a sample by using an output signal of an image pickup device of a microscope image pickup device or an image measuring device.

【0003】特開平11−283035号公報には、画
像のコントラスト値を示すインジケータ表示させるフォ
ーカス調整装置が開示されている。この装置において、
画像の最大コントラスト時に100%表示になるように
コントラスト値を表示させており、コントラスト値を粗
い単位で表示する粗スケールと細かい単位で表示する細
スケールとを組み合わせて、ピーク時において正確な合
焦位置に合わせこむのを容易にしている。
Japanese Patent Laid-Open No. 11-283035 discloses a focus adjusting device for displaying an indicator showing the contrast value of an image. In this device,
The contrast value is displayed so that 100% is displayed at the maximum contrast of the image, and the coarse scale that displays the contrast value in coarse units and the fine scale that displays in fine units are combined to achieve accurate focusing at peak times. It is easy to fit in position.

【0004】しかし、特開平11−283035号公報
に開示された技術では、インジケータの表示は、一旦ピ
ーク値が検出された時のピーク位置におけるコントラス
ト値や、コントラスト曲線を推定して求められたピーク
位置におけるコントラスト値を100%として行われ
る。このため、顕微鏡の観察条件を変更する操作、例え
ば標本を変更する等の操作を検鏡者が行ったときに、前
回観察した時のピーク位置におけるコントラスト値が高
く、次の観察ではピーク位置におけるコントラスト値が
低くなった場合には、インジケータの表示が低いところ
でしか振れない。このため、フォーカシングしにくくな
ってしまい、これを防ぐには記憶されているコントラス
ト値の最大値を手動でリセットするなどの余分な作業が
必要となる。
However, in the technique disclosed in Japanese Patent Laid-Open No. 11-283035, the display of the indicator is the peak value obtained by estimating the contrast value at the peak position once the peak value is once detected or the contrast curve. The contrast value at the position is set to 100%. Therefore, when the microscope operator performs an operation of changing the observation condition of the microscope, for example, an operation of changing the specimen, the contrast value at the peak position at the time of the previous observation is high, and at the peak position at the next observation, When the contrast value becomes low, the indicator can be shaken only at a low position. Therefore, focusing becomes difficult, and in order to prevent this, extra work such as manually resetting the maximum stored contrast value is required.

【0005】また、特開2000−278558号公報
には、顕微鏡の接眼レンズ側とカメラ側の焦点位置を一
致させるための調整方法が開示されており、標本への合
焦情報がモニタにインジケータ表示され、これを見なが
らカメラの結像レンズを調整することにより焦点合わせ
が行われる。
Further, Japanese Unexamined Patent Publication No. 2000-278558 discloses an adjusting method for matching the focus positions of the eyepiece side and the camera side of the microscope, and the focus information on the sample is displayed on the monitor as an indicator. Focusing is performed by adjusting the image forming lens of the camera while watching this.

【0006】しかし、特開2000−278558号公
報に開示された技術では、標本への合焦情報はモニタに
インジケータ表示されるが、コントラスト値の大小に関
係なく、一定のコントラスト値により正規化して表示さ
れるため、標本によってはインジケータの表示が低いと
ころでしか振れず、フォーカス位置が見つけにくい可能
性が高い。すなわち、特開2000−278558号公
報に示された技術では、フォーカスインジケータON直
後のコントラスト値で正規化するので、サンプルの変更
や対物レンズの変更などによって、インジケータが低い
ところでしか振れない可能性がある。
In the technique disclosed in Japanese Patent Laid-Open No. 2000-278558, however, the focus information on the sample is displayed on the monitor as an indicator, but is normalized by a constant contrast value regardless of the contrast value. Since it is displayed, depending on the sample, the indicator may shake only at a low position, and it is highly possible that the focus position is difficult to find. That is, in the technique disclosed in Japanese Patent Application Laid-Open No. 2000-278558, since the contrast value immediately after the focus indicator is turned on is normalized, there is a possibility that the indicator may shake only at a low position due to a change in the sample or a change in the objective lens. is there.

【0007】[0007]

【発明が解決しようとする課題】上記の課題を解決する
ために、本発明は、顕微鏡の観察条件や標本が変更され
た場合でも、それぞれに対応してフォーカスインジケー
タのスケールを変更し、フォーカシングし易い顕微鏡用
撮像装置を提供することを目的とする。
In order to solve the above-mentioned problems, the present invention changes the scale of the focus indicator and performs focusing in response to changes in the microscope observation conditions and specimens. An object is to provide an easy-to-use microscope imaging device.

【0008】[0008]

【課題を解決するための手段】本発明の第1局面に係る
顕微鏡用撮像装置は、顕微鏡による観察像の撮像に適用
される撮像装置において、前記顕微鏡側の少なくとも対
物レンズと写真接眼レンズの投影倍率に係る光学系の組
み合わせ、及び検鏡方法の少なくとも1つの状態に応じ
て、前記撮像装置で撮像された画像の合焦情報の表示を
切り替えることを特徴とする。
A microscope image pickup apparatus according to a first aspect of the present invention is an image pickup apparatus applied to pick up an observation image by a microscope, wherein at least the objective lens and the photographic eyepiece lens on the microscope side are projected. It is characterized in that the display of the focus information of the image captured by the image capturing apparatus is switched in accordance with the combination of the optical systems related to the magnification and at least one state of the speculum method.

【0009】本発明の第2局面に係る顕微鏡用撮像装置
は、顕微鏡による観察像の撮像に適用される撮像装置に
おいて、前記撮像装置の出力信号から得られる露出情報
に応じて、前記撮像装置で撮像された画像の合焦情報の
表示を切り替えることを特徴とする。
An image pickup apparatus for a microscope according to a second aspect of the present invention is an image pickup apparatus applied to picking up an observation image by a microscope, wherein the image pickup apparatus according to exposure information obtained from an output signal of the image pickup apparatus. It is characterized in that the display of the focus information of the captured image is switched.

【0010】本発明の第3局面に係る顕微鏡用撮像装置
は、顕微鏡による観察像の撮像に適用される撮像装置に
おいて、前記撮像装置で撮像された画像の合焦情報と、
その表示にかかる経過時間に応じて、前記撮像装置で撮
像された画像の合焦情報の表示を切り替えることを特徴
とする。
An image pickup device for a microscope according to a third aspect of the present invention is an image pickup device applied to picking up an observation image by a microscope, and focus information of an image picked up by the image pickup device,
It is characterized in that the display of the focus information of the image captured by the image capturing device is switched according to the elapsed time required for the display.

【0011】上記の各局面において、前記合焦情報の表
示は、フォーカスインジケータのリセットを含むことが
好ましい。
In each of the above aspects, it is preferable that the display of the focus information includes resetting of a focus indicator.

【0012】[0012]

【発明の実施の形態】図面を参照して本発明の実施の形
態を説明する。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described with reference to the drawings.

【0013】(第1の実施形態)図1は、本発明の第1
の実施形態に係る顕微鏡用撮像装置が適用される顕微鏡
システムの構成を示す図である。図1において、顕微鏡
本体1には、試料ステージ26上に載置された試料3に
対向するように対物レンズ27が配置されている。ま
た、この対物レンズ27を介した観察光軸上の顕微鏡本
体1上部には、三眼鏡筒ユニット5が配置されている。
また、三眼鏡筒ユニット5を介して接眼レンズユニット
6が配置されていると共に、三眼鏡筒ユニット5の上部
には、結像レンズユニット100を介して撮像装置36
が配置されている。
(First Embodiment) FIG. 1 shows a first embodiment of the present invention.
It is a figure which shows the structure of the microscope system to which the imaging device for microscopes which concerns on embodiment of this is applied. In FIG. 1, an objective lens 27 is arranged in the microscope body 1 so as to face the sample 3 mounted on a sample stage 26. A trinocular barrel unit 5 is arranged above the microscope body 1 on the observation optical axis through the objective lens 27.
The eyepiece lens unit 6 is arranged via the trinocular tube unit 5, and the imaging device 36 is provided on the upper part of the trinocular tube unit 5 via the imaging lens unit 100.
Are arranged.

【0014】図2は、図1に示す顕微鏡システムの詳細
な構成を示す図である。図2に示す顕微鏡システムは、
例えば、透過明視野観察、暗視野観察、位相差観察、微
分干渉観察、蛍光観察などの各種の検鏡法を適宜選択す
ることが可能に構成されている。
FIG. 2 is a diagram showing a detailed configuration of the microscope system shown in FIG. The microscope system shown in FIG.
For example, various spectroscopic methods such as transmission bright-field observation, dark-field observation, phase difference observation, differential interference observation, and fluorescence observation can be appropriately selected.

【0015】図2に示す顕微鏡システムは、照明系とし
て、透過照明光学系11及び落射照明光学系12を備え
ている。透過照明光学系11は、透過照明用光源13
と、コレクタレンズ14と、透過用フィルタユニット1
5と、透過視野絞り16と、透過シャッタ161と、折
曲げミラー17と、透過開口絞り18と、コンデンサ光
学素子ユニット19と、トップレンズユニット20とを
備えている。透過照明用光源13から照射される透過照
明光の光路上に、透過照明用光源13側からコレクタレ
ンズ14からトップレンズユニット20の各光学素子が
順に配置されている。なお、コレクタレンズ14は、透
過照明用光源13から透過照明光を集光する。落射照明
光学系12は、落射照明用光源21と、落射用フィルタ
ユニット22と、落射シャッタ23と、落射視野絞り2
4と、落射開口絞り25とを備えている。落射照明用光
源21から照射される落射照明光の光路上に、落射照明
用光源21側から落射用フィルタユニット22から落射
開口絞り25の各光学素子が順に配置されている。
The microscope system shown in FIG. 2 includes a transmission illumination optical system 11 and an epi-illumination optical system 12 as illumination systems. The transmitted illumination optical system 11 includes a transmitted illumination light source 13
, Collector lens 14, and transmission filter unit 1
5, a transmission field stop 16, a transmission shutter 161, a folding mirror 17, a transmission aperture stop 18, a condenser optical element unit 19, and a top lens unit 20. On the optical path of the transmitted illumination light emitted from the transmitted illumination light source 13, the optical elements including the collector lens 14 to the top lens unit 20 are sequentially arranged from the transmitted illumination light source 13 side. The collector lens 14 collects the transmitted illumination light from the transmitted illumination light source 13. The epi-illumination optical system 12 includes an epi-illumination light source 21, an epi-illumination filter unit 22, an epi-illumination shutter 23, and an epi-illumination field stop 2.
4 and an incident aperture stop 25. On the optical path of the epi-illumination light emitted from the epi-illumination light source 21, the optical elements of the epi-illumination light source 21 side to the epi-illumination filter unit 22 to the epi-illumination aperture stop 25 are sequentially arranged.

【0016】透過照明光学系11と落射照明光学系12
との光軸が重なる観察光路S上に、試料ステージ26
と、レボルバ28と、対物レンズ側光学素子ユニット2
9と、キューブユニット30と、ビームスプリッタ31
とが配置されている。試料ステージ26には、観察の対
象となる標本が載置される。レボルバ28には、対物レ
ンズ27が複数装着され、このレボルバ28により、1
つの対物レンズ27が回転動作で選択され観察光路S上
に位置される。キューブユニット30は、例えば透過明
視野観察または蛍光観察などの各種検鏡法に応じて観察
光路S上のダイクロイックミラーを切り替える。ビーム
スプリッタ31は、三眼鏡筒ユニット5内に配置されて
おり、観察光路Sを、接眼レンズ方向への第1の観察光
路S′と、撮像装置36方向への第2の観察光路S″に
分岐する。
Transmission illumination optical system 11 and epi-illumination optical system 12
On the observation optical path S where the optical axes of
, Revolver 28, and objective lens side optical element unit 2
9, a cube unit 30, and a beam splitter 31
And are arranged. A sample to be observed is placed on the sample stage 26. A plurality of objective lenses 27 are attached to the revolver 28.
One objective lens 27 is selected by the rotation operation and is positioned on the observation optical path S. The cube unit 30 switches the dichroic mirror on the observation optical path S according to various spectroscopic methods such as transmission bright-field observation or fluorescence observation. The beam splitter 31 is arranged in the trinocular barrel unit 5, and the observation optical path S is divided into a first observation optical path S ′ toward the eyepiece lens and a second observation optical path S ″ toward the imaging device 36. Branch off.

【0017】第1の観察光路S′上には、接眼レンズ6
aが配置されており、接眼レンズ6aを通過した観察光
は検鏡者によって観察される。また、第2の観察光路
S″上には、中間変倍光学系(ズーム鏡筒)33及び写
真接眼レンズユニット35からなる結像レンズユニット
100と、撮像装置36とが配置されており、観察光が
撮像装置36によって撮影可能となっている。なお、撮
像装置36は、詳細は後述する図示しない表示部を備え
ており、この表示部に、現在のコントラスト値が合焦状
態であるかどうかを示すフォーカスインジケータが表示
される。
An eyepiece lens 6 is provided on the first observation optical path S '.
a is arranged and the observation light that has passed through the eyepiece lens 6a is observed by a spectroscope. Further, on the second observation optical path S ″, an imaging lens unit 100 including an intermediate variable magnification optical system (zoom lens barrel) 33 and a photographic eyepiece lens unit 35, and an imaging device 36 are arranged. Light can be captured by the image capturing device 36. The image capturing device 36 includes a display unit (not shown) whose details will be described later, and whether or not the current contrast value is in focus is displayed on this display unit. The focus indicator that indicates is displayed.

【0018】中間変倍光学系(ズーム鏡筒)33は、撮
像装置36で撮像される像を変倍するための変倍ズーム
レンズ33aを内蔵している。なお、中間変倍が不要な
場合は、この中間変倍光学系(ズーム鏡筒)33を取り
外すことができる。撮像装置36は、その内部に撮像素
子42を備えている。
The intermediate variable-magnification optical system (zoom lens barrel) 33 incorporates a variable-magnification zoom lens 33a for varying the magnification of the image picked up by the image pickup device 36. If the intermediate magnification change is unnecessary, the intermediate magnification change optical system (zoom barrel) 33 can be removed. The image pickup device 36 includes an image pickup element 42 therein.

【0019】対物レンズ27からの観察光は、写真接眼
レンズユニット35内の写真接眼レンズ35aによって
撮像素子42の撮像面に結像する。なお、透過照明光学
系11における透過用フィルタユニット15、透過視野
絞り16、透過シャッタ161、透過開口絞り18、コ
ンデンサ光学素子ユニット19、及びトップレンズユニ
ット20、落射照明光学系12における落射用フィルタ
ユニット22、落射シャッタ23、落射視野絞り24、
及び落射開口絞り25、レボルバ28、対物レンズ側光
学素子ユニット29、キューブユニット30、ビームス
プリッタ31、及び中間変倍光学系(ズーム鏡筒)33
は、駆動回路部37からの各駆動信号によって図示しな
い各モータにより駆動される。
Observation light from the objective lens 27 is imaged on the image pickup surface of the image pickup device 42 by the photographic eyepiece lens 35a in the photographic eyepiece lens unit 35. The transmission filter unit 15, the transmission field stop 16, the transmission shutter 161, the transmission aperture stop 18, the condenser optical element unit 19, the top lens unit 20, and the epi-illumination filter unit in the epi-illumination optical system 12 in the trans-illumination optical system 11. 22, an epi-illumination shutter 23, an epi-illumination field stop 24,
And epi-aperture diaphragm 25, revolver 28, objective lens side optical element unit 29, cube unit 30, beam splitter 31, and intermediate variable magnification optical system (zoom barrel) 33.
Is driven by each motor (not shown) by each drive signal from the drive circuit section 37.

【0020】また、レボルバ28、対物レンズ側光学素
子ユニット29及び写真接眼レンズユニット35には、
それぞれ、対物レンズ検出部38、リタデーション調整
動作検出部39及び写真接眼レンズ検出部40が配置さ
れている。対物レンズ検出部38は、観察光路S上に位
置される対物レンズ27の種類を検出する。リタデーシ
ョン調整動作検出部39は、リタデーション調整動作を
検出する。また、写真接眼レンズ検出部40は、写真接
眼レンズの種類を検出する。
Further, the revolver 28, the objective lens side optical element unit 29 and the photographic eyepiece lens unit 35 include
An objective lens detector 38, a retardation adjustment operation detector 39, and a photographic eyepiece lens detector 40 are arranged respectively. The objective lens detection unit 38 detects the type of the objective lens 27 located on the observation optical path S. The retardation adjustment operation detector 39 detects the retardation adjustment operation. The photographic eyepiece detection unit 40 also detects the type of photographic eyepiece.

【0021】顕微鏡コントロール部41は、顕微鏡全体
の動作を制御する。顕微鏡コントロール部41には、透
過照明用光源13、落射照明用光源21、駆動回路部3
7、対物レンズ検出部38、リタデーション調整動作検
出部39、写真接眼レンズ検出部40、及び撮像装置3
6が接続されている。
The microscope control unit 41 controls the operation of the entire microscope. The microscope control unit 41 includes a transillumination light source 13, an epi-illumination light source 21, and a drive circuit unit 3.
7, objective lens detection unit 38, retardation adjustment operation detection unit 39, photo eyepiece lens detection unit 40, and imaging device 3
6 is connected.

【0022】顕微鏡コントロール部41は、検鏡者によ
る図示しない操作部の操作に従って、透過照明用光源1
3及び落射照明用光源21の調光を行う。更に、顕微鏡
コントロール部41は、駆動回路部37に対して各種の
制御指示を行う。加えて、顕微鏡コントロール部41
は、透過照明用光源13及び落射照明用光源21に対す
る制御状態や、駆動回路部37に対する制御状態を始め
として、対物レンズ検出部38、リタデーション調整動
作検出部39、及び写真接眼レンズ検出部40からの検
出情報を撮像装置36へ出力することにより、撮像装置
36におけるフォーカスインジケータ表示を自動設定す
る。
The microscope control unit 41 operates the transillumination light source 1 in accordance with an operation of an operation unit (not shown) by a microscopist.
3 and the light source 21 for epi-illumination are dimmed. Further, the microscope control unit 41 gives various control instructions to the drive circuit unit 37. In addition, the microscope control unit 41
From the objective lens detection unit 38, the retardation adjustment operation detection unit 39, and the photographic eyepiece lens detection unit 40, the control state for the transillumination light source 13 and the epi-illumination light source 21 and the control state for the drive circuit unit 37 are included. By outputting the detection information of 1 to the image pickup device 36, the focus indicator display in the image pickup device 36 is automatically set.

【0023】図3を参照して、第1の実施形態に係るフ
ォーカスインジケータ表示時における信号の流れを説明
する。図3は、本発明の第1の実施形態に係る顕微鏡に
おける各検出部と撮像装置36の概略構成とを示す図で
ある。撮像装置36は、撮像素子42と、A/D変換器
43と、タイミングジェネレータ44と、フレームメモ
リ45と、メモリコントローラ46と、コントラスト演
算部47と、表示部48と、制御部49を備えている。
顕微鏡は、対物レンズ検出部50と、写真接眼レンズ検
出部51と、検鏡法検出部52とを備えている。上記の
ような構成において、撮像素子42は、顕微鏡からの入
射光を電気信号に変換する。なお、タイミングジェネレ
ータ44によって、撮像素子42の駆動タイミング信号
が発生される。この撮像素子42から出力された電気的
アナログ信号は、A/D変換器43で、デジタル信号に
変換される。A/D変換されたデジタル信号はフレーム
メモリ45に記憶される。また、メモリコントローラ4
6は、フレームメモリ45の書き込み/読み出しアドレ
スを制御する。コントラスト演算部47は、メモリコン
トローラ46を介して読み出しアドレスを指定して、指
定したアドレスから撮影画像データを読み出して画像の
コントラスト値を計算する。表示部48は、撮影画像と
共にコントラスト演算部47で計算されたコントラスト
値をフォーカスインジケータ表示として表示する。な
お、制御部49は、撮像装置36の諸部位の制御を行
う。また、対物レンズ検出部50は、現在、光路に配置
されている対物レンズの種類を検出する。写真接眼レン
ズ検出部51は、写真接眼レンズの倍率を検出する。検
鏡法検出部52は、明視野、暗視野、蛍光、偏光、微分
干渉等の検鏡法の切り替えを検出する。
With reference to FIG. 3, a signal flow when the focus indicator is displayed according to the first embodiment will be described. FIG. 3 is a diagram showing a schematic configuration of each detection unit and the imaging device 36 in the microscope according to the first embodiment of the present invention. The image pickup device 36 includes an image pickup element 42, an A / D converter 43, a timing generator 44, a frame memory 45, a memory controller 46, a contrast calculation section 47, a display section 48, and a control section 49. There is.
The microscope includes an objective lens detection unit 50, a photographic eyepiece lens detection unit 51, and a microscopic detection unit 52. In the configuration as described above, the image sensor 42 converts incident light from the microscope into an electric signal. The timing generator 44 generates a drive timing signal for the image sensor 42. The electrical analog signal output from the image sensor 42 is converted into a digital signal by the A / D converter 43. The A / D converted digital signal is stored in the frame memory 45. In addition, the memory controller 4
Reference numeral 6 controls the write / read address of the frame memory 45. The contrast calculation unit 47 specifies a read address via the memory controller 46, reads the captured image data from the specified address, and calculates the contrast value of the image. The display unit 48 displays the contrast value calculated by the contrast calculation unit 47 together with the captured image as a focus indicator display. The control unit 49 controls various parts of the imaging device 36. The objective lens detection unit 50 also detects the type of objective lens currently arranged in the optical path. The photo eyepiece detection unit 51 detects the magnification of the photo eyepiece. The spectroscopic detection unit 52 detects switching of the spectroscopic methods such as bright field, dark field, fluorescence, polarization, and differential interference.

【0024】上記のように構成された第1の実施形態に
係る撮像装置36を含む顕微鏡システムにおいて、フォ
ーカスインジケータ表示に係る動作を説明する。検鏡者
は、顕微鏡1を操作して、標本3を観察すると共に、必
要に応じて撮像装置36で画像を記録する。観察および
記録の際は標本3にピントを合わせる必要があるが、こ
のピント合わせを容易にするため、以下のようなフォー
カスインジケータ表示が行われる。
The operation relating to the focus indicator display in the microscope system including the image pickup device 36 according to the first embodiment configured as described above will be described. The microscopist operates the microscope 1 to observe the sample 3, and records an image with the imaging device 36 as necessary. At the time of observation and recording, it is necessary to focus on the sample 3, but in order to facilitate this focusing, the following focus indicator display is performed.

【0025】まず、タイミングジェネレータ44から発
生された信号に応じて撮影が行われると、撮像素子42
に標本3の画像に応じた電荷が蓄積される。撮像素子4
2に蓄積された電荷(電気信号)は、撮影の終了後に撮
像素子42から読み出されて、A/D変換器43に入力
する。A/D変換器43は、撮像素子42から入力した
画像信号をアナログ/デジタル変換によりデジタル信号
(デジタル画像データ)に変換する。このデジタル画像
データは、フレームメモリ45に格納される。メモリコ
ントローラ46によって、フレームメモリ45の書き込
み/読み出しを制御することにより、撮像素子42から
の画像データをリアルタイムにフレームメモリ45に記
録すると同時に表示部48にリアルタイム画像を表示す
る。
First, when an image is taken in accordance with a signal generated from the timing generator 44, the image pickup device 42
A charge corresponding to the image of the sample 3 is accumulated in the. Image sensor 4
The electric charge (electrical signal) accumulated in 2 is read out from the image pickup device 42 after the end of photographing, and is input to the A / D converter 43. The A / D converter 43 converts the image signal input from the image sensor 42 into a digital signal (digital image data) by analog / digital conversion. This digital image data is stored in the frame memory 45. By controlling writing / reading of the frame memory 45 by the memory controller 46, the image data from the image pickup device 42 is recorded in the frame memory 45 in real time, and at the same time, a real-time image is displayed on the display unit 48.

【0026】コントラスト演算部47は、フレームメモ
リ45から記録された画像データを読み出して、コント
ラスト値を計算する。コントラスト演算部47で計算さ
れたコントラスト値は、表示部48に表示される。この
場合において、コントラスト値の表示を、例えば、棒グ
ラフなどを用いて、視覚的にそのコントラスト値の大き
さが分かるような表示を行うとフォーカシングがやり易
い。
The contrast calculator 47 reads the recorded image data from the frame memory 45 and calculates the contrast value. The contrast value calculated by the contrast calculation unit 47 is displayed on the display unit 48. In this case, if the contrast value is displayed so that the magnitude of the contrast value can be visually recognized by using, for example, a bar graph, focusing can be easily performed.

【0027】図4は、コントラスト特性を示す図であ
る。図4において、縦軸はコントラスト値であり、横軸
はZ方向(光軸に沿った方向)におけるステージ位置を
示す。コントラスト値は、例えば隣り合う画素データの
差の2乗和などにより求められ、図4に示すように標本
に焦点が合った位置(すなわち、合焦位置)で最も高い
値を示す。このコントラスト値は、画像の空間周波数が
高い低倍観察時は比較的高く、高倍観察時は低い値にな
る傾向があるが、標本の種類や、観察方法などによりそ
の値は大きく異なる。このため、第1の実施形態では、
次のような制御が行われる。インジケータを表示開始し
た値を元に、過去のコントラスト値の最大値(MAX
値)に基づいてコントラスト値を正規化して表示する
(図5(a))。従って、現在のコントラスト値は、0
からMAX値との間に表示される。ここで、コントラス
ト値が、MAX値を越えた場合には(図5(b))、イ
ンジケータの表示が飽和し、表示ができなくなってしま
う。従って、この場合には、正規化するための基準値を
新たな(現在の)最大のコントラスト値で置き換えて
(図5(c))、グラフが飽和しないようにする〈以
後、このインジケータの正規化値を再設定することをイ
ンジケータの「リセット」と称する〉。この時、現在の
最大コントラスト値をそのまま100%とすると、また
コントラスト値が100%を越えるおそれが出てくるた
め、例えば、インジケータの80%の位置をリセット位
置として、リセット位置に現在のコントラスト値がくる
ようにする。このように、コントラスト値がMAX値を
越える場合に加えて、対物レンズ検出部50、写真接眼
レンズ検出部51、検鏡法検出部52の検出結果によ
り、それ以降のコントラスト値が変化することが予想さ
れる場合に、インジケータのリセットを行うことが好ま
しい。また、インジケータの表示幅が小さく(狭く)、
表示が見にくい場合が考えられる。この場合には、例え
ば、インジケータの表示が20%以下であれば、インジ
ケータのリセットを行って、表示を見やすくすることが
好ましい。
FIG. 4 is a diagram showing contrast characteristics. In FIG. 4, the vertical axis represents the contrast value, and the horizontal axis represents the stage position in the Z direction (direction along the optical axis). The contrast value is obtained by, for example, the sum of squares of the differences between adjacent pixel data, and shows the highest value at the position where the sample is in focus (that is, the in-focus position) as shown in FIG. This contrast value tends to be relatively high during low-magnification observation where the spatial frequency of the image is high, and tends to be low during high-magnification observation, but the value varies greatly depending on the type of specimen, observation method, and the like. Therefore, in the first embodiment,
The following control is performed. The maximum value of the past contrast value (MAX
The contrast value is normalized based on (value) and displayed (FIG. 5A). Therefore, the current contrast value is 0
To MAX value. Here, when the contrast value exceeds the MAX value (FIG. 5B), the display of the indicator is saturated and the display cannot be performed. Therefore, in this case, the reference value for normalization is replaced with a new (current) maximum contrast value (FIG. 5C) to prevent the graph from being saturated. Resetting the threshold value is called "resetting" of the indicator>. At this time, if the current maximum contrast value is set to 100% as it is, there is a possibility that the contrast value will exceed 100%. To come. Thus, in addition to the case where the contrast value exceeds the MAX value, the subsequent contrast value may change depending on the detection results of the objective lens detection unit 50, the photographic eyepiece detection unit 51, and the microscopic detection unit 52. It is preferable to reset the indicator when it is expected. Also, the display width of the indicator is small (narrow),
The display may be difficult to see. In this case, for example, when the display of the indicator is 20% or less, it is preferable to reset the indicator so that the display is easy to see.

【0028】図6及び図7を用いて、第1の実施形態の
具体的な処理について説明する。図6は、コントラスト
計算処理に係るフローチャートである。コントラスト値
の計算は、1フレーム分の画像がフレームメモリ45に
蓄えられた時点で開始されるため、通常タイミングジェ
ネレータから出力される垂直同期信号などを用いて割り
込み処理として行われる。まず、割り込みが発生する
と、コントラスト演算部47は、メモリコントローラ4
6を介してフレームメモリ45から画像データを読み出
して(ステップA1)、コントラスト値を計算する(ス
テップA2)。コントラスト演算部47で計算されたコ
ントラスト値は、現在のコントラスト値として更新・保
存されて(ステップA3)、割り込み処理を終了する。
Specific processing of the first embodiment will be described with reference to FIGS. 6 and 7. FIG. 6 is a flowchart of the contrast calculation process. Since the calculation of the contrast value is started at the time when the image for one frame is stored in the frame memory 45, the vertical synchronization signal or the like normally output from the timing generator is used as an interrupt process. First, when an interrupt occurs, the contrast calculation unit 47 causes the memory controller 4
The image data is read from the frame memory 45 via 6 (step A1), and the contrast value is calculated (step A2). The contrast value calculated by the contrast calculation unit 47 is updated and saved as the current contrast value (step A3), and the interrupt process ends.

【0029】図7は、図6のフローチャートに従って計
算されたコントラスト値の表示処理に係るフローチャー
トである。表示処理が開始されると、現在のコントラス
ト値(インジケータ上ではインジケータ現在値:Eva
l_cur)が過去のコントラスト値の最大値(インジ
ケータ上ではインジケータ最大値:Eval_max)
よりも大きいか否か(Eval_cur>Eval_m
ax?)が判定される(ステップB1)。現在のコント
ラスト値の方が大きい場合、インジケータが飽和してい
るかどうか(Eval_cur>Eval_MAX
?)、すなわち、現在のコントラスト値がインジケータ
の100%表示を越えているかどうか、が判定される
(ステップB2)。ステップB2において、インジケー
タが飽和している場合には、インジケータがリセットさ
れる(ステップB3)。この場合において、インジケー
タのリセットは、所定の値(例えば、80%)をインジ
ケータ現在値(Eval_cur)とインジケータ最大
値(Eval_max)に代入することによって行われ
る。すなわち、現在のコントラスト値をインジケータ
の、例えば、80%表示位置とする。これにより、これ
以降において、現在のコントラスト値より高いコントラ
スト値が検出された場合でも、インジケータのリセット
をその都度行う必要がなくなる。なお、ステップB2に
おいて、インジケータが飽和していない場合は現在のコ
ントラスト値を最大値に更新する(Eval_max=
Eval_cur:ステップB4)。
FIG. 7 is a flowchart relating to the display processing of the contrast value calculated according to the flowchart of FIG. When the display process is started, the current contrast value (on the indicator, the current indicator value: Eva
l_cur) is the maximum value of the past contrast value (the maximum indicator value on the indicator: Eval_max)
Greater than or equal to (Eval_cur> Eval_m
ax? ) Is determined (step B1). If the current contrast value is higher, is the indicator saturated (Eval_cur> Eval_MAX)?
? ), That is, whether the current contrast value exceeds the 100% display of the indicator (step B2). If the indicator is saturated in step B2, the indicator is reset (step B3). In this case, the indicator is reset by substituting a predetermined value (for example, 80%) into the indicator current value (Eval_cur) and the indicator maximum value (Eval_max). That is, the current contrast value is set to, for example, the 80% display position of the indicator. As a result, even if a contrast value higher than the current contrast value is detected thereafter, it is not necessary to reset the indicator each time. In step B2, when the indicator is not saturated, the current contrast value is updated to the maximum value (Eval_max =
Eval_cur: Step B4).

【0030】ステップB1において、現在のコントラス
ト値が最大値に満たなかった場合には、現在のコントラ
スト値が最小しきい値(MIN値:例えば、インジケー
タ表示の20%)以下であるかどうかが判定される(ス
テップB5)。ステップB5において、現在のコントラ
スト値がMIN値以下である場合には、インジケータの
振れが小さすぎるため、インジケータのリセットを行う
(ステップB3)。この場合においても、例えば、現在
のコントラスト値をインジケータの、例えば、80%表
示位置とする。
In step B1, if the current contrast value is less than the maximum value, it is determined whether the current contrast value is less than or equal to the minimum threshold value (MIN value: 20% of indicator display, for example). (Step B5). If the current contrast value is less than or equal to the MIN value in step B5, the indicator shake is too small, and the indicator is reset (step B3). Also in this case, for example, the current contrast value is set as, for example, the 80% display position of the indicator.

【0031】ステップB5において、現在のコントラス
ト値が最小しきい値より大きい場合には、対物レンズの
切り替えを検出したかどうかが判定される(ステップB
6)。ステップB6において、対物レンズの切り替えを
検出した場合、インジケータのリセットを行う(ステッ
プB3)。以下、写真接眼レンズの切り替えを検出した
場合〈ステップB7〉や、検鏡切り替えを検出した場合
(ステップB8)についても、対物レンズの切り替えを
検出した場合と同様に、インジケータのリセットを行い
(ステップB3)、いずれの切り替えも検出していない
場合は処理を終了する。
When the current contrast value is larger than the minimum threshold value in step B5, it is judged whether or not the switching of the objective lens is detected (step B).
6). When the switching of the objective lens is detected in step B6, the indicator is reset (step B3). Hereinafter, when the switching of the photographic eyepieces is detected <Step B7> and when the switching of the speculum is detected (Step B8), the indicators are reset (Step S8) as in the case where the switching of the objective lens is detected. B3), if neither switching is detected, the process ends.

【0032】上記の第1の実施形態で説明したインジケ
ータのMIN値(20%)や、リセット後の設定値(8
0%)は一例であり、任意に設定可能である。また、こ
れらのパラメータを複数用意して、対物レンズ、写真接
眼レンズ、検鏡法ごとに、設定値を切り替えることも可
能である。また、計算されたコントラスト値に対してオ
フセット値の演算などにより、インジケータの反応を鋭
敏にすることも考えられる。
The MIN value (20%) of the indicator described in the first embodiment and the set value after reset (8%
0%) is an example and can be set arbitrarily. It is also possible to prepare a plurality of these parameters and switch the setting values for each of the objective lens, the photographic eyepiece lens, and the microscopic method. It is also possible to make the reaction of the indicator sensitive to the calculated contrast value by calculating an offset value or the like.

【0033】また、第1の実施形態のようにインジケー
タのリセットを自動で行う他、操作部にフォーカスイン
ジケータのリセットボタンを設けたり、メニューからの
操作によってインジケータのリセットを行うことも可能
であるし、例えば半導体検査工程などのように、観察方
法、標本が特定されている場合はインジケータのリセッ
トを行わないようにすることも可能である。
In addition to automatically resetting the indicator as in the first embodiment, it is possible to provide a focus indicator reset button on the operation unit or reset the indicator by operating the menu. It is also possible not to reset the indicator when the observation method or the specimen is specified, for example, in the semiconductor inspection process.

【0034】更に、フォーカスインジケータのリセット
のタイミングはセンサにより顕微鏡のそれそれの部位が
動作完了したことを検出するのみならす、電動顕微鏡で
は、それそれの部位の切り替えスイッチが押下された時
点でインジケータのリセットを行っても良い。また、顕
微鏡の観察条件ごとにカメラの設定が保存されている場
合は、そのデータが読み出されたときにインジケータの
リセットを行うことも可能である。
Further, the timing of resetting the focus indicator only causes the sensor to detect that the operation of each part of the microscope has been completed. In the electric microscope, when the changeover switch of each part is pressed, the indicator of the indicator is reset. You may reset. Further, when the camera settings are stored for each observation condition of the microscope, it is possible to reset the indicator when the data is read.

【0035】(第2の実施形態)第2の実施形態に係る
顕微鏡システムの構成およびその詳細構成は、図1及び
図2と同一であるため、図示及び説明を省略する。図8
を参照して、第2の実施形態に係るフォーカスインジケ
ータ表示時における信号の流れを説明する。図8は、第
2の実施形態に係る撮像装置36の概略構成を示す図で
ある。なお、図8において、図3と同じ部分には、同じ
符号を付し、詳細な説明を省略する。第2の実施形態で
は、第1の実施形態に係る撮像装置36にAE演算部5
3が追加されている。また、顕微鏡1に備えられた対物
レンズ検出部50と、写真接眼レンズ検出部51と、検
鏡法検出部52からの各検出部からの信号入力を行わな
い構成となっている。本構成において、AE演算部53
は、最適な露出時間を計算する。
(Second Embodiment) The structure and detailed structure of a microscope system according to the second embodiment are the same as those in FIGS. 1 and 2, and therefore, illustration and description thereof will be omitted. Figure 8
The flow of signals when the focus indicator is displayed according to the second embodiment will be described with reference to FIG. FIG. 8 is a diagram showing a schematic configuration of the imaging device 36 according to the second embodiment. In FIG. 8, the same parts as those in FIG. 3 are designated by the same reference numerals, and detailed description thereof will be omitted. In the second embodiment, the AE calculation unit 5 is added to the image pickup device 36 according to the first embodiment.
3 has been added. In addition, the objective lens detection unit 50, the photographic eyepiece detection unit 51, and the microscopic detection unit 52 included in the microscope 1 are configured not to input signals from the detection units. In this configuration, the AE calculation unit 53
Calculates the optimal exposure time.

【0036】上記のように構成された第2の実施形態に
係る撮像装置36において、フォーカスインジケータ表
示に係る動作を説明する。検鏡者は、顕微鏡1を操作し
て、標本3を観察すると共に、必要に応じて撮像装置3
6で画像を記録する。観察および記録の際は標本3にピ
ントを合わせる必要があるが、このピント合わせを容易
にするため、以下のようなフォーカスインジケータ表示
が行われる。
The operation relating to the focus indicator display in the image pickup apparatus 36 according to the second embodiment configured as described above will be described. The microscopist operates the microscope 1 to observe the sample 3 and, if necessary, the imaging device 3
Record the image at 6. At the time of observation and recording, it is necessary to focus on the sample 3, but in order to facilitate this focusing, the following focus indicator display is performed.

【0037】まず、タイミングジェネレータ44から発
生された信号に応じて撮影が行われると、撮像素子42
に標本3の画像に応じた電荷が蓄積される。撮像素子4
2に蓄積された電荷(電気信号)は、撮影の終了後に撮
像素子42から読み出されて、A/D変換器43に入力
する。A/D変換器43は、撮像素子42から入力した
画像信号をアナログ/デジタル変換によりデジタル信号
(デジタル画像データ)に変換する。このデジタル画像
データは、フレームメモリ45に格納される。メモリコ
ントローラ46によって、フレームメモリ45の書き込
み/読み出しを制御することにより、撮像素子42から
の画像データをリアルタイムにフレームメモリ45に記
録すると同時に表示部48にリアルタイム画像を表示す
る。
First, when photographing is performed according to the signal generated from the timing generator 44, the image pickup element 42
A charge corresponding to the image of the sample 3 is accumulated in the. Image sensor 4
The electric charge (electrical signal) accumulated in 2 is read out from the image pickup device 42 after the end of photographing, and is input to the A / D converter 43. The A / D converter 43 converts the image signal input from the image sensor 42 into a digital signal (digital image data) by analog / digital conversion. This digital image data is stored in the frame memory 45. By controlling writing / reading of the frame memory 45 by the memory controller 46, the image data from the image pickup device 42 is recorded in the frame memory 45 in real time, and at the same time, a real-time image is displayed on the display unit 48.

【0038】コントラスト演算部47は、フレームメモ
リ45から記録された画像データを読み出して、コント
ラスト値を計算する。コントラスト演算部47で計算さ
れたコントラスト値は、表示部48に表示される。一
方、フレームメモリ45から読み出されたデータはAE
演算部53に入力し、当該データに基づいて最適な露出
時間が計算される。計算された露出時間は制御部49に
よりタイミングジェネレータ44に設定され、次回から
の撮影に使用されると共に、露出時間が大きく変動した
場合は、顕微鏡の観察条件が変化したか、標本が切り替
えられたと判断し、フォーカスインジケータのリセット
を行う。
The contrast calculator 47 reads the recorded image data from the frame memory 45 and calculates the contrast value. The contrast value calculated by the contrast calculation unit 47 is displayed on the display unit 48. On the other hand, the data read from the frame memory 45 is AE
The optimum exposure time is calculated based on the data input to the calculation unit 53. The calculated exposure time is set in the timing generator 44 by the control unit 49 and is used for the next imaging, and when the exposure time is largely changed, it is determined that the observation condition of the microscope is changed or the sample is switched. Judge and reset the focus indicator.

【0039】図9及び図10を用いて、第2の実施形態
の具体的な処理について説明する。図9及び図10にお
いて、図3及び図7と同じ部分には、それぞれ同じ符号
を付している。図9は、コントラスト計算処理に係るフ
ローチャートである。図9に示すコントラスト値計算
は、第1の実施形態と同様に割り込み処理として行われ
る。まず、割り込みが発生すると、コントラスト演算部
47は、メモリコントローラ46を介してフレームメモ
リ45から画像データを読み出して(ステップA1)、
コントラスト値を計算する(ステップA2)。コントラ
スト演算部47で計算されたコントラスト値は、現在の
コントラスト値として更新・保存される(ステップA
3)。ステップA1でフレームメモリ45から読み出さ
れた画像データは、コントラスト演算部47以外に、A
E演算部53にも入力され、AE演算部53で露出時間
が計算される(ステップC1)。AE演算部53で計算
された露出時間は、現在の露出時間として更新・保存さ
れる(ステップC2)。以上の一連の処理を行い、割り
込みを終了する(ステップA4)。
Specific processing of the second embodiment will be described with reference to FIGS. 9 and 10. 9 and 10, the same parts as those of FIGS. 3 and 7 are denoted by the same reference numerals. FIG. 9 is a flowchart of the contrast calculation process. The contrast value calculation shown in FIG. 9 is performed as an interrupt process as in the first embodiment. First, when an interrupt occurs, the contrast calculation unit 47 reads image data from the frame memory 45 via the memory controller 46 (step A1),
The contrast value is calculated (step A2). The contrast value calculated by the contrast calculator 47 is updated and saved as the current contrast value (step A).
3). The image data read from the frame memory 45 in step A1 is
It is also input to the E calculation unit 53, and the exposure time is calculated by the AE calculation unit 53 (step C1). The exposure time calculated by the AE calculator 53 is updated and saved as the current exposure time (step C2). The above series of processing is performed, and the interruption is ended (step A4).

【0040】図10は、図9のフローチャートに従って
計算されたコントラスト値の表示処理に係るフローチャ
ートである。表示処理が開始されてから、ステップB5
までの処理は、図7と同様である。すなわち、表示処理
が開始されると、現在のコントラスト値が過去のコント
ラスト値の最大値よりも大きいか否かが判定される(ス
テップB1)。現在のコントラスト値の方が大きい場
合、インジケータが飽和しているかどうかが判定される
(ステップB2)。ステップB2において、インジケー
タが飽和している場合には、インジケータがリセットさ
れる(ステップB3)。なお、ステップB2において、
インジケータが飽和していない場合は現在のコントラス
ト値を最大値に更新する(ステップB4)。ステップB
1において、現在のコントラスト値が最大値に満たなか
った場合には、現在のコントラスト値が最小しきい値以
下であるかどうかが判定される(ステップB5)。ステ
ップB5において、現在のコントラスト値がMIN値以
下である場合には、インジケータのリセットを行う(ス
テップB3)。
FIG. 10 is a flowchart relating to the display processing of the contrast value calculated according to the flowchart of FIG. Step B5 after the display process is started
The process up to is similar to that of FIG. 7. That is, when the display process is started, it is determined whether or not the current contrast value is larger than the maximum past contrast value (step B1). If the current contrast value is higher, it is determined whether the indicator is saturated (step B2). If the indicator is saturated in step B2, the indicator is reset (step B3). In step B2,
If the indicator is not saturated, the current contrast value is updated to the maximum value (step B4). Step B
In 1, when the current contrast value is less than the maximum value, it is determined whether the current contrast value is less than or equal to the minimum threshold value (step B5). If the current contrast value is less than or equal to the MIN value in step B5, the indicator is reset (step B3).

【0041】ステップB5において、現在のコントラス
ト値が最小しきい値より大きい場合には、AE演算部5
3で求めた今回の露出時間と前回の露出時間を比較する
(ステップD1)。今回の露出時間と前回の露出時間と
の差(の絶対値)が、露出変化判定しきい値以上の場合
には(例えば、±2EV以上)、顕微鏡の観察条件もし
くは標本が切り替えられたものと判断して、この後のコ
ントラスト値の変化に対応するためインジケータのリセ
ットを行う。なお、ステップD1において、今回の露出
時間と前回の露出時間との差が、しきい値より小さい場
合には、処理を終了する。
In step B5, if the current contrast value is larger than the minimum threshold value, the AE calculator 5
The present exposure time obtained in 3 is compared with the previous exposure time (step D1). If the difference (absolute value) between the current exposure time and the previous exposure time is greater than or equal to the exposure change determination threshold value (for example, ± 2 EV or more), it is determined that the microscope observation conditions or the sample has been switched. Judgment is made and the indicator is reset to cope with the change in the contrast value thereafter. In step D1, if the difference between the current exposure time and the previous exposure time is smaller than the threshold value, the process ends.

【0042】上記の第2の実施形態においては、今回の
露出時間と前回の露出時間との差が±2EV以上の時を
インジケータをリセットする場合の判定基準としたが、
このしきい値は、任意に設定可能としても良い。また、
今回の露出時間と前回の露出時間との差ではなく、露出
時間の履歴を長く取り、以前のデータ(或いは、その累
積データ)と比較判定することで、撮影画像などに混入
したノイズなどによる露出時間演算結果のノイズを除去
し、観察条件切り替えまたは標本切り替えを正確に判定
することも可能である。
In the above-described second embodiment, the judgment criterion when the indicator is reset is when the difference between the present exposure time and the previous exposure time is ± 2 EV or more.
This threshold may be set arbitrarily. Also,
By taking a long exposure time history instead of the difference between the current exposure time and the previous exposure time, and comparing with the previous data (or its accumulated data), it is possible to expose by the noise mixed in the captured image etc. It is also possible to remove noise in the time calculation result and accurately determine observation condition switching or sample switching.

【0043】また、第2の実施形態のようにインジケー
タのリセットを自動で行う他、第1の実施形態と同様
に、操作部にフォーカスインジケータのリセットボタン
を設けたり、メニューからの操作によってインジケータ
のリセットを行うことも可能であるし、例えば半導体検
査工程などのように、観察方法、標本が特定されている
場合はインジケータのリセットを行わないようにするこ
とも可能である。
Further, in addition to automatically resetting the indicator as in the second embodiment, as in the first embodiment, a reset button for the focus indicator is provided on the operation portion, or the indicator is reset by operating the menu. It is possible to reset, or it is possible not to reset the indicator when the observation method and the specimen are specified, such as in the semiconductor inspection process.

【0044】(第3の実施形態)第3の実施形態に係る
顕微鏡システムの構成およびその詳細構成は、図1及び
図2と同一であるため、図示及び説明を省略する。図1
1を参照して、第3の実施形態に係るフォーカスインジ
ケータ表示時における信号の流れを説明する。図11
は、第3の実施形態に係る撮像装置36の概略構成を示
す図である。なお、図11において、図8と同じ部分に
は、同じ符号を付し、詳細な説明を省略する。第3の実
施形態では、撮像装置36は、第2の実施形態に係るA
E演算部53に代えて、タイマカウント部54を備えて
いる。このタイマカウント部54は、コントラスト値の
履歴を時間と関連付けるため、定期的なタイミングでカ
ウントアップする。
(Third Embodiment) The configuration and detailed configuration of the microscope system according to the third embodiment are the same as those in FIGS. 1 and 2, and therefore, illustration and description thereof will be omitted. Figure 1
With reference to FIG. 1, a signal flow when the focus indicator according to the third embodiment is displayed will be described. Figure 11
FIG. 8 is a diagram showing a schematic configuration of an image pickup device 36 according to a third embodiment. In FIG. 11, the same parts as those in FIG. 8 are designated by the same reference numerals, and detailed description thereof will be omitted. In the third embodiment, the image pickup device 36 is the same as in the second embodiment.
A timer count unit 54 is provided instead of the E calculation unit 53. The timer count unit 54 counts up at a regular timing because the history of contrast values is associated with time.

【0045】上記のように構成された第3の実施形態に
係る撮像装置36において、フォーカスインジケータ表
示に係る動作を説明する。検鏡者は、顕微鏡1を操作し
て、標本3を観察すると共に、必要に応じて撮像装置3
6で画像を記録する。観察および記録の際は標本3にピ
ントを合わせる必要があるが、このピント合わせを容易
にするため、以下のようなフォーカスインジケータ表示
が行われる。
The operation relating to the focus indicator display in the image pickup device 36 according to the third embodiment configured as described above will be described. The microscopist operates the microscope 1 to observe the sample 3 and, if necessary, the imaging device 3
Record the image at 6. At the time of observation and recording, it is necessary to focus on the sample 3, but in order to facilitate this focusing, the following focus indicator display is performed.

【0046】まず、タイミングジェネレータ44から発
生された信号に応じて撮影が行われると、撮像素子42
に標本3の画像に応じた電荷が蓄積される。撮像素子4
2に蓄積された電荷(電気信号)は、撮影の終了後に撮
像素子42から読み出されて、A/D変換器43に入力
する。A/D変換器43は、撮像素子42から入力した
画像信号をアナログ/デジタル変換によりデジタル信号
(デジタル画像データ)に変換する。このデジタル画像
データは、フレームメモリ45に格納される。メモリコ
ントローラ46によって、フレームメモリ45の書き込
み/読み出しを制御することにより、撮像素子42から
の画像データをリアルタイムにフレームメモリ45に記
録すると同時に表示部48にリアルタイム画像を表示す
る。
First, when photographing is performed according to the signal generated from the timing generator 44, the image pickup element 42
A charge corresponding to the image of the sample 3 is accumulated in the. Image sensor 4
The electric charge (electrical signal) accumulated in 2 is read out from the image pickup device 42 after the end of photographing, and is input to the A / D converter 43. The A / D converter 43 converts the image signal input from the image sensor 42 into a digital signal (digital image data) by analog / digital conversion. This digital image data is stored in the frame memory 45. By controlling writing / reading of the frame memory 45 by the memory controller 46, the image data from the image pickup device 42 is recorded in the frame memory 45 in real time, and at the same time, a real-time image is displayed on the display unit 48.

【0047】コントラスト演算部47は、フレームメモ
リ45から記録された画像データを読み出して、コント
ラスト値を計算する。コントラスト演算部47で計算さ
れたコントラスト値は、表示部48に表示される。この
時、タイマカウント部54は、所定の時間間隔毎に(す
なわち、定期的なタイミングで)、当該時刻と累積カウ
ント値が、当該時刻に応じたコントラスト値と共に履歴
データとして保存される。そして、一定期間コントラス
ト値の変化がない場合には、合焦位置近傍のフォーカス
微調整期間であるものと判断し、インジケータのリセッ
トを行う。
The contrast calculator 47 reads the recorded image data from the frame memory 45 and calculates the contrast value. The contrast value calculated by the contrast calculation unit 47 is displayed on the display unit 48. At this time, the timer count unit 54 saves the time and the cumulative count value as history data at predetermined time intervals (that is, at regular timings) together with the contrast value according to the time. Then, when the contrast value does not change for a certain period, it is determined that it is a focus fine adjustment period near the in-focus position, and the indicator is reset.

【0048】図12を用いて、第3の実施形態の具体的
な処理について説明する。図12において、図7と同じ
部分には、同じ符号を付している。なお、本実施形態の
説明において、過去5秒間のコントラスト値の変化量が
しきい値以下(5%)の場合をインジケータのリセット
条件とするものとして説明する。なお、コントラスト値
の計算は、第1の実施形態と同様に、割り込み処理とし
て行われる(図6)。従って、コントラスト値の計算に
ついては、図示及び説明は省略する。
Specific processing of the third embodiment will be described with reference to FIG. 12, the same parts as those in FIG. 7 are designated by the same reference numerals. In the description of the present embodiment, the case where the amount of change in the contrast value in the past 5 seconds is equal to or less than the threshold value (5%) is set as the indicator reset condition. The calculation of the contrast value is performed as an interrupt process as in the first embodiment (FIG. 6). Therefore, illustration and description of the calculation of the contrast value are omitted.

【0049】図12は、計算されたコントラスト値の表
示処理に係るフローチャートである。表示処理が開始さ
れてから、ステップB5までの処理は、図7と同様であ
る。すなわち、表示処理が開始されると、現在のコント
ラスト値が過去のコントラスト値の最大値よりも大きい
か否かが判定される(ステップB1)。現在のコントラ
スト値の方が大きい場合、インジケータが飽和している
かどうかが判定される(ステップB2)。ステップB2
において、インジケータが飽和している場合には、イン
ジケータがリセットされる(ステップB3)。そして、
連続リセット用カウンタのカウント値をリセット(co
unt=0)する(ステップE4)。ここで、連続リセ
ット用カウンタとは、コントラスト値の変化履歴がしき
い値以下に収まっている時間を示す変数で、図示しない
タイマ割り込み処理により、一定期間ごとにカウントア
ップ(インクリメント)される。このカウンタが連続リ
セット時間(すなわち、所定カウント値:COUNT_
CONT)以上になると、インジケータがリセットされ
る。なお、ステップB2において、インジケータが飽和
していない場合は現在のコントラスト値を最大値に更新
する(ステップB4)。ステップB1において、現在の
コントラスト値が最大値に満たなかった場合には、現在
のコントラスト値が最小しきい値以下であるかどうかが
判定される(ステップB5)。ステップB5において、
現在のコントラスト値がMIN値以下である場合には、
インジケータのリセットを行う(ステップB3)。
FIG. 12 is a flowchart relating to the display process of the calculated contrast value. The process from the start of the display process to step B5 is the same as in FIG. That is, when the display process is started, it is determined whether or not the current contrast value is larger than the maximum past contrast value (step B1). If the current contrast value is higher, it is determined whether the indicator is saturated (step B2). Step B2
In, if the indicator is saturated, the indicator is reset (step B3). And
Reset the count value of the counter for continuous reset (co
unt = 0) (step E4). Here, the continuous reset counter is a variable indicating the time during which the change history of the contrast value is below the threshold value, and is incremented (incremented) at regular intervals by a timer interrupt process (not shown). This counter has a continuous reset time (that is, a predetermined count value: COUNT_
CONT) and above, the indicator is reset. When the indicator is not saturated in step B2, the current contrast value is updated to the maximum value (step B4). If the current contrast value is less than the maximum value in step B1, it is determined whether the current contrast value is less than or equal to the minimum threshold value (step B5). In step B5,
If the current contrast value is less than or equal to the MIN value,
The indicator is reset (step B3).

【0050】ステップB5において、現在のコントラス
ト値が最小しきい値より大きい場合には、以下のよう
に、コントラスト値の過去履歴の判定を行う。まず、現
在のコントラスト値を用いて最大値、min値の過去履
歴を更新し(ステップE1)、過去履歴が連続リセット
用変化量しきい値以下であるかどうかを判定する(ステ
ップE2)。ステップE2において、過去履歴がしきい
値以上の場合には、カウント値をリセットして終了する
(ステップE4)。一方、ステップE2において、過去
履歴がしきい値以下の場合には、どれだけの期間連続し
ているか判定する(ステップE3)。
In step B5, when the current contrast value is larger than the minimum threshold value, the past history of the contrast value is determined as follows. First, the past history of the maximum value and the min value is updated using the current contrast value (step E1), and it is determined whether the past history is equal to or less than the change threshold for continuous reset (step E2). In step E2, if the past history is equal to or greater than the threshold value, the count value is reset and the process ends (step E4). On the other hand, if the past history is less than or equal to the threshold value at step E2, it is determined how long the history is continuous (step E3).

【0051】ステップE3において、タイマのカウンタ
値が連続リセット時間(COUNT_CONT)をこえ
ていた場合、インジケータのリセットが行われ(ステッ
プB3)、続いてカウンタがリセットされて(ステップ
E4)終了する。タイマのカウンタ値が連続リセット時
間に満たない場合は何もせずに終了する。
In step E3, if the counter value of the timer exceeds the continuous reset time (COUNT_CONT), the indicator is reset (step B3), the counter is reset (step E4), and the process ends. If the timer counter value is less than the continuous reset time, nothing is done and the process ends.

【0052】[0052]

【発明の効果】本発明ぼ各実施形態によれば、(1)フ
ォーカスインジケータが常に表示の高い位置で振れるた
め、フォーカシングがやり易い。(2)フォーカスイン
ジケータのリセットが自動で行われるため、手動でのリ
セットが発生せず、使いやすい。等の効果が得られる。
According to each of the embodiments of the present invention, (1) since the focus indicator always swings at a high display position, focusing is easy. (2) Since the focus indicator is automatically reset, manual resetting does not occur and it is easy to use. And so on.

【図面の簡単な説明】[Brief description of drawings]

【図1】 本発明の第1の実施形態に係る顕微鏡用撮像
装置が適用される顕微鏡システムの構成を示す図。
FIG. 1 is a diagram showing a configuration of a microscope system to which a microscope image pickup apparatus according to a first embodiment of the present invention is applied.

【図2】 図1に示す顕微鏡システムの詳細な構成を示
す図。
FIG. 2 is a diagram showing a detailed configuration of the microscope system shown in FIG.

【図3】 本発明の第1の実施形態に係る顕微鏡におけ
る各検出部と撮像装置の概略構成とを示す図。
FIG. 3 is a diagram showing a schematic configuration of each detection unit and an imaging device in the microscope according to the first embodiment of the present invention.

【図4】 コントラスト特性を示す図。FIG. 4 is a diagram showing contrast characteristics.

【図5】 本発明の実施形態に係るインジケータ表示の
一例を示す図。
FIG. 5 is a diagram showing an example of an indicator display according to the embodiment of the present invention.

【図6】 コントラスト計算処理に係るフローチャー
ト。
FIG. 6 is a flowchart related to contrast calculation processing.

【図7】 図6のフローチャートに従って計算されたコ
ントラスト値の表示処理に係るフローチャート。
7 is a flowchart relating to a display process of a contrast value calculated according to the flowchart of FIG.

【図8】 第2の実施形態に係る撮像装置の概略構成を
示す図。
FIG. 8 is a diagram showing a schematic configuration of an image pickup apparatus according to a second embodiment.

【図9】 コントラスト計算処理に係るフローチャー
ト。
FIG. 9 is a flowchart related to contrast calculation processing.

【図10】 図9のフローチャートに従って計算された
コントラスト値の表示処理に係るフローチャート。
10 is a flowchart relating to a display process of a contrast value calculated according to the flowchart of FIG.

【図11】 第3の実施形態に係る撮像装置の概略構成
を示す図。
FIG. 11 is a diagram showing a schematic configuration of an image pickup apparatus according to a third embodiment.

【図12】 計算されたコントラスト値の表示処理に係
るフローチャート。
FIG. 12 is a flowchart relating to display processing of calculated contrast values.

【符号の説明】[Explanation of symbols]

1…顕微鏡 3…試料(標本) 5…三眼鏡筒ユニット 6…接眼レンズユニット 6a…接眼レンズ 11…透過照明光学系 12…落射照明光学系 13…透過照明用光源 14…コレクタレンズ 15…透過用フィルタユニット 17…ミラー 19…コンデンサ光学素子ユニット 20…トップレンズユニット 21…落射照明用光源 22…落射用フィルタユニット 23…落射シャッタ 26…試料ステージ 27…対物レンズ 28…レボルバ 29…対物レンズ側光学素子ユニット 30…キューブユニット 31…ビームスプリッタ 33…中間変倍光学系 33a…変倍ズームレンズ 35…写真接眼レンズユニット 35a…写真接眼レンズ 36…撮像装置 37…駆動回路部 38…対物レンズ検出部 39…リタデーション調整動作検出部 40…写真接眼レンズ検出部 41…顕微鏡コントロール部 42…撮像素子 43…D変換器 44…タイミングジェネレータ 45…フレームメモリ 46…メモリコントローラ 47…コントラスト演算部 48…表示部 49…制御部 50…対物レンズ検出部 51…写真接眼レンズ検出部 52…検鏡法検出部 53…AE演算部 54…タイマカウント部 1 ... Microscope 3 ... Sample 5 ... Trinocular tube unit 6 ... Eyepiece unit 6a ... Eyepiece 11 ... Transmitted illumination optical system 12: Epi-illumination optical system 13 ... Light source for transmitted illumination 14 ... Collector lens 15 ... Transmission filter unit 17 ... Mirror 19 ... Condenser optical element unit 20 ... Top lens unit 21 ... Epi-illumination light source 22 ... Epi-illumination filter unit 23 ... Episcopic shutter 26 ... Sample stage 27 ... Objective lens 28 ... Revolver 29 ... Objective lens side optical element unit 30 ... Cube unit 31 ... Beam splitter 33 ... Intermediate variable power optical system 33a ... Zoom lens 35 ... Photo eyepiece unit 35a ... Photo eyepiece 36 ... Imaging device 37 ... Drive circuit section 38 ... Objective lens detector 39 ... Retardation adjustment operation detector 40 ... Photo eyepiece detection unit 41 ... Microscope control section 42 ... Image sensor 43 ... D converter 44 ... Timing generator 45 ... Frame memory 46 ... Memory controller 47 ... Contrast calculation unit 48 ... Display 49 ... Control unit 50 ... Objective lens detector 51 ... Photo eyepiece detection unit 52 ... Microscopic detection section 53 ... AE calculation unit 54 ... Timer counting section

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/225 G03B 3/00 A Fターム(参考) 2H011 AA06 BA31 DA05 2H051 AA11 BA45 BA47 CE23 EB20 2H052 AA01 AA05 AA09 AB05 AB06 AB10 AB24 AC04 AC05 AC06 AC07 AC14 AC27 AD07 AD33 AF14 AF21 AF25 2H102 AA17 AA33 BA15 5C022 AA08 AA13 AB01 AB28 AC03 AC13 AC42 AC54 AC77 ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI theme code (reference) H04N 5/225 G03B 3/00 AF term (reference) 2H011 AA06 BA31 DA05 2H051 AA11 BA45 BA47 CE23 EB20 2H052 AA01 AA05 AA09 AB05 AB06 AB10 AB24 AC04 AC05 AC06 AC07 AC14 AC27 AD07 AD33 AF14 AF21 AF25 2H102 AA17 AA33 BA15 5C022 AA08 AA13 AB01 AB28 AC03 AC13 AC42 AC54 AC77

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 顕微鏡による観察像の撮像に適用される
撮像装置において、 前記顕微鏡側の少なくとも対物レンズと写真接眼レンズ
の投影倍率に係る光学系の組み合わせ、及び検鏡方法の
少なくとも1つの状態に応じて、前記撮像装置で撮像さ
れた画像の合焦情報の表示を切り替えることを特徴とす
る顕微鏡用撮像装置。
1. An image pickup apparatus applied to picking up an observation image by a microscope, comprising at least one of a combination of an optical system relating to a projection magnification of at least the objective lens and a photographic eyepiece on the microscope side, and a microscopic method. The imaging device for a microscope is characterized in that the display of the focusing information of the image taken by the imaging device is switched accordingly.
【請求項2】 顕微鏡による観察像の撮像に適用される
撮像装置において、 前記撮像装置の出力信号から得られる露出情報に応じ
て、前記撮像装置で撮像された画像の合焦情報の表示を
切り替えることを特徴とする顕微鏡用撮像装置。
2. An image pickup device applied to picking up an observation image by a microscope, wherein display of focus information of an image picked up by the image pickup device is switched according to exposure information obtained from an output signal of the image pickup device. An imaging device for a microscope characterized by the above.
【請求項3】 顕微鏡による観察像の撮像に適用される
撮像装置において、 前記撮像装置で撮像された画像の合焦情報と、その表示
にかかる経過時間に応じて、前記撮像装置で撮像された
画像の合焦情報の表示を切り替えることを特徴とする顕
微鏡用撮像装置。
3. An image pickup apparatus applied to pick up an observation image by a microscope, wherein the image pickup apparatus picks up an image in accordance with focus information of the image picked up by the image pickup apparatus and elapsed time required for the display. An image pickup apparatus for a microscope, which switches display of focusing information of an image.
【請求項4】 前記合焦情報の表示は、フォーカスイン
ジケータのリセットを含むことを特徴とする諸求項1か
ら請求項3のいずれか1項に記載の顕微鏡用撮像装置。
4. The microscope image pickup apparatus according to claim 1, wherein displaying the focus information includes resetting a focus indicator.
JP2002154187A 2002-05-28 2002-05-28 Microscope imaging device Expired - Lifetime JP4217427B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002154187A JP4217427B2 (en) 2002-05-28 2002-05-28 Microscope imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002154187A JP4217427B2 (en) 2002-05-28 2002-05-28 Microscope imaging device

Publications (3)

Publication Number Publication Date
JP2003344782A true JP2003344782A (en) 2003-12-03
JP2003344782A5 JP2003344782A5 (en) 2005-10-06
JP4217427B2 JP4217427B2 (en) 2009-02-04

Family

ID=29771042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002154187A Expired - Lifetime JP4217427B2 (en) 2002-05-28 2002-05-28 Microscope imaging device

Country Status (1)

Country Link
JP (1) JP4217427B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005331888A (en) * 2004-05-21 2005-12-02 Keyence Corp Fluorescence microscope
JP2008122857A (en) * 2006-11-15 2008-05-29 Olympus Corp Automatic focus detector, its control method, and microscope system
JP2008175586A (en) * 2007-01-16 2008-07-31 Mitsutoyo Corp Hardness tester
US10799793B2 (en) 2015-10-05 2020-10-13 Gree, Inc. Non-transitory computer readable medium, method of controlling a game, and information processing system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08211295A (en) * 1995-02-02 1996-08-20 Olympus Optical Co Ltd Microscope device
JPH08240774A (en) * 1995-03-02 1996-09-17 Olympus Optical Co Ltd Microscope device
JPH11283035A (en) * 1998-03-27 1999-10-15 Mitsutoyo Corp Focus adjustment device for image equipment
JP2000278558A (en) * 1999-03-24 2000-10-06 Olympus Optical Co Ltd Digital camera for microscope

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08211295A (en) * 1995-02-02 1996-08-20 Olympus Optical Co Ltd Microscope device
JPH08240774A (en) * 1995-03-02 1996-09-17 Olympus Optical Co Ltd Microscope device
JPH11283035A (en) * 1998-03-27 1999-10-15 Mitsutoyo Corp Focus adjustment device for image equipment
JP2000278558A (en) * 1999-03-24 2000-10-06 Olympus Optical Co Ltd Digital camera for microscope

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005331888A (en) * 2004-05-21 2005-12-02 Keyence Corp Fluorescence microscope
JP2008122857A (en) * 2006-11-15 2008-05-29 Olympus Corp Automatic focus detector, its control method, and microscope system
US8143562B2 (en) 2006-11-15 2012-03-27 Olympus Corporation Autofocus device enabling real-time follow-AF, method of controlling the same, and microscope system using the same
JP2008175586A (en) * 2007-01-16 2008-07-31 Mitsutoyo Corp Hardness tester
US10799793B2 (en) 2015-10-05 2020-10-13 Gree, Inc. Non-transitory computer readable medium, method of controlling a game, and information processing system
US11325033B2 (en) 2015-10-05 2022-05-10 Gree, Inc. Non-transitory computer readable medium, method of controlling a game, and information processing system with modification of identification images based on change to game parameter
US11745100B2 (en) 2015-10-05 2023-09-05 Gree, Inc. Non-transitory computer readable medium, method of controlling a game, and information processing system with modification of identification images based on change to game parameter

Also Published As

Publication number Publication date
JP4217427B2 (en) 2009-02-04

Similar Documents

Publication Publication Date Title
JP4136011B2 (en) Depth of focus extension device
US8203642B2 (en) Selection of an auto focusing method in an imaging apparatus
JP3537205B2 (en) Microscope equipment
US7944499B2 (en) Single lens reflex type electronic imaging apparatus
US6795238B2 (en) Electronic camera for microscope
US8264768B2 (en) Microscope system
US7747156B2 (en) Digital single-lens reflex camera
JP2009151254A (en) Photographing device and focus detector
JP5932210B2 (en) Imaging apparatus and focus adjustment method
JP2010039284A (en) Image pick-up apparatus and control method therefor
JP2007274587A (en) Imaging apparatus and control method thereof
JP5450965B2 (en) Imaging device
JP4979469B2 (en) Microscope imaging device
JP4217427B2 (en) Microscope imaging device
US20090168156A1 (en) Microscope system, microscope system control program and microscope system control method
JPH0516565B2 (en)
JP3670331B2 (en) Microscope equipment
JPH09189849A (en) Focus detection device for microscope
JP3745034B2 (en) Microscope system
JP2005037683A (en) Imaging device for microscope, its control method and program for control method
JP3402654B2 (en) Automatic focus detection system for microscope
JP2004272077A (en) Apparatus and method for shading correction and recording medium on which control program is recorded
JP4631324B2 (en) Fluorescence microscope
JP2000214509A (en) Microphotographic apparatus
JP2009258307A (en) Lens interchangeable type digital camera system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050530

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081021

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081110

R151 Written notification of patent or utility model registration

Ref document number: 4217427

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131114

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371