JP2016086388A - Controller for imaging apparatus, imaging apparatus, imaging method, imaging program, storage medium, and microscope system - Google Patents
Controller for imaging apparatus, imaging apparatus, imaging method, imaging program, storage medium, and microscope system Download PDFInfo
- Publication number
- JP2016086388A JP2016086388A JP2014220162A JP2014220162A JP2016086388A JP 2016086388 A JP2016086388 A JP 2016086388A JP 2014220162 A JP2014220162 A JP 2014220162A JP 2014220162 A JP2014220162 A JP 2014220162A JP 2016086388 A JP2016086388 A JP 2016086388A
- Authority
- JP
- Japan
- Prior art keywords
- region
- area
- sensor
- image
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、撮像装置の制御装置、撮像装置、撮像方法、撮像プログラム、記憶媒体、及び顕微鏡システムに関する。 The present invention relates to an imaging device control device, an imaging device, an imaging method, an imaging program, a storage medium, and a microscope system.
ＣＭＯＳセンサなどのイメージセンサは、撮像装置、顕微鏡装置などの各種光学装置に利用されている（下記の特許文献１および特許文献２参照）。特許文献１に係る顕微鏡は、撮像対象物を計測部において予備計測することで、撮像条件を決定するためのパラメータを検出する。特許文献２に係る撮像装置は、発光部の配光を考慮して、撮像素子の画像データ出力領域を制御する。 Image sensors such as CMOS sensors are used in various optical devices such as an imaging device and a microscope device (see Patent Document 1 and Patent Document 2 below). The microscope according to Patent Literature 1 detects a parameter for determining an imaging condition by preliminarily measuring an imaging object in a measurement unit. The imaging apparatus according to Patent Document 2 controls the image data output area of the imaging element in consideration of the light distribution of the light emitting unit.
ところで、撮像装置は、撮影レンズなどの光学系を介して対象物を撮像する。この光学系の視野は、撮像装置においてフォトダイオードが配置されるセンサ領域と必ずしも一致しない。例えば、光学系の倍率とセンサ領域の寸法によっては、センサ領域が光学系の視野よりも大きい場合がある。この場合に、視野の内側と外側の領域がともにセンサ領域に配置され、撮像された画像は、視野の内側と外側とで基準の明るさが異なることになる。このような画像は、各種の画像処理を施す際に暗い部分の情報が欠落することがある。また、複数の画像を継ぎ合わせた場合に、継ぎ目が目立ってしまうことがある。このような光学系による画像品質の低下は、センサ領域のうち撮像に使う領域を、ユーザーが指定することで解消されるが、ユーザーに負担をかけることになる。 By the way, the imaging device images an object through an optical system such as a photographing lens. The field of view of this optical system does not necessarily coincide with the sensor region in which the photodiode is arranged in the imaging device. For example, depending on the magnification of the optical system and the dimensions of the sensor area, the sensor area may be larger than the field of view of the optical system. In this case, both the inside and outside areas of the field of view are arranged in the sensor area, and the captured image has different reference brightness between the inside and outside of the field of view. In such an image, information on a dark part may be lost when various kinds of image processing are performed. In addition, when a plurality of images are joined together, the joints may be noticeable. Such a decrease in image quality due to the optical system is resolved by the user specifying an area used for imaging in the sensor area, but this places a burden on the user.
本発明は、上記の事情に鑑みなされたものであり、ユーザーの負担を減らしつつ光学系による画像品質の低下を抑制できる撮像装置の制御装置、撮像装置、撮像方法、撮像プログラム、記憶媒体、及び顕微鏡システムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and is capable of suppressing a reduction in image quality due to an optical system while reducing a user's burden, an imaging apparatus, an imaging apparatus, an imaging method, an imaging program, a storage medium, and An object is to provide a microscope system.
本発明の第１の態様に従えば、撮像対象物を、光学系を介してセンサ領域で撮像する撮像装置を制御する制御装置であって、センサ領域と光学系の視野との重複領域において、輝度の最大値に対する比率が閾値以上となる第１領域を検出する第１領域検出部と、第１領域検出部が検出した第１領域に収まる矩形の第２領域を検出する第２領域検出部と、センサ領域のうち第２領域検出部が検出した第２領域に配置された画素で撮像された画像のデータを抽出する抽出部と、を備える制御装置が提供される。 According to the first aspect of the present invention, there is provided a control device that controls an imaging device that captures an imaging object in a sensor region via an optical system, and in an overlapping region between the sensor region and the visual field of the optical system, A first region detection unit that detects a first region in which the ratio to the maximum luminance value is equal to or greater than a threshold value, and a second region detection unit that detects a rectangular second region that falls within the first region detected by the first region detection unit And an extraction unit that extracts data of an image captured by pixels arranged in the second region detected by the second region detection unit in the sensor region.
本発明の第２の態様に従えば、第１の態様の制御装置により制御される撮像装置が提供される。 According to the second aspect of the present invention, an imaging device controlled by the control device of the first aspect is provided.
本発明の第３の態様に従えば、第１の態様の制御装置を搭載した顕微鏡システムが提供される。 According to the third aspect of the present invention, a microscope system equipped with the control device of the first aspect is provided.
本発明の第４の態様に従えば、撮像対象物を、光学系を介して撮像装置のセンサ領域で撮像する撮像方法であって、センサ領域と光学系の視野との重複領域において、輝度の最大値に対する比率が閾値以上となる第１領域を検出することと、第１領域検出部が検出した第１領域に収まる矩形の第２領域を検出することと、センサ領域のうち第２領域検出部が検出した第２領域に配置された画素で撮像された画像のデータを抽出することと、を含む撮像方法が提供される。 According to a fourth aspect of the present invention, there is provided an imaging method for imaging an imaging object in a sensor area of an imaging apparatus via an optical system, wherein the luminance is reduced in an overlapping area between the sensor area and the visual field of the optical system. Detecting a first area whose ratio to the maximum value is equal to or greater than a threshold; detecting a rectangular second area that falls within the first area detected by the first area detecting unit; and detecting a second area of the sensor areas An image capturing method including extracting data of an image captured by pixels arranged in the second region detected by the unit.
本発明の第５の態様に従えば、撮像対象物を、光学系を介してセンサ領域で撮像する撮像装置を制御するコンピュータに、センサ領域と光学系の視野との重複領域において、輝度の最大値に対する比率が閾値以上となる第１領域を検出することと、第１領域検出部が検出した第１領域に収まる矩形の第２領域を検出することと、センサ領域のうち第２領域検出部が検出した第２領域に配置された画素で撮像された画像のデータを抽出することと、を実行させるプログラムが提供される。 According to the fifth aspect of the present invention, a computer that controls an imaging device that captures an imaging object in the sensor region via the optical system has a maximum luminance in the overlapping region between the sensor region and the visual field of the optical system. Detecting a first area in which a ratio to a value is equal to or greater than a threshold; detecting a rectangular second area that falls within the first area detected by the first area detecting unit; and a second area detecting unit of the sensor areas A program for executing extraction of data of an image captured by pixels arranged in the second region detected by is provided.
本発明の第６の態様に従えば、第５の態様の撮像プログラムが記録され、コンピュータで読み取り可能な記憶媒体が提供される。 According to the sixth aspect of the present invention, a computer-readable storage medium in which the imaging program of the fifth aspect is recorded is provided.
本発明によれば、ユーザーの負担を減らしつつ光学系による画像品質の低下を抑制できる撮像装置の制御装置、撮像装置、撮像方法、撮像プログラム、記憶媒体、及び顕微鏡システムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the control apparatus of an imaging device, the imaging device, the imaging method, an imaging program, a storage medium, and a microscope system which can suppress the fall of the image quality by an optical system, reducing a user's burden can be provided.
実施形態について説明する。図１は、本実施形態に係る顕微鏡システム１の構成を示す図である。この顕微鏡システム１は、顕微鏡２、カメラ３、制御装置４、入力装置５、表示装置６、及び記憶装置７を備えている。 Embodiments will be described. FIG. 1 is a diagram illustrating a configuration of a microscope system 1 according to the present embodiment. The microscope system 1 includes a microscope 2, a camera 3, a control device 4, an input device 5, a display device 6, and a storage device 7.
顕微鏡システム１の各部は、概略すると以下のように動作する。顕微鏡２は、標本Ｓを照明するとともに、照明されている標本Ｓの像を形成する。カメラ３は、撮像装置であり、顕微鏡２が形成した標本Ｓの像を撮像する。制御装置４は、顕微鏡システム１の各部を制御する。入力装置５は、ユーザーから情報の入力を受け付けるとともに、入力された情報を制御装置４に出力する。表示装置６は、制御装置４から供給されるデータに従って、顕微鏡システム１に関する情報や標本Ｓに関する情報などを表示する。記憶装置７は、制御装置４にデータを供給し、また、制御装置４から供給されたデータを記憶する。 Each part of the microscope system 1 generally operates as follows. The microscope 2 illuminates the specimen S and forms an image of the illuminated specimen S. The camera 3 is an imaging device and captures an image of the specimen S formed by the microscope 2. The control device 4 controls each part of the microscope system 1. The input device 5 receives input of information from the user and outputs the input information to the control device 4. The display device 6 displays information related to the microscope system 1 and information related to the specimen S according to data supplied from the control device 4. The storage device 7 supplies data to the control device 4 and stores data supplied from the control device 4.
次に、顕微鏡システム１の各部について、より詳しく説明する。顕微鏡２は、ステージ１０、落射照明系１１、透過照明系１２、結像光学系１３、及び顕微鏡コントローラ１４を備えている。 Next, each part of the microscope system 1 will be described in more detail. The microscope 2 includes a stage 10, an epi-illumination system 11, a transmission illumination system 12, an imaging optical system 13, and a microscope controller 14.
ステージ１０は、観察対象の標本Ｓを保持して移動可能である。ステージ１０は、いわゆるＸＹステージあり、落射照明系１１の光軸１１ａに交差する２方向に移動可能である。ステージ１０は、顕微鏡コントローラ１４に制御されて、移動する。なお、ステージ１０は、光軸１１ａに交差する１方向のみに移動可能であってもよいし、光軸１１ａに交差する方向に移動不能であってもよい。また、ステージ１０は、落射照明系１１の光軸１１ａと平行な方向に移動可能であってもよい。 The stage 10 is movable while holding the specimen S to be observed. The stage 10 is a so-called XY stage and is movable in two directions intersecting the optical axis 11 a of the epi-illumination system 11. The stage 10 moves under the control of the microscope controller 14. The stage 10 may be movable only in one direction intersecting the optical axis 11a, or may not be movable in the direction intersecting the optical axis 11a. The stage 10 may be movable in a direction parallel to the optical axis 11a of the epi-illumination system 11.
標本Ｓは、例えば、観察対象の試料を載置したプレートである。標本Ｓは、観察対象とする細胞を培地と共に収納した培養容器であってもよいし、生体以外の鉱物試料であってもよい。 The specimen S is, for example, a plate on which a sample to be observed is placed. The specimen S may be a culture container that contains cells to be observed together with a culture medium, or may be a mineral sample other than a living body.
落射照明系１１は、例えば蛍光観察などに利用され、標本Ｓに対して観察側（カメラ３の配置側）に配置されている。落射照明系１１は、光源１５、コンデンサレンズ１６、蛍光フィルターキューブ１７、及び対物レンズ１８を備えている。 The epi-illumination system 11 is used for fluorescence observation, for example, and is arranged on the observation side (the arrangement side of the camera 3) with respect to the specimen S. The epi-illumination system 11 includes a light source 15, a condenser lens 16, a fluorescent filter cube 17, and an objective lens 18.
光源１５は、発光ダイオード（ＬＥＤ）やレーザーダイオード（ＬＤ）などの固体光源、ランプ光源の少なくとも一つを含む。光源１５が射出する光の波長は、標本Ｓの種類、観察法方法などに応じて適宜選択される。例えば、光源１５は、蛍光物質で染色された核の観察において、核（蛍光物質）を励起する波長の光を射出するものが用いられる。 The light source 15 includes at least one of a solid light source such as a light emitting diode (LED) and a laser diode (LD), and a lamp light source. The wavelength of light emitted from the light source 15 is appropriately selected according to the type of the specimen S, the observation method, and the like. For example, a light source 15 that emits light having a wavelength that excites the nucleus (fluorescent material) in the observation of the nucleus stained with the fluorescent material is used.
コンデンサレンズ１６および対物レンズ１８は、例えばケーラー照明法により、ステージ１０に保持された標本Ｓを均一な明るさで照明する。コンデンサレンズ１６は、光源１５から射出された光の照度分布を、所定面において均一にする。対物レンズ１８は、コンデンサレンズ１６により照度分布が均一になる所定面と光学的に共役な共役面を形成する。この共役面は、いわゆる照明領域であり、標本Ｓは照明領域の位置またはその近傍に配置される。なお、コンデンサレンズ１６は、照度が均一な面を形成する光学系でなくてもよく、例えば縞状のパターン光（構造化照明光）を形成する光学系であってもよい。 The condenser lens 16 and the objective lens 18 illuminate the specimen S held on the stage 10 with uniform brightness by, for example, the Koehler illumination method. The condenser lens 16 makes the illuminance distribution of the light emitted from the light source 15 uniform on a predetermined surface. The objective lens 18 forms a conjugate surface optically conjugate with a predetermined surface where the illuminance distribution is made uniform by the condenser lens 16. This conjugate plane is a so-called illumination area, and the specimen S is arranged at or near the position of the illumination area. The condenser lens 16 may not be an optical system that forms a surface with uniform illuminance, and may be an optical system that forms striped pattern light (structured illumination light), for example.
蛍光フィルターキューブ１７は、コンデンサレンズ１６と対物レンズ１８との間の光路に、挿脱可能に配置される。蛍光フィルターキューブ１７は、波長選択膜１７ａを内部に有するプリズム状である。この波長選択膜１７ａは、光源１５からの光の少なくとも一部が反射し、標本Ｓからの光の少なくとも一部が通過する特性を有する。例えば、波長選択膜１７ａは、蛍光物質で染色された核の観察において、核を励起する波長の光が反射し、核で生じた蛍光が通るものが用いられる。波長選択膜１７ａは、コンデンサレンズ１６の光軸と約４５°の角度で傾斜している。コンデンサレンズ１６を通った光は、波長選択膜１７ａで反射して光路が約９０°折れ曲がり、対物レンズ１８を通って標本Ｓに入射する。 The fluorescent filter cube 17 is detachably disposed in the optical path between the condenser lens 16 and the objective lens 18. The fluorescent filter cube 17 has a prism shape having a wavelength selection film 17a therein. The wavelength selection film 17a has a characteristic that at least a part of the light from the light source 15 is reflected and at least a part of the light from the sample S passes. For example, in the observation of the nucleus stained with the fluorescent material, the wavelength selection film 17a is used that reflects light having a wavelength for exciting the nucleus and allows the fluorescence generated in the nucleus to pass. The wavelength selection film 17a is inclined with respect to the optical axis of the condenser lens 16 at an angle of about 45 °. The light that has passed through the condenser lens 16 is reflected by the wavelength selection film 17 a, the optical path is bent by about 90 °, and enters the sample S through the objective lens 18.
透過照明系１２は、例えば明視野観察などに利用され、標本Ｓに対して観察側の反対側に配置されている。透過照明系１２は、光源１９およびコンデンサレンズ２０を備えている。光源１９は、固体光源とランプ光源のいずれを含んでいてもよい。コンデンサレンズ２０は、光源１９から射出された光の照度分布を、所定面において所望の分布にする光学系である。この所定面は、いわゆる照明領域であり、標本Ｓは照明領域の位置またはその近傍に配置される。ステージ１０には、透過照明系１２から射出された光が通る窓１０ａが設けられている。窓１０ａは、空隙であってもよいし、光透過性を有する部材がはめ込まれていてもよい。 The transmitted illumination system 12 is used for bright field observation, for example, and is disposed on the opposite side of the observation side with respect to the specimen S. The transmitted illumination system 12 includes a light source 19 and a condenser lens 20. The light source 19 may include either a solid light source or a lamp light source. The condenser lens 20 is an optical system that changes the illuminance distribution of light emitted from the light source 19 to a desired distribution on a predetermined surface. This predetermined surface is a so-called illumination area, and the specimen S is arranged at or near the position of the illumination area. The stage 10 is provided with a window 10a through which light emitted from the transmission illumination system 12 passes. The window 10a may be a gap or may be fitted with a light-transmitting member.
以上のような落射照明系１１および透過照明系１２は、顕微鏡コントローラ１４に制御される。顕微鏡コントローラ１４は、制御装置４からの指令に従って、光源１５の点灯や消灯、光源１９の点灯や消灯などを制御する。また、落射照明系１１および透過照明系１２には、それぞれ、開口絞り、視野絞りなどの光学部品が設けられており、顕微鏡コントローラ１４は、制御装置４からの指令に従って、各種絞りの開口率などを制御する。 The epi-illumination system 11 and the transmission illumination system 12 as described above are controlled by the microscope controller 14. The microscope controller 14 controls turning on and off of the light source 15 and turning on and off of the light source 19 in accordance with instructions from the control device 4. The incident illumination system 11 and the transmission illumination system 12 are provided with optical components such as an aperture stop and a field stop, respectively, and the microscope controller 14 performs aperture ratios of various stops in accordance with instructions from the control device 4. To control.
顕微鏡コントローラ１４には、不揮発メモリなどの記憶部が設けられており、この記憶部には、落射照明系１１、透過照明系１２の特性を示す特性情報が記憶されている。この特性情報は、後に説明する制御装置４による画像エリアの算出に利用される。落射照明系１１に関する特性情報は、光源１５から射出される光の波長を示す第１光源情報、コンデンサレンズ１６の周辺減光率を示す第１レンズ情報、及び対物レンズ１８の周辺減光率を示す第２レンズ情報、落射照明系１１に設けられた絞りの開口率を示す開口率を示す情報を含む。透過照明系１２に関する特性情報は、光源１９から射出される光の波長を示す第２光源情報、コンデンサレンズ２０の周辺減光率を示す第３レンズ情報、及び透過照明系１２に設けられた絞りの開口率を示す開口率情報を含む。 The microscope controller 14 is provided with a storage unit such as a non-volatile memory, and the storage unit stores characteristic information indicating the characteristics of the epi-illumination system 11 and the transmission illumination system 12. This characteristic information is used for calculation of an image area by the control device 4 described later. The characteristic information regarding the epi-illumination system 11 includes the first light source information indicating the wavelength of light emitted from the light source 15, the first lens information indicating the peripheral light attenuation rate of the condenser lens 16, and the peripheral light attenuation rate of the objective lens 18. Second lens information to be displayed, and information indicating an aperture ratio indicating an aperture ratio of a diaphragm provided in the epi-illumination system 11. The characteristic information related to the transmission illumination system 12 includes second light source information indicating the wavelength of light emitted from the light source 19, third lens information indicating the peripheral attenuation rate of the condenser lens 20, and a diaphragm provided in the transmission illumination system 12. The aperture ratio information indicating the aperture ratio is included.
ステージ１０に保持された標本Ｓは、落射照明系１１または透過照明系１２から射出された光により照明される。以下の説明において、落射照明系１１または透過照明系１２から射出される光を適宜、照明光という。また、照明光により照らされている標本Ｓから出た光を適宜、観察光という。 The specimen S held on the stage 10 is illuminated with light emitted from the epi-illumination system 11 or the transmission illumination system 12. In the following description, light emitted from the epi-illumination system 11 or the transmission illumination system 12 is appropriately referred to as illumination light. Further, the light emitted from the specimen S illuminated by the illumination light is appropriately referred to as observation light.
結像光学系１３は、照明光により照明されている標本Ｓの像を形成する。結像光学系１３は、対物レンズ１８およびリレーレンズ２１を備えている。すなわち、対物レンズ１８は、落射照明系１１および結像光学系１３で共用される。対物レンズ１８は、照明領域と光学的に共役な中間像面を形成する。照明領域に標本Ｓが配置されている状態において、中間像面には標本Ｓの中間像が形成される。リレーレンズ２１は、いわゆる中間変倍であり、中間像面と光学的に共役な像面を形成する。 The imaging optical system 13 forms an image of the sample S illuminated by the illumination light. The imaging optical system 13 includes an objective lens 18 and a relay lens 21. That is, the objective lens 18 is shared by the epi-illumination system 11 and the imaging optical system 13. The objective lens 18 forms an intermediate image plane optically conjugate with the illumination area. In a state where the sample S is arranged in the illumination area, an intermediate image of the sample S is formed on the intermediate image plane. The relay lens 21 is a so-called intermediate zoom, and forms an image plane optically conjugate with the intermediate image plane.
本実施形態において、結像光学系１３のリレーレンズ２１は、リレーレンズ２２と交換可能である。図１において、リレーレンズ２１は、レボルバー２３の第１のポート２３ａに保持されている。レボルバー２３の第２のポート２３ｂにはリレーレンズ２２が保持されている。リレーレンズ２２は、リレーレンズ２１と同様に中間像面と光学的に共役な像面を形成するが、倍率がリレーレンズ２１と異なる。例えば、リレーレンズ２１は等倍であり、リレーレンズ２２は２倍である。 In the present embodiment, the relay lens 21 of the imaging optical system 13 can be replaced with a relay lens 22. In FIG. 1, the relay lens 21 is held by the first port 23 a of the revolver 23. A relay lens 22 is held in the second port 23 b of the revolver 23. The relay lens 22 forms an image surface optically conjugate with the intermediate image surface in the same manner as the relay lens 21, but the magnification is different from that of the relay lens 21. For example, the relay lens 21 is 1 × and the relay lens 22 is 2 ×.
レボルバー２３は、結像光学系１３の光軸１３ａと平行な軸の回りで回動可能である。レボルバー２３の回転に伴って、リレーレンズ２１は、対物レンズ１８とカメラ３との間の光路から退出し、リレーレンズ２２が対物レンズ１８とカメラ３との間の光路に配置される。すなわち、レボルバー２３の第２のポート２３ｂが対物レンズ１８とカメラ３との間の光路に配置されている状態において、結像光学系１３は、対物レンズ１８およびリレーレンズ２２を含む。レボルバー２３は、顕微鏡コントローラ１４に制御され、図示しないアクチュエータにより駆動される。 The revolver 23 can rotate around an axis parallel to the optical axis 13 a of the imaging optical system 13. As the revolver 23 rotates, the relay lens 21 moves out of the optical path between the objective lens 18 and the camera 3, and the relay lens 22 is disposed in the optical path between the objective lens 18 and the camera 3. That is, the imaging optical system 13 includes the objective lens 18 and the relay lens 22 in a state where the second port 23 b of the revolver 23 is disposed in the optical path between the objective lens 18 and the camera 3. The revolver 23 is controlled by the microscope controller 14 and is driven by an actuator (not shown).
以上のような結像光学系１３は、顕微鏡コントローラ１４に制御される。顕微鏡コントローラ１４には、開口絞り、視野絞りなどの光学部品が設けられており、顕微鏡コントローラ１４は、制御装置４からの指令に従って、各種絞りの開口率などを制御する。顕微鏡コントローラ１４の記憶部には、結像光学系１３の特性を示す特性情報が記憶されている。この特性情報は、後に説明する制御装置４による画像エリアの算出に利用される。結像光学系１３に関する特性情報は、対物レンズ１８の周辺減光率を示す第２レンズ情報、リレーレンズ２１の周辺減光率および倍率を示す第４レンズ情報、リレーレンズ２２の周辺減光率および倍率を示す第５レンズ情報、及び対物レンズ１８とカメラ３との間の光路に配置されているポート（以下、アクティブポートという）の識別情報を含む。 The imaging optical system 13 as described above is controlled by the microscope controller 14. The microscope controller 14 is provided with optical components such as an aperture stop and a field stop. The microscope controller 14 controls the aperture ratios and the like of various stops according to instructions from the control device 4. Characteristic information indicating the characteristics of the imaging optical system 13 is stored in the storage unit of the microscope controller 14. This characteristic information is used for calculation of an image area by the control device 4 described later. The characteristic information regarding the imaging optical system 13 includes second lens information indicating the peripheral light attenuation rate of the objective lens 18, fourth lens information indicating the peripheral light attenuation rate and magnification of the relay lens 21, and the peripheral light attenuation rate of the relay lens 22. And fifth lens information indicating the magnification, and identification information of a port (hereinafter referred to as an active port) disposed in the optical path between the objective lens 18 and the camera 3.
なお、レボルバー２３は手動であってもよく、この場合に、顕微鏡コントローラ１４は、レボルバー２３のアクティブポートを検出してもよい。また、レボルバー２３は手動であって、顕微鏡コントローラ１４がレボルバー２３のアクティブポートを検出しなくてもよい。この場合に、アクティブポートの識別情報、あるいはアクティブポートに取り付けられているリレーレンズの特性情報を、制御装置４に入力可能であってもよい。 The revolver 23 may be manually operated. In this case, the microscope controller 14 may detect an active port of the revolver 23. Further, the revolver 23 is manual, and the microscope controller 14 may not detect the active port of the revolver 23. In this case, the identification information of the active port or the characteristic information of the relay lens attached to the active port may be input to the control device 4.
カメラ３は、イメージセンサ２４、及びセンサコントローラ２５を備えている。イメージセンサ２４は、顕微鏡２のカメラポート２６に装着されている。カメラポート２６は、いわゆるレンズマウントであり、その内側は、結像光学系１３からイメージセンサ２４に向かう観察光の光路になっている。カメラポート２６の内径（マウント径）は、結像光学系１３の開口絞りが全開である場合に、結像光学系１３の視野の直径に相当する。 The camera 3 includes an image sensor 24 and a sensor controller 25. The image sensor 24 is attached to the camera port 26 of the microscope 2. The camera port 26 is a so-called lens mount, and the inner side is an optical path of observation light from the imaging optical system 13 toward the image sensor 24. The inner diameter (mount diameter) of the camera port 26 corresponds to the diameter of the field of view of the imaging optical system 13 when the aperture stop of the imaging optical system 13 is fully open.
本実施形態において、イメージセンサ２４は、ＣＭＯＳセンサであるが、ＣＣＤセンサであってもよい。イメージセンサ２４は、二次元的に配列された複数の画素を有する。複数の画素のそれぞれには、光の入射により電荷が発生するフォトダイオード（光電変換素子）が配置されている。本明細書において、フォトダイオードが配列されている面をセンサ領域２４ａ（受光面）という。 In the present embodiment, the image sensor 24 is a CMOS sensor, but may be a CCD sensor. The image sensor 24 has a plurality of pixels arranged two-dimensionally. Each of the plurality of pixels is provided with a photodiode (photoelectric conversion element) that generates an electric charge upon incidence of light. In the present specification, the surface on which the photodiodes are arranged is referred to as a sensor region 24a (light receiving surface).
センサ領域２４ａは、矩形状であり、例えば、その一辺の長さが約３６ｍｍであって他辺の長さが約２４ｍｍである。一般的に、ＣＭＯＳセンサは、ＣＣＤセンサと比較してセンサ領域２４ａが大判である。例えば、２／３インチ型（対角約１１ｍｍ）のＣＣＤセンサのセンサ領域２４ａは、一辺の長さが約８．８ｍｍであり、他辺の長さが約６．６ｍｍである。 The sensor region 24a has a rectangular shape. For example, the length of one side is about 36 mm and the length of the other side is about 24 mm. In general, a CMOS sensor has a larger sensor area 24a than a CCD sensor. For example, the sensor region 24a of a 2/3 inch type (approximately 11 mm diagonal) CCD sensor has a length of one side of about 8.8 mm and a length of the other side of about 6.6 mm.
本実施形態において、センサ領域２４ａは、結像光学系１３が形成する像面、すなわちステージ１０に保持された標本Ｓ（照明領域）と光学的に共役な面の位置に配置されている。センサ領域２４ａは、結像光学系１３の焦点深度の範囲内で結像光学系１３の像面からずれていてもよい。 In the present embodiment, the sensor region 24 a is disposed at the position of an image plane formed by the imaging optical system 13, that is, a surface optically conjugate with the sample S (illumination region) held on the stage 10. The sensor region 24 a may be displaced from the image plane of the imaging optical system 13 within the range of the focal depth of the imaging optical system 13.
イメージセンサ２４には、センサ領域２４ａに配置されている各画素のフォトダイオードから電荷を読み出す読み出し回路２７が設けられている。読み出し回路２７は、センサコントローラ２５に制御されて、センサ領域２４ａの任意のアドレスの画素から電荷を読み出すことができる。各画素から読み出された電荷は、増幅器により増幅された後、Ａ／Ｄ変換器によりデジタル信号に変換される。各画素の電荷に対応するデジタル信号は、例えば２５６階調の画素値である。この画素値は、読み出し元の画素のアドレスに応じて配列され、複数の画素から読み出した画素値により、画像のデータが得られる。このようにして生成された画像のデータは、センサコントローラ２５から制御装置４に出力される。なお、センサコントローラ２５は、その少なくとも一部がイメージセンサ２４と同じ基板に形成されていてもよい。 The image sensor 24 is provided with a readout circuit 27 that reads out charges from the photodiodes of the respective pixels arranged in the sensor region 24a. The readout circuit 27 is controlled by the sensor controller 25 and can read out charges from a pixel at an arbitrary address in the sensor region 24a. The charge read from each pixel is amplified by an amplifier and then converted into a digital signal by an A / D converter. The digital signal corresponding to the charge of each pixel is, for example, a pixel value of 256 gradations. This pixel value is arranged in accordance with the address of the read-out pixel, and image data is obtained from the pixel value read from a plurality of pixels. The image data generated in this way is output from the sensor controller 25 to the control device 4. Note that at least a part of the sensor controller 25 may be formed on the same substrate as the image sensor 24.
入力装置５は、例えばキーボードやタッチパネル、マウスなどの入力機器を含む。入力装置５は、制御装置４と通信可能に接続されている。入力装置５は、例えば、ユーザーからの指令やデータなど情報の入力を受け付ける。入力装置５は、入力された情報を制御装置４に送信する。 The input device 5 includes input devices such as a keyboard, a touch panel, and a mouse. The input device 5 is communicably connected to the control device 4. The input device 5 accepts input of information such as commands and data from the user, for example. The input device 5 transmits the input information to the control device 4.
表示装置６は、例えば液晶ディスプレイを含む。表示装置６は、制御装置４と通信可能に接続されている。表示装置６は、制御装置４から受信した画像のデータに従って、画像を表示する。制御装置４は、例えば、カメラ３で撮影された画像のデータ、顕微鏡システム１の状態や設定を示す画像のデータなどを表示装置６に送信する。例えば、ユーザーは、表示装置６に表示された画像により、標本Ｓを観察することができる。また、ユーザーは、表示装置６に表示された顕微鏡システム１の状態や設定を示す画像を見ながら、入力装置５を使って、顕微鏡システム１の設定を変更することや、顕微鏡システム１に各種の処理を実行させることができる。 The display device 6 includes, for example, a liquid crystal display. The display device 6 is communicably connected to the control device 4. The display device 6 displays an image according to the image data received from the control device 4. The control device 4 transmits, for example, image data captured by the camera 3 and image data indicating the state and settings of the microscope system 1 to the display device 6. For example, the user can observe the specimen S from the image displayed on the display device 6. Further, the user can change the setting of the microscope system 1 using the input device 5 while viewing the image indicating the state and settings of the microscope system 1 displayed on the display device 6, Processing can be executed.
記憶装置７は、例えばハードディスクなどの大容量記憶装置である。記憶装置７は、制御装置４と通信可能に接続されている。記憶装置７は、カメラ３が撮影した画像のデータを制御装置４から受け取り、このデータを記憶する。また、記憶装置７は、制御装置４の制御に必要とされる各種の情報を記憶する。また、記憶装置７は、顕微鏡２の設定、状況を示す情報、カメラ３の設定、状況を示す情報を制御装置４から受け取り、これら情報を記憶する。 The storage device 7 is a mass storage device such as a hard disk. The storage device 7 is communicably connected to the control device 4. The storage device 7 receives data of an image taken by the camera 3 from the control device 4 and stores this data. Further, the storage device 7 stores various types of information required for the control of the control device 4. Further, the storage device 7 receives information indicating the setting of the microscope 2, information indicating the situation, setting of the camera 3, and information indicating the condition from the control device 4, and stores these information.
ところで、カメラ３のセンサ領域２４ａと同一面における結像光学系１３の視野は、センサ領域２４ａと必ずしも一致しない。以下の説明において、センサ領域２４ａと同一面における結像光学系１３の視野を光学視野サークルという。センサ領域２４ａが光学視野サークルよりも大きい場合には、センサ領域２４ａに光学視野サークルの内側と外側の領域がともに配置される。そのため、撮像された画像は、照度が均一な照明を用いた場合であっても、視野の内側と外側とで基準の明るさが異なることになる。このような画像に各種の画像処理を施す際に、例えば二値化の閾値が暗い領域の影響を受けて明るい領域に対して不適切な値になることがある。また、結像光学系１３の倍率を上げると標本Ｓの全域がセンサ領域２４ａに収まらなくなり、複数の画像を継ぎ合わせること（タイリング）で、広い範囲の画像を得ることがある。この場合に、視野の内側と外側とで基準の明るさが異なることにより、画像の継ぎ目が目立ってしまうことがある。このような画像品質の低下は、センサ領域２４ａのうち撮像に使う領域を、ユーザーが指定することで解消されるが、ユーザーに負担をかけることになる。本実施形態に係る制御装置４は、ユーザーの負担を減らしつつ画像品質の低下を抑制できる。以下、制御装置４について説明する。 By the way, the visual field of the imaging optical system 13 on the same plane as the sensor region 24a of the camera 3 does not necessarily coincide with the sensor region 24a. In the following description, the field of the imaging optical system 13 on the same plane as the sensor region 24a is referred to as an optical field circle. When the sensor region 24a is larger than the optical field circle, both the inner and outer regions of the optical field circle are arranged in the sensor region 24a. Therefore, even if the captured image uses illumination with uniform illuminance, the reference brightness differs between the inside and outside of the field of view. When various types of image processing are performed on such an image, for example, the threshold value for binarization may be inappropriate for a bright region due to the influence of a dark region. Further, when the magnification of the imaging optical system 13 is increased, the entire region of the specimen S cannot be accommodated in the sensor region 24a, and a wide range of images may be obtained by joining a plurality of images (tiling). In this case, the seam of the image may be noticeable due to the difference in the reference brightness between the inside and outside of the visual field. Such a decrease in image quality is eliminated by the user specifying a region used for imaging in the sensor region 24a, but this places a burden on the user. The control device 4 according to the present embodiment can suppress a decrease in image quality while reducing the burden on the user. Hereinafter, the control device 4 will be described.
図１に示す制御装置４は、カメラ制御部２８、画像エリア算出部２９、及び顕微鏡制御部３０を備えている。 The control device 4 shown in FIG. 1 includes a camera control unit 28, an image area calculation unit 29, and a microscope control unit 30.
カメラ制御部２８は、センサコントローラ２５と通信可能に接続されている。カメラ制御部２８は、カメラ３の設定情報をセンサコントローラ２５から取得し、取得した設定情報を記憶装置７に記憶させる。カメラ３の設定情報は、撮影条件のデフォルト値を含み、例えばイメージセンサ２４が撮像を開始あるいは終了するタイミング、露光時間、センサ領域２４ａのうち撮像を実行する画素のアドレスを含む。この撮影条件は、ユーザーの指定により変更可能である。カメラ制御部２８は、センサコントローラ２５を制御し、撮影条件を指定してイメージセンサ２４に撮像を実行させる。 The camera control unit 28 is communicably connected to the sensor controller 25. The camera control unit 28 acquires the setting information of the camera 3 from the sensor controller 25 and stores the acquired setting information in the storage device 7. The setting information of the camera 3 includes default values of shooting conditions, and includes, for example, a timing at which the image sensor 24 starts or ends imaging, an exposure time, and an address of a pixel that performs imaging in the sensor area 24a. This photographing condition can be changed by user designation. The camera control unit 28 controls the sensor controller 25 to specify shooting conditions and cause the image sensor 24 to perform shooting.
カメラ制御部２８は、画像取得部３１および抽出部３２を備えている。画像取得部３１は、センサ領域２４ａに配置された画素で撮像された画像のデータを、カメラ３から取得する。画像取得部３１は、カメラ３から取得した画像のデータを記憶装置７に記憶させる。抽出部３２は、画像取得部３１がカメラ３から取得する画像データのうち、センサ領域２４ａの一部の領域に配置された画素で撮像される画像のデータを抽出する。抽出部３２については、後に詳しく説明する。 The camera control unit 28 includes an image acquisition unit 31 and an extraction unit 32. The image acquisition unit 31 acquires data of an image captured by the pixels arranged in the sensor area 24 a from the camera 3. The image acquisition unit 31 stores image data acquired from the camera 3 in the storage device 7. The extraction unit 32 extracts data of an image captured by pixels arranged in a part of the sensor region 24 a from the image data acquired by the image acquisition unit 31 from the camera 3. The extraction unit 32 will be described in detail later.
顕微鏡制御部３０は、顕微鏡コントローラ１４と通信可能に接続されている。顕微鏡制御部３０は、顕微鏡コントローラ１４を介して、顕微鏡２の各部を制御する。顕微鏡制御部３０は、光源１５の点灯と消灯、及び光源１９の点灯と消灯を制御する。また、顕微鏡制御部３０は、顕微鏡２に設けられる各種絞りの開口率を制御する。顕微鏡制御部３０は、レボルバー２３の駆動を制御し、いずれのリレーレンズをレボルバー２３のアクティブポートに配置するかを制御する。 The microscope control unit 30 is communicably connected to the microscope controller 14. The microscope control unit 30 controls each unit of the microscope 2 via the microscope controller 14. The microscope control unit 30 controls turning on and off the light source 15 and turning on and off the light source 19. Further, the microscope control unit 30 controls the aperture ratios of various diaphragms provided in the microscope 2. The microscope control unit 30 controls the driving of the revolver 23 and controls which relay lens is arranged in the active port of the revolver 23.
また、顕微鏡制御部３０は、顕微鏡２の特性情報を顕微鏡コントローラ１４から取得し、取得した特性情報を記憶装置７に記憶させる。この特性情報は、照明光の波長、コンデンサレンズ１６の周辺減光率、対物レンズ１８の周辺減光率、コンデンサレンズ２０の周辺減光率、レボルバー２３のアクティブポートの識別情報（番地）、アクティブポートに装着されているリレーレンズの周辺減光率、カメラポート２６のマウント径、顕微鏡２に設けられた各種絞りの開口率を含む。 In addition, the microscope control unit 30 acquires the characteristic information of the microscope 2 from the microscope controller 14 and stores the acquired characteristic information in the storage device 7. This characteristic information includes the wavelength of illumination light, the peripheral light attenuation rate of the condenser lens 16, the peripheral light attenuation rate of the objective lens 18, the peripheral light attenuation rate of the condenser lens 20, the identification information (address) of the active port of the revolver 23, the active light It includes the peripheral attenuation rate of the relay lens mounted on the port, the mount diameter of the camera port 26, and the aperture ratios of various diaphragms provided in the microscope 2.
画像エリア算出部２９は、光学視野サークルのうち輝度が閾値以上の領域を減光許容エリアとして算出し、減光許容エリアに収まる矩形状の領域を画像エリアとして自動決定する。また、制御装置４は、センサ領域２４ａのうち画像エリアで撮像される画像のデータを抽出する。これにより、ユーザーの負担を減らしつつ画像品質の低下を抑制できる。 The image area calculation unit 29 calculates an area having a luminance equal to or higher than the threshold in the optical field circle as a light reduction allowable area, and automatically determines a rectangular area that falls within the light reduction allowable area as an image area. Moreover, the control apparatus 4 extracts the data of the image imaged in an image area among the sensor area | regions 24a. Thereby, it is possible to suppress a decrease in image quality while reducing the burden on the user.
図２（Ａ）は、減光許容エリアＡ１と画像エリアＡ２の例を示す図である。図２（Ａ）の例は、結像光学系１３の中間変倍が等倍であり、リレーレンズ２１が選択されている場合である。センサ領域２４ａは、長辺の長さが約３６ｍｍであり、短辺の長さが約２４ｍｍである。ここで、カメラポート２６のマウント径が約２０ｍｍであることにすると、開口絞りが全開である場合の光学視野サークルＡ３の直径も約２０ｍｍとなる。本例においては、光学視野サークルＡ３の外周全体がセンサ領域２４ａに配置されている。 FIG. 2A is a diagram illustrating an example of the light reduction allowance area A1 and the image area A2. The example of FIG. 2A is a case where the intermediate magnification of the imaging optical system 13 is equal and the relay lens 21 is selected. The sensor region 24a has a long side length of about 36 mm and a short side length of about 24 mm. Here, if the mount diameter of the camera port 26 is about 20 mm, the diameter of the optical field circle A3 when the aperture stop is fully open is also about 20 mm. In this example, the entire outer periphery of the optical field circle A3 is disposed in the sensor region 24a.
制御装置４は、光学視野サークルＡ３の中心位置Ｃから外側に向かう方向の輝度分布において、輝度の最大値に対する輝度の比率が閾値以上となる領域を減光許容エリアＡ１として算出する。そして、制御装置４は、減光許容エリアＡ１とセンサ領域２４ａとの重複領域を算出する。本例において、重複領域は、減光許容エリアＡ１の全域である。そして、制御装置４は、重複領域に収まる矩形状の領域を、そのアスペクト比が予め設定した値になるように算出する。本例において、アスペクト比は１：１に設定されており、制御装置４は、減光許容エリアＡ１に収まる最大の正方形状の領域を、画像エリアＡ２として算出する。 In the luminance distribution in the direction from the center position C of the optical visual field circle A3 to the outside, the control device 4 calculates an area where the luminance ratio with respect to the maximum luminance value is greater than or equal to the threshold value as the light reduction allowable area A1. Then, the control device 4 calculates an overlapping area between the dimming allowance area A1 and the sensor area 24a. In this example, the overlapping area is the entire area of the dimming allowance area A1. Then, the control device 4 calculates a rectangular area that fits in the overlapping area so that its aspect ratio becomes a preset value. In this example, the aspect ratio is set to 1: 1, and the control device 4 calculates, as the image area A2, the maximum square area that can be accommodated in the dimming allowable area A1.
図２（Ｂ）は、減光許容エリアＡ１と画像エリアＡ２の他の例を示す図である。図２（Ｂ）の例は、結像光学系１３のリレーレンズが２倍であり、リレーレンズ２２が選択されている場合である。この場合に光学視野サークルＡ３の直径は、約４０ｍｍとなる。本例においては、光学視野サークルＡ３の外周の一部が、センサ領域２４ａに配置されている。ここでは、重複領域Ａ４は、光学視野サークルＡ３の外周の一部とセンサ領域２４ａの長辺の一部とを外周とする形状である。本例において、アスペクト比は長辺と短辺の比が４：３に設定されている。本例において、制御装置４は、画像エリアＡ２の中心が光学視野サークルＡ３の中心位置Ｃと一致するように、長方形状の領域を、画像エリアＡ２として算出する。 FIG. 2B is a diagram illustrating another example of the light reduction allowance area A1 and the image area A2. The example of FIG. 2B is a case where the relay lens of the imaging optical system 13 is doubled and the relay lens 22 is selected. In this case, the diameter of the optical field circle A3 is about 40 mm. In this example, a part of the outer periphery of the optical field circle A3 is arranged in the sensor region 24a. Here, the overlapping region A4 has a shape in which a part of the outer periphery of the optical field circle A3 and a part of the long side of the sensor region 24a are the outer periphery. In this example, the aspect ratio is set such that the ratio of the long side to the short side is 4: 3. In this example, the control device 4 calculates a rectangular area as the image area A2 so that the center of the image area A2 coincides with the center position C of the optical field circle A3.
図３は、制御装置４が実行する設定処理を示すフローチャートである。制御装置４は、顕微鏡２による観察に先立ち、顕微鏡システム１の各部の設定処理を実行する。図３のステップＳ１において、制御装置４は、顕微鏡２の観察条件の設定処理を実行する。制御装置４は、記憶装置７に記憶されている顕微鏡２の設定情報を読み出し、この情報を表示装置６に表示させる。ユーザーは、表示装置６に表示されている設定情報を見ながら、入力装置５を使って設定情報の変更を入力することができる。 FIG. 3 is a flowchart showing a setting process executed by the control device 4. Prior to observation with the microscope 2, the control device 4 executes setting processing for each part of the microscope system 1. In step S <b> 1 of FIG. 3, the control device 4 executes observation condition setting processing for the microscope 2. The control device 4 reads the setting information of the microscope 2 stored in the storage device 7 and causes the display device 6 to display this information. The user can input a change in the setting information using the input device 5 while viewing the setting information displayed on the display device 6.
例えば、制御装置４は、観察条件として「蛍光観察モード」と「明視野観察モード」のいずれを選択るかを表示装置６に表示させる。そして、制御装置４は、「蛍光観察モード」を選択する旨の入力が入力装置５になされたことを検出した場合に、落射照明系１１の光源１５を点灯させる。また、制御装置４は、蛍光フィルターキューブ１７を対物レンズ１８とリレーレンズ２１との間の光路に配置させる。また、制御装置４は、対物レンズ１８の候補を表示装置６に表示し、変更の有無をユーザーから受け付ける。 For example, the control device 4 causes the display device 6 to display which of “fluorescence observation mode” and “bright field observation mode” is selected as the observation condition. Then, the control device 4 turns on the light source 15 of the epi-illumination system 11 when detecting that the input device 5 is input to select the “fluorescence observation mode”. In addition, the control device 4 places the fluorescent filter cube 17 in the optical path between the objective lens 18 and the relay lens 21. Moreover, the control apparatus 4 displays the candidate of the objective lens 18 on the display apparatus 6, and receives the presence or absence of a change from a user.
また、制御装置４は、「明視野観察モード」を選択する旨の入力が入力装置５になされたことを検出した場合に、透過照明系１２の光源１９を点灯させる。また、制御装置４は、蛍光フィルターキューブ１７を対物レンズ１８とリレーレンズ２１との間の光路から退避させておく。また、制御装置４は、対物レンズ１８の候補を表示装置６に表示し、変更の有無をユーザーから受け付ける。 The control device 4 turns on the light source 19 of the transmissive illumination system 12 when detecting that the input device 5 has been input to select the “bright field observation mode”. Further, the control device 4 retracts the fluorescent filter cube 17 from the optical path between the objective lens 18 and the relay lens 21. Moreover, the control apparatus 4 displays the candidate of the objective lens 18 on the display apparatus 6, and receives the presence or absence of a change from a user.
次に、制御装置４は、ステップＳ２においてカメラ３の撮影条件の設定処理を実行する。制御装置４は、記憶装置７に記憶されているカメラ３の設定情報を読み出し、この情報を表示装置６に表示させる。ユーザーは、表示装置６に表示されている設定情報を見ながら、入力装置５を使って設定情報の変更を入力することができる。例えば、制御装置４は、「蛍光観察モード」と「明視野観察モード」のいずれが選択されているかに応じて、撮各観察モード用の露光時間やゲインのデフォルト値を表示装置６に表示させる。制御装置４は、変更の有無をユーザーから受け付け、変更の入力が入力装置５になされたことを検出した場合に、センサコントローラ２５に記憶されている設定値をユーザーから入力された値に更新する。 Next, in step S2, the control device 4 executes shooting condition setting processing for the camera 3. The control device 4 reads the setting information of the camera 3 stored in the storage device 7 and causes the display device 6 to display this information. The user can input a change in the setting information using the input device 5 while viewing the setting information displayed on the display device 6. For example, the control device 4 causes the display device 6 to display the exposure time and gain default values for each imaging mode depending on whether “fluorescence observation mode” or “bright field observation mode” is selected. . The control device 4 accepts whether or not there is a change from the user, and updates the setting value stored in the sensor controller 25 to the value input by the user when detecting that the input of the change has been made to the input device 5. .
次に、制御装置４は、ステップＳ３において、撮影画像の自動設定を実行するか否かの入力を受け付ける。制御装置４は、自動設定を実行しない旨の入力が入力装置５になされたことを検出した場合（ステップＳ３；Ｎｏ）に、設定処理を終了する。また、制御装置４は、自動設定を実行する旨の入力が入力装置５になされたことを検出した場合（ステップＳ３；Ｙｅｓ）に、ステップＳ４において、許容周辺減光率の設定処理を実行する。許容周辺減光率のデフォルト値は、記憶装置７に記憶されており、制御装置４は、記憶装置７から許容周辺減光率のデフォルト値を、記憶装置７から読み出して表示装置６に表示させる。制御装置４は、許容周辺減光率の変更の有無をユーザーから受け付け、変更の入力が入力装置５になされたことを検出した場合に、記憶装置７に記憶されている許容周辺減光率をユーザーから入力された値に更新する。 Next, in step S3, the control device 4 receives an input as to whether or not to perform automatic setting of the captured image. The control device 4 ends the setting process when it is detected that an input indicating that automatic setting is not to be executed has been made to the input device 5 (step S3; No). In addition, when it is detected that the input device 5 has been input to execute automatic setting (step S3; Yes), the control device 4 executes an allowable peripheral dimming rate setting process in step S4. . The default value of the allowable peripheral dimming rate is stored in the storage device 7, and the control device 4 reads the default value of the allowable peripheral dimming rate from the storage device 7 and displays it on the display device 6. . The control device 4 accepts from the user whether or not the allowable peripheral dimming rate has been changed, and when detecting that the input of the change has been made to the input device 5, the control device 4 determines the allowable peripheral dimming rate stored in the storage device 7. Update to the value entered by the user.
次に、制御装置４は、ステップＳ５において画像エリアＡ２のアスペクト比の設定処理を実行する。アスペクト比のデフォルト値は、記憶装置７に記憶されており、制御装置４は、記憶装置７からアスペクト比のデフォルト値を、記憶装置７から読み出して表示装置６に表示させる。制御装置４は、アスペクト比の変更の有無をユーザーから受け付け、変更の入力が入力装置５になされたことを検出した場合に、記憶装置７に記憶されているアスペクト比をユーザーから入力された値に更新する。 Next, the control device 4 executes an aspect ratio setting process for the image area A2 in step S5. The default value of the aspect ratio is stored in the storage device 7, and the control device 4 reads the default value of the aspect ratio from the storage device 7 and displays it on the display device 6. When the control device 4 accepts whether or not the aspect ratio has been changed from the user and detects that the input of the change has been made to the input device 5, the control device 4 inputs the aspect ratio stored in the storage device 7 from the user. Update to
次に、制御装置４の画像エリア算出部２９（図１参照）は、ステップＳ６において画像エリアＡ２の自動算出処理を実行する。画像エリア算出部２９が実行する処理については後述する。制御装置４の画像エリア算出部２９は、算出した画像エリアＡ２の位置を示す情報を記憶装置７に記憶させる。 Next, the image area calculation unit 29 (see FIG. 1) of the control device 4 executes an automatic calculation process of the image area A2 in step S6. The processing executed by the image area calculation unit 29 will be described later. The image area calculation unit 29 of the control device 4 causes the storage device 7 to store information indicating the calculated position of the image area A2.
次に、制御装置４は、ステップＳ７において、ステップＳ６で算出された画像エリアＡ２の位置調整を行うか否かの入力を受け付ける。例えば、制御装置４は、画像エリアＡ２の位置を示す情報を記憶装置７から読み出す。そして、制御装置４は、ステップＳ６で算出された画像エリアＡ２とその中心を、例えば図２（Ａ）及び図２（Ｂ）に示したように、光学視野サークルＡ３とその中心位置Ｃ、及び減光許容エリアＡ１とともに、表示装置６に表示させる。 Next, in step S7, the control device 4 receives an input as to whether or not to adjust the position of the image area A2 calculated in step S6. For example, the control device 4 reads information indicating the position of the image area A2 from the storage device 7. Then, the control device 4 determines the image area A2 calculated in step S6 and the center thereof as shown in FIGS. 2A and 2B, for example, the optical field circle A3 and the center position C, and Along with the light reduction allowance area A1, the image is displayed on the display device 6.
制御装置４は、位置調整を行う旨の入力が入力装置５になされたことを検出した場合（ステップＳ７；Ｙｅｓ）に、ステップＳ８において画像エリアＡ２の変更処理を実行する。制御装置４は、ステップＳ８において、変更後の画像エリアＡ２の位置とサイズの少なくとも一方の入力を受け付ける。制御装置４は、画像エリアＡ２の変更の入力が入力装置５になされたことを検出した場合に、記憶装置７に記憶されている画像エリアＡ２の位置を示す情報として情報を、ユーザーから入力された値に更新する。 When the control device 4 detects that the input device 5 has been input to perform position adjustment (step S7; Yes), the control device 4 executes a change process of the image area A2 in step S8. In step S8, the control device 4 accepts input of at least one of the position and size of the image area A2 after the change. When the control device 4 detects that the input of the change of the image area A2 is made to the input device 5, the control device 4 inputs information as information indicating the position of the image area A2 stored in the storage device 7 from the user. Update to a new value.
制御装置４は、ステップＳ８において画像エリアＡ２の変更処理が終了した後、又はステップＳ７において位置調整を行わない旨の入力が入力装置５になされたことを検出した場合（ステップＳ７；Ｎｏ）に、ステップＳ９においてやり直すか否かの入力を受け付ける。制御装置４は、やり直す旨の入力が入力装置５になされたことを検出した場合（ステップＳ９；Ｙｅｓ）に、ステップＳ４の許容周辺減光率の設定処理を実行する。また、制御装置４は、やり直さない入力が入力装置５になされたことを検出した場合（ステップＳ９；Ｎｏ）に、設定処理を終了する。 The control device 4 detects that the input device 5 has received an input indicating that the position adjustment is not performed in step S7 after the change processing of the image area A2 is completed in step S8 (step S7; No). In step S9, an input as to whether or not to redo is accepted. When the control device 4 detects that the input device 5 has been input to start over (step S9; Yes), the control device 4 executes the setting process of the allowable peripheral light attenuation rate in step S4. Moreover, the control apparatus 4 complete | finishes a setting process, when it detects that the input which is not redoed was made to the input device 5 (step S9; No).
次に、画像エリア算出部２９について説明する。画像エリア算出部２９は、カメラ制御部２８および顕微鏡制御部３０が取得した各種情報を、記憶装置７から読み出し可能である。画像エリア算出部２９は、記憶装置７から読み出した各種情報を使って、画像エリアＡ２を算出する。 Next, the image area calculation unit 29 will be described. The image area calculation unit 29 can read various information acquired by the camera control unit 28 and the microscope control unit 30 from the storage device 7. The image area calculation unit 29 calculates the image area A <b> 2 using various information read from the storage device 7.
画像エリア算出部２９は、第１領域検出部４０および第２領域検出部４１を備えている。第１領域検出部４０は、図２に示したセンサ領域２４ａと光学視野サークルＡ３との重複領域において、輝度の最大値に対する比率が閾値以上となる減光許容エリアＡ１を検出する。第２領域検出部４１は、第１領域検出部４０が検出した減光許容エリアＡ１に収まる矩形の画像エリアＡ２を検出する。 The image area calculation unit 29 includes a first region detection unit 40 and a second region detection unit 41. The first area detection unit 40 detects the light reduction allowance area A1 in which the ratio of the luminance relative to the maximum value is equal to or greater than the threshold in the overlapping area of the sensor area 24a and the optical field circle A3 illustrated in FIG. The second area detection unit 41 detects a rectangular image area A2 that falls within the light reduction allowance area A1 detected by the first area detection unit 40.
第１領域検出部４０は、視野中心検出部４２および第１領域算出部４３を備えている。視野中心検出部４２は、光学視野サークルＡ３の中心位置Ｃを検出する。本実施形態において、視野中心検出部４２は、視野算出部４４および中心算出部４５を備えている。視野算出部４４は、画像取得部３１が取得した画像のデータが示す輝度分布を使って、光学視野サークルＡ３を算出する。中心算出部４５は、視野算出部４４が算出した光学視野サークルＡ３の中心位置Ｃを算出する。 The first region detection unit 40 includes a visual field center detection unit 42 and a first region calculation unit 43. The visual field center detection unit 42 detects the center position C of the optical visual field circle A3. In the present embodiment, the visual field center detection unit 42 includes a visual field calculation unit 44 and a center calculation unit 45. The visual field calculation unit 44 calculates the optical visual field circle A3 using the luminance distribution indicated by the image data acquired by the image acquisition unit 31. The center calculation unit 45 calculates the center position C of the optical field circle A3 calculated by the field calculation unit 44.
第１領域算出部４３は、視野中心検出部４２が検出した中心位置Ｃ、及び結像光学系１３の周辺減光特性を示す情報を使って、減光許容エリアＡ１を算出する。第１領域算出部４３は、結像光学系１３の特性情報を記憶した記憶装置７から結像光学系１３の周辺減光特性を示す情報を取得し、この情報を使って減光許容エリアＡ１を算出する。 The first area calculation unit 43 calculates the light reduction allowable area A1 using the center position C detected by the visual field center detection unit 42 and information indicating the peripheral light reduction characteristics of the imaging optical system 13. The first area calculation unit 43 acquires information indicating the peripheral dimming characteristics of the imaging optical system 13 from the storage device 7 that stores the characteristic information of the imaging optical system 13, and uses this information to allow the dimming allowable area A1. Is calculated.
第１領域算出部４３は、結像光学系１３の周辺減光特性を基に、光学視野サークルＡ３の輝度分布において周辺減光率が閾値以下の領域を減光許容エリアＡ１として算出する。第１領域算出部４３は、記憶装置７から許容周辺減光率を読み出して、許容周辺減光率を閾値として減光許容エリアＡ１を算出する。 The first area calculation unit 43 calculates, as the light reduction allowable area A1, an area where the peripheral light reduction rate is equal to or less than a threshold in the luminance distribution of the optical field circle A3 based on the peripheral light reduction characteristics of the imaging optical system 13. The first area calculation unit 43 reads the allowable peripheral dimming rate from the storage device 7, and calculates the allowable dimming area A1 using the allowable peripheral dimming rate as a threshold value.
第２領域検出部４１は、設定取得部４７および第２領域算出部４８を備えている。設定取得部４７は、記憶装置７に記憶されているアスペクト比の設定値を取得する。第２領域算出部４８は、第１領域検出部４０が検出した減光許容エリアＡ１とセンサ領域２４ａとの重複領域を算出する。また、第２領域算出部４８は、算出した重複領域と、設定取得部４７が取得したアスペクト比の設定値とを使って、画像エリアＡ２を算出する。第２領域算出部４８は、算出した画像エリアＡ２の位置およびサイズを示す情報を、記憶装置７に記憶させる。 The second area detection unit 41 includes a setting acquisition unit 47 and a second area calculation unit 48. The setting acquisition unit 47 acquires the aspect ratio setting value stored in the storage device 7. The second region calculation unit 48 calculates an overlapping region between the light reduction allowance area A1 detected by the first region detection unit 40 and the sensor region 24a. In addition, the second area calculation unit 48 calculates the image area A2 using the calculated overlap area and the aspect ratio setting value acquired by the setting acquisition unit 47. The second area calculation unit 48 causes the storage device 7 to store information indicating the calculated position and size of the image area A2.
次に、画像エリア算出部２９が実行する各処理の手順について説明する。図４は、画像エリアＡ２を算出する処理を示すフローチャートである。画像エリアＡ２を算出する処理が開始すると、第１領域検出部４０は、ステップＳ１１においてカメラ３に撮像を実行させる指令を、カメラ制御部２８に送る。ここでは、ステージ１０上には標本Ｓを配置しない状態で、かつ均一な照度の照明光を照射させておくとよい。また、カメラ制御部２８は、カメラ３のセンサ領域２４ａに配置されている全画素で撮像を行うように、カメラ３を設定しておく。第１領域検出部４０は、ステップＳ１１で撮像した画像のデータ（以下、テストデータという）を記憶装置７に記憶させる。 Next, the procedure of each process executed by the image area calculation unit 29 will be described. FIG. 4 is a flowchart showing a process for calculating the image area A2. When the process of calculating the image area A2 starts, the first area detection unit 40 sends a command to the camera control unit 28 to cause the camera 3 to perform imaging in step S11. Here, it is preferable to irradiate illumination light having a uniform illuminance on the stage 10 in a state where the specimen S is not disposed. In addition, the camera control unit 28 sets the camera 3 so that imaging is performed with all pixels arranged in the sensor region 24 a of the camera 3. The first area detection unit 40 causes the storage device 7 to store the data of the image captured in step S11 (hereinafter referred to as test data).
次に、第１領域検出部４０の視野中心検出部４２は、ステップＳ１２において、光学視野サークルの中心位置を検出する。図５は、光学視野サークルＡ３の中心位置Ｃを検出する処理の一例を示す説明図である Next, the visual field center detection unit 42 of the first region detection unit 40 detects the center position of the optical visual field circle in step S12. FIG. 5 is an explanatory diagram showing an example of processing for detecting the center position C of the optical field circle A3.
視野中心検出部４２の視野算出部４４は、テストデータを記憶装置７から読み出す。視野算出部４４は、図５（Ａ）に示すように、テストデータが示す輝度分布Ｑにおいて、画素間の輝度変化量が閾値よりも大きい位置を、光学視野サークルＡ３のエッジの位置Ｅｐとして検出する。視野算出部４４は、エッジ上の複数の位置Ｅｐを検出する。 The visual field calculation unit 44 of the visual field center detection unit 42 reads test data from the storage device 7. As shown in FIG. 5A, the visual field calculation unit 44 detects, as the edge position Ep of the optical visual field circle A3, a position where the amount of change in luminance between pixels is larger than the threshold in the luminance distribution Q indicated by the test data. To do. The visual field calculation unit 44 detects a plurality of positions Ep on the edge.
視野中心検出部４２の視野算出部４４は、図５（Ｂ）に示すように、エッジ上の複数の位置Ｅｐの座標に最小二乗法を用いることで、光学視野サークルＡ３のエッジＥを示す円弧を算出し、その中心位置を算出する。 As shown in FIG. 5B, the visual field calculation unit 44 of the visual field center detection unit 42 uses the least square method for the coordinates of a plurality of positions Ep on the edge, thereby indicating an arc indicating the edge E of the optical visual field circle A3. And the center position is calculated.
図６は、光学視野サークルＡ３の中心位置Ｃを検出する処理の他の例を示す説明図である。本例において、視野中心検出部４２は、各水平走査線上の画素の画素値の積算値を算出する。そして、各水平走査線の位置に対する積算値の分布において、積算値が最大となる水平走査線の位置Ｃｙを、垂直走査線の方向における光学視野サークルＡ３の中心の位置とする。同様に、視野中心検出部４２は、各垂直走査線上の画素の画素値の積算値を算出する。そして、各垂直走査線の位置に対する積算値の分布において、積算値が最大となる垂直走査線の位置Ｃｘを、水平走査線の方向における光学視野サークルＡ３の中心の位置とする。 FIG. 6 is an explanatory diagram showing another example of the process of detecting the center position C of the optical field circle A3. In this example, the visual field center detection unit 42 calculates an integrated value of pixel values of pixels on each horizontal scanning line. Then, in the distribution of integrated values with respect to the positions of the horizontal scanning lines, the position Cy of the horizontal scanning line that maximizes the integrated value is set as the center position of the optical field circle A3 in the vertical scanning line direction. Similarly, the visual field center detection unit 42 calculates an integrated value of pixel values of pixels on each vertical scanning line. Then, in the distribution of integrated values with respect to the positions of the vertical scanning lines, the position Cx of the vertical scanning line that maximizes the integrated value is set as the center position of the optical field circle A3 in the horizontal scanning line direction.
なお、図６に示した例において、走査線上の画素値の積算値を用いる代わりに、走査線上の画素値の平均値を用いてもよい。また、積算値が最大となる位置の検出には、適宜、近似法による丸めが利用できる。 In the example shown in FIG. 6, instead of using the integrated value of the pixel values on the scanning line, an average value of the pixel values on the scanning line may be used. In addition, rounding by an approximation method can be used as appropriate for detecting the position where the integrated value is maximized.
次に、図４のステップＳ１３において、第１領域算出部４３は、第１領域（減光許容エリアＡ１）を算出する。図７は、減光許容エリアＡ１を検出する処理を示す説明図である。 Next, in step S13 of FIG. 4, the first region calculation unit 43 calculates the first region (dimming allowance area A1). FIG. 7 is an explanatory diagram illustrating processing for detecting the light reduction allowance area A1.
第１領域算出部４３は、結像光学系１３の各要素の情報を記憶装置７から読み出し、光学視野サークルＡ３の直径を決定する。例えば、第１領域算出部４３は、結像光学系１３に設けられる絞りの内径のうち最小値を、光学視野サークルＡ３の直径とする。ここでは、開口絞りが全開かつ視野絞りが開口絞りよりも大きいものとし、マウント径が２０ｍｍであって、対物レンズ１８の径が２５ｍｍであるとする。第１領域算出部４３は、マウント径と対物レンズ１８の径のうち小さい方（２０ｍｍ）を光学視野サークルＡ３の直径とする。 The first area calculation unit 43 reads information on each element of the imaging optical system 13 from the storage device 7 and determines the diameter of the optical field circle A3. For example, the first region calculation unit 43 sets the minimum value among the inner diameters of the diaphragms provided in the imaging optical system 13 as the diameter of the optical field circle A3. Here, it is assumed that the aperture stop is fully open and the field stop is larger than the aperture stop, the mount diameter is 20 mm, and the diameter of the objective lens 18 is 25 mm. The first region calculation unit 43 sets the smaller one (20 mm) of the mount diameter and the diameter of the objective lens 18 as the diameter of the optical field circle A3.
また、第１領域算出部４３は、観察条件に応じた顕微鏡２の特性情報を、記憶装置７から読み出す。例えば、第１領域算出部４３は、蛍光観察モードが選択されている場合に、光源１５から射出される光の波長（以下、光源波長という）を記憶装置７から読み出す。そして、第１領域算出部４３は、光源波長に対するコンデンサレンズ１６の周辺減光率、及び光源波長に対する対物レンズ１８の周辺減光率、を記憶装置７から読み出す。また、第１領域算出部４３は、照明光により励起された蛍光物質から放射される光の波長（以下、蛍光波長という）を記憶装置７から読み出す。そして、第１領域算出部４３は、蛍光波長に対する対物レンズ１８の周辺減光率、蛍光波長に対するリレーレンズ２１の周辺減光率を記憶装置７から読み出す。これらの周辺減光率を使うことにより、周辺減光特性が求まり、図７に示すような輝度分布Ｑが算出される。なお、明視野観察モードにおいては、コンデンサレンズ２０、対物レンズ１８、及びリレーレンズ２１のそれぞれについて、光源１９の光源波長に対する周辺減光率を使うことにより、周辺減光特性が求まる。 Further, the first region calculation unit 43 reads out the characteristic information of the microscope 2 corresponding to the observation condition from the storage device 7. For example, the first region calculation unit 43 reads the wavelength of light emitted from the light source 15 (hereinafter referred to as the light source wavelength) from the storage device 7 when the fluorescence observation mode is selected. Then, the first region calculation unit 43 reads out the peripheral attenuation rate of the condenser lens 16 with respect to the light source wavelength and the peripheral attenuation rate of the objective lens 18 with respect to the light source wavelength from the storage device 7. Further, the first region calculation unit 43 reads the wavelength of light emitted from the fluorescent material excited by the illumination light (hereinafter referred to as fluorescence wavelength) from the storage device 7. Then, the first region calculation unit 43 reads out the peripheral attenuation rate of the objective lens 18 with respect to the fluorescence wavelength and the peripheral attenuation rate of the relay lens 21 with respect to the fluorescence wavelength from the storage device 7. By using these peripheral dimming rates, the peripheral dimming characteristics are obtained, and the luminance distribution Q as shown in FIG. 7 is calculated. In the bright field observation mode, the peripheral light attenuation characteristics are obtained by using the peripheral light attenuation rate with respect to the light source wavelength of the light source 19 for each of the condenser lens 20, the objective lens 18, and the relay lens 21.
第１領域算出部４３は、図７に示す輝度分布Ｑにおいて、許容減光率ｎ％としたときに輝度が最大値の（１００−ｎ）％以上になる円状の領域を、減光許容エリアＡ１として算出する。許容減光率は記憶装置７に記憶されており、第１領域算出部４３は、許容減光率を記憶装置７から読み出す。許容減光率は、観察条件に応じて設定される。許容減光率は、例えば、蛍光観察モードにおいて５０％程度に設定され、明視野観察において２０％程度に設定される。第１領域算出部４３は、算出した減光許容エリアＡ１の位置および寸法を示す情報を記憶装置７に記憶させる。 The first area calculation unit 43 sets a circular area in which the luminance is (100−n)% or more of the maximum value when the allowable dimming rate is n% in the luminance distribution Q illustrated in FIG. 7. Calculated as area A1. The allowable dimming rate is stored in the storage device 7, and the first area calculation unit 43 reads the allowable dimming rate from the storage device 7. The allowable dimming rate is set according to the observation conditions. For example, the allowable attenuation rate is set to about 50% in the fluorescence observation mode, and is set to about 20% in the bright field observation. The first area calculation unit 43 causes the storage device 7 to store information indicating the calculated position and size of the light reduction allowance area A1.
次に、図４のステップＳ１５において、第２領域検出部４１は、第１領域（減光許容エリアＡ１）とセンサ領域２４ａとの重複領域を算出する。そして、ステップＳ１６において、第２領域検出部４１は、重複領域に収まる矩形領域を画像エリアＡ２として算出する。 Next, in step S15 in FIG. 4, the second area detection unit 41 calculates an overlapping area between the first area (dimming allowance area A1) and the sensor area 24a. In step S16, the second area detection unit 41 calculates a rectangular area that falls within the overlapping area as the image area A2.
図８は、画像エリアＡ２を算出する処理の一例を示す説明図である。図８に示す例は、図２（Ａ）に示した例に対応している。本例において、減光許容エリアＡ１の全域がセンサ領域２４ａに含まれている。そのため、第２領域検出部４１は、ステップＳ１５において、減光許容エリアＡ１の全域を重複領域とする。また、ステップＳ１６において、第２領域検出部４１の設定取得部４７は、記憶装置７に記憶されているアスペクト比の設定値を読み出す。そして、第２領域算出部４８は、アスペクト比が設定値と同じになる矩形領域を、画像エリアＡ２として算出する。ここでは、第２領域算出部４８は、重複領域（減光許容エリアＡ１）に内接する矩形領域、すなわち重複領域に収まる最大の矩形領域を、画像エリアＡ２として算出する。このようにすれば、１回の撮像で得られる画像サイズを最大化できる。 FIG. 8 is an explanatory diagram showing an example of processing for calculating the image area A2. The example shown in FIG. 8 corresponds to the example shown in FIG. In the present example, the entire area of the light reduction allowable area A1 is included in the sensor region 24a. Therefore, in step S15, the second area detection unit 41 sets the entire area of the dimming allowance area A1 as an overlapping area. In step S <b> 16, the setting acquisition unit 47 of the second region detection unit 41 reads the aspect ratio setting value stored in the storage device 7. Then, the second area calculation unit 48 calculates a rectangular area having the same aspect ratio as the set value as the image area A2. Here, the second area calculation unit 48 calculates, as the image area A2, a rectangular area that is inscribed in the overlapping area (dimming allowance area A1), that is, the largest rectangular area that can be accommodated in the overlapping area. In this way, the image size obtained by one imaging can be maximized.
図９は、画像エリアＡ２を算出する処理の他の例を示す説明図である。図９に示す例は、図２（Ｂ）に示した例に対応している。本例において、減光許容エリアＡ１の一部がセンサ領域２４ａに含まれており、他の一部がセンサ領域２４ａに含まれていない。第２領域検出部４１は、ステップＳ１５において、減光許容エリアＡ１の外周の一部およびセンサ領域２４ａの長辺に囲まれる領域を重複領域４として算出する。そして、第２領域算出部４８は、アスペクト比が設定値と同じになる矩形領域を、画像エリアＡ２として算出する。ここでは、第２領域算出部４８は、中心が減光許容エリアＡ１の中心位置Ｃと同じになる矩形領域を、画像エリアＡ２として算出する。このようにすれば、画像エリアＡ２の輝度の平坦性が高くなる。 FIG. 9 is an explanatory diagram illustrating another example of the process of calculating the image area A2. The example shown in FIG. 9 corresponds to the example shown in FIG. In this example, a part of the light reduction allowance area A1 is included in the sensor region 24a, and the other part is not included in the sensor region 24a. In step S15, the second region detection unit 41 calculates a region surrounded by a part of the outer periphery of the light reduction allowance area A1 and the long side of the sensor region 24a as the overlapping region 4. Then, the second area calculation unit 48 calculates a rectangular area having the same aspect ratio as the set value as the image area A2. Here, the second area calculation unit 48 calculates a rectangular area whose center is the same as the center position C of the dimming allowance area A1 as the image area A2. In this way, the brightness flatness of the image area A2 is increased.
なお、図８の例において、第２領域算出部４８は、中心が減光許容エリアＡ１の中心位置Ｃと同じになる矩形領域を、画像エリアＡ２として算出してもよい。また、図９の例において、第２領域算出部４８は、重複領域に収まる最大の矩形領域を、画像エリアＡ２として算出してもよい。また、画像エリアＡ２の中心が減光許容エリアＡ１の中心位置Ｃと同じになり、かつ画像エリアＡ２が重複領域に収まる最大の矩形領域となるように、イメージセンサ２４を手動または自動で移動させつつ、画像エリアＡ２を算出してもよい。 In the example of FIG. 8, the second area calculation unit 48 may calculate a rectangular area whose center is the same as the center position C of the dimming allowance area A1 as the image area A2. In the example of FIG. 9, the second area calculation unit 48 may calculate the maximum rectangular area that fits in the overlapping area as the image area A2. Further, the image sensor 24 is moved manually or automatically so that the center of the image area A2 is the same as the center position C of the light reduction allowable area A1 and the image area A2 is the maximum rectangular area that can be accommodated in the overlapping area. However, the image area A2 may be calculated.
以上のように画像エリアＡ２を算出した後、第２領域算出部４８は、算出した画像エリアＡ２の位置およびサイズを示す情報を記憶装置７に記憶させる。この情報は、例えば、センサ領域２４ａの各画素が画像エリアＡ２に含まれていることを１、含まれていないことを０で表したテーブル形式である。 After calculating the image area A2 as described above, the second area calculation unit 48 causes the storage device 7 to store information indicating the calculated position and size of the image area A2. This information is, for example, a table format in which 1 indicates that each pixel of the sensor area 24a is included in the image area A2, and 0 indicates that it is not included.
図１に示したカメラ制御部２８の抽出部３２は、画像エリアＡ２の位置およびサイズを示す情報を記憶装置７から読み出す。そして、抽出部３２は、センサ領域２４ａの画素のうち画像エリアＡ２の画素に蓄積される電荷を選択的に撮像装置に読み出させる。これにより、センサコントローラ２５から出力される画像のデータは、輝度が閾値よりも低い領域を除いた画像のデータとなる。このようにして、制御装置４は、ユーザーの負担を減らしつつ顕微鏡２の光学系による画像品質の低下を抑制できる。 The extraction unit 32 of the camera control unit 28 illustrated in FIG. 1 reads information indicating the position and size of the image area A2 from the storage device 7. Then, the extraction unit 32 selectively causes the imaging device to read out charges accumulated in the pixels in the image area A2 among the pixels in the sensor region 24a. As a result, the image data output from the sensor controller 25 is image data excluding an area where the luminance is lower than the threshold value. In this way, the control device 4 can suppress degradation of image quality due to the optical system of the microscope 2 while reducing the burden on the user.
なお、抽出部３２は、センサ領域２４ａに配置された画素で撮像された画像のデータをカメラ３から取得し、カメラ３から取得した画像のデータから、第２領域検出部４１が検出した画像エリアＡ２に配置される画素で撮像された画像のデータを選択的に抽出してもよい。例えば、上述したようなテーブル形式で表された画像エリアＡ２を用いて、センサ領域２４ａの画素のうち画像エリアＡ２に含まれていない画素の画素値を０（黒）に置換する手法であってもよい。この構成においても、制御装置４は、ユーザーの負担を減らしつつ顕微鏡２の光学系による画像品質の低下を抑制できる。 The extraction unit 32 acquires data of an image captured by pixels arranged in the sensor region 24 a from the camera 3, and the image area detected by the second region detection unit 41 from the image data acquired from the camera 3. You may selectively extract the data of the image imaged with the pixel arrange | positioned at A2. For example, using the image area A2 represented in the table format as described above, the pixel value of the pixel not included in the image area A2 among the pixels in the sensor region 24a is replaced with 0 (black). Also good. Even in this configuration, the control device 4 can suppress a decrease in image quality due to the optical system of the microscope 2 while reducing the burden on the user.
このように、画像エリアＡ２が算出された条件と同じ条件で観察を行う場合に、記憶装置７から読み出した画像エリアＡ２の情報を使うことにより、処理を簡略化できる。なお、観察を行うたびに、画像エリアＡ２を算出してもよい。 As described above, when observation is performed under the same conditions as the conditions for calculating the image area A2, the processing can be simplified by using the information of the image area A2 read from the storage device 7. The image area A2 may be calculated every time observation is performed.
なお、図１に示したように、顕微鏡２が複数のリレーレンズ（リレーレンズ２１、リレーレンズ２２）を備えている場合には、標本Ｓがステージ１０に配置されていない状態において、各リレーレンズを用いる条件での画像エリアＡ２を算出しておくとよい。 As shown in FIG. 1, when the microscope 2 includes a plurality of relay lenses (relay lens 21 and relay lens 22), each relay lens is in a state where the sample S is not arranged on the stage 10. It is preferable to calculate the image area A2 under the condition of using.
なお、制御装置４は、記憶装置７から情報を読み出して、読み出した情報を使って画像エリアＡ２を算出しているが、画像エリアＡ２の算出に必要とされる情報の少なくとも一部は、カメラ３または顕微鏡２から取得してもよいし、ユーザーが入力した情報であってもよい。 Note that the control device 4 reads information from the storage device 7 and calculates the image area A2 using the read information, but at least part of the information required for calculating the image area A2 is a camera. 3 or the microscope 2 or information input by the user.
なお、所定時間ごとに画像取得を繰り返す実験（タイムラプス）や、複数の画像を継ぎ合わせて広範囲の画像を得るタイリング画像取得は、複数の異なる観察条件で行われることがありえる。例えば、蛍光観察モードにおいて、複数種類の蛍光物質を用いて、蛍光波長を切り替えながら画像を取得することがある。また、明視野観察モードと蛍光観察モードとを切り替えながら、画像を取得することがある。このような場合には、観察条件ごとに、対物レンズ、フィルター、カメラのシャッター速度などのパラメータを定義して、実験を実行させる。そのため、観察条件よって画像エリアＡ２のサイズが異なることがある。
そのような場合においては、観察条件のうち最小サイズの画像エリアＡ２を複数の観察条件で共通に用いてもよい。また、複数の観察条件で、各観察条件に合わせた画像エリアＡ２を用いるとともに、観察条件のうち最小サイズの画像エリアＡ２の外側の画素で撮像された領域を除去してもよい。
Note that an experiment (time lapse) in which image acquisition is repeated every predetermined time and a tiling image acquisition in which a plurality of images are joined to obtain a wide range of images may be performed under a plurality of different observation conditions. For example, in the fluorescence observation mode, an image may be acquired using a plurality of types of fluorescent substances while switching the fluorescence wavelength. Further, an image may be acquired while switching between the bright field observation mode and the fluorescence observation mode. In such a case, parameters such as an objective lens, a filter, and a camera shutter speed are defined for each observation condition, and an experiment is performed. Therefore, the size of the image area A2 may differ depending on the observation conditions.
In such a case, the image area A2 having the minimum size among the viewing conditions may be commonly used for a plurality of viewing conditions. In addition, an image area A2 that matches each observation condition may be used in a plurality of observation conditions, and an area captured by pixels outside the minimum-size image area A2 may be removed.
なお、上述したような制御装置４は、例えば、ＣＰＵおよびメモリ等を含むコンピュータシステムにより構成される。また、制御装置４は、コンピュータシステムと外部装置との通信を実行可能なインターフェースを含む。記憶装置７は、例えばＲＡＭ等のメモリ、ハードディスク、ＣＤ−ＲＯＭ等の記録媒体を含む。制御装置４は、入力装置５、表示装置６、及び記憶装置７の少なくとも１つを含んでいてもよい。 Note that the control device 4 as described above is configured by a computer system including, for example, a CPU and a memory. The control device 4 includes an interface capable of executing communication between the computer system and an external device. The storage device 7 includes a memory such as a RAM, and a recording medium such as a hard disk and a CD-ROM. The control device 4 may include at least one of the input device 5, the display device 6, and the storage device 7.
記憶装置７には、コンピュータシステムを制御するオペレーティングシステム（ＯＳ）がインストールされ、カメラ３を制御するためのプログラムが記憶されている。コンピュータシステムは、記憶装置７に記憶されているプログラムを読み出し可能である。 The storage device 7 is installed with an operating system (OS) that controls the computer system, and stores a program for controlling the camera 3. The computer system can read the program stored in the storage device 7.
このプログラムは、撮像対象物を、光学系を介してセンサ領域で撮像する撮像装置を制御するコンピュータに、センサ領域と光学系の視野との重複領域において、輝度の最大値に対する比率が閾値以上となる第１領域を検出することと、第１領域検出部が検出した第１領域に収まる矩形の第２領域を検出することと、センサ領域のうち第２領域検出部が検出した第２領域に配置された画素で撮像された画像のデータを抽出することと、を実行させる。 This program allows a computer that controls an image pickup apparatus that picks up an object to be picked up in a sensor region via an optical system to determine that the ratio of the maximum luminance value to a threshold value or more in an overlap region between the sensor region and the optical field of view. Detecting the first area, detecting the rectangular second area that fits in the first area detected by the first area detector, and detecting the second area detected by the second area detector in the sensor area. Extracting data of an image picked up by the arranged pixels.
なお、本発明の技術範囲は、上述の実施形態に限定されるものではない。例えば、上記の実施形態で説明した要件の１つ以上は、省略されることがある。また、上記の実施形態で説明した要件は、適宜組み合わせることができる。 The technical scope of the present invention is not limited to the above-described embodiment. For example, one or more of the requirements described in the above embodiments may be omitted. The requirements described in the above embodiments can be combined as appropriate.
１ 顕微鏡システム、２ 顕微鏡、３ カメラ、４ 制御装置、２４ イメージセンサ
２４ａ センサ領域、３２ 抽出部、４０ 第１領域検出部、４１ 第２領域検出部、４２ 視野中心検出部、４３ 第１領域算出部、４４ 視野算出部、４５ 中心算出部、４７ 設定取得部、４８ 第２領域算出部、Ａ１ 減光許容エリア、Ａ２ 画像エリア、Ａ３ 光学視野サークル
DESCRIPTION OF SYMBOLS 1 Microscope system, 2 Microscope, 3 Cameras, 4 Control apparatuses, 24 Image sensor 24a Sensor area | region, 32 Extraction part, 40 1st area | region detection part, 41 2nd area | region detection part, 42 Visual field center detection part, 43 1st area | region calculation Unit, 44 field of view calculation unit, 45 center calculation unit, 47 setting acquisition unit, 48 second region calculation unit, A1 dimming allowance area, A2 image area, A3 optical field circle
Claims (14)
前記センサ領域と前記光学系の視野との重複領域において、輝度の最大値に対する比率が閾値以上となる第１領域を検出する第１領域検出部と、
前記第１領域検出部が検出した前記第１領域に収まる矩形の第２領域を検出する第２領域検出部と、
前記センサ領域のうち前記第２領域検出部が検出した前記第２領域に配置された画素からの画像のデータを抽出する抽出部と、を備える制御装置。 A control device that controls an imaging device that images an imaging object in a sensor region via an optical system,
A first region detection unit that detects a first region in which a ratio to a maximum value of luminance is a threshold value or more in an overlapping region between the sensor region and the visual field of the optical system;
A second region detection unit that detects a rectangular second region that fits in the first region detected by the first region detection unit;
A control device comprising: an extraction unit that extracts image data from pixels arranged in the second region detected by the second region detection unit in the sensor region.
前記センサ領域と同一面における前記光学系の視野の中心位置を検出する視野中心検出部と、
前記視野中心検出部が検出した前記中心位置、及び前記光学系の周辺減光特性を示す情報を使って、前記第１領域を算出する第１領域算出部と、を備える請求項１記載の制御装置。 The first area detector is
A visual field center detection unit for detecting a central position of the visual field of the optical system on the same plane as the sensor region;
2. The control according to claim 1, further comprising: a first region calculation unit configured to calculate the first region using the center position detected by the visual field center detection unit and information indicating peripheral dimming characteristics of the optical system. apparatus.
前記視野中心検出部は、
前記画像取得部が取得した画像のデータが示す輝度分布を使って、前記センサ領域と同一面における前記光学系の視野を算出する視野算出部と、
前記視野算出部が算出した前記視野の中心位置を算出する中心算出部と、を備える請求項２または請求項３記載の制御装置。 An image acquisition unit that acquires data of an image captured in the sensor region from the imaging device;
The visual field center detection unit is
A visual field calculation unit that calculates a visual field of the optical system in the same plane as the sensor region, using a luminance distribution indicated by image data acquired by the image acquisition unit;
The control device according to claim 2, further comprising: a center calculation unit that calculates a center position of the field of view calculated by the field of view calculation unit.
前記矩形のアスペクト比として予め設定された設定値を取得する設定取得部と、
前記設定取得部が取得した前記設定値を使って、前記第２領域を算出部する第２領域算出部と、を備える請求項１から請求項４のいずれか一項記載の制御装置。 The second region detection unit is
A setting acquisition unit that acquires a setting value set in advance as an aspect ratio of the rectangle;
The control device according to any one of claims 1 to 4, further comprising: a second area calculation unit that calculates the second area using the setting value acquired by the setting acquisition unit.
前記センサ領域と前記光学系の視野との重複領域において、輝度の最大値に対する比率が閾値以上となる第１領域を検出することと、
前記第１領域検出部が検出した前記第１領域に収まる矩形の第２領域を検出することと、
前記センサ領域のうち前記第２領域検出部が検出した前記第２領域に配置された画素で撮像された画像のデータを抽出することと、を含む撮像方法。 An imaging method for imaging an imaging object in a sensor area of an imaging device via an optical system,
Detecting a first region in which the ratio to the maximum luminance value is equal to or greater than a threshold value in an overlapping region between the sensor region and the visual field of the optical system;
Detecting a rectangular second area that fits in the first area detected by the first area detector;
Extracting data of an image picked up by pixels arranged in the second region detected by the second region detection unit in the sensor region.
前記センサ領域と前記光学系の視野との重複領域において、輝度の最大値に対する比率が閾値以上となる第１領域を検出することと、
前記第１領域検出部が検出した前記第１領域に収まる矩形の第２領域を検出することと、
前記センサ領域のうち前記第２領域検出部が検出した前記第２領域に配置された画素で撮像された画像のデータを抽出することと、を実行させるプログラム。 To a computer that controls an imaging device that images an imaging object in the sensor area via an optical system,
Detecting a first region in which the ratio to the maximum luminance value is equal to or greater than a threshold value in an overlapping region between the sensor region and the visual field of the optical system;
Detecting a rectangular second area that fits in the first area detected by the first area detector;
A program for executing extraction of data of an image picked up by pixels arranged in the second area detected by the second area detection unit in the sensor area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014220162A JP6550719B2 (en) | 2014-10-29 | 2014-10-29 | Imaging device control device, imaging device, imaging method, imaging program, storage medium, and microscope system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014220162A JP6550719B2 (en) | 2014-10-29 | 2014-10-29 | Imaging device control device, imaging device, imaging method, imaging program, storage medium, and microscope system |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2016086388A true JP2016086388A (en) | 2016-05-19 |
| JP2016086388A5 JP2016086388A5 (en) | 2017-11-09 |
| JP6550719B2 JP6550719B2 (en) | 2019-07-31 |
Family
ID=55973412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014220162A Active JP6550719B2 (en) | 2014-10-29 | 2014-10-29 | Imaging device control device, imaging device, imaging method, imaging program, storage medium, and microscope system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6550719B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000241868A (en) * | 1999-02-23 | 2000-09-08 | Olympus Optical Co Ltd | Electronic camera system, photographing lens unit and electronic camera main body used in the same |
| JP2001257930A (en) * | 2000-03-13 | 2001-09-21 | Olympus Optical Co Ltd | Picture frame centering control method and image pickup device |
| JP2003018449A (en) * | 2001-06-28 | 2003-01-17 | Canon Inc | Electronic camera, aspect ratio conversion method, image size estimate method, program, and storage medium |
| JP2005072967A (en) * | 2003-08-25 | 2005-03-17 | Olympus Corp | Microscopic image capturing apparatus and method |
-
2014
- 2014-10-29 JP JP2014220162A patent/JP6550719B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000241868A (en) * | 1999-02-23 | 2000-09-08 | Olympus Optical Co Ltd | Electronic camera system, photographing lens unit and electronic camera main body used in the same |
| JP2001257930A (en) * | 2000-03-13 | 2001-09-21 | Olympus Optical Co Ltd | Picture frame centering control method and image pickup device |
| JP2003018449A (en) * | 2001-06-28 | 2003-01-17 | Canon Inc | Electronic camera, aspect ratio conversion method, image size estimate method, program, and storage medium |
| JP2005072967A (en) * | 2003-08-25 | 2005-03-17 | Olympus Corp | Microscopic image capturing apparatus and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6550719B2 (en) | 2019-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8203642B2 (en) | Selection of an auto focusing method in an imaging apparatus | |
| JP5875812B2 (en) | Microscope system and illumination intensity adjustment method | |
| JP5633753B2 (en) | Focus control method and culture observation apparatus | |
| US20090185034A1 (en) | Imaging device for microscope | |
| US10718715B2 (en) | Microscopy system, microscopy method, and computer-readable storage medium | |
| JP6044941B2 (en) | Optical microscope and optical microscope autofocus device | |
| US7949244B2 (en) | Method for measuring subject distance | |
| JP2006058642A (en) | Automatic focus detecting apparatus and microscopic system equipped with the same | |
| JP4725967B2 (en) | Minute height measuring device and displacement meter unit | |
| JP6253509B2 (en) | Image display method, control device, microscope system | |
| JP6550719B2 (en) | Imaging device control device, imaging device, imaging method, imaging program, storage medium, and microscope system | |
| JP4979469B2 (en) | Microscope imaging device | |
| JP2004069752A (en) | Gain limiter circuit of photomultiplier and confocal microscopic system | |
| US20220082808A1 (en) | Method of adjusting optical apparatus, adjustment support method, optical system, and optical apparatus | |
| JP2014178403A (en) | Digital microscope system, information processing method and information processing program | |
| JP4968337B2 (en) | Confocal microscope | |
| JP2012118154A (en) | Imaging device | |
| JP2005037683A (en) | Imaging device for microscope, its control method and program for control method | |
| JP2010002534A (en) | Microscope device | |
| JP2007171455A (en) | Imaging apparatus | |
| JP2015195499A (en) | Imaging apparatus, method for controlling the same, and control program | |
| JP4886473B2 (en) | Imaging apparatus and imaging method | |
| JP2017191212A (en) | Focus detection device | |
| JP2016142777A (en) | Imaging apparatus | |
| JP2018066937A (en) | Expansive observation apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170928 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170928 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180619 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180816 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190604 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190617 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6550719 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |