JP2017005593A - Imaging apparatus and imaging method - Google Patents

Imaging apparatus and imaging method Download PDF

Info

Publication number
JP2017005593A
JP2017005593A JP2015119579A JP2015119579A JP2017005593A JP 2017005593 A JP2017005593 A JP 2017005593A JP 2015119579 A JP2015119579 A JP 2015119579A JP 2015119579 A JP2015119579 A JP 2015119579A JP 2017005593 A JP2017005593 A JP 2017005593A
Authority
JP
Japan
Prior art keywords
imaging
image
optical system
cell
carrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015119579A
Other languages
Japanese (ja)
Other versions
JP6276220B2 (en
Inventor
博 末木
Hiroshi Sueki
博 末木
小林 正嘉
Masayoshi Kobayashi
正嘉 小林
森脇 三造
Sanzo Moriwaki
三造 森脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2015119579A priority Critical patent/JP6276220B2/en
Publication of JP2017005593A publication Critical patent/JP2017005593A/en
Application granted granted Critical
Publication of JP6276220B2 publication Critical patent/JP6276220B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To photograph an image of a clear contour of a cell by irradiating a carrier carrying a cell with illumination light and receiving transmission light that transmits the carrier.SOLUTION: An imaging apparatus for photographing an image of a cell carried by a carrier includes: an illumination part for illuminating the carrier with illumination light; an imaging optical system disposed so as to direct an optical axis toward the carrier; and an imaging part for photographing a cell by receiving transmission light transmitting the carrier that receives irradiation of the illumination light with the imaging optical system to photograph the cell. The numerical aperture of the illumination light is less than or equal to 0.3.SELECTED DRAWING: Figure 7

Description

この発明は、細胞を担持する担持体に照明光を照射し、担持体を透過する透過光を受光して細胞を撮像する撮像装置および撮像方法に関する。   The present invention relates to an imaging apparatus and an imaging method for imaging a cell by irradiating a carrier carrying a cell with illumination light and receiving transmitted light transmitted through the carrier.

医療や生物科学の実験においては、例えば、観察対象である細胞をCCDカメラ等で撮像してデータ化し、該画像データに種々の画像処理技術を適用して観察や分析に供することが行われるようになってきている。従来、細胞の視認性を高めるために適宜の染料を用いた細胞の染色が行われてきたが、細胞に与えるダメージを抑えるために、無染色で撮像することが求められる場合がある。しかしながら、無染色の細胞の細胞質は無色透明に近いため、高品質の画像を得ることが難しい。特に透明容器などの担持体に担持された細胞を合焦位置として明視野撮像を行うと、高いコントラストの画像を得ることが難しい(例えば特許文献1参照)。   In medical and biological science experiments, for example, a cell to be observed is imaged with a CCD camera or the like and converted into data, and various image processing techniques are applied to the image data for observation and analysis. It is becoming. Conventionally, cells have been dyed with an appropriate dye in order to improve the visibility of the cells, but in order to suppress damage to the cells, it may be required to take an image without staining. However, since the cytoplasm of unstained cells is almost colorless and transparent, it is difficult to obtain a high-quality image. In particular, when bright-field imaging is performed with a cell carried on a carrier such as a transparent container as a focus position, it is difficult to obtain a high-contrast image (see, for example, Patent Document 1).

特開2008−020498号公報JP 2008-020498 A

そこで、上記特許文献1では、無染色の細胞の細胞質は実質的に透明であるが、その内部に屈折率の違いを持っていることに着目し、焦点位置を上記合焦位置からずらすことでコントラストの向上を図っている。しかしながら、照明光との関係については全く考慮されていない。つまり、後で詳述するように、照明光の開口数(NA:numerical aperture)が大きくなると、十分なコントラストが得られない。   Therefore, in Patent Document 1, the cytoplasm of the unstained cell is substantially transparent, but paying attention to the fact that there is a difference in refractive index inside, the focus position is shifted from the in-focus position. Contrast is improved. However, no consideration is given to the relationship with illumination light. That is, as will be described in detail later, when the numerical aperture (NA) of the illumination light increases, sufficient contrast cannot be obtained.

この発明は上記課題に鑑みなされたものであり、細胞を担持する担持体に照明光を照射するとともに担持体を透過する透過光を受光して、上記細胞の輪郭が明瞭な画像を撮像することができる撮像装置および撮像方法を提供することを目的とする。   The present invention has been made in view of the above problems, and irradiates a carrier carrying a cell with illumination light and receives transmitted light transmitted through the carrier to capture an image with a clear outline of the cell. It is an object to provide an imaging apparatus and an imaging method capable of performing the above.

この発明の第1態様は、担持体に担持される細胞の画像を撮像する撮像装置であって、担持体に照明光を照射する照明部と、光軸を担持体に向けて配置される撮像光学系を有し、照明光の照射を受ける担持体を透過する透過光を撮像光学系で受光して細胞を撮像する撮像部とを備え、照明光の開口数が0.3以下であることを特徴としている。   1st aspect of this invention is an imaging device which images the image of the cell carry | supported by a support body, Comprising: The illumination part which irradiates illumination light to a support body, and the imaging arrange | positioned toward the support body An imaging unit that has an optical system and receives the transmitted light that passes through the carrier that is irradiated with the illumination light by the imaging optical system and images the cell, and the numerical aperture of the illumination light is 0.3 or less It is characterized by.

この発明の第2態様は、撮像方法であって、細胞を担持する担持体に照明光を照射する工程と、照明光の照射を受ける担持体を透過する透過光を受光して細胞を撮像する工程とを備え、照明光の開口数を0.3以下に設定することを特徴としている。   According to a second aspect of the present invention, there is provided an imaging method, the step of irradiating a carrier carrying cells with illumination light, and the transmitted light transmitted through the carrier subjected to illumination light being received to image cells. And a numerical aperture of illumination light is set to 0.3 or less.

上記のように、本発明によれば、細胞を担持する担持体に照明光を照射し、その担持体を透過する透過光を受光して細胞を撮像するため、照明光の開口数(NA)が撮像される画像のコントラストに大きな影響を与える。具体的な影響内容は後で図7や図8を参照しつつ詳述するが、照明光の開口数(NA)を0.3以下に設定することでコントラスト値を高めて細胞の輪郭が明瞭な画像を撮像することが可能となる。   As described above, according to the present invention, the numerical aperture (NA) of the illumination light is used to illuminate the carrier carrying the cell with the illumination light and receive the transmitted light transmitted through the carrier to image the cell. Greatly affects the contrast of the image to be captured. The specific influence will be described in detail later with reference to FIG. 7 and FIG. 8, but by setting the numerical aperture (NA) of illumination light to 0.3 or less, the contrast value is increased and the outline of the cell is clear. It is possible to capture a simple image.

本発明にかかる撮像装置の概略構成を示す図である。1 is a diagram illustrating a schematic configuration of an imaging apparatus according to the present invention. 撮像時の対物レンズの焦点と細胞との位置関係を模式的に示す図である。It is a figure which shows typically the positional relationship of the focus of the objective lens at the time of imaging, and a cell. 焦点位置と画像のコントラスト値との関係を示す図である。It is a figure which shows the relationship between a focus position and the contrast value of an image. 対物レンズの焦点位置による画像の変化を説明するための図である。It is a figure for demonstrating the change of the image by the focus position of an objective lens. 差分画像を作成するための処理を示すフローチャートである。It is a flowchart which shows the process for producing a difference image. 差分画像を作成するための画像処理の第1実施形態を示すフローチャートである。It is a flowchart which shows 1st Embodiment of the image process for producing a difference image. 差分画像を作成するための画像処理の第2実施形態を示すフローチャートである。It is a flowchart which shows 2nd Embodiment of the image process for producing a difference image. 第2実施形態における差分画像作成処理をより詳しく説明する図である。It is a figure explaining the difference image creation process in 2nd Embodiment in detail. 照明光の開口数(NA)が画像のコントラスト値に与える影響の一例を示す図である。It is a figure which shows an example of the influence which the numerical aperture (NA) of illumination light has on the contrast value of an image. 照明光の開口数(NA)が画像のコントラスト値に与える影響の他の例を示す図である。It is a figure which shows the other example of the influence which the numerical aperture (NA) of illumination light has on the contrast value of an image.

以下、この発明にかかる撮像装置の全体構成および動作、当該撮像装置により撮像された画像に対する画像処理方法を説明した後で、上記画像を明瞭に撮像するための具体的な構成について説明する。   Hereinafter, after describing the overall configuration and operation of the imaging apparatus according to the present invention and the image processing method for the image captured by the imaging apparatus, a specific configuration for clearly capturing the image will be described.

図1は本発明にかかる撮像装置の概略構成を示す図である。この撮像装置1は、ウェルプレートWPの上面に形成されたウェルWと称される窪部に注入された液体中の試料を撮像し、さらに所定の画像処理を施して画像を出力する装置である。以下、各図における方向を統一的に示すために、図1に示すようにXYZ直交座標軸を設定する。ここでXY平面が水平面、Z軸が鉛直軸を表す。より詳しくは、(+Z)方向が鉛直上向き方向を表している。   FIG. 1 is a diagram showing a schematic configuration of an imaging apparatus according to the present invention. The imaging apparatus 1 is an apparatus that images a sample in a liquid injected into a recess called a well W formed on the upper surface of a well plate WP, and further performs predetermined image processing to output an image. . Hereinafter, in order to uniformly indicate the directions in the drawings, XYZ orthogonal coordinate axes are set as shown in FIG. Here, the XY plane represents a horizontal plane and the Z axis represents a vertical axis. More specifically, the (+ Z) direction represents a vertically upward direction.

ウェルプレートWPは、創薬や生物科学の分野において一般的に使用されているものであり、平板状のプレートの上面に、断面が略円形の筒状に形成され底面が透明で平坦なウェルWが複数設けられている。1つのウェルプレートWPにおけるウェルWの数は任意であるが、例えば96個(12×8のマトリクス配列)のものを用いることができる。各ウェルWの直径および深さは代表的には数mm程度である。なお、この撮像装置1が対象とするウェルプレートのサイズやウェルの断面形状、配設数等はこれらに限定されるものではなく任意であり、例えば384穴のものであってもよい。   The well plate WP is generally used in the fields of drug discovery and biological science. The well plate WP is formed in a cylindrical shape with a substantially circular cross section on the top surface of a flat plate, and the bottom surface is transparent and flat. Are provided. Although the number of wells W in one well plate WP is arbitrary, for example, 96 (12 × 8 matrix arrangement) can be used. The diameter and depth of each well W is typically about several mm. Note that the size of the well plate, the cross-sectional shape of the well, the number of arrangements, and the like of the well targeted by the imaging apparatus 1 are not limited to these, and may be, for example, 384 holes.

ウェルプレートWPの各ウェルWには、培地としての液体が所定量注入され、この液体中において所定の培養条件で培養された細胞や細菌等が、この撮像装置1の撮像対象となる。培地は適宜の試薬が添加されたものでもよく、また液状でウェルWに投入された後ゲル化するものであってもよい。常用される一般的な液量は、50ないし200マイクロリットル程度である。   A predetermined amount of a liquid as a medium is injected into each well W of the well plate WP, and cells, bacteria, and the like cultured in the liquid under predetermined culture conditions are imaging targets of the imaging device 1. The medium may be one to which an appropriate reagent has been added, or it may be in a liquid state and gelled after being placed in the well W. Commonly used liquid volume is about 50 to 200 microliters.

撮像装置1は、試料を液体とともに各ウェルWに担持するウェルプレートWPの下面周縁部に当接して、ウェルプレートWPを略水平姿勢に保持するホルダ11と、ホルダ11の上方に配置される照明部12と、ホルダ11の下方に配置される撮像部13と、これら各部の動作を制御するCPU141を有する制御部14とを備えている。   The imaging apparatus 1 is in contact with the lower surface peripheral portion of the well plate WP that holds the sample together with the liquid in each well W, and holds the well plate WP in a substantially horizontal posture, and illumination disposed above the holder 11. The control unit 14 includes a unit 12, an imaging unit 13 disposed below the holder 11, and a CPU 141 that controls the operation of each unit.

照明部12は、ホルダ11により保持されたウェルプレートWPに向けて照明光Liを出射する。照明光Liとしては例えば白色光を用いることができる。後述する無染色の細胞を撮像する目的においては、照明光Liは開口数(NA)の小さい照明光、例えば平行光であることが好ましい。照明部12により、ウェルプレートWPに設けられたウェルW内の試料が上方から照明される。照明光Liの開口数(NA)については、例えば撮像光学系130の開口数以下とすることができる。なお、照明光Liの開口数(NA)については撮像した画像の明瞭化のために0.3以下とするのが望ましく、その理由については後で詳述する。   The illumination unit 12 emits illumination light Li toward the well plate WP held by the holder 11. For example, white light can be used as the illumination light Li. For the purpose of imaging unstained cells, which will be described later, the illumination light Li is preferably illumination light having a small numerical aperture (NA), for example, parallel light. The illumination unit 12 illuminates the sample in the well W provided on the well plate WP from above. The numerical aperture (NA) of the illumination light Li can be set to be equal to or less than the numerical aperture of the imaging optical system 130, for example. Note that the numerical aperture (NA) of the illumination light Li is desirably 0.3 or less in order to clarify the captured image, and the reason will be described in detail later.

ホルダ11により保持されたウェルプレートWPの下方に、撮像部13が設けられる。撮像部13では、ウェルプレートWPの直下位置に対物レンズ131が配置されている。対物レンズ131の光軸OAは鉛直方向(Z方向)に向けられており、対物レンズ131の光軸OAに沿って上から下に向かって順に、開口絞り132、結像レンズ133および撮像デバイス134がさらに設けられている。対物レンズ131、開口絞り132および結像レンズ133は、それぞれの中心が鉛直方向(Z方向)に沿って一列に並ぶように配置されて、これらが一体として撮像光学系130を構成している。なお、この例では撮像部13を構成する各部が鉛直方向に一列に配列されているが、反射鏡等により光路が折り返されていてもよい。   An imaging unit 13 is provided below the well plate WP held by the holder 11. In the imaging unit 13, an objective lens 131 is disposed immediately below the well plate WP. The optical axis OA of the objective lens 131 is oriented in the vertical direction (Z direction), and the aperture stop 132, the imaging lens 133, and the imaging device 134 are sequentially arranged from top to bottom along the optical axis OA of the objective lens 131. Is further provided. The objective lens 131, the aperture stop 132, and the imaging lens 133 are arranged so that their centers are arranged in a line along the vertical direction (Z direction), and these constitute the imaging optical system 130 as a unit. In this example, the respective parts constituting the imaging unit 13 are arranged in a line in the vertical direction, but the optical path may be folded by a reflecting mirror or the like.

撮像部13は、制御部14に設けられたメカ駆動部146によりXYZ方向に移動可能となっている。具体的には、メカ駆動部146が、CPU141からの制御指令に基づき、撮像部13を構成する対物レンズ131、開口絞り132、結像レンズ133および撮像デバイス134を一体的にX方向およびY方向に移動させることにより、撮像部13がウェルWに対し水平方向に移動する。1つのウェルW内の撮像対象物が撮像されるときには、メカ駆動部146は、当該ウェルWが撮像部13の撮像視野に含まれるように、撮像部13を水平方向に位置決めする。   The imaging unit 13 can be moved in the XYZ directions by a mechanical drive unit 146 provided in the control unit 14. Specifically, based on a control command from the CPU 141, the mechanical drive unit 146 integrally connects the objective lens 131, the aperture stop 132, the imaging lens 133, and the imaging device 134 that constitute the imaging unit 13 in the X direction and the Y direction. The imaging unit 13 moves in the horizontal direction with respect to the well W. When the imaging target in one well W is imaged, the mechanical drive unit 146 positions the imaging unit 13 in the horizontal direction so that the well W is included in the imaging field of the imaging unit 13.

また、メカ駆動部146は、撮像部13をZ方向に移動させることにより、撮像対象物に対する撮像部のフォーカス合わせを行う。具体的には、撮像対象物たる試料が存在するウェルWの内底面に対物レンズ131の焦点が合うように、メカ駆動部146が、対物レンズ131、開口絞り132、結像レンズ133および撮像デバイス134を一体的に上下動させる。   Further, the mechanical drive unit 146 moves the imaging unit 13 in the Z direction, thereby focusing the imaging unit with respect to the imaging target. Specifically, the mechanical drive unit 146 includes the objective lens 131, the aperture stop 132, the imaging lens 133, and the imaging device so that the objective lens 131 is focused on the inner bottom surface of the well W where the sample that is the imaging target is present. 134 is moved up and down integrally.

また、メカ駆動部146は、撮像部13をXY方向に移動させる際、照明部12を撮像部13と一体的にXY方向に移動させる。すなわち、照明部12は、その光中心が撮像光学系130の光軸OAと略一致するように配置されており、対物レンズ131を含む撮像部13がXY方向に移動するとき、これと連動してXY方向に移動する。これにより、どのウェルWが撮像される場合でも照明条件を一定にして、撮像条件を良好に維持することができる。なお、ウェルプレートWPを固定し撮像部13を移動させる構成に代えて、撮像部13を固定しウェルプレートWPを移動させる構成であってもよい。   The mechanical drive unit 146 moves the illumination unit 12 integrally with the imaging unit 13 in the XY direction when moving the imaging unit 13 in the XY direction. That is, the illumination unit 12 is arranged so that the optical center thereof is substantially coincident with the optical axis OA of the imaging optical system 130. When the imaging unit 13 including the objective lens 131 moves in the XY direction, the illumination unit 12 is interlocked with this. To move in the XY direction. Thereby, in any well W being imaged, the illumination condition can be kept constant and the imaging condition can be maintained satisfactorily. Instead of the configuration in which the well plate WP is fixed and the imaging unit 13 is moved, a configuration in which the imaging unit 13 is fixed and the well plate WP is moved may be employed.

撮像部13により、ウェルW内の試料が明視野撮像される。具体的には、照明部12から出射されウェルWの上方から液体に入射した光が撮像対象物を照明し、ウェルW底面から下方へ透過した光が対物レンズ131により集光され、開口絞り132、結像レンズ133を介して最終的に撮像デバイス134の受光面に撮像対象物の像が結像し、これが撮像デバイス134の受光素子1341により受光される。受光素子1341は二次元イメージセンサであり、その表面に結像した撮像対象物の二次元画像を電気信号に変換する。受光素子1341としては、例えばCCDセンサまたはCMOSセンサを用いることができる。   The imaging unit 13 performs bright field imaging of the sample in the well W. Specifically, light emitted from the illumination unit 12 and incident on the liquid from above the well W illuminates the object to be imaged, and light transmitted downward from the bottom surface of the well W is collected by the objective lens 131 and the aperture stop 132. The image of the imaging object is finally formed on the light receiving surface of the imaging device 134 via the imaging lens 133, and this is received by the light receiving element 1341 of the imaging device 134. The light receiving element 1341 is a two-dimensional image sensor, and converts a two-dimensional image of the imaging object formed on the surface thereof into an electrical signal. As the light receiving element 1341, for example, a CCD sensor or a CMOS sensor can be used.

受光素子1341から出力される画像信号は、制御部14に送られる。すなわち、画像信号は制御部14に設けられたADコンバータ(A/D)143に入力されてデジタル画像データに変換される。CPU141は、受信した画像データに基づき適宜画像処理を実行する。制御部14はさらに、画像データを記憶保存するための画像メモリ144と、CPU141が実行すべきプログラムやCPU141により生成されるデータを記憶保存するためのメモリ145とを有しているが、これらは一体のものであってもよい。   The image signal output from the light receiving element 1341 is sent to the control unit 14. That is, the image signal is input to an AD converter (A / D) 143 provided in the control unit 14 and converted into digital image data. The CPU 141 executes image processing as appropriate based on the received image data. The control unit 14 further includes an image memory 144 for storing and storing image data, and a memory 145 for storing and storing programs to be executed by the CPU 141 and data generated by the CPU 141. It may be integral.

その他に、制御部14には、インターフェース(I/F)142が設けられている。インターフェース142は、ユーザからの操作入力を受け付けたり、ユーザへの処理結果等の情報提示を行うほか、通信回線を介して接続された外部装置との間でのデータ交換を行う。   In addition, the control unit 14 is provided with an interface (I / F) 142. The interface 142 receives an operation input from the user, presents information such as a processing result to the user, and exchanges data with an external apparatus connected via a communication line.

次に、このように構成された撮像装置1の動作について説明する。撮像装置1では、ウェルプレートWPの各ウェルW内で培養された細胞、細菌、細胞集塊(スフェロイド)等の撮像を行うことが可能であり、撮像された画像を種々の観察、解析に供することができる。   Next, the operation of the imaging apparatus 1 configured as described above will be described. The imaging device 1 can take images of cells, bacteria, cell clumps (spheroids) and the like cultured in each well W of the well plate WP, and use the taken images for various observations and analysis. be able to.

ここでは、例えばウェルW内で培養される細胞の増殖状態を調べることを目的として、細胞を無染色で撮像し、その輪郭を特定して細胞の個数や大きさを観察するケースを考える。従来、無色透明に近い細胞を光学的に観察する目的で、細胞を適宜の染料で染色することが行われてきた。しかしながら、細胞を生きたまま観察すること、あるいは経時変化を調べること等を目的として、細胞にダメージを与えることなく撮像を行うことが必要な場合がある。このような場合、細胞を無染色で撮像する必要がある。   Here, for example, for the purpose of examining the growth state of the cells cultured in the well W, a case is considered in which the cells are imaged without staining, the outline is specified, and the number and size of the cells are observed. Conventionally, for the purpose of optically observing cells that are nearly colorless and transparent, cells have been dyed with an appropriate dye. However, there are cases where it is necessary to perform imaging without damaging the cells for the purpose of observing the cells alive or examining changes over time. In such a case, it is necessary to image the cells without staining.

この撮像装置1のような明視野撮像においては、透明に近い細胞を高コントラストで撮像することが難しい。このような場合の撮像には例えば位相差顕微鏡を用いる方法が考えられるが、装置構成が複雑で高価である。上記のように細胞の輪郭を特定することができれば足りる用途においては、より簡単な装置構成で画像を取得することができるのが好ましい。この撮像装置1は、このような要望に応えることのできるものである。   In bright-field imaging like the imaging device 1, it is difficult to image cells that are nearly transparent with high contrast. For imaging in such a case, for example, a method using a phase contrast microscope is conceivable, but the apparatus configuration is complicated and expensive. In applications where it is sufficient that the outline of the cell can be specified as described above, it is preferable that an image can be acquired with a simpler apparatus configuration. The imaging apparatus 1 can meet such a demand.

図2Aおよび図2Bは透明な細胞を明視野撮像する場合の問題を説明する図である。より詳しくは、図2Aは撮像時の対物レンズ131の焦点Fと細胞Cとの位置関係を模式的に示す図であり、図2Bは焦点位置と画像のコントラスト値との関係を示す図である。図2Aに示すように、対物レンズ131の焦点Fを光軸OA方向(この場合はZ方向)に変化させながらほぼ透明な細胞Cを撮像する場合を考える。撮像対象である細胞CのZ方向位置を符号Zc、対物レンズ131の焦点FのZ方向位置を符号Zfにより表す。Z方向における対物レンズ131は、焦点位置Zfよりも焦点距離fだけ下方に位置する。   FIG. 2A and FIG. 2B are diagrams for explaining a problem in bright-field imaging of transparent cells. More specifically, FIG. 2A is a diagram schematically showing the positional relationship between the focal point F and the cell C of the objective lens 131 at the time of imaging, and FIG. 2B is a diagram showing the relationship between the focal position and the contrast value of the image. . As shown in FIG. 2A, consider a case where a substantially transparent cell C is imaged while the focal point F of the objective lens 131 is changed in the direction of the optical axis OA (in this case, the Z direction). The Z-direction position of the cell C to be imaged is represented by a symbol Zc, and the Z-direction position of the focal point F of the objective lens 131 is represented by a symbol Zf. The objective lens 131 in the Z direction is positioned below the focal position Zf by the focal length f.

図2Bに示すように、Z方向の焦点位置Zfが細胞Cの位置Zcと略一致するときにコントラスト値が極小となり、その前後ではコントラスト値が高くなる。なお、このような知見については、例えば前記した特許文献1にも記載されている。以下の説明のために、図2Bに示す焦点位置に対するコントラスト値のプロファイルにおいて、極小値を挟む2つの極大値を与える焦点位置Zfの値を符号Za、Zbにより表す。   As shown in FIG. 2B, the contrast value becomes minimal when the focal position Zf in the Z direction substantially coincides with the position Zc of the cell C, and the contrast value becomes high before and after that. Such knowledge is also described in, for example, Patent Document 1 described above. For the following explanation, in the contrast value profile with respect to the focal position shown in FIG. 2B, the values of the focal position Zf giving two local maximum values sandwiching the local minimum value are represented by symbols Za and Zb.

図3は対物レンズの焦点位置による画像の変化を説明するための図である。焦点位置の違いによる画像の相違について、以下の3つのケース、(a)Zf>Zc、(b)Zf<Zc、(c)Zf=Zc、に分けて説明する。   FIG. 3 is a diagram for explaining the change of the image depending on the focal position of the objective lens. Differences in images due to differences in focal position will be described in the following three cases: (a) Zf> Zc, (b) Zf <Zc, and (c) Zf = Zc.

最初に、Zf=Zcであるケース(c)について説明する。このケースは、対物レンズ131の焦点面FPが細胞C上にある合焦状態に相当する。この場合、画像例に示すように、細胞Cの像は微細な構造まで鮮明であるが、濃淡の差が小さく、画像のコントラスト値が極小となる。画素ごとの輝度のヒストグラムを取ると、そのばらつきは小さい。このため、例えば画素値に基づく画像の二値化や細胞輪郭の抽出を自動的に行う用途には適していない。   First, the case (c) where Zf = Zc will be described. This case corresponds to a focused state where the focal plane FP of the objective lens 131 is on the cell C. In this case, as shown in the image example, the image of the cell C is clear even to a fine structure, but the difference in density is small and the contrast value of the image is minimized. When the luminance histogram for each pixel is taken, the variation is small. For this reason, for example, it is not suitable for an application that automatically performs binarization of an image based on pixel values or extraction of a cell contour.

ケース(a)は、対物レンズ131の焦点面FPが細胞Cよりも(+Z)方向(上方)に位置する、つまり細胞Cが対物レンズ131の焦点距離fよりも対物レンズ131に近い位置にある場合に相当する。この場合、対物レンズ131は細胞Cを介して焦点面FPを見ていることになる。また、ケース(b)は、対物レンズ131の焦点面FPが細胞Cよりも(−Z)方向(下方)に位置する、つまり細胞Cが対物レンズ131の焦点距離fよりも遠い位置にある場合に相当する。これらの場合、透明な細胞Cによるレンズ作用のため、特に細胞Cの周縁部において輝度の変化が現れる。   In the case (a), the focal plane FP of the objective lens 131 is positioned in the (+ Z) direction (upward) from the cell C, that is, the cell C is closer to the objective lens 131 than the focal length f of the objective lens 131. Corresponds to the case. In this case, the objective lens 131 sees the focal plane FP through the cell C. In the case (b), the focal plane FP of the objective lens 131 is located in the (−Z) direction (downward) with respect to the cell C, that is, the cell C is at a position farther than the focal length f of the objective lens 131. It corresponds to. In these cases, due to the lens action by the transparent cell C, a change in luminance appears particularly at the peripheral edge of the cell C.

すなわち、細胞Cが対物レンズ131の焦点距離fよりも近くにあるケース(a)では細胞Cの周縁部で輝度が高く(明るく)なる一方、細胞Cが対物レンズ131の焦点距離fよりも遠いケース(b)では細胞Cの周縁部で輝度が低く(暗く)なる。このため、画素値のヒストグラムがケース(a)で高輝度側に広がり、ケース(b)では低輝度側に広がる。このように、ケース(a)とケース(b)とでは、細胞Cの周縁部において逆の輝度変化が現れる。なお、これらのケースでは、対物レンズ131の焦点Fが細胞Cに合っていないため、細胞Cの像の鮮明さはケース(c)の画像よりも低下する。   That is, in the case (a) in which the cell C is closer to the focal length f of the objective lens 131, the luminance is higher (brighter) at the periphery of the cell C, while the cell C is farther than the focal length f of the objective lens 131. In the case (b), the luminance is low (darker) at the periphery of the cell C. For this reason, the histogram of pixel values spreads to the high luminance side in case (a), and spreads to the low luminance side in case (b). Thus, in the case (a) and the case (b), opposite luminance changes appear in the peripheral portion of the cell C. In these cases, since the focal point F of the objective lens 131 does not match the cell C, the sharpness of the image of the cell C is lower than the image of the case (c).

ケース(a)における撮像で得られた画像と、ケース(b)における撮像で得られた画像との間で画素単位の差分を求める。画素値の差分を各画素の新たな画素値とする差分画像では、ヒストグラムにおける輝度値の分布が広がり、画像のコントラスト値が大きくなる。特に輝度の差が大きい細胞Cの周縁部において明暗の差が強調される。したがって、差分画像は、細胞Cの内部構造については必ずしも鮮明でないものの、その輪郭部分を高いコントラストで示す画像となる。   A difference in units of pixels is obtained between an image obtained by imaging in case (a) and an image obtained by imaging in case (b). In a difference image in which the difference between pixel values is a new pixel value of each pixel, the distribution of luminance values in the histogram is widened, and the contrast value of the image is increased. In particular, the difference in brightness is emphasized at the peripheral portion of the cell C where the difference in luminance is large. Therefore, although the difference image is not always clear about the internal structure of the cell C, the difference image is an image showing the outline portion with high contrast.

差分画像の各画素の画素値Pdは、ケース(a)およびケース(b)における撮像でそれぞれ得られた画像の同一画素の画素値Pa、Pbと定数Kとを用いて次式:
Pd=Pa−Pb+K
により表すことができる。定数Kは、画像の内容によって画素値Pdが負の値となることを回避するためのオフセット値である。定数Kについては、予想される画素値の分布に基づき予め定めておいてもよく、画素値の差分(Pa−Pb)の演算結果に応じて動的に定められてもよい。ただし1つの差分画像においては各画素に単一の定数Kが適用される。なお、上式において、画素値Pa、Pbの少なくとも一方に適宜の係数を乗じてもよい。
The pixel value Pd of each pixel of the difference image is expressed by the following equation using pixel values Pa and Pb of the same pixel of the image obtained by imaging in case (a) and case (b) and a constant K:
Pd = Pa-Pb + K
Can be represented by The constant K is an offset value for avoiding the pixel value Pd from becoming a negative value depending on the content of the image. The constant K may be determined in advance based on an expected distribution of pixel values, or may be determined dynamically according to the calculation result of the difference (Pa−Pb) in pixel values. However, a single constant K is applied to each pixel in one difference image. In the above equation, at least one of the pixel values Pa and Pb may be multiplied by an appropriate coefficient.

このように、細胞Cの輪郭が明瞭な画像を得るためには、焦点位置を互いに異ならせて撮像された2つの画像の差分画像を作成すればよい。ただし、輪郭を強調するという目的において、2つの画像は、焦点位置に対するコントラスト値のプロファイルにおいて極小値を取る焦点位置(Zf=Zc)を挟む2つの焦点位置でそれぞれ撮像されたものである必要がある。また、輪郭強調効果を最大にするためには、図2Bに示されるプロファイルにおいてコントラスト値の極大値を取る2つの焦点位置Za、Zbに近い焦点位置で2つの画像の撮像が行われることがより好ましい。以下、このような目的を達成するための具体的な処理の内容について説明する。   In this way, in order to obtain an image with a clear outline of the cell C, a difference image between the two images picked up with different focal positions may be created. However, for the purpose of emphasizing the contour, the two images need to be respectively captured at two focal positions sandwiching the focal position (Zf = Zc) that takes the minimum value in the contrast value profile with respect to the focal position. is there. In order to maximize the contour enhancement effect, it is more preferable that two images are captured at a focal position close to the two focal positions Za and Zb that take the maximum contrast value in the profile shown in FIG. 2B. preferable. Hereinafter, specific processing contents for achieving such an object will be described.

図4は差分画像を作成するための処理を示すフローチャートである。この処理は、CPU141が例えばメモリ145に予め記憶された制御プログラムを実行し、該制御プログラムに基づき装置各部を制御することにより実現される。まず、撮像対象となる細胞が培養されるウェルWを含むウェルプレートWPがホルダ11にセットされる(ステップS101)。次いで撮像部13が所定の初期位置に設定される(ステップS102)。撮像部13の水平方向における初期位置は、撮像対象であるウェルWの中心と撮像光学系130の光軸OAとが一致する位置である。また鉛直方向における初期位置は、撮像部13の鉛直方向における可変範囲のうちウェルプレートWPの底面に最も近い位置である。   FIG. 4 is a flowchart showing a process for creating a difference image. This process is realized by the CPU 141 executing a control program stored in advance in the memory 145, for example, and controlling each part of the apparatus based on the control program. First, a well plate WP including a well W in which cells to be imaged are cultured is set in the holder 11 (step S101). Next, the imaging unit 13 is set to a predetermined initial position (step S102). The initial position of the imaging unit 13 in the horizontal direction is a position where the center of the well W to be imaged and the optical axis OA of the imaging optical system 130 coincide. The initial position in the vertical direction is the position closest to the bottom surface of the well plate WP in the variable range of the imaging unit 13 in the vertical direction.

次に、撮像部13によりウェルWを撮像して1つの原画像を取得し(ステップS103)、撮像部13を所定の刻みで1ステップ下方へ移動させて(ステップS105)、再度撮像を行う(ステップS103)。このような撮像部13の1ステップずつの移動と撮像とを、撮像部13が撮像終了位置、すなわちその可変範囲において最も下方でウェルプレートWPの底面から最も離れた位置)に到達するまで繰り返す(ステップS104)。これにより、撮像光学系130の焦点位置を互いに鉛直方向に異ならせて撮像された複数の原画像が取得される。これらの原画像は画像メモリ144に記憶保存される。   Next, the well 13 is picked up by the image pickup unit 13 to obtain one original image (step S103), the image pickup unit 13 is moved downward one step at a predetermined interval (step S105), and image pickup is performed again (step S105). Step S103). Such movement and imaging of the imaging unit 13 step by step are repeated until the imaging unit 13 reaches the imaging end position, that is, the lowest position in the variable range and the farthest from the bottom surface of the well plate WP (see FIG. Step S104). As a result, a plurality of original images captured with the focal positions of the imaging optical system 130 different from each other in the vertical direction are acquired. These original images are stored and saved in the image memory 144.

撮像対象となる細胞Cのサイズは一般的に数μmないし数十μm程度であり、これに対応する撮像部13の移動は、1ステップ当たり例えば2μmないし10μm程度とすることができる。   The size of the cell C to be imaged is generally about several μm to several tens of μm, and the movement of the imaging unit 13 corresponding to this is about 2 μm to 10 μm per step, for example.

こうして得られた原画像の各々について、CPU141は画像のコントラスト値を算出する(ステップS106)。コントラスト値の算出方法としてはいくつかの方法が知られているが、各原画像において同一方法を用いる限りにおいて、任意のものを適用することができる。例えば、原画像中の最も高輝度の画素の画素値と最も低輝度の画素の画素値との差を以って当該原画像のコントラスト値とすることができる。なお、後で説明する図7および図8中の「コントラスト値」も同様である。   For each original image obtained in this way, the CPU 141 calculates the contrast value of the image (step S106). Several methods are known for calculating the contrast value, but any method can be applied as long as the same method is used for each original image. For example, the contrast value of the original image can be determined by the difference between the pixel value of the highest luminance pixel in the original image and the pixel value of the lowest luminance pixel. The same applies to “contrast value” in FIGS. 7 and 8 described later.

続いて、撮像された複数の原画像から抽出される2つの原画像に基づき、CPU141が所定の画像処理により差分画像を作成する(ステップS107)。この差分画像作成方法について、互いに異なる原理に基づく2つの実施形態があり、それらについては後で説明する。作成された差分画像は細胞Cの輪郭が強調されたものであり、これが画像メモリ144に記憶保存され、必要に応じてインターフェース142を介して出力画像として出力される(ステップS108)。画像の出力の態様としては、インターフェース142の一部として設けられたディスプレイに差分画像が表示されるものであってもよく、また外部装置や外部記憶媒体に対し差分画像の画像データが出力されるものであってもよい。   Subsequently, based on the two original images extracted from the plurality of captured original images, the CPU 141 creates a difference image by predetermined image processing (step S107). There are two embodiments of the difference image creation method based on mutually different principles, which will be described later. The created difference image is an image in which the outline of the cell C is emphasized, and is stored and saved in the image memory 144, and is output as an output image via the interface 142 as necessary (step S108). As an image output mode, the difference image may be displayed on a display provided as a part of the interface 142, and the image data of the difference image is output to an external device or an external storage medium. It may be a thing.

図5Aおよび図5Bは差分画像作成の2つの態様を示すフローチャートである。より具体的には、図5Aは差分画像を作成するための画像処理の第1実施形態を示し、図5Bは差分画像を作成するための画像処理の第2実施形態を示す。これらの実施形態では、上記のようにして算出された各原画像のコントラスト値を、当該原画像が撮像されたときの焦点位置の設定値に沿って配列した仮想的なプロファイルにおける極大値または極小値に基づいて差分画像の基となる原画像が抽出される。なお、プロファイルにおける極大値または極小値を何らかの方法で求めることができれば足り、実際にプロファイルを作成するための処理を要するものではない。   FIG. 5A and FIG. 5B are flowcharts showing two modes of difference image creation. More specifically, FIG. 5A shows a first embodiment of image processing for creating a difference image, and FIG. 5B shows a second embodiment of image processing for creating a difference image. In these embodiments, the contrast value of each original image calculated as described above is a maximum value or a minimum value in a virtual profile in which the contrast values are arranged along the set value of the focal position when the original image is captured. Based on the value, the original image that is the basis of the difference image is extracted. Note that it is sufficient that the maximum value or the minimum value in the profile can be obtained by any method, and processing for actually creating the profile is not required.

図5Aに示す第1実施形態の処理では、プロファイルにおけるコントラスト値の2つの極大値を検出する(ステップS201)。極大値については、例えばプロファイルにおいて、焦点位置の設定値の変化に伴ってコントラスト値が増加する局面から減少する局面に変化する点を求めることにより検出可能である。そして、これらの極大値を与える2つの焦点位置の設定値を求める(ステップS202)。これらの2つの設定値が、図2Bにおいて符号Za、Zbにおいて極大値に近い値となるはずである。   In the process of the first embodiment shown in FIG. 5A, two maximum values of the contrast value in the profile are detected (step S201). The maximum value can be detected, for example, by obtaining a point in the profile that changes from a phase where the contrast value increases to a phase where the contrast value decreases as the focus position setting value changes. Then, the set values of the two focal positions that give these maximum values are obtained (step S202). These two set values should be close to the maximum values at the symbols Za and Zb in FIG. 2B.

このようにして求められた2つの極大値にそれぞれ対応する2つの原画像を抽出し、それらの原画像間で画素ごとに画素値の差分を求め、オフセット値としての定数Kを加算することで、差分画像を構成する各画素の画素値が求められる(ステップS203)。求められた画素値を有する画素を所定の配置で配列し画像を再構成することで(ステップS204)、差分画像が得られる。   By extracting two original images corresponding to the two maximum values obtained in this way, obtaining a difference between the original images for each pixel, and adding a constant K as an offset value. Then, the pixel value of each pixel constituting the difference image is obtained (step S203). A difference image is obtained by arranging the pixels having the obtained pixel values in a predetermined arrangement and reconstructing the image (step S204).

なお、上記のようにプロファイルにおけるコントラスト値の極大値はその後の演算には用いられない。したがって、厳密にはステップS201のコントラスト値の極大値を求める処理は必ずしも必要なく、極大値に対応する焦点位置の設定値がわかればよい。   As described above, the maximum value of the contrast value in the profile is not used for the subsequent calculation. Therefore, strictly speaking, the processing for obtaining the maximum value of the contrast value in step S201 is not necessarily required, and it is only necessary to know the set value of the focal position corresponding to the maximum value.

このように、この実施形態では、焦点位置の設定値を多段階に変更しながら撮像された複数の原画像のうち、焦点位置の設定値に対する画像のコントラスト値のプロファイルにおける2つの極大値に対応する2つの原画像に基づいて差分画像が作成される。この場合、撮像された原画像から直接コントラスト値を求め、プロファイルにおける2つの山部分を見つけてその極大値を求めればよいので、細胞Cに対する撮像光学系130の合焦位置を知る必要はない。また、撮像済みの原画像から差分画像を作成するので、合焦位置を特定した上でさらに画像を取得する必要もない。そのため、処理が簡単である。   As described above, in this embodiment, two maximum values in the profile of the contrast value of the image with respect to the setting value of the focal position among the plurality of original images captured while changing the setting value of the focal position in multiple stages are supported. A difference image is created based on the two original images. In this case, it is only necessary to obtain the contrast value directly from the captured original image, find the two peak portions in the profile, and obtain the maximum value thereof, so it is not necessary to know the in-focus position of the imaging optical system 130 with respect to the cell C. Further, since the difference image is created from the captured original image, it is not necessary to acquire an image after specifying the in-focus position. Therefore, processing is simple.

なお、焦点位置を離散的に変更して撮像を行っているため、検出された極大値は必ずしも図2Bに示す位置Za、Zbに対応するコントラスト値とは一致しない。しかしながら、細胞の輪郭を明瞭に示した画像を得るという目的においては、差分画像の作成に用いられる2つの原画像が、プロファイルにおいて極小値を挟む2つの山部分からそれぞれ抽出されたものであればよい。そのため、焦点位置の刻みが極端に大きい設定となっていない限り、検出された極大値が実際の極大値と一致している否かは問題とならない。すなわち、上記の方法で十分な輪郭強調効果を得ることが可能である。   Since imaging is performed by discretely changing the focal position, the detected maximum value does not necessarily match the contrast values corresponding to the positions Za and Zb shown in FIG. 2B. However, for the purpose of obtaining an image that clearly shows the outline of the cell, if the two original images used to create the difference image are respectively extracted from the two peak portions sandwiching the minimum value in the profile, Good. Therefore, it does not matter whether or not the detected maximum value matches the actual maximum value unless the increment of the focal position is set to be extremely large. That is, a sufficient contour emphasis effect can be obtained by the above method.

一方、図5Bに示す第2実施形態の処理では、プロファイルにおけるコントラスト値の2つの極小値を検出する(ステップS301)。この場合も、極小値自体を求める必要はなく、極小値を与える焦点位置の設定値がわかればよい。こうして求められた焦点位置の設定値に対して、予め定められた所定距離だけ離れた2つの設定値を特定する。これらの2つの設定値に対応する2つの原画像から差分画像が作成される(ステップS302)。差分画像を求める処理(ステップS303、S304)は、第1実施形態(ステップS203、S204)と同じである。   On the other hand, in the process of the second embodiment shown in FIG. 5B, two minimum values of the contrast value in the profile are detected (step S301). Also in this case, it is not necessary to obtain the local minimum value, and it is sufficient to know the set value of the focal position that provides the local minimum value. Two set values separated by a predetermined distance are specified with respect to the set value of the focal position thus obtained. A difference image is created from two original images corresponding to these two setting values (step S302). The processing for obtaining the difference image (steps S303 and S304) is the same as that in the first embodiment (steps S203 and S204).

図6は第2実施形態における差分画像作成処理をより詳しく説明する図である。この実施形態では、図6に示すように、焦点位置の設定値に対する画像のコントラスト値のプロファイルにおいて、極小値を与える設定値Zmを求める。この値Zmは図2Bに示す焦点位置Zcの近傍位置であると推定されるが、両者が一致していなくても構わない。そして、この位置Zmを基準として、(+)方向および(−)方向にそれぞれ距離ΔZだけ離れた位置に対応する2つの原画像が、差分画像の基になる原画像として用いられる。   FIG. 6 is a diagram for explaining the difference image creation processing in the second embodiment in more detail. In this embodiment, as shown in FIG. 6, in the profile of the contrast value of the image with respect to the setting value of the focal position, a setting value Zm that gives a minimum value is obtained. Although this value Zm is estimated to be a position near the focal position Zc shown in FIG. 2B, the two may not coincide with each other. Then, using this position Zm as a reference, two original images corresponding to positions separated by a distance ΔZ in the (+) direction and the (−) direction are used as the original images that are the basis of the difference image.

本願発明者らの知見によれば、焦点位置に対するコントラスト値のプロファイルにおいて、極小値を与える焦点位置と極大値を与える焦点位置との距離は細胞Cの種類に依存しており、ウェルW内の細胞Cの種類が既知であればこの距離は概ね予測可能である。したがって、細胞Cの種類に応じて予めこの距離ΔZを設定しておき、極小値に対応する焦点位置の設定値Zmを求めれば、差分画像の作成に供される2つの原画像を直ちに選出することが可能である。   According to the knowledge of the inventors of the present application, in the profile of the contrast value with respect to the focal position, the distance between the focal position that gives the minimum value and the focal position that gives the maximum value depends on the type of the cell C, and If the type of cell C is known, this distance is generally predictable. Therefore, if this distance ΔZ is set in advance according to the type of the cell C and the setting value Zm of the focal position corresponding to the minimum value is obtained, two original images used for creating the difference image are immediately selected. It is possible.

さらに、本願発明者らの知見では、プロファイルにおいて極小値を与える焦点位置と極大値を与える焦点位置との距離は、同じ細胞種であっても撮像光学系130の開口数(NA)によって異なる。したがって、撮像光学系130が例えば交換可能に構成されて開口数(NA)が変更されることがある場合には、開口数(NA)に応じて距離ΔZが設定されることが好ましい。   Further, according to the knowledge of the inventors of the present application, the distance between the focal position that gives the minimum value and the focal position that gives the maximum value in the profile varies depending on the numerical aperture (NA) of the imaging optical system 130 even for the same cell type. Therefore, when the imaging optical system 130 is configured to be exchangeable and the numerical aperture (NA) may be changed, the distance ΔZ is preferably set according to the numerical aperture (NA).

例えば細胞種および撮像光学系130のNAと距離ΔZとの関係を予め求めてテーブル化しておき、メモリ145に記憶保存しておくことができる。ステップS302の処理では、予め与えられた細胞種の情報および撮像光学系130の開口数(NA)からテーブルを参照して距離ΔZを求め、極小値に対応する設定値Zmからこの距離ΔZだけ離れた2つの原画像を選出すればよい。   For example, the relationship between the cell type and the NA of the imaging optical system 130 and the distance ΔZ can be obtained in advance and tabulated and stored in the memory 145. In the process of step S302, the distance ΔZ is obtained by referring to the table from the cell type information given in advance and the numerical aperture (NA) of the imaging optical system 130, and is separated from the set value Zm corresponding to the minimum value by this distance ΔZ. Two original images may be selected.

こうすることで、第1実施形態と同様に、プロファイルにおいて極小値を挟む2つの山部分から1つずつ原画像を選出することができる。これら2つの原画像の差分を取ることで、細胞の輪郭が明瞭となった差分画像が得られる。この場合にも、合焦位置を求める必要はなく、原画像から直接求められたコントラスト値に基づき、差分画像の基となる2つの原画像を簡単に選出することができる。   By doing so, the original image can be selected one by one from the two peak portions sandwiching the minimum value in the profile, as in the first embodiment. By taking the difference between these two original images, a difference image with a clear cell outline is obtained. Also in this case, it is not necessary to obtain the in-focus position, and two original images that are the basis of the difference image can be easily selected based on the contrast value obtained directly from the original image.

そして、これらのいずれの実施形態による方法であっても、一般的な明視野撮像で得られた原画像から差分画像を作成することが可能である。そのため、位相差観察光学系等の複雑な構成を必要とせず、比較的簡単な装置構成で、また簡単な処理により、細胞の輪郭が明瞭な画像を得ることができる。ただし、次に説明するように、図1に示す構成を有する撮像装置1では、明視野撮像で得られた原画像のコントラスト値は照明光Liの開口数(NA)と密接に関係している。したがって、上記画像処理によって細胞の輪郭を明瞭化するためには、まず照明光Liの開口数(NA)の適正化により原画像の明瞭化が必要である。以下、図7および図8を参照しつつ撮像装置1において画像を明瞭に撮像するための具体的な構成について説明する。   In any of these embodiments, a difference image can be created from an original image obtained by general bright field imaging. Therefore, a complicated configuration such as a phase difference observation optical system is not required, and an image with a clear cell outline can be obtained with a relatively simple apparatus configuration and simple processing. However, as will be described below, in the imaging apparatus 1 having the configuration shown in FIG. 1, the contrast value of the original image obtained by bright field imaging is closely related to the numerical aperture (NA) of the illumination light Li. . Therefore, in order to clarify the outline of a cell by the above image processing, it is first necessary to clarify the original image by optimizing the numerical aperture (NA) of the illumination light Li. Hereinafter, a specific configuration for clearly capturing an image in the image capturing apparatus 1 will be described with reference to FIGS. 7 and 8.

既述の通り撮像装置1では焦点位置の変化に応じてコントラスト値が変化するが、これは細胞Cと、当該細胞Cの周辺部とで屈折率が異なっていることに起因する。つまり、細胞Cに照明光Liが照射した場合、例えば図3中の「模式図」に示すように細胞Cの外縁部において照明光Liの一部がレンズ効果によって屈折する。ここで、照明光Liが平行光に近い、つまり照明光Liの開口数(NA)が小さい場合、次のような作用効果が得られる。すなわち、細胞Cがなければ取り込めた光が細胞Cのレンズ効果によって撮像光学系130を構成するレンズに入らず細胞輪郭が暗くなる、または細胞Cがなければ取り込めなかった光が細胞Cのレンズ効果によって撮像光学系130を構成するレンズに入り、細胞輪郭が明るく見える。このように照明の照射方向を整えることで細胞Cの輪郭を撮像することが明瞭に可能となる。   As described above, in the imaging apparatus 1, the contrast value changes in accordance with the change in the focal position. This is because the refractive index is different between the cell C and the peripheral portion of the cell C. That is, when the cell C is irradiated with the illumination light Li, for example, as shown in a “schematic diagram” in FIG. 3, a part of the illumination light Li is refracted by the lens effect at the outer edge portion of the cell C. Here, when the illumination light Li is close to parallel light, that is, when the numerical aperture (NA) of the illumination light Li is small, the following effects can be obtained. That is, if there is no cell C, the captured light does not enter the lens constituting the imaging optical system 130 due to the lens effect of the cell C, and the cell outline becomes dark, or the light that cannot be captured without the cell C is the lens effect of the cell C. As a result, the lens constituting the imaging optical system 130 enters and the cell outline appears bright. Thus, it becomes possible to clearly capture the outline of the cell C by adjusting the illumination direction.

そこで、本願発明者は、照明光Liの開口数(NA)を多段階に変更しながら、開口数(NA)毎に図4に示すステップS101〜S106を実行して焦点位置に対するコントラスト値のプロファイルを取得し、開口数(NA)が撮像画像に与える影響を検証した。   Therefore, the inventor of the present application executes steps S101 to S106 shown in FIG. 4 for each numerical aperture (NA) while changing the numerical aperture (NA) of the illumination light Li in multiple stages, and profile of the contrast value with respect to the focal position. And the effect of the numerical aperture (NA) on the captured image was verified.

より具体的には、互いに異なる2種類の細胞Cについて上記検証を行い、図7の(a)欄および図8の(a)欄に示すように開口数(NA)毎の上記プロファイルを求めた。ここでは、開口数(NA)を「0.02」、「0.05」、「0.10」、「0.20」、「0.29」、「0.37」、「0.43」の7段階に変更設定しながらプロファイル取得(ステップS101〜S106)を行った。   More specifically, the above-mentioned verification was performed on two different types of cells C, and the above-mentioned profiles for each numerical aperture (NA) were obtained as shown in the column (a) of FIG. 7 and the column (a) of FIG. . Here, the numerical aperture (NA) is set to “0.02”, “0.05”, “0.10”, “0.20”, “0.29”, “0.37”, “0.43”. The profile acquisition (steps S101 to S106) was performed while changing and setting the seven levels.

また、それらのプロファイルに基づいて、焦点位置Zf(図2A)が細胞Cの位置Zc(図2A)と略一致する、いわゆるジャストピント位置での開口数(NA)毎のコントラスト値を求めたものが図7の(b)欄および図8の(b)欄に示すグラフである。さらに、同プロファイルに基づいて、開口数(NA)毎の最大コントラスト値を求めたものが図7の(c)欄および図8の(c)欄に示すグラフである。   Further, based on these profiles, the contrast value for each numerical aperture (NA) at the so-called just focus position where the focal position Zf (FIG. 2A) substantially coincides with the position Zc (FIG. 2A) of the cell C is obtained. These are graphs shown in the (b) column of FIG. 7 and the (b) column of FIG. Further, the graphs shown in the column (c) of FIG. 7 and the column (c) of FIG. 8 show the maximum contrast value for each numerical aperture (NA) based on the same profile.

図7や図8に示すように、照明光Liの開口数(NA)が小さくなるにしたがってコントラスト値は大きくなるが、開口数(NA)を0.3以下に設定することでコントラス値の上昇比率は大きくなる。したがって、当該検証から、細胞Cの輪郭を撮像するには開口数(NA)が0.3以下となるように照明部12を構成する必要がある。また、開口数(NA)が0.2以下となるように照明部12を構成するのが好適であり、さらに言えば、開口数(NA)が0.1以下となるように照明部12を構成するのが望ましい。   As shown in FIGS. 7 and 8, the contrast value increases as the numerical aperture (NA) of the illumination light Li decreases, but the contrast value increases by setting the numerical aperture (NA) to 0.3 or less. The ratio increases. Therefore, from the verification, in order to image the outline of the cell C, the illumination unit 12 needs to be configured so that the numerical aperture (NA) is 0.3 or less. Further, it is preferable to configure the illumination unit 12 so that the numerical aperture (NA) is 0.2 or less, and more specifically, the illumination unit 12 is configured so that the numerical aperture (NA) is 0.1 or less. It is desirable to configure.

以上説明したように、上記実施形態においては、ウェルプレートWPが本発明の「担持体」の一例に相当している。また、メカ駆動部146が本発明の「位置変更部」として機能する一方、CPU141が本発明の「制御部」としての機能を有している。   As described above, in the above-described embodiment, the well plate WP corresponds to an example of the “carrier” of the present invention. The mechanical drive unit 146 functions as the “position changing unit” of the present invention, while the CPU 141 functions as the “control unit” of the present invention.

また、上記実施形態では、焦点位置Zfが本発明の「前側焦点位置」に相当し、焦点位置Za、Zbがそれぞれ本発明の「第1位置」および「第2位置」の一例に相当している。   In the above embodiment, the focal position Zf corresponds to the “front focal position” of the present invention, and the focal positions Za and Zb correspond to examples of the “first position” and the “second position” of the present invention, respectively. Yes.

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記各実施形態では、撮像光学系に開口絞りおよび結像レンズを設けているが、これらの少なくとも一方を用いない撮像光学系であっても、本発明を適用することで、上記実施形態と同様の作用効果を得ることが可能である。また上記実施形態では撮像光学系130の全体を上下動させて焦点位置を変化させているが、例えば撮像光学系を構成する複数のレンズ間の距離を変更して焦点位置を変化させる態様であってもよい。   The present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention. For example, in each of the above-described embodiments, the aperture stop and the imaging lens are provided in the imaging optical system. However, even if the imaging optical system does not use at least one of these, by applying the present invention, the above-described embodiment It is possible to obtain the same effect as the above. In the above embodiment, the focus position is changed by moving the entire imaging optical system 130 up and down. For example, this is an aspect in which the focus position is changed by changing the distance between a plurality of lenses constituting the imaging optical system. May be.

また、上記第1実施形態ではプロファイルにおける2つの極大値に対応する2つの原画像を選出している。つまり、本発明の「第1位置」はプロファイルの照明側極大領域に対応する位置であるとともに、本発明の「第2位置」はプロファイルの撮像光学系側極大領域に対応する位置となっている。このように極大値を示す位置で撮像したときの原画像を用いている。一方、第2実施形態では極小値に対応する焦点位置Zmから所定距離ΔZだけ離れた位置に対応する2つの原画像を選出しており、極大値か否かを問わずに原画像を撮像している。   In the first embodiment, two original images corresponding to two maximum values in the profile are selected. That is, the “first position” of the present invention is a position corresponding to the illumination-side maximum region of the profile, and the “second position” of the present invention is a position corresponding to the imaging optical system-side maximum region of the profile. . Thus, the original image obtained at the position where the maximum value is shown is used. On the other hand, in the second embodiment, two original images corresponding to a position separated by a predetermined distance ΔZ from the focal position Zm corresponding to the minimum value are selected, and the original image is picked up regardless of whether it is a maximum value or not. ing.

また、上記実施形態では、プロファイルにおいて極小値を挟む2つの山部分から1つずつ選出された原画像が選出しているが、一方の山部分から選出される原画像のみを用いてもよい。つまり、本発明の「第1位置」および「第2位置」の少なくとも一方の位置に撮像光学系の前側焦点を位置させて撮像した画像を用いてもよい。   In the above embodiment, the original images selected one by one from the two peak portions sandwiching the minimum value in the profile are selected. However, only the original image selected from one peak portion may be used. That is, an image captured by positioning the front focal point of the imaging optical system at at least one of the “first position” and the “second position” of the present invention may be used.

また、上記した撮像装置1は、多数のウェルWが設けられたウェルプレートWPを本発明の「担持体」として用いるものであるが、「担持体」の形状はこれに限定されず任意である。例えば、より大径で浅皿型の「ディッシュ」と呼ばれる容器内で培養された細胞や、スライドガラス上に担持された細胞を撮像する目的にも、本発明を適用することができる。   The above-described imaging apparatus 1 uses the well plate WP provided with a number of wells W as the “supporting body” of the present invention, but the shape of the “supporting body” is not limited to this and is arbitrary. . For example, the present invention can also be applied to the purpose of imaging cells cultured in a container called “dish” having a larger diameter and a shallow dish type, or cells carried on a slide glass.

また、上記実施形態の撮像装置1は、細胞を撮像するための構成と画像処理のための構成とが一体化されたものであるが、これらが別体のユニットとして構成され相互に接続されたものであってもよい。   In the imaging device 1 of the above embodiment, the configuration for imaging a cell and the configuration for image processing are integrated, but these are configured as separate units and connected to each other. It may be a thing.

この発明は、例えば医療・生物科学分野で用いられるウェルプレート上のウェルのような担持体に担持された細胞の撮像を必要とする分野に特に好適に適用することができるが、その応用分野は医療・生物科学分野に限定されない。   The present invention can be particularly suitably applied to a field that requires imaging of a cell carried on a carrier such as a well on a well plate used in the medical / biological science field. It is not limited to the medical / biological science field.

1 撮像装置
12 照明部
13 撮像部
14 制御部
141 CPU(制御部)
130 撮像光学系
146 メカ駆動部(位置変更部)
C 細胞
W ウェル
WP ウェルプレート(担持体)
DESCRIPTION OF SYMBOLS 1 Imaging device 12 Illumination part 13 Imaging part 14 Control part 141 CPU (control part)
130 Imaging Optical System 146 Mechanical Drive Unit (Position Changing Unit)
C cell W well WP well plate (support)

Claims (6)

担持体に担持される細胞の画像を撮像する撮像装置であって、
前記担持体に照明光を照射する照明部と、
光軸を前記担持体に向けて配置される撮像光学系を有し、前記照明光の照射を受ける前記担持体を透過する透過光を前記撮像光学系で受光して前記細胞を撮像する撮像部とを備え、
前記照明光の開口数が0.3以下であることを特徴とする撮像装置。
An imaging device that captures an image of a cell carried on a carrier,
An illumination unit for illuminating the carrier with illumination light;
An imaging unit having an imaging optical system arranged with an optical axis directed toward the carrier, and receiving the transmitted light transmitted through the carrier that is irradiated with the illumination light by the imaging optical system and imaging the cells And
An imaging apparatus having a numerical aperture of the illumination light of 0.3 or less.
請求項1に記載の撮像装置であって、
前記撮像光学系の前側焦点位置を前記撮像光学系の光軸に沿った方向に変更する位置変更部と、
前記撮像光学系の前側焦点位置を設定する制御部と、をさらに備え、
前記制御部は、前記撮像光学系の前側焦点を前記担持体に担持される前記細胞から前記照明部側に離れた第1位置または前記撮像光学系側に離れた第2位置に位置させて前記撮像部に撮像を行わせる撮像装置。
The imaging apparatus according to claim 1,
A position changing unit that changes the front focal position of the imaging optical system in a direction along the optical axis of the imaging optical system;
A control unit that sets a front focal position of the imaging optical system,
The control unit positions the front focal point of the imaging optical system at a first position away from the cell carried by the carrier toward the illumination unit or a second position away from the imaging optical system. An imaging device that causes an imaging unit to perform imaging.
請求項2に記載の撮像装置であって、
前記制御部は、
前記位置変更部による前記前側焦点位置の設定値を多段階に変更設定して各設定値で前記撮像部に撮像を行わせて複数の原画像を取得し、
前記原画像毎にコントラスト値を算出することで前記設定値に対する前記コントラスト値のプロファイルを取得し、
前記プロファイルにおける極小値を挟んで、前記照明部側の設定値を前記第1位置とするとともに前記撮像光学系側の設定値を前記第2位置とする撮像装置。
The imaging apparatus according to claim 2,
The controller is
The setting value of the front focal position by the position changing unit is changed and set in multiple stages, and the imaging unit is imaged with each setting value to obtain a plurality of original images,
Obtaining a contrast value profile for the set value by calculating a contrast value for each original image;
An imaging apparatus having a setting value on the illumination unit side as the first position and a setting value on the imaging optical system side as the second position with a minimum value in the profile interposed therebetween.
請求項3に記載の撮像装置であって、
前記制御部は、前記プロファイルにおける前記照明部側の極大領域に対応する設定値を前記第1位置とする撮像装置。
The imaging apparatus according to claim 3,
The said control part is an imaging device which makes the setting value corresponding to the maximum area | region on the said illumination part side in the said profile a said 1st position.
請求項3または4に記載の撮像装置であって、
前記制御部は、前記プロファイルにおける前記撮像光学系側の極大領域に対応する設定値を前記第2位置とする撮像装置。
The imaging apparatus according to claim 3 or 4,
The said control part is an imaging device which makes the setting value corresponding to the maximum area | region by the side of the said imaging optical system in the said profile the said 2nd position.
細胞を担持する担持体に照明光を照射する工程と、
前記照明光の照射を受ける前記担持体を透過する透過光を受光して前記細胞を撮像する工程とを備え、
前記照明光の開口数を0.3以下に設定することを特徴とする撮像方法。
Irradiating a carrier carrying cells with illumination light;
Receiving light transmitted through the carrier that is irradiated with the illumination light and imaging the cells;
An imaging method, wherein the numerical aperture of the illumination light is set to 0.3 or less.
JP2015119579A 2015-06-12 2015-06-12 Imaging apparatus and imaging method Active JP6276220B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015119579A JP6276220B2 (en) 2015-06-12 2015-06-12 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015119579A JP6276220B2 (en) 2015-06-12 2015-06-12 Imaging apparatus and imaging method

Publications (2)

Publication Number Publication Date
JP2017005593A true JP2017005593A (en) 2017-01-05
JP6276220B2 JP6276220B2 (en) 2018-02-07

Family

ID=57752378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015119579A Active JP6276220B2 (en) 2015-06-12 2015-06-12 Imaging apparatus and imaging method

Country Status (1)

Country Link
JP (1) JP6276220B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018161081A (en) * 2017-03-24 2018-10-18 株式会社Screenホールディングス Cell observation apparatus and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005221725A (en) * 2004-02-05 2005-08-18 Olympus Corp Focus detecting method, automatic focus detecting device for automatic cell culture system, automatic cell culture system, cultivation vessel
WO2007037439A1 (en) * 2005-09-29 2007-04-05 Olympus Corporation Focal point position deciding method, focal point position deciding device, weak light detecting device, and weak light detecting method
JP2008020498A (en) * 2006-07-10 2008-01-31 Olympus Corp Automatic focus detection device
JP2008257015A (en) * 2007-04-06 2008-10-23 Nikon Corp Illuminating device
JP2016071588A (en) * 2014-09-30 2016-05-09 株式会社Screenホールディングス Image processing method and image processor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005221725A (en) * 2004-02-05 2005-08-18 Olympus Corp Focus detecting method, automatic focus detecting device for automatic cell culture system, automatic cell culture system, cultivation vessel
WO2007037439A1 (en) * 2005-09-29 2007-04-05 Olympus Corporation Focal point position deciding method, focal point position deciding device, weak light detecting device, and weak light detecting method
JP2008020498A (en) * 2006-07-10 2008-01-31 Olympus Corp Automatic focus detection device
JP2008257015A (en) * 2007-04-06 2008-10-23 Nikon Corp Illuminating device
JP2016071588A (en) * 2014-09-30 2016-05-09 株式会社Screenホールディングス Image processing method and image processor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018161081A (en) * 2017-03-24 2018-10-18 株式会社Screenホールディングス Cell observation apparatus and method

Also Published As

Publication number Publication date
JP6276220B2 (en) 2018-02-07

Similar Documents

Publication Publication Date Title
JP6333145B2 (en) Image processing method and image processing apparatus
JP6389721B2 (en) Imaging apparatus and imaging method
US9189677B2 (en) Recording medium having observation program recorded therein and observation apparatus
JP6692660B2 (en) Imaging device
US9810895B2 (en) Biological observation apparatus
JP5577885B2 (en) Microscope and focusing method
US11482021B2 (en) Adaptive sensing based on depth
CN107084923B (en) Cell observation device and cell observation method
JP2012042669A (en) Microscope control device and optical distortion correction method
JP2015118036A (en) Imaging device and imaging method
JP6685148B2 (en) Imaging device and imaging method
US20180081162A1 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP2024019639A (en) Microscope system, program, and projection image generation method
JP6345001B2 (en) Image processing method and image processing apparatus
JP6419761B2 (en) Imaging arrangement determination method, imaging method, and imaging apparatus
US8965098B2 (en) Cell-image analyzing apparatus
JP6276220B2 (en) Imaging apparatus and imaging method
US10475198B2 (en) Microscope system and specimen observation method
US20180188520A1 (en) Microscope parameter setting method and observation method
JP2018163248A (en) Image acquisition method and image acquisition device
JP2016206228A (en) Focused position detection device, focused position detection method, imaging device and imaging system
JP2019079049A (en) Microscope system, observation method, and observation program
US10404965B2 (en) Microscope system
CN106772993A (en) A kind of microscope equipment and method based on smart mobile phone and conical fiber array coupling imaging
CN114063275A (en) Corneal endothelial cell imaging system, method, apparatus and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170620

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180111

R150 Certificate of patent or registration of utility model

Ref document number: 6276220

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250