JP2008116526A - Device and method for processing microscope image - Google Patents
Device and method for processing microscope image Download PDFInfo
- Publication number
- JP2008116526A JP2008116526A JP2006297404A JP2006297404A JP2008116526A JP 2008116526 A JP2008116526 A JP 2008116526A JP 2006297404 A JP2006297404 A JP 2006297404A JP 2006297404 A JP2006297404 A JP 2006297404A JP 2008116526 A JP2008116526 A JP 2008116526A
- Authority
- JP
- Japan
- Prior art keywords
- focus
- processing target
- focal position
- luminance
- focus coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001000 micrograph Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000003384 imaging method Methods 0.000 claims abstract description 34
- 235000019557 luminance Nutrition 0.000 claims description 125
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000003672 processing method Methods 0.000 claims description 9
- 239000001963 growth medium Substances 0.000 claims description 3
- 238000013500 data storage Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 1
Abstract
Description
本発明は、例えば培養液中の細胞のような半透明で厚みのある被検物を対象とする顕微鏡画像の処理装置及び処理方法に関するものである。 The present invention relates to a microscopic image processing apparatus and processing method for a semitransparent and thick test object such as cells in a culture solution.
従来、培養液中の細胞のように半透明で厚みのある被検物を顕微鏡で観察し、これを画像処理しようとする場合、ＣＣＤカメラ等の撮像手段の焦点位置を被検物の厚さ方向に変化させながら、画像全体として最もピントが合うところ、或いは最もコントラストが高くなるところで撮像を行う撮像法が採られる。また、撮像手段の焦点位置を被検物の厚さ方向に変化させながら連続的に撮像し、最もピントがあう領域だけを取り出して繋ぎ合わせて１枚の画像を作成するマルチフォーカス型の撮像法も知られている（特許文献１，２，３参照）
しかしながら、培養液中の細胞のように半透明で厚みのある被検物に対しては、被検物自体が半透明であるために上記従来の撮像法では明瞭なコントラストが得にくく、全体的にぼやけてしまってどこに被検物があるかが分からない画像が得られる場合が多かった。 However, for semi-transparent and thick specimens such as cells in the culture solution, since the specimen itself is translucent, it is difficult to obtain a clear contrast with the above conventional imaging method. In many cases, the image is blurred and the image is unknown where the test object is located.
そこで本発明は、半透明で厚みのある被検物に対し、コントラストが高くて明瞭な画像を得ることができる顕微鏡画像の処理装置及び方法を提供することを目的とする。 Accordingly, an object of the present invention is to provide a microscopic image processing apparatus and method capable of obtaining a clear and clear image with respect to a translucent and thick test object.
請求項１に記載の顕微鏡画像の処理装置は、半透明で厚みのある被検物を対象とする顕微鏡画像の処理装置であって、撮像手段の焦点位置を被検物の厚さ方向に変化させながら被検物の撮像を行って複数の画像データを取得する画像データ取得手段と、画像データ取得手段により取得された複数の画像データから、各焦点位置における各画素の輝度情報を読み取って輝度情報記憶手段に記憶させる輝度情報読み取り手段と、焦点位置の移動領域に第１及び第２の処理対象領域を設定する処理対象領域設定手段と、輝度情報記憶手段に記憶された各焦点位置における各画素の輝度情報から、各画素の第１及び第２の処理対象領域それぞれについての平均輝度を算出し、その平均輝度の差分に基づいて各画素の輝度階調を設定する輝度階調設定手段とを備えたことを特徴とする顕微鏡画像の処理装置。 The microscope image processing apparatus according to claim 1 is a microscope image processing apparatus for a semi-transparent and thick test object, and changes a focal position of an imaging unit in a thickness direction of the test object. Image data acquisition means for capturing a plurality of image data by imaging the test object while reading the luminance information of each pixel at each focal position from the plurality of image data acquired by the image data acquisition means Luminance information reading means stored in the information storage means, processing target area setting means for setting the first and second processing target areas in the moving area of the focal position, and each focal position stored in the luminance information storage means A luminance gradation setting unit that calculates an average luminance for each of the first and second processing target areas of each pixel from the luminance information of the pixel and sets a luminance gradation of each pixel based on a difference between the average luminances. Processing device of the microscopic images, characterized by comprising and.
請求項２に記載の顕微鏡画像の処理装置は、請求項１に記載の顕微鏡画像の処理装置において、画像データ取得手段により取得された複数の画像データより各焦点位置におけるフォーカス係数を算出してフォーカス係数記憶手段に記憶させるフォーカス係数算出手段を備え、処理対象領域設定手段は、フォーカス係数記憶手段に記憶されたフォーカス係数に基づいて得られる焦点位置の移動方向に対するフォーカス係数の変化からフォーカス係数のピークを検出し、その検出したピークに基づいて焦点位置の移動領域に第１及び第２の処理対象領域を設定する。 The microscope image processing device according to claim 2 is the microscope image processing device according to claim 1, wherein the focus coefficient is calculated by calculating a focus coefficient at each focal position from a plurality of image data acquired by the image data acquisition means. A focus coefficient calculating means to be stored in the coefficient storage means, and the processing target area setting means is a peak of the focus coefficient based on the change of the focus coefficient with respect to the moving direction of the focus position obtained based on the focus coefficient stored in the focus coefficient storage means. And the first and second processing target areas are set in the focal position moving area based on the detected peak.
請求項３に記載の顕微鏡画像の処理装置は、請求項２に記載の顕微鏡画像の処理装置において、前記被検物が培養液中の細胞であり、処理対象領域設定手段は、焦点位置の移動方向に対するフォーカス係数の変化からフォーカス係数のピークを２つ検出したときには
、その検出した２つのピークの一方を１つずつ含む２つの焦点位置の移動領域を第１及び第２の処理対象領域として設定する。
The microscope image processing apparatus according to claim 3 is the microscope image processing apparatus according to claim 2, wherein the test object is a cell in a culture solution, and the processing target region setting means moves the focal position. When two focus coefficient peaks are detected from the change of the focus coefficient with respect to the direction, two focus position moving areas including one of the two detected peaks one by one are set as the first and second processing target areas. To do.
請求項４に記載の顕微鏡画像の処理方法は、半透明で厚みのある被検物を対象とする顕微鏡画像の処理方法であって、撮像手段の焦点位置を被検物の厚さ方向に変化させながら被検物の撮像を行って複数の画像データを取得する画像データ取得工程と、画像データ取得工程において取得した複数の画像データから、各焦点位置における各画素の輝度情報を読み取って輝度情報記憶手段に記憶させる輝度情報読み取り工程と、焦点位置の移動領域に第１及び第２の処理対象領域を設定する処理対象領域設定工程と、輝度情報記憶手段に記憶された各焦点位置における各画素の輝度情報から、各画素の第１及び第２の処理対象領域それぞれについての平均輝度を算出し、その平均輝度の差分に基づいて各画素の輝度階調を設定する輝度階調設定工程とを含む。 The microscopic image processing method according to claim 4 is a microscopic image processing method for a semi-transparent and thick test object, and the focal position of the imaging means is changed in the thickness direction of the test object. Image data acquisition step of capturing a plurality of image data by imaging the test object while reading the luminance information of each pixel at each focal position from the plurality of image data acquired in the image data acquisition step A luminance information reading step to be stored in the storage unit, a processing target region setting step for setting the first and second processing target regions in the moving region of the focal position, and each pixel at each focal position stored in the luminance information storage unit A luminance gradation setting process for calculating the average luminance for each of the first and second processing target areas of each pixel from the luminance information of the pixel and setting the luminance gradation of each pixel based on the difference of the average luminance Including door.
請求項５に記載の顕微鏡画像の処理方法は、請求項４に記載の顕微鏡画像の処理方法において、画像データ取得工程において取得した複数の画像データより各焦点位置におけるフォーカス係数を算出してフォーカス係数記憶手段に記憶させるフォーカス係数算出工程を含み、処理対象領域設定工程において、フォーカス係数記憶手段に記憶されたフォーカス係数に基づいて得られる焦点位置の移動方向に対するフォーカス係数の変化からフォーカス係数のピークを検出し、その検出したピークに基づいて焦点位置の移動領域に第１及び第２の処理対象領域を設定する。 The microscope image processing method according to claim 5 is the microscope image processing method according to claim 4, wherein a focus coefficient at each focal position is calculated from a plurality of image data acquired in the image data acquisition step. A focus coefficient calculation step to be stored in the storage means, and in the processing target area setting step, the peak of the focus coefficient is determined from the change in the focus coefficient with respect to the moving direction of the focus position obtained based on the focus coefficient stored in the focus coefficient storage means. Based on the detected peak, first and second processing target areas are set in the moving area of the focal position.
請求項６に記載の顕微鏡画像の処理方法は、請求項５に記載の顕微鏡画像の処理方法において、前記被検物が培養液中の細胞であり、処理対象領域設定工程において、焦点位置の移動方向に対するフォーカス係数の変化からフォーカス係数のピークを２つ検出したときには、その検出した２つのピークの一方を１つずつ含む２つの焦点位置の移動領域を第１及び第２の処理対象領域として設定する。 The microscopic image processing method according to claim 6 is the microscopic image processing method according to claim 5, wherein the test object is a cell in a culture solution, and the focal position is moved in the processing target region setting step. When two focus coefficient peaks are detected from the change of the focus coefficient with respect to the direction, two focus position moving areas including one of the two detected peaks one by one are set as the first and second processing target areas. To do.
本発明では、被検物の画像の各画素に、焦点位置の移動領域に設定した第１及び第２の処理対象領域それぞれについて算出した平均輝度から求められる輝度階調が設定されるので、半透明で厚みのある被検物に対し、コントラストが高くで明瞭な画像を得ることができる。 In the present invention, the luminance gradation obtained from the average luminance calculated for each of the first and second processing target areas set in the focal position moving area is set in each pixel of the image of the test object. A clear and high contrast image can be obtained for a transparent and thick test object.
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明の一実施の形態における顕微鏡画像の処理装置の構成図、図２は本発明の一実施の形態における顕微鏡画像の処理装置の制御系統図、図３は本発明の一実施の形態における画素データ及び輝度データ等の説明図、図４は本発明の一実施の形態におけるフォーカス係数の説明図、図５は本発明の一実施の形態における処理対象領域の説明図、図６は本発明の一実施の形態における輝度階調の説明図、図７、図８、図９及び図１０は本発明の一実施の形態における顕微鏡画像の処理工程を示すフローチャート、図１１は本発明の一実施の形態における顕微鏡画像の処理装置により得られた画像を従来の処理装置によって得られた画像とともに示す図である。 Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram of a microscope image processing apparatus according to an embodiment of the present invention, FIG. 2 is a control system diagram of the microscope image processing apparatus according to an embodiment of the present invention, and FIG. 3 is an embodiment of the present invention. FIG. 4 is an explanatory diagram of a focus coefficient in an embodiment of the present invention, FIG. 5 is an explanatory diagram of a processing target area in the embodiment of the present invention, and FIG. FIG. 7, FIG. 8, FIG. 9 and FIG. 10 are flow charts showing the processing steps of a microscope image in one embodiment of the present invention, and FIG. 11 is a diagram of the present invention. It is a figure which shows the image obtained by the processing apparatus of the microscope image in one Embodiment with the image obtained by the conventional processing apparatus.
図１は、半透明で厚みのある被検物１を対象とする顕微鏡画像の処理装置４である。ここでは被検物１が培養液２中の細胞３であるものとする。この顕微鏡画像の処理装置４は顕微鏡部１０と画像処理部２０から成り、顕微鏡部１０は被検物１を載置するステージ１１と、ステージ１１の下方に設置された照明１２と、ステージ１１の上方に設置されたカメラ１３（撮像手段）を有している。カメラ１３はＭ×Ｎの画素を備えたＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）を内蔵しており、図示しない移動機構を介し
て上下方向に移動して、ステージ１１の上面からの高さによって表される焦点位置Ｚを上下方向（被検物１の厚さ方向）に変化させる。
FIG. 1 shows a microscope image processing apparatus 4 for a semi-transparent and thick test object 1. Here, it is assumed that the test object 1 is a cell 3 in the culture solution 2. The microscope image processing apparatus 4 includes a microscope unit 10 and an image processing unit 20, and the microscope unit 10 includes a stage 11 on which the test object 1 is placed, an illumination 12 installed below the stage 11, and a stage 11. It has a camera 13 (imaging means) installed above. The camera 13 has a built-in CCD (Charge Coupled Devices) having M × N pixels, moves up and down via a moving mechanism (not shown), and is a focal point represented by the height from the upper surface of the stage 11. The position Z is changed in the vertical direction (the thickness direction of the test object 1).
図１において、画像処理部２０は制御部２１と、制御部２１と繋がるステージ制御部２２、照明制御部２３、カメラ制御部２４、操作・入力部２５及びモニター２６から成る。ステージ制御部２２は制御部２１からの指令に基づいて顕微鏡部１０のステージ１１の位置決め制御を行い、照明制御部２３は制御部２１からの指令に基づいてステージ１１に載置された被検物１の照明を行う。カメラ制御部２４は制御部２１からの指令に基づいてカメラ１３を上下させ、カメラ１３の焦点位置Ｚを制御部２１から与えられた指示値に一致させるとともに、制御部２１から与えられた撮像指示に基づいてカメラ１３に撮像を行わせる。操作・入力部２５は制御部２１に操作・入力信号を入力する入力装置であり、モニター２６は制御部２１において生成されたデータを視覚的に表示する出力装置である。 In FIG. 1, the image processing unit 20 includes a control unit 21, a stage control unit 22 connected to the control unit 21, an illumination control unit 23, a camera control unit 24, an operation / input unit 25, and a monitor 26. The stage control unit 22 performs positioning control of the stage 11 of the microscope unit 10 based on a command from the control unit 21, and the illumination control unit 23 is a test object placed on the stage 11 based on a command from the control unit 21. Illumination 1 is performed. The camera control unit 24 moves the camera 13 up and down based on a command from the control unit 21, matches the focal position Z of the camera 13 with the instruction value given from the control unit 21, and takes an imaging instruction given from the control unit 21. The camera 13 is caused to take an image based on the above. The operation / input unit 25 is an input device that inputs an operation / input signal to the control unit 21, and the monitor 26 is an output device that visually displays data generated in the control unit 21.
図２において、制御部２１には入力処理部３１、指令部３２、焦点位置指示部３３、撮像指示部３４、画像データ記憶部３５、輝度データ読み取り部（輝度情報読み取り手段）３６、輝度データ記憶部（輝度情報記憶手段）３７、フォーカス係数算出部（フォーカス係数算出手段）３８、フォーカス係数記憶部（フォーカス係数記憶手段）３９、処理対象領域設定部（処理対象領域設定手段）４０、処理対象領域記憶部４１、輝度階調設定部（輝度階調設定手段）４２、輝度階調データ記憶部４３及び表示処理部４４が備えられている。 2, the control unit 21 includes an input processing unit 31, a command unit 32, a focus position instruction unit 33, an imaging instruction unit 34, an image data storage unit 35, a luminance data reading unit (luminance information reading unit) 36, and a luminance data storage. Unit (luminance information storage unit) 37, focus coefficient calculation unit (focus coefficient calculation unit) 38, focus coefficient storage unit (focus coefficient storage unit) 39, processing target region setting unit (processing target region setting unit) 40, processing target region A storage unit 41, a luminance gradation setting unit (luminance gradation setting means) 42, a luminance gradation data storage unit 43, and a display processing unit 44 are provided.
図２において、入力処理部３１は操作・入力部２５の操作によって入力された信号を指令部３２に入力する。指令部３２は入力処理部３１から入力された信号等に基づいて焦点位置指示部３３、撮像指示部３４、輝度データ読み取り部３６、フォーカス係数算出部３８、処理対象領域設定部４０、輝度階調設定部４２及び表示処理部４４に指令信号を出力する。 In FIG. 2, the input processing unit 31 inputs a signal input by operating the operation / input unit 25 to the command unit 32. The command unit 32 is based on the signal input from the input processing unit 31 and the like, the focus position instruction unit 33, the imaging instruction unit 34, the luminance data reading unit 36, the focus coefficient calculation unit 38, the processing target region setting unit 40, the luminance gradation Command signals are output to the setting unit 42 and the display processing unit 44.
焦点位置指示部３３は、指令部３２からの指令に基づいてカメラ制御部２４にカメラ１３の移動指令と焦点位置Ｚの指示値を与える。カメラ制御部２４は焦点位置指示部３３から与えられた指令に基づいてカメラ１３を上下させ、焦点位置Ｚを指示値に一致させる。本実施の形態では、カメラ１３の焦点位置Ｚとして、下から上に向かって等間隔にＪ（Ｊは２以上の整数。例えば１００）個の飛び飛びの値（Ｚ＝Ｚ１，Ｚ２，・・・，ＺＪ）の指示値が与えられる。 The focal position instruction unit 33 gives a movement command for the camera 13 and an instruction value for the focal position Z to the camera control unit 24 based on a command from the command unit 32. The camera control unit 24 moves the camera 13 up and down based on a command given from the focus position instruction unit 33 to make the focus position Z coincide with the instruction value. In the present embodiment, as the focal position Z of the camera 13, J (J is an integer of 2 or more, for example, 100) jump values (Z = Z 1 , Z 2 ,.・ ・ Indicating value of Z J ) is given.
撮像指示部３４は、指令部３２からの指令に基づいてカメラ制御部２４に撮像指示を与える。カメラ１３の撮像によって得られた画像データは画像データ記憶部３５に記憶される。１つの画像データはカメラ１３のＣＣＤが備えるＭ×Ｎ個の画素の画素データＰ（ｋ）ｊ（ｋ＝１，２，・・・，Ｍ×Ｎ）の集合体であり、各焦点位置Ｚｊ（ｊ＝１，２，・・・，Ｊ）について１つの画像データ（Ｍ×Ｎ個の画素データ）が存在する。焦点位置Ｚ＝Ｚ１，Ｚ２，・・・，ＺＪについて計Ｊ回の撮像を行うと、画像データ記憶部３５にはＭ×Ｎ×Ｊの三次元の画素データＰ（ｋ）ｊ（ｋ＝１，２，・・・，Ｍ×Ｎ、ｊ＝１，２，・・・，Ｊ）が記憶される。 The imaging instruction unit 34 gives an imaging instruction to the camera control unit 24 based on a command from the command unit 32. Image data obtained by imaging by the camera 13 is stored in the image data storage unit 35. One image data is an aggregate of pixel data P (k) j (k = 1, 2,..., M × N) of M × N pixels provided in the CCD of the camera 13, and each focal position Zj. There is one image data (M × N pixel data) for (j = 1, 2,..., J). When a total of J times of imaging are performed with respect to the focal positions Z = Z 1 , Z 2 ,..., Z J , the M × N × J three-dimensional pixel data P (k) j ( k = 1, 2,..., M × N, j = 1, 2,.
この画像データ記憶部３５に記憶される三次元の画素データＰ（ｋ）ｊ（ｋ＝１，２，・・・，Ｍ×Ｎ、ｊ＝１，２，・・・，Ｊ）は、Ｍ×Ｎの二次元の画素データＰ（ｋ）ｊ（ｋ＝１，２，・・・，Ｍ×Ｎ）が下から上へＪ個の階層に積み重ねられたイメージで捉えることができる（図３）。ここで、パラメータｊは階層又は焦点位置Ｚを特定する番号であり、下から上へ順に１，２，・・・，Ｊとカウントされる。また、パラメータｋは画素を特定する番号であり、図３に示す矩形領域の１つの隅から対角の隅に至るまで順に１，２，・・・，Ｍ×Ｎとカウントされる。 Three-dimensional pixel data P (k) j (k = 1, 2,..., M × N, j = 1, 2,..., J) stored in the image data storage unit 35 is represented by M XN two-dimensional pixel data P (k) j (k = 1, 2,..., M × N) can be captured by images stacked in J layers from bottom to top (FIG. 3). ). Here, the parameter j is a number that identifies the hierarchy or the focal position Z, and is counted as 1, 2,... The parameter k is a number for specifying a pixel, and is counted as 1, 2,..., M × N in order from one corner of the rectangular area shown in FIG.
輝度データ読み取り部３６は、指令部３２からの指令に基づいて、画像データ記憶部３５に記憶された三次元の画素データＰ（ｋ）ｊ（ｋ＝１，２，・・・，Ｍ×Ｎ、ｊ＝１，２，・・・，Ｊ）から各画素についての輝度データ（輝度情報）を読み取り、その結果を輝度データ記憶部３７に記憶させる。これにより輝度データ記憶部３７には、三次元の画素データＰ（ｋ）ｊに対応する三次元の輝度データｂ（ｋ）ｊ（ｋ＝１，２，・・・，Ｍ×Ｎ、ｊ＝１，２，・・・，Ｊ）が記憶される（図３）。輝度データ記憶部３７に記憶される三次元の輝度データｂ（ｋ）ｊ（ｋ＝１，２，・・・，Ｍ×Ｎ、ｊ＝１，２，・・・，Ｊ）は、画素データＰ（ｋ）ｊの場合と同様に、Ｍ×Ｎの二次元の輝度データｂ（ｋ）ｊ（ｋ＝１，２，・・・，Ｍ×Ｎ）が下から上へＪ個の階層に積み重ねられたイメージで捉えることができる（図３）。 Based on the command from the command unit 32, the luminance data reading unit 36 stores the three-dimensional pixel data P (k) j (k = 1, 2,..., M × N) stored in the image data storage unit 35. , J = 1, 2,..., J), the luminance data (luminance information) for each pixel is read, and the result is stored in the luminance data storage unit 37. As a result, the luminance data storage unit 37 stores three-dimensional luminance data b (k) j (k = 1, 2,..., M × N, j = corresponding to the three-dimensional pixel data P (k) j. 1, 2,..., J) are stored (FIG. 3). Three-dimensional luminance data b (k) j (k = 1, 2,..., M × N, j = 1, 2,..., J) stored in the luminance data storage unit 37 is pixel data. As in the case of P (k) j, M × N two-dimensional luminance data b (k) j (k = 1, 2,..., M × N) is arranged in J layers from bottom to top. It can be captured with the stacked images (Figure 3).
フォーカス係数算出部３８は、指令部３２からの指令に基づいて、画像データ記憶部３５に記憶された各焦点位置Ｚｊ（ｊ＝１，２，・・・，Ｊ）の画像データについてのフォーカス係数ｆｊ（ｊ＝１，２，・・・，Ｊ）を算出する。フォーカス係数ｆｊはその焦点位置Ｚｊにおける画像データに対するカメラ１３の合焦度を示す値（無次元量）であり、その値が相対的に高いものほどピントが合った画像データであるといえる。フォーカス係数ｆｊは各焦点位置Ｚｊにおける画像データ全体を対象として算出するが、その算出の仕方は任意であり、例えば、通常用いられる微分処理法やウェーブレット変換法等を用いることができる。フォーカス係数算出部３８において算出されたフォーカス係数ｆｊ（ｊ＝１，２，・・・，Ｊ）はフォーカス係数記憶部３９に記憶される。 The focus coefficient calculation unit 38 is based on a command from the command unit 32, and the focus coefficient for the image data at each focal position Zj (j = 1, 2,..., J) stored in the image data storage unit 35. fj (j = 1, 2,..., J) is calculated. The focus coefficient fj is a value (dimensionalless amount) indicating the degree of focus of the camera 13 with respect to the image data at the focal position Zj. It can be said that the higher the value is, the more focused the image data is. The focus coefficient fj is calculated for the entire image data at each focal position Zj. However, the calculation method is arbitrary, and for example, a commonly used differential processing method, wavelet transform method, or the like can be used. The focus coefficient fj (j = 1, 2,..., J) calculated by the focus coefficient calculation unit 38 is stored in the focus coefficient storage unit 39.
処理対象領域設定部４０は、指令部３２からの指令に基づいて、フォーカス係数記憶部３９に記憶されたフォーカス係数ｆｊ（ｊ＝１，２，・・・，Ｊ）を焦点位置Ｚの移動方向に補間して、焦点位置Ｚの移動方向に対する連続したフォーカス係数ｆのグラフ（以下、フォーカス係数曲線と称する）を作成し（図４及び図５）、このフォーカス係数曲線から２つのピークを検出する。本実施の形態のように被検物１が培養液２中の細胞３である場合、細胞３の核３ａが占める面積が多い領域と、細胞の外殻３ｂが占める面積が多い領域のそれぞれにおいて、フォーカス係数ｆのピークが検出される。以下、これら２つのフォーカス係数ｆのピークのうち、焦点位置Ｚの値が小さい側のピークを第１ピークｐ１と称し、焦点位置Ｚの値が大きい側のピークを第２ピークｐ２と称する（図４、図５及び図６）。 Based on the command from the command unit 32, the processing target area setting unit 40 uses the focus coefficient fj (j = 1, 2,..., J) stored in the focus coefficient storage unit 39 as the moving direction of the focal position Z. Are interpolated to create a graph of the continuous focus coefficient f with respect to the moving direction of the focal position Z (hereinafter referred to as a focus coefficient curve) (FIGS. 4 and 5), and two peaks are detected from this focus coefficient curve. . When the test object 1 is a cell 3 in the culture medium 2 as in the present embodiment, each of the region in which the nucleus 3a of the cell 3 occupies a large area and the region in which the outer shell 3b of the cell occupies a large area. The peak of the focus coefficient f is detected. Hereinafter, these among the peaks of the two focus coefficients f, referred to as a first peak p 1 a peak value smaller side of the focus position Z, referred to the peak value is larger side of the focus position Z and the second peak p 2 (FIGS. 4, 5 and 6).
処理対象領域設定部４０は、第１ピークｐ１と第２ピークｐ２を検出したら、第１ピークｐ１に対応する焦点位置Ｚ（以下、第１ピーク対応焦点位置Ｚｂと称する）と、第２ピークｐ２に対応する焦点位置Ｚ（以下、第２ピーク対応焦点位置Ｚｄと称する）を求める（図５）。第１ピーク対応焦点位置Ｚｂと第２ピーク対応焦点位置Ｚｄを求めたら、今度は第１ピークｐ１と第２ピークｐ２の間の極小値に対応する焦点位置Ｚ（以下、極小値対応焦点位置Ｚｃと称する）を求める。そして、次に第１ピーク対応焦点位置Ｚｂと極小値対応焦点位置Ｚｃの間隔（＝ΔＺ１）と、極小値対応焦点位置Ｚｃと第２ピーク対応焦点位置Ｚｄの間隔（＝ΔＺ２）を求め、Ｚｂ−ΔＺ１に対応する焦点位置Ｚ（以下、始端側焦点位置Ｚａと称する）と、Ｚｄ＋ΔＺ２に対応する焦点距離Ｚ（以下、終端側焦点位置Ｚｅと称する）を求める。 Processing target area setting unit 40, when the first peak p 1 and the second peak p 2 detects a focus position Z corresponding to the first peak p 1 (hereinafter, referred to as a first peak corresponding focal position Zb), the 2 peak p 2 in the corresponding focus position Z (hereinafter, referred to as a second peak corresponding focal position Zd) Request (Figure 5). After determining the first peak corresponding focal position Zb and the second peak corresponding focal position Zd, now the focus position Z corresponding to the minimum value between the first peak p 1 and the second peak p 2 (hereinafter, the minimum value corresponding focal (Referred to as position Zc). Then, an interval between the first peak corresponding focal position Zb and the minimum value corresponding focal position Zc (= ΔZ 1 ) and an interval between the minimum value corresponding focal position Zc and the second peak corresponding focal position Zd (= ΔZ 2 ) are obtained. , Zb−ΔZ 1 , a focal position Z (hereinafter referred to as a starting-end-side focal position Za) and a focal distance Z (hereinafter referred to as a terminal-side focal position Ze) corresponding to Zd + ΔZ 2 are obtained.
このようにして始端側焦点位置Ｚａと終端側焦点位置Ｚｅを求めたら、始端側焦点位置Ｚａと極小値対応焦点位置Ｚｃの間の領域を第１の処理対象領域Ｒ１に設定し、極小値対応焦点位置Ｚｃと終端側焦点位置Ｚｅの間の領域を第２の処理対象領域Ｒ２に設定する。これにより、２つのピークｐ１，ｐ２の一方を１つずつ含む２つの処理対象領域Ｒ１，Ｒ２が設定される（図５）。処理対象領域設定部４０において設定された第１の処理対象領域Ｒ１と第２の処理対象領域Ｒ２は処理対象領域記憶部４１に記憶される。 When the start end side focus position Za and the end side focus position Ze are obtained in this way, the area between the start end side focus position Za and the minimum value corresponding focus position Zc is set as the first processing target area R1, and the minimum value is set. setting the area between the corresponding focus position Zc and the end-side focal position Ze to the second processing target region R 2. Thus, the two peaks p 1, two processing target area including one with one of p 2 R 1, R 2 is set (Fig. 5). The first processing target area R 1 and the second processing target area R 2 set in the processing target area setting unit 40 are stored in the processing target area storage unit 41.
輝度階調設定部４２は、指令部３２からの指令に基づいて、輝度データ記憶部３７に記憶された三次元の輝度データｂ（ｋ）ｊ（ｋ＝１，２，・・・，Ｍ×Ｎ、ｊ＝１，２，・・・，Ｊ）から、各画素の処理対象領域記憶部４１に記憶された第１の処理対象領域Ｒ１及び第２の処理対象領域Ｒ２それぞれについての平均輝度（輝度の平均値）を算出し、その平均輝度の差分に基づいて各画素の輝度階調を設定する処理を行う。具体的には、各画素（番号ｋの画素）について全処理対象領域Ｒ（＝Ｒ１＋Ｒ２）における輝度の最大値ｂ（ｋ）ｍａｘ、全処理対象領域Ｒ（＝Ｒ１＋Ｒ２）における輝度の最小値ｂ（ｋ）ｍｉｎ、第１の処理対象領域Ｒ１における輝度の平均値ｂ（ｋ）ａｖｇ１及び第２の処理対象領域Ｒ２における輝度の平均値ｂ（ｋ）ａｖｇ２を算出したうえで、式
Ｃ（ｋ）＝（Ａ（ｋ）／Ｂ（ｋ）×１２８＋１２８）
Ａ（ｋ） ＝（ｂ（ｋ）ａｖｇ２−ｂ（ｋ）ａｖｇ１）
Ｂ（ｋ） ＝（ｂ（ｋ）ｍａｘ−ｂ（ｋ）ｍｉｎ）
によって与えられるＣ（ｋ）をその画素の輝度階調として割り当てる。ここで、Ｂ（ｋ）＝０となる場合にはその画素についてはＣ（ｋ）＝１２８の輝度階調を割り当てる。このようにして得られた各画素についての輝度階調のデータは、輝度階調データ記憶部４３に記憶される。
Based on the command from the command unit 32, the brightness gradation setting unit 42 stores the three-dimensional brightness data b (k) j (k = 1, 2,..., M ×) stored in the brightness data storage unit 37. N, j = 1,2, ···, from J), the average for the first processing target region R 1 and the second processing target area R 2, respectively, which are stored in the processing target area storage unit 41 of each pixel Luminance (average value of luminance) is calculated, and processing for setting the luminance gradation of each pixel based on the difference of the average luminance is performed. Specifically, in each pixel (pixel number k) the total processed area R (= R 1 + R 2 ) The maximum value of the luminance at the b (k) max, total processing target area R (= R 1 + R 2 ) the minimum value b (k) min of the luminance, the mean value was calculated b (k) avg2 luminance in the average value b (k) avg1 and second processing target region R 2 of the luminance in the first processing region R 1 Then, the formula C (k) = (A (k) / B (k) × 128 + 128)
A (k) = (b (k) avg2-b (k) avg1)
B (k) = (b (k) max−b (k) min)
C (k) given by is assigned as the luminance gradation of the pixel. Here, when B (k) = 0, a luminance gradation of C (k) = 128 is assigned to the pixel. The luminance gradation data for each pixel obtained in this way is stored in the luminance gradation data storage unit 43.
表示処理部４４は、指令部３２からの指令に基づいて、輝度階調データ記憶部４３に記憶された輝度階調のデータを各画素に対応させたうえで、これを被検物１の画像としてモニター２６に視覚表示させる。 The display processing unit 44 associates the luminance gradation data stored in the luminance gradation data storage unit 43 with each pixel based on the instruction from the instruction unit 32, and uses this data for the image of the test object 1. As shown in FIG.
このように本顕微鏡画像の処理装置４は、カメラ１３（撮像手段）の焦点位置Ｚを被検物１の厚さ方向に変化させながら被検物１の撮像を行って複数の画像データを取得する画像データ取得手段（カメラ制御部２４、指令部３２、焦点位置指示部３３、撮像指示部３４、画像データ記憶部３５等から成る）、画像データ取得手段により取得された複数の画像データから、焦点位置Ｚの移動方向に対する各画素の輝度情報（輝度データ）を読み取って輝度情報記憶手段（輝度データ記憶部３７）に記憶させる輝度情報読み取り手段（輝度データ読み取り部３６）、画像データ取得手段により取得された複数の画像データから求められる焦点位置Ｚの移動方向に対するフォーカス係数ｆを算出してフォーカス係数記憶手段（フォーカス係数記憶部３９）に記憶させるフォーカス係数算出手段（フォーカス係数算出部３８）、フォーカス係数記憶手段に記憶されたフォーカス係数ｆに基づいて得られる焦点位置Ｚの移動方向（被検物１の厚さ方向）に対するフォーカス係数ｆの変化からフォーカス係数ｆのピーク（この実施の形態では２つのピークｐ１，ｐ２）を検出し、その検出したピークに基づいて焦点位置Ｚの移動領域に第１及び第２の処理対象領域Ｒ１，Ｒ２をして設定する処理対象領域設定手段（処理対象領域設定部４０）、及び、輝度情報記憶手段に記憶された焦点位置Ｚの移動方向に対する各画素の輝度情報から、各画素の第１及び第２の処理対象領域Ｒ１，Ｒ２それぞれについての平均輝度を算出し、その平均輝度の差分に基づいて各画素の輝度階調を設定する輝度階調設定手段（輝度階調設定部４２）を備えるものである。 In this way, the processing apparatus 4 for the microscopic image captures the test object 1 while changing the focal position Z of the camera 13 (imaging means) in the thickness direction of the test object 1 and acquires a plurality of image data. Image data acquisition means (consisting of a camera control unit 24, a command unit 32, a focus position instruction unit 33, an imaging instruction unit 34, an image data storage unit 35, etc.), from a plurality of image data acquired by the image data acquisition unit, Luminance information reading means (luminance data reading section 36) for reading luminance information (luminance data) of each pixel with respect to the moving direction of the focal position Z and storing it in the luminance information storage means (luminance data storage section 37), and image data acquisition means A focus coefficient storage unit (focus coefficient storage unit) is calculated by calculating a focus coefficient f with respect to the moving direction of the focal position Z obtained from a plurality of acquired image data. 9) with respect to the moving direction (thickness direction of the test object 1) of the focus position Z obtained based on the focus coefficient calculating means (focus coefficient calculating section 38) stored in the focus coefficient storing means and the focus coefficient f stored in the focus coefficient storing means. The peak of the focus coefficient f (in this embodiment, two peaks p 1 and p 2 ) is detected from the change in the focus coefficient f, and the first and second peaks are moved to the moving region of the focal position Z based on the detected peaks. From the processing target region setting means (processing target region setting unit 40) for setting the processing target regions R 1 and R 2 and the luminance information of each pixel with respect to the moving direction of the focal position Z stored in the luminance information storage unit. , bright that calculates the average brightness of the processing target area R 1, R 2, respectively first and second of each pixel, and sets the luminance gradation of each pixel based on the difference between the average luminance Those with a gradation setting means (luminance gradation setting unit 42).
ここで、上記Ｃ（ｋ）、すなわち輝度階調の値は、第１項の分子Ａ（ｋ）の絶対値が大きければ大きいほど第２項の値「１２８」から離れていく。Ｃ（ｋ）の第２項の値「１２８」は２５６階調の中間値であるが、或る画素のＣ（ｋ）の値が中間値「１２８」から離れていくということは、その画素は他の画素と比べてコントラストが高くなる（白又は黒が強調される）ことを意味する。 Here, the value of C (k), that is, the luminance gradation value, is further away from the value “128” of the second term as the absolute value of the numerator A (k) of the first term is larger. The value “128” of the second term of C (k) is an intermediate value of 256 gradations, but the fact that the value of C (k) of a certain pixel moves away from the intermediate value “128” means that the pixel Means that the contrast is higher than other pixels (white or black is emphasized).
図６（ａ）において、細胞３が存在しない培養液２の部分を撮像した画素では（その画素は図中のＺ軸の上方延長線上にあるとする）、全処理対象領域Ｒ（＝Ｒ１＋Ｒ２）にわたって輝度が殆ど変化しないので、差分Ａ（ｋ） ＝（ｂ（ｋ）ａｖｇ２−ｂ（ｋ）ａｖ
ｇ１）はほぼ「０」となって、その画素の輝度階調はＣ（ｋ）≒１２８となる。
In FIG. 6A, in a pixel obtained by imaging a portion of the culture solution 2 in which no cell 3 is present (assuming that the pixel is on the upper extension line of the Z axis in the figure), the entire processing target region R (= R 1 Since the luminance hardly changes over + R 2 ), the difference A (k) = (b (k) avg2−b (k) av
g1) is almost “0”, and the luminance gradation of the pixel is C (k) ≈128.
図６（ｂ）において、細胞３の外殻３ｂのみを（細胞３の内部ではあるが核３ａが存在しない部分を）撮像した画素では（その画素は図中のＺ軸の上方延長線上にあるとする）、全処理対象領域Ｒ（＝Ｒ１＋Ｒ２）内の外殻３ｂが存在する部分（第２ピークｐ２が存在する付近）において輝度が変化し、外殻３ｂ（及び核３ａ）が存在しない部分の輝度（≒１２８）よりもやや高くなるので、結果として差分Ａ（ｋ） ＝（ｂ（ｋ）ａｖｇ２−ｂ（ｋ）ａｖｇ１）は正値となる。このため細胞３の外殻３ｂのみを撮像した画素の輝度階調は１２８よりも大きい値となり、細胞３が存在しない培養液２の部分（図６（ａ）に示した部分）よりも明るい画像となる。 In FIG. 6 (b), in the pixel obtained by imaging only the outer shell 3b of the cell 3 (the portion inside the cell 3 but without the nucleus 3a) (the pixel is on the upper extension line of the Z axis in the figure). And the luminance changes in the portion where the outer shell 3b exists in the entire processing target region R (= R 1 + R 2 ) (near the second peak p 2 ), and the outer shell 3b (and the nucleus 3a). As a result, the difference A (k) = (b (k) avg2-b (k) avg1) becomes a positive value. For this reason, the luminance gradation of the pixel that images only the outer shell 3b of the cell 3 has a value greater than 128, and the image is brighter than the portion of the culture solution 2 where the cell 3 does not exist (the portion shown in FIG. 6A). It becomes.
図６（ｃ）において、細胞３の外殻３ｂに加えて核３ａも撮像した画素では（その画素は図中のＺ軸の上方延長線上にあるとする）、核３ａが存在する部分と外殻３ｂが存在する部分との２箇所（第１ピークｐ１と第２ピークｐ２が存在する付近）において輝度が変化し、核３ａが存在する部分の輝度は核３ａも外殻３ｂも存在しない部分の輝度（≒１２８）よりもかなり低く、外殻３ｂが存在する部分の輝度は核３ａも外殻３ｂも存在しない部分の輝度よりもやや高くなるので、結果として差分Ａ（ｋ） ＝（ｂ（ｋ）ａｖｇ２−ｂ（ｋ）ａｖｇ１）は負値となる。このため外殻３ｂに加えて核３ａも撮像した画素の輝度階調は１２８よりも小さい値となり、細胞３が存在しない培養液２の部分（図６（ａ）に示した部分）よりも暗い画像となる。 In FIG. 6C, in the pixel in which the nucleus 3a is imaged in addition to the outer shell 3b of the cell 3 (assuming that the pixel is on the upper extension line of the Z-axis in the figure), the portion where the nucleus 3a exists and the outside 2 places a portion of the shell 3b is present brightness changes in (first peak p 1 and around which the second peak p 2 present), the luminance of the part existing nuclear 3a is also present nuclear 3a also the shell 3b Since the brightness of the part where the outer shell 3b exists is slightly lower than the brightness of the part where the outer shell 3b exists and the brightness of the part where the outer shell 3b does not exist, the difference A (k) = (B (k) avg2-b (k) avg1) is a negative value. For this reason, the luminance gradation of the pixel which has imaged the nucleus 3a in addition to the outer shell 3b is a value smaller than 128, which is darker than the portion of the culture solution 2 where the cells 3 do not exist (the portion shown in FIG. 6A). It becomes an image.
次に、顕微鏡画像の処理装置４を用いて被検物１の撮像を行い、その結果をモニター２６に画像表示するまでの具体的な手順について説明する。図６はその手順を示すメインルーチンであり、図７、図８及び図９はこのメインルーチンに付随するサブルーチンである。 Next, a specific procedure for imaging the test object 1 using the microscope image processing device 4 and displaying the result on the monitor 26 will be described. FIG. 6 is a main routine showing the procedure, and FIGS. 7, 8 and 9 are subroutines attached to the main routine.
被検物１の撮像を行ってこれを画像表示するには、先ず、顕微鏡部１０のステージ１１に被検物１を載置し、画像処理部２０の操作・入力部２５から所定の入力操作を行う。これにより制御部２１の入力処理部３１は指令部３２に処理開始の指示信号を出力し、指令部３２はこれを受けて画像データ取得工程Ｓ１（図７）を行う。 In order to take an image of the test object 1 and display the image, first, the test object 1 is placed on the stage 11 of the microscope unit 10 and a predetermined input operation is performed from the operation / input unit 25 of the image processing unit 20. I do. Thereby, the input processing unit 31 of the control unit 21 outputs a processing start instruction signal to the command unit 32, and the command unit 32 receives this and performs the image data acquisition step S1 (FIG. 7).
画像データ取得工程Ｓ１では、制御部２１の指令部３２は先ず、階層を特定する番号ｊを初期値ｊ＝０に設定し、焦点位置Ｚを初期値Ｚ０にセットする指令値を出す（図８のステップＳ１０１）。焦点位置Ｚが初期値Ｚ０にセットされたらｊを１つ増加させてｊ＝ｊ＋１とし、焦点位置ＺをＺｊにセットする指示値を出す（図８のステップＳ１０２）。カメラ１３が上方に移動して焦点位置ＺがＺｊにセットされたら、撮像指示部３４に撮像指示を出してカメラ１３に撮像を行わせ（図８のステップＳ１０３）、得られた二次元の画素データＰ（ｋ）ｊ（ｋ＝１，２，・・・，Ｍ×Ｎ）をｊ番目の階層の画像データとして、画像データ記憶部３５に記憶させる（図８のステップＳ１０４）。 In the image data acquisition step S1, the command unit 32 of the control unit 21 first sets a number j for specifying a hierarchy to an initial value j = 0 and issues a command value for setting the focal position Z to an initial value Z0 (FIG. 8 step S101). When the focal position Z is set to the initial value Z 0 , j is incremented by 1 so that j = j + 1, and an instruction value for setting the focal position Z to Zj is output (step S102 in FIG. 8). When the camera 13 moves upward and the focal position Z is set to Zj, the imaging instruction unit 34 is instructed to perform imaging (step S103 in FIG. 8), and the obtained two-dimensional pixel is obtained. Data P (k) j (k = 1, 2,..., M × N) is stored in the image data storage unit 35 as image data of the j-th hierarchy (step S104 in FIG. 8).
ステップＳ１０４が終了したら、指令部３２は現在の階層を特定する番号ｊが予め定めた最大値Ｊ（例えば１００）に達しているか否かの判断を行い（図８のステップＳ１０５）、その結果、現在の階層を特定する番号ｊが最大値Ｊに達していなかった場合にはステップＳ１０２に戻り、ｊを１つ増加させて次の焦点位置Ｚｊについての撮像とその焦点位置Ｚｊでの撮像で得られた二次元の画素データＰ（ｋ）ｊ（ｋ＝１，２，・・・，Ｍ×Ｎ）の記憶を行う。一方、ステップＳ１０５において、現在の階層を特定する番号ｊが最大値Ｊに達していた場合にはこのサブルーチンを抜けて、メインルーチンに復帰する。このサブルーチン（画像データ取得工程Ｓ１）が終了した時点で、画像データ記憶部３５には、Ｍ×Ｎ×Ｊの三次元の画素データＰ（ｋ）ｊが記憶される。 When step S104 is completed, the command unit 32 determines whether or not the number j specifying the current hierarchy has reached a predetermined maximum value J (for example, 100) (step S105 in FIG. 8). If the number j specifying the current hierarchy has not reached the maximum value J, the process returns to step S102, and j is incremented by one and obtained by imaging at the next focal position Zj and imaging at the focal position Zj. The obtained two-dimensional pixel data P (k) j (k = 1, 2,..., M × N) is stored. On the other hand, if the number j specifying the current hierarchy has reached the maximum value J in step S105, this subroutine is exited and the process returns to the main routine. When this subroutine (image data acquisition step S1) ends, the image data storage unit 35 stores M × N × J three-dimensional pixel data P (k) j.
画像データ取得工程Ｓ１が終了したら、指令部３２から指令を受けた輝度データ読み取り部３６及びフォーカス係数算出部３８が輝度データ読み取り・フォーカス係数算出工程Ｓ２（図７）を行う。輝度データ読み取り・フォーカス係数算出工程Ｓ２では、先ず輝度データ読み取り部３６が階層を特定する番号ｊを初期値ｊ＝０に設定した後（図９のステップＳ２０１）、ｊを１つ増加させてｊ＝ｊ＋１とし（図９のステップＳ２０２）、画像データ記憶部３５に記憶されたｊ番目の階層の画像データから読み出した各画素の輝度情報、すなわち各画素の輝度データｂ（ｋ）ｊ（ｋ＝１，２，・・・，Ｍ×Ｎ）を輝度データ記憶部３７に記憶させる（図９のステップＳ２０３）。 When the image data acquisition step S1 is completed, the luminance data reading unit 36 and the focus coefficient calculation unit 38 that have received the command from the command unit 32 perform the luminance data reading / focus coefficient calculation step S2 (FIG. 7). In the luminance data reading / focus coefficient calculating step S2, first, the luminance data reading unit 36 sets the number j for specifying the hierarchy to an initial value j = 0 (step S201 in FIG. 9), and then increases j by one and sets j = J + 1 (step S202 in FIG. 9), the luminance information of each pixel read from the image data of the jth hierarchy stored in the image data storage unit 35, that is, the luminance data b (k) j (k = 1, 2,..., M × N) are stored in the luminance data storage unit 37 (step S203 in FIG. 9).
ステップＳ２０３が終了したら、今度はフォーカス係数算出部３８が、画像データ記憶部３５に記憶されたｊ番目の階層の画像データからフォーカス係数ｆｊを算出し、その結果をフォーカス係数記憶部３９に記憶させる（図９のステップＳ２０４）。 When step S203 ends, the focus coefficient calculation unit 38 calculates the focus coefficient fj from the image data of the j-th hierarchy stored in the image data storage unit 35, and stores the result in the focus coefficient storage unit 39. (Step S204 in FIG. 9).
ステップＳ２０４が終了したら、フォーカス係数算出部３８は現在の階層を特定する番号ｊが予め定めた最大値Ｊ（例えば１００）に達しているか否かの判断を行い（図９のステップＳ２０５）、その結果、現在の階層を特定する番号ｊが最大値に達していなかった場合にはステップＳ２０２に戻り、輝度データ読み取り部３６はｊを１つ増加させて次の階層についての輝度データｂ（ｋ）ｊ（ｋ＝１，２，・・・，Ｍ×Ｎ）の読み出しと記憶を行い、フォーカス係数算出部３８はフォーカス係数ｆｊの算出と記憶を行う。一方、ステップＳ２０５において、現在の階層を特定する番号ｊが最大値に達していた場合には、このサブルーチンを抜けてメインルーチンに復帰する。 When step S204 is completed, the focus coefficient calculation unit 38 determines whether or not the number j specifying the current hierarchy has reached a predetermined maximum value J (for example, 100) (step S205 in FIG. 9). As a result, if the number j specifying the current hierarchy has not reached the maximum value, the process returns to step S202, and the luminance data reading unit 36 increments j by 1 to obtain luminance data b (k) for the next hierarchy. j (k = 1, 2,..., M × N) is read and stored, and the focus coefficient calculation unit 38 calculates and stores the focus coefficient fj. On the other hand, if the number j specifying the current hierarchy has reached the maximum value in step S205, the process exits from this subroutine and returns to the main routine.
輝度データ読み取り・フォーカス係数算出工程Ｓ２が終了したら、指令部３２から指令を受けた処理対象領域設定部４０が処理対象領域設定工程Ｓ３（図７）を行う。処理対象領域設定工程Ｓ３では、先ず、処理対象領域設定部４０がフォーカス係数記憶部３９に記憶されたフォーカス係数ｆｊ（ｊ＝１，２，・・・，Ｊ）に基づいて、焦点位置Ｚの移動方向に対する連続したフォーカス係数ｆのグラフ（フォーカス係数曲線）を作成し、そのフォーカス係数曲線から２つのピーク、すなわち第１ピークｐ１と第２ピークｐ２を検出する。そして、前述の要領でこれら２つのピークｐ１，ｐ２の一方を１つずつ含む２つの処理対象領域、すなわち第１の処理対象領域Ｒ１と第２の処理対象領域Ｒ２を設定し、処理対象領域記憶部４１に記憶させる。 When the luminance data reading / focus coefficient calculation step S2 is completed, the processing target region setting unit 40 that has received the command from the command unit 32 performs the processing target region setting step S3 (FIG. 7). In the processing target area setting step S3, first, the processing target area setting unit 40 determines the focal position Z based on the focus coefficients fj (j = 1, 2,..., J) stored in the focus coefficient storage unit 39. A continuous focus coefficient f graph (focus coefficient curve) with respect to the movement direction is created, and two peaks, that is, a first peak p 1 and a second peak p 2 are detected from the focus coefficient curve. Then, two processing target regions including one of these two peaks p 1 and p 2 , that is, the first processing target region R 1 and the second processing target region R 2 are set as described above, The data is stored in the processing area storage unit 41.
処理対象領域設定工程Ｓ３が終了したら、指令部３２から指令を受けた輝度階調設定部４２が輝度階調設定工程Ｓ４（図７）を行う。輝度階調設定工程Ｓ４では、輝度階調設定部４２が、画素を特定する番号ｋを初期値ｋ＝０に設定した後（図１０のステップＳ４０１）、ｋを１つ増加させてｋ＝ｋ＋１とし（図１０のステップＳ４０２）、輝度データ記憶部３７に記憶された番号ｋの画素についての輝度データｂ（ｋ）ｊ（ｊ＝１，２，・・・，Ｊ）及び処理対象領域記憶部４１に記憶させた第１の処理対象領域Ｒ１及び第２の処理対象領域Ｒ２のデータに基づいて、全処理対象領域Ｒ（＝Ｒ１＋Ｒ２）における輝度の最大値ｂ（ｋ）ｍａｘ、全処理対象領域Ｒ（＝Ｒ１＋Ｒ２）における輝度の最小値ｂ（ｋ）ｍｉｎ、第１の処理対象領域Ｒ１における輝度の平均値ｂ（ｋ）ａｖｇ１及び第２の処理対象領域Ｒ２における輝度の平均値ｂ（ｋ）ａｖｇ２を算出する（図１０のステップＳ４０３）。 When the processing target region setting step S3 is completed, the luminance gradation setting unit 42 that has received the instruction from the instruction unit 32 performs the luminance gradation setting step S4 (FIG. 7). In the luminance gradation setting step S4, the luminance gradation setting unit 42 sets the number k for specifying a pixel to an initial value k = 0 (step S401 in FIG. 10), and then increases k by one and k = k + 1. (Step S402 in FIG. 10), the luminance data b (k) j (j = 1, 2,..., J) and the processing target region storage unit for the pixel of number k stored in the luminance data storage unit 37 Based on the data of the first processing target region R 1 and the second processing target region R 2 stored in 41, the maximum luminance value b (k) max in all the processing target regions R (= R 1 + R 2 ) , The minimum luminance value b (k) min in the entire processing target region R (= R 1 + R 2 ), the average luminance value b (k) avg1 in the first processing target region R 1, and the second processing target region R calculates an average value b (k) avg2 of luminance in 2 Step S403 of FIG. 10).
輝度階調設定部４２は、ステップＳ４０３においてｂ（ｋ）ｍａｘ、ｂ（ｋ）ｍｉｎ、ｂ（ｋ）ａｖｇ１及びｂ（ｋ）ａｖｇ２を算出したら、前述のようにしてＡ（ｋ），Ｂ（ｋ）を求める（図１０のステップＳ４０４）。そして、Ｂ（ｋ）＝０が満たされるか否かの判断を行い（図１０のステップＳ４０５）、その結果Ｂ（ｋ）＝０が満たされなかった場合にはＣ（ｋ）＝（Ａ（ｋ）／Ｂ（ｋ）×１２８＋１２８）によって得られるＣ（ｋ）をその画素の輝度階調として与え（図１０のステップＳ４０６）、ステップＳ４０５にお
いてＢ（ｋ）＝０が満たされた場合には、Ｃ（ｋ）＝１２８をその画素の輝度階調として与える（図１０のステップＳ４０７）。
When the luminance gradation setting unit 42 calculates b (k) max, b (k) min, b (k) avg1 and b (k) avg2 in step S403, A (k), B ( k) is obtained (step S404 in FIG. 10). Then, it is determined whether or not B (k) = 0 is satisfied (step S405 in FIG. 10). If B (k) = 0 is not satisfied as a result, C (k) = (A ( k) / B (k) × 128 + 128) is given as the luminance gradation of the pixel (step S406 in FIG. 10), and when B (k) = 0 is satisfied in step S405 , C (k) = 128 is given as the luminance gradation of the pixel (step S407 in FIG. 10).
ステップＳ４０６又はステップＳ４０７が終了したら、輝度階調設定部４２は、ステップＳ４０６又はステップＳ４０７で画素に与えられたＣ（ｋ）の値をその画素の番号ｋとともに輝度階調データ記憶部４３に記憶させる（図１０のステップＳ４０８）。そして、現在の画素を特定する番号ｋが最大値（＝Ｍ×Ｎ）に達しているか否かの判断を行い（図１０のステップＳ４０９）、その結果現在の画素を特定する番号ｋが最大値に達していなかった場合にはステップＳ４０２に戻り、ｋを１つ増加させて次の番号ｋの画素にＣ （ｋ）を与え、Ｃ（ｋ）の値を画素の番号ｋとともに記憶させる。一方、ステップＳ４０９において、現在の画素を特定する番号ｋが最大値に達していた場合には、このサブルーチン（輝度階調設定工程Ｓ４）を抜けて、メインルーチンに復帰する。 When step S406 or step S407 is completed, the luminance gradation setting unit 42 stores the value of C (k) given to the pixel in step S406 or step S407 together with the pixel number k in the luminance gradation data storage unit 43. (Step S408 in FIG. 10). Then, it is determined whether or not the number k specifying the current pixel has reached the maximum value (= M × N) (step S409 in FIG. 10), and as a result, the number k specifying the current pixel is the maximum value. If not, the process returns to step S402, where k is incremented by 1 to give C (k) to the next pixel number k, and the value of C (k) is stored together with the pixel number k. On the other hand, if the number k for specifying the current pixel has reached the maximum value in step S409, the subroutine (luminance gradation setting step S4) is exited and the process returns to the main routine.
輝度階調設定工程Ｓ４が終了したら、指令部３２から指令を受けた表示処理部４４が表示工程Ｓ５を行う（図７）。表示工程Ｓ５では、表示処理部４４が輝度階調データ記憶部４３に記憶された輝度階調のデータを各画素に対応させたうえで、これを被検物１の画像としてモニター２６に視覚表示させる。この表示工程Ｓ５が終了したら、処理装置４による一連の画像処理は終了となる。 When the luminance gradation setting step S4 is completed, the display processing unit 44 that has received a command from the command unit 32 performs the display step S5 (FIG. 7). In the display step S5, the display processing unit 44 makes the luminance gradation data stored in the luminance gradation data storage unit 43 correspond to each pixel, and visually displays it on the monitor 26 as an image of the test object 1. Let When this display step S5 is finished, a series of image processing by the processing device 4 is finished.
図１１は、顕微鏡画像の処理装置４によって撮像した被検物１の画像を、従来における顕微鏡画像の処理装置によって撮像した画像と対比して示すものであり、図１１（ａ）が本処理装置４によって得られたもの、図１１（ｂ）が従来の処理装置によって得られたものである。これら両図より、本処理装置４によれば、被検物である培養液２中の細胞３自体が半透明であるために従来認識しにくかった細胞３の画像を、コントラストを強調した明瞭な画像として視覚表示できることが分かる。 FIG. 11 shows an image of the test object 1 captured by the microscope image processing device 4 in comparison with an image captured by a conventional microscope image processing device. FIG. 4 is obtained by the conventional processing apparatus. From these two figures, according to the present processing apparatus 4, the image of the cell 3 that has been difficult to recognize conventionally because the cell 3 itself in the culture medium 2 that is the test object is translucent is clear with enhanced contrast. It can be seen that it can be visually displayed as an image.
ここで、前述のように、被検物１が培養液２中の細胞３である場合には、フォーカス係数ｆｊ（ｊ＝１，２，・・・，Ｊ）を焦点位置Ｚの移動方向に補間して、焦点位置Ｚの移動方向に対する連続したフォーカス係数ｆのグラフ（すなわちフォーカス係数曲線）を作成すると、そのフォーカス係数曲線には２つのピークｐ１，ｐ２）が現れるが、被検物１が培養液２中の細胞３ではなく、単に半透明で厚みのあるものである場合にはフォーカス係数曲線に現れるピークは１つとなる場合もあり得る。この場合であっても、フォーカス係数ｆに基づいて得られる焦点位置の移動方向に対するフォーカス係数ｆの変化からフォーカス係数ｆのピークを検出し、その検出したピークに基づいて第１及び第２の処理対象領域Ｒ１，Ｒ２を設定する（例えば、検出された１つのピークの位置を境に焦点位置Ｚの移動領域を上下に分け、その上下の領域を第１及び第２の処理対象領域Ｒ１，Ｒ２に設定する）ようにすれば、同様にコントラストの高い被検物１の画像を得ることができる。 Here, as described above, when the test object 1 is the cell 3 in the culture solution 2, the focus coefficient fj (j = 1, 2,..., J) is set in the moving direction of the focal position Z. When a graph of continuous focus coefficient f with respect to the moving direction of the focal position Z is generated by interpolation (that is, a focus coefficient curve), two peaks p 1 and p 2 ) appear in the focus coefficient curve. If 1 is not the cell 3 in the culture solution 2 but is simply translucent and thick, there may be one peak appearing in the focus coefficient curve. Even in this case, the peak of the focus coefficient f is detected from the change in the focus coefficient f with respect to the moving direction of the focus position obtained based on the focus coefficient f, and the first and second processes are performed based on the detected peak. The target areas R 1 and R 2 are set (for example, the moving area of the focal position Z is divided into upper and lower areas with the position of one detected peak as a boundary, and the upper and lower areas are defined as the first and second processing target areas R. 1 and R 2 ), an image of the test object 1 having a high contrast can be obtained.
更には、フォーカス係数曲線にピークが現れない場合や、フォーカス係数曲線を求めない場合であっても、それまでの経験や、別途設定した何らかの基準に基づいて、焦点位置の移動方向に第１及び第２の処理対象領域Ｒ１，Ｒ２を設定するようにすれば、同様にコントラストの高い被検物１の画像を得ることができる。 Further, even when no peak appears in the focus coefficient curve or when the focus coefficient curve is not obtained, the first and the first movement directions of the focus position are determined based on experience up to that point and some other criteria set separately. If the second processing target areas R 1 and R 2 are set, an image of the test object 1 having a high contrast can be obtained.
このように本実施の形態における顕微鏡画像の処理装置４では、被検物１の画像の各画素に、焦点位置Ｚの移動領域に設定した第１及び第２の処理対象領域Ｒ１，Ｒ２それぞれについて算出した平均輝度から求められる輝度階調が設定されるので、半透明で厚みのある被検物に対し、コントラストが高くで明瞭な画像を得ることができる。 As described above, in the microscopic image processing apparatus 4 according to the present embodiment, the first and second processing target regions R 1 and R 2 set in the moving region of the focal position Z are set in each pixel of the image of the test object 1. Since the luminance gradation obtained from the average luminance calculated for each is set, a clear image with high contrast can be obtained for a semi-transparent and thick test object.
これまで本発明の好ましい実施の形態について説明してきたが、本発明は上述の実施の形態に示したものに限定されない。例えば、被検物１が培養液２中の細胞３である場合、
設定される２つの処理対象領域Ｒ１，Ｒ２はフォーカス係数ｆの２つのピークｐ１，ｐ２の一方を１つずつ含んでいればよく、上述の実施の形態に示したような方法（Ｚａ，Ｚｃ，Ｚｅを求めて設定する方法）に限られない。しかし、上述の実施の形態に示した方法によれば、コントラストの強調処理に必要な両ピークｐ１，ｐ２それぞれの近傍領域に限定した領域設定を行うことができるので、高効率で（処理速度が速く）、精度のよい画像処理を行うことができる。
Although the preferred embodiments of the present invention have been described so far, the present invention is not limited to those shown in the above-described embodiments. For example, when the test object 1 is a cell 3 in the culture solution 2,
The two processing target regions R 1 and R 2 to be set only need to include one of the two peaks p 1 and p 2 of the focus coefficient f one by one, and the method as described in the above embodiment ( The method is not limited to the method of obtaining and setting Za, Zc, and Ze. However, according to the method shown in the above-described embodiment, it is possible to perform region setting limited to the regions near both peaks p 1 and p 2 necessary for the contrast enhancement processing, so that the processing can be performed with high efficiency (processing). High speed) and accurate image processing can be performed.
半透明で厚みのある被検物に対し、コントラストが高くて明瞭な画像を得ることができる。 A clear image with high contrast can be obtained for a semi-transparent and thick test object.
１ 被検物
２ 培養液
３ 細胞
４ 顕微鏡画像の処理装置
１３ カメラ（撮像手段）
２４ カメラ制御部（画像データ取得手段）
３２ 指令部（画像データ取得手段）
３３ 焦点位置指示部（画像データ取得手段）
３４ 撮像指示部（画像データ取得手段）
３５ 画像データ記憶部（画像データ取得手段）
３６ 輝度データ読み取り部（輝度情報読み取り手段）
３７ 輝度データ記憶部（輝度情報記憶手段）
３８ フォーカス係数算出部（フォーカス係数算出手段）
３９ フォーカス係数記憶部（フォーカス係数記憶手段）
４０ 処理対象領域設定部（処理対象領域設定手段）
４２ 輝度階調設定部（輝度階調設定手段）
Ｚ 焦点位置
ｐ１ 第１ピーク（ピーク）
ｐ２ 第２ピーク（ピーク）
Ｒ１ 第１の処理対象領域
Ｒ２ 第２の処理対象領域
DESCRIPTION OF SYMBOLS 1 Test object 2 Culture solution 3 Cell 4 Microscope image processing apparatus 13 Camera (imaging means)
24 Camera control unit (image data acquisition means)
32 Command section (image data acquisition means)
33 Focus position instruction section (image data acquisition means)
34 Imaging instruction section (image data acquisition means)
35 Image data storage (image data acquisition means)
36 Luminance data reading unit (luminance information reading means)
37 Luminance data storage unit (luminance information storage means)
38 Focus coefficient calculation unit (focus coefficient calculation means)
39 Focus coefficient storage unit (focus coefficient storage means)
40 processing target area setting unit (processing target area setting means)
42 Luminance gradation setting section (luminance gradation setting means)
Z Focus position p 1 First peak (peak)
p 2 2nd peak (peak)
R 1 first process target area R 2 second process target area
Claims (6)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006297404A JP2008116526A (en) | 2006-11-01 | 2006-11-01 | Device and method for processing microscope image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006297404A JP2008116526A (en) | 2006-11-01 | 2006-11-01 | Device and method for processing microscope image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008116526A true JP2008116526A (en) | 2008-05-22 |
Family
ID=39502524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006297404A Pending JP2008116526A (en) | 2006-11-01 | 2006-11-01 | Device and method for processing microscope image |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008116526A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010117229A (en) * | 2008-11-12 | 2010-05-27 | Olympus Corp | Height information acquisition apparatus, height information acquisition method, and program |
| JP2011022322A (en) * | 2009-07-15 | 2011-02-03 | Sanyo Electric Co Ltd | Culture object observation system |
| JP2012108491A (en) * | 2010-10-22 | 2012-06-07 | Leica Microsystems Cms Gmbh | Spim microscope with sequential light sheet |
| CN102782559A (en) * | 2009-12-31 | 2012-11-14 | 雅培照护点公司 | Method and apparatus for fast focus imaging biologic specimens |
| JP2013517460A (en) * | 2010-01-12 | 2013-05-16 | バイオ−ラド ラボラトリーズ インコーポレイテッド | Cell characterization using multiple focal planes |
| WO2014179269A3 (en) * | 2013-04-30 | 2016-04-14 | Molecular Devices, Llc | Apparatus and method for generating in-focus images using parallel imaging in a microscopy system |
| WO2016069685A1 (en) * | 2014-10-29 | 2016-05-06 | Molecular Devices, Llc | Apparatus and method for generating in-focus images using parallel imaging in a microscopy system |
| CN109856015A (en) * | 2018-11-26 | 2019-06-07 | 深圳辉煌耀强科技有限公司 | A kind of immediate processing method that cancer cell diagnoses automatically and its system |
| US10330907B2 (en) | 2014-03-31 | 2019-06-25 | Fujifilm Corporation | Cell imaging control device, method, and program |
| US10771677B2 (en) | 2017-10-10 | 2020-09-08 | Olympus Corporation | Observation device and focus adjustment method |
| CN114967099A (en) * | 2022-04-19 | 2022-08-30 | 广州广检技术发展有限公司 | Automatic focusing and automatic identification measuring method of microscope |
-
2006
- 2006-11-01 JP JP2006297404A patent/JP2008116526A/en active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010117229A (en) * | 2008-11-12 | 2010-05-27 | Olympus Corp | Height information acquisition apparatus, height information acquisition method, and program |
| JP2011022322A (en) * | 2009-07-15 | 2011-02-03 | Sanyo Electric Co Ltd | Culture object observation system |
| JP2013516650A (en) * | 2009-12-31 | 2013-05-13 | アボット ポイント オブ ケア インコーポレイテッド | Method and apparatus for high-speed focus imaging of biological specimen |
| CN102782559A (en) * | 2009-12-31 | 2012-11-14 | 雅培照护点公司 | Method and apparatus for fast focus imaging biologic specimens |
| US9001200B2 (en) | 2010-01-12 | 2015-04-07 | Bio-Rad Laboratories, Inc. | Cell characterization using multiple focus planes |
| JP2013517460A (en) * | 2010-01-12 | 2013-05-16 | バイオ−ラド ラボラトリーズ インコーポレイテッド | Cell characterization using multiple focal planes |
| JP2012108491A (en) * | 2010-10-22 | 2012-06-07 | Leica Microsystems Cms Gmbh | Spim microscope with sequential light sheet |
| WO2014179269A3 (en) * | 2013-04-30 | 2016-04-14 | Molecular Devices, Llc | Apparatus and method for generating in-focus images using parallel imaging in a microscopy system |
| US10330907B2 (en) | 2014-03-31 | 2019-06-25 | Fujifilm Corporation | Cell imaging control device, method, and program |
| WO2016069685A1 (en) * | 2014-10-29 | 2016-05-06 | Molecular Devices, Llc | Apparatus and method for generating in-focus images using parallel imaging in a microscopy system |
| US10690901B2 (en) | 2014-10-29 | 2020-06-23 | Molecular Devices, Llc | Apparatus and method for generating in-focus images using parallel imaging in a microscopy system |
| US10771677B2 (en) | 2017-10-10 | 2020-09-08 | Olympus Corporation | Observation device and focus adjustment method |
| CN109856015A (en) * | 2018-11-26 | 2019-06-07 | 深圳辉煌耀强科技有限公司 | A kind of immediate processing method that cancer cell diagnoses automatically and its system |
| CN114967099A (en) * | 2022-04-19 | 2022-08-30 | 广州广检技术发展有限公司 | Automatic focusing and automatic identification measuring method of microscope |
| CN114967099B (en) * | 2022-04-19 | 2024-04-02 | 广州广检技术发展有限公司 | Automatic focusing and automatic identifying and measuring method for microscope |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008116526A (en) | Device and method for processing microscope image | |
| JP4462959B2 (en) | Microscope image photographing system and method | |
| JP4937850B2 (en) | Microscope system, VS image generation method thereof, and program | |
| JP4970869B2 (en) | Observation apparatus and observation method | |
| US9088729B2 (en) | Imaging apparatus and method of controlling same | |
| JP5281972B2 (en) | Imaging device | |
| US20040047033A1 (en) | Microscopic image capture apparatus and microscopic image capturing method | |
| WO2006021767A2 (en) | Method and apparatus for providing optimal images of a microscope specimen | |
| JP5633753B2 (en) | Focus control method and culture observation apparatus | |
| US20120140999A1 (en) | Image processing method, image processing apparatus, and image processing program | |
| CN104662463A (en) | Image processing apparatus, imaging system, and image processing system | |
| CN102313980A (en) | Signal conditioning package, dressing table fluctuation correcting method and program | |
| JP2012237693A (en) | Image processing device, image processing method and image processing program | |
| JP2013152426A (en) | Image processing device, image processing system, image processing method and program | |
| JP5047764B2 (en) | Microscope imaging device | |
| US10613313B2 (en) | Microscopy system, microscopy method, and computer-readable recording medium | |
| JP2012013804A (en) | Image processing apparatus, image processing system and image processing method, and program | |
| US20160042122A1 (en) | Image processing method and image processing apparatus | |
| JP4709762B2 (en) | Image processing apparatus and method | |
| JP2005099736A (en) | Autofocus control method, autofocus controller, and image processing apparatus | |
| CN103605203B (en) | Automatic focusing method in digital slicing scanning process | |
| US20150049180A1 (en) | Microscope | |
| JP5259348B2 (en) | Height information acquisition device, height information acquisition method, and program | |
| US20160198082A1 (en) | Apparatus and method of processing image | |
| JP5996462B2 (en) | Image processing apparatus, microscope system, and image processing method |