JP2023142064A - Microparticle measuring system and microparticle measuring method - Google Patents
Microparticle measuring system and microparticle measuring method Download PDFInfo
- Publication number
- JP2023142064A JP2023142064A JP2022048740A JP2022048740A JP2023142064A JP 2023142064 A JP2023142064 A JP 2023142064A JP 2022048740 A JP2022048740 A JP 2022048740A JP 2022048740 A JP2022048740 A JP 2022048740A JP 2023142064 A JP2023142064 A JP 2023142064A
- Authority
- JP
- Japan
- Prior art keywords
- reliability
- microparticle
- detection
- captured image
- illumination light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011859 microparticle Substances 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims description 17
- 238000005259 measurement Methods 0.000 claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000005286 illumination Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 239000007788 liquid Substances 0.000 claims abstract description 18
- 241000193830 Bacillus <bacterium> Species 0.000 claims description 60
- 238000013135 deep learning Methods 0.000 claims description 13
- 239000000356 contaminant Substances 0.000 claims description 7
- 239000010802 sludge Substances 0.000 claims description 7
- 238000000691 measurement method Methods 0.000 claims description 4
- 239000012535 impurity Substances 0.000 claims description 2
- 239000002245 particle Substances 0.000 description 29
- 238000010586 diagram Methods 0.000 description 16
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 14
- 244000005700 microbiome Species 0.000 description 10
- 239000011521 glass Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000010365 information processing Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 4
- 241000304886 Bacilli Species 0.000 description 4
- 238000004065 wastewater treatment Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 229910052757 nitrogen Inorganic materials 0.000 description 2
- 239000005416 organic matter Substances 0.000 description 2
- 238000003752 polymerase chain reaction Methods 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 239000012190 activator Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000002351 wastewater Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/02—Investigating particle size or size distribution
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/06—Investigating concentration of particle suspensions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
Landscapes
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Dispersion Chemistry (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
Description
本発明の実施形態は、微小粒子計測システム、および、微小粒子計測方法に関する。 Embodiments of the present invention relate to a microparticle measurement system and a microparticle measurement method.
従来から、例えば、有機系廃水処理では、様々な有用微生物を利用して廃水中の有機物分解、窒素やリンの除去等を行っている。その際、汚泥濃度や処理水質などの指標に基づいて廃水処理を行っているが、有機物分解や窒素除去等に寄与する有用微生物の濃度を測定できれば有意義である。 Conventionally, for example, in organic wastewater treatment, various useful microorganisms have been used to decompose organic matter and remove nitrogen and phosphorus from wastewater. At that time, wastewater treatment is performed based on indicators such as sludge concentration and treated water quality, but it would be meaningful if the concentration of useful microorganisms that contribute to organic matter decomposition and nitrogen removal could be measured.
有用微生物(バチルスなどの微小粒子)の濃度を測定する従来技術として、例えば、コロニーカウント法やPCR(Polymerase Chain Reaction)法が存在する。しかし、これらの手法での測定には専門性の高い設備が必要であり、検体を専門施設に輸送する手間がかかったり、測定時間が長かったりするという問題がある。 Conventional techniques for measuring the concentration of useful microorganisms (microparticles such as Bacillus) include, for example, the colony counting method and the PCR (Polymerase Chain Reaction) method. However, measurement using these methods requires highly specialized equipment, and there are problems in that it takes time and effort to transport the specimen to a specialized facility and the measurement time is long.
そこで、測定対象の微小粒子による光の屈折の特性を利用し、深層学習を用いた画像処理によって撮像画像から微小粒子(例えばバチルス芽胞)を検出する技術が提案されている。これにより、専門施設への検体の輸送が不要になり、かつ、短時間で微小粒子の濃度測定を行うことができる。 Therefore, a technique has been proposed in which microparticles (for example, Bacillus spores) are detected from captured images by image processing using deep learning, using the characteristics of light refraction by microparticles to be measured. This eliminates the need to transport the specimen to a specialized facility, and allows the concentration of microparticles to be measured in a short time.
しかしながら、上述の深層学習の手法では、測定精度が一定ではないという問題がある。例えば、汚泥中のバチルス濃度は均一ではなく濃淡があり、撮像画像に映っているバチルスの個数(濃度)にばらつきが存在する。したがって、例えば、撮像画像1枚あたりで検出されるバチルスの個数が少ない場合、撮像画像の枚数が少ないと、測定結果の精度が低くなってしまう。また、撮像画像が少ないか否かの判断は作業者にとって容易とは限らない。 However, the above-described deep learning method has a problem in that the measurement accuracy is not constant. For example, the concentration of Bacillus in sludge is not uniform but has shades, and there are variations in the number (concentration) of Bacillus appearing in the captured image. Therefore, for example, if the number of bacilli detected per captured image is small, the accuracy of the measurement result will be low if the number of captured images is small. Furthermore, it is not always easy for the operator to determine whether or not there are a small number of captured images.
そこで、本発明は、上記事情に鑑みてなされたものであり、撮像画像を用いて微小粒子に関する測定を行う場合の精度を向上可能な微小粒子計測システム、および、微小粒子計測方法を提供することを課題とする。 Therefore, the present invention has been made in view of the above circumstances, and provides a microparticle measurement system and a microparticle measurement method that can improve the accuracy when measuring microparticles using captured images. The task is to
実施形態の微小粒子測定システムは、測定対象の微小粒子を含む液体に対して照明光を出射する光源と、前記照明光を集光する対物レンズと、集光された前記照明光を結像する結像レンズと、結像された前記照明光を撮像して撮像画像を出力するイメージセンサと、前記撮像画像に映っている前記微小粒子を検出する検出部と、前記検出部による検出結果と所定の指標に基づいて微小粒子検出の信頼度を算出する算出部と、前記信頼度に基づいて次の処理を決定する処理部と、を備える。 A microparticle measurement system according to an embodiment includes a light source that emits illumination light to a liquid containing microparticles to be measured, an objective lens that focuses the illumination light, and an image of the focused illumination light. an imaging lens, an image sensor that captures the formed illumination light and outputs a captured image, a detection unit that detects the microparticles appearing in the captured image, and a detection result by the detection unit and a predetermined The present invention includes a calculation unit that calculates the reliability of microparticle detection based on the index, and a processing unit that determines the next process based on the reliability.
以下、図面を参照して、本発明の微小粒子計測システム、および、微小粒子計測方法の実施形態について説明する。なお、以下では、バチルス芽胞を単にバチルスとも称する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of a microparticle measurement system and a microparticle measurement method of the present invention will be described with reference to the drawings. In addition, below, Bacillus spores are also simply called Bacillus.
図1は、実施形態の微小粒子計測システム10の概要構成図である。微小粒子計測システム10は、光源11と、ステージ13と、ステージ駆動部14と、レーザ変位計15と、対物レンズ16と、結像レンズ17と、イメージセンサ18と、計測制御部19と、情報処理装置20と、を備える。なお、計測制御部19と情報処理装置20を一体に構成してもよい。また、情報処理装置20を2つ以上に分けて構成してもよい。
FIG. 1 is a schematic configuration diagram of a
光源11は、測定対象の微小粒子を含む測定用試料SP(液体。検体)に対して照明光Lを出射する。
The
ステージ13は、測定用試料SPを保持するスライドガラス(プレパラート)12を支持する。
The
ステージ駆動部14は、ステージ13を光軸に沿って図1の上下方向に移動させる。
レーザ変位計15は、スライドガラス12の位置をレーザによって検出する。
The
The
対物レンズ16は、照明光Lを集光して平行光とする。
結像レンズ17は、平行光となった照明光Lを集光して結像する。
The
The
イメージセンサ18は、結像レンズ17により結像された照明光を撮像して撮像画像を出力する。
計測制御部19は、ステージ駆動部14やイメージセンサ18を制御する。
The
The
情報処理装置20は、取得部21と、検出部22と、算出部23と、処理部24と、記憶部25と、表示部26と、を備える。
The
取得部21は、イメージセンサ18から撮像画像を取得する。
The
検出部22は、撮像画像に映っている微小粒子や夾雑物などを検出する。
The
算出部23は、検出部22による検出結果と所定の指標に基づいて微小粒子検出の信頼度を算出する(詳細は後述)。
The
処理部24は、各種の情報処理を実行する。例えば、処理部24は、信頼度に基づいて次の処理を決定する。例えば、処理部24は、信頼度が所定の閾値未満の場合に、信頼度を向上させるための所定の動作をユーザ(作業者)に要求する画面を表示部26に表示させる。例えば、処理部24は、信頼度が所定の閾値未満の場合に、追加の撮像画像の取得をユーザに要求する。
The
また、例えば、処理部24は、信頼度が所定の閾値未満の場合に、自動的に追加の撮像画像を取得するようにしてもよい。
Further, for example, the
記憶部25は、各部21~24の動作プログラムや、各種パラメータや、取得部21が取得した撮像画像や、検出部22による検出結果や、算出部23による信頼度などの算出結果や、処理部24による処理結果などを記憶する。
The
表示部26は、処理部24からの指示により各種情報を表示する。
The
なお、上記の各部21~24で行われる処理の全て若しくは一部は、記憶部25に記憶されている動作プログラムや各種のパラメータに基づいて1つのプロセッサ(制御部)によって実行される場合がある。
Note that all or part of the processing performed by each of the
次に、微小粒子の計測原理について説明する。液体中の微小粒子の背面側から照明光を照射した場合、微小粒子のレンズ効果により、照明光は微小粒子の粒子径及び屈折率に応じた位置に集光される。 Next, the principle of measuring microparticles will be explained. When illumination light is irradiated from the back side of microparticles in a liquid, the illumination light is focused at a position according to the particle diameter and refractive index of the microparticles due to the lens effect of the microparticles.
なお、集光位置に近づくほど透過光強度は高くなり、集光位置で透過光強度が最大となり、ふたたび集光位置から離れることにより、透過光強度は低下する。すなわち、透過光強度が最大となる位置が集光位置である。このとき、対物レンズ16と透過光強度が最大となる位置との間の距離を測定することにより、集光位置を特定することができる。
Note that the intensity of the transmitted light increases as it approaches the condensing position, reaches its maximum at the condensing position, and decreases as it moves away from the condensing position again. That is, the position where the transmitted light intensity is maximum is the light condensing position. At this time, the light condensing position can be specified by measuring the distance between the
この場合において、照明光の光路は、以下の式により表すことができるので、対物レンズ16と透過光強度が最大となる位置との間の距離に加えて、微小粒子の粒子径がわかっていれば、下記の光線追跡行列により表された方程式を解くことで、微小粒子の屈折率がわかる。
In this case, the optical path of the illumination light can be expressed by the following equation, so in addition to the distance between the
図2は、光線追跡行列におけるパラメータの説明図である。上記光線追跡行列において、微小粒子PCの半径をrとし、微小粒子の屈折率をnとし、対象となる微小粒子において照明光Lの透過光強度が最大となるときの微小粒子と対物レンズ16との間の距離をzとする。また、微小粒子に照明光Lが入射したときの光軸からの距離をx0とし、微小粒子に照明光Lが入射したときの入射角度をu0とする。また、イメージセンサ18に入射した照明光Lの光軸からの距離をx1とし、イメージセンサ18に入射した照明光Lの入射角度をu1とする。
FIG. 2 is an explanatory diagram of parameters in the ray tracing matrix. In the above ray tracing matrix, the radius of the microparticle PC is r, the refractive index of the microparticle is n, and the microparticle and the
さらに、対物レンズ16と結像レンズ17との距離をl1とし、結像レンズ17とイメージセンサ18との距離をl2とする。また、対物レンズの焦点距離をf1とし、結像レンズ17の焦点距離をf2とする。
Further, let the distance between the
そして、上述のように、微小粒子の屈折率がわかっていれば、上記光線追跡行列により表された方程式を解くことにより、微小粒子の粒子径を算出できる。 As described above, if the refractive index of the microparticle is known, the diameter of the microparticle can be calculated by solving the equation expressed by the ray tracing matrix.
また、有機系廃水処理において用いられる有用微生物は、条件によっては、微小粒子とみなすことが可能である。条件とは、例えば、有用微生物が芽胞を形成している場合である。芽胞を形成している場合には、形状等が変化しなくなるとともに、その形状も有用微生物によりほぼ一定であるためである。 Furthermore, useful microorganisms used in organic wastewater treatment can be considered microparticles depending on the conditions. The condition is, for example, when useful microorganisms form spores. This is because when spores are formed, the shape etc. do not change and the shape is also almost constant depending on the useful microorganism.
有用微生物の芽胞は、固有の大きさ(例えば粒子径)及び固有の屈折率を有していることから、微小粒子と同様に取り扱うことにより、このような有用微生物の検出、観測視野あたりの個数(ひいては、濃度)を計測することが可能となる。 Spores of useful microorganisms have a unique size (e.g. particle diameter) and a unique refractive index, so by treating them in the same way as microparticles, it is possible to detect such useful microorganisms and reduce the number of spores per observation field. (and, by extension, concentration).
濃度を計測する場合には、光軸方向に沿って、観察位置(画像撮像位置)を走査することにより、観察視野×走査距離に対応する容積中における有用微生物の個数を計測することで、濃度の計測が可能となる。 When measuring the concentration, the number of useful microorganisms in the volume corresponding to the observation field x scanning distance is measured by scanning the observation position (image capture position) along the optical axis direction. measurement becomes possible.
ところで、光の屈折率が既知で粒径が1μm以下である汚泥中のバチルス(Bacillus)属菌株の芽胞(バチルス芽胞)では、透過光強度が最大となる距離zに対応する位置は画像取得においての焦点距離f1に対応する被写界深度内(実効的な焦点位置)に位置することがわかっている。このため、あらかじめ設定した透過光強度閾値に基づいて閾値以上の光強度を持つ部分をバチルス芽胞と見なすことができる。 By the way, for spores of a Bacillus strain in sludge (Bacillus spores) with a known refractive index of light and a particle size of 1 μm or less, the position corresponding to the distance z where the transmitted light intensity is maximum is determined in image acquisition. is known to be located within the depth of field (effective focal position) corresponding to the focal length f 1 of . Therefore, based on a preset transmitted light intensity threshold, a portion having a light intensity equal to or higher than the threshold can be regarded as a Bacillus spore.
この場合において、バチルス芽胞を含む液体の透過光強度は、バチルス芽胞を含まない液体の透過光強度よりも大きくなる。
したがって、バチルス芽胞を含むか否かの判断を行うための透過光強度の閾値を、芽胞を含まない液中における透過光強度よりやや大きな値とすることにより、バチルス芽胞を確実に検出することができる。
In this case, the transmitted light intensity of the liquid containing Bacillus spores is greater than the transmitted light intensity of the liquid that does not contain Bacillus spores.
Therefore, Bacillus spores can be detected reliably by setting the threshold value of transmitted light intensity for determining whether or not Bacillus spores are contained to a value slightly larger than the transmitted light intensity in a liquid that does not contain spores. can.
さらに、設定した閾値を用いて、試料を光軸方向に連続的に移動させつつ、順次画像を撮像し、撮像画像から得られた場所毎(画素毎)の透過光強度と微小粒子としてのバチルス芽胞の大きさ(粒子径)を判断基準とする深層学習(機械学習)を組み合わせることでバチルス芽胞の検出及び個数の計測、ひいては、バチルス芽胞の濃度の計測を高精度化することが可能となる。 Furthermore, using the set threshold value, images were taken sequentially while moving the sample in the optical axis direction, and the transmitted light intensity for each location (each pixel) and Bacillus as microparticles were obtained from the captured images. By combining deep learning (machine learning) that uses the size of spores (particle diameter) as a criterion, it becomes possible to detect and measure the number of Bacillus spores, and by extension, measure the concentration of Bacillus spores with high accuracy. .
深層学習を行う場合、例えば、微小粒子の濃度が異なる複数の試料を予め調整し、各試料毎にユーザ(作業者)の人手による検出結果が深層学習による検出結果と等しくなるように、教師あり学習を行って、学習対象の微小粒子の粒子径及び屈折率に応じて得られる微小粒子の検出結果を得るようにすればよい。 When performing deep learning, for example, multiple samples with different concentrations of microparticles are prepared in advance, and a supervised method is used to make the manual detection result of the user (operator) equal to the detection result of deep learning for each sample. Learning may be performed to obtain microparticle detection results based on the particle diameter and refractive index of the microparticle to be learned.
次に、図3は、バチルス芽胞についての相対透過光強度などの説明図である。詳しくは、この図3は、バチルス芽胞について透過光強度が最大となるときのバチルス芽胞と対物レンズ16との間の距離zに対する実際の対物レンズ16の位置の差と、相対透過光強度と、の関係を説明する図である。
Next, FIG. 3 is an explanatory diagram of relative transmitted light intensity, etc. for Bacillus spores. Specifically, FIG. 3 shows the difference in the actual position of the
また、図4は、アクリル粒子についての相対透過光強度などの説明図である。より詳しくは、この図4は、粒子径=30μmのアクリル粒子について透過光強度が最大となるときのアクリル粒子(微小粒子)と対物レンズ16との間の距離zに対する実際の対物レンズ16の位置の差と、相対透過光強度と、の関係を説明する図である。
Moreover, FIG. 4 is an explanatory diagram of relative transmitted light intensity, etc. for acrylic particles. More specifically, FIG. 4 shows the actual position of the
まず、バチルス芽胞及びアクリル粒子について、イメージセンサ18により焦点位置における画像を取得した。
その後、ステージ駆動部14によりステージ13を光軸方向に沿って上下方向に移動させ、イメージセンサ18上でそれぞれの微小粒子の相対透過光強度が最大となるときの対物レンズ16の位置と、実際の対物レンズ16の位置との位置差Δzをレーザ変位計15により測定した。
First, images of Bacillus spores and acrylic particles at the focal position were acquired by the
After that, the
図3(A)は、バチルス芽胞を含む液体において、相対透過光強度が最大となった場合の撮像画像である。図3(A)に示すように、撮像領域の中心で相対透過光強度が最大となっていることがわかる。そして、図3(B)に示すように、バチルス芽胞を含む液体においては、位置差Δz=0μmで相対透過光強度が最大となると算出された。 FIG. 3(A) is a captured image when the relative transmitted light intensity reaches the maximum in a liquid containing Bacillus spores. As shown in FIG. 3A, it can be seen that the relative transmitted light intensity is maximum at the center of the imaging region. As shown in FIG. 3(B), it was calculated that in the liquid containing Bacillus spores, the relative transmitted light intensity was maximized at a positional difference Δz=0 μm.
これに対し、図4(B)に示すように、粒子径=30μmのアクリル粒子を含む液体の場合、バチルス芽胞において相対透過光強度が最大となった位置差Δ0μmにおいては、相対透過光強度は負の値を有している。すなわち、透過光強度は、背景光強度より低くなっていることがわかる。また、図4(A)に示すように、アクリル粒子の周辺で相対透過光強度が最小となっていることがわかる。そして、図4(B)に示すように、粒子径=30μmのアクリル粒子を含む液体においては、位置差Δz=±15μmより外側で相対透過光強度が最大となると算出された。 On the other hand, as shown in Fig. 4(B), in the case of a liquid containing acrylic particles with a particle diameter of 30 μm, the relative transmitted light intensity is It has a negative value. That is, it can be seen that the transmitted light intensity is lower than the background light intensity. Moreover, as shown in FIG. 4(A), it can be seen that the relative transmitted light intensity is minimum around the acrylic particles. As shown in FIG. 4(B), it was calculated that in a liquid containing acrylic particles with a particle diameter of 30 μm, the relative transmitted light intensity was maximized outside the positional difference Δz=±15 μm.
また、図4(C)は、粒子径=30μmのアクリル粒子を含む液体において、相対透過光強度が最大となった場合の撮像画像である。図4(C)に示すように、撮像領域の中心で相対透過光強度が最大となっていることがわかる。そして、図4(D)に示すように、粒子径=30μmのアクリル粒子を含む液体においては、位置差Δz=26μmで相対透過光強度が最大となると算出された。 Moreover, FIG. 4(C) is a captured image when the relative transmitted light intensity becomes maximum in a liquid containing acrylic particles with a particle diameter of 30 μm. As shown in FIG. 4C, it can be seen that the relative transmitted light intensity is maximum at the center of the imaging region. As shown in FIG. 4(D), in a liquid containing acrylic particles with a particle diameter of 30 μm, the relative transmitted light intensity was calculated to be maximum at a position difference Δz=26 μm.
この計測結果に基づき、上述した光線追跡行列を用いてバチルス芽胞及び粒子径30μmのアクリル粒子について、透過光強度が最大となるときの微小粒子であるバチルス芽胞及び粒子径30μmのアクリル粒子から対物レンズ16迄の距離zと、対物レンズの焦点距離との差に相当する位置差Δzを算出したところ、バチルス芽胞を含む液体における位置差Δz=0.9μm、粒子径30μmのアクリル粒子を含む液体における位置差Δz=22.5μmとなり、レーザ変位計15を用いた計測結果とほぼ一致することがわかった。このときの対物レンズ16と結像レンズ17との距離をl1=130mm、結像レンズ17とイメージセンサ18との距離をl2=164.5mm、対物レンズの焦点距離をf1=4.1125mm、結像レンズ17の焦点距離をf2=164.5mmとした。また、バチルス芽胞のr=1μm、n=1.4とし、アクリル粒子のn=1.5とした。
Based on this measurement result, using the above-mentioned ray tracing matrix, the objective lens is selected from Bacillus spores and acrylic particles with a particle size of 30 μm, which are microparticles at which the transmitted light intensity is maximum, for Bacillus spores and acrylic particles with a particle size of 30 μm. When we calculated the positional difference Δz corresponding to the difference between the distance z to 16 and the focal length of the objective lens, we found that the positional difference Δz in the liquid containing Bacillus spores was 0.9 μm, and in the liquid containing acrylic particles with a particle size of 30 μm. It was found that the positional difference Δz was 22.5 μm, which almost coincided with the measurement result using the
特に、バチルス芽胞を含む液体における位置差Δz=0.9μmは、実効的に対物レンズ16の焦点距離と等しく(被写界深度内)、相対透過光強度は、焦点位置において最大となることがわかった。
このことから、バチルス芽胞の計測においては、焦点距離における透過光強度を測定することで、バチルス芽胞の検出が可能であるということがわかった。
In particular, the positional difference Δz = 0.9 μm in the liquid containing Bacillus spores is effectively equal to the focal length of the objective lens 16 (within the depth of field), and the relative transmitted light intensity is maximum at the focal position. Understood.
From this, it was found that Bacillus spores can be detected by measuring the intensity of transmitted light at a focal length.
このようにして、バチルス芽胞について、透過光強度が最大の時に中心部が明るく光るという特性を利用し、撮像画像からバチルス芽胞のみを検出可能である。 In this way, only the Bacillus spores can be detected from the captured image by utilizing the characteristic of the Bacillus spores that the center shines brightly when the transmitted light intensity is maximum.
次に、図5は、汚泥の撮像画像の例を示す図である。図5(a)(b)に示すように、撮像画像には、バチルス芽胞Bのほかに、夾雑物Cが映る場合もある。 Next, FIG. 5 is a diagram showing an example of a captured image of sludge. As shown in FIGS. 5A and 5B, in addition to Bacillus spores B, contaminants C may also be seen in the captured image.
次に、図6は、深層学習で使用する撮像画像と教示画像の例を示す図である。(a)はバチルス芽胞Bと夾雑物Cが映っている撮像画像である。この撮像画像に対してユーザが正解データとしてバチルス芽胞Bの中心位置Pを与えて(b)に示す教示画像とする。これらの画像を用いて、撮像画像においてバチルス芽胞Bの中心位置Pを検出するようにネットワークを学習させることで、深層学習を行うことができる。 Next, FIG. 6 is a diagram showing an example of a captured image and a teaching image used in deep learning. (a) is a captured image showing Bacillus spores B and contaminants C. The user gives the center position P of the Bacillus spore B as correct data to this captured image, resulting in a teaching image shown in (b). Using these images, deep learning can be performed by training the network to detect the center position P of Bacillus spore B in the captured image.
次に、図7は、深層学習によるバチルス検出結果の例を示す図である。検出部22は、深層学習を用いた画像処理によるバチルス芽胞の検出結果の尤度(画素ごとのバチルス芽胞の中心位置である可能性(確からしさ))を算出する。
Next, FIG. 7 is a diagram showing an example of Bacillus detection results by deep learning. The
図7(a)は入力画像(撮像画像)である。検出部22は、例えば、図7(b)に示す尤度マップを算出する。この尤度マップは、明るいほど尤度が高く、暗いほど尤度が低いことを示す。符号Qは、バチルス芽胞B(図7(a))に対応して尤度が高くなっている部分である。
FIG. 7(a) is an input image (captured image). The
そして、検出部22は、この尤度を閾値処理し、一定以上の尤度を持つ画素をバチルスの中心位置とすることで、図7(c)に示す検出結果を得る。図7(c)において、符号Sは、検出したバチルス芽胞の中心位置を示す。
Then, the
次に、信頼度の閾値について詳細に説明する。信頼度の閾値は、例えば、バチルスの優占化濃度を測定するために必要な画像枚数や、微小粒子計測システム10が測定できる最低濃度や、微小粒子計測システム10の測定誤差などに基づいて設定する。
Next, the reliability threshold will be explained in detail. The reliability threshold is set based on, for example, the number of images required to measure the dominant concentration of Bacillus, the minimum concentration that the
また、信頼度の閾値は、例えば、微小粒子計測システム10で事前に設定した値を使用してもよいし、あるいは、微小粒子計測システム10を導入する現場ごとに異なる値を設定してもよい。
Further, as the reliability threshold, for example, a value preset in the
具体的には、信頼度の閾値を、例えば、以下の信頼度の指標の各例について、1.0と設定する。その場合、信頼度が1.0以上になるように測定作業を実施する。また、濃度測定結果の信頼度をより高めたい場合は、閾値を1.0より大きい値に設定してもよい。逆に、信頼度が高くなくてよい場合は、閾値を1.0より小さく設定してもよい。 Specifically, the reliability threshold is set to, for example, 1.0 for each of the following examples of reliability indicators. In that case, the measurement work is performed so that the reliability becomes 1.0 or more. Furthermore, if it is desired to further increase the reliability of the concentration measurement results, the threshold value may be set to a value greater than 1.0. Conversely, if the reliability does not need to be high, the threshold value may be set smaller than 1.0.
以下、信頼度の指標の例について説明する。 Examples of reliability indicators will be described below.
(信頼度の指標が微小粒子の個数)
信頼度の指標が微小粒子の個数の場合、算出部23は、検出した微小粒子の個数に基づいて、信頼度を算出する。
(The reliability index is the number of microparticles)
When the reliability index is the number of microparticles, the
例えば、バチルス芽胞をL個計測すれば統計的に計測濃度と実際の濃度が一致すると仮定する。このとき、信頼度を以下の式で算出する。
生物測定に関する手法(標準計数法)には、測定対象生物を約30個計測すれば統計的に計測濃度と実際の濃度が一致するという考え方がある。したがって、例えば、変数Lを30とすることができる。 The biometric method (standard counting method) has the idea that if approximately 30 target organisms are measured, the measured concentration will statistically match the actual concentration. Therefore, for example, the variable L can be set to 30.
なお、その場合、上述の式ではなく、図8に示す参照テーブルを用いて信頼度を算出してもよい。ただし、変数L=30は一例であり、バチルス個数の値の範囲や信頼度の値は任意に設定することができる。 Note that in that case, the reliability may be calculated using the reference table shown in FIG. 8 instead of the above-mentioned formula. However, the variable L=30 is an example, and the range of the number of Bacilli and the reliability value can be set arbitrarily.
(信頼度の指標が撮像画像の枚数)
信頼度の指標が撮像画像の枚数の場合、算出部23は、撮像画像の枚数に基づいて、信頼度を算出する。
(The reliability index is the number of captured images)
When the reliability index is the number of captured images, the
有機系廃水処理において、バチルスが優占化する濃度は105[個/ml]以上である。この濃度を測定するために必要な撮像画像枚数から信頼度を計算する。 In organic wastewater treatment, the concentration at which Bacillus becomes dominant is 10 5 [cells/ml] or higher. The reliability is calculated from the number of captured images required to measure this density.
例えば、バチルス濃度が105[個/ml]のとき、「撮像画像1枚あたりにバチルスがm個映る」とすると、「測定対象生物をL個計測」するためには、L/m枚の画像が必要である。よって、信頼度を以下の式で算出する。
画像枚数に基づいて信頼度を算出するので、作業者にとってわかりやすい。つまり、例えば、信頼度が基準を満たさない場合、撮像画像の枚数を増やすだけでよい。 Since reliability is calculated based on the number of images, it is easy for operators to understand. That is, for example, if the reliability does not meet the standard, it is sufficient to simply increase the number of captured images.
また、微小粒子計測システム10が測定できる(または測定したい)最低濃度が決められている場合、同様に信頼度を求めることができる。
Furthermore, if the minimum concentration that the
例えば、微小粒子計測システム10が測定できる最低濃度が103[個/ml]のとき、「撮像画像1枚あたりにバチルスがn個映る」とすると、「測定対象生物をL個計測」するためには、L/n枚の画像が必要である。よって、信頼度を以下の式で算出する。
(信頼度の指標がバチルス芽胞の検出結果の尤度)
信頼度の指標がバチルス芽胞の検出結果の尤度の場合、算出部23は、深層学習を用いた画像処理によるバチルス芽胞の検出結果の尤度に基づいて、信頼度を算出する。
(The reliability index is the likelihood of Bacillus spore detection results)
When the reliability index is the likelihood of the detection result of Bacillus spores, the
例えば、信頼度の基準を「バチルス検出結果の尤度の平均値がr以上」としたとき、信頼度を以下の式で算出する。
(信頼度の指標が夾雑物の検出結果)
信頼度の指標がバチルス芽胞以外の夾雑物の検出結果の場合、算出部23は、夾雑物の検出結果に基づいて、信頼度を算出する。
(The reliability index is the detection result of foreign matter)
When the reliability index is a detection result of a contaminant other than Bacillus spores, the
例えば、信頼度の基準を「バチルス以外の夾雑物が占めるピクセル数がs以下」としたとき、信頼度を以下の式で算出する。
また、夾雑物が占めるピクセル数のほかに、夾雑物の大きさや個数などを用いて信頼度を算出するようにしてもよい。 Furthermore, in addition to the number of pixels occupied by foreign objects, the reliability may be calculated using the size and number of foreign objects.
次に、図9は、実施形態の微小粒子計測システム10による処理を示すフローチャートである。まず、この処理以前の作業などについて説明する。
Next, FIG. 9 is a flowchart showing processing by the
まず、測定作業者は、測定したい微生物(バチルス)が存在する水処理装置から採水する。採水した検体に所定の前処理(フィルタ処理、加熱処理など)を実施する。前処理の終わった検体を微小粒子計測システム10にセットする。
First, the measurement operator samples water from the water treatment equipment where the microorganism (bacillus) to be measured is present. Perform predetermined pretreatment (filter treatment, heat treatment, etc.) on the sampled water sample. The pretreated sample is set in the
次に、図9のステップS1において、取得部21は、イメージセンサ18から撮像画像を取得する。
Next, in step S1 of FIG. 9, the
次に、ステップS2において、検出部22は、撮像画像に映っているバチルス芽胞を検出する。
Next, in step S2, the
次に、ステップS3において、算出部23は、ステップS2による検出結果と所定の指標に基づいて微小粒子検出の信頼度を算出する。
Next, in step S3, the
次に、ステップS4において、処理部24は、ステップS3で算出した信頼度が閾値以上か否かを判定し、Yesの場合は処理を終了し、Noの場合はステップS5に進む。
Next, in step S4, the
ステップS5において、処理部24は、信頼度を向上させるための所定の動作をユーザに要求する画面を表示部26に表示させる。例えば、処理部24は、追加の撮像画像の取得をユーザに要求する。ユーザは、この表示を見て、信頼度が上がるように、スライドガラス12をずらしてイメージセンサ18による撮像を行ったり、スライドガラス12を交換してイメージセンサ18による撮像を行ったりする。
In step S5, the
ユーザが行う作業としては、ほかに、例えば、夾雑物を除去するためのフィルタ処理や、バチルスの生菌を芽胞化させる加熱処理、活性剤注入などがある。 Other operations performed by the user include, for example, filter processing to remove impurities, heat treatment to spore-form viable Bacillus bacteria, and injection of an activator.
また、信頼度を高める操作を一定回数以上行っても信頼度が閾値以上とならない状態が続いた場合、測定結果を「計測下限以下の濃度」または「測定不能」とし、測定を終了するようにしてもよい。 In addition, if the reliability does not exceed the threshold even after performing operations to increase the reliability a certain number of times, the measurement result will be marked as ``concentration below the measurement lower limit'' or ``unmeasurable,'' and the measurement will be terminated. It's okay.
また、例えば、微小粒子計測システム10の構成が異なっていて、スライドガラス12を使用せずに検体を直接撮像する場合、検体を振るなどして状態を変えてからイメージセンサ18による撮像を行ってもよい。
For example, if the configuration of the
また、例えば、微小粒子計測システム10の構成が異なっていて、追加の新たな撮像画像の自動的な取得が可能になっている場合、処理部24が自動的に追加の新たな撮像画像を取得するようにしてもよい。その場合、例えば、スライドガラス12を自動的にずらす装置が設けられているものとする。
Further, for example, if the configuration of the
ステップS5で要求した所定の動作が終わった後、再びステップS1以降の処理を実行する。 After the predetermined operation requested in step S5 is completed, the processing from step S1 onwards is executed again.
このようにして、本実施形態の微小粒子計測システム10によれば、微小粒子検出の信頼度を算出し、信頼度に基づいて次の処理を決定することで、微小粒子測定の精度を向上させることができる。つまり、信頼度が低い場合に作業者に具体的な作業を要求することで、専門知識のない作業者でも適切な作業を容易に実行できる。
In this way, according to the
なお、以上では、微小粒子計測システム10をスタンドアロンで構成する場合について説明したが、これに限定されない。例えば、微小粒子計測システム10は、ローカル端末側でイメージセンサ18により撮像画像を取得し、その撮像画像を通信インタフェース及び通信ネットワークを介してクラウドサーバに転送し、クラウドサーバ側で情報処理装置20による処理を行い、処理結果をローカル端末で表示するようにしてもよい。
In addition, although the case where the
また、本実施形態の微小粒子計測システム10は、CPU(Central Processing Unit)などの制御装置と、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶装置と、HDD(Hard Disk Drive)などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
Further, the
また、本実施形態の微小粒子計測システム10で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルで、DVD(Digital Versatile Disk)、USB(Universal Serial Bus)メモリ、SSD(Solid State Drive)などの半導体記憶装置等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
Further, the program executed by the
また、当該プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、当該プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。 Alternatively, the program may be stored on a computer connected to a network such as the Internet, and provided by being downloaded via the network. Further, the program may be provided or distributed via a network such as the Internet.
また、当該プログラムを、ROM等に予め組み込んで提供するように構成してもよい。 Further, the program may be configured to be provided by being incorporated in a ROM or the like in advance.
10…微小粒子計測システム、11…光源、12…スライドガラス、13…ステージ、14…ステージ駆動部、15…レーザ変位計、16…対物レンズ、17…結像レンズ、18…イメージセンサ、19…計測制御部、20…情報処理装置、21…取得部、22…検出部、23…算出部、24…処理部、25…記憶部、26…表示部
DESCRIPTION OF
Claims (9)
前記照明光を集光する対物レンズと、
集光された前記照明光を結像する結像レンズと、
結像された前記照明光を撮像して撮像画像を出力するイメージセンサと、
前記撮像画像に映っている前記微小粒子を検出する検出部と、
前記検出部による検出結果と所定の指標に基づいて微小粒子検出の信頼度を算出する算出部と、
前記信頼度に基づいて次の処理を決定する処理部と、
を備える微小粒子測定システム。 a light source that emits illumination light to a liquid containing microparticles to be measured;
an objective lens that focuses the illumination light;
an imaging lens that forms an image of the condensed illumination light;
an image sensor that captures the imaged illumination light and outputs a captured image;
a detection unit that detects the microparticles shown in the captured image;
a calculation unit that calculates the reliability of microparticle detection based on the detection result by the detection unit and a predetermined index;
a processing unit that determines the next process based on the reliability;
Microparticle measurement system equipped with
前記算出部は、検出した前記微小粒子の個数に基づいて、前記信頼度を算出する、請求項1に記載の微小粒子測定システム。 The index is the number of microparticles,
The microparticle measuring system according to claim 1, wherein the calculation unit calculates the reliability based on the number of the detected microparticles.
前記算出部は、前記撮像画像の枚数に基づいて、前記信頼度を算出する、請求項1に記載の微小粒子測定システム。 The index is the number of captured images,
The microparticle measurement system according to claim 1, wherein the calculation unit calculates the reliability based on the number of captured images.
前記指標は、前記バチルス芽胞の検出結果の尤度であり、
前記算出部は、前記撮像画像による深層学習を用いた画像処理による前記バチルス芽胞の検出結果の尤度に基づいて、前記信頼度を算出する、請求項1に記載の微小粒子測定システム。 The microparticles are Bacillus spores whose refractive index of light in sludge is known,
The index is the likelihood of the detection result of the Bacillus spores,
The microparticle measurement system according to claim 1, wherein the calculation unit calculates the reliability based on the likelihood of the Bacillus spore detection result obtained by image processing using deep learning using the captured image.
前記指標は、前記バチルス芽胞以外の夾雑物の検出結果であり、
前記検出部は、前記撮像画像に映っている前記夾雑物を検出し、
前記算出部は、前記夾雑物の検出結果に基づいて、前記信頼度を算出する、請求項1に記載の微小粒子測定システム。 The microparticles are Bacillus spores whose refractive index of light in sludge is known,
The indicator is a detection result of impurities other than the Bacillus spores,
The detection unit detects the foreign matter appearing in the captured image,
The microparticle measurement system according to claim 1, wherein the calculation unit calculates the reliability based on the detection result of the contaminants.
前記検出部が、前記撮像画像に映っている前記微小粒子を検出する検出ステップと、
前記算出部が、前記検出ステップによる検出結果と所定の指標に基づいて微小粒子検出の信頼度を算出する算出ステップと、
前記処理部が、前記信頼度に基づいて次の処理を決定する処理ステップと、を含む微小粒子測定方法。
a light source that emits illumination light to a liquid containing microparticles to be measured; an objective lens that focuses the illumination light; an imaging lens that forms an image of the focused illumination light; A microparticle measurement method using a microparticle measurement system comprising an image sensor that captures the illumination light and outputs a captured image, a detection unit, a calculation unit, and a processing unit,
a detection step in which the detection unit detects the microparticles shown in the captured image;
a calculation step in which the calculation unit calculates the reliability of microparticle detection based on the detection result from the detection step and a predetermined index;
A method for measuring microparticles, including a processing step in which the processing section determines the next processing based on the reliability.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022048740A JP2023142064A (en) | 2022-03-24 | 2022-03-24 | Microparticle measuring system and microparticle measuring method |
PCT/JP2022/028718 WO2023181438A1 (en) | 2022-03-24 | 2022-07-26 | Particle measuring system, and particle measuring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022048740A JP2023142064A (en) | 2022-03-24 | 2022-03-24 | Microparticle measuring system and microparticle measuring method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023142064A true JP2023142064A (en) | 2023-10-05 |
Family
ID=88100342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022048740A Pending JP2023142064A (en) | 2022-03-24 | 2022-03-24 | Microparticle measuring system and microparticle measuring method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023142064A (en) |
WO (1) | WO2023181438A1 (en) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5480559B2 (en) * | 2008-10-30 | 2014-04-23 | シスメックス株式会社 | Bacteria analyzer, bacteria analysis method, and computer program |
US10234370B2 (en) * | 2015-03-30 | 2019-03-19 | National Institute Of Advanced Industrial Science And Technology | Particle size measuring method and device |
JP6555164B2 (en) * | 2016-03-18 | 2019-08-07 | 株式会社島津製作所 | Particle size distribution measuring apparatus, data processing method, and data processing program |
GB201622086D0 (en) * | 2016-12-23 | 2017-02-08 | Scientia Terrae Vzw And Katholieke Univ Leuven And Proefstation Groenteteelt And Proefcentrum Hoogst | Biocontrol organism |
EP3767587A1 (en) * | 2019-07-19 | 2021-01-20 | Euroimmun Medizinische Labordiagnostika AG | Detection of presence of different antinuclear antibody fluorescence pattern types and device for same |
JP7362509B2 (en) * | 2020-02-26 | 2023-10-17 | 東芝インフラシステムズ株式会社 | Microparticle measurement device, microparticle measurement method, and microparticle measurement program |
JP2022039780A (en) * | 2020-08-28 | 2022-03-10 | シスメックス株式会社 | Measurement method, measurement device, and measurement program |
-
2022
- 2022-03-24 JP JP2022048740A patent/JP2023142064A/en active Pending
- 2022-07-26 WO PCT/JP2022/028718 patent/WO2023181438A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023181438A1 (en) | 2023-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6687951B2 (en) | Particle size measuring method and apparatus | |
TW229266B (en) | ||
US9080935B2 (en) | Image analysis method for cell observation, image-processing program, and image-processing device | |
CN106839976B (en) | Method and device for detecting lens center | |
CN109154563B (en) | Device and method for detecting particles present in a sample | |
CN103885168B (en) | Self-alignment method for microscopie unit | |
JP2001502414A (en) | Method and apparatus for assessing slide and sample preparation quality | |
JP6558315B2 (en) | Bubble diameter distribution measuring apparatus and bubble diameter distribution measuring method | |
JP5223069B2 (en) | Sample analysis method and needle-shaped region analysis apparatus using the same | |
CN101198859A (en) | Film inspection device and film inspection method | |
CN103946756A (en) | Optical method for controlling the movement of a sampling tool | |
WO2023181438A1 (en) | Particle measuring system, and particle measuring method | |
JP7362509B2 (en) | Microparticle measurement device, microparticle measurement method, and microparticle measurement program | |
JP2023044875A (en) | Water quality monitoring system | |
JP2005218379A (en) | Method for determining state of cultured cell and apparatus therefor | |
TW201404878A (en) | Device for automatically rapidly analyzing biological cells and related method thereof | |
WO2023095414A1 (en) | Microparticle measurement method, microparticle measurement device, and microparticle measurement system | |
CN116697883A (en) | Fixed-year analysis method for apatite fission track | |
JP6559876B2 (en) | Cancer analysis system and cancer analysis method | |
JP7141537B2 (en) | particle quantifier | |
Dyomin et al. | Methods for image enhancement and accuracy increase in the digital holography of particles | |
WO2019193815A1 (en) | Device for testing bacterium, and method for testing bacterium | |
JP2010121955A (en) | Height information acquisition device, height information acquisition method, and program | |
CN111879804B (en) | Method, device and system for determining organic carbon content of shale | |
JP2889931B2 (en) | Metal material inspection method and metal material inspection device |