JP2022190326A

JP2022190326A - 誘電体粒子推定装置及び誘電体粒子種類推定システム

Info

Publication number: JP2022190326A
Application number: JP2021098598A
Authority: JP
Inventors: 智士森田; Satoshi Morita; 義行岡本; Yoshiyuki Okamoto; 弘暉瀧澤; Koki Takizawa; 嘉一脇坂; Yoshikazu Wakizaka
Original assignee: Afi Corp
Current assignee: Afi Corp
Priority date: 2021-06-14
Filing date: 2021-06-14
Publication date: 2022-12-26
Anticipated expiration: 2041-06-14
Also published as: JP7061412B1

Abstract

【課題】検査対象の細菌の種類を推定できる誘電体粒子種類推定装置を提供する。【解決手段】誘電体粒子推定装置７は、試料液に含まれる誘電体粒子について誘電泳動を起させて捕獲した誘電体粒子を撮像した画像を取得し、誘電体粒子の種類を推定する誘電体粒子推定部し、撮像された画像についてノイズを除去するための画像処理を行う画像処理部６０と、画像処理が行われた画像に含まれる誘電体粒子の形状に基づいて、第１カテゴリに分類する形状分類部６２と、生育環境に基づいて、誘電体粒子を第２カテゴリに分類する生育環境分析部６４と、第２カテゴリ内における略同一形状の誘電体粒子の画像解析を行って特徴量の差異を抽出し、該差異に基づいて第３カテゴリに分類する同形状内分類部６６と、同形状内分類部６６で分類されたデータに基づいて、誘電体粒子の種類を推定する推定部７０と、を備える。【選択図】図１

Description

本発明は、誘電体粒子推定装置及び誘電体粒子種類推定システムに関する。

従来、試料液中に含まれる細菌や細胞等の誘電体粒子に対して誘電泳動を利用して検査する検査方法が知られている。

本発明に関連する技術として、例えば、試料液中に含まれる誘電体粒子を検査する検査装置であって、少なくとも一対の電極と、一対の電極上に所定方向に延在する流路と、一対の電極の間で所定方向に並びつつ互いに分離している複数のスリット領域とを有する誘電体捕集部と、流路を所定方向に進むように、試料液を送液するポンプ部と、送液される試料液中の誘電体粒子が誘電泳動を起すように、所定周波数の交流電圧を一対の電極に供給する交流電圧供給部とを備える検査装置が開示されている。

国際公開２０１７／０６１４９６号公報

誘電泳動を利用した検査装置などを用いて細菌を検査する際に検査対象の細菌の種類を推定できることが望ましい。

本発明の目的は、検査対象の細菌の種類を推定できる誘電体粒子推定装置及び誘電体粒子種類推定システムを提供することである。

本発明に係る誘電体粒子推定装置は、試料液に含まれる誘電体粒子について誘電泳動を起させて捕獲した前記誘電体粒子を撮像した画像を取得し、前記誘電体粒子の種類を推定する誘電体粒子推定部を有する誘電体粒子推定装置であって、前記誘電体粒子推定部は、前記撮像部によって撮像された画像についてノイズを除去し、誘電体粒子該当部を認識・抽出する画像処理を行う画像処理部と、前記画像処理が行われた前記画像に含まれる前記誘電体粒子の形状に基づいて、前記誘電体粒子を大別する第１カテゴリに分類する形状分類部と、前記形状分類部で分類された後、生育環境に基づいて、前記誘電体粒子を前記第１カテゴリの下位概念である第２カテゴリに分類する生育環境分析部と、前記生育環境分析部で分類された後、前記第２カテゴリ内における略同一形状の前記誘電体粒子の画像解析を行って特徴量の差異を抽出し、該差異に基づいて前記第２カテゴリの下位概念の第３カテゴリに分類する同形状内分類部と、前記同形状内分類部で分類されたデータに基づいて、前記誘電体粒子の種類を推定する推定部と、を備えることを特徴とする。

また、本発明に係る誘電体粒子推定装置において、前記第３カテゴリ内に分類されたデータに基づいて、前記推定部が推定できない場合に、前記第３カテゴリ内において類似する菌種のみを画像解析して特徴量の差異を抽出し、該差異に基づいて前記第３カテゴリの下位概念の第４カテゴリに分類する特殊分類部を備え、前記推定部は、前記特殊分類部で分類されたデータに基づいて、前記誘電体粒子の種類を推定することが好ましい。

また、本発明に係る誘電体粒子推定装置において、少なくとも一対の電極と、該一対の電極上に所定方向に延在する流路と、前記一対の電極の間で前記所定方向に並びつつ互いに分離している複数のスリット領域とを有する誘電体捕集部と、前記流路を前記所定方向に進むように、前記試料液を送液するポンプ部と、前記送液される前記試料液中の前記誘電体粒子が誘電泳動を起すように、所定周波数の交流電圧を前記一対の電極に供給する交流電圧供給部と、前記誘電体捕集部において、前記複数のスリット領域が並んだ所定領域を撮像する撮像部と、を備えることが好ましい。

また、本発明に係る誘電体粒子推定装置において、前記撮像部は、前記複数のスリット領域に設けられる前記誘電体粒子に向けて照明光を出力する光源部と、前記光源部から出力された前記照明光をリング状の前記照明光にするためのリングスリット部と、前記リングスリット部により形成された前記リング状の前記照明光を集光させるための集光筒部と、前記集光筒部により集光された前記直進光と前記回折光とを集約し、前記誘電体粒子を含んで構成されるレンズ体部と、前記レンズ体部により集約された前記直進光と前記回折光とを通過させて像を形成するための対物レンズ部と、を有することが好ましい。

また、本発明に係る誘電体粒子推定装置において、前記一対の電極の間で前記複数のスリット領域を連結する領域は、前記流路の外部に配置されていることが好ましい。

また、本発明に係る誘電体粒子推定装置において、前記誘電体粒子は、細菌、細胞、微生物、真菌、芽胞、及びウイルスの内の少なくとも一つを含むことが好ましい。

本発明に係る誘電体粒子推定システムは、前記複数の誘電体粒子推定装置は、複数のクライアント側の誘電体粒子推定装置と、該複数のクライアント側の誘電体粒子推定装置とネットワークを介して接続されるサーバ側の誘電体粒子推定装置とを含み、前記サーバ側の誘電体粒子推定装置は、前記画像処理部によって画像処理が行われた画像から前記誘電体粒子の特徴量を抽出する前記誘電体粒子推定部に基づいて抽出された複数の前記誘電体粒子の特徴量に基づいて深層学習を行う学習部を有し、前記各クライアント側の誘電体粒子推定装置は、予め特定された菌種の中から誘電体粒子の種類を推定し、前記サーバ側の誘電体粒子推定装置は、前記特定された菌種以外の菌種を含めた中から誘電体粒子の種類を推定することを特徴とする。

本発明によれば、検査対象の細菌の種類を推定することが出来る。

本発明に係る実施形態の誘電体粒子推定装置を有する誘電体粒子種類推定システムを示す図である。本発明に係る実施形態の誘電体粒子種類推定システムの検査装置を示す図である。本発明に係る実施形態において、誘電体粒子種類推定システムの検査装置の撮像部を示す図である。本発明に係る実施形態において、捕集ユニットを説明するための図である。本発明に係る実施形態において、図４（ｅ）の電極フィルムにおける配線領域の拡大図である。本発明に係る実施形態において、流路の端部近傍の領域におけるマイクロ電極部の拡大図である。本発明に係る実施形態において、検査方法の原理を示す図である。本発明に係る実施形態において、画像処理部によりノイズを除去している様子を示す図である。本発明に係る実施形態において、特徴量抽出部により特徴量を抽出している様子を示す図である。本発明に係る実施形態において、誘電体粒子推定装置を用いて推定する手順を示す図である。本発明に係る実施形態において、誘電体粒子推定装置の特殊分類部により分類している様子を示す図である。本発明に係る実施形態において、誘電体粒子推定装置の簡易テストによりテストしている様子を示す図である。本発明に係る実施形態において、誘電体粒子推定装置の簡易テストによりテストしている様子を示す図である。

以下に、本発明に係る実施の形態について添付図面を参照しながら詳細に説明する。以下では、全ての図面において同様の要素には同一の符号を付し、重複する説明を省略する。また、本文中の説明においては、必要に応じそれ以前に述べた符号を用いるものとする。

図１は、本発明に係る実施形態の誘電体粒子種類推定システム１を示す図である。図２は、本発明に係る実施形態の誘電体粒子種類推定システム１の検査装置２を示す図である。図３は、本発明に係る実施形態において、誘電体粒子種類推定システム１の検査装置２の撮像部１２を示す図である。

誘電体粒子種類推定システム１は、複数のクライアント側の誘電体粒子推定装置７と、各クライアント側の誘電体粒子推定装置７とネットワーク９を介して接続されるサーバ側の誘電体粒子推定装置８とを備えた複数の誘電体粒子推定部を含んで構成されている。各クライアント側の誘電体粒子推定装置７は、検査装置２に接続されている。各検査装置２は、検査部２ａ、制御装置４、情報処理装置５及び廃液チャンバ６を備えている。

誘電体粒子種類推定システム１は、試料液（サンプル）中の細菌や細胞の誘電泳動を利用して細菌等の検査を行う各検査装置２で得られた細菌等の誘電体粒子についての画像を蓄積して学習することで、検査装置２で撮影された細菌等の種類を推定する機能を有する。

各検査部２ａは、制御装置４で制御され、細菌等の検査対象が捕集された状態は情報処理装置５において表示される。

検査部２ａは、ポンプ部１０と、交流電圧供給部１１と、撮像部１２と、捕集ユニット３とを備える。

ポンプ部１０は、例えば、シリンジポンプで構成され、駆動部１０ａと、サンプルシリンジ１０ｂとを備える。駆動部１０ａは、モータなどを備えて構成され、制御装置４により駆動制御される。

サンプルシリンジ１０ｂは、試料液を保持するシリンジである。サンプルシリンジ１０ｂにおける送液部分には、捕集ユニット３が接続されている。ポンプ部１０では、駆動部１０ａの駆動制御によってサンプルシリンジ１０ｂから試料液が、流速や流量を適宜設定されて、捕集ユニット３に送液される。なお、ここでは、シリンジ側から廃液側にむけてサンプルを流すものとして説明したが、例えば、サンプルを廃液側にセットしてシリンジを吸い上げる方向で動作させてサンプルを廃液側からシリンジの向きで流し、目的とする誘電体粒子を捕捉してもよい。

図４は、本発明に係る実施形態において、捕集ユニット３を説明するための図である。捕集ユニット３は、試料液が所定方向（液流方向）に流れる流路１３と、流路１３中に設けられたマイクロ電極部３０とを有する。ポンプ部１０から送液された試料液は、捕集ユニット３内の流路１３を貫流して、廃液チャンバ６に廃液される。マイクロ電極部３０は、マイクロオーダで形成された電極群で構成される。

捕集ユニット３では、流路１３中のマイクロ電極部３０上に試料液が流れている際に、交流電圧供給部１１からマイクロ電極部３０に所定の交流電圧が供給される。これにより、試料液中における検査対象の細菌などが、誘電泳動を起こしてマイクロ電極部３０に捕集される。捕集ユニット３は、マイクロ電極部３０において細菌等の誘電体粒子を捕集する誘電体捕集部の一例である。捕集ユニット３の構成の詳細については後述する。

交流電圧供給部１１は、例えば、ファンクションジェネレータで構成される。交流電圧供給部１１は、制御装置４の制御により、所望の周波数及び電圧振幅を有する交流電圧を発生して、捕集ユニット３のマイクロ電極部３０に供給する。

撮像部１２は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を備える。撮像部１２を用いた観察法は、ここでは、「レンズ体集光観察法」と呼ぶ。

撮像部１２は、図３に示されるように、光源部５０と、リングスリット部５２と、集光筒部５４と、レンズ体部５６と、対物レンズ部５８とを備えている。

光源部５０は、後述するスリット領域Ｒｓの誘電体粒子に向けて照明光を放つ。

リングスリット部５２は、光源部５０と、スリット領域Ｒｓの誘電体粒子との間に設けられ、照明光をリング状の照明光にする。

集光筒部５４は、リングスリット部５２とスリット領域Ｒｓの誘電体粒子との間に設けられ、リング状の照明光を集光させてレンズ体部５６に照明光を放つ。

レンズ体部５６は、捕集ユニット３のスリット領域Ｒｓの誘電体粒子であり、直進光と回折光とを集約する。レンズ体部５６は、詳細については後述する。

対物レンズ部５８は、レンズ体部５６からの直進光と回折光とを通過させて像５９を形成する。

ここで、「レンズ体集光観察法」を説明するために比較例として、「変調コントラスト観察法」を説明する。変調コントラスト観察法は、無色透明な培養細胞をコントラスト良く観察するのに適した観察方法である。変調コントラスト観察法は、スリットを通過した斜めの照明光が標本を照射し、屈折率勾配の光線を結像側に設けた「変調板」を通過させることで、像にコントラストを付ける手法である。位相差物体であれば、標本がレンズ体でなくても像にコントラストが付くため観察が可能となる。

これに対し、「レンズ体集光観察法」は、変調板を使用しない。ここでは、レンズ体部５６は、位相物体の中でもレンズのように光を屈折させるような立体的な球状のものを指している。例えば、微生物や細胞、血小板等がそれにあたり、スリット領域Ｒｓの誘電体粒子がレンズ体部５６として機能する。

図３に示されるように、リングスリット部５２を通過した斜めの照明光（回折光）は集光筒部５４により増幅される。集光筒部５４により集約された回折光は様々な角度から標本を通過するが、標本がレンズ体部５６ではない位相物体の場合は、明視野観察時のように透き通るだけで可視化しない。

また、位相物体でない場合は光が通過しないため、像としては黒く映る。位相物体がレンズ体部５６であるときのみ、集約された回折光は、そのレンズ体部５６を通過する際に集光され、周辺よりも明るくなるため像としては白く映る。

レンズは、その中心に最も光が集まるため、例えば、微生物の場合は単一細胞の中心が周囲よりも明るくなり、外側の細胞壁付近は周囲よりも暗くなる。これにより、微生物のようなレンズ体部５６に特化した位相物体の可視化が可能となる。

このように、撮像部１２によれば、直接光と回折光がレンズ体部５６により集約され強められることで、位相物体の中でもレンズ体部５６であるサンプルが背景よりも特に明るくなる。また、その周囲は特に暗く見えるため、微生物等の単細胞を観察するのに適しており、さらには、画像処理部６０によりノイズが処理され、学習部７２等により特徴量を抽出学習させるのに適している。

撮像部１２は、捕集ユニット３におけるマイクロ電極部３０中の所定の領域を撮像し、撮像画像を情報処理装置５に出力する。撮像部１２の撮像動作は、制御装置４によって制御されてもよいし、情報処理装置５によって制御されてもよい。

制御装置４は、ポンプ部１０による試料液の送液や交流電圧供給部１１による交流電圧の供給などの検査部２ａの動作を制御する。制御装置４は、フラッシュメモリなどの内部メモリを備え、内部メモリに格納されたプログラムに基づいて種々のデータ等を利用して演算処理を行うことにより、各種の機能を実現する。

制御装置４は、専用に設計された電子回路や再構成可能な電子回路などのハードウェア回路（ＡＳＩＣ，ＦＰＧＡ等）で構成されてもよい。制御装置４の機能は、ハードウェアとソフトウェアとの協働で実現されてもよいし、ハードウェア（電子回路）のみで実現されてもよい。

情報処理装置５は、例えば、パーソナルコンピュータで構成される。情報処理装置５は、液晶ディスプレイや有機ＥＬディスプレイ（表示部）を備え、撮像部１２の撮像画像を表示する。

情報処理装置５は、フラッシュメモリなどの内部メモリを備え、内部メモリに格納されたプログラムに基づいて、各種の機能を実現する。例えば、情報処理装置５は、撮像部１２の撮像画像の画像解析を行い、撮像画像中で所定の条件に該当する領域（スリット）の対象物数を計測等の機能を有する。

情報処理装置５は、撮像部１２の撮像動作を制御してもよい。また、情報処理装置５と制御装置４とは、情報処理装置５において、制御装置４の各種機能を実現することで、一体的に構成されてもよい。情報処理装置５は、本実施形態における表示部の一例であり、且つ、撮像部１２の撮像結果を解析する画像解析部の一例である。

廃液チャンバ６は、検査部２ａの捕集ユニット３を貫流した試料液を溜めるチャンバである。廃液チャンバ６は、検査装置２ａの内部に組み込まれてもよい。

捕集ユニット３の構成について、図４～６を参照して説明する。図４（ａ）は、本発明に係る実施形態において、捕集ユニット３の平面図を示す。図４（ｂ）は、図４（ａ）に示す捕集ユニット３のＡ－Ａ線断面図を示す。捕集ユニット３は、図４（ａ）に示すように略矩形の平板形状を有する。

また、図４（ｂ）に示すように、捕集ユニット３は、カバー板３１と、スペーサ３２と、電極フィルム３３とを備え、これらが厚み方向に順次、重ね合わせられた構造である。

図４（ｃ）は、捕集ユニット３におけるカバー板３１の平面図を示す。図４（ｄ）は、スペーサ３２の平面図を示す。図４（ｅ）は、電極フィルム３３の平面図を示す。

カバー板３１は、例えば、透明のアクリル板などで形成される平板状の部材である。図４（ｃ）に示すように、カバー板３１には、２つの挿通孔３１ａ，３１ｂ及び切り欠き部３１ｃが設けられている。

各挿通孔３１ａ，３１ｂは、それぞれ捕集ユニット３内の流路１３の始点及び終点に対応している（図４（ａ）参照）。切り欠き部３１ｃは、カバー板３１において、電極フィルム３３上の電極パッド３３ａに対応した位置に形成される。

スペーサ３２は、例えば、透明のＰＥＴ（ポリエステル）テープで形成される部材である。スペーサ３２には、流路１３に対応する矩形穴３２ａと、カバー板３１の切り欠き部３１ｃと同形状の切り欠き部３２ｂとが形成されている。

スペーサ３２は、３Ｍ（登録商標）９９６９等の粘着剤により、各主面においてそれぞれカバー板３１と電極フィルム３３とに接着し、カバー板３１と電極フィルム３３との間隔（すなわち流路１３の高さ）を所定幅（例えば０．１ｍｍ）に固定する。

電極フィルム３３は、ＰＥＮ（ポリエチレンナフタレート）フィルムなどの透明のフィルム基材に、マイクロ電極部３０が設けられた部材である。マイクロ電極部３０は、電極フィルム３３の主面上の配線領域において、電極パッド３３ａに電気的に連結している。マイクロ電極部３０や電極パッド３３ａは、例えば、蒸着法やスパッタリング法によってクロム等の金属材料で形成される。

捕集ユニット３は、電極パッド３３ａにおいて、交流電圧供給部１１に電気接続する（図２参照）。図４（ａ）に示すように、電極パッド３３ａは、カバー板３１とスペーサ３２と電極フィルム３３とが重ね合わさった状態において、切り欠き部３１ｃ，３２ｂによって露出する。このため、捕集ユニット３は、簡単に交流電圧供給部１１に電気接続させることができる。

また、捕集ユニット３の流路１３は、矩形穴３２ａの周囲においてスペーサ３２がカバー板３１と電極フィルム３３とを所定間隔で密着させることにより形成される。流路１３の両端に位置する２つの挿通孔３１ａ，３１ｂに、それぞれサンプルシリンジ１０ｂ及び廃液チャンバ６を挿抜可能に連結させることで、試料液を流路１３に簡単に貫流させることができる。以上のように、捕集ユニット３は、電機接続や流路の接続が簡単に行え、検査部２ａにおいて細菌などの捕集後、使い捨てしたり、使い回ししたりすることが容易に行える。

図５は、本発明に係る実施形態において、図４（ｅ）の電極フィルム３３における配線領域の拡大図である。本実施形態において、電極フィルム３３におけるマイクロ電極部３０は、二組の電極対ＣＨ１，ＣＨ２を有する。交流電圧供給部１１からの交流電圧は、第１及び第２の電極対ＣＨ１，ＣＨ２の電極毎に、電極パッド３３ａを介して供給される。第１及び第２の電極対ＣＨ１，ＣＨ２は、中央線Ｌ１において線対称に形成されている。以下、第１の電極対ＣＨ１について説明する。

第１の電極対ＣＨ１は、２つの電極４１，４２からなる。電極４１，４２は、それぞれ等間隔に並んだ櫛歯形状を有する。２つの電極４１，４２の櫛歯形状における複数の凸部は、流路１３の液流方向において、交互に所定間隔をあけて配列される。電極４１，４２の各凸部は、液流方向と交差（直交）する方向に延在している。第２の電極対ＣＨ２の電極４１，４２についても、同様の配置である。

図６は、本発明に係る実施形態において、流路１３の端部近傍の領域Ｒｉにおけるマイクロ電極部３０の拡大図である。マイクロ電極部３０では、流路１３上で電極４１，４２の各凸部の間のスリットにより、所定幅Ｗ２を有するスリット状の領域Ｒｓが形成される。

複数のスリット領域Ｒｓは、図６に示すように、一対の電極４１，４２の間で液流方向に並んでいる。各スリット領域Ｒｓの幅Ｗ２は、例えば１０μｍ～２０μｍにおける所定値に設定される。これに対して、電極４１，４２の凸部の幅Ｗ１は、例えば、１００μｍである。スリット領域Ｒｓの幅Ｗ２は、０．１μｍ～１００μｍの範囲内で設定されてもよい。

また、本実施形態において、マイクロ電極部３０と流路１３とは、電極４１，４２の各凸部がそれぞれ所定の長さΔｄだけ流路１３からはみ出すように設定されている。換言すると、電極フィルム３３上で一対の電極４１，４２の間で複数のスリット領域Ｒｓを連結する領域は、流路１３の外部に配置されている。

これにより、流路１３が延在する所定方向（液流方向）に並んだ複数のスリット領域Ｒｓは、流路１３中においては連結せずに、互いに分離する。例えば、流路１３の幅Ｗ３（図５参照）が３ｍｍに対して、電極４１，４２の両端がはみ出す長さΔｄは、０．３ｍｍに設定される。また、各電極４１，４２の凸部の厚みは、例えば、１００ｎｍ程度である。

また、検査部２ａにおいて細菌などの誘電泳動を行う際、図５に示すように、マイクロ電極部３０内で電極４１，４２の凸部が流路１３の上流から順次並んだ領域Ｒｃを、撮像部１２により撮像する。

ここで、スリット領域Ｒｓ同士が流路１３中で連結している場合、例えば、上流側のスリット領域Ｒｓにおいて捕集された細菌等が、電極４１，４２間の誘電泳動力を維持しながら下流側のスリット領域Ｒｓに移動するような事態が想定される。これに対して、上記のように流路１３中で各スリットＲｓ領域を分離させることにより、複数のスリット領域Ｒｓ間で捕集済みの細菌等が移動することを抑制できる。

図７は、本発明に係る実施形態において、検査方法の原理を示す図である。検査部２ａでは、誘電泳動を利用して、試料液に含まれる検査対象の細菌等を捕集する。図７（ａ）に示すように、電極４１，４２間に周波数ωの交流電圧を供給した場合に、流路１３を流れる試料液中の生菌や死菌などの細菌に作用する誘電泳動力Ｆ_ＤＥＰは、次式で表される。
Ｆ_ＤＥＰ＝２πｒ^３ε_ｍＲｅ［Ｋ（ω）］∇Ｅ^２ …（１）

上式（１）において、ｒは検査対象の生菌や死菌などの誘電体粒子の半径であり、ε_ｍは試料液の媒質の誘電率であり、Ｅは電場の強度である。また、Ｒｅ［Ｘ］は複素数Ｘの実部を表す。Ｋ（ω）は、Clausius-Mossotti因子であり、次式で表される。
Ｋ（ω）＝（ε_ｐ ^＊－ε_ｍ ^＊）／（ε_ｐ ^＊＋２ε_ｍ ^＊） …（２）

上式（２）において、ε_ｐ ^＊（＝ε_ｐ＋ρ_ｐ／（ｊω））は、誘電体粒子の複素誘電率である（ε_ｐは誘電体粒子の誘電率で、ρ_ｐはその導電率）。また、ε_ｍ ^＊（＝ε_ｍ＋ρ_ｍ／（ｊω））は、媒質の複素誘電率である（ρ_ｍは媒質の導電率）。

上式（１）において、Ｒｅ［Ｋ（ω）］＞０であるとき、電極４１，４２の設置方向に対して正の誘電泳動力Ｆ_ＤＥＰが誘電体粒子に作用し、誘電体粒子は電極４１，４２近傍に引きつけられてスリットＲｓに吸着される。

一方、Ｒｅ［Ｋ（ω）］＜０であるとき、負の誘電泳動力Ｆ_ＤＥＰが誘電体粒子に作用し、誘電体粒子は電極４１，４２に対して反発する。このため、周波数ωを適宜、設定することにより、検査対象外の夾雑物等を排除しながら、検査対象を選択的にスリット領域Ｒｓに吸着させることができる。

次に、複数の検査装置２と接続されるクライアント側の誘電体粒子推定装置７について説明する。クライアント側の誘電体粒子推定装置７は、画像処理部６０と、形状分類部６２と、生育環境分析部６４と、同形状内分類部６６と、特殊分類部６８と、推定部７０とを備える。

画像処理部６０は、撮像部１２によって撮像された画像についてノイズを除去するための画像処理を行う機能を有する。画像処理部６０は、電極４１，４２により捕集された誘電体粒子を含む画像のうち、様々な要因で発生する大量のノイズを画像処理によって除去し、より正確な抽出（単体抽出）を可能とする。

ノイズであるか否かを判断するパラメータとして、例えば、輝度で判断することができ、図８の左図に示された画像にノイズが除去された画像（図８の右図）が形成される。

形状分類部６２は、画像処理部６０により画像処理が行われた画像に含まれる誘電体粒子の形状に基づいて、誘電体粒子を大まかな菌の種類に分けられた第１カテゴリに分類し、１つの種類に絞り込む。大まかな菌の種類である第１カテゴリは、短桿菌形、長桿菌形、真菌形、小球菌形の４つの種類で構成されている。例えば、図１０に示される例では、Ａ～Ｆの菌からＡの菌種を特定する手順を示しており、最初に、Ａ，Ｂ，Ｃを含む短桿菌形に絞り込まれる。

生育環境分析部６４は、形状分類部６２で分類された後、生育環境に基づいて、誘電体粒子を第１カテゴリの下位概念である第２カテゴリに分類して、さらに、詳細に絞り込む。生育環境で分けられる第２カテゴリは、好気性、微好気性、通性嫌気性、嫌気性、偏嫌気性で構成される。例えば、図１０に示される例では、Ａ～Ｃの短桿菌形のうち、好気性の生育環境であるＡ，Ｂに絞り込まれる。

同形状内分類部６６は、生育環境分析部６４で分類された後、第２カテゴリ内における略同一形状の誘電体粒子の画像解析を行って特徴量の差異を抽出し、該差異に基づいて第２カテゴリの下位概念の第３カテゴリに分類し、さらに、詳細に絞り込む。例えば、図１０に示される例では、好気性の短桿菌形（Ａ，Ｂ）のうち、判別結果として、Ａが９０％で、Ｂが２０％のようにＡである確率が高い場合には、このままＡに絞り込んだ結果を出力する。

特殊分類部６８は、第３カテゴリ内に分類されたデータに基づいて、推定部７０が推定できない場合に、第３カテゴリ内において類似する菌種のみを画像解析して特徴量の差異を抽出し、該差異に基づいて第３カテゴリの下位概念の第４カテゴリに分類する。例えば、図１０に示される例では、同形状内分類部６６における比較結果が、例えば、Ａが５０％で、Ｂが５０％と区別がつきにくい場合に、特殊分類部６８が実行される。例えば、図１１に示されるように、付着パターンによる分類や連鎖ケースによる分類などを行うことで判別することができる。

推定部７０は、同形状内分類部６６又は特殊分類部６８で分類されて比較された結果に基づいて、誘電体粒子の種類を推定する。推定部７０は、予め特定された誘電体粒子群の中から菌種を推定する。

サーバ側の誘電体粒子推定装置８は、画像処理部６０と、形状分類部６２と、生育環境分析部６４と、同形状内分類部６６と、特殊分類部６８と、推定部７１と、学習部７２と、簡易テスト部７４とを備える。ここで、画像処理部６０、形状分類部６２、生育環境分析部６４、同形状内分類部６６、及び特殊分類部６８は、クライアント側の誘電体粒子推定装置７と同じであるため、詳細な説明は省略する。

学習部７２は、複数の検査装置２から取得した誘電体粒子の画像を学習し、細菌の種類の推定精度を向上させる機能を有している。

学習部７２は、画像処理部６０によって画像処理が行われた画像から誘電体粒子の特徴量を抽出する。菌特徴量として「面積」「平均輝度」「長軸／短軸」「真円度」等の必要な情報を出力し、特徴量の統計・傾向を計測可能とする。例えば、図９の左図に示された画像についての特徴量を抽出して、図９の右図に示された統計を求めることが出来る。

学習部７２は、複数の誘電体粒子の特徴量に基づいて深層学習を行う。具体的には、画像処理部７２で撮影された大量の画像についてノイズ処理をするとともに、特徴量が抽出された大量の情報を用いて、学習・解析を行うことで判別対象の菌の種類を推定できるようになる。

推定部７１は、同形状内分類部６６又は特殊分類部６８で分類されて比較された結果に基づいて、誘電体粒子の種類を推定する。推定部７１は、クライアント側の誘電体粒子推装置７の推定部７０とは異なり、不特定の誘電体粒子群の中から菌種を推定する。すなわち、学習部７２により、深層学習が行われた最新のデータの中から推定を行う。

ここで、学習部７２は、人工知能（ＡＩ）のＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｒａｌＮｅｔｗｏｒｋ）を用いて実現することができ、例えば、畳み込みとプーリングにより、入力画像に対してそれぞれの位置情報や位置関係を失うことなく特徴量を抽出し、データ化して分類して出力する。

ここで、「畳み込み」とは、フィルタ（カーネルフィルタ）を使い、位置情報を損なうことなく画像データを特徴マップに変換することを意味する。「プーリング」とは、特徴量を粗く整理することを意味する。すなわち、ＣＮＮを用いることで入力された画像について、畳み込みにより特徴を見つけ、プーリングによって特徴を粗く整理し、蜜結合によって特徴をまとめて評価する。

上記のように、人工知能（ＡＩ）を用いて、検査した菌の画像と、検査したサンプルの特徴（対象物（例えば、うどん、レトルトカレー、化粧水など）、ｐＨ（例えば、６～７，３～４など）、水分活性値（例えば、８０％以上、４０％未満など）、保管温度（例えば、１０℃以下、３５℃前後、５０℃前後））とに基づいて解析を行いつつ学習することで、より正確な菌の推定を実現する。

簡易テスト部７４は、クライアント側の誘電体粒子推定装置７及びサーバ側の誘電体粒子推定装置８の誘電体粒子の推定機能をテストする。例えば、図１２（ａ）のように、学習用画像とテスト用画像を同条件にて撮影して採取する。

図１２（ｂ）のように、学習用画像をバッチサイズ及びエポック数を調整して学習モデルを生成し、ここで作成された学習モデルをそれぞれのテスト用画像で適合率を図１３(ａ)に示されるようにテストする。上記適合率テストによって自他判別ができているかどうか、テスト画像ごとに何％と算出される。この自他判別の結果が図１３（ｂ）のような明確に差異が出ているものが合格となるようなテストを実施している。

続いて、上記構成の誘電体粒子種類推定システム１の作用について説明する。最初に、クライアント側の誘電体粒子推定装置７とネットワーク９を介して接続される各検査装置２の動作について説明し、その後にクライアント側の誘電体粒子推定装置７を含む誘電体粒子種類推定システム１について説明する。

各検査装置２では、検査部２ａが制御装置４によって制御され、ポンプ部１０から試料液を捕集ユニット３の流路１３に流しながら、交流電圧供給部１１から流路１３中のマイクロ電極部３０に所定周波数の交流電圧を供給し、検査対象に正の誘電泳動力を作用させる。

次に、マイクロ電極部３０においてスリット領域Ｒｓが並んだ領域Ｒｃを撮像する。この際、検査対象に応じて、正の誘電泳動力が作用するように交流電圧の周波数ωを設定し、交流電圧の電圧振幅や流路１３中の流速も適宜、制御する。これにより、種々の検査対象を選択的に捕集することもできる。

例えば、周波数制御により、細菌における生菌（活性菌）と死菌（損傷菌）を区別するか否かを切り替えることができる。図７（ａ）は、生菌と死菌とを共に捕集する場合の例を示す。例えば、周波数ω＝１００ＭＨｚで電極４１，４２に交流電圧を供給することにより、生菌と死菌との双方に正の誘電泳動力を作用させて、生菌と死菌との双方を他のものと区別して捕集することができる。

図７（ｂ）は、生菌を選択的に捕集する場合の例を示す。図７（ｂ）に示す例では、図７（ａ）に示すように周波数ω＝１００ＭＨｚでの動作後、周波数ωを３ＭＨｚにまで上げている。すると、生菌には正の誘電泳動力が作用する一方、死菌には作用しなくなる。これにより、死菌を除いた生菌のみをスリット領域Ｒｓに吸着させることができる。

検査装置２では、一般的な手法である位相差観察法とは異なり、「レンズ体集光観察法」を用いている。レンズ体集光観察法は、コンデンサレンズを無くし、位相物体がレンズ体である場合にのみ照明光の「回折光」と「直進光」が集約され、背景よりも明るく見えることを利用し、位相物体の中でもレンズ体部５６のみ明暗のコントラストをつけて観察する方法である。

また、検査装置２では、集光筒部５４と光源部５０との間にリングスリット部５２があり、照明光をリング状にした光をサンプルに当てている。直進光と回折光がレンズ体部５６により集約され強められることで、位相物体の中でもレンズ体部５６であるサンプルが背景よりも特に明るくなる。また、その周囲は特に暗く見えるため、微生物などの単細胞の観察に適しており、大量の画像を蓄積して学習させるのに好適である。

クライアント側の誘電体粒子推定装置７は、画像処理部６０で撮影された大量の画像について画像処理を行って判別対象の菌が判別できるようになる。これにより、より高い精度で菌の推定を行うことができるという顕著な効果を奏する。また、クライアント側の誘電体粒子推定装置７では、予め特定された菌種の中から推測するというように限定されているが、サーバ側の誘電体粒子推定装置８も用いることで、より広い範囲で菌種の推定を行うことができるという顕著な効果を奏する。

１誘電体粒子種類推定システム、２検査装置、２ａ検査部、３捕集ユニット、４制御装置、５情報処理装置、６廃液チャンバ、７クライアント側の誘電体粒子推定装置、８サーバ側の誘電体粒子推定装置、９ネットワーク、１０ポンプ部、１０ａ駆動部、１０ｂサンプルシリンジ、１１交流電圧供給部、１２撮像部、１３流路、３０マイクロ電極部、３１カバー板、３１ａ，３１ｂ挿通孔、３１ｃ切り欠き部、３２スペーサ、３２ａ矩形穴、３２ｂ切り欠き部、３３電極フィルム、３３ａ電極パッド、４１，４２電極、５０光源部、５２リングスリット部、５４集光筒部、５６レンズ体部、５８対物レンズ部、５９像、６０画像処理部、６２形状分類部、６４生育環境分析部、６６同形状内分類部、６６誘電体粒子推定部、６８特殊分類部、７０推定部、７１推定部、７２学習部、７４簡易テスト部。

Claims

試料液に含まれる誘電体粒子について誘電泳動を起こさせて捕獲した前記誘電体粒子を撮像した画像を取得し、前記誘電体粒子の種類を推定する誘電体粒子推定部を有する誘電体粒子推定装置であって、
前記誘電体粒子推定部は、
前記撮像部によって撮像された画像についてノイズを除去し、誘電体粒子該当部を認識・抽出する画像処理を行う画像処理部と、
前記画像処理が行われた前記画像に含まれる前記誘電体粒子の形状に基づいて、前記誘電体粒子を大別する第１カテゴリに分類する形状分類部と、
前記形状分類部で分類された後、生育環境に基づいて、前記誘電体粒子を前記第１カテゴリの下位概念である第２カテゴリに分類する生育環境分析部と、
前記生育環境分析部で分類された後、前記第２カテゴリ内における略同一形状の前記誘電体粒子の画像解析を行って特徴量の差異を抽出し、該差異に基づいて前記第２カテゴリの下位概念の第３カテゴリに分類する同形状内分類部と、
前記同形状内分類部で分類されたデータに基づいて、前記誘電体粒子の種類を推定する推定部と、
を備えることを特徴とする誘電体粒子推定装置。
請求項１に記載の誘電体粒子推定装置において、
前記第３カテゴリ内に分類されたデータに基づいて、前記推定部が推定できない場合に、前記第３カテゴリ内において類似する菌種のみを画像解析して特徴量の差異を抽出し、該差異に基づいて前記第３カテゴリの下位概念の第４カテゴリに分類する特殊分類部を備え、
前記推定部は、前記特殊分類部で分類されたデータに基づいて、前記誘電体粒子の種類を推定することを特徴とする誘電体粒子推定装置。
請求項１または請求項２に記載の誘電体粒子推定装置において、
少なくとも一対の電極と、該一対の電極上に所定方向に延在する流路と、前記一対の電極の間で前記所定方向に並びつつ互いに分離している複数のスリット領域とを有する誘電体捕集部と、
前記流路を前記所定方向に進むように、前記試料液を送液するポンプ部と、
前記送液される前記試料液中の前記誘電体粒子が誘電泳動を起こすように、所定周波数の交流電圧を前記一対の電極に供給する交流電圧供給部と、
前記誘電体捕集部において、前記複数のスリット領域が並んだ所定領域を撮像する撮像部と、
を備えることを特徴とする誘電体粒子推定装置。
請求項３に記載の誘電体粒子推定装置において、
前記撮像部は、
前記複数のスリット領域に設けられる前記誘電体粒子に向けて照明光を出力する光源部と、
前記光源部から出力された前記照明光をリング状の前記照明光にするためのリングスリット部と、
前記リングスリット部により形成された前記リング状の前記照明光を集光させるための集光筒部と、
前記集光筒部により集光された前記直進光と前記回折光とを集約し、前記誘電体粒子を含んで構成されるレンズ体部と、
前記レンズ体部により集約された前記直進光と前記回折光とを通過させて像を形成するための対物レンズ部と、
を有することを特徴とする誘電体粒子推定装置。
請求項３または請求項４に記載の誘電体粒子推定装置において、
前記一対の電極の間で前記複数のスリット領域を連結する領域は、前記流路の外部に配置されていることを特徴とする誘電体粒子推定装置。
請求項３から請求項５のいずれか１項に記載の誘電体粒子推定装置において、
前記誘電体粒子は、細菌、細胞、微生物、真菌、芽胞、及びウイルスの内の少なくとも一つを含むことを特徴とする誘電体粒子推定装置。
請求項３から請求項６のいずれか１項の複数の誘電体粒子推定装置を備え、
前記複数の誘電体粒子推定装置は、複数のクライアント側の誘電体粒子推定装置と、該複数のクライアント側の誘電体粒子推定装置とネットワークを介して接続されるサーバ側の誘電体粒子推定装置とを含み、
前記サーバ側の誘電体粒子推定装置は、
前記画像処理部によって画像処理が行われた画像から前記誘電体粒子の特徴量を抽出する前記誘電体粒子推定部に基づいて抽出された複数の前記誘電体粒子の特徴量に基づいて深層学習を行う学習部を有し、
前記各クライアント側の誘電体粒子推定装置は、予め特定された菌種の中から誘電体粒子の種類を推定し、
前記サーバ側の誘電体粒子推定装置は、前記特定された菌種以外の菌種を含めた中から誘電体粒子の種類を推定することを特徴とする誘電体粒子推定システム。