JP2022190996A - コンピュータプログラム、情報処理方法及び情報処理装置 - Google Patents

Abstract

【課題】培地画像に含まれるコロニー画像に基づいて菌種を識別する場合において、菌種の識別ができない新規菌種が培地に含まれている場合であっても、菌種を適切に識別し、新規菌種のコロニー画像を特定することができる情報処理方法を提供する。【解決手段】培養された複数種類の細菌によって形成された複数のコロニーを含む培地を撮像して得られる培地画像を取得し、取得した培地画像に含まれる複数のコロニー画像を抽出し、抽出された複数のコロニー画像を当該コロニー画像の特徴量に基づいてクラスタリングする処理と、コロニー画像に基づいてコロニーを形成する菌種を識別する処理とを併用して、菌種の識別が可能な既知菌種と、菌種を識別できない新規菌種のコロニー画像とを特定する。【選択図】図１０

Description

本発明は、コンピュータプログラム、情報処理方法及び情報処理装置に関する。

感染症は、細菌等が身体に侵入することにより引き起こされる。病院及び検査機関等の医療機関では、感染症の疑いがある患者から感染の原因菌を含むと推測される検体を採取し、検体をシャーレ上の発育培地で培養し、検体に含まれる細菌を同定する検査が行われる。

特許文献１には、培地に形成された細菌のコロニーを撮像し、撮像画像に基づいてコロニーを形成する細菌を識別するシステムが開示されている。機械学習された学習モデルを用いてコロニーの画像から菌種を識別することも考えられている。

特開２０１２－１３５２４０号公報

しかし、学習済みの菌種以外の細菌が培地に含まれていた場合、菌種を適切に識別することができないという問題があった。

本発明の目的は、培地画像に含まれるコロニー画像に基づいて菌種を識別する場合において、菌種の識別ができない新規菌種が培地に含まれている場合であっても、菌種を適切に識別し、新規菌種のコロニー画像を特定することができるコンピュータプログラム、情報処理方法及び情報処理装置を提供することにある。

本態様に係るコンピュータプログラムは、培養された複数種類の細菌によって形成された複数のコロニーを含む培地を撮像して得られる培地画像を取得し、取得した培地画像に含まれる複数のコロニー画像を抽出し、抽出された複数のコロニー画像を該コロニー画像の特徴量に基づいてクラスタリングする処理と、コロニー画像に基づいてコロニーを形成する菌種を識別する処理とを併用して、菌種の識別が可能な既存菌種と、菌種を識別できない新規菌種のコロニー画像とを特定する処理をコンピュータに実行させる。

本態様に係る情報処理方法は、培養された複数種類の細菌によって形成された複数のコロニーを含む培地を撮像して得られる培地画像を取得し、取得した培地画像に含まれる複数のコロニー画像を抽出し、抽出された複数のコロニー画像を該コロニー画像の特徴量に基づいてクラスタリングする処理と、コロニー画像に基づいてコロニーを形成する菌種を識別する処理とを併用して、菌種の識別が可能な既存菌種と、菌種を識別できない新規菌種のコロニー画像とを特定する。

本態様に係る情報処理装置は、培養された複数種類の細菌によって形成された複数のコロニーを含む培地を撮像して得られる培地画像を取得する取得部と、演算部とを備え、前記演算部は、取得した培地画像に含まれる複数のコロニー画像を抽出し、抽出された複数のコロニー画像を該コロニー画像の特徴量に基づいてクラスタリングする処理と、コロニー画像に基づいてコロニーを形成する菌種を識別する処理とを併用して、コロニー画像又はその画像特徴量と菌種名が事前に対応付けられている菌種（以下、既存菌種）と、コロニー画像又はその画像特徴量に菌種名が事前に対応づけられていないため菌種を識別できない菌種（以下、新規菌種と呼ぶ）のコロニー画像とを特定する処理を実行する。

上記によれば、培地画像に含まれるコロニー画像に基づいて菌種を識別する場合において、菌種の識別ができない新規菌種が培地に含まれている場合であっても、菌種を適切に識別し、新規菌種のコロニー画像を特定することができる。

実施形態１に係る情報処理装置の構成例を示すブロック図である。 遊走性細菌認識学習モデルの構成例を示す概念図である。 遊走性細菌認識学習モデルの生成方法を示すフローチャートである。 遊走認識学習モデルの構成例を示す概念図である。 遊走認識学習モデルの生成方法を示すフローチャートである。 遊走認識学習モデルの生成方法を示す説明図である。 菌種識別学習モデルの構成例を示す概念図である。 既存菌種確認学習モデルの構成例を示す概念図である。 菌種識別及びモデル更新の処理手順を示すフローチャートである。 実施形態１に係る菌種識別の処理手順を示すフローチャートである。 実施形態１に係る菌種識別の処理手順を示すフローチャートである。 実施形態１に係る菌種識別の処理手順を示すフローチャートである。 実施形態２に係る菌種識別の処理手順を示すフローチャートである。

本発明の実施形態に係るコンピュータプログラム、情報処理方法、学習モデル生成方法及び情報処理装置の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。

（実施形態１）
本実施形態１に係る情報処理装置は、患者から採取された検体に含まれる菌種を識別する装置である。患者から採取された検体はシャーレ上の発育培地で培養される。細菌培養された培地には、細菌のコロニーが形成される。情報処理装置は、培地を撮像して得た画像（以下、培地画像と呼ぶ）を取得し、取得した培地画像に基づいて、コロニーを形成している細菌の種類（菌種）を識別する処理を実行する。ところが、検体に遊走性細菌が含まれている場合、菌種の識別が困難になる。
本実施形態１に係る情報処理装置は、かかる遊走性細菌を検出することによって菌種の識別精度を向上させることができ、遊走性細菌の早期発見又は機械的な自動検出により、細菌検査を効率化することができる装置である。
また、本実施形態１に係る情報処理装置は、学習モデルを用いて菌種判定を行っており、遊走性細菌を含まない培地画像又はコロニーの画像を追加学習用の訓練データ又はテスト用データとして蓄積することができる装置である。
更に、新規菌種が培地に含まれている場合であっても、菌種を適切に識別し、新規菌種のコロニー画像を特定することができる装置である。
更にまた、本実施形態１に係る情報処理装置は、学習モデルの追加学習を行った際、感度、特異度、陽性的中率、ＲＯＡＵＣ，ＰＲ－ＡＵＣ等の汎用的に用いられる統計的な評価指標では無く、臨床有用性が加味された評価指標により、学習モデルを評価し、学習モデルの更新を行うことができる装置である。

＜情報処理装置の構成＞
図１は、情報処理装置１を示すブロック図である。情報処理装置１は、パーソナルコンピュータ又はサーバ装置等のコンピュータである。情報処理装置１は、演算部１１と、メモリ１２と、記憶部１３と、操作部１４と、表示部１５と、通知部１６と、取得部１７とを備える。なお、情報処理装置１は、複数のコンピュータを含んで構成されるマルチコンピュータであってよい。また。サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、情報処理装置１が１台のコンピュータであるものとして説明する。

演算部１１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等の演算処理装置である。なお、演算部１１は、量子コンピュータを用いて構成してもよい。演算部１１は、記憶部１３に記憶されたコンピュータプログラム１３１を読み出して実行することにより、培地画像に含まれる菌種の識別処理、遊走性細菌の検出処理、新規菌種の特定、学習モデルの更新処理等、本実施形態１に係る情報処理方法を実施する。

メモリ１２は、例えばＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）等の揮発性メモリであり、演算部１１の演算処理を実行する際に記憶部１３から読み出されたコンピュータプログラム１３１、又は演算部１１の演算処理によって生ずる各種データを一時記憶する。

記憶部１３は、例えば、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の記憶装置である。記憶部１３は、演算部１１が実行する各種のプログラム、及び、演算部１１の処理に必要な各種のデータを記憶する。本実施形態１において記憶部１３は、演算部１１が実行するコンピュータプログラム１３１と、培地画像から遊走性細菌を検出するための遊走性細菌認識学習モデル２及び遊走認識学習モデル３と、培地画像に含まれる菌種を識別するための菌種識別学習モデル４と、既存菌種確認学習モデル５と、菌種識別学習モデル４の追加学習を評価するための重み係数テーブル６とを記憶する。

コンピュータプログラム１３１は、例えば記録媒体１０にコンピュータ読み取り可能に記録されている。記憶部１３は、図示しない読出装置によって記録媒体１０から読み出されたコンピュータプログラム１３１を記憶する。記録媒体１０はフラッシュメモリ等の半導体メモリ、光ディスク、磁気ディスク、磁気光ディスク等である。また、コンピュータプログラム１３１は、情報処理装置１の製造段階において記憶部１３が記憶する態様でもよい。更に、通信網に接続されている図示しない外部サーバから本実施形態１に係るコンピュータプログラム１３１をダウンロードし、記憶部１３に記憶させる態様であってもよい。

重み係数テーブル６は、複数の細菌それぞれの臨床重要度を示す情報を格納している。臨床重要度を示す情報は、人体への影響の重篤度が大きい細菌である程、大きな値を有する重み係数である。重み係数の詳細は後述する。

操作部１４は、検査技師等の作業者からの操作を受け付ける入力装置である。入力装置は、例えばキーボード又はポインティングデバイスである。

表示部１５は、培養画像、細菌の同定結果等の情報を出力する出力装置である。出力装置は、例えば液晶ディスプレイ又はＥＬディスプレイである。

通知部１６は、細菌培養中に遊走性細菌が検出された場合に、遊走性細菌の存在を通知する装置である。通知部１６は、ランプ、スピーカ、通信装置等である。

取得部１７は、撮像装置９を用いて細菌培養中の培地を撮像して得られる培地画像を取得するインタフェースである。撮像装置９は、細菌培養中、連続的又は断続的に撮像を行い、培地画像を情報処理装置１へ出力する。取得部１７は、撮像装置９から出力される培地画像を都度取得し、演算部１１は、遊走性細菌の有無を判定する処理を実行する。

＜遊走性細菌認識学習モデル２＞
図２は、遊走性細菌認識学習モデル２の構成例を示す概念図である。遊走性細菌認識学習モデル２は、細菌培養中の培地を撮像して得られる単一の培地画像が入力された場合、当該培地に含まれ得る遊走性細菌の有無を出力する画像認識モデルである。なお単一の培地画像は、いわゆるカラー画像でもよいし、グレースケール画像でもよい。カラー画像は、赤、緑、青、の３チャネルから構成された画像である。グレースケール画像は、例えば０から２５５等までの値を持つ単一チャネルで構成された画像である。

本実施形態１において遊走性細菌認識学習モデル２は、例えば、培地画像の入力を受け付ける入力層２１と、培地画像に含まれる細菌画像の特徴量を抽出する中間層２２と、培地に含まれ得る遊走性細菌の有無を示す情報を出力する出力層２３とを有するニューラルネットワークである。本実施形態１の遊走性細菌認識学習モデル２は、ＲｅｓＮｅｔ、ＤｅｎｓｅＮｅｔ等のＣＮＮ（Convolution Neural Network）又はＡｔｔｅｎｔｉｏｎ等である。情報処理装置１は、ＣＮＮのモデルに対して、培地画像と、遊走性細菌の有無との関係を学習するディープラーニングを行うことで、遊走性細菌認識学習モデル２を生成する。

ニューラルネットワークの入力層２１は、培地画像を構成する各画素の画素値の入力を受け付ける複数のノードを有し、入力された画素値を中間層２２に受け渡す。中間層２２は、培地画像の特徴量を抽出する複数のノードを有し、抽出した特徴量を出力層２３に受け渡す。例えば遊走性細菌認識学習モデル２がＣＮＮである場合、中間層２２は、入力層２１から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが複数連結された構成を有し、培地画像の画素情報を圧縮しながら最終的に培地画像の特徴量を抽出する。出力層２３は、遊走性細菌の有無を示す情報を出力するノードを有する。なお、出力層２３の活性化関数は例えばシグモイド関数である。遊走性細菌の有無を示す情報は、例えば遊走性細菌が存在する確度である。

図３は、遊走性細菌認識学習モデル２の生成方法を示すフローチャートである。ここでは、情報処理装置１が遊走性細菌認識学習モデル２を生成する例を説明するが、機械学習は別のコンピュータで実行するように構成してもよい。記憶部１３は、任意の細菌及び遊走性細菌の少なくとも一つが塗布された培地を撮像して得た単一の培地画像と、当該培地に含まれ得る遊走性細菌の有無を示す情報（教師データ）とを対応付けた訓練データを記憶している。なお、言うまでも無く訓練データは、単一の培地画像と、教師データとを対応付けたデータを複数組み含む。訓練データの培地画像は、細菌培養中の様々な時点で撮像された培地画像を含むことが望ましい。また、訓練データの培地画像は、遊走性細菌のみを含む培地画像、遊走性細菌を含まない培地画像、遊走性細菌及び細菌が混在する培地画像を含むことが望ましい。更に、訓練データの培地画像は、選択培地、非選択培地、鑑定培地等の種々の培地画像を含むことが望ましい。

情報処理装置１の演算部１１は、記憶部１３から訓練データ、つまり単一の培地画像と、遊走性細菌の有無を示す教師データとを対応付けた訓練データを取得する（ステップＳ１１）。そして、演算部１１は、取得した訓練データを用いて未学習のニューラルネットワークを機械学習させることにより、遊走性細菌認識学習モデル２を生成する（ステップＳ１２）。つまり、細菌培養中の培地を撮像して得られる単一の培地画像が入力された場合、遊走性細菌の有無を示す情報が出力されるようにニューラルネットワークを機械学習させる。具体的には、訓練データである単一の培地画像を未学習のニューラルネットワークに入力した場合に出力される遊走性細菌の有無を示す情報と、訓練データの当該培地画像に対応付けられた教師データとの差分が小さくなるように、当該ニューラルネットワークのパラメータを最適化する。当該パラメータは、例えばノード間の重み（結合係数）などである。パラメータの最適化の方法は特に限定されないが、例えば演算部１１は最急降下法等を用いて各種パラメータの最適化を行う。

なお本実施形態１においては、遊走性細菌認識学習モデル２がＤｅｎｓｅＮｅｔ等のＣＮＮであるものとするが、モデルの構成はＣＮＮに限るものではない。遊走性細菌認識学習モデル２は、例えばＣＮＮ以外のニューラルネットワーク、Vision Transformer、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、又は、ＸＧＢｏｏｓｔ等の決定木、等から構成される学習モデルであってもよい。

＜遊走認識学習モデル３＞
図４は、遊走認識学習モデル３の構成例を示す概念図である。遊走認識学習モデル３は、細菌培養中の異なる複数時点（つまり複数の異なる培養時間）で同一の培地を撮像して得られる複数の培地画像が入力された場合、当該培地に含まれ得る遊走性細菌の有無を出力する画像認識モデルである。上述の遊走性細菌認識学習モデル２は、単一の培地画像を用いて遊走性細菌の有無を判定するのに対して、遊走認識学習モデル３は、複数の異なる培養時間で同一の培地を撮像して得られる複数の培地画像が同時入力されるマルチチャネルに構成され、複数の培地画像を用いて遊走性細菌の有無を判定する点が異なる。遊走認識学習モデル３の特徴は、同一検体由来の複数の培地画像が同一バッチに含まれ、入力される点にある。遊走認識学習モデル３が有用なのは細菌の増殖面積が小さい場合である。遊走性細菌認識学習モデル２と共通する構成については詳細な説明を省略する。
遊走認識学習モデル３は、例えば、培地画像に含まれるコロニー画像の位置及び範囲を検出するための物体検出学習モデル３１と、物体検出学習モデル３１の検出結果に基づいて培地画像から抽出された複数のコロニー画像に基づいて、培地に含まれ得る遊走性細菌の有無を認識するための画像認識学習モデル３２とを含む。

図４上図に示す物体検出学習モデル３１は、培地画像に含まれるコロニー画像を検出するＹＯＬＯｖ３、Ｕ－Ｎｅｔ、Ｆａｓｔｅｒ Ｒ―ＣＮＮ、ＳＳＤ等の物体検出モデルである。物体検出学習モデル３１は、例えば培地画像の入力を受け付ける入力層３１ａと、培地画像の特徴量を抽出する中間層３１ｂと、培地画像に含まれる細菌によって形成されたコロニーの画像（以下、コロニー画像と呼ぶ）の位置及び範囲を示す情報を出力する出力層３１ｃとを有するニューラルネットワークである。物体検出学習モデル３１には、細菌培養中の異なる複数時点で撮像された複数の培地画像が順次入力され、培地画像に含まれるコロニー画像の位置及び範囲が検出される。物体検出学習モデル３１から出力されるコロニー画像の一及び範囲の情報を用いて、培地画像からコロニー画像を抽出することができる。遊走認識学習モデル３においては、物体検出学習モデル３１は、複数の異なる培養時間で同一の培地を撮像して得られる複数の培地画像それぞれから、複数のコロニー画像が抽出される。

図４下図に示す画像認識学習モデル３２は、細菌培養中の異なる複数時点で撮像された複数の培地画像から抽出された複数のコロニー画像が入力される入力層３２ａと、複数のコロニー画像の特徴量を抽出する中間層３２ｂと、培地に含まれ得る遊走性細菌の有無を示す情報を出力する出力層３２ｃとを有するニューラルネットワークである。

ニューラルネットワークの入力層３２ａは、コロニー画像を構成する各画素の画素値の入力を受け付ける複数のノードを有し、入力された画素値を中間層３２ｂに受け渡す。入力層３２ａは、例えば、複数時点で撮像され、各培地画像から抽出された複数のコロニー画像が入力される。中間層３２ｂは、培地画像から抽出された複数のコロニー画像の特徴量を抽出する複数のノードを有し、抽出した特徴量を出力層３２ｃに受け渡す。出力層３２ｃは、遊走性細菌の有無を示す情報を出力するノードを有する。なお、出力層３２ｃの活性化関数は例えばシグモイド関数である。遊走性細菌の有無を示す情報は、例えば遊走性細菌が存在する確度である。また、出力層３２ｃをソフトマックス関数とし、細菌の多クラス分類を行うように構成してもよい。
なお、遊走認識学習モデル３を物体検出学習モデル３１及び画像認識学習モデル３２で構成する例を説明したが、一つの学習モデルで構成してもよい。

図５は、遊走認識学習モデル３の生成方法を示すフローチャート、図６は、遊走認識学習モデル３の生成方法を示す説明図である。ここでは、物体検出学習モデル３１については、公知の機械学習方法を用いて、コロニー画像を検出できるように予め学習されているものとする。記憶部１３は、任意の細菌及び遊走性細菌の少なくとも一つが塗布された培地を、細菌培養中の異なる複数時点で撮像して得た複数の培地画像と、当該培地に含まれ得る遊走性細菌の有無を示す情報（教師データ）とを対応付けた訓練データを記憶している。複数時点で撮像して得た複数の培地画像は、同一培地を断続的に撮像して得られた複数の画像である。なお、言うまでも無く訓練データは、複数の培地画像と、教師データとを対応付けたデータを複数組み含む。

情報処理装置１の演算部１１は、記憶部１３が記憶する訓練データ、つまり複数時点で撮像して得た複数の培地画像と、当該培地に含まれ得る遊走性細菌の有無を示す教師データとを対応付けた訓練データを取得する（ステップＳ３１）。そして、演算部１１は、取得した訓練データを用いて未学習のニューラルネットワークを機械学習させることにより、遊走認識学習モデル３を生成する（ステップＳ３２）。つまり、細菌培養中の異なる複数時点で撮像して得られる複数の培地画像が入力された場合、遊走性細菌の有無を示す情報が出力されるようにニューラルネットワークを機械学習させる。具体的には、訓練データである複数の培地画像から物体検出学習モデル３１を用いて抽出された複数のコロニー画像を、画像認識学習モデル３２の未学習のニューラルネットワークに入力した場合に出力される遊走性細菌の有無を示す情報と、訓練データの当該培地画像に対応付けられた教師データとの差分が小さくなるように、当該ニューラルネットワークのパラメータを最適化する。当該パラメータは、例えばノード間の重み（結合係数）などである。パラメータの最適化の方法は特に限定されないが、例えば演算部１１は最急降下法等を用いて各種パラメータの最適化を行う。

遊走認識学習モデル３の学習は、図４に示すようにミニバッチ学習と呼ばれるバッチ処理により行ってもよい。遊走認識学習モデル３の画像認識学習モデル３２を学習させるための訓練データである同一バッチには、同一検体由来の複数のコロニー画像が含まれる。複数のコロニー画像は、同一検体の培地を異なる複数の時点で断続的に撮像して得られた培地画像から抽出された画像である。ニューラルネットワークの重みパラメータは、同一検体由来の訓練データを用いて更新されるため、同一検体に共通する画像特徴量を効果的に学習することができる。

なお、遊走認識学習モデル３を多クラス分類可能なモデルとして構成する場合、複数の異なる培養条件（異なる培地等）で撮像した培地画像と、複数の異なる撮像条件（異なる照明方法や異なる波長での撮像）で撮像した培地画像と、細菌培養中の異なる複数時点で撮像して得た複数の培地画像と、当該培地に含まれ得る一又は複数の菌種を示す情報（教師データ）とを対応付けた訓練データを作成する。そして、細菌培養中の異なる複数時点で撮像して得られる複数の培地画像が入力された場合、シングルコロニーを１つ含む正方形で画像を切り出す形で、培養皿上の全てのシングルコロニー画像を抽出し、抽出した各画像において複数の細菌それぞれが存在する確度を示す情報が出力されるようにニューラルネットワークを機械学習させるとよい。具体的には、訓練データである複数の培地画像を未学習のニューラルネットワークに入力した場合に出力される複数の細菌それぞれが存在する確度と、訓練データの当該コロニー画像に対応付けられた正解となる菌種情報（具体的には複数の細菌それぞれが存在する場合には値１を、存在しない場合には値０という二値をベクトル成分に持ち、全菌種数をベクトルの次元としたベクトルデータ（マルチホットベクトル）で、一般的には正解ラベルと呼ばれるデータ）との差分が小さくなるように、当該ニューラルネットワークのパラメータを最適化する。なお、当該ニューラルネットワークの出力層の活性化関数はソフトマックス関数である。

また遊走認識学習モデル３は、再帰型ニューラルネットワーク（RNN: Recurrent Neural Network）、ＬＳＴＭ、Vision Transformer等の学習モデルで構成してもよい。

＜菌種識別学習モデル４＞
菌種識別学習モデル４は、例えば、培地画像に含まれるコロニーの画像（以下、コロニー画像と呼ぶ）の位置及び範囲を検出するための物体検出学習モデル４１と、コロニー画像に基づいて当該コロニーを形成している細菌の種類を認識するための画像認識学習モデル４２とを含む。

図７は、菌種識別学習モデル４の構成例を示す概念図である。菌種識別学習モデル４は、例えば、培地画像に含まれるコロニー画像の位置及び範囲を検出するための物体検出学習モデル４１と、物体検出学習モデル４１の検出結果に基づいて培地画像から抽出されたコロニー画像に基づいて、培地に含まれる菌種を認識するための画像認識学習モデル４２とを含む。
図７上図に示す物体検出学習モデル４１は、培地画像に含まれるコロニー画像を検出するＹＯＬＯｖ３、Ｕ－Ｎｅｔ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＳＳＤ等の物体検出モデルである。物体検出学習モデル４１は、例えば培地画像の入力を受け付ける入力層４１ａと、培地画像の特徴量を抽出する中間層４１ｂと、培地画像に含まれる細菌によって形成されたコロニーの画像（以下、コロニー画像と呼ぶ）の位置及び範囲を示す情報を出力する出力層４１ｃとを有するニューラルネットワークである。なお、物体検出モデルはコロニーの菌種を認識する必要は無い。物体検出学習モデル４１から出力される位置及び範囲の情報に基づいて、培地画像から一又は複数の培地画像が抽出される。

図７下図に示す画像認識学習モデル４２の構成例を示す概念図である。画像認識学習モデル４２は、コロニー画像が入力された場合、コロニー画像に対する画像認識処理を行い、コロニー画像を形成する菌種を特定するＶＧＧ、ＲｅｓＮｅｔ、ＤｅｎｓｅＮｅｔ、Vision Transformer等の画像認識モデルである。画像認識学習モデル４２は、例えばコロニー画像の入力を受け付ける入力層４２ａと、コロニー画像の特徴量を抽出する中間層４２ｂと、当該コロニーを形成する細菌の種類を示す情報を出力する出力層４２ｃとを有するニューラルネットワークである。細菌の種類を示す情報は、例えば複数の細菌それぞれがコロニーを形成している確度である。なお、画像認識学習モデル４２にコロニー画像を入力する際、コロニー画像のサイズを所定サイズに調整するように構成するとよい。

なお、菌種識別学習モデル４を物体検出学習モデル４１及び画像認識学習モデル４２で構成する例を説明したが、一つの学習モデルで構成してもよい。
また、画像認識学習モデル４２もマルチチャネルの構成とし、細菌培養中の複数時点で撮像されたコロニー画像が入力された場合、当該コロニーを形成する細菌の種類を示す情報を出力するように構成してもよい。この場合、画像認識学習モデル４２を再帰型ニューラルネットワーク、ＬＳＴＭ、Vision Transformer等で構成してもよい。

図８は、既存菌種確認学習モデル５の構成例を示す概念図である。既存菌種確認学習モデル５は、コロニー画像が入力された場合、コロニー画像に対する画像認識処理を行い、コロニー画像を形成する菌種が既存菌種であるか否か、言い換えると新規菌種であるか否かを示す情報を出力する画像認識モデルである。既存菌種は、菌種識別学習モデル４の画像認識学習モデル４２によって識別可能な菌種、つまり画像認識学習モデル４２が学習済みの菌種である。既存菌種確認学習モデル５は、画像認識学習モデル４２と同様の入力層５１ａ、中間層５１ｂ及び出力層５１ｃを備える。ただし、出力層５１ｃの活性化関数は、シグモイド関数である。

＜情報処理方法：遊走性細菌の検出及び菌種識別処理＞
図９は、菌種識別及びモデル更新の処理手順を示すフローチャートである。細菌検査の作業者は、患者から採取された検体の細菌培養を行い（ステップＳ５１）、撮像装置９を用いた培地の撮像を開始する（ステップＳ５２）。検体には遊走性細菌が含まれ得る。

次いで、情報処理装置１の演算部１１は、撮像装置９から培地画像を取得し、検体に含まれる細菌の種類を識別する処理を実行する（ステップＳ５３）。細菌識別の処理には、細菌培養中に遊走性細菌の有無を判定する処理が含まれる。

図１０～図１２は、実施形態１に係る菌種識別の処理手順を示すフローチャートである。演算部１１は、撮像装置９から出力される培地画像を取得部１７にて取得し（ステップＳ７１）、取得した培地画像を記憶部１３に記憶する（ステップＳ７２）。撮像装置９は、細菌培養中、連続的又は断続的に培地画像を撮像しており、取得部１７は撮像装置９から培地画像が出力される都度、培地画像を取得する。

次いで、演算部１１は、取得した単一の培地画像を遊走性細菌認識学習モデル２に入力し、当該遊走性細菌認識学習モデル２から出力される情報に基づいて、遊走性細菌の有無を一次判定する（ステップＳ７３）。本実施形態１では複数の異なる方法で遊走性細菌の有無を判定し、ステップＳ８０の処理で遊走性細菌の有無の最終判定を行う。

次いで、演算部１１は、細菌培養中の異なる複数時点で取得した複数の培地画像を遊走認識学習モデル３に入力し、当該遊走認識学習モデル３から出力される情報に基づいて、遊走性細菌の有無を一次判定する（ステップＳ７４）。

次いで、演算部１１は、細菌培養中の異なる複数時点で取得した複数の培地画像それぞれを物体検出学習モデル３１に入力し、当該物体検出学習モデル３１から出力される情報に基づいて、複数の培地画像に含まれるコロニー画像を検出する（ステップＳ７５）。演算部１１は、培地画像におけるコロニー画像の位置及び範囲を認識することができる。

次いで、演算部１１は、複数の培地画像におけるコロニー画像の位置を比較することにより、コロニーの移動量（位置変化量）を算出する（ステップＳ７６）。そして、演算部１１は、算出された移動量に基づいて、遊走性細菌の有無を一次判定する（ステップＳ７７）。具体的には、演算部１１は、コロニーの移動量が第１の閾値以上であるか否かを判定する。コロニー移動量が当該第１の閾値以上である場合、遊走性細菌有りと判定する。通常、培地画像には複数のコロニー画像が含まれているが、移動量が第１の閾値以上のコロニーが一つでもあれば、遊走性細菌有りと判定するように構成すればよい。

なお、複数の培地画像におけるコロニーの中心座標を算出し、第２時点におけるコロニーの中心座標が、第１時点（第２時点よりも前の時点）におけるコロニーの検出範囲よりも外へ移動しているかを判定し、遊走性細菌の有無を判定してもよい。コロニーが上記検出範囲よりも外側へ移動しているか否かは、当該検出範囲内に存在するコロニーの割合が閾値未満であるか否かにより判定するとよい。

次いで、演算部１１は、複数の培地画像におけるコロニー画像のサイズ、例えば面積を比較することにより、コロニーの面積拡大速度（サイズ変化量）を算出する（ステップＳ７８）。そして、演算部１１は、算出された面積拡大速度に基づいて、遊走性細菌の有無を一次判定する（ステップＳ７９）。具体的には、演算部１１は、コロニーの面積拡大速度が第２の閾値以上であるか否かを判定する。コロニーの面積拡大速度が当該第２の閾値以上である場合、遊走性細菌有りと判定する。通常、培地画像には複数のコロニー画像が含まれているが、面積拡大速度が第２の閾値以上のコロニーが一つでもあれば、遊走性細菌有りと判定するように構成すればよい。

遊走性細菌を複数の培養皿に単独培養して細菌集団の単位時間当たりの面積の拡大割合の値の分布から９５％信頼区間下限値（値の低い方から２．５パーセンタイル点）を第２の閾値として用いるとよい。
また、遊走性細菌と非遊走性細菌が混在する検体において細菌集団の面積拡大割合に関するヒストグラムを作成し、設定する１つの閾値により分けられた２グループが、遊走性細菌と非遊走性細菌を含む割合に関する分離能（両者の正解率、感度、特異度等）が優れた閾値を探索し、当該探索により得られた値を第２の閾値として用いるとよい。

次いで、演算部１１は、ステップＳ７３、ステップＳ７４、ステップＳ７７及びステップＳ７９の一次判定結果に基づいて、遊走性細菌の有無を総合的に判定する（ステップＳ８０）。例えば、演算部１１は論理和で遊走性細菌の有無を判定すればよい。つまり、複数の一次判定結果のうち、一つでも遊走性細菌有りの一次判定があれば、遊走性細菌有りと最終判定する。なお、演算部１１は、複数の一次判定結果のうち、所定数以上、遊走性細菌有りの一次判定であれば、遊走性細菌有りと最終判定するように構成してもよい。また、演算部１１は、遊走性細菌認識学習モデル２から出力される値、遊走認識学習モデル３から出力される値、コロニー移動量と第１の閾値との差分、コロニーの面積拡大速度と第２の閾値との差分を含む損失関数、これらの数値の重み付け和等を求め、損失関数の値、重み付け和の値に基づいて、遊走性細菌の有無を最終判定するように構成してもよい。

また、本実施形態では、４つの方法で遊走性細菌の有無を一次判定する例を説明したが、遊走性細菌認識学習モデル２又は遊走認識学習モデル３で遊走性細菌が検出された場合、ステップＳ７５～ステップＳ７９の処理をスキップしてもよい。
更に、４つの一次判定を行う順序は特に限定されるものでは無い。４つの一次判定を順に実行する場合において、遊走性細菌が検出された場合、残りの一次判定処理をスキップしてもよい。

次いで、ステップＳ８０の処理の結果、遊走性細菌が存在すると判定された場合（ステップＳ８１：ＹＥＳ）、演算部１１は、遊走性細菌の存在を通知部１６にて通知する（ステップＳ８２）。例えば、演算部１１にて、警告用のランプを点灯させたり、音声を出力したり、作業担当者の通信端末へ遊走性細菌の存在を示す情報を送信したりするとよい。当該通知は、細菌培養中、遊走性細菌が検出された段階で行う。作業者は、遊走性細菌の存在を早期に知ることができる。遊走性細菌を早期発見することにより、検査技師又はコロニーピッカー装置は釣菌し、遊走性細菌と、遊走性細菌以外の細菌とを分離培養することができる。また、必要に応じて、検査技師等の作業者は、細菌培養のやり直しを行うことができる。このため、検査費用の増加を抑制することができ、検査時間を表すＴＡＴ（Turn Around Time）の増大を抑制することができる。

次いで、演算装置は、撮像装置９から取得した複数の培地画像から、遊走性細菌が検出された培地画像を除外する（ステップＳ８３）。この除外処理によって、遊走性細菌を含む培地画像は、菌種識別の対象から除外される。また、この除外処理によって、遊走性細菌を含む培地画像は、物体検出学習モデル４１及び画像認識学習モデル４２等を追加学習させるための訓練データ及びテスト用データから除外される。

ステップＳ８３の処理を終えた場合、又はステップＳ８１で遊走性細菌が存在しないと判定された場合（ステップＳ８１：ＮＯ）、又はステップＳ８３の処理を終えた場合、演算部１１は細菌培養が完了したか否かを判定する（ステップＳ８４）。細菌培養中であると判定した場合（ステップＳ８４：ＮＯ）、演算部１１は処理をステップＳ７１へ戻し、遊走性細菌の有無を判定する処理を継続する。

細菌培養を完了したと判定した場合（ステップＳ８４：ＹＥＳ）、演算部１１は、同一培地を撮像して得た複数の培地画像であって、遊走性細菌が検出されなかった複数の培地画像を物体検出学習モデル４１に入力することによって、コロニー画像の位置及び範囲を認識し、各培地画像から当該コロニー画像を抽出する（ステップＳ８５）。ステップＳ８５の処理で複数のコロニー画像が抽出される。

次いで、演算部１１は、暫定的な菌種識別処理として、新規菌種の存否に拘わらず、抽出されたコロニー画像を画像認識学習モデル４２に入力することによって、当該コロニー画像の菌種を識別する（ステップＳ８６）。画像認識学習モデル４２の出力層４２ｃの活性化関数はソフトマックスであり、出力層４２ｃは、複数の菌種それぞれに該当する確度を示す数値を出力する。

次いで、演算部１１は、抽出されたコロニー画像が既存菌種又は新規菌種のコロニー画像であるか否かを判定する（ステップＳ８７）。具体的には、演算部１１は、抽出されたコロニー画像を既存菌種確認学習モデル５に入力することによって、当該コロニー画像が既存菌種のコロニー画像であるか、新規菌種のコロニー画像であるかを判定する。
なお、演算部１１は、新規菌種であるか否かは、画像認識学習モデル４２から出力される数値に基づいて判定してもよい。

そして、演算部１１は新規菌種が存在するか否かを判定する（ステップＳ８８）。新規菌種が存在しないと判定した場合（ステップＳ８８：ＮＯ）、演算部１１は、遊走性細菌が検出されていない一又は複数の培地画像から抽出されたコロニー画像を用いて、菌種の識別処理を実行する（ステップＳ８９）。具体的には、演算部１１は、培地画像から抽出されたコロニー画像を画像認識学習モデル４２に入力することによって、当該コロニーを形成する細菌の種類を識別する。演算部１１は、少なくとも直近に撮像された培地画像から抽出された全てのコロニー画像について、菌種を識別する処理を実行する。
なお、マルチチャネルの画像認識学習モデル４２に、細菌培養中の複数時点で撮像されたコロニー画像を入力することによって、当該コロニーを形成する細菌の種類を識別してもよい。

次いで、演算部１１は、画像認識学習モデル４２から出力される確度を、培地に特定の細菌が存在する確率に変換する処理を実行する（ステップＳ９０）。画像認識学習モデル４２から出力される確度は、画像認識学習モデル４２が行う菌種識別の分類指標となる数値であり、０から１までの範囲の実数であるが、培地に当該細菌が実際に存在する確率とは必ずしも一致していない。そこで、演算部１１は、予め記憶する変換関数を用いて確度を、確率に変換する。つまり、演算部１１は、画像認識学習モデル４２から出力される確度を、当該菌種が実際に存在する確率にキャリブレーションする。変換関数は、画像認識学習モデル４２から出力される確度（特定の菌種により形成されたコロニー画像である確度）を、実際にコロニーが当該特定の菌種により形成されている確率に変換する関数である。変換関数は、確度と確率とを対応付けたテーブルであってもよい。

変換関数の作成方法は以下の通りである。まず、複数のコロニーについて、当該コロニーに含まれる菌種が特定の菌種に属する確度の集合から、確度の度数分布を作成する。例えば、０．１刻みの区間で確度の度数分布を作成する。一方、上記の度数分布で同一区間の度数を保有する複数のコロニーについて、当該コロニーに含まれる菌種が特定の菌種に属する実際の確率、つまり、検査技師の判断に基づく確率又は他の検査による確定結果に基づく確率を算出する。そして、上記確度と、確率とを関連付ける変換関数を決定する。変換関数は、ロジスティック回帰関数やｉｓｏｔｏｎｉｃ回帰関数等を使用する。このようにして作成された変換関数を用いることによって、確度の値から確率を算出することができる。

ステップＳ８８において、新規菌種が存在すると判定した場合（ステップＳ８８：ＹＥＳ）、演算部１１は、ステップＳ８５で抽出した複数のコロニー画像の特徴量を算出する（ステップＳ９１）。

コロニー画像の特徴量の算出方法は特に限定されるものでは無いが、画像認識学習モデル４２を用いて算出してもよい。画像認識学習モデル４２の中間層４２ｂは、コロニー画像の特徴を表す数値を出力しているため、当該中間層４２ｂで算出及び出力された数値（画像特徴量）を特徴量として用いてもよい。また、画像認識学習モデル４２かの出力層４２ｃから出力される確度を成分とするベクトルを、特徴量として用いてもよい。出力層４２ｃから、複数の既存菌種それぞれに対応する確度が出力されているため、既存菌種数の次元を持つベクトルが得られる。また出力層４２ｃから出力される確度を適当な閾値を用いて、０又は１を用いて２値化して、それをベクトルの成分とすれば、類似菌種をホットベクトルで表現した特徴量となる。更に、コロニー画像の特徴量、例えばコロニー画像の特徴を次元圧縮した埋め込みベクトルを出力する学習モデル（不図示）を用いて、コロニー画像の特徴量を算出してもよい。

そして、演算部１１は、抽出された複数のコロニー画像の特徴量と、ステップＳ８６及びステップＳ８７で識別及び確認された既存菌種のコロニー画像の特徴量とに基づいて、当該複数のコロニー画像をクラスタリングする（ステップＳ９２）。このクラスタリング処理は、菌種の情報がラベリングされた既存菌種のコロニー画像の特徴量を、教師データとして行う半教師ありクラスタリング処理である。一部の特徴量には菌種の情報がラベリングされているため、複数のコロニー画像の特徴量はより適確にクラスタリングされる。同一の菌種の情報がラベリングされた特徴量は同一クラスに分類され、異なる菌種の情報がラベリングされた特徴量は異なるクラスに分類される。複数のコロニー画像には、ステップＳ８６及びステップＳ８７で菌種の識別ができなかった新規菌種のコロニー画像が含まれている可能性が高く、このようなコロニー画像は、特徴量が互いに近似し、既存菌種のクラスの特徴量と近似しないような場合、既存菌種と異なるクラスに分類されていく。新規菌種は一種類である場合もあれば複数種類である場合もあり、コロニー画像の特徴に応じて、新規菌種のコロニー画像は一又は複数のクラスに分類される。既存菌種のコロニー画像については、通常、菌種毎に一又は複数のクラスに分類される。

なお、クラスタリングの方法は特に限定されるものでは無いが、Ｋ－ｍｅａｎｓ、ＥＭアルゴリズム等の混合分布モデル、ｔＳＮＥ、ＰＣＡ等を使用してコロニー画像の特徴量を半教師ありクラスタリングするとよい。また、自己教師あり学習（DeepCluster、Sela等のContrastive learning）を使用してコロニー画像の特徴量をクラスタリングしてもよい。

次いで、演算部１１は、クラスタリングされた各クラスのコロニー画像を、画像認識学習モデル４２に入力することによって、当該コロニーを形成する細菌の種類を識別し、又は新規菌種を特定する（ステップＳ９３）。既存菌種に相当するクラスのコロニー画像であれば、画像認識学習モデル４２から出力される確度に基づいて、一の菌種を特定することができる。新規菌種に相当するクラスのコロニー画像である場合、画像認識学習モデル４２から出力される確度に基づいて、一の菌種を一意に特定することができず、新規菌種として特定される。なお、ここでも、新規菌種と考えられるコロニー画像を、既存菌種確認学習モデル５に入力することによって、新規菌種であることを再確認するように構成してもよい。

次いで、演算部１１は、ステップＳ９２のクラスタリング処理結果と、ステップＳ９３の菌種識別結果とに基づいて、新規菌種の数を特定する（ステップＳ９４）。コロニー画像の特徴量をクラスタリングすることによって、クラスタリングされたグループ数は、培地に存在する菌種の総数に相当する。なお、クラスタリングされたグループ数は、培地に存在する菌種の総数に相当するようにクラスタリングの際のパラメータ調整できる。一方、ステップＳ９３の処理で識別することができた菌種の数は、当該培地に存在する既存菌種の数に相当する。演算部１１は、培地に存在する菌種の総数から既存菌種の数を減算することによって、新規菌種の数を特定することができる。演算部１１は、特定された新規菌種、新規菌種のコロニー画像に対して、仮の菌種名又は菌種グループ名を自動で割り当てるとよい。

なお、コロニー画像の特徴量である上記ベクトルを、Ｋ－ｍｅａｎｓやＥＭアルゴリズム等を用いてクラスタリングし、既存菌種と異なるクラスターに分類された場合、新規菌種として同定するように構成してもよい。

次いで、演算部１１は、特定のコロニー画像が新規菌種のコロニー画像であるとの判定の信頼度を算出する（ステップＳ９５）。例えば、演算部１１は、特定のコロニー画像の特徴量と、各クラスターの中心との距離の逆数を信頼度又は類似度として算出すればよい。より具体的には、カーネル密度推定値、局所外れ値（ＬＯＦ）の逆数を、新規菌種であることの信頼度として算出すればよい。演算部１１は、その他、各クラスターからの外れ度合いを表す公知の異常度の逆数又は、類似度を信頼度として算出するように構成してもよい。

また、演算部１１は、既存菌種のコロニー画像について、画像認識学習モデル４２から出力される確度を、培地に特定の細菌が存在する確率に変換する処理を実行する（ステップＳ９６）。

次いで、演算部１１は、新規菌種の登録処理を実行する（ステップＳ９７）。検査技師が目視確認又は細菌検査キット等により、当該新規菌種の正式な菌種名を確認し、操作部１４にて、新規菌種名を情報処理装置１に入力することができる。演算部１１は、操作部１４の操作によって入力された正式な菌種名等、新規菌種に関する情報を登録する。新規菌種を含む培地画像、コロニー画像、菌種名等の情報は、菌種識別学習モデル４の追加学習又は改良に利用することができる。

演算部１１は、実施形態１で説明したステップＳ５４の処理で、新規菌種のコロニー画像、新規菌種の数、その他の新規菌種に関する情報、新規菌種であるとの判定の信頼度を処理結果として出力する。また、演算部１１は、識別された既存菌種が培地に存在する確率を処理結果として出力する。

なお、情報処理装置１は、種々の検体及び培地によって育成される菌種の組みあわせを予め記憶部１３に記憶しておき、菌種の識別結果と、記憶部１３が記憶する菌種の組みあわせとに基づいて、菌種の識別結果の妥当性を判定するように構成してもよい。妥当性は、識別された菌種の組み合わせと、記憶部１３が記憶する菌種の組みあわせの類似度、統計距離、外れ値等により算出することができる。例えば、菌種数の次元を持つベクトルについて、ベクトル成分が各菌種の有無を表すように設定し、そのベクトルの内積が類似度であり、ベクトルの差の絶対値がユークリッド距離を表す。この時、菌種数の次元が合わない場合は、菌種数の少ない方のベクトルの不足する菌種成分をゼロとして補間する。演算部１１は、識別された菌種及び登録された新規菌種の組みあわせと、記憶部１３が記憶する菌種の組みあわせとに基づいて、識別結果及び新規登録する菌種の内容の妥当性を判定するように構成してもよい。

菌種識別処理を終えた演算部１１は、菌種識別の結果出力及び修正処理を実行する（ステップＳ５４）。例えば、演算部１１は、培地画像、ステップＳ５３の処理によって検出されたコロニー領域の中心位置及び画像範囲、コロニーを形成する細菌の種類等を表示部１５に表示する。また、演算部１１は、検査結果の修正を操作部１４にて受け付け、コロニー領域の中心位置及び画像範囲、細菌の種類等を変更して記憶する。

そして、演算部１１は、図９に示すように、培地画像と、適宜修正された検出結果とを対応付けて記憶部１３に記憶し（ステップＳ５５）、処理を終える。例えば、記憶部１３は、培地を撮像して得た培地画像と、培地画像に含まれるコロニー領域の中心位置及び画像範囲を示す情報、当該コロニーを形成する細菌の種類を示す情報とを対応付けて記憶する。当該情報は、物体検出学習モデル４１、画像認識学習モデル４２及び既存菌種確認学習モデル５を追加学習させるための訓練データ及びテスト用データの元になるデータである。

＜情報処理方法：学習モデルの追加学習、評価及び更新処理＞
次に、菌種識別学習モデル４の追加学習、評価及び更新方法について説明する。まず、情報処理装置１の演算部１１は記憶部１３が記憶する培地画像及び検出結果等の保存データを読み出し（ステップＳ６１）、読み出された保存データに基づいて、追加学習用の訓練データ及びテスト用データを作成する（ステップＳ６２）。物体検出学習モデル４１の訓練データであれば、演算部１１は、培地画像と、当該培地画像に含まれるコロニー領域の中心位置及び画像範囲を示す情報とを対応付けた訓練データ及びテスト用データを作成する。画像認識学習モデル４２の訓練データであれば、演算部１１は、コロニー画像と、当該コロニーを形成した細菌の種類を示す情報とを対応付けた訓練データ及びテスト評価用データを作成する。

次いで、演算部１１は、作成した訓練データを用いて、菌種識別学習モデル４、例えば物体検出学習モデル４１及び画像認識学習モデル４２等を追加機械学習させる（ステップＳ６３）。なお、記憶部１３は、追加学習前の学習モデルを保持している。

そして、演算部１１は、追加学習前の菌種識別学習モデル４を、追加学習後の菌種識別学習モデル４に更新するか否かを判定するために、菌種識別学習モデル４の評価を行う。

演算部１１は、テスト用の培地画像又はコロニーの画像を、追加学習前の菌種識別学習モデル４に入力することによって菌種識別学習モデル４から出力される情報と、追加学習後の菌種識別学習モデル４に入力することによって菌種識別学習モデル４から出力される情報と、臨床重要度に係る情報とに基づいて評価指標を算出する（ステップＳ６４）。

例えば、演算部１１は、重み係数テーブル６を参照し、下記式（１）で表される評価指標Ｅを算出する。下記式（１）で表される評価指標Ｅは、ｐｉの値が大きいほど正解率が高い場合、評価指標Ｅの値が小さい方が良い評価となる。
Ｅ＝Σｗｉ（１-ｐｉ）＝Σｗｉ×ｑｉ…（１）
但し、
Ｅ：評価指標
ｗｉ：細菌の種類に応じて値が異なる重み係数
添字ｉ：複数種類の細菌を示す値、細菌種ごとに異なる値
ｐｉ：添字ｉで表される菌種を識別したときの正解率等
ｑｉ：添字ｉで表される菌種を識別したときのエラー率等

重み係数ｗｉの値は、人体への影響の重篤度が大きい細菌である程、大きい。例えば、薬剤耐性を有する病原菌に対する重み係数ｗｉは、薬剤耐性を有せず、類似のゲノム配列を持つ病原菌に対する重み係数ｗｉよりも大きな値である。また、病原菌（非常在菌）に対する重み係数ｗｉは、常在菌に対する重み係数ｗｉよりも大きな値である。具体的には、薬剤耐性を有する病原菌に対する重み係数ｗｉは１０、薬剤耐性を有しない病原菌に対する重み係数ｗｉは５、常在菌に対する重み係数ｗｉは１である。
このように重み係数を設定することにより、薬剤耐性菌の識別精度に対する評価は、非薬剤耐性菌の識別精度に対する評価よりも大きな重み付けが付与され、その結果、非薬剤耐性菌に比べ薬剤耐性菌に対する識別精度の影響を強く受けやすい評価指標が算出される。また、病原菌の識別精度に対する評価は、常在菌の識別精度に対する評価よりも大きな重み付けを付与され、常在菌に比べ病原菌に対する識別精度の影響を強く受けやすいしたて評価指標が算出される。

なお、菌種識別学習モデル４の一般的な評価を示す値ｐｉとして、正解率を説明したが、特にこれに限定されるものでは無く、感度、特異度、陽性的中率、ＲＯＡＵＣ，ＰＲ－ＡＵＣ、適合率、再現率、Ｆ値等を用いてもよい。

また、ｑｉとして下記式（２）を用いてもよい。

なお、ＮＲＩは、真陽性の場合に検査陽性が増えるほど値が大きくなり、真陰性の場合に検査陰性が増えるほど値が大きくなるように、評価指標を線形に（係数１で）加算し、予測モデルの更新前後の差分を算出したものである。

また、ｑｉとして下記式（３）を用いてもよい。
ＮＢ（ｖ）＝ＴＰ（ｖ）－｛ｖ／（１－ｖ）｝ＦＰ（ｖ）…（３）
但し、
ＴＰ：真陽性率
ＦＰ：偽陽性率
ｖ：所定の閾値

なお、閾値ｖは予め情報処理装置１に設定される値であり、記憶部１３が記憶している。感度を高めたければ、ｖを低い値（０に近い値に）に設定し、特異度を高めたければ、ｖを高い値（１に近い値に）に設定する。ｖの値は予測エラー率に直結するため、実際には検査現場が許容（再検査又はそれに伴う費用や納期を許容）できる高めのエラー率に設定したり、再検査による赤字を回避するために低めのエラー率に設定したりして、閾値ｖを調整する。

更に、上記評価指標Ｅに代えて、下記式（４）で表される評価指標を用いて、菌種識別学習モデル４を評価してもよい。

なお、重み係数w_k ，w_1k，w_2k，w_3k，w_4kは重み係数ｗｉと同様、人体への影響の重篤度が大きい細菌である程、大きい値である。

ステップＳ６４の処理を終えた演算部１１は、同様にしてテスト用の培地画像又はコロニーの画像を、追加学習後の菌種識別学習モデル４に入力することによって菌種識別学習モデル４から出力される情報と、臨床重要度に係る情報とに基づいて評価指標を算出する（ステップＳ６５）。なお、ステップＳ６４及びステップＳ６５の処理順序は特に限定されるものではない。

そして、演算部１１は追加学習後の菌種識別学習モデル４の評価指標が、追加学習前の菌種識別学習モデル４の評価指標に比べて向上したか否かを判定する（ステップＳ６６）。評価指標が向上していないと判定した場合（ステップＳ６６：ＮＯ）、演算部１１は菌種識別学習モデル４の更新を行わずに処理を終える。

評価指標が向上していると判定した場合（ステップＳ６６：ＹＥＳ）、追加学習前の菌種識別学習モデル４を追加学習後の菌種識別学習モデル４に更新する（ステップＳ６７）。以降、演算部１１は追加学習後の菌種識別学習モデル４を用いて、細菌識別等の処理を実行する。

このように構成された情報処理装置１等によれば、細菌培養中の培地に含まれる遊走性細菌の有無を判定することができる。

また、情報処理装置１は、遊走性細菌が検出された場合、遊走性細菌の存在を通知することにより、作業者は、遊走性細菌を早期発見することができる。遊走性細菌の早期発見により、検査技師又はコロニーピッカー装置は釣菌し、遊走性細菌と、遊走性細菌以外の細菌とを分離培養することができる。また、必要に応じて、細菌培養のやり直しを行うことができ、検査費用の増加及びＴＡＴ（Turn Around Time）の延長を抑制することができる。

更に、情報処理装置１は、遊走性細菌を含む培地画像を除外して培地画像及び検査結果を記憶することができる。従って、遊走性細菌を含まない培地画像又はコロニーの画像を元にした追加学習用の訓練データ又はテスト用データを作成することができる。よって、菌種識別学習モデル４を適切に追加学習させることができる。

更に、菌種識別学習モデル４の追加学習を行った際、臨床有用性が加味された評価指標により、菌種識別学習モデル４を評価し、菌種識別学習モデル４を自動更新することができる。

更にまた、培地に新規菌種が含まれている場合であっても、既存菌種のコロニー画像については菌種を識別すると共に、新規菌種のコロニー画像を特定することができる。なお、遊走性細菌認識を含まない培地画像に基づいて、新規菌種の特定が行われているため、より正確に新規菌種のコロニー画像が特定される。

更にまた、半教師ありクラスタリング処理により、新規菌種のコロニー画像を特定する構成であるため、より適確に既存菌種及び新規菌種を識別及び特定することができる。

更にまた、特定された新規菌種の数を特定することができる。そして新規菌種のコロニー画像には、仮名が付与される。作業者は、新規菌種として特定されたコロニー画像を形成している細菌の種類を鑑定し、菌種名を付与することによって新規菌種を新たに登録することができる。登録された新規菌種の情報は、菌種識別学習モデル４及び既存菌種確認学習モデル５の更新に利用することができる。

更にまた、特定のコロニー画像が新規菌種のコロニーであるとの判定結果の信頼度を出力することができる。

既存菌種については、画像認識学習モデル４２から出力される確度では無く、既存菌種が実際に培地に存在する確率に変換して出力することができる。

なお、本実施形態では、細菌培養中の異なる複数時点で撮像して得た複数の培地画像を用いて遊走性細菌の有無を判定し、菌種を識別する例を説明したが、異なる複数時点及び撮像条件下で撮像された複数の培地画像を用いて、遊走性細菌の有無を判定し、菌種を識別するように構成してもよい。また、複数の異なる種類の培地を用いて細菌培養された培地を撮像して得た複数の培地画像を用いて、遊走性細菌の有無を判定し、菌種を識別するように構成してもよい。

（実施形態２）
実施形態２に係る情報処理装置１等は、新規菌種の識別に係る処理手順が実施形態１と異なる。情報処理装置１のその他の構成は、実施形態１に係る情報処理装置１と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

実施形態２に係る情報処理装置１の記憶部１３は、シードクラスタリングを実行するための情報として、既存細菌のコロニー画像の特徴量を記憶しているものとする。例えば、記憶部１３は、菌種識別学習モデル４の学習に用いた、菌種が既知のコロニー画像の特徴量を記憶している。当該特徴量には菌種の情報がラベリングされている。

図１３は、実施形態２に係る菌種識別の処理手順を示すフローチャートである。演算部１１は、実施形態１と同様にして、ステップＳ７１～ステップＳ８５の処理を実行することによって遊走性細菌の有無を判定する等の処理を実行し、遊走性細菌が検出されなかった複数の培地画像から複数のコロニー画像を抽出する。

ステップＳ８５の処理を終えた演算部１１は、ステップＳ８５で抽出した複数のコロニー画像の特徴量を算出する（ステップＳ２８６）。

次いで、演算部１１は、記憶部１３から既存細菌のコロニー画像の特徴量を読み出し、ステップＳ２８６で抽出された複数のコロニー画像の特徴量と、記憶部１３から読み出した既存菌種のコロニー画像の特徴量とに基づいて、当該複数のコロニー画像をシードクラスタリングする（ステップＳ２８７）。このクラスタリング処理は、菌種の情報がラベリングされた既存菌種のコロニー画像の特徴量を、教師データとして行う半教師ありクラスタリング処理である。

クラスタリングされた各クラスのコロニー画像を、画像認識学習モデル４２に入力することによって、当該コロニーを形成する細菌の種類を識別し、又は新規菌種を特定する（ステップＳ２８８）。ステップＳ９３と同様の処理である。なお、ここでも、新規菌種と考えられるコロニー画像を、既存菌種確認学習モデル５に入力することによって、新規菌種であることを再確認するように構成してもよい。

次いで、演算部１１は、新規菌種が存在するか否かを判定する（ステップＳ２８９）。新規菌種が存在しないと判定した場合（ステップＳ２８９：ＮＯ）、演算部１１は、ステップＳ２８８の菌種識別処理において画像認識学習モデル４２から出力される出力値（確度）を、培地に特定の細菌が存在する確率に変換する処理を実行する（ステップＳ２９０）。

新規菌種が存在すると判定した場合（ステップＳ２８９：ＹＥＳ）、演算部１１は、実施形態１のステップＳ９４～ステップＳ９７と同様の処理を、ステップＳ２９１～ステップＳ２９４で実行することによって、新規菌種の数を特定し、新規菌種の信頼度を算出し、既存菌種の存在確率を算出し、新規菌種の登録処理を実行する。

実施形態２に係る情報処理装置１等によれば、シードクラスタリングにより、新規菌種の特定を行う構成であるため、実施形態１に比べより精度良く、既存菌種の識別と、新規菌種のコロニー画像を特定することができる。

（付記１）
細菌培養された培地を撮像して得られる培地画像が入力された場合、前記培地に含まれる細菌の種類を識別するための情報を出力する学習モデルの更新処理をコンピュータに実行させるためのコンピュータプログラムであって、
前記学習モデルを追加学習し、
テスト用の培地画像を、追加学習前の前記学習モデルに入力することによって前記学習モデルから出力される情報と、臨床重要度に係る情報とに基づいて評価指標を算出し、
テスト用の培地画像を、追加学習後の前記学習モデルに入力することによって前記学習モデルから出力される情報と、臨床重要度に係る情報とに基づいて評価指標を算出し、
追加学習後の前記学習モデルの評価指標と、追加学習前の前記学習モデルの評価指標との比較結果に応じて、追加学習前の前記学習モデルを追加学習後の前記学習モデルに更新する
処理を前記コンピュータに実行させるためのコンピュータプログラム。
（付記２）
前記評価指標は、薬剤耐性菌の識別精度に関する評価に対して、非薬剤耐性菌の識別精度に関する評価よりも大きな重み付けを付与することによって算出される
付記１に記載のコンピュータプログラム。
（付記３）
前記評価指標は、非常在菌の識別精度に関する評価に対して、常在菌の識別精度に関する評価よりも大きな重み付けを付与することによって算出される
処理を前記コンピュータに実行させるための付記１又は付記２に記載のコンピュータプログラム。
（付記４）
細菌培養された培地を撮像して得られる培地画像が入力された場合、前記培地に含まれる細菌の種類を識別するための情報を出力する学習モデルを更新する情報処理方法であって、
前記学習モデルを追加学習し、
テスト用の培地画像を、追加学習前の前記学習モデルに入力することによって前記学習モデルから出力される情報と、臨床重要度に係る情報とに基づいて評価指標を算出し、
テスト用の培地画像を、追加学習後の前記学習モデルに入力することによって前記学習モデルから出力される情報と、臨床重要度に係る情報とに基づいて評価指標を算出し、
追加学習後の前記学習モデルの評価指標と、追加学習前の前記学習モデルの評価指標との比較結果に応じて、追加学習前の前記学習モデルを追加学習後の前記学習モデルに更新する
情報処理方法。
（付記５）
細菌培養された培地を撮像して得られる培地画像が入力された場合、前記培地に含まれる細菌の種類を識別するための情報を出力する学習モデルを更新する情報処理装置であって、
前記学習モデルを追加学習する学習処理部と、
テスト用の培地画像を、追加学習前の前記学習モデルに入力することによって前記学習モデルから出力される情報と、臨床重要度に係る情報とに基づいて評価指標を算出する第１評価指標算出部と、
テスト用の培地画像を、追加学習後の前記学習モデルに入力することによって前記学習モデルから出力される情報と、臨床重要度に係る情報とに基づいて評価指標を算出する第２評価指標算出部と、
前記第２評価指標算出部にて算出された評価指標と、前記第１評価指標算出部にて算出された評価指標との比較結果に応じて、追加学習前の前記学習モデルを追加学習後の前記学習モデルに更新する更新処理部と
を備える情報処理装置。

１ 情報処理装置
２ 遊走性細菌認識学習モデル
３ 遊走認識学習モデル
３１ 物体検出学習モデル
３２ 画像認識学習モデル
４ 菌種識別学習モデル
４１ 物体検出学習モデル
４２ 画像認識学習モデル
５ 既存菌種確認学習モデル
６ 重み係数テーブル
１０ 記録媒体
１１ 演算部
１２ メモリ
１３ 記憶部
１４ 操作部
１５ 表示部
１６ 通知部
１７ 取得部
１３１ コンピュータプログラム

Claims (9)

1. 培養された複数種類の細菌によって形成された複数のコロニーを含む培地を撮像して得られる培地画像を取得し、
   取得した培地画像に含まれる複数のコロニー画像を抽出し、
   抽出された複数のコロニー画像を該コロニー画像の特徴量に基づいてクラスタリングする処理と、コロニー画像に基づいてコロニーを形成する菌種を識別する処理とを併用して、菌種の識別が可能な既存菌種と、菌種を識別できない新規菌種のコロニー画像とを特定する
   処理をコンピュータに実行させるためのコンピュータプログラム。
2. 抽出された複数のコロニー画像の特徴量と、菌種の識別が可能な既存菌種のコロニー画像の特徴量とに基づいて、抽出された前記複数のコロニー画像をクラスタリングし、
   クラスタリングされた各クラスに属するコロニー画像に基づいて、コロニーを形成する菌種を識別すると共に、菌種を識別できなかったクラスのコロニー画像を新規菌種のコロニー画像として特定する
   処理を前記コンピュータに実行させるための請求項１に記載のコンピュータプログラム。
3. 抽出された複数のコロニー画像に基づいて、各コロニー画像のコロニーを形成する菌種を暫定識別し、
   抽出された複数のコロニー画像に基づいて、各コロニー画像のコロニーを形成する菌種が所定の既存菌種であるか否かを判定し、
   前記所定の既存菌種であると判定され、かつ菌種が識別されたコロニー画像の特徴量を、前記既存菌種のコロニー画像の特徴量として用いて、前記培地画像から抽出された前記複数のコロニー画像をクラスタリングする
   処理を前記コンピュータに実行させるための請求項２に記載のコンピュータプログラム。
4. 記憶部が記憶する所定のコロニー画像を取得し、
   前記記憶部から取得したコロニー画像の特徴量を、前記既存菌種のコロニー画像の特徴量として用いて、前記培地画像から抽出された前記複数のコロニー画像をクラスタリングする
   処理を前記コンピュータに実行させるための請求項２に記載のコンピュータプログラム。
5. クラスタリング処理結果と、コロニー画像に基づく菌種の識別結果とに基づいて、新規菌種の数を特定する
   処理を前記コンピュータに実行させるための請求項１から請求項４のいずれか１項に記載のコンピュータプログラム。
6. コロニー画像が入力された場合、コロニーを形成する細菌の菌種を示す情報を出力する画像認識学習モデルに、前記培地画像から抽出したコロニー画像を入力することによって、該コロニー画像のコロニーを形成する菌種を識別する
   処理を前記コンピュータに実行させるための請求項１から請求項５のいずれか１項に記載のコンピュータプログラム。
7. 新規菌種のコロニー画像が属するクラスに対する、該コロニー画像の画像特徴量の外れ度合い又は類似度を算出する
   処理を前記コンピュータに実行させるための請求項１から請求項６のいずれか１項に記載のコンピュータプログラム。
8. 培養された複数種類の細菌によって形成された複数のコロニーを含む培地を撮像して得られる培地画像を取得し、
   取得した培地画像に含まれる複数のコロニー画像を抽出し、
   抽出された複数のコロニー画像を該コロニー画像の特徴量に基づいてクラスタリングする処理と、コロニー画像に基づいてコロニーを形成する菌種を識別する処理とを併用して、菌種の識別が可能な既知菌種と、菌種を識別できない新規菌種のコロニー画像とを特定する
   情報処理方法。
9. 培養された複数種類の細菌によって形成された複数のコロニーを含む培地を撮像して得られる培地画像を取得する取得部と、
   演算部と
   を備え、
   前記演算部は、
   取得した培地画像に含まれる複数のコロニー画像を抽出し、
   抽出された複数のコロニー画像を該コロニー画像の特徴量に基づいてクラスタリングする処理と、コロニー画像に基づいてコロニーを形成する菌種を識別する処理とを併用して、前記培地に存在する菌種と、菌種を識別できない新規菌種のコロニー画像とを特定する
   処理を実行するようにしてある情報処理装置。

Images