JP2022020559A - 画像処理装置、画像処理方法、および、プログラム - Google Patents

Abstract

【課題】 グラム染色を用いて細菌を分類するためには、染色作業をした後に、顕微鏡で検体を観察して細菌を見つけて、更に見つけた細菌の形や色に応じて細菌を分類するという一連の作業が必要であった。【解決手段】 グラム染色された検体の複数の領域に対して撮像を行い、複数の画像を生成し、これら複数の画像の少なくとも一部の画像に対して細菌を検出する処理と、検出された細菌を菌種に応じて分類する分類手段と、を有する画像処理装置を提供する。【選択図】 図２

Description

本発明は、画像から細菌を検出して分類するシステムに関する。

従来の感染症治療の場合、菌種を特定せずに、広範囲の抗菌剤を投与することがあった。抗菌剤をむやみに投与すると、抗菌剤に耐性を持つ薬剤耐性菌が発生してしまい、近年では社会問題となっている。

このような問題を解決する手段として、グラム染色による細菌の分類が挙げられる。グラム染色を用いて細菌を菌種ごとに分類することで、菌種に応じた抗菌剤のみを適切に投与することが可能となる。

例えば特許文献１には、細菌の細胞壁に結合するタンパク質を用いることで、試料中の細菌を検出し、かつ、検出された細菌がグラム陽性であるかグラム陰性であるかを識別することが開示されている。

また、例えば、特許文献２には、グラム染色における染色および洗浄作業を迅速に行うための、染色液と洗浄液を備えたグラム染色装置の構成が開示されている。

特開２００７－１２１２８２号公報 特開２００７－２３２５６０号公報

グラム染色を用いて細菌を分類するためには、染色作業をした後に、顕微鏡で検体を観察して細菌を見つけ、更に見つけた細菌の形や色に応じて細菌を分類する、という一連の作業が必要であった。

さらに、グラム染色を行った検体から菌種を見分けるには、グラム染色に精通した知識や経験が必要である。そのため、知識や経験を備えた人物に頼らざるをえなくなり、特定の人物に負荷を集中させてしまっていた。

上記課題を解決するため、本発明に係る画像処理装置の１つは、グラム染色された検体の複数の領域に対して撮像を行い、複数の画像を生成する撮像手段と、前記複数の画像の少なくとも一部の画像に対して細菌を検出する処理を行い、細菌が検出された場合には、細菌の種類に応じて検出された細菌を分類する分類手段と、を有することを特徴とする。

また、上記課題を解決するため、本発明に係る画像処理装置の１つは、グラム染色された検体を撮像した画像データを取得する取得手段と、前記画像データに基づく画像に対して、グラム染色によって分類された細菌が存在する位置と前記細菌の種類を重畳した、表示用の画像を生成する生成手段と、を有することを特徴とする。

グラム染色を用いた細菌の分類を自動化することで、細菌の分類を行う作業者の負荷を減らすことが可能となる。

本発明の一実施形態における細菌の染色と分類を行うための分類システムを示す図である。 本発明の一実施形態における分類システムのグラム染色装置、作業用コンピュータ、および、サーバの構成を示すブロック図である。 本発明の一実施形態におけるグラム染色装置を操作するためのアプリケーションを起動したことによって表示される画面を示す図である。 本発明の一実施形態におけるグラム染色装置の全自動モードにおける処理を示すフローチャートである。 検体が塗抹されたスライドガラスを示す図である。 本発明の一実施形態における細菌の検出および分類結果を示す画面を示す図である。 本発明の一実施形態における細菌の分類に好適な領域であるかを判定する処理を示すフローチャートである。 本発明の一実施形態における細菌の検出と分類の処理を示すフローチャートである。 本発明の一実施形態におけるグラム染色装置から作業用コンピュータへ送信するデータを説明するための図である。 本発明の一実施形態における作業用コンピュータにおいて実行されるアプリケーションの設定画面を示す図である。 本発明の一実施形態におけるサーバへの自動送信をＯＮにしている場合の処理を示すフローチャートである。 画像をサーバに送信する際の設定を行う画面を説明するための図である。 本発明の一実施形態におけるユーザが任意に細菌の検出と分類を行う領域を設定するための画面を説明するための図である。 本発明の一実施形態におけるユーザが任意に指定した領域に対する細菌の検出および分類を行う処理のフローチャートである。 本発明の一実施形態における過去の検出および分類結果を確認するためのアプリケーションの画面を示す図である。 本発明の一実施形態における個別モードにおいてディスプレイに表示される画面を示す図である。

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。

まず、医者や看護師が患者から検体を採取して、グラム染色により細菌の菌種を分類するまでの一連の処理について説明する。

グラム染色では、染色後の細菌の色と形状によって、細菌を「ＧＮＲ」、「ＧＮＣ」、「ＧＰＲ」および「ＧＰＣ」の４つに分類することができる。更に、「ＧＰＣ」は形状によって「ＧＰＣ Ｃｈａｉｎ」および「ＧＰＣ Ｃｌｕｓｔｅｒ」の２つに分類することができる。本システムでは、検出した細菌を「ＧＮＲ」、「ＧＮＣ」、「ＧＰＲ」、「ＧＰＣ Ｃｈａｉｎ」および「ＧＰＣ Ｃｌｕｓｔｅｒ」の５種類に分類するものとする。また、細菌の検出および分類には、Ｄｅｅｐ Ｌｅａｒｎｉｎｇによる一般物体検出を用いるものとする。

図１は、本発明の一実施形態に係る細菌の染色と分類を行うための分類システムを示す図である。グラム染色装置１０１は細菌の染色および細菌の分類を行う画像処理装置であり、外部の作業用コンピュータ１０２に接続される。作業用コンピュータ１０２は、グラム染色装置１０１の制御を行うとともに、サーバ１０３と無線通信で接続され、サーバ１０３に格納された患者の電子カルテの情報にアクセスすることができる。作業用コンピュータ１０２にはディスプレイ１０４が接続されており、このディスプレイに細菌の分類結果を表示する。

図１に示す分類システムでグラム染色を行うための準備として、まず医者や看護師が検体の採取を行い、採取した検体をスライドガラスへ塗抹する。この検体が塗抹されたスライドガラスがグラム染色装置１０１に設定される。また、グラム染色装置１０１には、メタノール液、グラム染色液、および洗浄液が事前にセットされている。

図２は、本発明の一実施形態に係る分類システムのグラム染色装置１０１、作業用コンピュータ１０２、および、サーバ１０３の構成を示すブロック図である。

グラム染色装置１０１において、光学系２０１は、レンズおよび絞りを有しており、被写体からの光を適切な量で、ＣＣＤやＣＭＯＳセンサからなる撮像素子２０２に結像させる。撮像素子２０２は、光学系２０１を通って結像した光を画像に変換する。

ＣＰＵ２０３は、グラム染色装置１０１の各構成要素の動作を制御する。ハードディスクなどの二次記憶装置２０４には、ＣＰＵ２０３がグラム染色装置１０１の各構成要素の動作を制御するためのプログラムが格納される。ＲＡＭなどの一次記憶装置２０５は、二次記憶装置２０４から読み込まれたプログラムが格納され、ＣＰＵ２０３は、一次記憶装置２０５に格納されたプログラムを読み出す。

検体を塗抹したスライドガラスは標本固定装置２０６に配置され、光学系２０１および撮像素子２０２によって検体が撮影される。温風噴射装置２０７は検体を乾燥するための温風を発生する。容器２０８には、標本固定装置２０６に配置された検体をスライドガラスに固定するために使用するメタノール液が入れられる。容器２０９には、グラム染色を行う際に使用するグラム染色液が入れられる。容器２１０には、グラム染色の途中で検体を洗浄する際に使用する洗浄液が入れられる。通信装置２１１は、グラム染色の作業用コンピュータ１０２と無線あるいは有線によるデータ通信を行う。

作業用コンピュータ１０２は、パーソナルコンピュータやエッジコンピュータで構成され、グラム染色装置１０１の動作を制御する。また、グラム染色装置１０１によって行われた細菌の検出および細菌の分類の結果を一時的に保存する。ＣＰＵ２２１は、ユーザがマウス、キーボード、あるいは、タッチパネル等を用いて入力した指示を、指示入力装置２２５を介して受け取り、作業用コンピュータ１０２の各構成要素の動作を制御する。ハードディスクなどの二次記憶装置２２３には、ＣＰＵ２２１が作業用コンピュータ１０２の各構成要素の動作を制御するためのプログラムが格納される。ＲＡＭなどの一次記憶装置２２２は、二次記憶装置２２３から読み込まれたプログラムが格納され、ＣＰＵ２２１は、一次記憶装置２２２に格納されたプログラムを読み出す。

ＣＰＵ２２１は、ユーザがグラム染色のためのアプリケーションを操作するために必要な画像データや文字データを生成し、生成した画像データや文字データを、表示出力端子２２４を介してディスプレイ１０４に送信する。ここではディスプレイ１０４と作業用コンピュータ１０２を別装置として説明を行っているが、タブレット型のコンピュータのように、作業用コンピュータ１０２がディスプレイ１０４を備える構成としてもよい。

通信装置２２６は、グラム染色装置１０１およびサーバ１０３と無線あるいは有線により接続され、データ通信を行う。ＣＰＵ２２１は、通信装置２２６および通信装置２１１を介して、グラム染色装置１０１のＣＰＵ２０３に、グラム染色装置１０１の動作に関する指令を送る。

サーバ１０３は、電子カルテを保存する。病院では、医者や看護師が使用する院内のコンピュータに電子カルテのビューワーアプリがインストールされており、そのビューワーアプリはサーバ１０３にアクセスして、患者の情報を取得して表示する。ＣＰＵ２３１は、サーバ１０３の各構成要素の動作を制御する。ハードディスクなどの二次記憶装置２３３には、ＣＰＵ２３１がサーバ１０３の各構成要素の動作を制御するためのプログラムと、患者の情報である電子カルテのデータが格納される。ＲＡＭなどの一次記憶装置２３２は、二次記憶装置２３３から読み込まれたプログラムや電子カルテのデータが格納され、ＣＰＵ２３１は、一次記憶装置２３２に格納されたプログラムやデータを読み出す。ＣＰＵ２３１は、通信装置２３４を介して作業用コンピュータ１０２のＣＰＵ２２１からの要求を受け取り、要求に沿った電子カルテのデータを、通信装置２３４を介して送信する。

作業用コンピュータ１０２は、ユーザからの指示に応じて、グラム染色装置１０１を操作するためのアプリケーションを起動する画像処理装置である。

図３（ａ）は、アプリケーションを起動した直後に、ディスプレイ１０４に表示される画面３００を示す図である。図３（ｂ）は、全自動モードが選択された際に、ディスプレイ１０４に表示される画面３１０を示す図である。図３（ｃ）は、全自動モードを開始した場合に、ディスプレイ１０４に表示される画面３２０を示す図である。

アプリケーションを起動したことによって表示される画面３００には、「全自動モード」を示すボタン３０１、「個別モード」を示すボタン３０２、「過去の結果の確認」を示すボタン３０３、および、「設定」を示すボタン３０４が存在する。まずは全自動モードについて説明する。

ユーザが指示入力装置２２５を操作してボタン３０１を選択すると、ディスプレイ１０４には、図３（ｂ）に示す画面３１０が表示される。画面３１０では、グラム染色装置１０１にセットする必要がある機材が表示される。全ての機材のセットが終わった状態で、ユーザが画面３１０のスタートボタン３１１を選択することで、グラム染色装置１０１はグラム染色の作業を開始する。スタートボタン３１１が選択されると、ディスプレイ１０４には図３（ｃ）に示す画面３２０が表示される。グラム染色装置１０１による細菌の検出と分類の作業が完了するまでには４ステップあり、画面３２０では各ステップの進捗率が表示されている。また、全てのステップが完了するまでの残りの作業時間も表示される。このように、作業の進捗や残り時間を表示することで、ユーザの使用性を高めることができる。

図４は、グラム染色装置１０１の全自動モードにおける処理を示すフローチャートである。図４では「ステップ」を「Ｓ」と記載する。後述の図７、図８、図１１、および、図１４においても同様である。図４において、ステップ４００～４０３はＣＰＵ２２１の制御に基づいて、作業用コンピュータ１０２が実行する処理であり、ステップ４１０～４２２はＣＰＵ２０３の制御に基づいて、グラム染色装置１０１が実行する処理である。

ステップ４００で、作業用コンピュータ１０２のＣＰＵ２２１が、ユーザがスタートボタンを選択したことを検出すると、作業開始指示をグラム染色装置１０１のＣＰＵ２０３に送信する。

ステップ４１０では、グラム染色装置１０１のＣＰＵ２０３が、作業用コンピュータ１０２のＣＰＵ２２１から作業開始指示を受信する。

ステップ４１１では、ＣＰＵ２０３が、グラム染色装置１０１にセットされたスライドガラスの数を検出する。標本固定装置２０６に光学的あるいは機械的センサを設けてスライドガラスの数を検出してもよいし、スライドガラスを配置した標本固定装置２０６の面を撮影した画像を解析してスライドガラスの数を検出してもよい。あるいは、ユーザにスライドガラスの数を入力してもらってもよい。

ステップ４１２では、温風噴射装置２０７が、標本固定装置２０６にセットされたスライドガラスに対して温風を噴射して、検体の乾燥を行う。

ステップ４１３では、ＣＰＵ２０３が、不図示の装置を用いて標本固定装置２０６にセットされたスライドガラス上に、容器２０８に入れられたメタノール液を滴下して、検体をスライドガラスに固定する。

ステップ４１４では、ＣＰＵ２０３が、スライドガラス上の検体に対してグラム染色を行う。グラム染色では、フェイバー法とバーミー法の２つの染色方法が使われることが多い。それぞれ染色液は異なるが、作業手順は共通した部分がある。染色液が３～４種類あり、所定の時間、染色液を検体に浸して、その後に洗浄を行う。次に別の染色液を使って染色を行い、再度洗浄を行う。以上の手順を繰り返していく。グラム染色を行う際は、容器２０９に入れられたグラム染色液と容器２１０に入れられた洗浄液を使用する。

次にステップ４１５～４２１で、検体を順番に観察していく。まず、ステップ４１５で、ＣＰＵ２０３が、標本固定装置２０６を移動させて、１つ目の検体が塗抹されたスライドガラスを選択する。２巡目以降は、予め定められた順に従って、スライドガラスが選択する。

ステップ４１６では、ＣＰＵ２０３が、標本固定装置２０６を移動させて、スライドガラスに対する観察位置を切り替える。図５（ａ）は検体が塗抹されたスライドガラスを示す図であり、図５（ｂ）はスライドガラスに対して設定する、格子状の複数の観察領域を示す図である。図５（ｃ）は１つの観察領域を示す図である。ＣＰＵ２０３は、光学系２０１と撮像素子２０２による観察の対象が、図５（ｂ）に示す格子状の複数の観察領域の１つ１つに順に対応するように、標本固定装置２０６を移動させる。

ステップ４１７で、ＣＰＵ２０３が、選択されている観察領域が、細菌の分類に好適な領域であるかを判定する。この領域判定の詳細処理は後述する。

ステップ４１８では、ＣＰＵ２０３が、分類に好適な領域である場合はステップ４１９へ進み、分類に好適な領域でない場合はステップ４１６に戻って次の観察領域を選択する。

ステップ４１９では、ＣＰＵ２０３が、細菌の検出と分類を行う。細菌の検出および分類の詳細処理は後述する。

ステップ４２０では、ＣＰＵ２０３が、スライドガラス上の複数の観察領域の全てを選択したかを判定する。全ての観察領域の選択が終わっている場合はステップ４２１進み、終わっていない場合はステップ４１６へ戻る。

ステップ４２１では、ＣＰＵ２０３が、標本固定装置２０６にセットされた全てのスライドガラスを選択したかを判定する。全てのスライドガラスの選択が終わっている場合はステップ４２２進み、終わっていない場合はステップ４１５へ戻る。

ステップ４２２では、ＣＰＵ２０３が、細菌の検出および分類の結果を作業用コンピュータへ送信する。送信するデータの詳細については後述する。

ステップ４０１では、作業用コンピュータ１０２のＣＰＵ２２１が、細菌の検出および分類の結果を、通信装置２２６を介して受信する。

ステップ４０２では、ＣＰＵ２２１が、受信した結果を二次記憶装置２２３に記憶させる。

ステップ４０３で、ＣＰＵ２２１が、細菌の検出および分類の結果を示す表示用のデータを生成してディスプレイ１０４に表示させ、ユーザが閲覧できるようにする。

以上のようにして細菌の検出および分類を行った結果を図６に示す。図６は、細菌の検出および分類結果を示す画面を示す図である。ディスプレイ１０４に表示された画面６００の中に、撮影された検体の画像６０９が含まれており、画像６０９のうち細菌が検出された領域６１０に、検出した細菌の領域を示す枠、菌種、および、信頼度が表示される。信頼度は推論によって分類した菌種の信頼度を示すものであり、数値が高いほど、その菌種である確率が高いことを示す。

画像６０９の下側に、検出した菌種毎の数６１２を表示する。菌種毎の数６１２は、画像６０９において、ＧＮＲが１６個、ＧＰＣ Ｃｌｕｓｔｅｒが１２個、残りの細菌は０個であることを示している。また、菌種名の横にチェックボックスがあり、検出結果をフィルタして表示することが可能である。画面６００ではＧＮＲのチェックがＯＦＦになっているため、ＧＮＲの検出結果を表示していない。ユーザがボタン６１３またはボタン６１４を使うことで、チェックボックスを全てＯＮあるいはＯＦＦにすることができる。

また、ユーザがボタン６１１を操作して、表示している画像６０９を拡大および縮小することができる。検体番号６０１は検体別に設定された番号である。検体番号６０１の右側に表示された上下ボタンで、検体を切り替えることができる。グラム染色装置１０１に３枚のスライドガラスをセットしていた場合は、３つの検体を切り替えることができる。検体を切り替えると、スライドガラスの位置を示す画像６０２と画像６０９が更新される。画像６０２は、スライドガラス全体における、画像６０９に対応する領域の位置を示している。ボタン６０３は、同一の検体上において、細菌の分類に好適と判定された、別の領域に切り替えるためのものである。図６では、細菌の検出と分類に好適と判定された領域を「見所」と表している。ボタン６０４～６０７の機能については後述する。スライダーバー６０８は、信頼度の閾値を変更するためのものである。このスライダーバー６０８によって設定された閾値以上となる信頼度が得られた細菌の分類結果のみが、画像６０９に重畳して表示される。

図７は、図４のステップ４１７における、細菌の分類に好適な領域であるかを判定する処理を示すフローチャートである。

図７では、検体が薄く塗抹されているか、厚く塗抹されているかに基づいて、細菌の分類に好適な領域であるかを判定する。検体を検出して分類するためには、検体が薄く塗抹されていることが望ましい。そこで、検体が薄く塗抹されているどうかを算出して、細菌の分類に好適な領域であるかを判定する。

ステップ７００では、ＣＰＵ２０３が、光学系２０１および撮像素子２０２を駆動して観察領域を撮影する。

ステップ７０１では、ＣＰＵ２０３が、観察領域内で菌が存在する検体領域の検出を行う。図５（ｃ）の観察領域５００の画像において、検体領域５０１は、グレーで示す領域である。検体領域の検出は、パターンマッチングを用いたり、スライドガラスとの濃度差を利用したりして実施する。

ステップ７０２では、ＣＰＵ２０３が、検体領域５０１の平均濃度を算出する。平均濃度を求めることで、検体が薄く塗抹されているかを判定する。

ステップ７０３では、ＣＰＵ２０３が、算出した平均濃度が所定の閾値以下であるかを判定する。所定の閾値以下である場合は細菌の分類に好適な領域であると判定し、閾値以上である場合は細菌の分類に好適な領域ではないと判定する。

なお、ステップ７０１で観察領域内に検体領域が見つからなかった場合は、細菌の分類に好適な領域でないと判定する。なお、前述の細菌の分類に好適な領域の判定方法はあくまで一例であり、他の方法を用いても良い。例えば、予め機械学習を用いて生成した学習モデルを用いて、細菌の分類に好適な領域であるか否かを判定するようにしてもよい。

次に図８の説明に移る。図８は、図４のステップ４１９の細菌の検出と分類の処理を示すフローチャートである。図８では、細菌の分類に好適な領域であると判定された領域に対して、実際に細菌を撮影できるレベルまで撮影倍率を拡大して撮影を行い、機械学習の推論を用いて細菌の検出と分類を行っている。

ステップ８００では、ＣＰＵ２０３は、観察領域の撮影倍率を拡大する。一般的に、細菌を撮影するためには１０００倍程度の撮影倍率が必要であるため、ここでは光学系２０１を駆動して撮影倍率を１０００倍にする。

ステップ８０１では、ＣＰＵ２０３は、光学系２０１および撮像素子２０２を用いて、設定された撮影倍率で検体領域を撮影する。例えば、図５（ｃ）の観察領域５００の場合は、その中の領域５０２を拡大して撮影する。なお、細菌を検出および分類するためには、検体領域の境目が観察に適している。したがって、パターンマッチングなどを利用して、検体領域の境目を含む領域を自動的に検出して撮影する処理を入れても良い。

ステップ８０２では、ＣＰＵ２０３は、細菌の検出と分類を行う。ここでは、Ｄｅｅｐ Ｌｅａｒｎｉｎｇを用いて機械学習を行わせて得られた学習モデルを使って、撮影画像から対象物を検出および分類する手法を用いるものとする。Ｄｅｅｐ Ｌｅａｒｎｉｎｇによる一般物体検出では、対象物の位置をラベル付けした学習画像群を事前に準備して、その学習画像群を用いて機械学習を行わせて学習モデルを作成する。そして、作成した学習モデルに対して、判定対象とする画像を読み込ませることで、その画像内から対象物を検出および分類することができる。本システムでは、事前に、ラベリングが行われている、グラム染色を行った細菌の画像を多数用いて機械学習を行わせた学習モデルを作成し、その学習モデルをグラム染色装置１０１に記憶させておくものとする。

図９（ａ）～（ｃ）は、図４のステップ４２２において、グラム染色装置１０１から作業用コンピュータ１０２へ送信するデータを説明するための図である。作業用コンピュータ１０２にデータを送信して保存することで、グラム染色装置１０１の電源を切った後でも、作業用コンピュータで後から細菌の検出と分類の結果を確認することができる。

図９（ａ）は、図８のステップ８０１で撮影した画像を示す。これは、図５（ｃ）の領域５０２の画像である。１つの検体において、複数の細菌の分類に好適な領域が存在すれば、細菌の分類に好適な領域の数だけ画像も生成される。また、グラム染色装置１０１にセットした検体の数が多くなれば、その分だけ画像も増えることになる。また、各画像にはファイル名が付与されている。

図９（ｂ）は、画像毎の情報を示したデータ９１０であり、画像が増えるに従ってデータ９１０に含まれる情報量が増えていく。例えば、一番上のライン９１１の情報は、１番目の画像のファイル名が２０２００７０２＿１３４１２１＿１＿１．ｊｐｇであり、１つ目の検体であり、撮影領域がスライドガラス上の（１０、２００、１２０、２２０）の位置であることを示している。この値は、画像の左上頂点の座標がスライドガラス上の（１００、２００）であり、画像の右下頂点の座標が（１２０、２２０）であることを示している。画像ファイル名は、図９（ａ）に示した撮影画像との関連付けに使用する。検体番号は、図６の検体番号６０１として表示するために使用する。スライドガラスの位置は、図６の画像６０２を生成するために用いる。

図９（ｃ）は、検出した細菌の位置、菌種名、信頼度を示すデータ９２０であり、検出した細菌の数だけ情報が増えていく。例えば、一番上のライン９２１の情報は、１番目の画像の（２００、０、２４０、２４０）の位置にＧＰＣ Ｃｌｕｓｔｅｒの細菌があり、その信頼度が９５％であることが分かる。菌種名、位置、信頼度は、領域６１０のように画像上に細菌の検出および分類結果を表示するために使用する。

ここで、図３に戻り、画面３００において、ユーザが「設定」を示すボタン３０４を選ぶと、図１０に示す画面１０００が表示される。図１０は、作業用コンピュータ１０２において実行されるアプリケーションの設定画面を示す図である。

画面１０００では、アプリケーションの各種設定を行うことができる。図６の「カルテを開く」を示すボタン６０４を選択した際に起動するアプリケーションを設定することができる。具体的には、ユーザが、画面１０００に表示されたボタン１００１を選択して、さらに電子カルテのアプリケーションのファイルパスを選択する。選択されたファイルパスが欄１００２に表示される。また、図６の「カルテに画像を送信」を示すボタン６０５を選択した際に画像を送信するアプリケーションを設定することができる。具体的には、ユーザが、画面１０００に表示されたボタン１００３をユーザが選択し、さらに、電子カルテのアプリケーションのファイルパスを選択する。選択されたファイルパスが欄１００４に表示される。

ＯＮとＯＦＦの選択肢を有するラジオボタン１００５は、全自動モードによる細菌の分類が終了したときに、細菌の検出および分類の結果示す画像を、自動的に電子カルテのデータを保存しているサーバ１０３に送信するかを選択するためのものである。ラジオボタン１００５をＯＮにしている場合は、全自動モードの処理終了時にサーバ１０３に自動的にデータが送信され、ＯＦＦにしている場合は自動的にデータが送信されない。

ラジオボタン１００５のＯＮを選択している場合は、サーバ名１００６と画像の送信オプション１００７が有効になり、ここで設定しているサーバおよびオプションに従って画像が送信される。１００６はサーバ名を入力するフィールドである。画像の送信オプション１００７は、細菌の検出および分類の結果を示す画像を送信する際に、画像上に「検出枠」、「信頼度」および「菌種名」を重畳して送信するかを選択できるものである。作業用コンピュータ１０２に保存するデータの置き場所を変更する場合は、ボタン１００８を用いる。欄１００９には、データの保存場所のフォルダパスが表示される。

図１１は、図１０に示すアプリケーションの設定画面で、電子カルテのデータを保存するサーバ１０３への自動送信をＯＮにしている場合の処理を示すフローチャートである。すなわち、図４の最後の処理であるステップ４０３が実行された後に、図１１に示す処理が行われる。

この図１１において、ステップ１１００～１１０２がＣＰＵ２２１の制御に基づいて作業用コンピュータ１０２が実施する処理であり、ステップ１１１０～１１１２がＣＰＵ２３１の制御に基づいてサーバ１０３が実施する処理である。

ステップ１１００では、作業用コンピュータ１０２のＣＰＵ２２１が、図１０に示す送信オプション１００７の設定に従って画像を作成する。

ステップ１１０１では、作業用コンピュータ１０２が、通信装置２２６を介して、作成した画像をサーバ１０３へ送信する。

次に、ステップ１１１０では、サーバ１０３が通信装置２３４を介して、作業用コンピュータ１０２から送信された画像を受信する。

ステップ１１１１では、サーバ１０３のＣＰＵ２３１が、受信した画像を二次記憶装置２３３に保存する。受信した画像に、電子カルテの患者情報と関連付けるためのデータが付与されていない場合には、画像を一次記憶装置２３２に格納し、後で医者や看護師が、後で一次記憶装置２３２に格納された画像と、電子カルテの患者情報との関連付けを行えるようにする。

ステップ１１１２では、ＣＰＵ２３１が、保存完了通知を作業用コンピュータ１０２に送信する。

ステップ１１０２では、作業用コンピュータ１０２のＣＰＵ２２１が、保存完了通知を受信する。このようにして、電子カルテのデータを保存するサーバ１０３に自動的に画像を送ることができる。

図６に戻り、ボタン６０４～６０７について説明する。ユーザがボタン６０４を選択すると、図１０におけるアプリケーションの設定画面の欄１００２で設定されている電子カルテが起動する。ユーザがボタン６０７を選択すると、図３に示す画面３００に戻る。

ユーザがボタン６０５を選択すると、図１２に示す画面１２００に遷移する。図１２は、画像をサーバ１０３に送信する際の設定を行う画面を説明するための図である。ユーザがボタン１２０１を操作すると、電子カルテ上の患者の名前の一覧が画面に表示され、ユーザが該当する患者を選択する。選択された患者名が欄１２０２に表示される。欄１２０２に患者の名前の一部を入力してから、ボタン１２０１で検索を行うようにしてもよい。

送信オプション１２０３は、図１０の送信オプション１００７と同様の機能を有しており、ここで設定しているオプションの内容に従って画像が送信される。送信オプション１２０３はユーザ毎に設定されるものであり、送信オプション１２０３と送信オプション１００７の内容に相違がある場合には、送信オプション１２０３の内容が優先される。ユーザがＯＫボタン１２０４を操作すると、設定した患者名と送信オプションに従って、電子カルテのデータを保存するサーバ１０３に画像が送信され、電子カルテに画像が組み込まれる。

次に、図６のボタン６０６について説明する。ボタン６０６は、ユーザが細菌の検出と分類を行う領域を任意に設定するためのボタンである。図１３は、ユーザが任意に細菌の検出と分類を行う領域を設定するための画面を説明するための図である。ユーザがボタン６０６を操作すると、図１３の画面１３００に遷移する。画面１３００は、画面６００と共通の部分も多いため、差異がある部分を説明する。画面１３００を用いることで、ユーザがスライドガラス上の任意の観察領域を指定し、その指定された観察領域に対して、グラム染色装置１０１が細菌の検出および分類を行う。この細菌の検出および分類を行う観察領域を変更する方法は２つある。

１つ目は、一般的な画像ビューワーと同様に、画像１３０４上でマウスを操作して、画像１３０４として表示させる観察領域を移動させる方法である。また、マウスのホイールをスクロールさせて、画像１３０４の表示倍率を拡大および縮小することもできる。画像１３０４の拡大および縮小は、ボタン１３０５を操作することによっても可能である。２つ目は、ボタン１３０３を操作して、スライドガラス上の表示させる観察領域の位置を移動させる方法である。また、ユーザが、スライドガラス全体の画像１３０６上の任意の位置を指定して、画像１３０４として表示する観察領域を決定することもできる。

画像１３０４として表示するスライドガラス上の観察領域を切り替える度に、グラム染色装置１０１は細菌の検出および分類を行う。この処理については図１４を用いて後ほど説明する。ユーザがボタン１３０１を操作すると、図６の画面６００に戻る。ユーザがボタン１３０２を操作すると、現在表示している画像および細菌の検出および分類の結果を保存する。全自動モードでは、グラム染色装置１０１が自動で判定した領域の結果のみが保存されるが、ユーザはボタン１３０２を操作することで、任意の領域における細菌の検出および分類の結果を保存することができる。

図１４は、ユーザが任意に指定した領域に対する細菌の検出および分類を行う処理のフローチャートである。ＣＰＵ２２１の制御に基づいて作業用コンピュータ１０２がステップ１４００～１４０２の処理を行い、ＣＰＵ２０３の制御に基づいてグラム染色装置１０１がステップ１４１０～１４１５の処理を行う。

ステップ１４００では、作業用コンピュータのＣＰＵ２２１が、ユーザから指示された観察領域の移動に関する情報と倍率の情報をグラム染色装置１０１に送信する。

ステップ１４１０では、グラム染色装置１０１のＣＰＵ２０３が、観察領域の移動に関する情報と倍率の情報を受信する。

ステップ１４１１では、ＣＰＵ２０３が、移動に関する情報に従って、標本固定装置２０６を駆動して、スライドガラスの撮影位置を移動させる。

ステップ１４１２では、ＣＰＵ２０３が、倍率に関する情報に従って、光学系２０１の撮影倍率を変更する。

ステップ１４１３では、ＣＰＵ２０３が、撮像素子２０２による静止画の撮影を行う。

ステップ１４１４では、ＣＰＵ２０３が、図８のステップ８０２と同様の方法で、学習モデルを用いた細菌の検出および分類を行う。

ステップ１４１５では、ＣＰＵ２０３が、細菌の検出および分類の結果を、通信装置２１１を介して作業用コンピュータ１０２に送信する。

ステップ１４０１では、作業用コンピュータのＣＰＵ２２１が、グラム染色装置１０１から送信された細菌の検出および分類の結果を、通信装置２２６を介して受信する。

ステップ１４０２では、ＣＰＵ２２１が細菌の検出および分類の結果を示す表示用のデータを生成してディスプレイ１０４に表示させる。

このようにして、ユーザが任意に指定した領域に対しても、細菌の検出および分類を行う。

次に、過去の最近の検出および分類結果を確認する方法について説明する。過去の細菌の検出および分類結果を確認するには、図３の画面３００にあるボタン３０３を選択することで可能である。図１５は、過去の検出および分類結果を確認するためのアプリケーションの画面を示す図である。

ユーザが図３のボタン３０３を選択すると、図１５の画面１５００に遷移する。画面１５００では、過去の細菌の検出および分類結果を検索して確認することができる。検索条件としては、検査日と菌種がある。細菌の検出および分類を行った日を検査日として扱う。この検査日で検索するためには、チェックボックス１５０１をＯＮにして、検査日の範囲を１５０２で指定する。ここでは、２０２０年６月２８～３０日に検査した結果を表示するようになっている。

次に、細菌の菌種によって検索する手順について説明する。菌種で検索するためには、チェックボックス１５０３をＯＮにして、画像を検索したい菌種をチェックボックス１５０４で指定する。図１５では、選択可能な全ての菌種のチェックボックス１５０４がオンになっているので、いずれかの菌種が映っている画像であれば検索対象となる。

このようにして検索した結果がリスト１５０６に表示される。リスト１５０６では、検体ごとに１行ずつ表示されている。例えばライン１５０７のＮｏ．５の検体は、２０２０年６月２８日の１６時２３分に細菌の検出および分類を行う検査が行われており、その検体には細菌の検出および分類に好適な領域である見所が７個あることが分かる。また、全ての細菌の検出および分類に好適な領域に映っている菌種ごとの細菌の数を合計した数も表示されている。このＮｏ．５の検体には、ＧＮＲの細菌が４１７個映っており、それ以外の細菌は映っていないことが分かる。

また、検体の数が多い場合は、ボタン１５０８を用いて切り替えることができる。結果の詳細を表示したい場合は、ユーザがリスト１５０６から任意の検体を指定して、ボタン１５０９を選択することで、図６に示す画面６００に遷移する。

また、上述した全自動モードでは、グラム染色に関わる全ての作業を自動で行ったが、任意の作業のみを実行したい場合もある。そのような場合は、個別モードを選択することで、実行したい作業を指定することができる。

図１６（ａ）は、個別モードを選択した場合にディスプレイ１０４に表示される画面１６００を示す図である。図１６（ｂ）は、指定された作業を開始した場合に、ディスプレイ１０４に表示される画面１６１０を示す図である。図１６（ｃ）は、作業が完了した場合にディスプレイ１０４に表示される画面１６２０を示す図である。

ユーザが図３の画面３００においてボタン３０２を選択すると、個別モードに移行し、図１６（ａ）の画面１６００に遷移する。画面１６００において、ユーザが各処理のチェックボックス１６０１のＯＮとＯＦＦを切り替えることで、実行する作業内容を指定できる。ユーザはボタン１５０２を用いて、すべてのチェックボックスをＯＮまたはＯＦＦにすることも可能である。ユーザは実行する作業を選択したら、開始ボタン１６０３を選択することで、選択した作業が開始される。ユーザが開始ボタン１６０３を選択すると、画面１６１０に遷移する。

画面１６１０では、図３（ｃ）の画面３２０と同様に、作業の進捗率や残りの作業時間を確認することができる。選択した全ての作業が完了すると、図１６（ｃ）の画面１６２０に遷移する。ユーザが画面１６２０でＯＫボタン１６２１を選択すると、図３に示す画面３００に遷移する。もし、選択した作業に「細菌の検出と分類」が含まれている場合は、選択した全ての作業が完了すると、図６の画面６００に遷移し、全自動モードと同様に、細菌の検出および分類結果を確認することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

例えば、グラム染色装置１０１と作業用コンピュータ１０２の両方の構成を有する一体型の装置としてもよい。あるいは、上記実施形態では、グラム染色装置１０１のＣＰＵ２０３が学習モデルを用いて細菌の分類を行ったが、この分類処理を作業用コンピュータ１０２あるいはサーバ１０３において実行するようにしても構わない。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ グラム染色装置
１０２ 作業用ＰＣ
１０３ サーバ
１０４ ディスプレイ

Claims (27)

1. グラム染色された検体の複数の領域に対して撮像を行い、複数の画像を生成する撮像手段と、
   前記複数の画像の少なくとも一部の画像に対して細菌を検出する処理を行い、細菌が検出された場合には、細菌の種類に応じて検出された細菌を分類する分類手段と、
   を有することを特徴とする画像処理装置。
2. 前記分類手段は、前記複数の画像のそれぞれに対して、前記細菌を検出する処理を行う画像であるかを判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記分類手段は、前記グラム染色された検体の濃度が閾値以下である画像を、前記細菌を検出する処理を行う画像であると判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記分類手段は、機械学習によって生成された学習モデルを用いて、前記細菌を検出する処理を行う画像であるかを判定することを特徴とする請求項２に記載の画像処理装置。
5. 前記撮像手段は、前記グラム染色された検体の、ユーザによって指定された領域に対して撮像を行うことを特徴とする請求項１に記載の画像処理装置。
6. 前記撮像手段は、ユーザから撮像する領域の指示があった場合に、前記指示に応じた領域の画像を生成し、
   前記分類手段は、前記指示に応じた領域の画像に対して、前記細菌を検出する処理を行うことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
7. 前記分類手段によって分類された細菌の種類と、細菌の分類が行われた画像を記憶する記憶手段を有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記記憶手段は、さらに、前記分類手段によって分類された細菌の前記画像における位置、および、前記分類手段による分類結果の信頼度の、少なくとも１つを記憶することを特徴とする請求項７に記載の画像処理装置。
9. 前記分類手段によって分類された細菌の種類と、細菌の分類が行われた画像を外部の装置に送信する通信手段を有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
10. 前記通信手段は、さらに、前記分類手段によって分類された細菌の前記画像における位置、および、前記分類手段による分類結果の信頼度の、少なくとも１つを前記外部の装置に送信することを特徴とする請求項９に記載の画像処理装置。
11. グラム染色された検体を乾燥する乾燥手段を有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記検体を染色液に浸してから洗浄することで、前記グラム染色された検体を生成する生成手段を有することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記検体を固定し、前記撮像手段に対する前記検体の位置を変更する固定手段を有することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. グラム染色された検体を撮像した画像データを取得する取得手段と、
    前記画像データに基づく画像に対して、グラム染色によって分類された細菌が存在する位置と前記細菌の種類を重畳した、表示用の画像を生成する生成手段と、を有することを特徴とする画像処理装置。
15. 前記取得手段は、前記画像データとともに、前記グラム染色によって分類された細菌が存在する位置と前記細菌の種類を示す情報を取得することを特徴とする請求項１４に記載の画像処理装置。
16. 前記生成手段は、前記画像データに基づく画像に対して、さらに、前記細菌の種類の分類結果の信頼度を重畳することを特徴とする請求項１４に記載の画像処理装置。
17. 前記取得手段は、前記画像データとともに、前記グラム染色によって分類された細菌が存在する位置、前記細菌の種類を示す情報、および、前記細菌の種類の分類結果の信頼度を取得することを特徴とする請求項１６に記載の画像処理装置。
18. 前記信頼度の閾値を設定する設定手段を有し、
    前記生成手段は、前記画像データに基づく画像に対して、前記信頼度が閾値以上である細菌について、前記細菌が存在する位置と前記細菌の種類を重畳し、前記信頼度が閾値以上ではない細菌については、前記細菌が存在する位置と前記細菌の種類を重畳しないことを特徴とする請求項１７に記載の画像処理装置。
19. 前記設定手段は、ユーザの指示に基づいて前記閾値を変更することを特徴とする請求項１８に記載の画像処理装置。
20. 前記細菌の種類ごとに、前記画像データに基づく画像に対して、前記細菌が存在する位置と前記細菌の種類を重畳するか否かを設定する設定手段を有することを特徴とする請求項１４乃至１７のいずれか１項に記載の画像処理装置。
21. 前記設定手段は、ユーザの指示に基づいて、前記細菌が存在する位置と前記細菌の種類を重畳する細菌の種類を設定することを特徴とする請求項２０に記載の画像処理装置。
22. 前記生成手段が生成した前記表示用の画像のデータを、電子カルテを有するサーバに送信する通信手段を有することを特徴とする請求項１４乃至２１のいずれか１項に記載の画像処理装置。
23. ユーザの指示に基づいて、前記グラム染色された検体の、撮像の対象とする領域を決定する決定手段を有し、
    前記通信手段は、前記撮像の対象とする領域を示す情報を、前記グラム染色された検体を撮像する撮像装置に送信することを特徴とする請求項２２に記載の画像処理装置。
24. グラム染色された検体の複数の領域に対して撮像を行い、複数の画像を生成する工程と、
    前記複数の画像の少なくとも一部の画像に対して細菌を検出する工程と、
    細菌が検出された場合に、細菌の種類に応じて、検出された細菌を分類する工程と、
    を有する画像処理方法。
25. グラム染色された検体を撮像した画像データを取得する工程と、
    前記画像データに基づく画像に対して、グラム染色によって分類された細菌が存在する位置と前記細菌の種類を重畳した、表示用の画像を生成する工程と、
    を有することを特徴とする画像処理方法。
26. 請求項２４に記載された画像処理方法をコンピュータに実行されるためのプログラム。
27. 請求項２５に記載された画像処理方法をコンピュータに実行されるためのプログラム。

Images