JP2020123044A - 情報処理装置 - Google Patents

Abstract

【課題】グラム染色された検体の画像から菌種を絞り込む作業を支援すること。【解決手段】分類結果入力部２０３は、検体画像に含まれる細菌の色及び形状等に基づき人が行った分類の結果をサーバ装置１０に入力する。検体画像記憶部１０２は、入力された分類結果を検体画像に対応付けて記憶する。分類部１０５は、人が行った細菌の分類の結果と画像の特徴との関係を学習して、検体画像の特徴からその検体画像に含まれる細菌を分類する。検体画像記憶部１０２は、分類部１０５が検体画像について分類した結果をその検体画像に対応付けて記憶する。分類部１０５は、新たな検体の画像について細菌を分類する。類似分類画像抽出部１０６は、新たな検体の画像について分類部１０５が分類した結果と類似する分類に対応付けて記憶されている検体画像を抽出して出力する。【選択図】図４

Description

本発明は、感染症の治療を支援する技術に関する。

感染症の治療を支援する技術がある。例えば、特許文献１には、病原微生物に対して抗菌薬を優先的に選択すべきことを示す優先指数を、症例データをもとに判定する技術が開示されている。

特開２００４−２０６５５５号公報

感染症にかかった際は早期に治療を施すことが望ましいが、病原菌の菌種を特定するためには培養及び機械検査等の作業が必要なため１日以上を要することが普通である。そこで、グラム染色された検体の画像から短時間で検体に含まれる細菌の菌種を絞り込んで早期の治療に取り掛かることも行われているが、適切に菌種を絞り込むことは経験が必要な難しい作業である。
そこで、本発明は、グラム染色された検体の画像から菌種を絞り込む作業を支援することを目的とする。

本発明は、グラム染色された検体の画像に含まれる細菌の画像に基づき人が行った当該細菌の分類の結果と当該細菌の画像の特徴との関係を学習して細菌の画像から当該細菌を分類する分類手段が検体の画像について分類した結果を、当該検体の画像に対応付けて記憶する記憶部と、グラム染色された新たな検体の画像を取得する取得部と、取得された前記新たな検体の画像について前記分類手段が分類した結果と類似する分類の結果に対応付けて記憶されている検体の画像を出力する出力部とを備える情報処理装置を提供する。

また、前記記憶部は、前記検体の画像に対応付けて、当該検体の画像について人が行った細菌の分類結果を記憶し、前記出力部は、出力対象の前記検体の画像について人が行った分類結果を当該検体の画像と共に出力してもよい。

また、前記記憶部は、前記検体の画像に写っている検体に含まれる細菌の同定結果を当該画像に対応付けて記憶し、前記出力部は、出力対象の画像に対応付けて記憶されている前記同定結果を当該画像と共に出力してもよい。

また、前記分類手段には、分類方法が互いに異なる第１分類手段及び第２分類手段が含まれ、前記出力部は、前記第１分類手段による分類結果と類似する前記分類に対応付けて記憶されている前記検体の画像と、前記第２分類手段による分類結果と類似する前記分類に対応付けて記憶されている前記検体の画像とを出力してもよい。

また、同一の検体について異なる箇所の複数の画像が撮影された場合に、当該複数の画像から、前記分類手段による分類結果が所定の条件を満たすものを特定する特定部を備え、前記取得部は、前記特定部により特定された画像を前記新たにグラム染色された検体の画像として取得してもよい。

また、前記条件は、前記分類手段による分類が不能な細菌の割合が閾値未満となる場合に満たされてもよい。

また、前記分類手段には、分類方法が互いに異なる第１分類手段及び第２分類手段が含まれ、前記条件は、前記第１分類手段による分類結果と前記第２分類手段による分類結果との差分が所定のレベル未満となる場合に満たされてもよい。

本発明によれば、グラム染色された検体の画像から菌種を絞り込む作業を支援することができる。

実施例に係る医療情報システムの全体構成を表す図 サーバ装置のハードウェア構成を表す図 ユーザ装置のハードウェア構成を表す図 医療情報システムにおいて実現される機能構成を表す図 細菌分類画面の一例を表す図 検体画像記憶部が記憶する情報の一例を表す図 新たな検体画像のための細菌分類画面の一例を表す図 記憶処理における動作の手順の一例を表す図 出力処理における動作の手順の一例を表す図 同定結果入力画面の一例を表す図 変形例の検体画像記憶部が記憶する情報の一例を表す図 変形例において実現される機能構成を表す図 変形例において記憶される情報の一例を表す図 変形例の細菌分類画面の一例を表す図 変形例において実現される機能構成を表す図

［１］実施例
図１は実施例に係る医療情報システム１の全体構成を表す。医療情報システム１は、自システムのユーザである医師や看護師などの医療従事者に対して医療に関する情報を提供するためのシステムである。医療情報システム１は、本実施例では、感染症の治療に用いる治療薬を決定する際の参考となる情報（以下「参考情報」という）をユーザに提供する。

医療情報システム１は、ネットワーク２と、サーバ装置１０と、ユーザ装置２０とを備える。ネットワーク２は、装置間のデータのやり取りを仲介するシステムであり、例えば、医療施設内に設けられたＬＡＮ（Local Area Network）である。ネットワーク２にはサーバ装置１０及びユーザ装置２０が接続されている。なお、ネットワーク２と各装置の接続は図１では有線接続で表されているが、無線接続であってもよい。

ユーザ装置２０は、ユーザによる情報の入力を受け付けたり、サーバ装置１０から提供される情報を表示したりする情報処理装置であり、ユーザが医療情報を利用する際のインターフェースとして機能する。サーバ装置１０は、ユーザ装置２０から送られてくる情報を処理する情報処理装置であり、処理した情報を医療情報としてユーザ装置を介してユーザに提供する装置である。サーバ装置１０は、この医療情報のひとつとして、前述した参考情報をユーザに提供する。

図２はサーバ装置１０のハードウェア構成を表す。サーバ装置１０は、制御部１１と、記憶部１２と、通信部１３とを備えるコンピュータである。制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びリアルタイムクロックを備えている。

ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部１２に記憶されたプログラムを実行することによって記憶部１２及び通信部１３の動作を制御する。リアルタイムクロックは、現在の日時を算出する分類機能を有している。記憶部１２は、ハードディスク等を備え、制御部１１が制御に用いるデータやプログラムなどを記憶する。通信部１３は、ネットワーク２を介して通信を行うための通信回路を備え、ネットワーク２を介したデータの送信及び受信を行う。

図３はユーザ装置２０のハードウェア構成を表す。ユーザ装置２０は、制御部２１と、記憶部２２と、通信部２３と、表示部２４と、操作部２５とを備えるコンピュータである。制御部２１は制御部１１と同種のハードウェアである。記憶部２２は記憶部１２と同種のハードウェアであり、通信部２３は通信部１３と同種のハードウェアである。表示部２４は、例えば液晶ディスプレイを有し、制御部２１が行う制御に基づいて表示面に画像を表示する。操作部２５は、キーボード及びマウス等の操作子を備え、ユーザの操作に応じてその操作の内容を表す操作データを制御部２１に供給する。

サーバ装置１０及びユーザ装置２０の各記憶部には、医療情報をユーザに提供する機能を実現するためのプログラムが記憶されており、このプログラムが実行されることで以下に述べる機能が実現される。なお、医療情報等の各種の情報はデータ化してやり取りされるが、以下では、データを送信し又は受信することを単にそのデータが示す情報を送信し又は受信するとも言う。

図４は医療情報システム１において実現される機能構成を表す。サーバ装置１０は、検体画像取得部１０１と、検体画像記憶部１０２と、検体画像出力部１０３と、分類結果取得部１０４と、分類部１０５と、類似分類画像抽出部１０６とを備える。ユーザ装置２０は、検体画像入力部２０１と、検体画像表示部２０２と、分類結果入力部２０３と、類似分類画像表示部２０４とを備える。

ユーザ装置２０の検体画像入力部２０１は、グラム染色された検体の画像をサーバ装置１０に入力する。検体とは、検査の対象となる物体のことであり、例えば患者から採取される血液、体液及び細胞等のことである。グラム染色とは、スライドグラスに塗抹した検体に染色及び脱色等を施すことで、紫色〜濃紺色に染まるグラム陽性菌と淡赤色〜紅色に染まるグラム陰性菌とを見分ける手法のことである。

グラム染色した検体を顕微鏡で１０００倍程度に拡大してデジタルカメラで撮影した画像がグラム染色された検体の画像である。以下では「検体画像」と言えばグラム染色されて拡大して撮影された検体の画像のこと言うものとする。検体画像を示す検体画像データがユーザ装置２０に取り込まれると、検体画像入力部２０１は、取り込まれた検体画像データに検体に関する基礎情報（患者名、患者番号、検体の種類及び採取日時等）を付加してサーバ装置１０に送信することで、検体画像の入力を行う。

サーバ装置１０の検体画像取得部１０１は、送信されてきた検体画像データを受け取ることで、検体画像入力部２０１により入力された、グラム染色された検体の画像を取得する。検体画像取得部１０１は本発明の「取得部」の一例である。検体画像取得部１０１は、取得した検体の画像を示す検体画像データを検体画像記憶部１０２に供給する。検体画像記憶部１０２は、供給された検体画像データが示す検体の画像を記憶する。

検体画像出力部１０３は、検体画像記憶部１０２に記憶されている検体画像を出力する。検体画像出力部１０３は、例えば、ユーザ装置２０から特定の患者の検体画像の一覧を要求されると、その患者の患者番号を含む検体画像データを検体画像記憶部１０２から読み出してユーザ装置２０に対して出力する。ユーザ装置２０の検体画像表示部２０２は、サーバ装置１０から出力されてきた検体画像を表示する。

検体画像の表示は、例えば感染症患者の診療において感染症の原因となる細菌の大まかな種類を分類するために行われる。検体画像表示部２０２は、検体画像に含まれる細菌の画像からその細菌を分類するための画面を表示する。
図５は細菌分類画面の一例を表す。図５の例では、検体画像表示部２０２は、検体が採取された患者の患者番号及びその患者の検体の複数のサムネイル画像を細菌分類画面に表示している。

また、検体画像表示部２０２は、選択されたサムネイル画像（輪郭が太くなっている画像）を拡大した検体画像Ｂ１と、分類結果を入力する入力欄Ｃ１とを表示している。入力欄Ｃ１は、「グラム陽性球菌」、「グラム陰性球菌」、「グラム陽性桿菌」、「グラム陰性桿菌」及び「不明」という５つの種類のそれぞれに分類される細菌の割合を入力する欄となっている。図５の例では、「グラム陽性球菌」が２０％、「グラム陰性桿菌」が８０％で、残りの種類は０％と入力されている。

割合の入力は、通常は医療従事者によって行われる。分類の割合は、例えば分類毎の細菌の面積を合計した値の割合を表す。ここでいう面積は、検体画像において細菌と思われる領域の面積のことであり、検体画像全体の面積のことではない。そのため、全ての細菌が分類可能であれば、割合の合計は１００％となる。但し、細菌と思われるが分類が不能な形状及び色の領域がある場合は、「不明」として分類される。

なお、分類の割合は、分類毎の細菌の個数の割合を表していてもよい。その場合は、検体画像において細菌と思われる物体の個数が対象となる。面積及び個数のいずれの場合も、細菌分類画面で入力される割合は、人が画像を目で見て判断する値なので、１％単位まで正確に表される必要はない。本実施例では、人による分類結果が１０％単位で表されるものとする。こうして分類された結果は、次のように役立てられる。

例えばグラム陽性球菌には、ブドウ球菌及び肺炎球菌等が含まれる。グラム陽性球菌が多く見つかった場合は、セフェム系抗生物質を投与することが考えられる。また、グラム陰性球菌には、淋菌及び骨膜炎菌等が含まれる。グラム陰性球菌が多く見つかった場合は、レボフロキサシン系又はβラクタム系の抗生物質を投与することが考えられる。また、グラム陰性球菌には、炭疽菌等が含まれる。グラム陰性球菌が多く見つかった場合は、ペニシリンを投与することが考えられる。

また、グラム陽性桿菌には、大腸菌、赤痢菌及び緑膿菌等が含まれる。グラム陽性桿菌が多く見つかった場合は、ホスホマイシン又はセフェム系抗生物質を投与することが考えられる。このように、検体に含まれる細菌を上記の４種類に分類することができれば、患者に対して迅速な治療を施すことができる。その結果、細菌が同定されるまで１日以上待ってから治療するよりも、重篤な症状になる前に回復させることが期待できる。

検体画像表示部２０２は、細菌分類画面において各分類の割合が入力された状態で入力ボタンが押されると、入力された割合及び分類を対応付けた分類結果入力データを、表示した検体画像の検体画像データを共に分類結果入力部２０３に供給する。分類結果入力部２０３は、供給された検体画像データ及び分類結果入力データをサーバ装置１０に送信することで、検体画像に含まれる細菌の画像に基づき人が行った分類の結果をサーバ装置１０に入力する。

サーバ装置１０の分類結果取得部１０４は、送信されてきた検体画像データ及び分類結果入力データを受け取ることで、分類結果入力部２０３により入力された分類の結果を取得する。分類結果取得部１０４は、受け取った検体画像データ及び分類結果入力データを検体画像記憶部１０２に供給する。

検体画像記憶部１０２は、供給された検体画像データを既に記憶しているので、その検体画像データに対応付けて供給された分類結果入力データを記憶する。こうして記憶された分類結果入力データは、グラム染色された検体の画像に含まれる細菌の画像（特に細菌の画像の色及び形状等）に基づき人が行った細菌の分類の結果を示すデータである。

図５の説明で述べた細菌の分類は前述したとおり医療従事者によって行われるが、検体画像に含まれる細菌は立体的な形を２次元で捉えたものであるため細菌の向きによって形が変化する。また、他の細菌及び赤血球等と重なって見えることもあるため、正確な形状を把握することが難しく、正しく分類を行うためには多くの経験が必要である。しかし、いつも経験豊富な医療従事者が分類の作業をできるわけではない。

そこで、医療情報システム１においては、細菌分類の経験不足を補うために、機械による分類結果を活用する。サーバ装置１０の分類部１０５は、検体画像に含まれる細菌の画像の特徴からその細菌を分類する。分類部１０５は、例えば、周知の画像処理技術及びパターン認識技術を用いて検体画像からの細菌の分類を行う。本実施例では、分類部１０５は、ＳＶＭ（Support Vector Machine）と呼ばれる学習式のパターン認識技術を用いる。

検体画像記憶部１０２には、上記のとおり人が行った分類結果が検体画像に対応付けて記憶されている。分類部１０５は、検体画像記憶部１０２から人が行った分類結果を読み出して、例えばＲＧＢ色空間フィルタ、グレースケール化、二値化、モルフォロジー演算及びエッジ検出等の画像処理を行い、画像中の細菌を表す領域を認識する。続いて、分類部１０５は、細菌領域の特徴量として、例えば面積、縦横比、色及び円形度等を算出する。

分類部１０５は、各検体画像において算出された特徴量と、人が行った分類結果との関係から、各細菌分類と特徴量との関係を学習し、学習した関係を示すアルゴリズムを生成する。生成されたアルゴリズムは、特徴量を入力すると細菌の分類を出力するものである。分類部１０５は、こうして生成したアルゴリズムを用いて、記憶されている検体画像の全てについて細胞を分類する分類処理を行う。なお、細菌を表す領域の認識方法、特徴量の算出方法及びアルゴリズムの生成方法は、上述した方法以外の周知の方法が用いられてもよい。

分類部１０５は、認識された細菌領域毎に細菌を分類し、検体画像全体における細菌の分類毎の割合を算出する。分類部１０５は、例えば、分類毎の細菌の面積を合計した値の割合を算出する。なお、分類部１０５は、分類毎の細菌の個数の割合を算出してもよい。面積及び個数のどちらを用いるかは、上述した人が行う分類と同じ方を選ぶことが望ましい。

分類部１０５は、算出した割合を分類処理の結果として示す分類結果データを、分類に用いた検体画像を示す検体画像データに対応付けて検体画像記憶部１０２に記憶させる。以上のとおり、検体画像記憶部１０２は、人が細菌の画像に基づいて行った細菌の分類の結果とその細菌の画像の特徴との関係を学習した分類部１０５が検体画像について分類した結果をその検体画像に対応付けて記憶する。分類部１０５は本発明の「分類手段」の一例であり、検体画像記憶部１０２は本発明の「記憶部」の一例である。

また、検体画像記憶部１０２は、学習で用いられた検体画像、すなわち、人が分類を行った検体画像に対応付けて、その検体画像について人が行った分類結果も記憶する。つまり、検体画像記憶部１０２は、人が行った分類結果（以下「第１分類結果」という）と、分類部１０５により行われた分類結果（以下「第２分類結果」という）とを、その分類の対象となった検体画像に対応付けて記憶する。

図６は検体画像記憶部１０２が記憶する情報の一例を表す。図６の例では、検体画像記憶部１０２は、検体に関する基礎情報と、検体画像と、第１分類結果と、第２分類結果とを対応付けて記憶している。第１分類結果及び第２分類結果は、それぞれ「グラム陽性球菌」、「グラム陰性球菌」、「グラム陽性桿菌」、「グラム陰性桿菌」及び「不明」という５つの分類の割合（％）を並べて表されている。

例えば「２０、０、０、８０、０」及び「３０、１０、５０、０、１０」という第１分類結果には、「１５、０、０、８５、０」及び「４０、０、６０、０、０」という第２分類結果が対応付けて記憶されている。分類部１０５は、検体画像の解像度次第で細かい単位（１％単位等）で割合を算出することができるが、本実施例では、計算を簡単にするため、人の分類よりも少しだけ細かい５％単位で割合を算出するようにしている。

第２分類結果は、図６の例で表されているように、必ずしも第１分類結果と完全に同じにはなるわけではない。しかし、分類部１０５は、第１分類結果に基づいて分類を学習しているので、分類結果の大まかな傾向は第１分類結果及び第２分類結果で共通することになる。ここまでは、実際の細菌の分類業務を支援する準備のために用いられる構成の説明である。続いて、実際に患者の検体画像から細菌を分類して治療方針を立てる際に用いられる構成を説明する。

分類部１０５には、検体画像取得部１０１から取得された新たな検体の画像を示す検体画像データが供給される。分類部１０５は、検体画像取得部１０１により取得された新たな検体の画像について細菌を分類する。具体的には、分類部１０５は、新たな検体の画像についても上述した画像処理を施して特徴量を算出し、算出した特徴量を上記アルゴリズムに入力して細菌の分類を出力させる分類処理を行う。

分類部１０５は、分類処理の結果を示す分類結果データを、分類処理に用いた検体画像データと共に類似分類画像抽出部１０６に供給する。類似分類画像抽出部１０６は、供給された分類結果データが示す結果、すなわち、検体画像取得部１０１により取得された新たな検体の画像について分類部１０５が分類した結果（以下「新分類結果」という）、と類似する分類に対応付けて検体画像記憶部１０２に記憶されている検体の画像を抽出して（読み出して）出力する。類似分類画像抽出部１０６は本発明の「出力部」の一例である。

類似分類画像抽出部１０６は、例えば、供給された分類結果データが示す新分類結果との数値の差分が小さい方から所定の個数だけの第２分類結果を、新分類結果に類似する第２分類結果（以下「類似分類結果」という）として特定する。数値の差分とは、例えば、５つの分類の数値のそれぞれの差分の絶対値を合計した値である。なお、差分の算出方法はこれに限らず、例えば、５つの分類の数値の差分をそれぞれ二乗した値を合計して算出してもよい。

また、類似分類画像抽出部１０６は、類似分類結果が所定の個数になる前に差分の合計値が閾値以上になった場合は類似するとは言えないので、所定の個数に足りなくても類似分類結果の特定を終わらせてもよい。類似分類画像抽出部１０６は、特定した類似分類結果に対応付けて検体画像記憶部１０２に記憶されている検体の画像を抽出する。また、類似分類画像抽出部１０６は、特定した類似分類結果に対応付けて検体画像記憶部１０２に記憶されている第１分類結果及び検体の基礎情報も抽出する。

類似分類画像抽出部１０６は、抽出した第１分類結果及び基礎情報を、新部類結果及び特定した類似分類結果と、抽出した検体画像と共にユーザ装置２０に対して出力する。ユーザ装置２０の類似分類画像表示部２０４は、サーバ装置１０から出力されてきた検体画像、基礎情報、第１分類結果及び第２分類結果（新分類結果及び類似分類結果）を表示する。類似分類画像表示部２０４は、検体画像等を、例えば、新たな検体画像の細菌を分類するための画面に含めて表示する。

図７は新たな検体画像のための細菌分類画面の一例を表す。図７の例では、類似分類画像表示部２０４は、新たな検体画像Ｂ１１と、検体画像Ｂ１１の分類結果を入力する入力欄Ｃ１１と、検体画像Ｂ１１の第２分類結果Ｄ１１（新分類結果のこと）とを表示している。第２分類結果Ｄ１１は「７０、１０、１０、１０、０」という分類の割合を表している。

また、類似分類画像表示部２０４は、「分類結果が類似する検体画像」として、検体画像Ｂ１２及びＢ１３を表示し、検体画像Ｂ１２及びＢ１３の第１分類結果Ｃ１２及びＣ１３と、検体画像Ｂ１２及びＢ１３の第２分類結果Ｄ１２及びＤ１３（類似分類結果のこと）とを表示している。第２分類結果Ｄ１２は「７０、１０、１０、１０、０」という分類の割合を表し、第２分類結果Ｄ１３は「７０、１０、１５、５、０」という分類の割合を表している。

第２分類結果Ｄ１２は第２分類結果Ｄ１１と完全に一致しており、第２分類結果Ｄ１３は第２分類結果Ｄ１１との差分が１０となっている。本実施例では前述したとおり第１分類結果が１０％単位で第２分類結果が５％単位なので、「１０」という差分は「０」の次に小さい差分となる。なお、分類結果が類似する検体画像が他にもある場合は、類似分類画像表示部２０４は、画面のスクロール又は切り替え等をさせることで残りの類似する検体画像を表示する。

以上のとおり、新たな検体画像に対する機械による分類結果である第２分類結果が出力されることで、新たな検体画像を分類する際の参考になる。また、新たな検体画像と分類結果が類似する検体画像（図７の例では検体画像Ｂ１２及びＢ１３）が表示されることで、新たな検体画像と細菌の色、形及び配分が似ていると思われるそれらの検体画像も参考にしながら分類を行うことができる。

また、類似する検体画像の第１分類結果が出力されることで、類似する検体画像に対して人が判断した分類結果を参考にすることもできる。また、類似する検体画像の第２分類結果が出力されることで、検体画像が新たな検体画像に類似する度合いを考慮しながら参考にすることができる（図７の例であれば、新たな検体画像Ｂ１１と第２分類結果が完全に同一の検体画像Ｂ１２を最も参考にする等）。

また、類似分類画像表示部２０４は、各検体画像に含まれる検体に関する基礎情報を表示するための基礎情報ボタンＥ１１、Ｅ１２、Ｅ１３を表示している。これらの基礎情報ボタンが押されると、類似分類画像表示部２０４は、対応する検体の基礎情報を表示する。このように検体の基礎情報が出力されることで、例えば検体の種類（血液又は尿等）の同異を考慮して分類を行うことができる。なお、図７に表す表示方法は一例であり、表示領域の広さに応じてスクロール及び画面切り替えを活用して各情報を表示させればよい。

医療情報システム１は、以上の構成に基づき、検体画像の分類結果を記憶する記憶処理と、分類結果が類似する検体画像等を出力する出力処理とを行う。
図８は記憶処理における動作の手順の一例を表す。図８に表す手順は、例えばユーザがユーザ装置２０に対して検体画像を入力する操作を行うことを契機に開始される。記憶処理において入力される検体画像は、迅速な治療が必要な患者の検体画像であってもよいし、過去に撮影された検体画像であってもよい。

まず、ユーザ装置２０（検体画像入力部２０１）は、検体画像及び基礎情報の入力操作を受け付けると（ステップＳ１１）、入力された検体画像及び基礎情報をサーバ装置１０に送信する（ステップＳ１２）。サーバ装置１０（検体画像取得部１０１）は、送信されてきた検体画像及び基礎情報を取得する（ステップＳ１３）。次に、サーバ装置１０（検体画像記憶部１０２）は、取得された検体画像を記憶する（ステップＳ１４）。

続いて、サーバ装置１０（検体画像出力部１０３）は、ユーザ装置２０からの要求に応答して、自装置に記憶されている検体画像をユーザ装置２０に対して出力する（ステップＳ２１）。ユーザ装置２０（検体画像表示部２０２）は、サーバ装置１０から出力されてきた検体画像を表示する（ステップＳ２２）。次に、ユーザ装置２０（検体画像表示部２０２）は、表示した検体画像に対する分類の入力操作を受け付ける（ステップＳ２３）。

続いて、ユーザ装置２０（分類結果入力部２０３）は、受け付けられた入力操作による分類結果（第１分類結果）をサーバ装置１０に送信する（ステップＳ２４）。サーバ装置１０（分類結果取得部１０４及び検体画像記憶部１０２）は、送信されてきた第１分類結果を検体画像に対応付けて記憶する（ステップＳ２５）。次に、サーバ装置１０（分類部１０５）は、記憶された検体画像の特徴からその検体画像に含まれる細菌を分類する分類処理を行う（ステップＳ３１）。

そして、サーバ装置１０（検体画像記憶部１０２）は、分類処理による第２分類結果を検体画像に対応付けて記憶する（ステップＳ３２）。なお、ステップＳ１１〜Ｓ１４までの動作（検体画像の記憶）と、ステップＳ２１〜Ｓ２５までの動作（第１分類結果の記憶）と、ステップＳ３１、Ｓ３２の動作（第２分類結果の記憶）は、図８に表すように連続して行われてもよいし、それぞれ別のタイミングで行われてもよい。

図９は出力処理における動作の手順の一例を表す。図９に表す手順は、例えばユーザがユーザ装置２０に対して新たな検体画像を入力する操作を行うことを契機に開始される。出力処理では、迅速な治療が必要な患者の検体画像が入力される。ステップＳ４１からＳ４３までは、ステップＳ１１からＳ１３までの動作を同じである。次に、サーバ装置１０（分類部１０５）は、取得された新たな検体画像に含まれる細菌を分類する分類処理を行う（ステップＳ４４）。

続いて、サーバ装置１０（類似分類画像抽出部１０６）は、新たな検体画像の分類結果（新分類結果）と類似する分類に対応付けて記憶されている検体画像を抽出し（ステップＳ４５）、出力した検体画像をユーザ装置２０に対して出力する（ステップＳ４６）。ユーザ装置２０（類似分類画像表示部２０４）は、出力されてきた検体画像、すなわち、新たな検体画像と分類結果が類似する検体画像等を表示する（ステップＳ４７）。

本実施例では、上記のとおり、グラム染色された検体の画像から菌種を絞り込む作業を行う際に、上記の各情報（新分類結果、類似分類結果、新たな検体画像に分類結果が類似する検体画像及び検体の基礎情報）が出力される。そして、出力された各情報を作業者が参考にすることで、菌種を絞り込む作業を支援することができる。

［２］変形例
上述した実施例は本発明の実施の一例に過ぎず以下のように変形させてもよい。また、上述した実施例及び以下に示す各変形例は必要に応じて組み合わせて実施してもよい。

［２−１］出力情報
実施例では、新たな検体画像が取得された際に、図７に表す各情報が出力されたが、出力される情報はこれに限らない。例えば、検体画像に含まれる細菌については、通常は、培養された後に同定試験にかけられて菌種が同定されるので、その同定結果が出力されてもよい。

本変形例では、例えば、検体画像表示部２０２が、検体画像に写っている検体に含まれる細菌の同定結果を入力する入力画面を表示する。なお、細菌の同定は検体を用いて行うが、同定が行われる部分（培養される部分）と検体画像に写っている部分（グラム染色された部分）とは、厳密に言えば検体のうちの異なる部分である。しかし、検体自体は共通のものが用いられるので、含まれている細菌も概ね共通すると言える。

図１０は同定結果入力画面の一例を表す。図１０の例では、検体画像表示部２０２は、同定結果入力画面に、検体画像Ｂ１と、同定結果の入力欄Ｃ２とを表示している。入力欄Ｃ２には、菌名及び一致率が同定結果として入力される。細菌の同定試験は利用施設内又は検査会社で行われ、その同定結果がユーザ（主に医療従事者）に通知される。ユーザは、通知された同定結果を、ユーザ装置２０を操作して入力する。

なお、同定結果がデータで提供される場合には、提供されたデータをユーザ装置２０に読み込ませて同定結果が入力されてもよい。同定結果が入力された状態で入力ボタンが押されると、入力された同定結果を示す同定結果データが例えば分類結果入力部２０３によってサーバ装置１０に送信される。

検体画像記憶部１０２は、送信されてきた同定結果データが示す同定結果、すなわち、検体画像に写っている検体に含まれる細菌の同定結果をその検体画像に対応付けて記憶する。
図１１は本変形例で記憶される情報の一例を表す。図１１の例では、検体画像記憶部１０２は、図６に表す各情報に加えて、同定結果を検体画像に対応付けて記憶している。

本変形例では、類似分類画像抽出部１０６が、特定した類似分類結果に対応付けて記憶されている検体画像、すなわち、出力対象の検体画像に対応付けて記憶されている同定結果を抽出し、その検体画像と共にユーザ装置２０に対して出力する。類似分類画像表示部２０４は、出力されてきた検体画像及び類似分類結果等に加え、同定結果を表示する。このように同定結果が出力されることで、ユーザは、検体に実際に含まれていた菌種まで参考にして分類を行うことができる。

［２−２］分類部
分類部１０５は、実施例では、ＳＶＭと呼ばれる機械学習の手法を用いたが、これに限らない。分類部１０５は、例えば、ニューラルネットワーク（Neural Network）、その階層をさらに深くした深層学習（Deep Learning）、クラスタ分析又はベイジアンネットワーク等の機械学習の手法を用いてもよい。

また、分類部１０５は、２以上の機械学習の手法を用いてそれぞれ分類を行ってもよい。
図１２は本変形例において実現される機能構成を表す。図１２では、図４に表す分類部１０５に代えて、第１分類部１５１及び第２分類部１５２を有する分類部１０５ａを備えるサーバ装置１０ａが表されている。第１分類部１５１及び第２分類部１５２は、いずれも検体画像に含まれる細菌の画像の特徴からその細菌を分類する機能であるが、用いる分類方法が互に異なっている。

例えば、第１分類部１５１は、実施例と同じくＳＶＭを機械学習の手法として用いて、第２分類部１５２は、深層学習を機械学習の手法として用いるものとする。第１分類部１５１は本発明の「第１分類手段」の一例であり、第２分類部１５２は本発明の「第２分類手段」の一例である。第１分類部１５１及び第２分類部１５２は、それぞれ実施例で述べた分類部１０５と同じ動作を行う。

その結果、検体画像記憶部１０２は、検体画像に対応付けて、その検体画像に写っている細菌の第１分類部１５１による分類結果（以下「第１結果」という）及び第２分類部１５２による分類結果（以下「第２結果」という）を記憶する。
図１３は本変形例において記憶される情報の一例を表す。図１３の例では、検体画像記憶部１０２は、図６に表す第２分類結果に代えて、第１結果及び第２結果を検体画像及び第１分類結果に対応付けて記憶している。

例えば「２０、０、０、８０、０」という第１分類結果には、「１５、０、０、８５、０」第１結果と、「２５、０、０、７５、０」第２結果とが対応付けて記憶されている。このように、第１結果及び第２結果は、同じ検体画像を分類した結果であるが、用いられる機械学習の手法が異なるため、必ずしも同じ結果にはならない。そのため、第１分類部１５１及び第２分類部１５２が新たな検体画像について細菌をそれぞれ分類した場合、異なる分類結果になることがある。

そこで、類似分類画像抽出部１０６は、第１分類部１５１による分類結果と類似する分類に対応付けて記憶されている検体画像（以下「第１類似画像」という）と、第２分類部１５２による分類結果と類似する分類に対応付けて記憶されている検体画像（以下「第２類似画像」という）とをそれぞれ出力する。ここで、類似分類画像抽出部１０６は、第１類似画像及び第２類似画像を区別可能な態様で出力する。

類似分類画像表示部２０４は、出力されてきた第１類似画像及び第２類似画像を表示する。
図１４は本変形例の細菌分類画面の一例を表す。図１４の例では、類似分類画像表示部２０４は、新たな検体画像Ｂ１１と、検体画像Ｂ１１に第１結果が類似する検体画像（第１類似画像）として検体画像Ｂ１２及びＢ１３と、検体画像Ｂ１１に第２結果が類似する検体画像（第２類似画像）として検体画像Ｂ２２及びＢ２３とを表示している。

図１４の例では、上段領域Ｆ１に検体画像Ｂ１２及びＢ１３が表示され、下段領域Ｆ２に検体画像Ｂ２２及びＢ２３が表示されている。このように、表示領域を異ならせることで、第１類似画像及び第２類似画像が区別可能な態様で表されている。なお、区別可能な態様はこれに限らない。例えば、第１類似画像及び第２類似画像の枠又は背景を異ならせることで区別可能としてもよいし、第１類似画像及び第２類似画像にそれぞれタグの画像を付すことで区別可能としてもよい。

本変形例では、第１類似画像及び第２類似画像が出力されることで、より参考になりそうな類似画像を選んで参考にすることができる。なお、類似分類画像抽出部１０６は、実施例と同様に、各類似画像についての第１分類結果及び第２分類結果（新分類結果及び類似分類結果）も出力している。例えば第１分類結果及び第２分類結果の差分が小さいほど、人による分類結果と機械による分類結果とが近いことになり、機械による分類の精度が高いと考えられる。

そこで、ユーザは、第１類似画像及び第２類似画像のうち、第１分類結果及び第２分類結果の差分が小さい方の類似画像を参考にすればよい。このように、本変形例においては、分類結果が出力されない場合に比べて、第１類似画像及び第２類似画像のうち、より参考になる方の類似画像を判断しやすくなっている。

［２−３］分類結果
実施例では、「グラム陽性球菌」、「グラム陰性球菌」、「グラム陽性桿菌」、「グラム陰性桿菌」及び「不明」という５つの種類に細菌が分類されたが、これに限らない。例えば、単なる「不明」ではなく、「グラム陽性不明」及び「グラム陰性不明」というように、色による分類は行ったが形状による分類が不明であることを表す分類が行われてもよい。

また、「球菌不明」及び「桿菌不明」というように、形状による分類は行ったが色による分類が不明であることを表す分類が行われてもよい。また、「グラム陽性」、「グラム陰性」、及び「不明」という色に基づく３つの種類に細菌が分類されてもよいし、「球菌」、「桿菌」、及び「不明」という形状に基づく３つの種類に細菌が分類されてもよい。要するに、グラム染色された検体の画像を用いて可能な細菌の分類であれば、どのような分類が行われてもよい。

また、実施例では、上記のとおり分類される細菌の面積の割合又は個数の割合が分類結果として表されたが、これに限らず、例えば各分類の細菌の有無だけが分類結果として表されてもよい。この場合、例えば「グラム陽性球菌：あり」、「グラム陰性球菌：なし」、「グラム陽性桿菌：あり」、「グラム陰性桿菌：なし」というような分類結果が表されることになる。このように各分類の細菌の有無が分かるだけでも、迅速な治療に役立てることができる。

［２−４］分類結果の類似判断
実施例では、類似する分類結果を判断するため、各分類の割合の数値の差分を用いたが、これに限らない。例えば上記変形例のように各分類の細菌の有無だけが分類結果として表される場合は、各分類の細菌の「あり」と「なし」の組合せが全て一致する場合だけ分類結果が類似すると判断されてもよいし、１つだけ異なる場合までは類似すると判断されてもよい。要するに、分類結果の表し方に応じて類似の判断がされればよい。

［２−５］検体画像
検体画像記憶部１０２が記憶する検体画像は、基本的には、医療情報システム１が情報を提供する医療施設の患者から採取された検体の画像であり、診察の際に治療方針を決めるために採取された検体の画像である。従って、いずれの検体画像も、図９に表す新たな検体画像として取得され、その分類結果が治療方針を決める際の参考として用いられる。

但し、これに限定する必要はなく、例えば分類がされていないが過去に採取された検体の検体画像が残っているのであれば、人及び分類部１０５に分類させた上で検体画像記憶部１０２に記憶させてもよい。また、他の医療施設で採取された検体の検体画像であっても、検体画像記憶部１０２に記憶させてもよい。検体画像が少ない医療施設では、こうして記憶された検体画像を増やすことで、分類の参考になる検体画像が出力されやすいようにしてもよい。

［２−６］検体画像の特定
検体画像は、上述したように検体を１０００倍程度に拡大した画像である。そのため、スライドグラス上の検体の量はわずかであるが、どの部分を撮影するかによって含まれる細菌が異なり、分類のしやすさも異なってくる。そこで、検体画像として適当な箇所の画像を取得することを支援する処理が行われてもよい。

図１５は本変形例において実現される機能構成を表す。図１５では、図４に表す各部に加えて検体画像特定部１０７を備えるサーバ装置１０ｂが表されている。検体画像特定部１０７は、同一の検体について異なる箇所の複数の検体画像が撮影された場合に、それらの複数の検体画像から、分類部１０５による分類結果が所定の条件を満たすものを特定する。検体画像特定部１０７は本発明の「特定部」の一例である。

分類部１０５は、実施例で述べたように、「不明」という分類が不能な細菌の割合も算出する。所定の条件としては、この「不明」の割合が閾値未満となる場合に満たされる条件が用いられる。本変形例では、サーバ装置１０ｂを、検体画像を特定するための画像特定モードで動作させることができる。画像特定モードでは、ユーザが同じ検体について撮影した複数の検体画像を入力する操作を行うと、検体画像取得部１０１が、取得したそれら複数の検体画像を示す検体画像データを、検体画像記憶部１０２ではなく一旦検体画像特定部１０７に供給する。

検体画像特定部１０７は、供給された複数の検体画像を分類部１０５に供給し、分類処理を行うよう指示する。分類部１０５は、供給された複数の検体画像について分類処理を行い、その分類結果を検体画像特定部１０７に供給する。検体画像特定部１０７は、供給された分類結果に含まれる「不明」の割合が閾値未満である検体画像を、上記条件を満たす検体画像として特定する。

検体画像特定部１０７は、特定した検体画像を示す検体画像データのみを検体画像取得部１０１に供給する。検体画像取得部１０１は、供給された検体画像データが示す検体画像、すなわち、検体画像特定部１０７により特定された検体画像を新たにグラム染色された検体画像として取得する。検体画像取得部１０１は、こうして取得した検体画像を示す検体画像データを検体画像記憶部１０２に供給する。

分類部１０５による分類結果が「不明」の割合が大きい検体画像は、画像に含まれている細菌の色又は形状が分類に適していない可能性が高い。本変形例では、そのような検体画像は新たな検体画像として取得されないので、検体画像の特定が行われない場合に比べて、人が分類しやすいようにすることができる。また、検体画像の特定を人が行う手間も省くことができる。

なお、所定の条件は上記条件に限らない。例えば、複数の検体画像のうち、「不明」の割合が小さい方から所定の順番までの画像である場合に満たされる条件が用いられてもよい。この場合、人が分類しやすい方から順番に所定の枚数の検体画像を取得させることができる。また、分類部１０５による分類結果として、図１２に表す第１分類部１５１による第１結果と、第２分類部１５２による第２結果とが用いられてもよい。

その場合、所定の条件としては、例えば、第１結果と第２結果との差分が所定のレベル未満となる場合に満たされる条件が用いられる。例えば、第１結果が「１５、０、０、８５、０」で第２結果が「２０、０、５、７５、０」である場合、各分類の差分の絶対を合計した（２０−１５）＋（０−０）＋（５−０）＋（８５−７５）＋（０−０）＝２０が第１結果と第２結果との差分として算出される。

所定のレベルとして例えば「１５」という閾値が定められた場合、「２０」という差分が算出された検体画像は、条件を満たすので検体画像特定部１０７によって特定される。なお、差分の求め方はこれに限らず、例えば各分類の割合の差分を二乗してから合計したり、各分類の割合の差分が所定の範囲を超えるものは異常値として合計しないようにしたりしてもよい。

いずれの場合も、第１結果と第２結果との差分が十分に小さい場合、すなわち、第１分類部１５１及び第２分類部１５２のどちらを用いても同じような分類結果が安定して得られる検体画像が特定されることになる。こうして特定される検体画像は、特定されない検体画像に比べて、細菌が分類しやすい状態で含まれていると考えられる。よって、本変形によれば、第１結果及び第２結果という２つの分類結果を用いない場合に比べて、さらに人が分類しやすいようにすることができる。

［２−７］出力方法
２つの出力部（検体画像出力部１０３及び類似分類画像抽出部１０６）は、実施例ではユーザ装置２０に対して検体画像等を出力したが、これに限らない。各出力部は、例えば、サーバ装置１０にディスプレイ等の表示手段が接続されている場合に、その表示手段に対して検体画像等を出力してもよい。また、各出力部は、ユーザの電子メールアドレスやＳＮＳ（Social Networking Service）のアカウントなどのユーザに対応する宛先に対して検体画像等を出力してもよい。要するに、出力された検体画像等をユーザが確認できるようになっていれば、方法で検体画像等が出力されてもよい。

［２−８］発明のカテゴリ
本発明は、サーバ装置及びユーザ装置という各情報処理装置の他、図４に示す各手段を実現する他の装置としても捉えられる。また、それらの装置を備える医療情報システムのようなシステムとしても捉えられる。また、本発明は、各情報処理装置が実施する処理を実現するための情報処理方法としても捉えられるし、各情報処理装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。

１…医療情報システム、１０…サーバ装置、２０…ユーザ装置、１０１…検体画像取得部、１０２…検体画像記憶部、１０３…検体画像出力部、１０４…分類結果取得部、１０５、１０５ａ…分類部、１０６…類似分類画像抽出部、１０７…検体画像特定部、１５１…第１分類部、１５２…第２分類部、２０１…検体画像入力部、２０２…検体画像表示部、２０３…分類結果入力部、２０４…類似分類画像表示部。

本発明は、作業で用いる対象物を材料から得る取得作業工程が含まれる複数の工程からなる作業の記録が蓄積されている場合に、第１ユーザの前記記録と、第２ユーザの前記記録とを取得する取得部と、取得された前記第１ユーザの前記記録及び前記第２ユーザの前記記録に基づいて、前記作業における共通の工程において前記第１ユーザが行った作業と当該工程において前記第２ユーザが行った作業との相違点を表す相違点情報を生成する情報生成部と、生成された前記相違点情報を出力する第１出力部と、前記取得作業工程において前記材料から前記対象物を得る作業の見本を写した動画を、当該見本の作業で得られた対象物に関して過去に判断された結果に対応付けて出力する第３出力部とを備える情報処理装置を提供する。

また、本発明は、複数の工程からなる作業の記録が蓄積されている場合に、第１ユーザの前記記録と、第２ユーザの前記記録とを取得する取得部と、取得された前記第１ユーザの前記記録及び前記第２ユーザの前記記録に基づいて、前記作業における共通の工程において前記第１ユーザが行った作業と当該工程において前記第２ユーザが行った作業との相違点を文字列で表す相違点情報を生成する情報生成部と、生成された前記相違点情報を出力する第１出力部とを備える情報処理装置を提供する。
また、本発明は、患者から採取される検体に関する検査作業の複数の工程からなる作業の記録が蓄積されている場合に、第１ユーザの前記記録と、第２ユーザの前記記録とを取得する取得部と、取得された前記第１ユーザの前記記録及び前記第２ユーザの前記記録に基づいて、前記作業における共通の工程であって前記検体の見本画像を表示させて行われる工程において前記第１ユーザが行った作業と当該工程において前記第２ユーザが行った作業との相違点を当該工程において表示させた見本画像に関する違いによって表す相違点情報を生成する情報生成部と、生成された前記相違点情報を出力する第１出力部とを備える情報処理装置を提供する。

また、患者から採取される検体に関する検査作業の複数の工程からなる作業の記録が蓄積されている場合に、第１ユーザの前記記録と、第２ユーザの前記記録とを取得する取得部と、取得された前記第１ユーザの前記記録及び前記第２ユーザの前記記録に基づいて、前記作業における共通の工程であって前記検体の培地で培養された微生物の一部を釣菌する工程において前記第１ユーザが行った作業と当該工程において前記第２ユーザが行った作業との相違点を当該工程で培養された微生物の量を左右する要素の情報によって表す相違点情報を生成する情報生成部と、生成された前記相違点情報を出力する第１出力部とを備える情報処理装置を提供する。

Claims (7)

1. グラム染色された検体の画像に含まれる細菌の画像に基づき人が行った当該細菌の分類の結果と当該細菌の画像の特徴との関係を学習して細菌の画像から当該細菌を分類する分類手段が検体の画像について分類した結果を、当該検体の画像に対応付けて記憶する記憶部と、
   グラム染色された新たな検体の画像を取得する取得部と、
   取得された前記新たな検体の画像について前記分類手段が分類した結果と類似する分類の結果に対応付けて記憶されている検体の画像を出力する出力部と
   を備える情報処理装置。
2. 前記記憶部は、前記検体の画像に対応付けて、当該検体の画像について人が行った細菌の分類結果を記憶し、
   前記出力部は、出力対象の前記検体の画像について人が行った分類結果を当該検体の画像と共に出力する
   請求項１に記載の情報処理装置。
3. 前記記憶部は、前記検体の画像に写っている検体に含まれる細菌の同定結果を当該画像に対応付けて記憶し、
   前記出力部は、出力対象の画像に対応付けて記憶されている前記同定結果を当該画像と共に出力する
   請求項１又は２に記載の情報処理装置。
4. 前記分類手段には、分類方法が互いに異なる第１分類手段及び第２分類手段が含まれ、
   前記出力部は、前記第１分類手段による分類結果と類似する前記分類に対応付けて記憶されている前記検体の画像と、前記第２分類手段による分類結果と類似する前記分類に対応付けて記憶されている前記検体の画像とを出力する
   請求項１から３のいずれか１項に記載の情報処理装置。
5. 同一の検体について異なる箇所の複数の画像が撮影された場合に、当該複数の画像から、前記分類手段による分類結果が所定の条件を満たすものを特定する特定部を備え、
   前記取得部は、前記特定部により特定された画像を前記新たにグラム染色された検体の画像として取得する
   請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記条件は、前記分類手段による分類が不能な細菌の割合が閾値未満となる場合に満たされる
   請求項５に記載の情報処理装置。
7. 前記分類手段には、分類方法が互いに異なる第１分類手段及び第２分類手段が含まれ、
   前記条件は、前記第１分類手段による分類結果と前記第２分類手段による分類結果との差分が所定のレベル未満となる場合に満たされる
   請求項５に記載の情報処理装置。