JP2020191841A - マイコプラズマ検査装置、マイコプラズマ表示装置、マイコプラズマ検査システム、マイコプラズマ表示システム、学習器、コンピュータプログラム、マイコプラズマ検査方法及び学習器の生成方法 - Google Patents

マイコプラズマ検査装置、マイコプラズマ表示装置、マイコプラズマ検査システム、マイコプラズマ表示システム、学習器、コンピュータプログラム、マイコプラズマ検査方法及び学習器の生成方法 Download PDF

Info

Publication number
JP2020191841A
JP2020191841A JP2019100661A JP2019100661A JP2020191841A JP 2020191841 A JP2020191841 A JP 2020191841A JP 2019100661 A JP2019100661 A JP 2019100661A JP 2019100661 A JP2019100661 A JP 2019100661A JP 2020191841 A JP2020191841 A JP 2020191841A
Authority
JP
Japan
Prior art keywords
image
mycoplasma
cell
cell nucleus
contaminated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019100661A
Other languages
English (en)
Inventor
賢志 伊達
Kenji Date
賢志 伊達
弘人 菖蒲
Hiroto Shobu
弘人 菖蒲
晶 佐波
Akira Sanami
晶 佐波
雅夫 笹井
Masao Sasai
雅夫 笹井
芳樹 澤
Yoshiki Sawa
芳樹 澤
繁 宮川
Shigeru Miyagawa
繁 宮川
弘子 伊勢岡
Hiroko Iseoka
弘子 伊勢岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Osaka University NUC
Original Assignee
Dai Nippon Printing Co Ltd
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd, Osaka University NUC filed Critical Dai Nippon Printing Co Ltd
Priority to JP2019100661A priority Critical patent/JP2020191841A/ja
Publication of JP2020191841A publication Critical patent/JP2020191841A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】効率良くマイコプラズマを検出することができるマイコプラズマ検査装置、マイコプラズマ表示装置、マイコプラズマ検査システム、マイコプラズマ表示システム、学習器、コンピュータプログラム、マイコプラズマ検査方法及び学習器の生成方法を提供する。【解決手段】マイコプラズマ検査装置は、細胞核が撮影された検査対象画像を取得する取得部と、取得した検査対象画像に基づいてマイコプラズマを検出すべく学習された第1学習器と、第1学習器で検出したマイコプラズマ及び取得した検査対象画像に基づいてマイコプラズマ画像を生成するマイコプラズマ画像生成部とを備える。【選択図】図1

Description

本発明は、マイコプラズマ検査装置、マイコプラズマ表示装置、マイコプラズマ検査システム、マイコプラズマ表示システム、学習器、コンピュータプログラム、マイコプラズマ検査方法及び学習器の生成方法に関する。
マイコプラズマは、自己増殖能を持つ最小のバクテリアであり、ヒト、哺乳類などの寄生体として自然界に広く存在する。非特許文献1には、「バイオテクノロジー応用医薬品/生物起源由来医薬品の製造に用いる細胞基材に対するマイコプラズマ否定試験」として、指標細胞を用いたDNA染色法(いわゆる、マイコプラズマ否定試験B法)が記載されている。
第十六改正日本薬局方(平成23年3月24日厚生労働省告示第65号)
しかし、マイコプラズマ否定試験B法では、試験検体を所定期間培養し、DNA蛍光染色して、蛍光顕微鏡でマイコプラズマの存在を目視で確認する必要があり、作業者の作業効率が低いという問題がある。
本発明は、斯かる事情に鑑みてなされたものであり、効率良くマイコプラズマを検出することができるマイコプラズマ検査装置、マイコプラズマ表示装置、マイコプラズマ検査システム、マイコプラズマ表示システム、学習器、コンピュータプログラム、マイコプラズマ検査方法及び学習器の生成方法を提供することを目的とする。
本発明の実施の形態に係るマイコプラズマ検査装置は、細胞核が撮影された検査対象画像を取得する取得部と、前記取得部で取得した検査対象画像に基づいてマイコプラズマを検出すべく学習された第1学習器と、前記第1学習器で検出したマイコプラズマ及び前記取得部で取得した検査対象画像に基づいてマイコプラズマ画像を生成するマイコプラズマ画像生成部とを備える。
本発明の実施の形態に係るマイコプラズマ表示装置は、細胞核が撮影された検査対象画像を取得する取得部と、前記取得部で取得した検査対象画像に基づいてマイコプラズマを検出すべく学習された第1学習器が検出したマイコプラズマ及び前記取得部で取得した検査対象画像に基づいてマイコプラズマ画像を表示するマイコプラズマ画像表示部とを備える。
本発明の実施の形態に係るマイコプラズマ検査システムは、細胞核を撮像する撮像装置と、前述のマイコプラズマ検査装置とを備え、前記マイコプラズマ検査装置は、前記撮像装置で撮像された検査対象画像を取得する。
本発明の実施の形態に係るマイコプラズマ表示システムは、細胞核を撮像する撮像装置と、前述のマイコプラズマ表示装置とを備え、前記マイコプラズマ表示装置は、前記撮像装置で撮像された検査対象画像を取得する。
本発明の実施の形態に係る学習器は、細胞核が撮影された検査対象画像に基づいてマイコプラズマを検出すべく学習された第1学習器と、前記第1学習器で検出したマイコプラズマ及び前記検査対象画像に基づいて前記細胞核がマイコプラズマ汚染されているか否か判定すべく学習された第2学習器と、前記第2学習器の判定結果に基づいて生成される、汚染細胞核及び非汚染細胞核の少なくとも一方を含むマイコプラズマ汚染結果画像を用いて細胞核の数を検出すべく学習された第3学習器とを備える。
本発明の実施の形態に係るコンピュータプログラムは、コンピュータに、細胞核が撮影された検査対象画像を取得する処理と、取得した検査対象画像を用いて学習された第1学習器が検出したマイコプラズマ及び前記検査対象画像に基づいてマイコプラズマ画像を生成する処理とを実行させる。
本発明の実施の形態に係るマイコプラズマ検査方法は、細胞核が撮影された検査対象画像を取得し、取得された検査対象画像を用いて学習された第1学習器が検出したマイコプラズマ及び前記検査対象画像に基づいてマイコプラズマ画像を生成する。
本発明の実施の形態に係る学習器の生成方法は、第1学習器、第2学習器及び第3学習器を備える学習器の生成方法であって、細胞核が撮影され、マイコプラズマが存在する第1画像と前記第1画像からマイコプラズマを抽出した抽出画像とを含む学習データ、及び細胞核が撮影され、マイコプラズマが存在しない第2画像とマイコプラズマが存在しない所定画像とを含む学習データを用いて前記第1学習器を生成し、前記第1画像及び前記抽出画像の組で構成される学習用入力画像と所定の汚染細胞核画像とを含む学習データ、及び前記第2画像及び前記所定画像の組で構成される学習用入力画像と所定の非汚染細胞核画像とを含む学習データを用いて前記第2学習器を生成し、所定の汚染細胞核画像、所定の非汚染細胞核画像、及び細胞核数を示す教師ラベルを用いて前記第3学習器を生成する。
本発明によれば、効率良くマイコプラズマを検出することができる。
本実施の形態のマイコプラズマ検査装置としての検査装置の構成の一例を示すブロック図である。 撮像画像と検査対象画像との関係を示す模式図である。 第1学習器、第2学習器及び第3学習器それぞれの構成の一例を示す模式図である。 第1画像の一例を示す模式図である。 マイコプラズマ抽出画像の一例を示す模式図である。 第2画像の一例を示す模式図である。 所定画像の一例を示す模式図である。 第1画像及びマイコプラズマ抽出画像の組で構成される学習用入力画像の一例を示す模式図である。 汚染細胞核画像の一例を示す模式図である。 第2画像及び所定画像の組で構成される学習用入力画像の一例を示す模式図である。 非汚染細胞核画像の一例を示す模式図である。 汚染細胞核画像内の細胞塊を抽出する切出画像の一例を示す模式図である。 第3学習器を生成するための学習用入力画像と教師ラベルとの関係を示す模式図である。 本実施の形態の検査装置の検査の流れの一例を示す模式図である。 マイコプラズマ画像の一例を示す模式図である。 マイコプラズマ汚染結果画像の一例を示す模式図である。 汚染細胞核又は非汚染細胞核の決定方法の一例を示す模式図である。 マイコプラズマ汚染結果画像の細胞核に付与された識別子の一例を示す模式図である。 細胞核数情報の表示の一例を示す模式図である。 詳細情報の表示の第1例を示す模式図である。 詳細情報の表示の第2例を示す模式図である。 本実施の形態の検査システム又は表示システムの構成の一例を示すブロック図である。 本実施の形態の検査装置の処理手順の一例を示すフローチャートである。 本実施の形態の検査装置の処理手順の一例を示すフローチャートである。
以下、本発明の実施の形態を図面に基づいて説明する。図1は本実施の形態のマイコプラズマ検査装置としての検査装置50の構成の一例を示すブロック図である。検査装置50は、装置全体を制御する制御部51、入力部52、マイコプラズマ画像生成部53、汚染結果画像生成部54、記憶部55、細胞塊抽出部56、インタフェース部57、学習器58、及び決定部59を備える。学習器58は、第1学習器581、第2学習器582、及び第3学習器583を備える。検査装置50は、マイコプラズマ表示装置としての表示装置100と接続することができる。表示装置100は、装置全体を制御する制御部101、インタフェース部102、表示画面103、及び操作部104を備える。
制御部51は、CPU、ROM及びRAM等で構成することができる。
入力部52は、取得部としての機能を有し、細胞核が撮影された検査対象画像を取得する。検査対象画像は、撮像装置(例えば、顕微鏡など)で撮像された試験検体の撮像画像を所定サイズの領域で走査して得られる画像領域とすることができる。
記憶部55は、入力部52で取得した検査対象画像を記憶することができる。記憶部55は、検査装置50で行う処理結果などの所要のデータを記録することができる。
インタフェース部57は、表示装置100とのインタフェース機能を有する。また、インタフェース部57は、不図示の印刷装置とのインタフェース機能を有する。
図2は撮像画像と検査対象画像との関係を示す模式図である。撮像画像は、撮像装置(例えば、顕微鏡、より具体的には蛍光顕微鏡など)で撮像された撮像画像を示す。撮像画像の縦横の解像度(m×n)は、撮像装置によって異なる。解像度m又はnは、例えば、1000、1200、1400程度とすることができるが、これらに限定されない。検査対象画像は、例えば、128×128の解像度とすることができるが、これに限定されない。検査対象画像は、例えば、128×128の解像度の領域を、一部領域が重なるように撮像画像を走査することにより、取り出すことができる。すなわち、1枚の撮像画像から複数枚の検査対象画像を取り出すことができる。本明細書では、検査対象画像の解像度を128×128として説明するが、これに限定されない。
次に、学習器58について説明する。
図3は第1学習器581、第2学習器582及び第3学習器583それぞれの構成の一例を示す模式図である。第1学習器581、第2学習器582及び第3学習器583は、例えば、多層のニューラルネットワーク(深層学習)で構成することができ、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network)を用いることができるが、他の機械学習を用いてもよい。本明細書では、第1学習器581、第2学習器582及び第3学習器583は、畳み込みニューラルネットワークで構成されるものとして説明するが、これに限定されない。
第1学習器581は、入力層、出力層、及び入力層と出力層との間に隠れ層を備える。隠れ層は、複数段からなる畳み込み層及び複数段からなるアップサンプリング層(アンプーリング層ともいう)を有する。入力層は、例えば、128×128のデータが入力され、出力層は、128×128のデータを出力することができるが、データ数は、検査対象画像の解像度に応じて変更することができる。
第2学習器582は、入力層、出力層、及び入力層と出力層との間に隠れ層を備える。隠れ層は、複数段からなる畳み込み層及び複数段からなるアップサンプリング層(アンプーリング層ともいう)を有する。入力層は、2チャネルで構成され、それぞれのチャネルには、例えば、128×128のデータが入力され、出力層は、96×96のデータを出力することができるが、データ数は、検査対象画像の解像度に応じて変更することができる。
第3学習器583は、入力層、出力層、及び入力層と出力層との間に隠れ層を備える。隠れ層は、複数段からなる畳み込み層及びプーリング層、及び最終段に全結合層を備える。なお、畳み込み層、プーリング層及び全結合層の数は適宜決定できる。入力層は、例えば、後述の切出画像の解像度に応じたデータが入力され、出力層は、検出する細胞核数の種類(例えば、0個、1個、2個、3個、4個以上など)の数に応じた出力ノードを備えることができる。
第1学習器581、第2学習器582及び第3学習器583は、例えば、CPU(例えば、複数のプロセッサコアを実装したマルチ・プロセッサなど)、GPU(Graphics Processing Units)、DSP(Digital Signal Processors)、FPGA(Field-Programmable Gate Arrays)などのハードウェアを組み合わせることによって構成することができる。
次に、学習器58の生成方法(学習方法)について説明する。まず、第1学習器581の生成方法について説明する。
第1学習器581は、細胞核が撮影され、マイコプラズマが存在する第1画像と当該第1画像からマイコプラズマを抽出したマイコプラズマ抽出画像(抽出画像)とを含む学習データを用いて生成することができる。
図4は第1画像の一例を示す模式図である。第1画像の解像度は、検査対象画像と同じであり、例えば、128×128とすることができる。図4に示すように、第1画像は、複数の細胞核が撮影された画像であって、マイコプラズマが存在する学習用の入力画像である。マイコプラズマは、自己増殖能を持つバクテリアである。ただし、第1画像は、マイコプラズマを正確に視認することができないような画像である。なお、図4では、細胞核とマイコプラズマとを便宜上、模式的に図示しており、実際の画像とは異なる場合がある。
図5はマイコプラズマ抽出画像の一例を示す模式図である。マイコプラズマ抽出画像は、第1画像からマイコプラズマを抽出した学習用の出力画像(すなわち、第1画像から細胞核を削除した画像)である。すなわち、図5に示すマイコプラズマ抽出画像は、図4に示す第1画像からマイコプラズマだけを抽出することにより生成することができる。マイコプラズマ抽出画像の解像度は、第1画像と同じであり、例えば、128×128とすることができる。
また、第1学習器581は、細胞核が撮影され、マイコプラズマが存在しない第2画像とマイコプラズマが存在しない所定画像とを含む学習データを用いて生成することができる。
図6は第2画像の一例を示す模式図である。第2画像の解像度は、検査対象画像と同じであり、例えば、128×128とすることができる。図6に示すように、第2画像は、マイコプラズマが存在しておらず、かつ複数の細胞核が撮影された学習用の入力画像である。なお、図6では、細胞核を便宜上、模式的に図示しており、実際の画像とは異なる場合がある。
図7は所定画像の一例を示す模式図である。所定画像は、マイコプラズマも細胞核も存在しない学習用の出力画像である。所定画像の解像度は、第2画像と同じであり、例えば、128×128とすることができる。
これにより、第1学習器581に、細胞核が撮影された検査対象画像を入力すると、第1学習器581は、マイコプラズマを検出することができる。
次に、第2学習器582の生成方法について説明する。
第2学習器582は、第1画像及びマイコプラズマ抽出画像の組で構成される学習用入力画像と所定の汚染細胞核画像とを含む学習データを用いて生成することができる。ここで、第1画像及びマイコプラズマ抽出画像は、第1学習器581を生成する際に用いられた第1画像及びマイコプラズマ抽出画像である。
図8は第1画像及びマイコプラズマ抽出画像の組で構成される学習用入力画像の一例を示す模式図である。図8に示す学習用入力画像は、第1画像及びマイコプラズマ抽出画像の組で構成され、第1画像を入力層の一方のチャネルに入力し、マイコプラズマ抽出画像を入力層の他方のチャネルに入力することができる。第1画像及びマイコプラズマ抽出画像の解像度は、例えば、128×128とすることができる。なお、図8では、細胞核とマイコプラズマとを便宜上、模式的に図示しており、実際の画像とは異なる場合がある。
図9は汚染細胞核画像の一例を示す模式図である。汚染細胞核画像は、第1画像及びマイコプラズマ抽出画像の組で構成される学習用入力画像内の細胞核のうち、マイコプラズマで汚染された汚染細胞核を表した画像である。すなわち、マイコプラズマで汚染されていない非汚染細胞核が存在する場合、非汚染細胞核は除外することができる。図9では、便宜上、すべての細胞核が汚染されているとし、汚染細胞核を濃い模様で図示している。
また、第2学習器582は、第2画像及び所定画像の組で構成される学習用入力画像と所定の非汚染細胞核画像とを含む学習データを用いて生成することができる。第2画像及び所定画像は、第1学習器581を生成する際に用いられた第2画像及び所定画像である。
図10は第2画像及び所定画像の組で構成される学習用入力画像の一例を示す模式図である。図10に示す学習用入力画像は、第2画像及び所定画像の組で構成され、第2画像を入力層の一方のチャネルに入力し、所定画像を入力層の他方のチャネルに入力することができる。第2画像及び所定画像の解像度は、例えば、128×128とすることができる。なお、図10では、細胞核を便宜上、模式的に図示しており、実際の画像とは異なる場合がある。
図11は非汚染細胞核画像の一例を示す模式図である。非汚染細胞核画像は、学習用入力画像内の細胞核のうち、マイコプラズマで汚染されていない非汚染細胞核を表した画像である。すなわち、マイコプラズマで汚染された汚染細胞核が存在する場合、汚染細胞核は除外することができる。図11では、被汚染細胞核を薄い模様で図示している。
これにより、第2学習器582に、検出されたマイコプラズマ及び複数の細胞核を含むマイコプラズマ画像を入力すると、第2学習器582は、細胞核が汚染細胞核であるか非汚染細胞核であるかを判定することができる。
次に、第3学習器583の生成方法について説明する。
第3学習器583は、所定の汚染細胞核画像、所定の非汚染細胞核画像、及び細胞核数を示す教師ラベルを用いて生成することができる。例えば、細胞核数が1の汚染細胞核画像又は非汚染細胞核画像と、細胞核数が1であることを示す教師ラベル(例えば、「1」)を用いて第3学習器583を生成することができる。細胞核数が2又は3の場合も同様である。また、細胞核数が4以上の汚染細胞核画像又は非汚染細胞核画像と、細胞核数が4以上であることを示す教師ラベル(例えば、「4」)を用いて第3学習器583を生成することができる。これにより、第3学習器583に、マイコプラズマ汚染結果画像を入力すると、第3学習器583は、細胞核の数を検出することができる。なお、教師ラベルは、細胞核の汚染の有無とは無関係である。
第3学習器583の生成方法の具体例について説明する。
細胞塊抽出部56は、所定の汚染細胞核画像に基づいて1又は複数の細胞核が集まった細胞塊を抽出することができる。具体的には、細胞塊抽出部56は、所定の汚染細胞核画像から、一つの細胞塊を含む切出画像を切り出すことにより、細胞塊を抽出することができる。なお、細胞塊は、所定の汚染細胞核画像に存在する数だけ抽出できる。
図12は汚染細胞核画像内の細胞塊を抽出する切出画像の一例を示す模式図である。所定の汚染細胞核画像は、細胞核の全部又は一部がマイコプラズマに汚染された画像とすることができる。図12の例では、破線で囲む矩形状の切出画像が、2つの細胞核が集まった細胞塊を含む場合を示す。切出画像は、汚染細胞核画像内の全ての細胞塊について切り出すことができる。なお、本明細書では、1個の細胞核も細胞塊の一例として説明する。
図13は第3学習器583を生成するための学習用入力画像と教師ラベルとの関係を示す模式図である。学習用入力画像は、個々の切出画像である。図13の例では、5つの切出画像の例を挙げている。NO.1は、細胞核が1個含まれる切出画像であり、NO.1の切出画像を第3学習器583の入力層に入力し、教師ラベル「1」(細胞核数=1であることを示す)を出力層に与える。NO.2は、細胞核が2個含まれる切出画像であり、NO.2の切出画像を第3学習器583の入力層に入力し、教師ラベル「2」(細胞核数=2であることを示す)を出力層に与える。NO.3は、細胞核が3個含まれる切出画像であり、NO.3の切出画像を第3学習器583の入力層に入力し、教師ラベル「3」(細胞核数=3であることを示す)を出力層に与える。また、NO.4は、細胞核数が4個以上含まれる切出画像であり、NO.4の切出画像を第3学習器583の入力層に入力し、教師ラベル「4」(細胞核数が4以上であることを示す)を出力層に与える。なお、教師ラベルは一例であって、図13の例に限定されない。また、切出画像に含まれる細胞核は、汚染細胞核と非汚染細胞核の両方が含まれる場合もある。
これにより、第3学習器583に、後述のマイコプラズマ汚染結果画像を入力すると、第3学習器583は、細胞核の数を検出することができる。具体的には、第3学習器583は、切出画像毎に細胞核の数を検出することができ、検出した細胞核数をマイコプラズマ汚染結果画像全体に亘って合計すると、1枚のマイコプラズマ汚染結果画像での細胞核数(汚染細胞核の数及び非汚染細胞核の数)を検出することができる。また、細胞核の数を検出することにより、試験検体が陽性であるか陰性であるかを判定することができる。
次に、マイコプラズマの検査処理について説明する。
図14は本実施の形態の検査装置50の検査の流れの一例を示す模式図である。第1学習器581は、入力部52で取得した検査対象画像に基づいてマイコプラズマを検出する。
マイコプラズマ画像生成部53は、第1学習器581で検出したマイコプラズマ及び入力部52で取得した検査対象画像に基づいてマイコプラズマ画像を生成する。
図15はマイコプラズマ画像の一例を示す模式図である。マイコプラズマ画像は、検査対象画像に検出したマイコプラズマを重畳させた画像である。より具体的には、マイコプラズマ画像生成部53は、2つのチャネルのうち、一方のチャネルに検査対象画像を割り当て、他方のチャネルに検出したマイコプラズマの画像を割り当てる処理を行う。マイコプラズマ画像を生成することにより、マイコプラズマを可視化することができ、効率良くマイコプラズマを検出することができる。なお、図15に示す細胞核、マイコプラズマは、便宜上、模式的に要部を図示したものであり、実際の細胞核、マイコプラズマとは異なる。
第2学習器582は、マイコプラズマ画像生成部53で生成したマイコプラズマ画像に基づいて細胞核がマイコプラズマ汚染されているか否か判定する。より具体的には、第2学習器582の入力層の一方のチャネルには、検査対象画像が入力され、他方のチャネルには、第1学習器581で検出したマイコプラズマの画像が入力される。
汚染結果画像生成部54は、第2学習器582の判定結果に基づいて汚染細胞核及び非汚染細胞核の少なくとも一方を含むマイコプラズマ汚染結果画像を生成する。
図16はマイコプラズマ汚染結果画像の一例を示す模式図である。汚染細胞核はマイコプラズマに汚染された細胞核であり、非汚染細胞核はマイコプラズマに汚染されていない細胞核である。マイコプラズマ汚染結果画像は、汚染細胞核のみの画像、非汚染細胞核のみの画像、汚染細胞核及び非汚染細胞核が混在する画像である。これにより、汚染細胞核と非汚染細胞核とを可視化することができ、細胞核の汚染状態を確認することができる。図16の例では、便宜上、模式的に要部を図示したものである。汚染された細胞核の境界を太線で図示することにより、汚染されていない細胞核と区別している。
第3学習器583は、汚染結果画像生成部54で生成したマイコプラズマ汚染結果画像に基づいて細胞核の数を検出することができる。細胞核の数を検出することにより、試験検体が陽性であるか陰性であるかを判定することができる。
細胞塊抽出部56は、汚染結果画像生成部54で生成したマイコプラズマ汚染結果画像に基づいて1又は複数の細胞核が集まった細胞塊を抽出することができる。具体的には、細胞塊抽出部56は、マイコプラズマ汚染結果画像から、細胞塊を含む矩形状の切出画像を切り出すことにより、細胞塊を抽出することができる。切出画像は、図12で例示した切出画像と同様である。
第3学習器583は、細胞塊抽出部56で抽出した細胞塊ごとに細胞核の数を検出する。具体的には、第3学習器583は、切出画像毎に細胞核の数を検出することができ、検出した細胞核数をマイコプラズマ汚染結果画像全体に亘って合計すると、1枚のマイコプラズマ汚染結果画像での細胞核数(汚染細胞核の数及び非汚染細胞核の数)を検出することができる。これにより、細胞核が塊として存在する場合でも、細胞核の数を正確に検出することができる。
第3学習器583は、汚染結果画像生成部54で生成した複数のマイコプラズマ汚染結果画像それぞれで検出した細胞核の数に基づく代表値を細胞核の数として検出することができる。例えば、1枚のマイコプラズマ汚染結果画像内に存在する細胞核の数が所定数(例えば、1000個)未満であって、複数枚のマイコプラズマ汚染結果画像内の細胞核数を合計すると所定数以上となるとする。この場合、当該複数枚のマイコプラズマ汚染結果画像全体で検出された細胞核の数を記憶部55に記録する。同様の処理を撮像画像全体に亘って行い、それぞれ記録した細胞核の数に基づく代表値(例えば、平均値、最大値など)を所定数の細胞核に対する細胞核の数(汚染細胞核の数及び非汚染細胞核の数)として検出する。例えば、細胞核数1000個当たり検出された汚染細胞核の数が、100個、200個、300個とすると、平均値を用いる場合には、汚染細胞核数を200個とすることができ、最大値を用いる場合には、300個とすることができる。どのような代表値を用いるかは適宜決定できる。代表値を用いることにより、試験検体が陽性であるか陰性であるかを精度良く判定することができる。
インタフェース部57は、出力部としての機能を有し、所定数の細胞核と汚染細胞核の数とを対応付けた細胞核数情報を出力することができる。細胞核数情報は、表示用の情報でもよく、印刷用の情報でもよい。所定数は、例えば、1000とすることができる。これにより、試験検体の陽性・陰性を容易に判断することができる。
決定部59は、細胞塊抽出部56で抽出した細胞塊に汚染細胞核及び非汚染細胞核の両方が含まれる場合、所定の条件に基づいて細胞塊を汚染細胞核又は非汚染細胞核のいずれかに決定することができる。
図17は汚染細胞核又は非汚染細胞核の決定方法の一例を示す模式図である。図17Aに示すように、細胞塊に汚染細胞核及び非汚染細胞核の両方が含まれるとする。この場合、図17Bに示すように、細胞塊が、汚染細胞核であるか、あるいは非汚染細胞核であるかを、図17Aに示す、汚染細胞核及び非汚染細胞核それぞれの大きさの大きい方の細胞核とすることができる。これにより、汚染細胞核又は非汚染細胞核の検出数の精度を高めることができる。
次に、表示装置100について説明する。
制御部101は、CPU、ROM及びRAM等で構成することができる。
インタフェース部102は、検査装置50との間のインタフェース機能を備える。
表示画面103は、液晶パネル又は有機EL(Electro Luminescence)ディスプレイ等で構成することができる。
操作部104は、例えば、ハードウェアキーボード、マウスなどで構成され、表示パネル24に表示されたアイコンなどの操作、文字等の入力などを行うことができる。なお、操作部104は、タッチパネルで構成してもよい。
インタフェース部102は、取得部としての機能を有し、細胞核が撮影された検査対象画像を検査装置50から取得することができる。インタフェース部102は、マイコプラズマ画像生成部53で生成したマイコプラズマ画像を取得することができる。また、インタフェース部102は、汚染結果画像生成部54で生成した汚染結果画像を取得することができる。
制御部101は、マイコプラズマ画像表示部としての機能を有し、インタフェース部102で取得したマイコプラズマ画像を表示画面103に表示することができる。これにより、マイコプラズマを可視化することができ、効率良くマイコプラズマを確認することができる。
制御部101は、汚染結果画像表示部としての機能を有し、インタフェース部102で取得したマイコプラズマ汚染結果画像を表示画面103に表示することができる。これにより、汚染細胞核と非汚染細胞核とを可視化することができ、細胞核の汚染状態を確認することができる。
制御部101は、汚染細胞核及び非汚染細胞核の少なくとも一方に細胞核を識別する識別子を付与してマイコプラズマ汚染結果画像を表示することができる。
図18はマイコプラズマ汚染結果画像の細胞核に付与された識別子の一例を示す模式図である。図中、太線で囲まれた細胞核は汚染細胞核であり、それ以外の細胞核は非汚染細胞核である。図18の例では、識別子として数字を用いる例を示すが、識別子は数字に限定されない。これにより、個々の細胞核を容易に識別することができる。
操作部104は、設定部としての機能を有し、表示画面103に表示された識別子(図18の例では、数字)の表示・非表示を設定することができる。例えば、アイコン又はボタンなどを表示させ、当該アイコン又はボタンを操作して設定することができる。これにより、例えば、ユーザ(試験者)が、汚染結果画像を確認する際に、目的に応じて識別子の要否を選択することができ、ユーザの視認性を向上させることができる。
制御部101は、汚染細胞核と非汚染細胞核とを異なる表示態様にしてマイコプラズマ汚染結果画像を表示することができる。汚染細胞核及び非汚染細胞核それぞれと外界との境界を異なる色で表示することができる。例えば、図18に示すように、汚染細胞核の境界を非汚染細胞核の境界よりも強調(例えば、太線)して表示してもよく、汚染細胞核の境界を赤色で表示し、非汚染細胞核の境界を青色で表示してもよい。これにより、汚染細胞核及び非汚染細胞核それぞれを容易に確認することができる。
制御部101は、1又は複数の細胞核が集まった細胞塊に汚染細胞核及び非汚染細胞核の両方が含まれる場合、所定の条件に基づいて細胞塊を汚染細胞核又は非汚染細胞核のいずれかとしてマイコプラズマ汚染結果画像を表示することができる。所定の条件は、図17に例示したように、例えば、汚染細胞核及び非汚染細胞核それぞれの大きさとすることができる。これにより、汚染細胞核及び非汚染細胞核それぞれを容易に確認することができる。
次に、細胞核数情報の表示例について説明する。
図19は細胞核数情報の表示の一例を示す模式図である。図19に示すように、試験検体(NO.1、2、3、…)毎に、汚染判定結果(汚染か、あるいは非汚染)、所定数である1000個の細胞核のうち、汚染細胞核の数、及び詳細アイコン110が表示されている。例えば、試験検体NO.1は、1000個の細胞核中、6個の細胞核が汚染されているので汚染判定結果は、汚染(陽性)となっている。同様に、試験検体NO.2は、1000個の細胞核中、汚染された細胞核の数が0個であるので汚染判定結果は、非汚染(陰性)となっている。また、試験検体NO.3は、1000個の細胞核中、120個の細胞核が汚染されているので汚染判定結果は、汚染(陽性)となっている。各試験検体について、詳細アイコン110を操作すると、詳細情報を表示することができる。
図20は詳細情報の表示の第1例を示す模式図である。図20は、図19において、試験検体NO.1の詳細アイコン110を操作して表示される詳細情報である。細胞核数情報領域121には、所定の細胞核数と汚染細胞核の数とを対応付けた細胞核数情報が表示される。すなわち、制御部101は、表示部としての機能を有し、所定の細胞核数と汚染細胞核の数とを対応付けた細胞核数情報を表示する。所定数は、例えば、1000とすることができる。図20の例では、汚染細胞核数が、1000個中6個存在することが表示されている。これにより、試験検体の陽性・陰性を容易に判断することができる。
全体画像領域122には、汚染結果画像が表示される。汚染結果画像は、例えば、図16又は図18で例示したような画像とすることができる。例えば、汚染細胞核の境界を非汚染細胞核の境界よりも強調(例えば、太線)して表示してもよく、汚染細胞核の境界を赤色で表示し、非汚染細胞核の境界を青色で表示してもよい。これにより、汚染細胞核及び非汚染細胞核それぞれを容易に確認することができる。
汚染細胞塊画像領域123には、細胞塊それぞれの画像が表示される。すなわち、制御部101は、1又は複数の汚染細胞核が集まった細胞塊の画像を識別子に対応付けて表示することができる。図の例では、ID=1の細胞塊の画像、ID=2の細胞塊の画像などが表示されている。汚染細胞塊画像領域123の下側にある矢印124を操作することにより、他のIDの細胞塊の画像を表示させることができる。これにより、個々の汚染細胞塊を容易に識別することができる。
図21は詳細情報の表示の第2例を示す模式図である。図21は、図19において、試験検体NO.3の詳細アイコン110を操作して表示される詳細情報である。細胞核数情報領域121には、汚染細胞核数が、1000個中120個存在することが表示されている。これにより、試験検体の陽性・陰性を容易に判断することができる。
全体画像領域122は、図20の第1例と同様である。
細胞核ID領域125には、細胞核を識別する識別子と、細胞が汚染細胞核であるか非汚染細胞核であるかを示す符号とが対応付けて表示される。すなわち、制御部101は、細胞核を識別する識別子(例えば、数字)と、細胞核が汚染細胞核であるか非汚染細胞核であるかを示す符号(例えば、OK及びNGなど)とを対応付けて表示することができる。識別子は、例えば、汚染細胞核と非汚染細胞核とで異なる識別子を用いてもよく、例えば、数字などを用いることができるが、これに限定されない。これにより、個々の細胞核が、汚染細胞核であるか非汚染細胞核であるかを容易に識別することができる。
細胞核画像領域126には、個々のIDに対応する細胞核の画像が表示される。例えば、細胞核ID領域125で細胞核IDが4の欄を選択操作することにより、制御部101は、選択操作されたID(=4)の細胞核の画像を表示することができる。これにより、個々の細胞核の汚染判定結果に対して、ユーザが興味を持った細胞核の画像を容易に表示させることができる。なお、図21において、細胞核IDに代えて細胞塊IDを表示してもよい。
次に、検査システム及び表示システムについて説明する。
図22は本実施の形態の検査システム又は表示システムの構成の一例を示すブロック図である。表示装置100が接続される検査装置50は、通信ネットワーク1に接続されている。通信ネットワーク1は、無線通信でもよく有線通信でもよい。通信ネットワーク1には、培養装置200及び撮像装置300をコントロールするPC(情報処理装置)10が接続されている。
培養装置200は、培養ユニット201、202、培養ユニット201、202の培養処理を制御するコントローラ203、培養条件などの設定を行うための操作部204などを備える。試験検体が入った培養容器は、培養ユニット201、202内に収容され、試験検体は、所定の条件により培養される。培養された試験検体は、撮像装置(例えば、顕微鏡)で撮像され、撮像された撮像画像は、PC10を介して検査装置50へ出力される。本実施の形態の検査システムは、少なくとも検査装置50及び撮像装置300を備え、培養装置200を備えてもよい。本実施の形態の表示システムは、少なくとも表示装置100及び撮像装置300を備え、培養装置200を備えてもよい。なお、検査装置50に表示装置100の機能を組み込んで、検査装置50と表示装置100とを纏めて検査装置50としてもよい。
図23及び図24は本実施の形態の検査装置50の処理手順の一例を示すフローチャートである。以下では、便宜上処理の主体を制御部51として説明する。制御部51は、検査対象画像を取得し(S11)、第1学習器581に検査対象画像を入力する(S12)。制御部51は、マイコプラズマを検出し(S13)、マイコプラズマ画像を生成する(S14)。
制御部51は、第2学習器582に生成したマイコプラズマ画像を入力し(S15)、第2学習器582の判定結果に基づいてマイコプラズマ汚染結果画像を生成する(S16)。制御部51は、第3学習器583に生成したマイコプラズマ汚染結果画像を入力し(S17)、第3学習器583の検出結果に基づいて汚染細胞核の有無を判定する(S18)。
汚染細胞核がある場合(S18でYES)、制御部51は、汚染細胞核数を記録し(S19)、判定処理に関わる総細胞核数が所定数(例えば、1000個)以上であるか否かを判定する(S20)。総細胞核数が所定数以上でない場合(S20でNO)、制御部51は、次の検査対象画像を選択し(S21)、ステップS11以降の処理を繰り返す。
総細胞核数が所定数以上である場合(S20でYES)、制御部51は、ステップS19で記録した汚染細胞核数の合計を算出し(S22)、所定数に対する汚染細胞核数(ステップS22で合計した汚染細胞核数)を特定する(S23)。これにより、1000個の細胞核のうち、何個の細胞核が汚染細胞核であるかを特定できる。
制御部51は、他の検査対象画像の有無を判定する(S24)。すなわち、撮像画像を走査して取り出す検査対象画像が、まだ残っているか否かを判定する。他の検査対象画像がある場合(S24でYES)、制御部51は、ステップS19で記録した汚染細胞核数をゼロにリセットし(S25)、ステップS11以降の処理を繰り返す。
汚染細胞核がない場合(S18でNO)、制御部51は、ステップS24の処理を行う。他の検査対象画像がない場合(S24でNO)、制御部51は、所定数に対する特定した汚染細胞核数の代表値を算出し(S26)、算出した代表値を汚染細胞核数として、所定数と汚染細胞核数とを対応付けた細胞核数情報を出力し(S27)、処理を終了する。なお、撮像画像が複数存在する場合には、図23及び図24の処理を繰り返せばよい。
検査装置50は、CPU(プロセッサ)、GPU、RAM(メモリ)などを備えたコンピュータを用いて実現することもできる。すなわち、図23及び図24に示すような、各処理の手順を定めたコンピュータプログラムをコンピュータに備えられたRAM(メモリ)にロードし、コンピュータプログラムをCPU(プロセッサ)で実行することにより、コンピュータ上で検査装置50を実現することができる。コンピュータプログラムは記録媒体に記録され流通されてもよい。
本実施の形態によれば、効率良くマイコプラズマを検出することができる。また、図15に示すようなマイコプラズマ画像、あるいは図16に示すようなマイコプラズマ汚染結果画像を出力して表示又は印刷することにより、従来の試験方法のような、単に汚染細胞核数の個数を提供する場合に比べて、検出結果の正当性を確認することができ、検査結果の信頼性を担保することができる。
本実施の形態に係るマイコプラズマ検査装置は、細胞核が撮影された検査対象画像を取得する取得部と、前記取得部で取得した検査対象画像に基づいてマイコプラズマを検出すべく学習された第1学習器と、前記第1学習器で検出したマイコプラズマ及び前記取得部で取得した検査対象画像に基づいてマイコプラズマ画像を生成するマイコプラズマ画像生成部とを備える。
本実施の形態に係るコンピュータプログラムは、コンピュータに、細胞核が撮影された検査対象画像を取得する処理と、取得した検査対象画像を用いて学習された第1学習器が検出したマイコプラズマ及び前記検査対象画像に基づいてマイコプラズマ画像を生成する処理とを実行させる。
本実施の形態に係るマイコプラズマ検査方法は、細胞核が撮影された検査対象画像を取得し、取得された検査対象画像を用いて学習された第1学習器が検出したマイコプラズマ及び前記検査対象画像に基づいてマイコプラズマ画像を生成する。
取得部は、細胞核が撮影された検査対象画像を取得する。検査対象画像は、撮像装置(例えば、顕微鏡など)で撮像された試験検体の撮像画像を所定サイズの領域で走査して得られる画像領域とすることができる。
第1学習器は、例えば、多層のニューラルネットワーク(深層学習)で構成することができ、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network)を用いることができるが、他の機械学習を用いてもよい。第1学習器は、取得部で取得した検査対象画像に基づいてマイコプラズマを検出する。マイコプラズマは、自己増殖能を持つバクテリアである。
マイコプラズマ画像生成部は、第1学習器で検出したマイコプラズマ及び取得部で取得した検査対象画像に基づいてマイコプラズマ画像を生成する。マイコプラズマ画像は、検査対象画像に検出したマイコプラズマを重畳させた画像であり、マイコプラズマを可視化することができ、効率良くマイコプラズマを検出することができる。
本実施の形態に係るマイコプラズマ検査装置は、前記マイコプラズマ画像生成部で生成したマイコプラズマ画像に基づいて前記細胞核がマイコプラズマ汚染されているか否か判定すべく学習された第2学習器と、前記第2学習器の判定結果に基づいて汚染細胞核及び非汚染細胞核の少なくとも一方を含むマイコプラズマ汚染結果画像を生成する汚染結果画像生成部とを備える。
第2学習器は、例えば、多層のニューラルネットワーク(深層学習)で構成することができ、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network)を用いることができるが、他の機械学習を用いてもよい。第2学習器は、マイコプラズマ画像生成部で生成したマイコプラズマ画像に基づいて細胞核がマイコプラズマ汚染されているか否か判定する。
汚染結果画像生成部は、第2学習器の判定結果に基づいて汚染細胞核及び非汚染細胞核の少なくとも一方を含むマイコプラズマ汚染結果画像を生成する。汚染細胞核はマイコプラズマに汚染された細胞核であり、非汚染細胞核はマイコプラズマに汚染されていない細胞核である。マイコプラズマ汚染結果画像は、汚染細胞核のみの画像、非汚染細胞核のみの画像、汚染細胞核及び非汚染細胞核が混在する画像である。これにより、汚染細胞核と非汚染細胞核とを可視化することができ、細胞核の汚染状態を確認することができる。
本実施の形態に係るマイコプラズマ検査装置は、前記汚染結果画像生成部で生成したマイコプラズマ汚染結果画像に基づいて汚染細胞核の数を検出すべく学習された第3学習器を備える。
第3学習器は、例えば、多層のニューラルネットワーク(深層学習)で構成することができ、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network)を用いることができるが、他の機械学習を用いてもよい。第3学習器は、汚染結果画像生成部で生成したマイコプラズマ汚染結果画像に基づいて細胞核の数(汚染細胞核の数及び非汚染細胞核の数)を検出する。細胞核の数を検出することにより、試験検体が陽性であるか陰性であるかを判定することができる。
本実施の形態に係るマイコプラズマ検査装置において、前記第3学習器は、前記汚染結果画像生成部で生成した複数のマイコプラズマ汚染結果画像それぞれで検出した細胞核の数に基づく代表値を細胞核の数として検出する。
第3学習器は、汚染結果画像生成部で生成した複数のマイコプラズマ汚染結果画像それぞれで検出した細胞核の数に基づく代表値を細胞核の数として検出する。例えば、複数のマイコプラズマ汚染結果画像全体で所定数(例えば、1000個)の細胞核が抽出できる場合、当該マイコプラズマ汚染結果画像全体で検出された細胞核の数を記録する。同様の処理を撮像画像全体に亘って行い、それぞれ記録した細胞核の数に基づく代表値(例えば、平均値、最大値など)を所定数の細胞核に対する細胞核の数(汚染細胞核の数及び非汚染細胞核の数)として検出する。これにより、試験検体が陽性であるか陰性であるかを精度良く判定することができる。
本実施の形態に係るマイコプラズマ検査装置において、前記第1学習器は、細胞核が撮影され、マイコプラズマが存在する第1画像と前記第1画像からマイコプラズマを抽出した抽出画像とを含む学習データ、及び細胞核が撮影され、マイコプラズマが存在しない第2画像とマイコプラズマが存在しない所定画像とを含む学習データを用いて生成してある。
第1学習器は、細胞核が撮影され、マイコプラズマが存在する第1画像と当該第1画像からマイコプラズマを抽出した抽出画像とを含む学習データを用いて生成してある。第1画像は、マイコプラズマが存在するとともに複数の細胞核が撮影された学習用の入力画像であり、抽出画像は、第1画像からマイコプラズマを抽出した学習用の出力画像(すなわち、複数の細胞核を削除した画像)である。また、第1学習器は、細胞核が撮影され、マイコプラズマが存在しない第2画像とマイコプラズマが存在しない所定画像とを含む学習データを用いて生成してある。第2画像は、マイコプラズマが存在せず、複数の細胞核が撮影された学習用の入力画像であり、所定画像は、マイコプラズマも細胞核も存在しない学習用の出力画像である。
これにより、第1学習器に、細胞核が撮影された検査対象画像を入力すると、第1学習器は、マイコプラズマを検出することができる。
本実施の形態に係るマイコプラズマ検査装置において、前記第2学習器は、前記第1画像及び前記抽出画像の組で構成される学習用入力画像と所定の汚染細胞核画像とを含む学習データ、及び前記第2画像及び前記所定画像の組で構成される学習用入力画像と所定の非汚染細胞核画像とを含む学習データを用いて生成してある。
第2学習器は、第1画像及び抽出画像の組で構成される学習用入力画像と所定の汚染細胞核画像とを含む学習データを用いて生成してある。第1画像と抽出画像とは、チャネルを分けて第2学習器の入力層へ入力することができる。所定の汚染細胞核画像は、学習用入力画像内の細胞核のうち、マイコプラズマで汚染された汚染細胞核を表した画像である。すなわち、マイコプラズマで汚染されていない非汚染細胞核が存在する場合、非汚染細胞核は除外することができる。
第2学習器は、第2画像及び所定画像の組で構成される学習用入力画像と所定の非汚染細胞核画像とを含む学習データを用いて生成してある。第2画像と所定画像とは、チャネルを分けて第2学習器の入力層へ入力することができる。所定の非汚染細胞核画像は、学習用入力画像内の細胞核のうち、マイコプラズマで汚染されていない非汚染細胞核を表した画像である。すなわち、マイコプラズマで汚染された汚染細胞核が存在する場合、汚染細胞核は除外することができる。
これにより、第2学習器に、検出されたマイコプラズマと複数の細胞核とを含むマイコプラズマ画像を入力すると、第2学習器は、細胞核が汚染細胞核であるか非汚染細胞核であるかを判定することができる。
本実施の形態に係るマイコプラズマ検査装置において、前記第3学習器は、所定の汚染細胞核画像、所定の非汚染細胞核画像、及び細胞核数を示す教師ラベルを用いて生成してある。
第3学習器は、所定の汚染細胞核画像、所定の非汚染細胞核画像、及び細胞核数を示す教師ラベルを用いて生成してある。例えば、細胞核数が1の汚染細胞核画像又は非汚染細胞核画像と、細胞核数が1であることを示す教師ラベル(例えば、「1」)を用いて第3学習器を生成することができる。細胞核数が2又は3の場合も同様である。また、細胞核数が4以上の汚染細胞核画像又は非汚染細胞核画像と、細胞核数が4以上であることを示す教師ラベル(例えば、「4」)を用いて第3学習器を生成することができる。これにより、第3学習器に、マイコプラズマ汚染結果画像を入力すると、第3学習器は、細胞核の数を検出することができる。
本実施の形態に係るマイコプラズマ検査装置は、所定数の細胞核と汚染細胞核の数とを対応付けた細胞核数情報を出力する出力部を備える。
出力部は、所定数の細胞核と汚染細胞核の数とを対応付けた細胞核数情報を出力する。所定数は、例えば、1000とすることができる。これにより、試験検体の陽性・陰性を容易に判断することができる。
本実施の形態に係るマイコプラズマ検査装置は、前記汚染結果画像生成部で生成したマイコプラズマ汚染結果画像に基づいて1又は複数の細胞核が集まった細胞塊を抽出する細胞塊抽出部を備え、前記第3学習器は、前記細胞塊抽出部で抽出した細胞塊ごとに汚染細胞核の数を検出する。
細胞塊抽出部は、汚染結果画像生成部で生成したマイコプラズマ汚染結果画像に基づいて1又は複数の細胞核が集まった細胞塊を抽出する。具体的には、細胞塊抽出部は、マイコプラズマ汚染結果画像から、細胞塊を含む切出画像を切り出すことにより、細胞塊を抽出することができる。
第3学習器は、細胞塊抽出部で抽出した細胞塊ごとに細胞核の数を検出する。第3学習器は、予め細胞塊を含む切出画像を学習用入力画像とし、当該細胞塊に含まれる細胞核の数を教師ラベルとして学習(生成)することができる。これにより、細胞核が塊として存在する場合でも、細胞核の数を正確に検出することができる。
本実施の形態に係るマイコプラズマ検査装置は、前記細胞塊抽出部で抽出した細胞塊に汚染細胞核及び非汚染細胞核の両方が含まれる場合、所定の条件に基づいて前記細胞塊を汚染細胞核又は非汚染細胞核のいずれかに決定する決定部を備える。
決定部は、細胞塊抽出部で抽出した細胞塊に汚染細胞核及び非汚染細胞核の両方が含まれる場合、所定の条件に基づいて細胞塊を汚染細胞核又は非汚染細胞核のいずれかに決定する。例えば、汚染細胞核及び非汚染細胞核それぞれの大きさの大きい方の細胞核とすることができる。これにより、汚染細胞核又は非汚染細胞核の検出数の精度を高めることができる。
本実施の形態に係るマイコプラズマ表示装置は、細胞核が撮影された検査対象画像を取得する取得部と、前記取得部で取得した検査対象画像に基づいてマイコプラズマを検出すべく学習された第1学習器が検出したマイコプラズマ及び前記取得部で取得した検査対象画像に基づいてマイコプラズマ画像を表示するマイコプラズマ画像表示部とを備える。
取得部は、細胞核が撮影された検査対象画像を取得する。検査対象画像は、撮像装置(例えば、顕微鏡など)で撮像された試験検体の撮像画像を所定サイズの領域で走査して得られる画像領域とすることができる。
マイコプラズマ画像表示部は、取得部で取得した検査対象画像に基づいてマイコプラズマを検出する第1学習器が検出したマイコプラズマ及び取得した検査対象画像に基づいてマイコプラズマ画像を表示する。マイコプラズマ画像は、検査対象画像に第1学習器が検出したマイコプラズマを重畳させた画像とすることができる。これにより、マイコプラズマを可視化することができ、効率良くマイコプラズマを検出することができる。
本実施の形態に係るマイコプラズマ表示装置は、前記マイコプラズマ画像に基づいて細胞核がマイコプラズマ汚染されているか否か判定すべく学習された第2学習器の判定結果に基づいて汚染細胞核及び非汚染細胞核の少なくとも一方を含むマイコプラズマ汚染結果画像を表示する汚染結果画像表示部を備える。
汚染結果画像表示部は、マイコプラズマ画像に基づいて細胞核がマイコプラズマ汚染されているか否か判定する第2学習器の判定結果に基づいて汚染細胞核及び非汚染細胞核の少なくとも一方を含むマイコプラズマ汚染結果画像を表示する。汚染細胞核はマイコプラズマに汚染された細胞核であり、非汚染細胞核はマイコプラズマに汚染されていない細胞核である。マイコプラズマ汚染結果画像は、汚染細胞核のみの画像、非汚染細胞核のみの画像、汚染細胞核及び非汚染細胞核が混在する画像とすることができる。これにより、汚染細胞核と非汚染細胞核とを可視化することができ、細胞核の汚染状態を確認することができる。
本実施の形態に係るマイコプラズマ表示装置において、前記汚染結果画像表示部は、汚染細胞核及び非汚染細胞核の少なくとも一方に細胞核を識別する識別子を付与してマイコプラズマ汚染結果画像を表示する。
汚染結果画像表示部は、汚染細胞核及び非汚染細胞核の少なくとも一方に細胞核を識別する識別子を付与してマイコプラズマ汚染結果画像を表示する。識別子は、例えば、汚染細胞核と非汚染細胞核とで異なる識別子を用いることができ、例えば、数字などを用いることができるが、これに限定されない。これにより、個々の細胞核を容易に識別することができる。
本実施の形態に係るマイコプラズマ表示装置は、前記識別子の表示・非表示を設定する設定部を備える。
設定部は、識別子の表示・非表示を設定する。これにより、例えば、ユーザ(試験者)が、汚染結果画像を確認する際に、目的に応じて識別子の要否を選択することができ、ユーザの視認性を向上させることができる。
本実施の形態に係るマイコプラズマ表示装置において、前記汚染結果画像表示部は、汚染細胞核と非汚染細胞核とを異なる表示態様にしてマイコプラズマ汚染結果画像を表示する。
汚染結果画像表示部は、汚染細胞核と非汚染細胞核とを異なる表示態様にしてマイコプラズマ汚染結果画像を表示する。汚染細胞核及び非汚染細胞核それぞれと外界との境界を異なる色で表示することができる。これにより、汚染細胞核及び非汚染細胞核それぞれを容易に確認することができる。
本実施の形態に係るマイコプラズマ表示装置において、前記汚染結果画像表示部は、1又は複数の細胞核が集まった細胞塊に汚染細胞核及び非汚染細胞核の両方が含まれる場合、所定の条件に基づいて前記細胞塊を汚染細胞核又は非汚染細胞核のいずれかとしてマイコプラズマ汚染結果画像を表示する。
汚染結果画像表示部は、1又は複数の細胞核が集まった細胞塊に汚染細胞核及び非汚染細胞核の両方が含まれる場合、所定の条件に基づいて細胞塊を汚染細胞核又は非汚染細胞核のいずれかとしてマイコプラズマ汚染結果画像を表示する。所定の条件は、例えば、汚染細胞核及び非汚染細胞核それぞれの大きさとすることができる。これにより、汚染細胞核及び非汚染細胞核それぞれを容易に確認することができる。
本実施の形態に係るマイコプラズマ表示装置は、所定の細胞核数と汚染細胞核の数とを対応付けた細胞核数情報を表示する表示部を備える。
表示部は、所定の細胞核数と汚染細胞核の数とを対応付けた細胞核数情報を表示する。所定数は、例えば、1000とすることができる。これにより、試験検体の陽性・陰性を容易に判断することができる。
本実施の形態に係るマイコプラズマ表示装置において、前記表示部は、細胞核を識別する識別子と、前記細胞核が汚染細胞核であるか非汚染細胞核であるかを示す符号とを対応付けて表示する。
表示部は、細胞核を識別する識別子と、細胞核が汚染細胞核であるか非汚染細胞核であるかを示す符号とを対応付けて表示する。識別子は、例えば、汚染細胞核と非汚染細胞核とで異なる識別子を用いることができ、例えば、数字などを用いることができるが、これに限定されない。これにより、個々の細胞核が、汚染細胞核であるか非汚染細胞核であるかを容易に識別することができる。
本実施の形態に係るマイコプラズマ表示装置において、前記表示部は、1又は複数の汚染細胞核が集まった細胞塊の画像を前記識別子に対応付けて表示する。
表示部は、1又は複数の汚染細胞核が集まった細胞塊の画像を識別子に対応付けて表示する。これにより、個々の汚染細胞核を容易に識別することができる。
本実施の形態に係るマイコプラズマ検査システムは、細胞核を撮像する撮像装置と、前述のマイコプラズマ検査装置とを備え、前記マイコプラズマ検査装置は、前記撮像装置で撮像された検査対象画像を取得する。
マイコプラズマ検査装置は、細胞核を撮像する撮像装置(例えば、顕微鏡)で撮像された検査対象画像を取得することができる。
本実施の形態に係るマイコプラズマ表示システムは、細胞核を撮像する撮像装置と、前述のマイコプラズマ表示装置とを備え、前記マイコプラズマ表示装置は、前記撮像装置で撮像された検査対象画像を取得する。
マイコプラズマ表示装置は、細胞核を撮像する撮像装置(例えば、顕微鏡)で撮像された検査対象画像を取得することができる。
本実施の形態に係る学習器は、細胞核が撮影された検査対象画像に基づいてマイコプラズマを検出すべく学習された第1学習器と、前記第1学習器で検出したマイコプラズマ及び前記検査対象画像に基づいて前記細胞核がマイコプラズマ汚染されているか否か判定すべく学習された第2学習器と、前記第2学習器の判定結果に基づいて生成される、汚染細胞核及び非汚染細胞核の少なくとも一方を含むマイコプラズマ汚染結果画像を用いて細胞核の数を検出すべく学習された第3学習器とを備える。
本実施の形態に係る学習器の生成方法は、第1学習器、第2学習器及び第3学習器を備える学習器の生成方法であって、細胞核が撮影され、マイコプラズマが存在する第1画像と前記第1画像からマイコプラズマを抽出した抽出画像とを含む学習データ、及び細胞核が撮影され、マイコプラズマが存在しない第2画像とマイコプラズマが存在しない所定画像とを含む学習データを用いて前記第1学習器を生成し、前記第1画像及び前記抽出画像の組で構成される学習用入力画像と所定の汚染細胞核画像とを含む学習データ、及び前記第2画像及び前記所定画像の組で構成される学習用入力画像と所定の非汚染細胞核画像とを含む学習データを用いて前記第2学習器を生成し、所定の汚染細胞核画像、所定の非汚染細胞核画像、及び細胞核数を示す教師ラベルを用いて前記第3学習器を生成する。
第1学習器は、細胞核が撮影され、マイコプラズマが存在する第1画像と当該第1画像からマイコプラズマを抽出した抽出画像とを含む学習データを用いて生成してある。第1画像は、マイコプラズマが存在するとともに複数の細胞核が撮影された学習用の入力画像であり、抽出画像は、第1画像からマイコプラズマを抽出した学習用の出力画像(すなわち、複数の細胞核を削除した画像)である。また、第1学習器は、細胞核が撮影され、マイコプラズマが存在しない第2画像とマイコプラズマが存在しない所定画像とを含む学習データを用いて生成してある。第2画像は、マイコプラズマが存在せず、複数の細胞核が撮影された学習用の入力画像であり、所定画像は、マイコプラズマも細胞核も存在しない学習用の出力画像である。
これにより、第1学習器に、細胞核が撮影された検査対象画像を入力すると、第1学習器は、マイコプラズマを検出することができる。
第2学習器は、第1画像及び抽出画像の組で構成される学習用入力画像と所定の汚染細胞核画像とを含む学習データを用いて生成してある。第1画像と抽出画像とは、チャネルを分けて第2学習器の入力層へ入力することができる。所定の汚染細胞核画像は、学習用入力画像内の細胞核のうち、マイコプラズマで汚染された汚染細胞核を表した画像である。すなわち、マイコプラズマで汚染されていない非汚染細胞核が存在する場合、非汚染細胞核は除外することができる。
第2学習器は、第2画像及び所定画像の組で構成される学習用入力画像と所定の非汚染細胞核画像とを含む学習データを用いて生成してある。第2画像と所定画像とは、チャネルを分けて第2学習器の入力層へ入力することができる。所定の非汚染細胞核画像は、学習用入力画像内の細胞核のうち、マイコプラズマで汚染されていない非汚染細胞核を表した画像である。すなわち、マイコプラズマで汚染された汚染細胞核が存在する場合、汚染細胞核は除外することができる。
これにより、第2学習器に、検出されたマイコプラズマと複数の細胞核とを含むマイコプラズマ画像を入力すると、第2学習器は、細胞核が汚染細胞核であるか非汚染細胞核であるかを判定することができる。
第3学習器は、所定の汚染細胞核画像、所定の非汚染細胞核画像、及び細胞核数を示す教師ラベルを用いて生成してある。例えば、細胞核数が1の汚染細胞核画像又は非汚染細胞核画像と、細胞核数が1であることを示す教師ラベル(例えば、「1」)を用いて第3学習器を生成することができる。細胞核数が2又は3の場合も同様である。また、細胞核数が4以上の汚染細胞核画像又は非汚染細胞核画像と、細胞核数が4以上であることを示す教師ラベル(例えば、「4」)を用いて第3学習器を生成することができる。これにより、第3学習器に、マイコプラズマ汚染結果画像を入力すると、第3学習器は、細胞核の数を検出することができる。
10 PC
50 検査装置
51 制御部
52 入力部
53 マイコプラズマ画像生成部
54 汚染結果画像生成部
55 記憶部
56 細胞塊抽出部
57 インタフェース部
58 学習器
581 第1学習器
582 第2学習器
583 第3学習器
59 決定部
100 表示装置
101 制御部
102 インタフェース部
103 表示画面
104 操作部
200 培養装置
201、202 培養ユニット
203 コントローラ
204 操作部
300 撮像装置

Claims (25)

  1. 細胞核が撮影された検査対象画像を取得する取得部と、
    前記取得部で取得した検査対象画像に基づいてマイコプラズマを検出すべく学習された第1学習器と、
    前記第1学習器で検出したマイコプラズマ及び前記取得部で取得した検査対象画像に基づいてマイコプラズマ画像を生成するマイコプラズマ画像生成部と
    を備えるマイコプラズマ検査装置。
  2. 前記マイコプラズマ画像生成部で生成したマイコプラズマ画像に基づいて前記細胞核がマイコプラズマ汚染されているか否か判定すべく学習された第2学習器と、
    前記第2学習器の判定結果に基づいて汚染細胞核及び非汚染細胞核の少なくとも一方を含むマイコプラズマ汚染結果画像を生成する汚染結果画像生成部と
    を備える請求項1に記載のマイコプラズマ検査装置。
  3. 前記汚染結果画像生成部で生成したマイコプラズマ汚染結果画像に基づいて細胞核の数を検出すべく学習された第3学習器を備える請求項2に記載のマイコプラズマ検査装置。
  4. 前記第3学習器は、
    前記汚染結果画像生成部で生成した複数のマイコプラズマ汚染結果画像それぞれで検出した細胞核の数に基づく代表値を細胞核の数として検出する請求項3に記載のマイコプラズマ検査装置。
  5. 前記第1学習器は、
    細胞核が撮影され、マイコプラズマが存在する第1画像と前記第1画像からマイコプラズマを抽出した抽出画像とを含む学習データ、及び細胞核が撮影され、マイコプラズマが存在しない第2画像とマイコプラズマが存在しない所定画像とを含む学習データを用いて生成してある請求項3又は請求項4に記載のマイコプラズマ検査装置。
  6. 前記第2学習器は、
    前記第1画像及び前記抽出画像の組で構成される学習用入力画像と所定の汚染細胞核画像とを含む学習データ、及び前記第2画像及び前記所定画像の組で構成される学習用入力画像と所定の非汚染細胞核画像とを含む学習データを用いて生成してある請求項5に記載のマイコプラズマ検査装置。
  7. 前記第3学習器は、
    所定の汚染細胞核画像、所定の非汚染細胞核画像、及び細胞核数を示す教師ラベルを用いて生成してある請求項3から請求項6のいずれか一項に記載のマイコプラズマ検査装置。
  8. 所定数の細胞核と汚染細胞核の数とを対応付けた細胞核数情報を出力する出力部を備える請求項7に記載のマイコプラズマ検査装置。
  9. 前記汚染結果画像生成部で生成したマイコプラズマ汚染結果画像に基づいて1又は複数の細胞核が集まった細胞塊を抽出する細胞塊抽出部を備え、
    前記第3学習器は、
    前記細胞塊抽出部で抽出した細胞塊ごとに細胞核の数を検出する請求項3から請求項8のいずれか一項に記載のマイコプラズマ検査装置。
  10. 前記細胞塊抽出部で抽出した細胞塊に汚染細胞核及び非汚染細胞核の両方が含まれる場合、所定の条件に基づいて前記細胞塊を汚染細胞核又は非汚染細胞核のいずれかに決定する決定部を備える請求項9に記載のマイコプラズマ検査装置。
  11. 細胞核が撮影された検査対象画像を取得する取得部と、
    前記取得部で取得した検査対象画像に基づいてマイコプラズマを検出すべく学習された第1学習器が検出したマイコプラズマ及び前記取得部で取得した検査対象画像に基づいてマイコプラズマ画像を表示するマイコプラズマ画像表示部と
    を備えるマイコプラズマ表示装置。
  12. 前記マイコプラズマ画像に基づいて細胞核がマイコプラズマ汚染されているか否か判定すべく学習された第2学習器の判定結果に基づいて汚染細胞核及び非汚染細胞核の少なくとも一方を含むマイコプラズマ汚染結果画像を表示する汚染結果画像表示部を備える請求項11に記載のマイコプラズマ表示装置。
  13. 前記汚染結果画像表示部は、
    汚染細胞核及び非汚染細胞核の少なくとも一方に細胞核を識別する識別子を付与してマイコプラズマ汚染結果画像を表示する請求項12に記載のマイコプラズマ表示装置。
  14. 前記識別子の表示・非表示を設定する設定部を備える請求項13に記載のマイコプラズマ表示装置。
  15. 前記汚染結果画像表示部は、
    汚染細胞核と非汚染細胞核とを異なる表示態様にしてマイコプラズマ汚染結果画像を表示する請求項12から請求項14のいずれか一項に記載のマイコプラズマ表示装置。
  16. 前記汚染結果画像表示部は、
    1又は複数の細胞核が集まった細胞塊に汚染細胞核及び非汚染細胞核の両方が含まれる場合、所定の条件に基づいて前記細胞塊を汚染細胞核又は非汚染細胞核のいずれかとしてマイコプラズマ汚染結果画像を表示する請求項12から請求項15のいずれか一項に記載のマイコプラズマ表示装置。
  17. 所定の細胞核数と汚染細胞核の数とを対応付けた細胞核数情報を表示する表示部を備える請求項12から請求項16のいずれか一項に記載のマイコプラズマ表示装置。
  18. 前記表示部は、
    細胞核を識別する識別子と、前記細胞核が汚染細胞核であるか非汚染細胞核であるかを示す符号とを対応付けて表示する請求項17に記載のマイコプラズマ表示装置。
  19. 前記表示部は、
    1又は複数の汚染細胞核が集まった細胞塊の画像を前記識別子に対応付けて表示する請求項18に記載のマイコプラズマ表示装置。
  20. 細胞核を撮像する撮像装置と、請求項1から請求項10のいずれか一項に記載のマイコプラズマ検査装置とを備え、
    前記マイコプラズマ検査装置は、前記撮像装置で撮像された検査対象画像を取得するマイコプラズマ検査システム。
  21. 細胞核を撮像する撮像装置と、請求項11から請求項19のいずれか一項に記載のマイコプラズマ表示装置とを備え、
    前記マイコプラズマ表示装置は、前記撮像装置で撮像された検査対象画像を取得するマイコプラズマ表示システム。
  22. 細胞核が撮影された検査対象画像に基づいてマイコプラズマを検出すべく学習された第1学習器と、
    前記第1学習器で検出したマイコプラズマ及び前記検査対象画像に基づいて前記細胞核がマイコプラズマ汚染されているか否か判定すべく学習された第2学習器と、
    前記第2学習器の判定結果に基づいて生成される、汚染細胞核及び非汚染細胞核の少なくとも一方を含むマイコプラズマ汚染結果画像を用いて細胞核の数を検出すべく学習された第3学習器と
    を備える学習器。
  23. コンピュータに、
    細胞核が撮影された検査対象画像を取得する処理と、
    取得した検査対象画像を用いて学習された第1学習器が検出したマイコプラズマ及び前記検査対象画像に基づいてマイコプラズマ画像を生成する処理と
    を実行させるコンピュータプログラム。
  24. 細胞核が撮影された検査対象画像を取得し、
    取得された検査対象画像を用いて学習された第1学習器が検出したマイコプラズマ及び前記検査対象画像に基づいてマイコプラズマ画像を生成するマイコプラズマ検査方法。
  25. 第1学習器、第2学習器及び第3学習器を備える学習器の生成方法であって、
    細胞核が撮影され、マイコプラズマが存在する第1画像と前記第1画像からマイコプラズマを抽出した抽出画像とを含む学習データ、及び細胞核が撮影され、マイコプラズマが存在しない第2画像とマイコプラズマが存在しない所定画像とを含む学習データを用いて前記第1学習器を生成し、
    前記第1画像及び前記抽出画像の組で構成される学習用入力画像と所定の汚染細胞核画像とを含む学習データ、及び前記第2画像及び前記所定画像の組で構成される学習用入力画像と所定の非汚染細胞核画像とを含む学習データを用いて前記第2学習器を生成し、
    所定の汚染細胞核画像、所定の非汚染細胞核画像、及び細胞核数を示す教師ラベルを用いて前記第3学習器を生成する学習器の生成方法。
JP2019100661A 2019-05-29 2019-05-29 マイコプラズマ検査装置、マイコプラズマ表示装置、マイコプラズマ検査システム、マイコプラズマ表示システム、学習器、コンピュータプログラム、マイコプラズマ検査方法及び学習器の生成方法 Pending JP2020191841A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019100661A JP2020191841A (ja) 2019-05-29 2019-05-29 マイコプラズマ検査装置、マイコプラズマ表示装置、マイコプラズマ検査システム、マイコプラズマ表示システム、学習器、コンピュータプログラム、マイコプラズマ検査方法及び学習器の生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019100661A JP2020191841A (ja) 2019-05-29 2019-05-29 マイコプラズマ検査装置、マイコプラズマ表示装置、マイコプラズマ検査システム、マイコプラズマ表示システム、学習器、コンピュータプログラム、マイコプラズマ検査方法及び学習器の生成方法

Publications (1)

Publication Number Publication Date
JP2020191841A true JP2020191841A (ja) 2020-12-03

Family

ID=73545369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019100661A Pending JP2020191841A (ja) 2019-05-29 2019-05-29 マイコプラズマ検査装置、マイコプラズマ表示装置、マイコプラズマ検査システム、マイコプラズマ表示システム、学習器、コンピュータプログラム、マイコプラズマ検査方法及び学習器の生成方法

Country Status (1)

Country Link
JP (1) JP2020191841A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105296592A (zh) * 2015-11-13 2016-02-03 浙江大学 支原体培养、鉴定、计数及药敏结果自动化检测方法
JP2017516992A (ja) * 2014-05-23 2017-06-22 ベンタナ メディカル システムズ, インコーポレイテッド 画像内の生物学的構造及び/又はパターンの検出のためのシステム及び方法
WO2018003063A1 (ja) * 2016-06-30 2018-01-04 株式会社ニコン 解析装置、解析方法、解析プログラム及び表示装置
US20180211380A1 (en) * 2017-01-25 2018-07-26 Athelas Inc. Classifying biological samples using automated image analysis
WO2018207261A1 (ja) * 2017-05-09 2018-11-15 暢 長坂 画像解析装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017516992A (ja) * 2014-05-23 2017-06-22 ベンタナ メディカル システムズ, インコーポレイテッド 画像内の生物学的構造及び/又はパターンの検出のためのシステム及び方法
CN105296592A (zh) * 2015-11-13 2016-02-03 浙江大学 支原体培养、鉴定、计数及药敏结果自动化检测方法
WO2018003063A1 (ja) * 2016-06-30 2018-01-04 株式会社ニコン 解析装置、解析方法、解析プログラム及び表示装置
US20180211380A1 (en) * 2017-01-25 2018-07-26 Athelas Inc. Classifying biological samples using automated image analysis
WO2018207261A1 (ja) * 2017-05-09 2018-11-15 暢 長坂 画像解析装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MICROBIOL. CULT. COLL., vol. 15, no. 2, JPN6023004623, 1999, pages 59 - 62, ISSN: 0004982356 *
映像情報メディア学会誌, vol. 68, no. 6, JPN6023004622, 2014, pages 466 - 471, ISSN: 0004982355 *

Similar Documents

Publication Publication Date Title
JP6348504B2 (ja) 生体試料の分割画面表示及びその記録を取り込むためのシステム及び方法
JP5783043B2 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
WO2010146802A1 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
JP2024038396A (ja) 画像解析方法、画像解析装置、およびプログラム
CN107832774A (zh) 一种页面异常检测方法及装置
US20090222753A1 (en) Defect inspection tool and method of parameter tuning for defect inspection tool
CN101460089B (zh) 显示处理装置
JP6357787B2 (ja) データ処理装置
JP2014142871A (ja) 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
KR20170019815A (ko) 신체 및 인지능력 평가를 통한 고령자 맞춤형 ui/ux 출력 방법
JP6355082B2 (ja) 病理診断支援装置及び病理診断支援方法
JP4668059B2 (ja) 目視検査支援装置、目視検査支援プログラムおよびそのプログラムを記録した記録媒体
AU2014264775A1 (en) Graphical user interface for analysis of red blood cells
US20200388036A1 (en) Histological image analysis
JP2007178129A5 (ja)
JP2008130966A (ja) 欠陥レビュー方法および装置
JP2020191841A (ja) マイコプラズマ検査装置、マイコプラズマ表示装置、マイコプラズマ検査システム、マイコプラズマ表示システム、学習器、コンピュータプログラム、マイコプラズマ検査方法及び学習器の生成方法
Comina et al. Development of an automated MODS plate reader to detect early growth of Mycobacterium tuberculosis
CN110334729B (zh) 检验仪器自动报警通知系统
WO2022019110A1 (ja) プログラム、情報処理装置、情報処理方法及びモデル生成方法
EP3438987B1 (en) Tool that analyzes image data and generates and displays a confidence indicator along with a cancer score
JP4944641B2 (ja) 染色組織標本の陽性細胞の自動検出法
WO2021161628A1 (ja) 機械学習方法および機械学習用情報処理装置
JP4374381B2 (ja) 検査支援システム,データ処理装置、およびデータ処理方法
WO2019073615A1 (ja) 工事現場画像判定装置及び工事現場画像判定プログラム

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20190613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230809

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230817

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20231006