JP2021510201A - 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置 - Google Patents

訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置 Download PDF

Info

Publication number
JP2021510201A
JP2021510201A JP2020538059A JP2020538059A JP2021510201A JP 2021510201 A JP2021510201 A JP 2021510201A JP 2020538059 A JP2020538059 A JP 2020538059A JP 2020538059 A JP2020538059 A JP 2020538059A JP 2021510201 A JP2021510201 A JP 2021510201A
Authority
JP
Japan
Prior art keywords
training
serum
sample
image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020538059A
Other languages
English (en)
Other versions
JP7324757B2 (ja
Inventor
シュテファン・クルックナー
イャオ−ジェン・チャン
カイ・マー
ヴィヴェック・シンフ
テレンス・チェン
ベンジャミン・エス・ポラック
Original Assignee
シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド filed Critical シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
Publication of JP2021510201A publication Critical patent/JP2021510201A/ja
Application granted granted Critical
Publication of JP7324757B2 publication Critical patent/JP7324757B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/487Physical analysis of biological material of liquid biological material
    • G01N33/49Blood
    • G01N33/491Blood by separating the blood components
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/02Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置。【解決手段】グラフィカルなアノテーションの入力を低減したニューラルネットワーク(畳込ニューラルネットワーク−CNN)を訓練する方法が提供される。訓練方法は、テスト検体の血清または血漿部分の溶血(H)、黄疸(I)、および/または脂肪血症(L)、または正常(N)の判定に使用できる試験CNNの訓練に使用できる。訓練方法は、訓練検体を含む複数の検体容器の訓練画像を取り込むこと、訓練検体の血清または血漿部分の領域候補を生成することを含み、そして、複数の訓練検体の領域候補の場所、サイズ、および形状に最も一致するものを選択する。訓練CNNから取得した特性(ネットワークと重み)は、試験CNNで使用することができる。他の局面と同様に、訓練方法を実行するように適合された品質検査モジュールおよび試験装置、ならびにバウンディングボックスリグレッサを使用する特徴付け方法が説明される。【選択図】図5A

Description

関連アプリケーションの相互参照
この出願は、2018年1月10日に提出された米国仮出願第62/615,873号の優先権を主張し、その内容は参照によりその全体が本明細書に組み込まれる。
本開示は、バイオ流体検体を特徴付ける神経流体ネットワークを訓練するための方法および装置に関し、より詳細には、バイオ流体検体が干渉物質を含むかどうかを判定するためのニューラルネットワークを含む方法および装置に関する。
自動試験システムは、血清、血漿などの検体中の分析物または他の成分を特定するために、1つ以上の試薬を使用して、臨床化学またはアッセイ試験を実施するために用いることができる。便宜上および安全上の理由から、これらの検体は検体容器(例えば、採血チューブ)内に含まれてもよい。検体が全血である場合、遠心分離中に血清または血漿部分からの沈殿した血液部分の分離の維持を支援するために、ゲルセパレータを検体容器に追加してもよい。アッセイまたは試験反応は、検体に存在する分析物または他の成分の濃度を決定するために読取および/または操作され得る様々な変化を生成する。
自動テスト技術の向上は、分析前の検体の準備および並び替え等の取り扱い操作、バッチ準備、検体成分を分離するための検体容器の遠心分離、検体アクセスを容易にするためのキャップの取り外し、分取の準備、およびラボラトリーオートメーションシステム(LAS)の一部になり得る自動化システムによるHILNに対する事前スクリーニング(以下「分析前操作」)における対応する進歩によって達成されて来た。LASは、検体コンテナ内の検体を、1つ以上の分析前検体処理ステーションならびに臨床化学分析装置および/またはアッセイ機器(以下、総称して「分析装置」)へと、自動的に輸送してもよい。
そのような検体容器は、提供される1つ以上のラベルをその上に有してもよい。そのラベルは、製造業者のラベル、および/または瀉血専門医あるいは検体を取り扱う他の場所あるいは施設によって提供されたラベルであってもよい。ほとんどの場合、少なくとも1つのラベルには、バーコードなどの識別情報(以下、「バーコードラベル」)が含まれる。ラベルは、例えば、粘着剤の裏張りを有する紙でできていてもよい。
LASは一度に多数の異なる検体を処理してもよく、追跡とルーティング(routing)にバーコードラベルを使用してもよい。バーコードラベルには、試験オーダーおよび/または他の情報に加えて、病院の検査情報システム(LIS)に入力できる人口統計情報と関連付けられた受付番号を含んでいてもよく、ここで、LISはLASと電子的に接続するように構成されている。オペレータまたはロボットは、ラベル付きされた検体容器をLASシステムに配置でき、LASシステムは、検体容器を1つ以上の分析前操作に自動的にルーティングする。これらは全て、検体が実際に、LASの一部に配置されていてもよい1つ以上の分析器による臨床分析またはアッセイにかけられる前であってもよい。
分離および他の分析前操作の後、検体容器は、吸引によって検体容器から血清または血漿部分を抽出してその部分を反応容器(例えば、キュベット)内の1つ以上の試薬と組み合わせることができる適切な分析装置に移されてもよい。次いで、分析測定は、しばしば、例えばインテロゲーティング放射(interrogating radiation)のビームを使用して、または測光あるいは蛍光吸収の読み取りなどを用いることによって実行されてもよい。分析測定が終点または速度の値の決定を可能にし、そこから分析対象物または他の成分の濃度を、周知の技術を用いて決定することができる。
残念ながら、検体中の任意の干渉物質(例えば、H、I、および/またはL)の存在は、患者の状態や検体処理の結果として、分析対象物あるいは1つ以上の分析装置から得られた成分測定の試験結果に悪影響を与え得る。例えば、血液検体中の溶血の存在は、患者の病状とは無関係であり得るが、患者の病状の異なる解釈を生じ得る。さらに、血液検体中の黄疸および/または脂肪血症の存在もまた、患者の病状の異なる解釈を生じ得る。したがって、分析前操作を介して、検体がH、I、および/またはLを含有しているかどうかを、さらにはその指標レベルを含有しているかどうかを、分析試験の前に知ることが望ましい。
検体がH、I、および/またはLを含有しているかどうかに関しては、正常(N)な血清または血漿部分は淡黄色から淡い琥珀色である。溶血(H)を含む血清または血漿部分は赤みがかった色をしている。黄疸(I)を含む血清または血漿部分はビリルビンの増加により濃い黄色になり、脂肪血症(L)を含む血清または血漿部分は白っぽいまたは乳白色の外観になる。分析前操作で決定された色に応じて、干渉物質のタイプと指標値を割り当てることができる。
幾つかの例において、血清または血漿部分を視覚的に観察する明確な機会を与えない幾つかの方向が存在し得るように、1つ以上の上記バーコードラベルが検体の特定の横方向の視点を部分的に遮蔽する可能性がある。したがって、そのような事前スクリーニングの自動化には、例えば、H、I、および/またはL、またはNの自動事前スクリーニングを可能にするような方法で検体を回転配向させることが含まれている。例えば、「臨床分析装置によって分析される液体サンプルおよび容器内の干渉物質および物理的寸法を確認するための方法および装置」と題されたMillerへの特許文献1に記載されたような、幾つかのシステムにおいては、検体容器は、ラベルに邪魔されないビューウィンドウを見つけるために回転させられ、その後に画像化が実施される。
パーク他への特許文献2に記載されているような他のシステムにおいては、検体容器および検体は、検体容器の回転が必要ないように、複数の視点から画像化されて、モデルベースのシステムで処理される。ただし、このようなモデルベースのシステムでは、モデルの事前訓練は極端に労働集約的である。
したがって、バイオ流体検体中の干渉物質の存在を特徴付けるように適合され、より効率的に訓練され得る、堅牢で効率的な方法および装置に対する、満たされていないニーズがある。
米国特許番号9,322,761 国際公開第2016/133,900号
訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置。
概要
第1の態様によれば、ニューラルネットワークを訓練する方法が提供される。ニューラルネットワークを訓練する方法は、画像取込場所で訓練検体を含む検体容器の訓練画像を取り込むことと、ニューラルネットワークへの入力用に血清または血漿部分の領域候補を生成することと、血清または訓練検体の血漿部分に最良に一致する領域候補を選択することとを含む。
別の態様では、訓練されたニューラルネットワークを使用して検体を特徴付ける方法が提供される。その方法は、画像取込場所で検体が入っている検体容器の画像を取り込むことと、ニューラルネットワークへの入力用に血清または血漿部分の領域候補を生成することと、検証済み領域を提供する為に回帰によって領域候補を収束することとを含む。
別の態様によれば、検体容器内に含まれる検体中の干渉物質の存在を決定するように構成された品質検査モジュールが提供される。品質検査モジュールは、検体の血清または血漿部分を含む検体容器の複数の画像を取り込むように構成された画像取込デバイスと画像取込デバイスに接続されたコンピュータとを含み、該コンピュータは、複数の画像からニューラルネットワークに画像データを入力し、血清または血漿部分の領域候補を生成し、回帰によって領域候補を収束し、ニューラルネットワークから、溶血、黄疸、脂肪血症、および正常の1つ以上として、血清または血漿部分の分類を出力するように構成され、操作され得る。
本開示のさらに他の側面、特徴、および利点は、以下の説明から、本発明を実施するために意図された最良の形態を含む、多くの例示的な実施形態および実行を例示することによって、容易に明らかになり得る。本明細書で説明された異なる実施形態の幾つかの詳細は、本開示の範囲から逸脱することの無い全ての様々な点で改変されてもよい。本開示は、特許請求の範囲に含まれる全ての改変、等価物、および代替物を網羅することを意図している。
以下に記載された図面は、例示を目的としたものであり、必ずしも一定の縮尺で描かれているわけではない。したがって、図面および説明は、本質的に例示と見なされるべきであり、限定と見なされるべきではない。図面は、決して本発明の範囲を限定することを意図していない。
図1は、1つ以上の実施形態による、H、I、および/またはL、またはNへの事前スクリーニングを実行するように構成された1つ以上の品質検査モジュールを含む、検体試験装置の上面概略図を示している。 図2は、干渉物質を含有する血清または血漿部分を有する分離された検体を含む検体容器の側面図を示しており、検体容器は、その上にバーコードラベルを含む。 図3Aは、バーコードラベルを含む検体容器、干渉物質を含む血清または血漿部分、沈降した血液部分、およびその中にゲルセパレータを含む分離された検体の側面図を示している。 図3Bは、バーコードラベルを含む検体容器、干渉物質を含む血清または血漿部分、沈降した血液部分、およびゲルセパレータを含む検体の側面画像を例示しており、検体容器はホルダー内で直立方向に支持されており、長方形の画像取込領域を示している。 図3Cは、1つ以上の実施形態による、例示的な重ね合わせグリッドを含む図3Bの、画像取込領域の側面図を示している。 図3Dは、1つ以上の実施形態による、チューブの直径についての知見を有することによって簡略化された重ね合わせグリッドを有する図3Bの画像の側面図を例示している。 図4Aは、1つ以上の実施形態による、複数の視点を含み、干渉物質の存在の判定を可能にするために複数の画像を取り込んで分析するように構成された、品質検査モジュール(天井を取り除いた)の概略上面図を示している。 図4Bは、1つ以上の実施形態による、図4Aの切断線4B−4Bに沿って取られた図4Aの品質検査モジュール(エンクロージャの前面壁が取り除かれた)の概略側面図を例示している。 図5Aは、1つ以上の実施形態による、訓練CNNの例示的なアーキテクチャのブロック図を示している。 図5Bは、1つ以上の実施形態による、試験CNNの例示的なアーキテクチャのブロック図を示している。 図6Aは、1つ以上の実施形態による、第1の視点からの第1の画像を示している。 図6Bは、1つ以上の実施形態による、第2の視点からの第2の画像を示している。 図6Cは、1つ以上の実施形態による、第3の視点からの第3の画像を示す。 図6Dは、1つ以上の実施形態による、様々な視点の向きを示す概略上面図を示す。 図7は、1つ以上の実施形態による、ニューラルネットワークを訓練する方法のフローチャートである。 図8は、1つ以上の実施形態による、検体を特徴付ける方法のフローチャートである。
詳細な説明
バイオ流体を特徴付けるためのモデルベースシステムを訓練するための方法の上記の欠陥を考慮して、モデル訓練プロセスの効率を劇的に改善する方法および装置が本明細書で提供される。特に、モデルベースシステムの従来技術の訓練は、既知の特性を有する訓練検体の画像化を含み、その時、オペレータは、訓練検体の画像内の様々な部分(バウンディングボックスなどのグラフィカルな領域のアノテーション(annotations))を手動で輪郭化しなければならない。これらのバウンディングボックスは、血清または血漿部分、沈降した血液部分、ゲルセパレータ、空気などの周辺領域を輪郭化することができる。これらのバウンディングボックスは、モデルが検体テストの後でこれらの領域を認識するよう訓練され得るように、モデル訓練のアノテーション付き入力(グラフィカルな入力)として提供された。さらに、H、I、Lクラス、またはNおよび/またはHIL指標値などの手動で生成された各バウンディングボックスに対して、手動のデータアノテーション入力が提供されてもよい。そのような(そのグラフィカル領域の)手動バウンディングボックスの提供および入力は、モデルベースシステムの全体的な訓練が非常に面倒で極端に時間がかかり人による手動の努力を必要とすることを理解されたい。したがって、手動のグラフィカルな入力に依存しない、より効率的なモデル訓練方法が大いに必要とされている。
したがって、本開示は、ニューラルネットワーク(例えば、畳込ニューラルネットワーク−CNN)などのモデルを訓練するように構成された方法および装置を提供する。特に、そのモデルは、干渉物質がバイオ流体検体に存在するか(HILなど)、または正常かどうか(Nなど)を決定するように構成および適合できる。本明細書で説明される訓練方法および装置は、非常に効率的であり、ニューラルネットワーク(例えば、CNN)を訓練するための手動の領域/グラフィカルなアノテーション入力を含まない。したがって、ニューラルネットワークの訓練は、オペレータが手動で行う最小限の入力で、迅速に行うことができる。
第1の態様では、訓練方法は、複数の訓練画像(例えば、デジタルのピクセル化された訓練画像)を取得するために、画像取込場所で、1つ以上の画像取込デバイスによって訓練検体を含む複数の検体容器の画像を取り込むことを含む。モデル(例えば、訓練CNNなど)のグラウンドトゥルースラベル(Ground truth label)が訓練入力として入力される。訓練検体ごとに、干渉物質のタイプと、場合によっては測定済または検証済みの指標単位とが、試験CNNからの出力として必要なグラウンドトゥルースラベルとして提供されることができる。したがって、グラウンドトゥルースラベルは、例えば、H、I、および/またはL、またはN、および/または他の実施形態では、試験CNNからの出力であることが必要とされたH、I、および/またはLのそれぞれに対するいくつかの離散した指標値であってよい。試験CNNは、一度訓練されたモデルであり、HILNに対して検体をテストできる。
画像データの前処理は、いくつかの実施形態では、例えば、背景除去またはチューブタイプ検出を達成するために、任意で使用されてもよい。このような前処理は、画像のサイズを縮小し(つまり、関連する関心エリアに)、収束の反復回数を低減し、訓練の全体的な時間を短縮する為に用いることができる。手動のグラフィカル入力の使用を回避するために、本明細書に記載されている方法および装置は、血清または血漿部分の領域候補の自動生成を備える。訓練のために自動的に生成される領域候補は、実施形態では、画像化されたエリアのサブ領域で構成される。例えば、サブ領域は、訓練画像の上に重ね合わされている仮想訓練グリッドのサブ領域に対応してもよい。言い換えれば、領域候補は異なる領域のサブ領域のコレクションであってもよく、それは仮想グリッド内のより小さな領域である。実施形態では、仮想訓練グリッドは、交差して、交差箇所で仮想グリッドの仮想ノードを形成する、垂直線および水平線を含んでもよい。仮想グリッド内のグリッド要素のコレクションまたはグルーピングは、領域候補を構成してもよい。
例えば、領域候補は、訓練画像内の長方形のサブ領域を包含してもよい。例えば、いくつかの実施形態では、領域候補は、仮想グリッド内の2つの仮想ノード(例えば、斜めに対向するコーナーノード)を選択することにより生成されてもよい。いくつかの実施形態では、特定の領域候補がランダムに選択されてもよい。数千の訓練画像が取り込まれて訓練CNNに入力されて、数千のランダムに生成された領域候補も生成されて、HILNおよび場合によってはHIL指標レベルについてのグラウンドトゥルース情報とともに、訓練CNNへと入力される。様々な領域候補のそれぞれは、入力された画像データ内の血清/血漿部分の場所との相関度(適合)を検証されてもよい。
例えば、各領域候補は、各領域候補内の光強度勾配を調べる等のフィルタリングによって試験/検証されてもよい。例えば、一致の程度は、訓練画像の特定の部分内の光強度の勾配を調べることによって識別されてもよい。これらの相関性の高い部分は保持されてもよく、一方、相関性の低い部分は破棄されることができる。したがって、入力された訓練画像との「一致」の程度に基づいて、複数(例えば、数千)の最良の候補を選択することができる、すなわち、最も高い相関を有する領域候補を使用することができる。
場合によっては、仮想グリッドは、幅(W)と高さ(H)のサイズを持つ長方形のグリッド要素で構成することができる。サイズと形状または血清あるいは血漿部分の適切な見積りを得る為に、適切に細かいグリッドが使用されるべきである。各領域候補が(例えばランダムに)生成され、訓練画像およびグラウンドトゥルースラベルとともに訓練CNNへの入力として送信され、収束の度合いが試験される。収束とは、ケースの80%、または90%、または95%、またはそれ以上で、正しい結果が得られることを意味する。もしも十分な収束が訓練中に得られたならば、訓練を停止できる。適切な訓練の考察は、HIL分類部(SoftMax)の損失の考察によって達成され得る。
訓練CNNが一旦十分に訓練されると、様々な特徴および/またはモデルの重みが転送され得て、検体容器内の検体の血清または血漿部分を自動的に認識して適切な分類を提供するように構成された試験CNNの一部として使用され得て、適切なH、I、および/またはLまたはNの分類を提供し得て、もしモデルがそのように訓練されているならば、そのH、I、またはL指標等の分類を提供し得る。
したがって、一旦訓練されると、試験CNNは、検体の血清または血漿部分中のH、I、および/またはL、またはN(以下「HILN」)、またはその幾つかのHILサブセット等の干渉物質の存在を決定するように使われてよい。この方法およびニューラルネットワーク(例えば、試験CNN)は、nクラスH(例えば、H1、H2、H3、またはそれ以上)、nクラスI(例えば、I1、I2、I3、またはそれ以上)、および/またはnクラスL(例えば、L1、L2、L3、またはそれ以上)、またはNを決定するように構成されてもよい。一部の実施形態では、テストCNNは、nクラスH、およびnクラスI、およびnクラスLの3つ全てを特定することができる。試験CNNが特に示されているが、n=4、5、6、7、8、またはそれ以上のような他の数の結果を使用してもよい。
1つ以上のラベルが様々な程度で検体容器を包むことがあるため、1つ以上のラベルを含む領域からの血清および血漿部分の区別は、特に厄介な問題である。したがって、血清または血漿部分のクリアな視界を得ることが困難になるかもしれないように、1つ以上のラベルが1つ以上の視点を遮蔽する可能性がある。したがって、血清または血漿部分の分類は、1つ以上のラベルからの妨害の為に極めて困難になる可能性があり、その配置は、1つの検体容器から次の事前スクリーニングが行われるまで実質的に様々になり得る。
特に、1つ以上のラベルによって生じる遮蔽は、1つ以上のラベルが背面に表示され、前面で受信される光の透過率に影響を与える場合に、様々な視点などからのスペクトル応答に重大な影響を与える可能性がある。これを前提として、訓練CNNへの入力は、前処理(例えば、統合、正規化)されて複数の画像取込デバイスから取得される、複数スペクトル、複数露出の画像データであってもよい。例えば、画像取込デバイスは、複数の視点(例えば、3つの横方向の視点)から画像を取り込むように配置および構成された複数の画像取込デバイスを含んでもよい。
訓練方法の幾つかの実施形態では、幾つかのより簡単な訓練例(例えば、ラベルなし)は、様々なレベルのHILおよびNで、複数の視点から、最初に訓練されてもよい。次に、様々な位置と多くのラベル(例えば、最大2つのラベル)を含む、より難しい訓練の例を、複数の視点で訓練検体として入力されてもよい。その結果、血清または血漿領域を認識する訓練CNNのより効果的な訓練が、ラベル障害物が存在する場合に提供されてもよい。
定義
本明細書で使用される「干渉物質」は、検体の血清または血漿部分における溶血(H)、黄疸(I)、または脂肪血症(L)の少なくとも1つの存在を意味する。溶血(H)、黄疸(I)、および脂肪血症(L)は、本明細書では総称的に「HIL」と呼ばれる。
「溶血」は、処理中に赤血球が破壊され、血清または血漿部分が赤みがかった色合いになるような、赤血球から血清または血漿部分へのヘモグロビンの放出をもたらす、血清または血漿部分の状態として定義される。溶血の程度(H)は、溶血指数を割り当てることで定量化してもよい。
「黄疸」は、血清または血漿部分が胆汁色素(ビリルビン)の蓄積によって引き起こされる暗黄色に変色する血液の状態として定義される。黄疸の程度(I)は、黄疸指数を割り当てることで定量化してもよい。
「脂肪血症」は、血清または血漿部分が白っぽいまたは乳白色の外観を含むような、異常に高濃度の乳化脂肪の血中の存在として定義される。脂肪血症の程度(L)は、脂質指数を割り当てることによって定量化してもよい。
「正常」は、許容できるほど少量のH、I、およびLを含む血清または血漿部分として定義され、本明細書ではNと指定される。
「血清または血漿部分」は、血液の液体成分である。それは、分別(例えば、遠心分離による)後の沈殿した血液部分の上に見られる。血漿と血清は凝固成分、主にフィブリノーゲンの含有量が異なる。血清が血漿を指す一方で、血漿は凝固していない液体であり、内因性酵素または外因性成分のどちらの影響下でも凝固され得る。
「沈降血液部分」とは、白い血液細胞(白血球)、赤い血液細胞(赤血球)、血小板(platelets、thrombocytes)などの固まった半固体の血液細胞であり、凝集して、血清または血漿部分から分離している。沈殿した血液部分は、分別後の血清または血漿部分の下の検体容器の底部に見られる。
「画像取込デバイス」とは、デジタルカメラ、CCD(電荷結合デバイス)、CMOS(相補型金属酸化膜半導体)、センサまたは光検出器のアレイなど、分析用のピクセル化画像(例えば、デジタルイメージ)を取り込める任意のデバイスである。
本明細書で使用される「ピクセル化画像」は、複数のピクセルを含むスーパーピクセルまたはイメージパッチ(パッチ)などの、単一のピクセルまたはピクセルグループのいずれかで構成される画像を意味する。
「ラベル」は、識別情報(すなわち、しるし)を含むように適合された検体容器の外側上の領域として定義される。ラベルは、不透明な紙、プラスチック、塗料、または検体容器の外側表面に貼り付けられた他の材料であってもよい。しるしは、バーコード、アルファベット文字、数字、またはそれらの組み合わせであってもよい。ラベルは、製造業者ラベルであってもよいし、瀉血専門医またはその後の検体処理エンティティによって後付けされたラベルであってもよく、バーコードを含んでいてもよい。
「LA」は、液体−空気界面として定義され、血清あるいは血漿部分の上方の、血清あるいは血漿部分と空気との間の境界線(横から見た)である。
「SB」は血清−血液界面であり、血清あるいは血漿部分と沈降した血液部分との間の境界線(横から見た)である。
「TC」は、チューブ−キャップ境界面であり、空気とキャップとの間の境界面にある境界線(横から見た)である。
「HT」はチューブの高さであり、チューブの最下部からキャップの底までの高さとして定義される。
「HSP」は、ゲルセパレータが使用されていない場合には、血清または血漿部分の高さであり、血清または血漿部分の最上部から、沈殿した血液部分の最上部まで、つまりLAからSBまでの高さと定義される。
「HSP」は、ゲルセパレータが使用される場合(図3A)には、血清または血漿部分の高さであり、血清または血漿部分の上部のLAからゲルの上部のSGまで、つまりLAからSGまでの高さと定義される。
「HSB」は、ゲルセパレータが使用されていない場合には、沈降血部分の高さであり、沈降血液部分の底から沈降血液部分の上部のSBまでの高さと定義される。
「HSB」は、ゲルセパレータが使用されている場合には、沈降した血液部分の高さであり、沈降した血液部分の底からゲルセパレータの底のBGまでの高さとして定義される。
「HTOT」は、ゲルセパレータが使用されていない場合には、検体の全高さであり、HSP+HSBに等しい。
「HTOT」は、ゲルセパレータが使用されている場合には、検体の全高さであり、HSP+HSB+ゲルセパレータの高さに等しい。
「Tw」は検体容器の壁厚である。
「W」は検体容器の外幅である。
「Wi」は検体容器の内幅である。
「キャリア」は、ラボラトリーオートメーションシステム(LAS)内などで、検体容器を支持および輸送するように構成されたデバイスである。
「VSP」は、検体容器内の血清または血漿部分の体積である。
「VSB」は、検体容器内の沈降した血液部分の体積である。
本明細書で使用される「溶血指数」は、血清または血漿部分に存在する溶血の決定された含有量(程度または量)に基づいて、特定の検体に与えられた等級を意味する。
本明細書で使用される「黄疸指数」は、血清または血漿部分に存在する黄疸の決定された含有量(程度または量)に基づいて、特定の検体に与えられた等級を意味する。
本明細書で使用される「脂肪血症指数」は、血清または血漿部分に存在する脂肪血症の決定された含有量(程度または量)に基づいて、血清または血漿部分に与えられた等級を意味する。
本明細書で使用される「畳込」は、学習してフィルタカーネルを適用する処理ステップを意味する。前方パスの最中にドット積を計算することにより、フィルタは入力画像データに適用される。これにより、そのフィルタのアクティベーションマップが作成される。したがって、ネットワークは、入力画像データのある空間位置で特定のタイプの特徴を処理が検出したときにアクティブになるフィルタを学習する。
本明細書で使用される「プーリング」は、非線形ダウンサンプリングを実行する処理ステップを意味する。一般的に、最大プーリングが適用される。最大プーリングは、描画の重複しないサブ領域に最大フィルタを適用することで実現される。
本明細書で使用される「SoftMax」は、互いに排他的なクラスの単一クラスNを予測するための損失である。
遠心分離直後かつ1つ以上の分析装置による分析の前にHILNに対して事前スクリーニングする能力は、分析に適切な品質ではない検体の分析への無駄な時間を有利に最小化し、誤った検査結果を回避または最小化し、患者の検査結果の遅延を最小化し、そして患者の検体の無駄を避けることができる。さらに、1つ以上の実施形態では、検体の血清または血漿部分内に許容できないレベルのH、I、および/またはLが特定されるHILNに対して事前にスクリーニングした後に是正措置を行うことができる。
モデルの訓練(訓練CNN)に提供される検体容器は、異なる幅と異なる高さを含む異なるサイズであってもよく、したがって、多くの異なる物理構成の訓練とその後の事前スクリーニングのために供給されてもよい。例えば、検体容器は、例えば、13mm×75mm、13mm×100mm、16mm×100mm、および16mm×125mmのようなサイズを有することができる。他の適切な検体容器サイズに出会うかもしれない。
本明細書に記載されている方法は、訓練CNNならびに試験CNNへの入力として、検体容器および血清あるいは血漿部分の高ダイナミックレンジ(HDR)画像処理を使用することができる。HDRイメージングは、複数の露出の取り込みを含み、一方で複数のスペクトル照明を使用するが、これは下記で明らかにする。
1つ以上の実施形態では、品質検査モジュールは、本明細書で説明される訓練方法および試験方法を実行するように構成されてよい。品質検査モジュールはLASの任意の適切な領域に実装されてよいが、ロボット機構(例えば、グリッパーフィンガーロボット)または軌道がそこへの検体容器の輸送を促進することができる領域が好ましい。いくつかの実施形態では、品質検査モジュールは、検体試験装置の軌道上または軌道に沿って提供されてよく、検査容器を支持するキャリアは、画像ベースの品質検査モジュールでHILNを識別するように訓練する為に、検体を品質検査モジュール内の画像取込場所に移動するように構成されてもよい。
しかしながら、いくつかの実施形態では、訓練は、あるいは、検体試験装置の試験場所とは異なる場所にある訓練モジュールで行われてもよい。ここで、その訓練モジュールは、事前スクリーニングに使用される品質検査モジュールの正確な複製である。いくつかの実装形態では、軌道は、検体を事前スクリーニング場所に運んでもよく、そして、キャリア上の分析機器での分析(例えば、臨床化学試験またはアッセイ)のための1つ以上の遠隔場所にも運んでよい。実施形態では、訓練検体容器は、ホルダーなどによって、訓練(および試験)中に直立位置に保持されてもよい。ホルダーは、それぞれの画像の取得中に検体容器をほぼ垂直に直立した向きに保持する指または他の適切な物品を含んでもよい。いくつかの実施形態では、ホルダーはキャリアの一部であってもよい。
いくつかの実施形態では、訓練画像は、複数の視点(例えば、複数の横方向の視点)から訓練画像を取り込むように配置された複数の画像取込デバイスによって取得されてもよい。複数の訓練画像は、品質検査モジュールで取得されてよく、複数のスペクトルの照明(例えばバックライト)を提供されながら、複数の露出(例えば露出時間)で取り込まれてもよい。ここで、各スペクトルは異なる公称波長を持っている。
照明の複数のスペクトルは、例えば、赤(R)、緑(G)、および/または青(B)色光の放射光を含んでもよい。他の実施形態では、白色(W)、赤外線(IR)および/または近赤外線(NIR)を照明に使用してもよい。前述の照明源の任意の組み合わせを使用してもよい。照明はバックライト照明を含んでもよく、その場合、画像取込デバイスは片側に配置され、バックライト光源は検体容器の反対側に配置される。露出時間は、使用される照明強度とスペクトル、および画像取込デバイスの特徴に基づいて変えてもよい。複数の露出時間(例えば、4〜8の異なる露出)が、各スペクトル毎および各画像取込デバイス(つまり、各視点)毎に使用されてもよい。他の多数の露出が使用されてもよい。
画像データの前処理操作では、特定のスペクトル(異なる露出時間)での複数の取込画像の各対応するピクセル(またはパッチ単位の処理を使用している場合はパッチ)に対して、最適な画像強度を示すピクセル(またはパッチ)が選択されてもよい。最適な画像強度を示すこれらの選択されたピクセル(またはパッチ)も正規化されてよい。結果は、複数の統合および正規化されたカラー画像データセット、各明の各異なるスペクトル(例えば、R、G、B、W、IR、および/またはNIR)毎の1つの画像データセット、および各視点毎の1つの画像データセットであってよい。これらの統合および正規化されたデータセットは、訓練CNNへの層としてデータマトリックスの形式で提供されてもよい。適切に訓練されると、各試験検体から取得された画像(試験画像)は、HILNを決定するために試験CNNによって操作されることができる。いくつかの実施形態では、干渉物質のタイプ(HIL)の決定は、試験CNNからの出力として提供される。他の実施形態では、試験CNNの出力は、nクラスHILまたは通常(N)であってよい。
本発明の訓練方法および該訓練方法を実行するように構成された訓練品質検査モジュールのさらなる詳細は、本明細書の図1〜8を参照してさらに説明される。
図1は、検体212を含む複数の検体容器102(例えば、図2〜3Bを参照)を自動的に処理することができる検体試験装置100を示す。検体容器102は、輸送の前、および検体試験装置100の周囲に配置されている1つ以上の分析器(例えば、それぞれ、第1、第2、および第3の分析器106、108、および/または110)による分析の前に、積載エリア105の1つ以上のラック104に提供されてもよい。使用される分析器の数はより多くまたはより少なくすることができる。分析器は、臨床化学分析装置および/またはアッセイ機器などの任意の組み合わせであってもよい。検体容器102は、採血チューブ、試験管、サンプルカップ、キュベット、またはその中に含まれる検体212を収容および画像化することができる他の透明または不透明なガラスまたはプラスチック容器などの、適切に透明または半透明の任意の容器でよい。検体容器102は、上述のようにサイズが様々であってよい。
検体212は、検体容器102に入れられて検体試験装置100に提供されてもよく、検体容器102はキャップ214で蓋をされてもよい。キャップ214は、様々なキャップ色(例えば、赤色、ロイヤルブルー、淡青色、緑色、灰色、黄褐色、黄色、または色の組み合わせ)を有してもよく、これは、検体容器102が何の試験に用いられるか、そこに含まれる添加剤のタイプ、容器がゲルセパレータを含むかどうかなどの意味を持つことができる。他の色を用いてもよい。
各検体容器102はラベル218を備えてもよく、ラベル218は、バーコード、アルファベット、数字、またはそれらの組み合わせなどの識別情報218i(すなわち、しるし)をその上に含むことができる。識別情報218iは、検体試験装置100近くの様々な場所で機械読取可能であってもよい。機械読取可能な情報は、簡単に画像化できるコントラストを有するために、ラベルの材質(例えば、白)よりも暗く(例えば、黒)あってもよい。識別情報218iは、例えば、ラボラトリーインフォーメーションシステム(LIS)147を介して、患者の識別ならびに検体212に対して達成されるべき試験または他の情報を示してもよく、そうでなければそれらに相関付けされてもよい。このような識別情報218iはラベル218上に提供されてもよく、ラベル218は、チューブ215の外面に付着、またはそうでなければ、チューブ215の外側表面に提供されてもよい。図2の図示された実施形態では、ラベル218は、検体容器102の周り全体に延在していなくてもよく、または検体容器102の長さに沿った全体に延在していなくてもよい。したがって、示される特定の正面の視点から、血清または血漿部分212SPの大部分が明確に視認され得て、画像化され得て(点線で示される部分)おり、ラベル218によって遮蔽されていない。
しかしながら、いくつかの実施形態では、(検体容器102を扱った複数の施設からなどから)複数のラベル218が提供されている場合があり、それらはある程度重なり合っている場合がある。例えば、2つのラベル(例えば、製造業者のラベルとバーコードラベル)が提供され、重なり合っていて、一部の視点を遮蔽する(妨害する)場合がある。したがって、いくつかの実施形態では、ラベル218が検体212の一部分(遮蔽部分)を遮ることがあるが、検体212の一部分および血清および血漿部分212SP(非遮蔽部分)が、少なくとも1つの視点からは見え得ることを理解されたい。したがって、本開示の別の態様によれば、訓練方法を実行するように構成された訓練CNNの実施形態は、改善されたHILN検出が提供され得るように、遮蔽および非遮蔽部分を認識するように訓練され得る。
再び図2を参照すると、検体212は、チューブ215内に含有された血清あるいは血漿部分212SPおよび沈降血液部分212SBを含んでもよい。空気216は、血清および血漿部分212SPの上に提供されてもよく、それらの間の境界は、液体−空気界面(LA)として定義される。血清あるいは血漿部分212SPと沈降血液部分212SBとの間の境界は、血清−血液界面(SB)として定義される。空気216とキャップ214との間の界面は、チューブ−キャップ界面(TC)として定義される。チューブの高さ(HT)は、チューブ215の最底部からキャップ214の底までの高さとして定義されており、画像化されてチューブの高さを決定するために使用されてもよい。血清または血漿部分212SPの高さは(HSP)であり、血清または血漿部分212SPの上部から、沈降血液部分212SBの最上部までの高さとして定義される。沈降血液部分212SBの高さは(HSB)であり、沈降血液部分212SBの底部から、SBでの沈降血液部分212SBの最上部までの高さとして定義される。HTOTは、検体212の全高であり、HSPとHSBとを足したものに等しい。
ゲルセパレータ313が使用される場合(図3A)、血清または血漿部分212SPの高さは(HSP)であり、LAでの血清または血漿部分212SPの最上部から、SGでのゲルセパレータ313の最上部までの高さとして定義され、ここで、SGは、血清または血漿部分212SPとゲルセパレータ313との間の界面である。沈降血液部分212SBの高さは(HSB)であり、沈降血液部分212SBの底部から、BGでのゲルセパレータ313の底部までの高さとして定義され、ここで、BGは、沈降血液部分212SBとゲルセパレータ313との界面である。HTOTは、検体212の全高であり、HSPとHSBとゲルセパレータ313の高さとを足したものに等しい。それぞれの場合において、Twは壁の厚さ、Wは外幅であり、これは検体容器102のサイズを決定するためにも使用でき、Wiは検体容器102の内幅である。
より詳細には、検体試験装置100は、軌道121を取り付けることができる基部120(例えば、枠、床、または他の構造物)を含んでもよい。軌道121は、レール付き軌道(例えば、モノレールまたはマルチレール)、コンベアベルトの集合、コンベアチェーン、可動プラットフォーム、または任意の他の適切なタイプの搬送機構であってもよい。軌道121は、円形または任意の他の適切な形状であってもよく、いくつかの実施形態では、閉じた軌道(例えば、エンドレス軌道)であってもよい。軌道121は、稼働中に、軌道121の近くに空けられた様々な場所に、キャリア122に入った個々の検体容器102を輸送できる。
キャリア122は、受動的な、軌道121上で単一の検体容器102を運べるように構成されたな非電動化パック(puck)であってもよく、または任意選択で、軌道121の近辺を動き、事前にプログラムされた位置で停止するようにプログラムされたリニアモータなどの、内蔵駆動モーターを含む自動化キャリアであってもよい。他の構成のキャリア122が使用されてもよい。キャリア122はそれぞれ、規定された直立位置および向きで検体容器102を保持するように構成されたホルダ122H(図3B)を含んでもよい。ホルダー122Hは、検体容器102をキャリア122に固定する複数のフィンガーまたは板ばねを含んでもよいが、いくつかは、異なるサイズ(直径)の検体容器102の収容するために可動性または可撓性であってもよい。いくつかの実施形態では、キャリア122は、1つ以上のラック104から降ろされた後に積載エリア105から離れてもよい。積載エリア105は、事前スクリーニングおよび/または分析が完了した後に、キャリア122から積載エリア105への検体容器102の再積載も可能にする2重の機能を提供してもよい。訓練検体の送達とルーティングが同じ取り組みを使用してもよい。
ロボット124は、積載エリア105に設けられてもよく、1つ以上のラック104から検体容器102を把持し、検体容器102を軌道121の入流レーン上などのキャリア122上に積載するように構成されてもよい。ロボット124はまた、検体容器102をキャリア122から1つ以上のラック104に再装填するように構成されてもよい。ロボット124は、1つ以上(例えば、少なくとも2つ)のロボットアームまたはX(横)およびZ(垂直−紙面外、示されるように)、YおよびZ、X、Y、およびZ、またはr(放射状)およびシータ(回転)動作が可能なコンポーネントを含んでもよい。ロボット124は、門型ロボット、関節式ロボット、R−シータロボット、または他の適切なロボットであってもよく、ここで、ロボット124は、検体容器102を拾い上げて置くように、配向、サイズ決定、構成されたロボットグリッパーフィンガーを備えてもよい。
軌道121に装填されると、キャリア122によって運ばれる検体容器102は、第1の前処理ステーション125に進むことができる。例えば、第1の前処理ステーション125は、検体212の分別を実行するように構成された自動遠心分離機であってもよい。検体容器102を運んでいるキャリア122は、入流レーンまたは他の適切なロボットによって、第1の前処理ステーション125に方向転換されてもよい。遠心分離された後、検体容器102は、出流レーン上へ出るか、そうでなければロボットによって遠心分離機から除去され、軌道121に沿って存続することができる。図示の実施形態では、キャリア122内の検体容器102は、次に、本明細書でさらに説明されるように、訓練または事前スクリーニングを実行するために品質検査モジュール130に運ばれてもよい。各検体212のHILNの程度ならびにラック105内の容器サイズは、訓練中に既知になっており、したがって、ラベル218との関係を介して訓練CNNに提供されることができる。
品質検査モジュール130は、一旦訓練されると、事前スクリーニングするように構成され、試料212に含まれるH、I、および/またはLの存在およびできる限りに程度を、または試料が正常(N)かどうかを自動的に決定するように構成される。正常(N)だと見なされるような実質的に少量のH、I、および/またはLを含むことが判明した場合、検体212は軌道121上に存続し、次いで、1つ以上の分析器(例えば、第1、第2、および/または第3の分析器106、108、および/または110)で分析されてもよい。その後、検体容器102は、1つ以上のラック104に再積載するために積載エリア105に戻されてもよい。
検体試験装置100は、軌道121の周囲の1つ以上の場所に多くのセンサ116を含んでもよい。センサ116は、識別情報218i、または各キャリア122上に提供される同様の情報(図示せず)を読み取ることによって、軌道121上の検体容器102の位置を検出するために使われてもよい。近接センサなど、位置を追跡するための任意の適切な手段を使用してもよい。全てのセンサ116は、各検体容器102の位置が常に知られ得るように、コンピュータ143と接続することができる。センサ116は、訓練中に、訓練のために品質検査モジュール130にルーティングされた検体212を識別するために使用されてもよい。
前処理ステーションおよび分析器106、108、110は、軌道121からキャリア122を軌道121から除去するように構成されたロボット機構および/または入流レーン、ならびにキャリア122を軌道121に再投入するように構成されたロボット機構および/または出流レーンを備えてもよい。
検体試験装置100はコンピュータ143によって制御されてもよく、それは、様々なシステム構成要素を稼働させるための適切なメモリおよび適切な調整電子部品およびドライバを有する、マイクロプロセッサベースの中央処理装置CPUであってもよい。コンピュータ143は、検体試験装置100の基部120の一部として、またはそれとは別に収容されてもよい。コンピュータ143は、積載エリア105へのおよびからのキャリア122の移動、軌道121近辺での動き、第1の前処理ステーション125へのおよびからの動きならびに第1の前処理ステーション125(例えば、遠心分離機)の稼働、品質検査モジュール130へのおよびからの動きならびに品質検査モジュール130の稼働、各分析器106、108、110へのおよび各分析器106、108、110からの動きならびに様々なタイプの試験(例えば、アッセイまたは臨床化学)を実行するための各分析器106、108、110の稼働を制御するように稼働してもよい。訓練中、コンピュータ143は、訓練CNNの訓練を達成するために使用されてもよい。必要に応じて、別のコンピュータがモデル訓練を実行してもよい。
品質検査モジュール130を除く全てについて、コンピュータ143は、ソフトウェア、ファームウェア、および/またはハードウェアコマンドまたはニューヨークのターリータウンのシーメンスヘルスケア・ダイアグノスティクス株式会社によって販売されているDimension(登録商標)臨床化学分析装置で使用されるようなサーキットに従って、検体試験装置100を制御してもよい。そして、このような制御は、コンピュータベースの電気機械制御プログラミングの当業者にとって典型的であり、本明細書ではこれ以上説明しない。しかしながら、検体試験装置100を制御するために他の適切なシステムを使用してもよい。品質検査モジュール130の制御もコンピュータ143によって提供されてもよいが、本明細書で詳細に説明される方法による。特に、検体試験装置100の迅速な訓練を達成するための方法および装置が提供される。
本明細書に記載の特徴付け/試験および訓練方法のために実行される画像処理に使用されるコンピュータ143は、CPUまたはGPUと、十分な処理能力およびRAMと、適切な記憶装置とを含んでよい。一例において、コンピュータ143は、1つ以上のGPUと、8GB以上のRAMと、1テラバイト以上のストレージとを備えた、マルチプロセッサ装備のPCであってもよい。別の例において、コンピュータ143は、GPUを装備したPC、または任意選択で、CPUを装備した並列化モードで動作するPCであってもよい。MKLが、8GB以上のRAMおよび適切なストレージのみならず、使用できる。
本開示の試験実施形態は、ユーザが様々な制御およびステータス表示画面に容易かつ迅速にアクセスすることを可能にするコンピュータインターフェースモジュール(CIM)145を使用して実現されてもよい。これらの制御およびステータス表示画面は、検体212の準備および分析に使用される複数の相互に関連する自動化デバイスのいくつかまたは全ての態様を表示および制御可能にしてもよい。CIM145は、複数の相互に関連する自動化デバイスの動作状態に関する情報、ならびに任意の検体212の位置を示す情報、ならびに検体212に対して実行されるまたは実行されている試験の状態を提供するために導入されてもよい。したがって、CIM145は、オペレータと検体試験装置100との間のインターフェースを容易にするように適合されている。CIM145は、それらを通してオペレータが検体試験装置100とインターフェースし得るアイコン、スクロールバー、ボックス、およびボタンを含むメニューを表示するように適合された表示画面を含んでもよい。メニューは、検体試験装置100の機能的側面を表示および/または操作するようにプログラムされたいくつかの機能態様を含んでもよい。
迅速な訓練方法を詳細に説明する前に、訓練にも使用できる品質検査モジュール130の構成について説明する。図4A〜図4Bに示すように、HILN特徴付けならびに訓練方法を実行するように構成された品質検査モジュール130が提供される。品質検査モジュール130は、検体212を画像取込するように構成され、検体212(その血清または血漿部分212SP内)における干渉物質(例えば、H、I、および/またはLまたはN)の存在を、1つ以上の分析器106、108、110による分析の前に、事前スクリーニングするように適合されてよい。
ここで図1、4A、および4Bを参照すると、品質検査モジュール130の第1の実施形態が、複数の画像取込デバイス440A〜440Cを含んで示されている。3つの画像取込デバイス440A〜440Cが示され、好ましいものであるが、任意選択で、1つ、または2つ以上、または4つ以上の画像取込デバイスを使用することができる。画像取込デバイス440A〜440Cは、ピクセル化された画像を画像取込できる従来のデジタルカメラ、電荷結合デバイス(CCD)、光検出器のアレイ、1つ以上のCMOSセンサなどの、明確なデジタル画像を画像取込する任意の適切なデバイスであってもよい。例えば、図4Aに示される画像取込デバイス440A、440B、440Cは、3つの異なる横方向の視点(1、2、および3にラベル付けされた視点)から画像を取り込むように構成される。例えば、取り込まれた画像サイズは、例えば、約2560×694ピクセルであってもよい。別の実施形態では、画像取込デバイス440A、440B、440Cは、例えば、約1280×387ピクセルであろう画像サイズを画像取込してもよい。他の画像サイズおよびピクセル密度が用いられてもよい。
画像取込デバイス440A、440B、および440Cのそれぞれは、検体容器102の少なくとも一部、および検体212の少なくとも一部の横方向画像を取り込むように構成され、操作可能であってもよい。例えば、画像取込デバイス440A〜440Cは、図3Bに示されるような、ラベル218の一部および血清または血漿部分212SPの一部または全部を含む画像315を取り込むことができる。例えば、いくつかの例では、視点1〜3の一部がラベル218によって部分的に遮蔽されていてもよい。いくつかの実施形態では、視点1〜3のうちの1つまたは複数が完全に遮蔽されていてもよく、すなわち、血清または血漿部分212SPの明確な視野が無いことが可能である。ただし、視点1−3の側面(前面または背面)が1つ以上のラベル218によって完全に遮蔽されている場合であっても、適切に訓練されると、特徴付け方法は、1つ以上の遮蔽しているラベル218を通して、血清または血漿部分212SPの境界を依然として区別することができる。
示される実施形態では、複数の画像取込デバイス440A、440B、440Cは、画像取込場所432で、複数の視点1〜3から、検体容器102および検体212の横方向の画像を取り込むように構成される。図示されるように、視点1〜3は、互いに約120°などのように、互いにほぼ等間隔になるように離間されてもよい。図示されているように、画像取込デバイス440A、440B、440Cは、軌道121の周囲に配置することができる。画像取込デバイスの他の配置で使用されてもよい。このようにして、検体容器102が画像取込場所432でキャリア122内にある間に、検体容器102内の検体212の画像を取得することができる。画像取込デバイス440A、440B、および440Cによって取得された複数の画像の視野は、円周方向にわずかに重なり合っていてもよい。
1つ以上の実施形態では、キャリア122は、画像取込場所432などの品質検査モジュール130内の所定の位置、すなわち、画像取込デバイス440A、440B、440Cのそれぞれからの法線ベクトルが交差する点などで停止してもよい。ゲートまたはキャリア122のリニアモータが、複数の品質の画像を取り込むことができるように、画像取込場所432でキャリア122を停止することができるように提供されてもよい。訓練画像は、訓練中に画像取込場所432で取り込まれてもよい。品質検査モジュール130にゲートがある実施形態では、1つ以上の(センサ116のような)センサが、品質検査モジュール130でのキャリア122の存在を判定するために用いられてもよい。
画像取込デバイス440A、440B、440Cは、画像315のサイズを有する画像位置432での画像ウィンドウを取り込むために近接および焦点を合わせて、提供されてもよい。ここで、画像ウィンドウは、検体容器102の予想される場所を含むエリアである。したがって、いくつかの実施形態では、検体容器102は、それが画像ウィンドウのほぼ中央に、そしてこのように画像315の中央に配置されるように停止されてもよい。
品質検査モジュール130の操作において、コンピュータ143によって送信される通信線443A、443B、443Cで提供されるトリガー信号に応答して、各訓練および試験画像の取込が引き起こされて実行されてもよい。取り込まれた画像のそれぞれは、コンピュータ143によって処理されてもよい。特に効果的な方法の1つにおいては、高データレート(HDR)処理が、画像データの取り込みと、取り込まれた画像からの画像データ処理とに用いられてもよい。より詳細には、1つ以上の異なるスペクトルで順次照明されている間に、複数の異なる露出(例えば、異なる露出時間)で、品質検査モジュール130で検体212の複数の画像が取り込まれる。例えば、各画像取込デバイス440A、440B、440Cは、複数のスペクトルのそれぞれにおける異なる露出時間での、血清または血漿部分212SPを含む検体容器102の4〜8の画像を取得してもよい。例えば、検体212が赤色のスペクトルを有する光源444Aでバックライト照明されている間に、視点1で画像取込デバイス440Aによって4〜8の画像を取得してもよい。各画像は露出が異なっていてもよい。追加の同様の画像は、例えば、視点2および3で順次取得されてもよい。
いくつかの実施形態では、複数のスペクトル画像は、異なるスペクトル照明を放つ異なる光源444A〜444Cを使用して達成されてもよい。光源444A〜444Cは、(図示のように)検体容器102をバックライト照明してもよい。複数の異なるスペクトル光源444A−444Cは、634nm+/−35nm(赤)、537nm+/−35nm(緑)、および455nm+/−35nm(青)の公称波長を放つLEDなどの、RGB光源であってもよい。他の実施形態では、光源444A〜444Cは、白色光源であってもよい。ラベル218が複数の視点を遮蔽する場合には、IRバックライトまたはNIRバックライトが任意で使用されてもよい。さらに、RGB光源は、ラベル遮蔽が存在する場合でさえも、使用されてもよい。他の実施形態では、光源444A〜444Cは、約700nm〜約1200nmの公称波長を有する1つ以上のスペクトルを放ってもよい。
非限定的な例として、第1の波長で画像を取り込むために、3つの赤色光源444A〜444C(約634nm+/−35nmの波長)を、3つの横方向位置から検体212を順次照明するために使用してもよい。光源444A〜444Cによる赤色照明は、異なる露出時間での複数の画像(例えば、4〜8画像以上)が各視点1〜3から各画像取込デバイス440A〜440Cによって取り込まれるときに起きてもよい。いくつかの実施形態では、露出時間は約0.1ミリ秒から256ミリ秒の間であってもよい。他の露出時間を用いてもよい。いくつかの実施形態では、各画像取込デバイス440A〜440Cの各画像のそれぞれは、例えば、連続して取得されてもよい。したがって、各視点1〜3に対して、赤色のスペクトルバックライト照明および複数(例えば、異なる露出時間などにおける4〜8の露出)の画像のグループが順次得られる。画像は、例えば、視点1からの全ての画像が取得され、連続して視点2および3が続き、コントローラ143のメモリに保存されるラウンドロビン方式(a round robin fashion)で取得されてもよい。このシーケンスは、訓練画像に対して、ならびに後の取り込まれた試験画像に対して達成されてもよい。
各実施形態では、品質検査モジュール130は、外部照明の影響を最小限に抑えるために軌道121を少なくとも部分的に取り囲むかまたは覆うことができるハウジング446を含んでもよい。検体容器102は、画像取得シーケンス中はハウジング446の内部に配置されてもよい。ハウジング446は、キャリア122がハウジング446に入ることおよび/または出ることを可能にするための、1つ以上のドア446Dを含んでもよい。いくつかの実施形態では、上から可動ロボットフィンガーを含むロボットによって検体容器102がキャリア122に積載されるように、天井は開口部4460を含んでもよい。
図4A〜4Bの実施形態で赤色照明画像が一旦取り込まれると、別の光のスペクトル、例えば緑色スペクトル光源444A〜444C(約+/−35nmの帯域幅の公称波長約537nm)が順次点灯されてもよく、そして露出時間が異なる複数の画像(例えば、4〜8以上の画像)が、各画像取込デバイス440A、440B、440Cによって順次取り込まれてもよい。これは、各画像取込デバイス440A、440B、440Cに対して、青色スペクトル光源444A〜444C(約+/−35nmの帯域幅の公称波長約455nm)を用いて繰り返されてもよい。異なる公称波長スペクトル光源444A〜444Cは、例えば、選択的に点灯および消灯することができる異なる所望のスペクトル光源(例えば、R、G、B、W、IR、および/またはNIR)の並びを含む光パネルによって作り上げることができる。他のバックライト手段が使用されてもよい。
それぞれの波長スペクトルに対して複数の露出(例えば、露出時間)で取得された複数の画像は、例えば、複数の視点1〜3からの検体容器102および検体212のバックライト付き画像の全収集物を数秒未満で得ることができるようになど、迅速に連続して得られてもよい。一例では、画像取込デバイス440A、440B、440CとRGB光源444A−444Cによるバックライトとを使用した、3つの視点1〜3の各波長毎に4つの異なる露出の画像は、4画像×3スペクトル×3画像取込デバイス=36画像になる。別の例では、画像取込デバイス440A、440B、440CおよびR、G、B、W、IR、NIR光源444A〜444Cによるバックライトを使用した、3つの視点での各波長毎の4つの異なる露出の画像は、4画像×6スペクトル×3カメラ=72画像になる。このシーケンスは、後で説明するように、訓練や試験に使用できる。
特徴付け方法の実施形態によれば、画像データの処理は、各スペクトルおよび各視点1〜3に対する最適に露出された画像データを生成するために、例えば、各波長スペクトルでの異なる露出時間での、および各画像取込デバイス440A〜440Cに対する、複数の取込画像からの最適に露出されたピクセルの選択等の前処理ステップを含んでもよい。これは、本明細書では「画像統合(image consolidation)」と呼ばれる前処理ステップである。
各対応するピクセル(またはパッチ)毎に、各画像取込デバイス440A〜440Cからの画像のそれぞれ毎に、最適な画像強度を示すピクセル(またはパッチ)が、視点1〜3のそれぞれ毎の異なる露出画像のそれぞれから選択されてもよい。一実施形態では、最適な画像強度は、例えば、強度が所定の範囲内(例えば、0〜255のスケールで180〜254の間)にあるピクセル(またはパッチ)であってもよい。別の実施形態では、最適な画像強度は、例えば、0〜255のスケールで16〜254の間であってもよい。2つの露出画像の対応するピクセル(またはパッチ)位置にある1より多いピクセル(またはパッチ)が最適に露出されていると判断された場合、2つの内の高い方が選択される可能性がある。
最適な画像強度を示す選択されたピクセル(またはパッチ)は、それぞれの露出時間によって正規化されてもよい。結果は、照明スペクトル(例えば、用いられた組み合わせに応じて、R、G、B、白色光、IRおよび/またはNIR)毎の、各画像キャプチャデバイス440A〜440C毎の、複数の正規化および統合されたスペクトル画像データセットである。ここで、全てのピクセル(またはパッチ)は、最適に露出され(例えば、スペクトル毎に1つの画像データセット)、正規化されている。言い換えれば、各視点1〜3毎に、コンピュータ143によって実行されたデータの前処理は、使用された各照明スペクトル毎に、最適に露出され正規化された複数の画像データセットをもたらす。この方法で取得されたデータセットは、訓練と試験(システムが訓練された後で)の両方に使用できる。
訓練方法を実行するように構成された訓練装置500TRの一実施形態の機能コンポーネントが図5Aに示されている。訓練装置500TRは、品質検査モジュール130として具現化され、訓練装置として構成されてもよい。上述したように、検体212を含む検体容器102は、品質検査モジュール130の画像取込場所432(図4A〜4B)に提供される。各検体容器タイプの複数の訓練画像は、訓練検体212を含みながら取り込まれることができる。訓練画像は、画像取込場所(例えば、画像取込場所432)または画像取込場所432と同じ照明条件の同様の場所で取得される。
複数スペクトル、複数露出の画像は、1つ以上の画像取込デバイス(例えば、画像取込デバイス440A〜440Cまたはそのサブセット)によって504で取り込まれる。複数スペクトル、複数露出の画像のそれぞれの画像データは、統合され、最適に露出され、正規化された複数の画像データセット(以下、「画像データセット」)を提供するために、上述のように506で前処理されてもよい。訓練方法に続いた試験中、試験検体212から同様に生成された画像データセットは、層として(行列として)供給され、前以てHILN間の認識と分類とを訓練された試験CNN500TEの試験CNN535(図5B)に入力されてもよい。結果として、任意の画像化された検体212の血清または血漿部分212SPのHILNの決定が提供されてもよい。
(試験に先行する)訓練方法の間に、訓練検体212の複数セットが、訓練CNN535TRを訓練するために使用される。訓練CNN535TRは、訓練検体212を含む多数の検体容器102を(例えば、品質検査モジュール130またはその実質的な複製を用いて)画像化することによる訓練方法に従って訓練される。検体画像の数は、数千(例えば、5,000以上、10,000以上、またはさらには15,000以上)を含んでもよい。画像は、上述のように504で取得され、506で画像の統合および正規化を提供するための画像データの前処理を含んでもよい。グラウンドトゥルースラベル508は、訓練CNN535TRへの訓練入力として、画像取込デバイス504から取り込まれた画像に加えて、各訓練検体212に対応するHILN値(例えば、干渉物質のタイプおよび/またはHIL指標のグラデーション)を確立するために、提供される。検体容器102のサイズもまた、訓練入力であってもよい。
図示された実施形態では、試験CNN535(図5B)の所望の結果は、nクラス溶血性、nクラス黄疸、nクラス脂肪血症、および正常(N)である。したがって、入力値としてのグラウンドトゥルースラベル508は、予想されるHILおよびNの値の範囲全体にわたるHILおよびNの値を含むだろう。グラウンドトゥルースラベル508として入力されるHILN訓練値は、干渉物質のタイプあるいはNと干渉物質が存在するならば場合によってはその指標とを提供する為の個別のHILN試験を介して、各訓練検体212に対して事前に決定されている。試験CNN535では、試験CNN535の出力は、溶血性、黄体性、および脂肪血性のそれぞれとN正常の1つに対して、nセット点値(nは整数値)にマッピングされてもよい。nの値は、例えば、3と7の間であってよい。しかしながら、他の値のnが使用されてもよい。例えば、試験CNN535の結果は、各n毎の特定の事前確立された範囲内にあることに基づいて(例えば、n=3に対しては、範囲は+/−16.5%であってよい)、特定の結果に割り当てられてもよい。試験CNN535の利用可能な出力の1つにマッピングするために、任意の適切な集約方式が採用されてもよい。
再び図5Aを参照すると、訓練CNNの500TRは、領域候補生成器511を用いて領域候補319(図3C)を生成してもよい。領域候補319は、ランダムに生成された領域であり得て、これは、画像315のエリアのサブ領域である。領域候補319は、エリアおよび位置が訓練検体212の血清または血漿部分212SPに対応する画像315内の領域の推定を提供する試みである。領域候補生成器511で生成された領域候補319は、適切な手段によって生成することができる。一実施形態では、領域候補319は、領域候補生成器511によってランダムに生成することができる。例えば、領域候補319は、図3Cに示されるように、画像315上に重ねられる仮想グリッド317から、任意の適切な手段を介して、サブ領域(例えば、長方形のボックス)をランダムに選択することにより生成されてもよい。
仮想グリッド317は、X方向に沿って配置された厚さT、Y方向に沿って配置された高さHの複数のグリッド要素317Gを含んでもよい。例えば、仮想グリッド317のX方向のTのグラデーションの数は、検体容器102の幅に沿って、約10から約20単位幅の間であってよく、一方、Y方向のHのグラデーションの数は、検体容器102の長さ/高さに沿って20から40単位の間であってよい。XおよびY方向に他の数のグリッド要素317Gを使用することが可能である。XとYのグラデーションは、各訓練検体212の血清または血漿部分212SPのエリアの良好な表記(例えば、90%以上の一致領域)が見つけられ得るように十分に細かくする必要がある。図3Cを参照すると、悪い領域候補319Bの例は、画像315の左上の領域に長方形のボックスとして示されており、一方、良い領域候補319Gは、位置とサイズが、血清または血漿部分212SPのエリアと密接に対応して示されている。511で十分なランダムな候補が生成されると、最終的に、訓練画像315のそれぞれは、適切に近い領域候補319とほぼ一致する、すなわち、血清または血漿部分212SPのエリア、場所、および形状とほぼ一致する。
領域候補は、任意の適切な手段によって生成されてもよい。いくつかの実施形態では、仮想グリッド317内の2つのノード317Nをランダムに選択することにより、領域候補319の対角コーナーが生成されてもよい。選択されたノードは、領域候補319のはす向かいのコーナーである。領域候補319のノード/コーナーを選択するために、任意の適切な選択スキームが用いられてもよい。例えば、悪い領域候補319Bを参照すると、左下ノード(X1、Y1)および右上ノード(X2、Y2)がランダムに選択され、仮想グリッド317内の領域候補319の左下および右上コーナーを定義することができる。複数のそのような領域候補319(例えば、数千)が生成されてもよい。このように、様々な長方形形状(幅および高さ)および仮想グリッド317内の位置の領域候補319が生成され、仮想グリッド317内の複数の異なるサブ領域を包含することになる。幾つかの領域候補319は、特定の訓練検体212の血清または血漿部分212SPのエリアと良好に適合するであろうが(例えば、良好な領域候補319G)、一方、他はそうでない(例えば、悪い領域候補319B)。何千もの画像315が取り込まれて処理され、何千もの領域候補319が領域候補生成器511によって生成されるであろう。
当然のことながら、領域候補319の適合が試験/検証され、訓練検体212の血清または血漿部分212SPの領域と最も適合(「一致」)した領域候補319(例えば、トップ2,000以上の領域候補)が選択される。いくつかの実施形態では、領域候補生成器511は、同じ長方形の領域候補が決して二度生成されないように構成されてもよい。仮想グリッド317内の領域候補319の長方形形状を選択するための他の手段が使用されてもよい。例えば、中央ノード317Nが選択され、次いで、ランダムな幅およびランダムな高さが、各領域候補319を生成するためにランダムに選択されてもよい。
領域候補319を血清または血漿部分212SPの関連エリアへと導くために、適切な賢い収束スキームを使用してもよい。例えば、様々な手段を使用して、領域候補319が生成される仮想グリッド317内の領域を縮小または制限してもよく、そうでなければ仮想グリッド317のサイズを縮小してもよい。例えば、図3Dに示されるように、検体容器102の幅Wの知見があれば、仮想グリッド317のサイズを幅Wを包含する領域のみに制限することができる。例えば、検体容器102の幅Wは、508においてグラウンドトゥルースラベルとして提供されてもよい。
次に、領域候補319は、図5Aに示すように、訓練中にニューラルネットワークへの(例えば、訓練CNN535への)入力として提供される。領域候補319の生成は自動的であり、従来技術で必要であったようなオペレータによるグラフィカルな入力(例えば、グラフィカルな輪郭のアノテーション)を必要としない。
いくつかの実施形態では、領域候補生成器511によって領域候補319が生成される元である仮想グリッド317の開始サイズをさらに制限するために、血清または血漿212SPの領域の既知のサイズおよび位置に関する履歴データを使用してもよい。数千の訓練画像315に加えて、サイズと場所が異なる数千の領域候補319が訓練中に訓練CNN535に送られる。適切な数の画像315と領域候補319を入力した後、前述のとおり、それまでに入力された領域候補319がニューラルネットワーク(例えば、CNN535)の十分なパフォーマンスを提供するかどうかを判断する為に、ニューラルネットワークの収束の度合い(例えば、訓練CNN535)を試験することができる。
領域候補317が訓練検体212の血清または血漿部分212SPと良好に一致するかどうかを試験/検証するために、様々な領域候補319内の強度勾配を分析することができる。例えば、各訓練画像315の各グリッド要素317Gは、ピクセルの複数の行および列を含んでもよく、各ピクセルは、各スペクトルに関連する強度値を有してもよい。領域候補317の特定の部分は、比較的高い強度勾配を有するグリッド要素317Gを含み得る。そのような強度勾配は、ピクセル(または特定のグリッド要素317G内のパッチ)の平均強度であってもよい。
各領域候補319は、各領域候補319内の光強度の勾配の審査等のフィルタリングによって試験/検証されてもよい。例えば、一致の程度は、訓練画像315の幾つかの領域内のみの光強度の勾配を審査することによって識別されてもよい。例えば、各領域候補317の周辺境界に沿った勾配が最初に定量化されてもよい。領域候補317の1つ以上のサブ領域内の比較的高い勾配は、例えば、液体−空気界面(LA)、血清−血液界面(SB)、または血清−ゲル界面(SG)などの界面の存在に相関し得る強度の変化を示す。したがって、上部界面(LA)および/または下部界面(SB)または血清−ゲル界面(SG)は、そのサブ領域内で識別されている強度の変化と画像315で入力されたグラウンドトゥルースラベル508とに基づいて、識別されてもよい。
いくつかの実施形態では、生成された領域候補319(例えば、長方形の形状を有する)の周囲に沿って位置する仮想グリッド317内の個々のグリッド要素317G内の強度勾配は、定量化されてもよい。領域候補319の周辺に位置するグリッド要素317Gのそれぞれに対するこれらの強度勾配値(例えば、平均強度勾配)は、各領域候補319毎に合計、および/または合計ならび平均されてもよい。大きな合計または平均は、画像化された血清または血漿部分212SPと領域候補319との間に良好な相関関係(例えば、良好な一致)があることを意味し得る。小さな合計または平均は、相関性が低い(例えば、不十分な一致)ことを意味し得る。したがって、複数の領域候補319から、複数の最良な領域候補(例えば、数千の最良な一致の領域候補)が、入力された訓練画像315との「一致」の程度に基づいて選択されてもよい。すなわち、最も高い合計または平均を有する領域候補319が選択され、他の候補は破棄されるか使用されない。
例えば、画像315において、液体−空気界面LAは、グリッド317Gの特定の範囲の行(例えば、履歴データに基づいて)と検体容器102の既知のサイズとの間に位置すると予想される。同様に、血清−血液界面SBは、グリッド317Gの別の範囲の行の間に存在すると予想される(例えば、再び履歴データに基づく)。ゲルセパレータ313が提供される場合、血清−ゲル界面SGは、グリッド317Gのさらに別の範囲の行の間に存在すると予想される。横寸法に沿って、グリッド要素317Gに対する強度の変化は、チューブ215のエッジ(チューブ/空気界面)が存在すること、またはラベル218のエッジが存在することを意味し得る。訓練CNN535TRは、HDR画像に見える利用可能な勾配強度情報を使用してバウンディングボックスの仮設を検証することにより、血清または血漿部分212Pに対応するであろう領域候補319を自動的に決定する。検体212に見える様々な領域の特性により、流体領域(例えば、血清または血漿部分212SP)と空気216との間の変わり目は、明確な強度勾配をもたらし、これを定量化して、バウンディングボックスの候補が変わり目を捕捉するかどうかを検証するために使用することができる。沈殿した血液部分212SB、ゲル部分313、または空気216などの領域を、訓練中に候補生成の一部として選択してもよい。しかしながら、訓練中のSoftMaxの分類部の損失を縮小するには内容が十分に識別可能ではないために、学習プロセスの収束は満たされないであろう。
これらの領域におけるグリッド要素317G内の強度の変化は、このような界面または側面が存在することを示し得る。界面の存在は、グリッド317の行に沿ってまたは列に沿ってなどのパターンとしてグリッド317内に存在している強度勾配によって、さらに確認することができる。強度勾配は、周囲に沿ったグリッド要素317Gの平均強度値を比較することによって決定されてもよい。血清または血漿部分212SPが存在し得る領域として特定される仮想グリッド317のグリッドサブ領域が、実行可能な領域のみにさらに限定するために審査され、一方で、予想されるサブ領域の外側のそれらのグリッド要素317Gは無視されてもよい。例えば、グラウンドトゥルースラベル508にチューブの高さHTが含まれている場合、キャップ214または沈殿した血液の部分212SBのみを含むことができるエリアは無視でき、領域候補319を、これらのエリアを含まないグリッド317のサブ領域からのみ選択することができる。例えば、グリッド317の特定の領域を選択し得て除外するために、仮想マスクまたは他の仮想手段を使用してもよい。他の実施形態では、検体容器102の幅Wの知見をグランドトゥルースラベル508として、仮想グリッド317のサイズを縮小する為に用いることができる。したがって、試験/検証に利用できる領域候補319の選択肢が少ないおかげで、収束はより速くなるはずである。直径および/またはチューブ高さの入力がグラウンドトゥルースラベル508として訓練方法中に一度提供され、その後に同じサイズの多数の検体を使用した訓練を、別のサイズに切り替える前に行うことができる。したがって、直径および/または高さの入力は、サイズが変更されたときのグラウンドトゥルースラベル508としての入力のみを必要とする。
図5Bの本実施形態では、出力529での試験CNN535からの出力は、各溶血性のnクラス(H1〜H3)、黄疸のnクラス(I1〜I3)、および脂肪血症のnクラス(L1〜L3)である。529での試験CNN535からの通常(N)としての出力も利用できる。訓練と同様に試験中に、品質検査モジュール130は、試験検体212の血清または血漿部分212SPを含む検体容器102の複数の画像を取り込むように構成された画像取込デバイス(例えば、440A〜440C)を備えることができる。画像取込デバイスに接続されたコンピュータ143は、複数の画像からニューラルネットワーク(例えば、図5Bの試験CNN535)に画像データを入力するように操作され、血清または血漿部分の領域候補を生成するように構成されることができる。領域候補は、領域候補生成器511によって生成されてもよい。バウンディングボックスリグレッサ515は、領域候補319を、試験検体212の血清または血漿部分212SPの実際のサイズ、形状、および位置に収束させるように機能してもよい。バウンディングボックスリグレッサ515は、入力された領域候補319をリグレッサ515の応答(ネットワークの出力)と幾何学的に比較することにより収束する。もし適切なエリアの一致が得られたならば、リグレッサ515は収束している。80%を超えるエリアの一致は一致と見なすことができるが、さらに高いパーセンテージ(例えば、90%を超える、95%を超える、97%を超えるなど)は、より正確な結果を与えることができる。ニューラルネットワーク(試験CNN535)からの出力は、血清または血漿部分212SPの、溶血性、黄疸、脂肪血症、および正常の1つ以上であるとする分類である。
領域候補生成器511によって生成された領域候補319内のそれぞれ(ピクセルまたはパッチ)は、試験CNN535によって処理され、HILNのうちの1つへの出力を有する。これらのピクセル毎(またはパッチ毎)の結果は、出力チャンネル(例えば、1〜10)にマップされ、任意の適切な方法とHILNのどれが最終の領域候補内で最も高いカウントであるかに基づいて決定されたHILNとによって、合計または集約される。
HILNへの改善された最終投票を提供するために、いくつかの実施形態では、他の視点(例えば、視点1〜3)からカウントを精査するための後処理が提供されてもよい。したがって、全ての発生(カウント)にわたるヒストグラムを生成することができ、全ての視点を考慮した検体212の平均HILNを生成することができる。
より詳細には、以前の訓練中と同様に、試験中に、複数のスペクトル、複数の露出の、統合および正規化された画像データセットが、画像データセットとして試験CNN535に入力され、試験CNN535によって操作および処理される。試験CNN535による処理の出力は、HILまたはNのそれぞれに対しての、そしてもちろん各視点に対しての、複数の出力の可能性(nクラス)であってもよい。
試験装置500TEの場合、HILNに対するチャンネル毎の信頼レベル(CL)を使用してもよい。ここで、529の各チャンネル1〜10は、特定のクラスタイプ(例えば、H1、H2、H3、I1、I2、I3、L1、L2、L3、およびN)に相関がある。したがって、バウンディングボックスリグレッサ515によって決定された最終の領域候補(一致候補)の各ピクセル(またはパッチ)に対して、出力されたクラス(H1〜N)が提供される。これらのピクセル毎(またはパッチ毎)の出力は、出力529において、各チャンネル(例えば、示されたチャンネル1〜10)の結果を合計、そうでなければ処理し、利用可能なクラス(例えば、H1、H2、H3、I1、I2、I3、L1、L2、L3、およびN)からHILNの全体的な決定に到達する為に、任意の適切な後処理ルーチンによって集約されてもよい。最終的なピクセルクラス=最大CLなどの任意の適切な投票方式を使用し、その後に血清または血漿部分212SPの最大CLの数を合算してもよい。これと同じ処理が、視点毎に実行されてもよい。使用された様々な視点の分類結果は、合計されるか、そうでなければ統合または平均化されてもよい。
使用可能な訓練CNN535TRおよび試験CNN535の1つの例示的なアーキテクチャが図5A〜5Bに示されている。ここで説明するCNNは、バークレービジョンアンドラーニングセンター(BVLC)から入手可能なCaffe、Theano、数式の高速計算用Pythonフレームワーク、TensorFlow、Torchなどの任意の適切な科学計算フレームワーク、プログラム、またはツールボックスを用いてコード化されてもよい。
より詳細には、CNN535TR、535は、深層学習(deep learning)を提供するために適切な数の操作層を含んでもよい。例えば、CNN535TR、535は、畳込(Conv1、Conv2)およびプーリング(プール1およびプール2)を含む少なくとも2つの層、および少なくとも2つの追加の完全畳込(FC)層を含むアーキテクチャを備えていてもよい。図示された実施形態では、2つの操作層538、540および1つの追加の操作層542を提供することができる。完全畳込(FC)層は、少なくとも2つの操作層538、540の後と、バウンディングボックスリグレッサ515およびSoftMax548のそれぞれの前とに提供されてもよい。損失層544は、訓練CNN535TR内に提供されてもよく、バウンディングボックスリグレッサ515およびSoftMax548を含んでもよい。CNN535TR、535の説明されたアーキテクチャは、各それぞれの画像に対して適切な領域候補319を見つけるために使用されてもよい。当然、リグレッサ515は、血清/血漿部分212SPの潜在的なバウンディングボックスのアノテーションを提供する。訓練中に、バウンディングボックスの候補(領域候補319)がリグレッサ515に提供される。結果は、画像の内容を考慮した結果としてネットワークによって与えられる。リグレッサ515への入力と収束したバウンディングボックスとの間の偏差が与えられた最小誤差に到達している(例えば、4つのコーナー点間の適切な低い幾何学的差異または適切なパーセンテージよりも大きい%エリアの一致)ならば、それは与えられた入力画像のセット(例えば、10,000の訓練検体212)とともに堅実に算出されているに違いなく、リグレッサ515は収束していると仮定されることができる。
試験CNN535では、一旦適切な領域候補319が取得されると、チャンネル1〜10での出力を決定して529で出力を集約して後処理するために、その領域候補の画像データの各層は、移動ウィンドウの接近によってスキャンされてもよい。出力は、任意の適切な投票スキームに基づいて集計されてもよい。入力パッチの移動ウィンドウは、例えば、64×64パッチ(64×64ピクセル)であってもよい。ただし、他のサイズのパッチを使用することもできる。例えば、3つの主要な操作層(Conv1+プール1、Conv2+プール2、およびConv3+プール3)が示されている。第1の層538は非常に局所的な構造のエッジを抽出することができ、第2の層540はエッジの組み合わせであるテクスチャを学習することができ、そして、第3の層542は部品を形成することができる。CNN535、535TRの層538、540、542のそれぞれは、処理されるマルチチャンネル入力(例えば、複数のスペクトル、複数の露出の情報)から恩恵を得る。様々な入力層、特に3つの入力層(例えば、RGB)に対するこれらの操作は、深層学習ネットワークで簡単に取り扱い、表現することができる。このフレームワークは、低、中、高レベルの特徴を自然に集積し、多層分類へと導く。訓練CNN535TRから得られた特徴(例えば、訓練重みを備えたネットワーク)は、コンピュータ143に保存され、後の試験に使用することができる。訓練は、訓練CNN535TRで適切な信頼が達成されるまででよい。
再び図5Aおよび5Bを参照すると、CNN535TR、535は、畳込層(Conv1)を含む第1の層538を含むことができ、それは例えば、サイズが5×5×12の10個のフィルタを含んでもよい。他の数のフィルタおよびフィルタサイズを用いてもよい。結果の10個の特徴マップは、次いで最大プーリング(プール1)に送られる。最大プーリングは、最大2×2を超える空間的近傍を1のストライドとともに、チャンネル毎に個別に取得するであろう。この層の目的は、特に単純なエッジなど、低レベルの特徴を抽出することである。これに、サイズ5×5×20の10個のフィルタを持つであろう畳込層(Conv2)を含む2番目の層540と、最大3×3を超える空間的近傍を2のストライドとともに取得するであろう最大プーリング層(プール2)とが続く。第2層540の目的は、テクスチャを形成するための単純なエッジの異なる組み合わせを学習することである。その後、結果の特徴マップは、パーツを形成するためのテクスチャの組み合わせを学ぶために、サイズが3×3×20の20のフィルタを持つであろう畳込層(Conv3)と、最大2×2を超える空間近傍を2のストライドとともに取得するであろう最大プーリング層(プール3)とを含む第3層542に送られる。前述の最大プーリング層は、畳込ネットワークの出力を、ローカル変換に対してより堅牢にする。最後に、最上層は完全畳込(FC)層であり、各出力ユニットは全ての入力に接続されている。これらの層は、パーツ間の相関を取り込むことができる。最後の完全畳込層(FC)の出力は、nクラスの出力チャンネルを超えた分配を生成するn路(n−way)のSoftMax(ここで、n=3は可能な出力クラスの数)に送られる。要するに、各パッチが訓練されたCNN535で分類されている入力パッチの移動ウィンドウは、nクラスの1つに応答を与える。バウンディングボックスリグレッサ515による回帰後に見い出された最終的な領域候補は、分類される領域を識別する。この領域外の全ての領域は無視される。対応する画像データセットの分類は、これらの出力からの過半数の投票結果に基づいてもよい。複数の視点の結果の平均化などによって信頼できる決定を得る為に、視点毎の結果が複数の視点に集約できる追加のステップが適用されてもよい。
図6Aおよび6Bは、画像取込デバイス440A、440B(図6Dを参照)の、第1の視点1および第2の視点2からの前面の意味的な画像615A、615Bを示す。図6Aおよび6Bでは、血清または血漿部分212SPの一部はラベル218によって遮蔽され、光源444A、444B(図6D)から照射されたバックライトの幾部分は背面図ラベル218Bによって遮蔽されている(すなわち、遮蔽されている血清または血漿部分212SPの部分は点線で示されている)。
図6Cは、画像取込デバイス440C(図6D)の視点3からの前面の意味的な画像615Cを示す。図6Cでは、血清または血漿部分212SPの全てが、視点3からのラベル218によって遮蔽されている。これらの視点1、2、3のそれぞれに対して、試験CNN535は、血清または血漿部分212SPのHILNを出力してもよい。さらに、特徴付け方法は、各視点1、2、3の結果を集約して、HILNの全体的な決定を提供してもよい。いずれの場合も、試験CNN535は、視認可能だが背面図ラベル218Bで遮蔽された領域でもある血清または血漿部分212SPに取り入る。
したがって、試験CNN535TEは529でnクラスの出力またはNを出力する。例えば、もしも最終の領域候補からのピクセル(またはパッチ)の過半数がNとして分類されるならば、血清または血漿部分212SPは正常である(N)として分類されてよい。もしもピクセル(またはパッチ)の過半数がHとして分類されるならば、血清または血漿部分212SPは溶血を含むものとして分類されてよい(例えば、H1、H2、またはH3にマッピングされる)。同様に、もしも最終決定された領域候補のピクセル(またはパッチ)の過半数がIまたはLとして分類されるならば、血清または血漿部分212SPは黄疸(例えば、I1、I2、またはI3にマッピングされる)、または脂肪血症(例えば、L1、L2、またはL3にマッピングされる)として分類されてよい。いくつかの実施形態では、重み付けされた多数決方式も、HILN結果からの確率(CL)を重みとして使用して、検体212を分類するために使用されてもよい。血清または血漿部分212SPを全体として特徴付けるために他の手段が用いられてもよい。
図7は、本開示の実施形態による訓練方法700のフローチャートを示している。訓練方法700は、品質検査モジュール130(またはその実質的な複製)によって実行されてもよく、そして本明細書に記載されるようにニューラルネットワーク(例えば、訓練CNN535TR)を訓練するように操作可能である。特に、訓練方法700は、1つ以上の実施形態に従って、検体212の血清または血漿部分212SPの干渉物質(例えば、H、I、および/またはL)の存在または正常性Nを決定するための試験ニューラルネットワーク(例えば、テストCNN535)の特徴を確立するために使用されてもよい。有利なことに、訓練方法700は、どのような手動のグラフィカルなアノテーション(例えば、血清または血漿部分212SPまたは他の領域のグラフィカルな輪郭)も必要としない。訓練方法700は、702において、画像取込場所(例えば、画像取込場所432)での訓練検体(例えば、検体212)を含む検体容器(例えば、検体容器102)の訓練画像を取り込むことを含む。訓練検体212は、血清または血漿部分(例えば、血清または血漿部分212SP)を含む。複数の画像の取込は、複数の視点(例えば、視点1、2、および3)からであってもよい。さらに、検体容器102は、その上に1つ以上のラベル(例えば、ラベル218)を含んでもよい。画像化された最初の検体容器102は、訓練効率を向上するためにラベル218を欠いていてもよい。取り込まれた訓練画像は、1つ以上の画像取込デバイス(例えば、画像取込デバイス440A〜440C)を使用して取り込まれたデジタルなピクセル化された画像であってもよい。
訓練方法700はさらに、704において、背景除去またはチューブタイプの検出を任意で含む。この画像データ前処理506は、画像取込場所432で、CNNを訓練するために使用された様々な照明および露出条件下で、空の検体容器102の画像を取り込むことと、次いで検体212およびラベル218に関連した強度のみを残す為にそれらのピクセル強度値を差し引くこととで発生してもよい。任意選択で、もしも検体容器102の幅Wがグラウンドトゥルースラベル508の入力から分かるならば、仮想グリッド317の幅を減らすことができる。上記で論じたように、504で画像取込デバイス440A、440B、440Cによって取り込まれた複数スペクトル、複数露出の画像を含む生画像データは、画像データ前処理506で統合および正規化することもできる。
訓練方法700は、706において、ニューラルネットワーク(例えば、CNN535TR)への入力のための血清または血漿部分(例えば、血清または血漿部分212SP)の領域候補(例えば、領域候補319)を生成することをさらに含む。複数の取り込まれた画像(例えば、画像315)からの画像データ(例えば、統合され正規化された画像データセット)は、領域候補319と共にニューラルネットワーク(例えば、訓練CNN535TR)に送られ、そこで処理される。処理は、本明細書で説明されているコンピュータ143によって達成されてもよい。
訓練方法700は、708において、領域候補(例えば、領域候補319)のうちのどれが訓練検体212の血清または血漿部分212SPと最良な一致を与えるのかを決定することをさらに含む。上述のように、周辺強度勾配データに基づいて、領域候補319の上位パーセンテージまたは多数を取得することにより、最良な一致を選択することができる。しかしながら、最良な一致を選択するために他の手段が使用されてもよい。
この方法に従って、710で訓練CNN535TRが一旦十分に訓練されれば、訓練CNN535TRから得られた特徴(例えば、ネットワークおよび重み)は、試験ニューラルネットワーク(例えば、試験CNN535)で使用されてもよい。したがって、前述に基づいて、訓練検体212の血清または血漿部分212SPの手動のグラフィカルなアノテーション入力を実質的に無くすことにより、ニューラルネットワーク(例えば、CNN)の訓練を容易にする、改善された訓練方法700が提供されることは明らかである。
図8は、本開示の実施形態に従った試験方法800のフローチャートを示す。試験方法800は、本明細書で説明されるように、品質検査モジュール130によって実行されてもよい。特に、試験方法800は、1つ以上の実施形態に従って、検体212中の干渉物質の存在を決定し得る。特徴付け方法800は、802において、検体(例えば、検体212)の血清または血漿部分(例えば、血清または血漿部分212SP)を含む検体容器(例えば、検体容器102)の複数の画像を取り込むことを含む。複数の画像の取込は、複数の視点(例えば、視点1、2、および3)からであってもよい。さらに、検体容器102は、その上に1つ以上のラベル(例えば、ラベル218)を含んでもよい。1つ以上の画像は、1つ以上の画像取込デバイス(例えば、画像取込デバイス440A〜440C)を使用して取り込まれたデジタルなピクセル化された画像であってもよい。
特徴付け方法800は、本明細書に記載されるように、804において、背景除去またはチューブタイプ検出を任意で含むことができる。明らかに、本明細書で概説されるように、これは、領域候補319の選択のための仮想グリッド317内のサブ領域が、限定されたエリアになることを可能にする。特徴付け方法800はさらに、806において、複数の画像からの画像データ(例えば、統合され正規化された画像データセット)をニューラルネットワーク(例えば、畳込ニューラルネットワーク−試験CNN535)に入力することを含む。
特徴付け方法800はさらに、808において、血清または血漿部分212SPの領域候補(例えば、領域候補319)を生成することと、810において、検証済領域を提供する為に、回帰を通じて領域候補319を収束することとを含む。検証済領域は、血清または血漿部分212SPのサイズ、形状、および位置と厳密に一致する領域である。収束は上述のように(例えば、幾何学的測定に基づいて)決定される。そこでは、領域候補生成器511から入力された領域候補319は、定義されたエラーコリドー(error corridor)内でリグレッサ515の出力に十分に対応するはずである。
最後に、方法800は、812において、検証済領域および1つ以上のHILNを畳込ニューラルネットワーク(例えば、試験CNN535)で特徴付けることを含む。特に、特徴付け方法800は、畳込ニューラルネットワーク(例えば、試験CNN535)から、血清または血漿部分212SPに対応した検証済領域の分類を、溶血性、黄疸、脂肪血症、および正常(すなわち、H、I、L、HとI、HとL、IとL、H、IとL、またはN)のうちの1つ以上として出力できる。
複数の画像は、異なる露出時間および/または異なるスペクトル照明(例えば、R、G、B、白色光、IR、および/またはNIR)で各視点から取り込まれた複数の画像を含んでもよい。例えば、異なるスペクトル照明条件下で、各視点で異なる露出時間で、4〜8以上の異なる露出であってもよい。他の露出数およびスペクトル照明を使用してもよい。
したがって、前述に基づいて、領域候補(例えば、領域候補319)を使用することによって、血清または血漿部分212SPを容易に特徴付ける改善された特徴付け方法800が提供されることは明らかな筈である。明らかなように、上記の特徴付け方法800は、1つ以上のラベル218を含み検体212の血清または血漿部分212SPを含有する検体容器102の複数の画像を複数の視点(例えば、複数の視点1〜3)から取り込むように構成されて、画像取込場所(例えば、画像取込場所432)の周りに配置されている複数の画像取込デバイス(例えば、画像取込デバイス440A〜440C)と、複数の画像取込デバイスに接続され、複数の画像の画像データを処理するように適合されたコンピュータ(例えば、コンピュータ143)とを備えている品質検査モジュール(例えば、品質検査モジュール130)を使用して実行されてもよい。コンピュータ(例えば、コンピュータ143)は、HILNの決定を提供するために、複数の視点(例えば、視点1〜3)からの複数の画像を処理するように構成され、操作可能であってよい。
様々な選択された構成要素、特徴、または実施形態が、本明細書で個別に説明され得る。そのような構成要素、特徴、または実施形態は、他の個別に説明される構成要素、特徴、または実施形態の代わりに、または本明細書の他の説明される構成要素、特徴、または実施形態と組み合わせてでも、実用的に使用できることに留意されたい。本開示の実施形態は、様々な改変および代替形態が可能であるが、特定の装置、システム、および方法が、図面に実施例として示されており、本明細書で詳細に説明されている。しかしながら、特定の開示された装置、システム、および方法に開示を限定することを意図するものではなく、逆に、その意図は、請求の範囲内にあるすべての改変、等価物、および代替物をカバーすることであることを理解されたい。

Claims (23)

  1. ニューラルネットワークを訓練する方法であって、
    画像取込場所での訓練検体を含む検体容器の訓練画像の取込と、
    ニューラルネットワークへの入力のための血清または血漿部分の領域候補の生成と、
    訓練検体の血清または血漿部分への最良の一致を与える領域候補の選択と
    を備える、方法
  2. 前記領域候補が、前記訓練画像の上に重ね合わされた仮想グリッドのサブ領域を備える、請求項1に記載の方法。
  3. 前記仮想グリッドが、幅W×高さHの寸法の複数のグリッド要素を備える、請求項2に記載の方法。
  4. 前記領域候補のそれぞれが、前記仮想グリッド内の長方形のサブ領域を備える、請求項2に記載の方法。
  5. 前記領域候補がランダムに選択される、請求項2に記載の方法。
  6. 前記の領域候補の選択が、生成された前記領域候補のうちの最良の2000以上を選択することを備える、請求項1に記載の方法。
  7. 前記訓練検体の血清または血漿部分への前記の最良の一致は、それぞれの前記領域候補内の強度勾配に基づく、請求項1に記載の方法。
  8. 前記訓練検体の血清または血漿部分への前記の最良の一致は、それぞれの前記領域候補の周辺での強度勾配に基づく、請求項1に記載の方法。
  9. 前記訓練検体の血清または血漿部分への前記の最良の一致は、それぞれの前記領域候補の周辺での強度勾配の合計に基づく、請求項1に記載の方法。
  10. 前記畳込ニューラルネットワークは、畳込およびプーリングを実行するように構成された少なくとも2つの層と、少なくとも2つの追加の完全畳込層とを含むアーキテクチャを備える、請求項1に記載の方法。
  11. 前記畳込ニューラルネットワークは、バウンディングボックスリグレッサによる損失層を含むアーキテクチャを備える、請求項1に記載の方法。
  12. 前記畳込ニューラルネットワークは、バウンディングボックスリグレッサおよびSoftMaxによる損失層を含むアーキテクチャを備える、請求項1に記載の方法。
  13. 前記畳込ニューラルネットワークは、畳込およびプーリングを含む少なくとも3つの層と、少なくとも2つの完全畳込層と、バウンディングボックスリグレッサおよびSoftMaxによる損失層とを含むアーキテクチャを備える、請求項1に記載の方法。
  14. 前記の訓練画像の取込は、複数のスペクトルのそれぞれに対して異なる露出を備える、請求項1に記載の方法。
  15. 前記の訓練画像の取込は、赤、緑、および青のそれぞれのスペクトルに対して異なる露出時間を提供することを備える、請求項1に記載の方法。
  16. 前記の訓練画像の取込は、複数の視点から、各視点毎に、複数スペクトル、複数露出の画像で、画像を取り込むことを含む、請求項1に記載の方法。
  17. 訓練されたニューラルネットワークを使用して検体を特徴付ける方法であって、
    画像取込場所における検体を含む検体容器の画像の取込と、
    ニューラルネットワークへの入力のための、血清または血漿部分の領域候補の生成と、
    検証済領域を提供するための回帰による、検体の血清または血漿部分への一致を提供するための領域候補の収束とを備える、
    訓練されたニューラルネットワークを使用して検体を特徴付ける方法。
  18. 訓練されたニューラルネットワークによって、溶血、黄疸、脂肪血症の1つ以上を含んでいる、または正常であるとする検証領域の特徴付けを備える、
    請求項17に記載の訓練されたニューラルネットワークを使用して検体を特徴付ける方法。
  19. 品質検査モジュールであって、
    検体の血清または血漿部分を含む検体容器の複数の画像を取り込むように構成された画像取込デバイスと、
    該画像取込デバイスに接続されたコンピュータとを備え、
    該コンピュータは、
    該複数の画像からニューラルネットワークに画像データを入力することと、
    血清または血漿部分の領域候補を生成することと、
    検証済みの領域を提供するために回帰によって該領域候補を収束することと、
    該ニューラルネットワークから、溶血性、黄疸、脂肪血症、および正常の1つ以上であるとして、該検証済領域の分類を出力することとを行うように構成され、操作され得る、
    品質検査モジュール。
  20. 前記ニューラルネットワークが、バウンディングボックスリグレッサおよびSoftMaxを含むアーキテクチャを備える、請求項19に記載の品質検査モジュール。
  21. 前記ニューラルネットワークが、畳込およびプーリングを含む少なくとも3つの層と、少なくとも2つの完全畳込層と、バウンディングボックスリグレッサと、SoftMaxとを含むアーキテクチャを備える、請求項19に記載の品質検査モジュール。
  22. 前記複数の画像が、複数スペクトル、複数露出の画像として取り込まれる、請求項19に記載の品質検査モジュール。
  23. 前記複数の画像が、複数の視点から、各視点毎の、複数スペクトル、複数露出の画像で取り込まれる、請求項19に記載の品質検査モジュール。
JP2020538059A 2018-01-10 2019-01-08 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置 Active JP7324757B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862615873P 2018-01-10 2018-01-10
US62/615,873 2018-01-10
PCT/US2019/012774 WO2019139922A1 (en) 2018-01-10 2019-01-08 Methods and apparatus for bio-fluid specimen characterization using neural network having reduced training

Publications (2)

Publication Number Publication Date
JP2021510201A true JP2021510201A (ja) 2021-04-15
JP7324757B2 JP7324757B2 (ja) 2023-08-10

Family

ID=67219161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538059A Active JP7324757B2 (ja) 2018-01-10 2019-01-08 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置

Country Status (5)

Country Link
US (1) US11386291B2 (ja)
EP (1) EP3737930A4 (ja)
JP (1) JP7324757B2 (ja)
CN (1) CN111556961A (ja)
WO (1) WO2019139922A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021527219A (ja) * 2018-06-15 2021-10-11 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111052129B (zh) * 2017-07-28 2024-03-08 美国西门子医学诊断股份有限公司 深度学习体积定量方法和设备
US11650164B2 (en) 2019-05-15 2023-05-16 Getac Technology Corporation Artificial neural network-based method for selecting surface type of object
JP7379078B2 (ja) 2019-10-23 2023-11-14 シャープ株式会社 加熱調理器
US11584662B2 (en) * 2020-03-16 2023-02-21 Inguran, Llc Systems and method for correction of positionally dependent electromagnetic radiation detected from objects within a fluid column
WO2022129588A1 (en) * 2020-12-17 2022-06-23 Basf Se Method for monitoring and/or controlling phase separation in chemical processes and samples
WO2022217544A1 (en) * 2021-04-15 2022-10-20 F. Hoffmann-La Roche Ag Method and system for sample quality control
EP4080515A1 (en) * 2021-04-19 2022-10-26 Roche Diagnostics GmbH A method for classifying an identification tag on a sample tube containing a sample and an automated laboratory system
CN113592842B (zh) * 2021-08-09 2024-05-24 南方医科大学南方医院 一种基于深度学习的样本血清质量识别方法及识别设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130301901A1 (en) * 2012-05-14 2013-11-14 Gauss Surgical System and method for estimating a quantity of a blood component in a fluid canister
JP2015026287A (ja) * 2013-07-26 2015-02-05 新電元工業株式会社 はんだ付け検査装置、はんだ付け検査方法および電子部品
WO2017132168A1 (en) * 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for multi-view characterization
WO2017132166A1 (en) * 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to quantify a specimen from multiple lateral views
WO2017132169A1 (en) * 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for detecting an interferent in a specimen

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7473897B2 (en) * 2001-09-12 2009-01-06 Tecan Trading Ag System, method, and computer program for conducting optical transmission measurements and evaluating determined measuring variables
DE10217858C1 (de) * 2002-04-22 2003-10-02 Fraunhofer Ges Forschung Verfahren zur Trennung einer in einer Probe enthaltenen Zellgruppe in Einzelzellen
JP4999679B2 (ja) * 2005-03-29 2012-08-15 シスメックス株式会社 検体分析装置
US20090059378A1 (en) 2007-09-05 2009-03-05 Brian Thompson Devices, Systems, and/or Methods for Providing Illumination
EP2464959A4 (en) 2009-08-13 2016-03-09 Siemens Healthcare Diagnostics METHOD AND DEVICE FOR DETERMINING INTERFERING SUBSTANCES AND PHYSICAL DIMENSIONS IN LIQUID SAMPLES AND CONTAINERS TO BE ANALYZED BY CLINICAL ANALYSIS DEVICES
US9047663B2 (en) * 2011-07-09 2015-06-02 Gauss Surgical Method for triggering blood salvage
US9952241B2 (en) * 2012-08-20 2018-04-24 Siemens Healthcare Diagnostics Inc. Methods and apparatus for ascertaining specimen and/or sample container characteristics while in transit
JP6143584B2 (ja) * 2013-07-04 2017-06-07 株式会社日立ハイテクノロジーズ 検出装置および生体試料分析装置
US9700219B2 (en) * 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
EP3146463B1 (en) * 2014-05-23 2020-05-13 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
CA2976771C (en) 2015-02-17 2023-09-26 Siemens Healthcare Diagnostics Inc. Barcode tag detection in side view sample tube images for laboratory automation
CA2976769C (en) 2015-02-17 2023-06-13 Siemens Healthcare Diagnostics Inc. Model-based methods and apparatus for classifying an interferent in specimens
JP2018514844A (ja) 2015-03-11 2018-06-07 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft 細胞画像および映像の深層畳み込みネットワークベースの分類のためのシステムおよび方法
EP3093821B1 (en) * 2015-04-16 2019-10-09 Siemens Healthcare GmbH Method and system for anatomical object pose detection using marginal space deep neural networks
US9965719B2 (en) 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US10311569B1 (en) * 2015-12-31 2019-06-04 Cerner Innovation, Inc. Identifying liquid blood components from sensed data to monitor specimen integrity
US10267813B1 (en) * 2015-12-31 2019-04-23 Cerner Innovation, Inc. Monitoring specimen integrity in automated blood sample processing system
EP3408652B1 (en) 2016-01-28 2020-12-16 Siemens Healthcare Diagnostics Inc. Methods and apparatus for classifying an artifact in a specimen
US11042788B2 (en) 2016-01-28 2021-06-22 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to identify a specimen container from multiple lateral views
US11244191B2 (en) * 2016-02-17 2022-02-08 Intel Corporation Region proposal for image regions that include objects of interest using feature maps from multiple layers of a convolutional neural network model
WO2018022280A1 (en) 2016-07-25 2018-02-01 Siemens Healthcare Diagnostics Inc. Systems, methods and apparatus for identifying a specimen container cap
WO2018045193A1 (en) * 2016-08-31 2018-03-08 Abbott Laboratories Systems, apparatus, and related methods for evaluating biological sample integrity
EP3538839B1 (en) 2016-11-14 2021-09-29 Siemens Healthcare Diagnostics Inc. Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen
JP2018096740A (ja) * 2016-12-09 2018-06-21 株式会社日立ハイテクノロジーズ 生体試料分析装置
JP7055818B2 (ja) 2017-04-13 2022-04-18 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド 畳み込みニューラルネットワークを用いたhiln評価方法及び装置
CN110573883B (zh) 2017-04-13 2023-05-30 美国西门子医学诊断股份有限公司 用于在样本表征期间确定标签计数的方法和装置
JP7012746B2 (ja) 2017-04-13 2022-01-28 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド 検体評価中にラベル補正する方法及び装置
CN111052129B (zh) 2017-07-28 2024-03-08 美国西门子医学诊断股份有限公司 深度学习体积定量方法和设备
KR102585216B1 (ko) * 2017-12-14 2023-10-05 삼성전자주식회사 영상 인식 방법 및 그 장치
US10713815B1 (en) * 2019-01-31 2020-07-14 StradVision, Inc. Method and device for supporting administrators to processes of object detectors to provide logical driving

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130301901A1 (en) * 2012-05-14 2013-11-14 Gauss Surgical System and method for estimating a quantity of a blood component in a fluid canister
JP2015026287A (ja) * 2013-07-26 2015-02-05 新電元工業株式会社 はんだ付け検査装置、はんだ付け検査方法および電子部品
WO2017132168A1 (en) * 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for multi-view characterization
WO2017132166A1 (en) * 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to quantify a specimen from multiple lateral views
WO2017132169A1 (en) * 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for detecting an interferent in a specimen
JP2019511700A (ja) * 2016-01-28 2019-04-25 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 試料中のインターフェレントを検出するための方法と装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHAOQING REN: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 39, no. 6, JPN6021033478, 2017, pages 1137 - 1149, XP055705510, ISSN: 0004934999, DOI: 10.1109/TPAMI.2016.2577031 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021527219A (ja) * 2018-06-15 2021-10-11 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け
JP7089071B2 (ja) 2018-06-15 2022-06-21 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け
US11763461B2 (en) 2018-06-15 2023-09-19 Siemens Healthcare Diagnostics Inc. Specimen container characterization using a single deep neural network in an end-to-end training fashion

Also Published As

Publication number Publication date
EP3737930A1 (en) 2020-11-18
WO2019139922A1 (en) 2019-07-18
US11386291B2 (en) 2022-07-12
JP7324757B2 (ja) 2023-08-10
CN111556961A (zh) 2020-08-18
EP3737930A4 (en) 2021-03-10
US20210064927A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
JP7055818B2 (ja) 畳み込みニューラルネットワークを用いたhiln評価方法及び装置
JP6879366B2 (ja) 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール
JP6896971B2 (ja) 試料の特性評価中にラベル数を決定するための方法および装置
JP7324757B2 (ja) 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置
JP7089072B2 (ja) 進歩したセマンティックセグメンテーションおよび敵対的訓練による、きめ細かなhil指標決定のための方法および装置
JP7089071B2 (ja) 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け
JP2020529003A (ja) ディープラーニングボリューム定量化方法および装置
JP2020516885A (ja) 検体評価中にラベル補正する方法及び装置
US11852642B2 (en) Methods and apparatus for HILN determination with a deep adaptation network for both serum and plasma samples
JP7177917B2 (ja) 視覚化分析装置および視覚的学習方法
JP2023500835A (ja) 自動診断分析システムにおいて検体のhiln決定に使用される訓練画像をハッシュおよび検索するための方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220812

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220812

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20220906

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221004

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221011

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20221209

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20221213

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230207

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230731

R150 Certificate of patent or registration of utility model

Ref document number: 7324757

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150