JP2021527221A - 進歩したセマンティックセグメンテーションおよび敵対的訓練による、きめ細かなhil指標決定のための方法および装置 - Google Patents

進歩したセマンティックセグメンテーションおよび敵対的訓練による、きめ細かなhil指標決定のための方法および装置 Download PDF

Info

Publication number
JP2021527221A
JP2021527221A JP2020569902A JP2020569902A JP2021527221A JP 2021527221 A JP2021527221 A JP 2021527221A JP 2020569902 A JP2020569902 A JP 2020569902A JP 2020569902 A JP2020569902 A JP 2020569902A JP 2021527221 A JP2021527221 A JP 2021527221A
Authority
JP
Japan
Prior art keywords
sample
serum
segmentation network
computer
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020569902A
Other languages
English (en)
Other versions
JP7089072B2 (ja
Inventor
カイ・マー
イャオ−ジェン・チャン
テレンス・チェン
ベンジャミン・エス・ポラック
Original Assignee
シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド filed Critical シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
Publication of JP2021527221A publication Critical patent/JP2021527221A/ja
Application granted granted Critical
Publication of JP7089072B2 publication Critical patent/JP7089072B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/34Microscope slides, e.g. mounting specimens on microscope slides
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L9/00Supporting devices; Holding devices
    • B01L9/06Test-tube stands; Test-tube holders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/04Investigating sedimentation of particle suspensions
    • G01N15/05Investigating sedimentation of particle suspensions in blood
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2200/00Solutions for specific problems relating to chemical or physical laboratory apparatus
    • B01L2200/14Process control and prevention of errors
    • B01L2200/143Quality control, feedback systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2200/00Solutions for specific problems relating to chemical or physical laboratory apparatus
    • B01L2200/18Transport of container or devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2300/00Additional constructional details
    • B01L2300/02Identification, exchange or storage of information
    • B01L2300/021Identification, e.g. bar codes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2300/00Additional constructional details
    • B01L2300/04Closures and closing means
    • B01L2300/041Connecting closures to device or container
    • B01L2300/042Caps; Plugs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2400/00Moving or stopping fluids
    • B01L2400/04Moving fluids with specific forces or mechanical means
    • B01L2400/0403Moving fluids with specific forces or mechanical means specific forces
    • B01L2400/0409Moving fluids with specific forces or mechanical means specific forces centrifugal forces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/54Labware with identification means
    • B01L3/545Labware with identification means for laboratory containers
    • B01L3/5453Labware with identification means for laboratory containers for test tubes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/04Investigating sedimentation of particle suspensions
    • G01N15/042Investigating sedimentation of particle suspensions by centrifuging and investigating centrifugates
    • G01N2015/045Investigating sedimentation of particle suspensions by centrifuging and investigating centrifugates by optical analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • G01N2035/00742Type of codes
    • G01N2035/00752Type of codes bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Analytical Chemistry (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Hematology (AREA)
  • Dispersion Chemistry (AREA)
  • Clinical Laboratory Science (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

検体容器中の検体の血清または血漿部分を特徴付ける方法により、検体の血清または血漿部分のきめ細かなHILN指標(溶血、黄疸、脂肪血、正常)が提供され、H、I、およびLクラスはそれぞれ、5〜7つのサブクラスを有し得る。HILN指標はまた、1つの非遠心分離クラスを有し得る。検体容器の入力画像の画素データが、いくつかの実施形態では100個を超える層を有するディープセマンティックセグメンテーションネットワークによって処理される。小さいフロントエンド容器セグメンテーションネットワークが、容器タイプおよび容器境界を決定するために使用され、容器タイプおよび容器境界は、さらに、ディープセマンティックセグメンテーションネットワークに入力される。差別的ネットワークが、均一に構築された出力を生成するようにディープセマンティックセグメンテーションネットワークを訓練するために使用される。この方法を実行するように構成された品質検査モジュールおよび試験装置もまた、他の態様と同様に記述される。
【選択図】図5

Description

関連出願の相互参照
本出願は、参照によりその全体が本明細書に組み込まれる、2018年6月15日に出願された米国特許仮出願第62/685,335号の優先権を主張する。
本開示は、自動診断分析システムにおいて検体容器(およびその中の検体)を特徴付けるための方法および装置に関する。
自動診断分析システムは、1つまたはそれ以上の試薬を用いて検査または臨床分析を実施して、尿、血清、血漿、間隙液、脳脊髄液などの検体中の分析物または他の成分を特定することができる。このような検体は通常、検体容器(たとえば、検体採取管)の中に含まれる。試験反応では様々な変化が生じ、これらの変化は読み取られ、かつ/または処理されて、検体中の分析物または他の成分の濃度が決定される。
自動試験技術の改善には、ラボラトリオートメーションシステム(LAS)と呼ばれる自動検体調製システムによる、選別、バッチ調製、検体成分を分離するために検体容器を遠心分離機にかけること、流体へのアクセスを容易にするためのキャップ除去、HILN(溶血、黄疸、および/もしくは脂肪血、または正常)の予備検査などの分析前検体調製および処理の操作において、対応する進歩が伴った。LASはまた、様々な操作(たとえば、分析前試験または分析試験)を行えるように、検体容器内の検体をいくつかの検体処理ステーションまで自動的に輸送することもできる。
LASは、標準的な、バーコードラベル表示された検体容器に含まれる、いくつかの異なる検体を処理することができ、この容器は、サイズ(たとえば、直径および高さ)が異なり得る。バーコードラベルは受入番号を含むことができ、この受入番号は、試験オーダと共に病院のラボラトリ情報システム(LIS)に入力されている患者情報または他の情報を含むか、これらの情報と互いに関連付けられている。操作員は、ラベル表示された検体容器をLASシステムの上に置くことができ、LASシステムは、検体が1つまたはそれ以上の、LASの一部でもあり得る分析器(たとえば、臨床化学計器または検査計器)による臨床分析または検査にかけられる前に、遠心分離、キャップ除去および/またはアリコート調製などの分析前操作のために検体容器を自動的にルーティングすることができる。
いくつかの試験では、(遠心分離によって全血から得られた)血清または血漿部分などの生体液が分析される。検体が全血である場合、血清または血漿部分からの沈降血液部分の分離を補助するために、ゲルセパレータが検体容器に加えられる。前処理の後、検体容器は適切な分析器まで輸送され、この分析器は、生体液体(たとえば、血清または血漿部分)の一部分を検体容器から取り出し、この液体を1つまたはそれ以上の試薬、および場合により他の材料と反応容器(たとえば、キュベット)内で混ぜ合わせることができる。次に、分析的測定が、調査照射などのビームを使用することによる測光吸収または蛍光定量的吸収の読取りを介して行われる。この測定により、終点速度または他の値を決定することが可能になり、この値から、生体液体中の分析物または他の成分の量が、よく知られている技法を用いて決定される。
しかし、検体中に、患者の状態または試料処理の結果として生じ得る干渉物質が存在すると(たとえば、溶血、黄疸、および/または脂肪血)、1つまたはそれ以上の分析器から得られる分析物または成分測定の試験結果に悪影響が及び得る。たとえば、患者の病状と関連がない溶血(H)が検体中に存在すると、患者の病状についての異なる解釈が生じ得る。さらに、検体中に黄疸(I)および/または脂肪血(L)が存在しても、患者の病状についての異なる解釈が生じ得る。
システムによっては、熟練した試験所技師が、検体の血清または血漿部分の完全性を目視で検査して、正常である(N)、またはある程度のH、I、および/またはLがあると鑑定する場合がある(たとえば、ある指数を割り当てることによって)。これには、血清または血漿部分の色を既知の標準と対照して評価することが伴う。しかし、このような手動目視検査は非常に主観的であり、労働集約的であり、かつ人的エラーをはらんでいる。
手動検査には問題があるので、試験所技師による目視検査を用いるのではなく、自動マシンビジョン検査装置を使用することによって検体完全性を評価するための取り組みが行われてきており、このような評価は分析前試験(以下「予備検査」)中に行われる。予備検査には、(たとえば、遠心分離による)分画によって全血から得られた血清または血漿部分中のH、I、および/またはLなどの干渉物質の自動検出が含まれる。
しかし、場合によっては、1つまたはそれ以上の上述のバーコードラベルが検体容器に直接貼り付けられることがある。このようなラベルは、検体に対する特定の横方向の視点を部分的に遮り、覆い隠すことがあり、そのため、血清または血漿部分を目視で確認するためのはっきり見える条件がもたらされない、いくつかの方向があり得る。したがって、このような予備検査の自動化には、たとえば、H、I、および/もしくはL、またはNの自動予備検査を可能にするように検体を回転可能に向けることが含まれていた(たとえば、特許文献1参照)。別のシステムでは、検体容器および検体は、複数の視点から撮像され、またモデルベースのシステムによって処理されるので、検体容器を回転させる必要がない(たとえば、特許文献2参照)。
場合によっては、血清または血漿部分のうちの小部分しか見えないことがあるので、血清または血漿部分について取得されたいずれのH、I、および/もしくはL、またはNの読取値も、高いレベルの信頼度を伴わないことがある。さらに、このようなシステムは複雑であり、また画像データの処理が計算的に負担になり得る。
米国特許第9,322,761号 WO2016/133,900
したがって、溶血(H)、黄疸(I)、および/または脂肪血(L)の存在および程度、または検体の血清もしくは血漿部分が正常(N)であるかどうかを決定するために、検体の血清または血漿部分を特徴付ける頑健で効果的な方法および装置に対する満たされていない要望がある。より具体的には、検体がH、I、および/またはLを含むかどうか、またどの程度含むか、あるいは正常(N)であるかどうかを決定するための改善された方法および装置に対する満たされていない要望がある。
第1の態様によれば、検体容器を特徴付ける方法が提供される。この方法は、検体の血清または血漿部分を含む検体容器の画像を画像取り込みデバイスによって取り込むことを含む。この方法はまた、コンピュータ上で実行する、いくつかの実施形態では100個を超える層を含むディープセマンティックセグメンテーションネットワークを使用して検体容器の画像の画素データを処理し、それにより血清または血漿部分の分類指標を決定することを含む。この方法はさらに、ディープセマンティックセグメンテーションネットワークから血清または血漿部分の分類指標を出力することを含み、分類指標は、溶血、黄疸、脂肪血、および正常のクラスを含み、溶血、黄疸、および脂肪血のクラスのそれぞれが5〜7つのサブクラスを含む。
別の態様によれば、品質検査モジュールが提供される。この品質検査モジュールは、1つまたはそれ以上の視点から、検体の血清または血漿部分を含む検体容器の1つまたはそれ以上の画像を取り込むように動作する複数の画像取り込みデバイスと、複数の画像取り込みデバイスに連結されたコンピュータとを含む。コンピュータは、コンピュータ上で実行する、いくつかの実施形態では100個を超える層を含むディープセマンティックセグメンテーションネットワークを使用して検体容器の1つまたはそれ以上の画像の画素データを処理し、それにより血清または血漿部分の分類指標を決定するように構成され動作する。コンピュータはまた、ディープセマンティックセグメンテーションネットワークから血清または血漿部分の分類指標を出力するように構成され動作し、分類指標は、溶血、黄疸、脂肪血、および正常のクラスを含み、溶血、黄疸、および脂肪血のクラスのそれぞれが5〜7つのサブクラスを含む。
別の態様では、検体試験装置が提供される。検体試験装置は、軌道と、軌道上で可動であるキャリアと、軌道のまわりに配置された複数の画像取り込みデバイスと、複数の画像取り込みデバイスに連結されたコンピュータとを含む。キャリアは、検体の血清または血漿部分を含む検体容器を含むように構成され、複数の画像取り込みデバイスは、1つまたはそれ以上の視点から、検体容器および検体の血清または血漿部分の1つまたはそれ以上の画像を取り込むように動作する。コンピュータは、コンピュータ上で実行する、いくつかの実施形態では100個を超える層を含むディープセマンティックセグメンテーションネットワークを使用して検体容器の1つまたはそれ以上の画像の画素データを処理し、それにより血清または血漿部分の分類指標を決定するように構成され動作する。コンピュータはまた、ディープセマンティックセグメンテーションネットワークから血清または血漿部分の分類指標を出力するように構成され動作し、分類指標は、溶血、黄疸、脂肪血、および正常のクラスを含み、溶血、黄疸、および脂肪血のクラスのそれぞれが5〜7つのサブクラスを含む。
本開示のさらに他の態様、機能、および利点は、本発明を実施するための想起されるベストモードを含むいくつかの例示的な実施形態および実施態様を示すことによって、以下の説明から容易に明らかになろう。本開示はまた、他の別の実施形態の余地があり、そのいくつかの細目は様々な点で修正され、すべてが本発明の範囲から逸脱することがない。本開示は、添付の特許請求の範囲に入るすべての修正形態、均等物、および代替形態を包含するものである(以下をさらに参照されたい)。
下記の図面は、例示を目的とし、必ずしも原寸に比例しない。したがって、図面および説明は、限定的ではなく、本質的に説明的なものとみなされるべきである。図面は、本発明の範囲を何ら限定するものではない。
1つまたはそれ以上の実施形態によるHILN検出方法を実行するように構成された、1つまたはそれ以上の品質検査モジュールを含む検体試験装置の概略上面図である。 干渉物質を含む血清または血漿部分がある分離された検体を含む検体容器の側面図であり、検体容器はその上にラベルを含む。 図3Aは、ラベルと、干渉物質を含む血清または血漿部分がある分離された検体と、ゲルセパレータとを中に含む検体容器の側面図である。図3Bは、垂直の向きでホルダに保持された、図3Aの検体容器の側面図である。 図4Aは、1つまたはそれ以上の実施形態による、複数の視点を含み、干渉物質の存在および程度の決定を可能にするために複数の背面照射画像を取り込み分析するように構成された、品質検査モジュールの概略上面図である(最上部が取り外されている)。図4Bは、1つまたはそれ以上の実施形態による、図4Aの断面線4B〜4Bに沿った、図4Aの品質検査モジュールの概略側面図である(前面の筐体壁が取り外されている)。 1つまたはそれ以上の実施形態による、検体容器中の検体の血清または血漿部分の干渉物質分類指標を出力するように動作可能な、セグメンテーション畳み込みニューラルネットワーク(SCNN)を含む品質検査モジュールの機能構成要素のブロック図である。 1つまたはそれ以上の実施形態による、図5のSCNNのディープセマンティックセグメンテーションネットワーク(DSSN)のアーキテクチャのブロック図である。 1つまたはそれ以上の実施形態による、図5および図6のDSSNの訓練ネットワークのブロック図である。 1つまたはそれ以上の実施形態による、検体容器を特徴付ける方法のフローチャートである。
以下でさらに説明される品質検査モジュールなどにおいて、検体容器に含まれる検体の予備検査中に検体の血清または血漿部分中の干渉物質の存在および程度を決定する方法が、諸実施形態によって提供される。血清または血漿部分は、血液の液体成分であり得、(たとえば、遠心分離による)分画後の沈降血液部分の上に見出される。沈降血液部分は、白血球細胞(白血球)、赤血球細胞(赤血球)、および血小板(血小板)などの血液細胞で構成された濃縮半固体であり得る。血漿と血清は互いに、主としてフィブリノゲンである凝固成分の含有率が異なり得る。血漿は非凝固液体であり得るのに対し、血清は、内在性酵素または外来性成分の影響下で凝固させた血漿を指すことがある。
本明細書で用いられる、H、I、および/もしくはLなどの干渉物質、または正常(N)の決定(以下「HILN」)とは、検体の血清または血漿部分に溶血(H)、黄疸(I)、または脂肪血(L)のうちの少なくとも1つが存在することを指す。「N」は「正常」を指し、容認できるほどに少量のH、I、およびLを含む血清または血漿部分として定義される。溶血は、赤血球細胞が処理中に破壊される血清または血漿部分の1つの状態として定義され、赤血球細胞から血清または血漿部分へのヘモグロビンの放出につながり、血清または血漿部分は赤い色調をおびるようになる。溶血の程度は、溶血指数を割り当てることによって定量化される。黄疸は、胆汁色素(ビリルビン)の蓄積によって引き起こされる、血清または血漿部分が暗黄色に変色する血液の状態として定義される。黄疸の程度は、黄疸指数を割り当てることによって定量化される。脂肪血は、血液中に異常に高い濃度の乳化脂肪が存在することとして定義され、血清または血漿部分は白っぽく、または乳白色に見えるようになる。脂肪血の程度は、脂肪血症指数を割り当てることによって定量化される。
諸実施形態による方法では、まさしくHILNを、またはHの程度またはサブクラス(たとえば、一部の実施形態ではH0〜H6、他の実施形態ではそれより多いか少ない)、Iの程度またはサブクラス(たとえば、一部の実施形態ではI0〜I6、他の実施形態ではそれより多いか少ない)、および/またはLの程度またはサブクラス(たとえば、一部の実施形態ではL0〜L4、他の実施形態ではそれより多いか少ない)を決定することができる。実施形態によっては、この方法は、遠心分離されていない検体の血清または血漿部分に対する非遠心分離(U)クラスを含むことがある。加えて、この方法では、血清または血漿部分、沈降血液部分、ゲルセパレータ(使用される場合)、空気、ラベルなどの検体容器および検体の様々な領域、検体容器のタイプ(たとえば、高さおよび幅/直径を示す)、ならびに/または検体容器キャップのタイプおよび/もしくは色などを分類(または「セグメント化」)することができる。検体容器ホルダまたは背景もまた分類される。血清および血漿部分を検体容器上の1つまたはそれ以上のラベルを含む領域から区別することは、1つまたはそれ以上のラベルが検体容器に様々な程度に巻き付き得るので、特に厄介な問題である。したがって、1つまたはそれ以上のラベルは1つまたはそれ以上の視界を覆い隠すことがあり、それにより、血清または血漿部分の明瞭な視界を得るのが困難になることがある。
したがって、血清または血漿部分の分類は、配置が実質的に検体容器ごとに異なり得る1つまたはそれ以上のラベルによる干渉の故に、難題であり得る。特に、1つまたはそれ以上のラベルが裏面に現れ、したがって、前面で受けられる光伝達に影響を及ぼし得ることを考えると、1つまたはそれ以上のラベルによって生じる障害は、様々な視点などからのスペクトル応答に重大な影響を及ぼすおそれがある。
さらに、自動診断分析システムの品質検査モジュール、およびそこで実施される関連する特徴付け法は、計算的に効率的でなければならない。したがって、上述の難題を前提として、第1の広範な態様において、本開示の諸実施形態は、ディープセマンティックセグメンテーションネットワーク(DSSN)を含むセグメンテーション畳み込みニューラルネットワーク(SCNN)を使用して、HILNの存在および程度を決定するように構成された方法および装置を提供し、DSSNは、20個を超える血清分類を有する分類ネットワークを出力する。DSSNは、いくつかの実施形態では、以下でさらに説明する100個を超える動作層を含み得る。SCNNはまた、容器タイプおよび容器境界を決定するためにフロントエンド容器セグメンテーションネットワーク(CSN)を含み得る。この決定された容器情報は次に、以下でさらに説明するように、追加の入力チャネルを介してDSSNに入力される。
いくつかの実施形態では、SCNNへの入力はマルチスペクトル、多重露光の画像データとすることができ、この画像データは、整理統合および正規化され、複数の画像取り込みデバイスから得られる。画像取り込みデバイスは、分析のための画素化画像(たとえば、デジタル画像)を取り込むことができる、デジタルカメラ、CCD(電荷結合デバイス)、1つまたはそれ以上のCMOS(相補型金属酸化膜半導体)センサ、センサのアレイなどの任意のデバイスとすることができる。複数の画像取り込みデバイスは、複数の視点(たとえば、3つの視点;他の数の視点も可能である)からの画像を取り込むように配置および構成される。本明細書に記載の方法では、SCNNへの入力としての検体容器および血清または血漿部分の高ダイナミックレンジ(HDR)画像処理を用いることができる。HDR撮像は、多重スペクトル照明を使用しながら多数のコマを取り込むことを含み得る。いくつかの実施形態では、SCNNは、検体容器上の1つまたはそれ以上のラベルによって遮られた領域を認識するように訓練され、そのためSCNNは、HILNを特徴付けるに際し、検体容器の裏面にラベルが存在することをどの視点からもより適切に明らかにすることができる。
その結果、ラベル障害物が存在する場合における血清または血漿領域のより効果的な分類が利用可能になり、ラベルによって遮られている血清または血漿部分のこれらの領域についての強度読取値の信頼度が改善される。したがって、HILNおよび/またはHILの程度についての改善された決定がDSSNから出力される。
検体は、血液採取管などの検体容器に集められ、分画(たとえば、遠心分離による分離)の後に、沈降血液部分と血清および血漿部分とを含み得る。いくつかの検体容器では、ゲルセパレータが使用され、これは遠心分離中に、沈降血液部分と血清または血漿部分との間に位置が定まる。ゲルセパレータは、2つの部分(液体と半固体、沈降血液細胞)の間の物理的なバリアとして機能し、再混合を最小限にすることができる。検体容器は、様々なサイズとすることができ、したがって、いくつかの異なる構成の予備検査および分析器に供給される。たとえば、検体容器は、13mm×75mm、13mm×100mm、16mm×100mm、および16mm×125mmなどのサイズを有し得る。他の適切なサイズも使用される。
1つの態様によれば、特徴付け方法は、品質検査モジュールによって、検体試験システムにおいて実行され、それぞれがSCNNを含む。SCNNは、血清または血漿部分およびラベル包含領域の単純なエッジ、テクスチャおよび各部分などの特徴を抽出するための、たとえば、BatchNorm層、ReLU起動層、畳み込み(たとえば、2D)層、ドロップアウト層、および逆畳み込み(たとえば、2D)層を含む、動作層を含むことができる。完全畳み込み層などの最上層は、部分間の相関性を提供するために使用される。この層の出力はSoftMax層に供給され、この層では、画素ごと(または、n×n画素を含むパッチごと)ベースで、それぞれの画素またはパッチがHILNを含むかどうかに関して出力を生成する。いくつかの実施形態では、HILNの出力だけがSCNNから提供される。別の実施形態では、SCNNの出力は、HILNの血清クラスが20個を超える、きめ細かなHILNとすることができ、それにより、存在する干渉物質ごとに干渉物質のレベル(指数)の推定値もまた得られる。
検体がH、I、およびLのうちの1つまたはそれ以上を含むことが判明したならば、適切な通知が操作員にもたらされ、かつ/またはその検体容器がラインから取り除かれて、(1)H、I、またはLのうちの1つまたはそれ以上を矯正するための改善が行われる、(2)検体が再抽出される、または(3)他の処置が行われる。したがって、遠心分離後の最初の可能な場合に、および1つまたはそれ以上の分析器による分析の前などに、HILNの予備検査ができることにより、有利には、(a)分析には不適正な品質の検体を分析して浪費される時間が最小になり、(b)試験結果の誤りを回避するか最小限にすることができ、(c)患者の試験結果遅延を最小にすることができ、かつ/または(d)患者の検体の浪費を回避することができる。
いくつかの実施形態では、セグメンテーション出力とHILN出力の組み合わせが提供される。これらの出力は、SCNNの多数の分岐からもたらされ得る。これらの分岐は、別個の畳み込み層ならびに逆畳み込みおよびSoftMax層を含むことができ、1つの分岐がセグメンテーション(たとえば、CSN)検出専用に、他(たとえば、DSSN)がHILN検出専用にされる。HILN検出、セグメンテーション検出、検体容器タイプ検出、および/またはキャップタイプ検出を含む、多分岐実施形態もまた提供される。
発明の特徴付け方法、特徴付け方法を実行するように構成された品質検査モジュール、および1つまたはそれ以上の品質検査モジュールを含む検体試験装置のさらなる詳細について、図1〜図8を参照して本明細書でさらに説明する。
図1は、検体212を含む多数の検体容器102を自動的に処理することができる検体試験装置100を示す(たとえば、図2〜図3Bも参照されたい)。検体容器102は、検体試験装置100のまわりに配置された1つまたはそれ以上の分析器(たとえば、第1の分析器106、第2の分析器108、および/または第3の分析器110)への輸送およびこれらの分析器による分析の前に、装填領域105において1つまたはそれ以上のラック104内に提供される。これより多いまたは少ない数の分析器を使用することもできる。分析器は、臨床化学分析器および/または検査計器などの任意の組み合わせとすることができる。検体容器102は、検体212を含むことができる、かつ中に含まれる検体212の撮像を可能にする任意の適切に透明な、または半透明な、血液採取管、試験管、試料カップ、キュベット、または他の透明または不透明なガラスまたはプラスチック容器などの容器とすることができる。検体容器102は、サイズが多様である。
検体212(図2〜図3B)は、検体容器102に入れて検体試験装置100に提供され、検体容器にはキャップ214で蓋がされる。キャップ214は、様々なタイプおよび/または色(たとえば、赤、藤紫、薄青、緑、灰、黄褐色、黄、または色組み合わせ)とすることができ、これらのタイプおよび色は、どの試験に検体容器102が使用されるか、容器に含まれる添加剤のタイプ、容器がゲルセパレータを含むかどうか、などに関する意味を有し得る。他の色も使用される。1つの実施形態では、キャップタイプは、本明細書に記載の特徴付け方法によって決定される。
検体容器102のそれぞれはラベル218を備え、このラベルは、バーコード、アルファベット、数字、またはこれらの組み合わせなどの識別情報218i(すなわち、印)を含むことができる。識別情報218iは、検体試験装置100のまわりの様々な場所において機械可読とすることができる。機械可読情報は、ラベル材料(たとえば、白い紙)よりも暗く(たとえば、黒に)することができるので、容易に撮像される。識別情報218iは、ラボラトリ情報システム(LIS)147を介して、患者の識別情報ならびに検体212に実施予定の試験を表示すること、または別の方法でこれらと関連付けることができる。識別情報218iは、他の、または追加の情報を示すことができる。このような識別情報218iは、ラベル218上に提供され、このラベルは、管215の外面に貼り付けられるか、別の方法で設けられる。図2に示されるように、ラベル218は、検体容器102のまわり全部にも検体容器102の全長に沿っても延びることができず、それにより、図示の特定の前方視点からは血清または血漿部分212SPの大部分が見え(点で示された部分)、ラベル218によって妨げられない。
しかし、いくつかの実施形態では、複数のラベル218が設けられており(たとえば、検体容器102を取り扱った複数の施設などから)、これらのラベルは、ある程度互いに重なり合うことがある。たとえば、2つのラベル(たとえば、製造者のラベルおよびバーコードラベル)が設けられ、重なり合っていることがあり、1つまたはそれ以上の視点の一部または全部を遮る(妨げる)ことがある。
したがって、いくつかの実施形態では、ラベル218が検体212の部分をいくらか遮ることがあるが(遮蔽部分)、検体212ならびに血清および血漿部分212SPの部分のいくらかは、少なくとも1つの視点からは依然として見えることがある(非遮蔽部分)ことを理解されたい。したがって、本開示の別の態様によれば、特徴付け方法を実行するように構成されたSCNNの実施形態は、遮蔽部分および非遮蔽部分を認識するように訓練され、それにより、改善されたHILN検出がもたらされる。
再び図2を参照すると、検体212は、管215内に含まれた血清または血漿部分212SPおよび沈降血液部分212SBを含み得る。空気216が血清および血漿部分212SPの上に提供され、これらの間の区切り線が、液体−空気境界面(LA)として定義される。血清または血漿部分212SPと沈降血液部分212SBの間の区切り線は、血清−血液境界面(SB)として定義される。空気216とキャップ214の間の境界面は、管−キャップ境界面(TC)として定義される。管の高さ(HT)は、管215の最下部からキャップ214の下部までの高さとして定義され、管サイズを定めるために用いられる。血清または血漿部分212SPの高さは(HSP)であり、血清または血漿部分212SPの最上部から沈降血液部分212SBの最上部までの高さとして定義される。沈降血液部分212SBの高さは(HSB)であり、沈降血液部分212SBの下部からSBの沈降血液部分212SBの最上部までの高さとして定義される。HTOTは検体212の全高であり、HSPプラスHSBに等しい。
ゲルセパレータ313が使用される場合(図3A)、血清または血漿部分212SPの高さは(HSP)であり、LAの血清または血漿部分212SPの最上部からSGのゲルセパレータ313の最上部までの高さとして定義され、SGは、血清または血漿部分212SPとゲルセパレータ313の間の境界面である。沈降血液部分212SBの高さは(HSB)であり、沈降血液部分212SBの下部からBGのゲルセパレータ313の下部までの高さとして定義され、BGは、沈降血液部分212SBとゲルセパレータ313の間の境界面である。HTOTは、検体212の全高であり、HSPプラスHSBにゲルセパレータ313の高さを加えたものに等しい。それぞれの場合で、Twは壁厚であり、Wは外幅であり、検体容器102のサイズを定めるためにも用いられ、Wiは検体容器102の内幅である。
より詳細には、検体試験装置100は、ベース120(図1)(たとえば、フレーム、床、または他の構造体)を含むことができ、その上に軌道121が取り付けられる。軌道121は、レール敷軌道(たとえば、単レールまたは複レール)、コンベヤベルトを集めたもの、コンベヤチェーン、可動プラットフォーム、または他の任意の適切なタイプの搬送機構とすることができる。軌道121は、環状または他の任意の形状とすることができ、いくつかの実施形態では、閉軌道(たとえば、無限軌道)とすることができる。軌道121は、動作中、検体容器102の個々のものを、軌道121のまわりの間隔をあけた様々な場所まで、キャリア122に入れて輸送することができる。
キャリア122は、軌道121上で単一の検体容器102を搬送するように構成されている受動的な、モータのないパックとするか、場合により、軌道121を回り、あらかじめプログラムされた場所で停止するようにプログラムされているリニアモータなどの搭載駆動モータを含む自動キャリアとすることができる。キャリア122の別の構成も使用される。キャリア122はそれぞれ、規定された垂直の位置および向きに検体容器102を保持するように構成されたホルダ122H(図3B)を含み得る。ホルダ122Hは、検体容器102をキャリア122上に固定する複数のフィンガまたは板ばねを含み得るが、その一部は、異なるサイズの検体容器102を収容するために可動または可撓とすることができる。いくつかの実施形態では、キャリア122は、1つまたはそれ以上のラック104から取り出された後に装填領域105から出ることができる。装填領域105は、予備検査および/または分析が完了した後にキャリア122から装填領域105への検体容器102の再装填を可能にもするという二重機能の役割を果たし得る。
ロボット124が装填領域105に設けられており、1つまたはそれ以上のラック104から検体容器102をつかみ取り、その検体容器102を軌道121の入力レーンの上などのキャリア122の上に装填するように構成されている。ロボット124はまた、検体容器102をキャリア122から1つまたはそれ以上のラック104へ再装填するようにも構成されている。ロボット124は、X(横方向)およびZ(垂直−図示のページから外へ)、YおよびZ、X、Y、ならびにZ、またはr(径方向)およびθ(回転)の運動ができる、1つまたはそれ以上の(たとえば、少なくとも2つの)ロボットアームまたは構成要素を含み得る。ロボット124は、ガントリロボット、関節ロボット、R−θロボット、または他の適切なロボットとすることができ、検体容器102を取り上げ、配置するように向けられ寸法設定され構成されたロボットグリッパフィンガを装備する。
軌道121の上に装填されたとき、キャリア122によって搬送される検体容器102は、第1の前処理ステーション125へと進むことができる。たとえば、第1の前処理ステーション125は、検体212の分画を行うように構成された自動遠心分離機とすることができる。検体容器102を搬送するキャリア122は、流入レーンまたは他の適切なロボットによって、第1の前処理ステーション125へ進路が変えられる。遠心分離された後、検体容器102は流出レーンへ退出することができ、または別法としてロボットによって取り出され、軌道121をたどって先へ進む。図示の実施形態では、キャリア122内の検体容器102は次に、図4A〜図8を参照して本明細書でさらに説明するように、品質検査モジュール130まで輸送されて予備検査が行われる。
品質検査モジュール130は、予備検査、および本明細書に記載の特徴付け方法を実行するように構成され、かつ、検体212に含まれるH、I、および/またはLの存在、ならびにその範囲もしくは程度を、または検体が正常(N)であるかどうかを自動的に決定するように構成されている。正常(N)と考えられるほどに全く少量のH、Iおよび/またはLが含まれていることが判明した場合には、検体212は軌道121上を先へ進むことができ、次に、1つまたはそれ以上の分析器(たとえば、第1、第2、および/または第3の分析器106、108、および/または110)によって分析される。その後、検体容器102は、1つまたはそれ以上のラック104に再装填するために、装填領域105まで戻される。
いくつかの実施形態では、HILNの検出に加えて、検体容器102および検体212のセグメンテーションが行われ得る。セグメンテーションデータから、後処理が検体212の定量化(すなわち、HSP、HSB、HTOTの決定、ならびにSBまたはSG、およびLAの位置の決定)のために用いられる。いくつかの実施形態では、検体容器102の物理的属性(たとえば、サイズ−高さおよび幅/直径)の特徴付けが、品質検査モジュール130において行われ得る。このような特徴付けには、HTおよびW、ならびに場合によりTC、および/またはWiを決定することが含まれ得る。この特徴付けから、検体容器102のサイズが得られる。さらに、いくつかの実施形態では、品質検査モジュール130はまたキャップタイプを判別することもでき、この判別は安全検査として用いられ、オーダされた試験に間違った管タイプが使用されたかどうかを把握することができる。
いくつかの実施形態では、軌道121に直接結合されていない遠隔ステーション132が検体試験装置100に設けられる。たとえば、独立したロボット133(点で示す)が、検体212を含む検体容器102を遠隔ステーション132まで搬送し、試験/前処理の後に戻すことができる。場合により、検体容器102は手動で取り出され、戻される。遠隔ステーション132は、溶血レベルなどの特定の成分の試験のために使用され、あるいは、1つまたはそれ以上の添加物および/または追加の処理によって、脂肪血レベルを下げたり、たとえば血塊、気泡または泡を取り除いたりするなどの別の処理のために使用される。本明細書に記載のHILN検出方法を用いる他の予備検査も、遠隔ステーション132において遂行される。
追加ステーションが、軌道121上またはこれに沿った1つまたはそれ以上の位置に設けられる。追加ステーションには、キャップ除去ステーション、アリコートステーション、1つまたはそれ以上の追加の品質検査モジュール130などが含まれ得る。
検体試験装置100は、軌道121のまわりの1つまたはそれ以上の位置に、いくつかのセンサ116を含み得る。センサ116は、識別情報218i、または各キャリア122に提供される同様の情報(図示せず)を読み取ることによって軌道121上の検体容器102の位置を検出するために使用される。近接センサなど、位置を追跡するための任意の適切な手段が使用される。センサ116のすべてがコンピュータ143とインターフェースすることができるので、各検体容器102の位置が常に分かる。
前処理ステーションならびに分析器106、108、および110は、キャリア122を軌道121から取り出すように構成されたロボット機構および/または流入レーンと、キャリア122を軌道121へ再び入れるように構成されたロボット機構および/または流出レーンとを装備する。
検体試験装置100は、コンピュータ143によって制御され、このコンピュータは、適切なメモリと、様々なシステム構成要素を動作させるための適切なコンディショニング電子回路およびドライバを有するマイクロプロセッサベースの中央処理ユニットCPUとすることができる。コンピュータ143は、検体試験装置100のベース120の一部として、またはそれとは別に収容される。コンピュータ143は、キャリア122の、装填領域105へ行き来する動き、軌道121のまわりの動き、第1の前処理ステーション125へ行き来する動き、ならびに第1の前処理ステーション125(たとえば、遠心分離機)の動作と、品質検査モジュール130へ行き来する動き、ならびに品質検査モジュール130の動作と、各分析器106、108、110へ行き来する動き、ならびに様々なタイプの試験(たとえば、検査または臨床化学)を行うための各分析器106、108、110の動作とを制御するように動作することができる。
品質検査モジュール130以外のすべてについて、コンピュータ143は検体試験装置100を、ニューヨーク州TarrytownのSiemens Healthcare Diagnostics Inc.から販売されているDimension(登録商標)臨床化学分析器に使用されているものなどの、ソフトウェア、ファームウェア、および/またはハードウェアコマンドもしくは回路によって制御することができ、このような制御は、コンピュータベースの電気機械制御プログラミングの当業者には一般的なものであり、本明細書ではこれ以上の説明をしない。しかし、検体試験装置100を制御するための他の適切なシステムも使用される。品質検査モジュール130の制御はまた、本明細書に詳細に記載されている本発明の特徴付け方法による他に、コンピュータ143によっても提供される。
画像処理のために、かつ本明細書に記載の特徴付け方法を実行するために使用されるコンピュータ143は、CPUまたはGPU、十分な処理能力およびRAM、ならびに適切な記憶容量を含み得る。1つの例では、コンピュータ143は、1つまたはそれ以上のGPU、8GB RAM以上、およびテラバイト以上の記憶容量を備えたマルチプロセッサ装備のPCとすることができる。別の例では、コンピュータ143は、GPU装備のPC、または場合により、並列モードで動作させるCPU装備のPCとすることができる。MKLが同様に使用され、8GB RAM以上、および適切な記憶容量。
本開示の諸実施形態は、ユーザが様々な制御画面および状態表示画面に容易かつ迅速にアクセスできるようにするコンピュータインターフェースモジュール(CIM)145を使用して実現される。これらの制御画面および状態表示画面は、検体212の調製および分析のために使用される複数の相互関連自動デバイスの、一部または全部の態様の制御を表示し有効にすることができる。CIM 145は、複数の相互関連自動デバイスの動作状態についての情報、ならびにいずれかの検体212の位置、さらには検体212に実施予定の、または実施されている試験の状態を表す情報を提供するために使用される。CIM 145はこのように、操作員と検体試験装置100の間の対話を容易にするように適用されている。CIM 145は、アイコン、スクロールバー、ボックス、およびボタンを含むメニューを表示するように機能する表示画面を含むことができ、この画面を通して操作員は、検体試験装置100とインターフェースすることができる。メニューは、検体試験装置100の機能的態様を表示および/または動作させるようにプログラムされた、いくつかの機能要素を含み得る。
図4Aおよび図4Bは、本明細書に図示および記述された特徴付け方法を実行するように構成された品質検査モジュール130の第1の実施形態を示す。品質検査モジュール130は、1つまたはそれ以上の分析器106、108、110による分析の前に検体212中の(たとえば、その血清または血漿部分212SP中の)干渉物質(たとえば、H、I、および/またはL)の存在および程度の予備検査をするように構成される。このように予備検査をすることにより、追加の処理、追加の定量化もしくは特徴付け、ならびに/または検体212の廃棄および/もしくは再抽出が、貴重な分析器資源を浪費することなく、あるいは、場合により干渉物質が存在することが試験結果の信憑性に影響を及ぼすことなく、可能になる。
本明細書に記載の干渉物質検出方法に加えて、他の検出方法が、検体容器102に含まれる検体212について品質検査モジュール130で行われ得る。たとえば、CSNからの出力としてセグメンテーションを提供する方法が、品質検査モジュール130で実行される。セグメンテーションデータは、検体212を定量化するために、すなわち、検体212の特定の物理的寸法特性を決定するために(たとえば、LAおよびSB、ならびに/またはHSP、HSB、および/もしくはHTOTの決定)、後処理ステップで使用される。定量化にはまた、たとえば血清または血漿部分の量(VSP)および/または沈降血液部分の量(VSB)を推定することが伴い得る。定量化可能な他の幾何学的特徴もまた決定される。
さらに、品質検査モジュール130は、検体容器102の幾何学的形状を定量化するために、すなわち、検体容器102のTC、HT、および/またはWもしくはWiの位置などの、検体容器102の特定の物理的寸法特性を定量化するために使用される。
図1、図4Aおよび図4Bを参照すると、品質検査モジュール130は複数の画像取り込みデバイス440A〜440Cを含み得る。3つの画像取り込みデバイス440A〜440Cが図示されており好ましいが、場合により2つが、または4つ以上が使用される。画像取り込みデバイス440A〜440Cは、画素化画像を取り込むことができる従来のデジタルカメラ、電荷結合デバイス(CCD)、光検出器のアレイ、1つまたはそれ以上のCMOSセンサなどの、適切に画成されたデジタル画像を取り込むための任意の適切なデバイスとすることができる。たとえば、3つの画像取り込みデバイス440A、440B、440Cが図4Aに示されており、これらは、3つの異なる横方向視点(1、2、および3と標示された視点)から画像を取り込むように構成されている。取り込まれる画像サイズは、たとえば約2560×694画素であり得る。別の実施形態では、画像取り込みデバイス440A、440B、440Cは、たとえば約1280×387画素であり得る画像サイズを取り込むことができる。他の画像サイズおよび画素密度も使用される。
画像取り込みデバイス440A、440B、440Cのそれぞれは、検体容器102の少なくとも一部分および検体212の少なくとも一部分の横方向画像を取り込むように構成され動作可能である。たとえば、画像取り込みデバイス440A〜440Cは、ラベル218の一部、および血清または血漿部分212SPの一部または全部を取り込むことができる。場合によっては、たとえば、視点1〜3の一部がラベル218によって部分的に遮られる。いくつかの実施形態では、視点1〜3のうちの1つまたはそれ以上が完全に遮られ、すなわち、血清または血漿部分212SPが明瞭に見える可能性がないことがある。しかし、視点1〜3の側面(前側または後側)が1つまたはそれ以上のラベル218によって完全に遮られている場合でも、特徴付け方法ではなお、1つまたはそれ以上の遮るラベル218を介して血清または血漿部分212SPの境界を区別することが可能であり得る。
図示の実施形態では、複数の画像取り込みデバイス440A、440B、440Cは、撮像位置432の検体容器102および検体212の横方向画像を複数の視点1〜3から取り込むように構成される。視点1〜3は、図示のように互いから約120°などのほぼ等しい間隔が互いに置かれるように配置される。図示のように、画像取り込みデバイス440A、440B、440Cは、軌道121のまわりに配置される。複数の画像取り込みデバイス440A、440B、440Cの他の配置も用いられる。このようにして、検体容器102中の検体212の画像が、検体容器102が撮像位置432でキャリア122中にある間に取得される。画像取り込みデバイス440A、440B、440Cによって得られる複数の画像の視野は、周方向の範囲でわずかに重なり合い得る。
1つまたはそれ以上の実施形態では、キャリア122は、撮像位置432などの、品質検査モジュール130の所定の位置で、すなわち、画像取り込みデバイス440A、440B、440Cのそれぞれからの法線ベクトルが互いに交差する点などで、停止される。キャリア122のゲートまたはリニアモータが、撮像位置432でキャリア122を停止させるために設けられ、それにより、複数の高品質画像がその位置で取り込まれる。品質検査モジュール130にゲートがある実施形態では、1つまたはそれ以上の(センサ116のような)センサが、品質検査モジュール130にキャリア122が存在することを決定するために使用される。
画像取り込みデバイス440A、440B、440Cは、撮像位置432に近接して設けられ、その位置で画像ウィンドウを取り込むように訓練されるか焦点が合わされ、ここで、この画像ウィンドウは、検体容器102の予測位置を含む領域である。したがって、検体容器102は、いくつかの実施形態ではビューウィンドウのほぼ中心に位置するように停止される。取り込まれた画像中に、1つまたはそれ以上の参照データが存在する。
品質検査モジュール130の動作中、コンピュータ143から送出される、通信ライン443A、443B、443Cに提供されたトリガ信号に応答して各画像がトリガされ取り込まれる。取り込まれた画像のそれぞれが、1つまたはそれ以上の実施形態によれば、コンピュータ143によって処理される。1つの特に効果的な方法では、高ダイナミックレンジ(HDR)処理が使用されて、取り込まれた画像から画像データを取り込まれ処理される。より詳細には、検体212の複数の画像が、1つまたはそれ以上の異なるスペクトルで順次に照明されながら、複数の異なる露光量で(たとえば、異なる露光時間で)品質検査モジュール130において取り込まれる。たとえば、各画像取り込みデバイス440A、440B、440Cは、血清または血漿部分212SPを含む検体容器102の4〜8枚の画像を異なる露光時間で、複数のスペクトルのそれぞれにおいて取得することができる。たとえば、4〜8枚の画像が、赤スペクトルを有する光源444Aによって検体212が背面照射照明されている間に、視点1で画像取り込みデバイス440Aによって取得される。追加の同様の画像が、視点2および3において順次に取得される。
いくつかの実施形態では、複数のスペクトルの画像が、別々のスペクトルの照明を発する別々の光源444A〜444Cを使用して得られる。光源444A〜444Cは、検体容器102を背面照射することができる(図示の通り)。いくつかの実施形態では、散光器が光源444A〜444Cと組み合わせて使用される。複数の異なるスペクトルの光源444A〜444Cは、634nm±35nm(赤)、537nm±35nm(緑)、および455nm±35nm(青)の公称波長を発するLEDなどのRGB光源とすることができる。他の実施形態では、光源444A〜444Cは白色光源とすることができる。ラベル218が複数の視点を覆い隠す場合には、IR背面照射またはNIR背面照射が使用される。さらに、RGB光源が、ラベル遮蔽があるときでさえも場合によっては使用される。他の実施形態では、光源444A〜444Cは、公称波長が約700nmから約1200nmの間の1つまたはそれ以上のスペクトルを発することができる。
非限定的な例として、第1の波長で画像を取り込むには、3つの赤色光源444A〜444C(約634nm±35nmの波長)が使用されて、検体212が3つの横方向位置から順次に照明される。光源444A〜444Cによる赤色照明は、複数の画像(たとえば、4〜8枚以上の画像)が、異なる露光時間で各画像取り込みデバイス440A〜440Cによって各視点1〜3から取り込まれるときに行われ得る。いくつかの実施形態では、露光時間は約0.1msから256msの間とすることができる。他の露光時間も用いられる。いくつかの実施形態では、各画像取り込みデバイス440A〜440Cのそれぞれの画像は、たとえば順次に取得される。したがって、視点1〜3ごとに、赤スペクトル背面照射照明および複数の露光量(たとえば、異なる露光時間などの、4〜8回の露光)を有する一群の画像が順次に得られる。画像は、たとえば、視点1からの全画像が取得された後に視点2および3が順次続く、ラウンドロビン式に取得される。
各実施形態では、品質検査モジュール130は、外光の影響を最小にするために軌道121を少なくとも部分的に取り囲むか覆うことができるハウジング446を含み得る。検体容器102は、画像取得シーケンス中はハウジング446の内側に位置する。ハウジング446は、キャリア122がハウジング446を出入りできるようにするための1つまたはそれ以上の扉446Dを含み得る。いくつかの実施形態では、天井は、可動ロボット指を含むロボットによって上方から検体容器102をキャリア122の中に装填できるようにするための、開口部446Oを含み得る。
図4A〜図4Bの実施形態で赤色照明画像が取り込まれると、別のスペクトルの光、たとえば緑のスペクトル光源444A〜444C(公称波長が約537nmで帯域幅が約±35nm)が点灯され、異なる露光時間の複数の画像(たとえば、4〜8枚以上の画像)が、各画像取り込みデバイス440A、440B、440Cによって順次に取り込まれる。この画像取り込みが、青のスペクトル光源444A〜444C(公称波長が約455nm、帯域幅が約±35nm)を用いて、画像取り込みデバイス440A、440B、440Cごとに繰り返される。異なる公称波長スペクトル光源444A〜444Cは、たとえば、選択的にオン・オフできる異なる所望のスペクトル光源(たとえば、R、G、B、W、IR、および/またはNIR)のバンクを含む光パネルによって実現される。背面照射の他の手段も使用される。
それぞれの波長スペクトルごとに複数の露光量(たとえば、露光時間)で取得される複数の画像は、複数の視点1〜3からの検体容器102および検体212の背面照射画像の集まり全体がたとえば数秒未満で得られるように、速く連続で得られる。1つの例では、画像取り込みデバイス440A、440B、440CとRGB光源444A〜444Cによる背面照射とを使用する、3つの視点1〜3においての波長ごとの4つの異なる露光画像の結果として、4画像×3スペクトル×3画像取り込みデバイス=36画像が得られる。別の例では、画像取り込みデバイス440A、440B、440CとR、G、B、W、IRおよびNIR光源444A〜444Cによる背面照射とを使用する、3つの視点における波長ごとの4つの異なる露光画像の結果として、4画像×6スペクトル×3カメラ=72画像が得られる。
特徴付け方法の諸実施形態によれば、画像データの処理は、たとえば、各波長スペクトルの異なる露光時間での、かつ画像取り込みデバイス440A〜440Cごとの、複数の取り込み画像から最適に露光された画素をスペクトルごとおよび視点1〜3ごとに、最適に露光された画像データを生成するように選択することを含む処理ステップを伴い得る。これは、本明細書では「画像整理統合」と呼ばれる。
各画像取り込みデバイス440A〜440Cからの画像のそれぞれに対して、対応する画素(またはパッチ)ごとに、最適画像強度を示す画素(またはパッチ)が、視点1〜3ごとに、別々の露光画像のそれぞれから選択される。1つの実施形態では、最適画像強度は、たとえば所定の強度の範囲(たとえば、0〜255のスケールで180〜254の間)に入る画素(またはパッチ)であり得る。別の実施形態では、最適画像強度は、たとえば、0〜255のスケールで16〜254の間であり得る。2つの露光画像の対応する画素(またはパッチ)位置に1つよりも多い画素(またはパッチ)が最適に露光されていると決定された場合には、2つのうちの高い方が選択される。
最適画像強度を示す選択された画素(またはパッチ)は、それぞれの露光時間によって正規化される。その結果は、照明スペクトル(たとえば、R、G、B、白色光、IR、および/またはNIR−使用される組み合わせによる)に対する、および画像取り込みデバイス440A〜440Cごとの、複数の正規化および整理統合されたスペクトル画像データセットになり、画素(またはパッチ)のすべてが最適に露光され(たとえば、スペクトルごとに1つの画像データセット)正規化される。言い換えると、視点1〜3ごとに、コンピュータ143によって実行されるデータ前処理により、複数の最適に露光され正規化された画像データセットが、使用される照明スペクトルごとに1つ得られる。
図5は、本明細書に記載のHILN特徴付け方法を実行するように構成された機能構成要素を含む装置500を示す。装置500は、コンピュータ143によって制御される品質検査モジュール130として具現化される。上で論じたように、検体容器102は、機能ブロック502で、品質検査モジュール130の撮像位置432(図4Aおよび図4B)に提供される。マルチビュー画像が、機能ブロック504で、複数の画像取り込みデバイス440A〜440Cによって取り込まれる。マルチビュー、マルチスペクトル、多重露光画像のそれぞれの画像データが、上で論じたように機能ブロック506で前処理されて、複数の最適に露光され正規化された画像データセット(以下「画像データセット」)がもたらされる。検体容器の画像の画像データ(すなわち、画素データ)は、セグメンテーション畳み込みニューラルネットワーク(SCNN)535への入力として提供される。
非接触の試験所自動手順の間中の重要なタスクは、たとえば検体容器102などの検体容器の詳細な特徴付けである。このタスクは、たとえば、検体容器をその背景から分離すること、血清または血漿部分の内容物を理解すること、および検体容器に貼り付けられたいかなるラベルもセグメント化することを含む。これらのタスクすべてが、画素レベルの分類を行うSCNN 535によって完了される。入力画像(すなわち、画素データ)が与えられると、SCNN 535は、分類指標を画像の各画素に、その画素データ値によって示されるその局所的外観に基づいて割り当てるように動作する。抽出された画素指標情報は、SCNN 535によってさらに処理されて最終HILN分類指標が決定される。いくつかの実施形態では、分類指標は、より詳細に以下で説明するように、非遠心分離クラス、正常クラス、および19個のHILクラス/サブクラスを含む、21個の血清クラスを含み得る。
HIL分類指標を決定することについての難題は、H、I、およびLクラスの各サブクラス内の外観差が少ないことから生じ得る。すなわち、隣接するサブクラスの画素データ値が非常に類似している。さらなる難題が、検体容器のサイズおよび形状が異なること、ならびに、上述のように、起こり得る様々な検体容器ラベル遮蔽から生じる。たとえば、検体容器ラベルは、検体容器内の検体の視像を遮ることがあり、あるいは、検体容器の裏側に、検体の外観を黒ずませ得る影の領域を生成することがある。
これらの難題を克服するために、SCNN 535は、いくつかの実施形態では100個を超える動作層を含む、非常に深いセマンティックセグメンテーションネットワーク(DSSN)538を含む。このような深いネットワークを有することの利益は、そのことが、小さい局所領域ではなくより多くのコンテキスト情報を利用する、ネットワーク受信フィールドを増大させ得ることである。さらに、密に接続されたネットワークは、特徴を低レベル層から高レベル層まで、ならびに符号化領域から復号化領域まで連結する。そうすることによって、DSSN 538は、同じタスクのために構成された、いくつかの既知の畳み込みニューラルネットワークよりも容易に詳細な特徴を画像から認識するように訓練することができる。
検体容器タイプの相違(たとえば、サイズおよび/または形状)によって生じる外観差を克服するために、SCNN 535はまた、DSSN 538のフロントエンドに小さい容器セグメンテーションネットワーク(SCN)536も含む。SCN 536は、容器タイプおよび容器境界を決定するように構成され動作する。容器タイプおよび容器境界の情報537は、追加の入力チャネルを介してDSSN 538に入力され、いくつかの実施形態では、SCNN 535は、決定された容器タイプおよび境界539を出力として提供する。いくつかの実施形態では、SCN 536は、DSSN 538と同様なネットワーク構造を有し得るが、もっと浅い(すなわち、層がずっと少ない)。
検体容器ラベルによって生じる外観差を克服するために、ネットワーク損失関数が、マルチラベル損失をサポートするように構成されている。すなわち、いくつかの知られているネットワークでは、画像画素ごとにただ1つの値が出力される。SCNN 535では、画像画素ごとに2つの値が出力される(1つが血清クラス、1つが検体容器ラベルクラス)。検体容器ラベルクラスの値は、0(検体容器ラベルがないことを意味する)から3(画素が3層のラベルで覆われることを意味する)までの範囲になり得る。2つの値を合わせることによって、SCNN 535は、1つまたはそれ以上の検体容器ラベルの後ろに隠れている検体流体領域の血清または血漿部分クラスをより適切に決定することができる。
図5に示されているように、SCNN 535の出力は、いくつかの実施形態では非遠心分離クラス540U、正常クラス540N、溶血クラス540H、黄疸クラス540I、および脂肪血クラス540Lを含み得る分類指標540とすることができる。いくつかの実施形態では、溶血クラス540Hは、サブクラスH0、H1、H2、H3、H4、H5、およびH6を含み得る。黄疸クラス540Iは、サブクラスI0、I1、I2、I3、I4、I5、およびI6を含み得る。また脂肪血クラス540Lは、サブクラスL0、L1、L2、L3、およびL4を含み得る。溶血クラス540H、黄疸クラス540I、および/または脂肪血クラス540Lのそれぞれは、他の実施形態では別の個数のきめ細かなサブクラスを有し得る。
図6は、1つまたはそれ以上の実施形態による、DSSN 538のアーキテクチャ638を示す。DSSN 538は、たとえば、Berkley Vision and Learning Center(BVLC)から入手可能なCaffe、Theano、数学的表現の高速計算のためのPythonフレームワーク、TensorFlow、Torchなどの、任意の適切な科学計算フレームワーク、プログラム、またはツールボックスを使用して符号化される。アーキテクチャ638は、以下の動作層:2つの畳み込み(CONV)層601および647;11個の高密度ブロック層DB4 603、DB5 607、DB7 611、DB10 615、DB12 619、DB15 623、DB12 627、DB10 631、DB4 635、DB5 639、およびDB4 643;5つの遷移ダウン層TD 605、TD 609、TD 613、TD 617、およびTD 621;5つの遷移アップ層TU 625、TU 629、TU 633、TU 637、およびTU 641、ならびに図6に示されたように配置された完全接続層645を含むことができ、分類指標540が出力される。
高密度ブロック層DB4 603、635、および643のそれぞれが4つの高密度層を含み得る。高密度ブロック層DB5 607および639のそれぞれが5つの高密度層を含み得る。高密度ブロック層DB7 611が7つの高密度層を含み得る。高密度ブロック層DB10 615および631のそれぞれが10個の高密度層を含み得る。高密度ブロック層DB12 619および627のそれぞれが12個の高密度層を含み得る。また高密度ブロック層DB15 623が15個の高密度層を含み得る。各高密度層は、バッチ正規化動作、ReLU層、およびドロップアウトp=0.2である3×3畳み込み層を含むことができ、第1の高密度層が入力を受け、入力に連結したいくつかの画素ラベルマップを出力する。次に第2の高密度層が、連結した出力をその入力として受け、いくつかの画素ラベルマップを出力し、この画素ラベルマップは再び、前の画素ラベルマップに連結される。これが高密度ブロック層の高密度層ごとに繰り返される。
各遷移ダウン層TD 605、TD 609、TD 613、TD 617、およびTD 621は、バッチ正規化動作を含むことができ、その後にReLU層が続き、その後にドロップアウトp=0.2である3×3畳み込み層が続き、その後に2×2最大プーリング層が続く。ドロップアウト確率は、最良の結果をもたらす実験的なテストランに応じて0から1の範囲となり得ることに留意されたい。いくつかの実施形態では、TD 605の出力における画素ラベルマップの個数は112であり、TD 609の出力では192であり、TD 613の出力では304であり、TD 617の出力では464であり、TD 621の出力では656になり得る。出力される他の個数の画素ラベルマップも、他の実施形態ではあり得る。
各遷移アップ層TU 625、TU 629、TU 633、TU 637、およびTU 641は、この実施形態では3×3転置畳み込み層を刻み幅2で含み得る。他の遷移アップ層パラメータも可能であり得る。
いくつかの実施形態では、DB15 623の出力における画素ラベルマップの個数が896であり、DB12 627の出力では1088であり、DB10 631の出力では816であり、DB4 635の出力では578であり、DB5 639の出力では384であり、DB4 643の出力では256であり得る。他の個数の出力される画素ラベルマップも、他の実施形態では可能であり得る。
本明細書では、畳み込み層とは、あるフィルタ(カーネルとも呼ばれる)を入力画像データ(たとえば、画素強度値)に適用して、入力画像データ中のどれかの空間位置における特定のタイプの色または特徴(たとえば、第1の畳み込み層を適用した後の簡単な曲線から、いくつかの畳み込み層を適用した後のある程度より複雑な特徴まで)の検出を示し得る起動マップを出力できる処理ステップのことである。
最大プーリング層とは、あるフィルタを適用して、畳み込み層から受けた1つまたはそれ以上の起動マップ中に現れる最大画素値を有する出力起動マップを生成できる処理ステップのことである。
ReLU(矯正リニアユニット)層とは、受けた起動マップ中のすべての値に非線形関数を適用して、たとえば、ゼロの値を割り当てられているすべての負起動値がもたらされ得る処理ステップのことである。
完全接続層とは、前の起動マップ(そのそれぞれが、低レベル特徴の検出を示し得る)を統合して高レベル特徴の検出を示す処理ステップのことである。
SoftMax層とは通常、画像特徴のクラスからの1つまたはそれ以上の画像の、もっとも本当らしい特徴を強調または特定する確率分布を出力する最終処理ステップのことである。
HIL分類指標を決定することについての別の難題は、SCNN 535に同種の構造体を出力させることである。すなわち難題は、血清または血漿部分が、異なるHILクラスの組み合わせとして分類されることを回避することである。こうしたことは、セマンティックセグメンテーションネットワークの損失関数が各画素を個別に評価することがあるので起こり得る。DSSN 538は、大きい受信フィールドに応じてコンテキスト情報を用いるが、他には検体容器の同じ画像の画素ごとに同種のクラスを出力することに対する制限があり得ない。
この難題を克服するために、DSSN 538は、既知の生成敵対的ネットワークに類似している、差別的ネットワークによる訓練プロセスの結果として同種の構造体を「強制的に」出力させられる。図7に示されるように、訓練ネットワーク700は、1つまたはそれ以上の実施形態による生成画素ラベルマップを区別するために、差別的ネットワーク702に連結されたDSSN 538を含む。差別的ネットワーク702は、生成画素ラベルマップがDSSN 538から、またはグランドトルース注釈マップから生成されたかどうかを示すことができる。差別的ネットワーク702は、陽性検体としてのセグメンテーショングランドトルースマップと、陰性検体としてのDSSN 538の出力(いくつかのエポックの後にだけ訓練される)とによって事前訓練される。DSSN 538が、グランドトルースマップとは非常に異なる画素ラベルマップ(分類を示す)を出力する場合、差別的ネットワーク702は、バックプロパゲーションプロセスに使用予定のDSSN 538の付加損失を生成して、総和が画素ラベルマップ損失になり得る。DSSN 538は、総損失に応じて重みを更新することができ、また今後の繰り返しの際に誤りを低減するように試みることができる。最終的に、DSSN 538出力は収束して、差別的ネットワーク702が、グランドトルースマップに非常に類似している出力を有することによって相違を示すことができないという結果が生じ得る。この結果は、血清または血漿部分に対して均一に構築されている出力をもたらし得る。言い換えると、この訓練プロセス中、DSSN 538と差別的ネットワーク702は同時に改善し、バランスのとれた点に収束することができ、DSSN 538は、差別的ネットワーク702がグランドトルース注釈マップとの相違を示すことができない合成画素ラベルマップ(分類指標を示す)を出力することができる。
SCNN 535では、検体容器特徴付け(たとえば、品質検査モジュール130で実施される)の複雑な撮像環境によってもたらされる上述の難題を少なくとも克服するための、いくつかの異なる解決策を組み合わせる。本明細書に記載のように、SCNN 535は、有利には、いくつかの畳み込みニューラルネットワークを特徴付けのために(CSN 536およびDSSN 538)、および訓練のために(差別的ネットワーク702)含む。品質検査モジュール130においてハードウェアによって作成される検体容器画像はSCNN 535に入力され、この入力はコンピュータ143上で実行される。検体容器内の検体の血清または血漿部分の分類指標540は、SCNN 535から出力されてから、上述のさらなる分析のために使用される。
図8は、本開示の1つまたはそれ以上の実施形態による特徴付け方法800のフローチャートを示す。特徴付け方法800は、本明細書に記載のように品質検査モジュール130によって実行される。特に、特徴付け方法800は、検体212中に干渉物質が存在することを決定することができ、特に、1つまたはそれ以上の実施形態によれば、検体212中に干渉物質が存在する程度を決定することができる。特徴付け方法800は、処理ブロック802で、画像取り込みデバイス(たとえば、画像取り込みデバイス440A〜440Cのうちの1つ)によって検体容器(たとえば、検体容器102)の画像を取り込むことを含み得る。検体容器は、検体(たとえば、検体212)の血清または血漿部分(たとえば、血清または血漿部分212SP)を含み得る。画像は、複数の視点(たとえば、図4Aの視点1、2、および3)のうちの1つからのものであり得る。さらに、検体容器102は、1つまたはそれ以上のラベル(たとえば、ラベル218)をその上に含むことができ、画像は、デジタル画素化画像とすることができる。
特徴付け方法800はさらに、処理ブロック804で、いくつかの実施形態ではコンピュータ(たとえば、コンピュータ143)上で実行する100個を超える層を含む、ディープセマンティックセグメンテーションネットワーク(たとえば、DSSN 538)を使用して検体容器の画像の画素データを処理し、それにより血清または血漿部分の分類指標(たとえば、分類540)を決定することを含み得る。
処理ブロック806では、特徴付け方法800は、ディープセマンティックセグメンテーションネットワークから血清または血漿部分の分類指標を出力することを含むことができ、この分類指標は、溶血、黄疸、脂肪血、および正常のクラスを含み、溶血、黄疸、および脂肪血のクラスのそれぞれが5〜7つのサブクラスを含む。たとえば、分類指標は分類指標540とすることができ(図5および図6)、この分類指標は、いくつかの実施形態では以下のクラス(およびサブクラス)を含むことができる:540U、540N、540H(H0、H1、H2、H3、H4、H5、H6)、540I(I0、I1、I2、I3、I4、I5、I6)、および540L(L0、L1、L2、L3、およびL4)。
いくつかの実施形態では、特徴付け方法800はまた、コンピュータ(たとえば、コンピュータ143)上で実行するフロントエンド容器セグメンテーションネットワーク(たとえば、CSN 536)を使用して検体容器の画像の画素データを処理し、それにより容器タイプおよび容器境界を決定することと、容器タイプおよび容器境界をフロントエンド容器セグメンテーションネットワークから追加の入力チャネルを介してディープセマンティックセグメンテーションネットワーク(たとえば、DSSN 538)へ入力して、血清または血漿部分の分類指標を決定することとを含み得る。
分類指標を出力することに加えて、特徴付け方法800はさらに、いくつかの実施形態では、フロントエンド容器セグメンテーションネットワーク(たとえば、CSN 536)から、容器タイプおよび容器境界の情報(たとえば、容器タイプおよび容器境界の情報539)を出力することを含み得る。この情報は、たとえばCSN 536の中へ事前訓練された特定のキャップ形状またはキャップ色であり得るたとえばキャップタイプを含むこと、ならびに/または、(1)管、(2)ゲルセパレータ、(3)キャップ、(4)空気、(5)ラベル、(6)沈降血液部分、および/もしくは(7)血清または血漿部分などのクラスを含み得るセグメンテーションデータを含むことができる。他の個数のクラスも使用される。
いくつかの実施形態では、検体容器の画像は、様々な露光時間のうちの1つで、および/またはいくつかのスペクトル照明条件(たとえば、R、G、B、白色光、IR、および/または近IR)のうちの1つで、取り込まれることに留意されたい。たとえば、異なるスペクトル照明条件下で視点ごとに異なる露光時間で取られる4〜8つまたはそれ以上の異なる露光があり得る。
したがって、上記に基づいて、血清または血漿部分212SPをより適切に特徴付ける、改善された特徴付け方法800が、1つまたはそれ以上の視点を遮り得るラベルを明らかにすることによって、またHIL指標内にきめ細かな干渉物質レベルを設けることによって、提供されることが明白なはずである。
さらにまた明白なはずのように、上記の特徴付け方法は、品質検査モジュール(たとえば、品質検査モジュール130)を使用して実行され、この品質検査モジュールは、撮像位置(たとえば、撮像装置432)のまわりに配置された、かつ、1つまたはそれ以上の視点(たとえば、図4Aの視点1〜3)から、1つまたはそれ以上のラベル218を含み検体212の血清または血漿212SPを含む検体容器102の1つまたはそれ以上の画像を取り込むように構成された、複数の画像取り込みデバイス(たとえば、画像取り込みデバイス440A〜440C)と、複数の画像取り込みデバイスに連結され、1つまたはそれ以上の画像の画素データを処理するように構成されたコンピュータ(たとえば、コンピュータ143)とを含む。コンピュータ(たとえば、コンピュータ143)は、1つまたはそれ以上の視点(たとえば、視点1〜3)からの1つまたはそれ以上の画像を処理して、HILの多くのサブクラス内でのHILN決定を管タイプおよび管境界の情報と共に提供するように構成され、動作させることができる。
さらに、特徴付け方法800は、品質検査モジュール130を含む検体試験装置100で実行される。検体試験装置100は、軌道121と、軌道121上で可動であるキャリア122とを含み得る。キャリア122は、1つまたはそれ以上のラベル218を含み検体212の血清または血漿部分212SPを含む、検体容器102を含み支持するように、かつ検体容器102を品質検査モジュール130まで搬送して特徴付けと、干渉物質が存在するかの予備検査とを遂行するように構成される。
本開示は、様々な修正形態および代替形態が可能であるが、特定の方法および装置の実施形態を図に例として示し、本明細書で詳細に説明している。しかし、本明細書に開示された特定の方法および装置は、本開示を限定するものではなく、それとは対照的に、特許請求の範囲に入るすべての修正形態、均等物、および代替形態を包含するものであることを理解されたい。

Claims (20)

  1. 検体容器を特徴付ける方法であって:
    検体の血清または血漿部分を含む検体容器の画像を画像取り込みデバイスによって取り込むことと;
    コンピュータ上で実行するディープセマンティックセグメンテーションネットワークを使用して検体容器の画像の画素データを処理し、それにより血清または血漿部分の分類指標を決定することと;
    ディープセマンティックセグメンテーションネットワークから血清または血漿部分の分類指標を出力することとを含み、ここで、分類指標は、溶血、黄疸、脂肪血、および正常のクラスを含み、溶血、黄疸、および脂肪血のクラスのそれぞれが5〜7つのサブクラスを含む、前記方法。
  2. 分類指標はさらに非遠心分離クラスを含む、請求項1に記載の方法。
  3. 画素データを処理することは、コンピュータ上で実行するディープセマンティックセグメンテーションネットワークを使用して血清または血漿部分の分類指標を、検体容器中で特定された血清または血漿部分の画像からの画素色データに基づいて決定することを含む、請求項1に記載の方法。
  4. コンピュータ上で実行するフロントエンド容器セグメンテーションネットワークを使用して検体容器の画像の画素データを処理し、それにより容器タイプおよび容器境界を決定することをさらに含む、請求項1に記載の方法。
  5. 容器タイプおよび容器境界をフロントエンド容器セグメンテーションネットワークから追加の入力チャネルを介してディープセマンティックセグメンテーションネットワークへ入力して、血清または血漿部分の分類指標を決定することをさらに含む、請求項4に記載の方法。
  6. ディープセマンティックセグメンテーションネットワークが均一に構築された出力を生成するように、ディープセマンティックセグメンテーションネットワークを差別的ネットワークによって訓練することをさらに含む、請求項1に記載の方法。
  7. ディープセマンティックセグメンテーションネットワークは、少なくとも10個の高密度ブロック層を含むアーキテクチャを含む、請求項1に記載の方法。
  8. 少なくとも10個の高密度ブロック層は、4つの高密度層のうちの最大値をそれぞれが有する少なくとも3つの高密度ブロック層と、5つの高密度層のうちの最大値をそれぞれが有する少なくとも2つの高密度ブロック層とを含む、請求項7に記載の方法。
  9. ディープセマンティックセグメンテーションネットワークは、15個の高密度層を有する少なくとも1つの高密度ブロック層を含むアーキテクチャを含む、請求項7に記載の方法。
  10. ディープセマンティックセグメンテーションネットワークは、5つの遷移アップ層が後に続く5つの遷移ダウン層を含むアーキテクチャを含む、請求項7に記載の方法。
  11. 品質検査モジュールであって:
    1つまたはそれ以上の視点から、検体の血清または血漿部分を含む検体容器の1つまたはそれ以上の画像を取り込むように動作する複数の画像取り込みデバイスと;
    複数の画像取り込みデバイスに連結されたコンピュータとを含み、該コンピュータは:
    コンピュータ上で実行するディープセマンティックセグメンテーションネットワークを使用して検体容器の1つまたはそれ以上の画像の画素データを処理し、それにより血清または血漿部分の分類指標を決定するように;かつ
    ディープセマンティックセグメンテーションネットワークから血清または血漿部分の分類指標を出力するように構成され動作し、ここで、分類指標は、溶血、黄疸、脂肪血、および正常のクラスを含み、溶血、黄疸、および脂肪血のクラスのそれぞれが5〜7つのサブクラスを含む、前記品質検査モジュール。
  12. コンピュータはさらに、非遠心分離クラスをさらに含む分類指標を出力するように構成され動作する、請求項11に記載の品質検査モジュール。
  13. コンピュータはさらに、コンピュータ上で実行するフロントエンド容器セグメンテーションネットワークを使用して1つまたはそれ以上の画像の画素データを処理し、それにより容器タイプおよび容器境界を決定するように構成され動作する、請求項11に記載の品質検査モジュール。
  14. コンピュータはさらに、容器タイプおよび容器境界をフロントエンド容器セグメンテーションネットワークから追加の入力チャネルを介してディープセマンティックセグメンテーションネットワークへ入力して、血清または血漿部分の分類指標を決定するように構成され動作する、請求項13に記載の品質検査モジュール。
  15. コンピュータはさらに、ディープセマンティックセグメンテーションネットワークが均一に構築された出力を生成するように、ディープセマンティックセグメンテーションネットワークを差別的ネットワークによって訓練するように構成され動作する、請求項11に記載の品質検査モジュール。
  16. 検体試験装置であって:
    軌道と;
    該軌道上で可動であり、検体の血清または血漿部分を含む検体容器を含むように構成されたキャリアと;
    軌道のまわりに配置され、1つまたはそれ以上の視点から、検体容器および検体の血清または血漿部分の1つまたはそれ以上の画像を取り込むように動作する複数の画像取り込みデバイスと;
    複数の画像取り込みデバイスに連結されたコンピュータとを含み、該コンピュータは:
    コンピュータ上で実行するディープセマンティックセグメンテーションネットワークを使用して検体容器の1つまたはそれ以上の画像の画素データを処理し、それにより血清または血漿部分の分類指標を決定するように;かつ
    ディープセマンティックセグメンテーションネットワークから血清または血漿部分の分類指標を出力するように構成され動作し、ここで、分類指標は、溶血、黄疸、脂肪血、および正常のクラスを含み、溶血、黄疸、および脂肪血のクラスのそれぞれが5〜7つのサブクラスを含む、前記検体試験装置。
  17. コンピュータはさらに、非遠心分離クラスをさらに含む分類指標を出力するように構成され動作する、請求項16に記載の検体試験装置。
  18. コンピュータはさらに、コンピュータ上で実行するフロントエンド容器セグメンテーションネットワークを使用して1つまたはそれ以上の画像の画素データを処理し、それにより容器タイプおよび容器境界を決定するように構成され動作する、請求項16に記載の検体試験装置。
  19. コンピュータはさらに、容器タイプおよび容器境界をディープセマンティックセグメンテーションネットワークへ追加の入力チャネルを介して入力して、血清または血漿部分の分類指標を決定するように構成され動作する、請求項18に記載の検体試験装置。
  20. コンピュータはさらに、ディープセマンティックセグメンテーションネットワークが均一に構築された出力を生成するように、ディープセマンティックセグメンテーションネットワークを差別的ネットワークによって訓練するように構成され動作する、請求項16に記載の検体試験装置。
JP2020569902A 2018-06-15 2019-06-10 進歩したセマンティックセグメンテーションおよび敵対的訓練による、きめ細かなhil指標決定のための方法および装置 Active JP7089072B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862685335P 2018-06-15 2018-06-15
US62/685,335 2018-06-15
PCT/US2019/036339 WO2019241128A1 (en) 2018-06-15 2019-06-10 Methods and apparatus for fine-grained hil index determination with advanced semantic segmentation and adversarial training

Publications (2)

Publication Number Publication Date
JP2021527221A true JP2021527221A (ja) 2021-10-11
JP7089072B2 JP7089072B2 (ja) 2022-06-21

Family

ID=68842513

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020569902A Active JP7089072B2 (ja) 2018-06-15 2019-06-10 進歩したセマンティックセグメンテーションおよび敵対的訓練による、きめ細かなhil指標決定のための方法および装置

Country Status (5)

Country Link
US (1) US11927736B2 (ja)
EP (1) EP3807396A4 (ja)
JP (1) JP7089072B2 (ja)
CN (1) CN112424334B (ja)
WO (1) WO2019241128A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019241134A1 (en) 2018-06-15 2019-12-19 Siemens Healthcare Diagnostics Inc. Specimen container characterization using a single deep neural network in an end-to-end training fashion
WO2020061369A1 (en) 2018-09-20 2020-03-26 Siemens Healthcare Diagnostics Inc. Methods and apparatus for hiln determination with a deep adaptation network for both serum and plasma samples
CN114627369B (zh) * 2022-01-19 2024-03-22 上海土蜂科技有限公司 环境监测系统、方法及其计算机装置
CN114638803A (zh) * 2022-03-15 2022-06-17 四川大学华西医院 基于深度学习的血清指数智能化判读方法及系统
CN116704248B (zh) * 2023-06-07 2024-10-25 南京大学 一种基于多语义不平衡学习的血清样本图像分类方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013501937A (ja) * 2009-08-13 2013-01-17 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 臨床分析機によって分析される液体サンプルおよび容器の中の干渉物質および物理的寸法を確定するための方法ならびに装置
WO2017106645A1 (en) * 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
US20170372193A1 (en) * 2016-06-23 2017-12-28 Siemens Healthcare Gmbh Image Correction Using A Deep Generative Machine-Learning Model
WO2018022280A1 (en) * 2016-07-25 2018-02-01 Siemens Healthcare Diagnostics Inc. Systems, methods and apparatus for identifying a specimen container cap
WO2018039380A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. Systems and methods for image segmentation using convolutional neural network
WO2018089338A1 (en) * 2016-11-10 2018-05-17 Oni Adeboyejo Adetokunbo Systems and methods for simultaneously visualizing academic and career interrelationship arrays
JP2019500100A (ja) * 2015-12-10 2019-01-10 セント・ジュード・メディカル,カーディオロジー・ディヴィジョン,インコーポレイテッド 血管隔離アブレーション装置
JP2019537011A (ja) * 2016-11-14 2019-12-19 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6143584B2 (ja) * 2013-07-04 2017-06-07 株式会社日立ハイテクノロジーズ 検出装置および生体試料分析装置
US11009467B2 (en) 2015-02-17 2021-05-18 Siemens Healthcare Diagnostics Inc. Model-based methods and apparatus for classifying an interferent in specimens
WO2017132169A1 (en) * 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for detecting an interferent in a specimen
US9739783B1 (en) * 2016-03-15 2017-08-22 Anixa Diagnostics Corporation Convolutional neural networks for cancer diagnosis
EP3482346A1 (en) 2016-07-08 2019-05-15 Avent, Inc. System and method for automatic detection, localization, and semantic segmentation of anatomical objects
CN117095185A (zh) * 2016-10-28 2023-11-21 贝克曼库尔特有限公司 物质准备评估系统
EP3610240A4 (en) 2017-04-13 2020-04-22 Siemens Healthcare Diagnostics Inc. METHOD AND DEVICE FOR HILN CHARACTERIZATION USING A NEURONAL FOLDING NETWORK

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013501937A (ja) * 2009-08-13 2013-01-17 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 臨床分析機によって分析される液体サンプルおよび容器の中の干渉物質および物理的寸法を確定するための方法ならびに装置
JP2019500100A (ja) * 2015-12-10 2019-01-10 セント・ジュード・メディカル,カーディオロジー・ディヴィジョン,インコーポレイテッド 血管隔離アブレーション装置
WO2017106645A1 (en) * 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
US20170372193A1 (en) * 2016-06-23 2017-12-28 Siemens Healthcare Gmbh Image Correction Using A Deep Generative Machine-Learning Model
WO2018022280A1 (en) * 2016-07-25 2018-02-01 Siemens Healthcare Diagnostics Inc. Systems, methods and apparatus for identifying a specimen container cap
JP2019531463A (ja) * 2016-07-25 2019-10-31 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 試料容器キャップを識別するためのシステム、方法及び装置
WO2018039380A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. Systems and methods for image segmentation using convolutional neural network
JP2019531783A (ja) * 2016-08-26 2019-11-07 エレクタ、インク.Elekta, Inc. 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法
WO2018089338A1 (en) * 2016-11-10 2018-05-17 Oni Adeboyejo Adetokunbo Systems and methods for simultaneously visualizing academic and career interrelationship arrays
JP2019537011A (ja) * 2016-11-14 2019-12-19 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
G. HUANG, Z. LIU, L. VAN DER MAATEN AND K. Q. WEINBERGER: "Densely Connected Convolutional Networks", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), JPN6022002744, 2017, pages 2261 - 2269, XP033249569, ISSN: 0004787387, DOI: 10.1109/CVPR.2017.243 *
畳み込みニューラルネットワークの最新研究動向 (〜2017), JPN7022000322, 25 December 2017 (2017-12-25), ISSN: 0004787388 *

Also Published As

Publication number Publication date
WO2019241128A1 (en) 2019-12-19
CN112424334A (zh) 2021-02-26
EP3807396A1 (en) 2021-04-21
US20210133971A1 (en) 2021-05-06
EP3807396A4 (en) 2021-08-25
JP7089072B2 (ja) 2022-06-21
US11927736B2 (en) 2024-03-12
CN112424334B (zh) 2024-08-20

Similar Documents

Publication Publication Date Title
JP7055818B2 (ja) 畳み込みニューラルネットワークを用いたhiln評価方法及び装置
JP6879366B2 (ja) 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール
JP7324757B2 (ja) 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置
JP7216069B2 (ja) ディープラーニングボリューム定量化方法および装置
JP7089072B2 (ja) 進歩したセマンティックセグメンテーションおよび敵対的訓練による、きめ細かなhil指標決定のための方法および装置
JP7089071B2 (ja) 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け
JP7386236B2 (ja) 血清および血漿試料の両方に関してディープアダプテーションネットワークを用いてhilnを決定するための方法および装置
JP7203206B2 (ja) 標本分類のための仮説および検証ネットワークおよび方法
JP7373659B2 (ja) 自動診断分析システムにおいて検体の特性評価中に患者情報を保護するための方法および装置
JP2023500835A (ja) 自動診断分析システムにおいて検体のhiln決定に使用される訓練画像をハッシュおよび検索するための方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220609

R150 Certificate of patent or registration of utility model

Ref document number: 7089072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150