JP2022502634A - 血清および血漿試料の両方に関してディープアダプテーションネットワークを用いてhilnを決定するための方法および装置 - Google Patents

血清および血漿試料の両方に関してディープアダプテーションネットワークを用いてhilnを決定するための方法および装置 Download PDF

Info

Publication number
JP2022502634A
JP2022502634A JP2021515512A JP2021515512A JP2022502634A JP 2022502634 A JP2022502634 A JP 2022502634A JP 2021515512 A JP2021515512 A JP 2021515512A JP 2021515512 A JP2021515512 A JP 2021515512A JP 2022502634 A JP2022502634 A JP 2022502634A
Authority
JP
Japan
Prior art keywords
pixel data
specimen
classification
network
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021515512A
Other languages
English (en)
Other versions
JP7386236B2 (ja
Inventor
ヴェンカテッシュ・ナラシムハムルシー
ヴィヴィック・シンフ
イャオ−ジェン・チャン
ベンジャミン・エス・ポラック
アンカー・カプール
Original Assignee
シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド filed Critical シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
Publication of JP2022502634A publication Critical patent/JP2022502634A/ja
Application granted granted Critical
Publication of JP7386236B2 publication Critical patent/JP7386236B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/10Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G01J2003/102Plural sources
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/10Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G01J2003/102Plural sources
    • G01J2003/106Plural sources the two sources being alternating or selectable, e.g. in two ranges or line:continuum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • G01N2035/00742Type of codes
    • G01N2035/00752Type of codes bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

標本容器内の標本の血清または血漿部分を特性評価する方法は、HILN(溶血、黄疸、脂肪血症、正常)の決定を提供する。標本容器の入力画像の画素データは、標本が血漿または血清を含むかどうかを識別するために分類ネットワークによって処理される。血漿試料を表す画素データは、HILN決定のために血漿試料で訓練されたセグメント化/分類/回帰ネットワークに転送される。血清試料を表す画素データは、変換ネットワークに転送され、血清試料画素データは、試料の色、コントラスト、強度、および/または明るさを変えることによって、それに対応する以前に収集された血漿試料の画素データと合致する画素データに変換される。変換後の血清試料画素データは、HILN決定のためにセグメント化/分類/回帰ネットワークに転送される。他の態様と同様に、この方法を実施するように構成された品質チェックモジュールおよび試験装置も述べる。【選択図】図5

Description

関連出願の相互参照
本出願は、2018年9月20日出願の米国特許仮出願第62/733,985号の利益を主張し、その開示全体を、あらゆる目的のために参照によって本明細書に組み込む。
本開示は、自動診断分析システムにおいて標本容器(およびその中の標本)を特性評価するための方法および装置に関する。
自動診断分析システムは、尿、血清、血漿、間質液、脳脊髄液などの標本中の分析物または他の成分を同定するために、1つまたはそれ以上の試薬を使用してアッセイまたは臨床分析を行うことができる。そのような標本は通常、標本容器(例えば標本採取管)に含まれる。試験反応は、標本中の分析物または他の成分の濃度を決定するために読み取られる、かつ/または操作される様々な変化を生成する。
自動試験技術の改良は、分析前の標本の調製および取扱いの相応の進歩によって達成されている。そのような調整および取扱いは、例えば、実験室自動システム(LAS)と呼ばれる自動標本調製システムによる、選別、バッチ調製、標本成分を分離するための標本容器の遠心分離、液体へのアクセスを容易にするためのキャップの取外し、HILN(溶血、黄疸、および/または脂肪血症、または正常)カテゴリ分けのための事前スクリーニングなどである。LASはまた、標本容器内の標本をいくつかの標本処理ステーションに自動的に輸送することができ、そこで様々な操作(例えば分析前または分析試験)が行われる。
LASは、バーコードラベルを付された標準の標本容器に含まれるいくつかの異なる標本を処理することがあり、これらの標本容器は、様々なサイズ(例えば直径および高さ)でよい。バーコードラベルは、試験命令と共に病院のラボラトリ情報管理システム(LIS)に入力されていることがある患者情報および他の情報を含む、またはそれらに相関されることがあるアクセッション番号を含むことがある。操作者は、ラベルを付された標本容器をLASシステムに配置することがある。LASシステムは、遠心分離、キャップ取外し、および/またはアリコート調製などの分析前操作のために標本容器を自動的に経路指定することができ、その後、標本は、1つまたはそれ以上の分析器(例えば臨床化学またはアッセイ機器)によって臨床分析またはアッセイを行われ、この分析器もLASの一部でよい。
いくつかの試験では、(遠心分離によって全血から得られる)血清または血漿部分などの生体液が分析される。標本が全血である場合、ゲルセパレータが標本容器に加えられて、血清または血漿部分からの沈降血液部分の分離を助ける。前処理後、標本容器は適切な分析器に輸送され、分析器は、生体液の一部(例えば血清または血漿部分)を標本容器から抽出し、反応容器(例えばキュベット)内でその流体を1つまたはそれ以上の試薬および場合によっては他の物質と混ぜ合わせることができる。次いで、測光または蛍光吸収の読取りによって分析測定が行われる。測定は、エンドポイントレートまたは他の値の決定を可能にし、そこから、生体液中の分析物または他の成分の量が、よく知られている技法を使用して決定される。
しかし、患者状態または試料処理に起因することがある標本中の任意の干渉物(溶血、黄疸、および/または脂肪血症など)の存在が、1つまたはそれ以上の分析器から得られる分析物または成分測定の試験結果に悪影響を及ぼすことがある。例えば、患者の病状とは無関係であり得る標本中の溶血(H)の存在は、患者の病状の異なる解釈を引き起こすことがある。さらに、標本中の黄疸(I)および/または脂肪血症(L)の存在も、患者の病状の異なる解釈を引き起こすことがある。
いくつかのシステムでは、熟練した検査技師が、標本の血清または血漿部分の完全性を、正常(N)として、または(例えばインデックスを割り当てることによって)ある度合いのH、I、および/もしくはLを有するものとして目視検査して評価することができる。これは、既知の基準に対する血清または血漿部分の色の検討を含むことがある。しかし、そのような手動の目視検査は非常に主観的で、労働集約的であり、人為的ミスが起こるおそれがある。
手動検査は問題を生じることがあるので、検査技師による目視検査を用いずに、代わりに自動マシンビジョン検査装置を使用して標本の完全性を評価する努力がなされており、そのような評価は分析前試験中に行われる(以下「事前スクリーニング」)。事前スクリーニングは、分画によって(例えば遠心分離によって)全血から得られた血清または血漿部分中のH、I、および/またはLなどの干渉物を自動で検出することを含む。
しかし、例えば上述したバーコードラベルが標本容器に直接貼り付けられているので、自動マシンビジョン検査装置に提供すべき標本試料の十分な画像を得ることは難しい。そのようなラベルは、標本の特定の横方向視点を部分的に遮って妨害することがあり、したがって、血清または血漿部分を視覚的に明確に観察することができないいくつかの向きがあり得る。したがって、血清または血漿部分のごく一部しか見えないことがあり、血清または血漿部分に対して行われるH、I、および/またはL、またはNの読取りが高レベルの信頼性を伴わないことがある。
さらに、大量の血漿および血清試料画像を収集して注釈を付け、標本試料中のHILNの存在を適切に決定できるように自動マシンビジョン検査装置を訓練するには、かなりの時間と費用がかかることがある。
したがって、溶血(H)、黄疸(I)、および/もしくは脂肪血症(L)の存在および場合によってはその度合い、または標本の血清もしくは血漿部分が正常(N)であるかどうかを決定するために、標本の血漿または血清部分を特性評価するための改良された費用対効果の高い方法および装置の必要性はまだ満たされていない。
第1の態様によれば、標本容器を特性評価する方法が提供される。この方法は、コンピュータで実行される分類ネットワークを使用して、標本を含む標本容器の画像の画素データを処理し、標本容器が血清部分または血漿部分を含むかどうかを決定する工程を含む。この方法はまた、血清部分を含むと分類ネットワークによって決定された画像の画素データを変換後画素データに変換する工程であって、変換後画素データは、コンピュータで実行される変換ネットワークを使用して、画像の画素データに存在する任意のHILN(溶血、黄疸、脂肪血症、および正常)特性に影響を及ぼすことなく、血清部分の外観に対応する外観を有する血漿部分の以前に収集された画像の画素データと合致する、工程を含む。
別の態様によれば、品質チェックモジュールが提供される。品質チェックモジュールは、1つまたはそれ以上の視点から、標本を含む標本容器の1つまたはそれ以上の画像を取り込むように動作可能な1つまたはそれ以上の画像取込みデバイスを含む。品質チェックモジュールはまた、1つまたはそれ以上の画像取込みデバイスに連結されたコンピュータを含む。コンピュータは、コンピュータで実行される分類ネットワークを使用して、標本容器の取り込まれた画像の画素データを処理し、標本容器が血清部分または血漿部分を含むかどうかを決定するように構成され動作可能である。コンピュータはまた、血清部分を含むと分類ネットワークによって決定された取り込まれた画像の画素データを変換後画素データに変換するように構成され動作可能であり、変換後画素データは、コンピュータで実行される変換ネットワークを使用して、画像の画素データに存在する任意のHILN(溶血、黄疸、脂肪血症、および正常)特性に影響を及ぼすことなく、血清部分の外観に対応する外観を有する血漿部分の以前に収集された画像の画素データと合致する。コンピュータは、コンピュータで実行されるセグメント化/分類/回帰ネットワークを使用して、変換後画素データを処理し、血漿部分のHILNカテゴリを決定するようにさらに構成され動作可能である。コンピュータは、インターフェースモジュールを使用して、セグメント化/分類/回帰ネットワークによって処理された画素データを有する各取り込まれた画像に関する決定されたHILNカテゴリをセグメント化/分類/回帰ネットワークから出力するようにさらに構成され動作可能である。
さらなる態様において、標本試験装置が提供される。標本試験装置は、トラックと、トラック上で可動のキャリアと、トラックの周りに配置された複数の画像取込みデバイスと、複数の画像取込みデバイスに連結されたコンピュータとを含む。キャリアは、標本を含む標本容器を含むように構成され、複数の画像取込みデバイスは、1つまたはそれ以上の視点から標本容器および標本の1つまたはそれ以上の画像を取り込むように動作可能である。コンピュータは、インターフェースモジュールを含み、コンピュータで実行される分類ネットワークを使用して、標本容器の取り込まれた画像の画素データを処理し、標本容器が血清部分または血漿部分を含むかどうかを決定するように構成され動作可能である。コンピュータはまた、血清部分を含むと分類ネットワークによって決定された取り込まれた画像の画素データを変換後画素データに変換するように構成され動作可能であり、変換後画素データは、コンピュータで実行される変換ネットワークを使用して、画像の画素データに存在する任意のHILN(溶血、黄疸、脂肪血症、および正常)特性に影響を及ぼすことなく、血清部分の外観に対応する外観を有する血漿部分の以前に収集された画像の画素データと合致する。コンピュータは、コンピュータで実行されるセグメント化/分類/回帰ネットワークを使用して、変換後画素データを処理し、血漿部分のHILNカテゴリを決定するようにさらに構成され動作可能である。コンピュータは、インターフェースモジュールを使用して、セグメント化/分類/回帰ネットワークによって処理された画素データを有する各取り込まれた画像に関する決定されたHILNカテゴリをセグメント化/分類/回帰ネットワークから出力するようにさらに構成され動作可能である。
さらに別の態様では、標本容器を特性評価する別の方法が提供される。この方法は、コンピュータで実行される変換ネットワークを使用して、標本容器の画像の画素データを変換後画素データに変換する工程を含み、標本容器は標本を含み、標本は血清部分または血漿部分を有し、変換ネットワークは、画像の画素データに存在する任意のHILN(溶血、黄疸、脂肪血症、および正常)特性に影響を及ぼすことなく、血清部分の画像と血漿部分の画像との外観の相違を最小化または正規化する、
本開示のさらに他の態様、特徴、および利点は、本発明を実施するために企図される最良の形態を含む、いくつかの例示的な実施形態および実装形態の以下の説明および例示から容易に明らかになり得る。本開示は、他の異なる実施形態も可能であり得て、本開示のいくつかの詳細は、すべて本発明の範囲から逸脱することなく、様々な点で修正されることがある。本開示は、特許請求の範囲の範囲に含まれるすべての修正形態、等価形態、および代替形態を網羅することが意図される。
以下に述べる図面は、例示目的であり、必ずしも一定の縮尺で描かれているわけではない。したがって、図面および説明は、本質的に例示とみなされるべきであり、限定とみなされるべきではない。図面は、本発明の範囲を限定することをなんら意図されていない。
1つまたはそれ以上の実施形態によるHILN決定方法を実施するように構成された1つまたはそれ以上の品質チェックモジュールを含む標本試験装置の上面概略図である。 干渉物を含む血清または血漿部分を有する分離された標本を含む、ラベルを付された標本容器の側面図である。 ラベル、干渉物を含む血清または血漿部分を含む分離された標本、およびゲルセパレータを含む標本容器の側面図である。 ホルダに直立した向きで保持された、図3Aの標本容器の側面図である。 血漿部分を含む標本容器の側面図である。 血清部分を含む標本容器の側面図である。 1つまたはそれ以上の実施形態による、干渉物の存在および度合いの決定を可能にするために、複数の視点を含み、複数のバックライト照明された画像を取り込み分析するように構成された品質チェックモジュール(上部が取り外されている)の概略上面図である。 1つまたはそれ以上の実施形態による図4Aの断面線4B〜4Bに沿って取られた、図4Aの品質チェックモジュール(エンクロージャ前壁が取り外された状態)の概略側面図である。 1つまたはそれ以上の実施形態による、標本容器に含まれる標本の血清または血漿部分の干渉物カテゴリを出力するように動作可能なディープアダプテーションネットワーク(DAN)を含む品質チェックモジュールの機能ブロック図である。 1つまたはそれ以上の実施形態による図5のDANのセグメント化/分類ネットワークの機能ブロック図である。 1つまたはそれ以上の実施形態による図6のセグメント化/分類ネットワークのアーキテクチャのブロック図である。 1つまたはそれ以上の実施形態による、標本容器を特性評価する方法の流れ図である。 1つまたはそれ以上の実施形態による、標本容器に含まれる標本の血清または血漿部分の干渉物カテゴリを出力するように動作可能な代替のディープアダプテーションネットワーク(DAN)を含む品質チェックモジュールの機能ブロック図である。
標本容器に含まれる標本の事前スクリーニング中に、標本の血清または血漿部分中の干渉物の存在、およびいくつかの実施形態では干渉物の度合いを決定する方法が、いくつかの実施形態に従って提供される。血清または血漿部分は、血液の液体成分であり得て、(例えば遠心分離による)分画後に沈降血液部分の上方に見られる。沈降血液部分は、白血球(leukocyte)、赤血球(erythrocyte)、および血小板(thrombocyte)などの血球からなる稠密の半固体であり得る。血漿と血清とは、凝固成分、主にフィブリノーゲンの含有量が互いに異なることがある。血漿は、凝固されていない液体であり得て、血清は、内因性酵素または外因性成分の影響下で凝固された血漿を表すことがある。
本明細書で使用するとき、溶血(H)、黄疸(I)、もしくは脂肪血症(L)などの干渉物、または正常(N)の決定(以下「HILN」)は、標本の血清または血漿部分中のH、I、および/またはLのうちの少なくとも1つの存在を表す。正常(N)は、許容できる程度に少量のH、I、およびLを含む血清または血漿部分と定義される。溶血は、処理中に赤血球が破壊され、赤血球から血清または血漿部分へのヘモグロビンの解放をもたらし、それにより血清または血漿部分が赤みがかった色合いを呈した状態として定義される。溶血の度合いは、溶血指数を割り当てることによって定量化される。黄疸は、胆汁色素(ビリルビン)の蓄積によって引き起こされる、血清または血漿部分が暗黄色に変色される血液の状態として定義される。黄疸の度合いは、黄疸指数を割り当てることによって定量化される。脂肪血症は、血清または血漿部分が白っぽいまたは乳白色の外観を有するような、異常に高濃度の乳化脂肪が血中に存在することとして定義される。脂肪血症の度合いは、脂肪血症指数を割り当てることによって定量化される。
標本は、採血管などの標本容器に採取され、分画(例えば遠心分離による分離)後の沈降血液部分および血清または血漿部分を含むことがある。いくつかの標本容器では、ゲルセパレータが使用され、ゲルセパレータは、遠心分離中、沈降血液部分と血清または血漿部分との間に位置する。ゲルセパレータは、2つの部分(液体と、半固体の沈降血球と)の間の物理的障壁として働き、それらの再混合を最小限に抑えることができる。標本容器は様々なサイズでよく、したがって、事前スクリーニング用に、いくつかの異なる構成での分析器に供給される。例えば、標本容器は、13mm×75mm、13mm×100mm、16mm×100mm、および16mm×125mmなどのサイズを有することがある。他の適切なサイズを使用することもできる。
標本がH、I、およびLのうちの1つまたはそれ以上を含むことが判明した場合、操作者に適切な通知が提供され、および/または標本容器がオフラインにされて、(1)H、I、またはLのうちの1つまたはそれ以上を修正するために改善手段を行う、(2)標本を再採取する、または(3)他の処理を行う。したがって、遠心分離後、かつ1つまたはそれ以上の分析器による分析前の最初に可能な時点などにHILNを事前スクリーニングする機能は、有利には(a)分析に適切な質でない標本を分析するのに費やされる時間を最小限に抑えることができ、(b)誤った試験結果を回避するまたは最小限に抑えることができ、(c)患者の試験結果の遅延を最小限に抑えることができ、かつ/または(d)患者標本の浪費を回避することができる。
いくつかの実施形態による方法は、HILNカテゴリ(例えば「H」または「I」または「L」または「N」)のみ、またはHの度合いもしくはサブクラス(例えば、いくつかの実施形態ではH0〜H6、他の実施形態ではより多いもしくはより少ない)、Iの度合いもしくはサブクラス(例えば、いくつかの実施形態ではI0〜I6、他の実施形態ではより多いまたはより少ない)、および/またはLの度合いまたはサブクラス(例えば、いくつかの実施形態ではL0〜L4、他の実施形態ではより多いまたはより少ない)のみを決定することがある。いくつかの実施形態では、この方法は、遠心分離されていない標本に関する未遠心分離(U)カテゴリを含むことがある。さらに、この方法は、血清もしくは血漿部分、沈降血液部分、ゲルセパレータ(使用される場合)、空気、ラベル、標本容器のタイプ(例えば、高さおよび幅/直径を示す)、ならびに/または標本容器キャップのタイプおよび/もしくは色など、標本容器および標本の様々な領域を分類(または「セグメント化」)することができる。標本容器ホルダまたは背景も分類されることがある。1つまたはそれ以上のラベルが様々な度合いで標本容器の周りを覆うことがあるので、標本容器の1つまたはそれ以上のラベルを含む領域から血清および血漿部分を区別することは、特に厄介な問題であり得る。したがって、1つまたはそれ以上のラベルが1つまたはそれ以上の視点を妨げることがあり、血清または血漿部分に対する明瞭な視界を得るのが困難なことがある。
したがって、1つまたはそれ以上のラベルによる干渉により、血清または血漿部分の分類が困難なことがあり、ラベルの配置は、標本容器ごとにかなり異なることがある。特に、1つまたはそれ以上のラベルが裏側に現れることがあり、したがって表側で受け取られる光透過に影響を及ぼすことがあると仮定して、1つまたはそれ以上のラベルによって引き起こされる妨害は、例えば様々な視点からのスペクトル応答に大きな影響を及ぼす可能性がある。
さらに、自動診断分析システムの事前スクリーニング装置、およびその装置で実施される関連の特性評価方法は、計算効率が高く、かつ費用対効果が高くなければならない。
したがって、第1の広範な態様では、本開示の実施形態は、コンピュータで実行されるディープアダプテーションネットワーク(DAN)を使用して、HILNの存在およびいくつかの実施形態ではHILNの度合いを決定するように構成された方法および装置を提供する。DANは、分類ネットワーク、変換ネットワーク、およびセグメント化/分類/回帰ネットワーク(SCN)を含むことがある。分類ネットワークは、標本を含む標本容器の1つまたはそれ以上の画像を受け取ることがあり、標本が標本の血清部分または血漿部分を含むかどうかを決定することができる。いくつかの実施形態では、分類ネットワークは、標本容器が遠心分離されていない標本を含むかどうかを決定することもできる。標本容器が血清部分を含むと分類ネットワークが決定したのに応答して、血清部分の画像が変換ネットワークによって受け取られる。変換ネットワークは、血清部分画像の画素データを画像の「変換後画素データ」に変換する。変換後画素データは、血清部分の外観に対応する外観を有する血漿部分の以前に収集された画像の画素データと合致する。変換ネットワークは、血清部分画像の画素データの色、コントラスト、強度、および/または明るさのうちの1つまたはそれ以上を修正して、血清部分の外観に対応すると変換ネットワークによって考えられる以前に収集された血漿部分画像の外観と合致させる。次いで、「変換後画素データ」は、処理のためにSCNによって受け取られる。SCNは、血清部分の「変換後画素データ」のHILN(溶血、黄疸、脂肪血症、および正常)カテゴリを決定するように構成される。いくつかの実施形態では、SCNはまた、以下でさらに述べるように、標本容器およびキャップタイプ情報および/または容器セグメント化情報を決定するように構成される。標本容器が血漿部分を含むと分類ネットワークが決定したのに応答して、血漿部分の画像は、血清部分の「変換後画素データ」と同じ様式で、処理のためにSCNによって受け取られて、血漿部分のHILNカテゴリが決定され、いくつかの実施形態では、標本容器およびキャップタイプ情報および/または容器セグメント化情報も決定される。
有利には、分類および変換ネットワークは、血漿部分標本試料の画像のみで訓練されているSCNを使用できるようにする。これは、SCNの訓練で使用すべき血清部分標本試料の大量の画像を収集して手動で注釈を付けるという、労働集約的で、時間がかかり、費用もかかるプロセスをなくすことができる。さらに、血清試料の抽出は、一般に血漿試料の抽出よりも費用がかかる。したがって、本明細書で述べる実施形態によるDANは、血漿試料画像のみで訓練されたSCNを用いて血漿および血清試料の両方についてHILNの決定を提供することによって、関連するコストを大幅に削減することができる。
本発明による特性評価方法および装置(例えば、特性評価方法を実施するように構成された品質チェックモジュール、および1つまたはそれ以上の品質チェックモジュールを含む標本試験システム)のさらなる詳細を、本明細書において図1〜8を参照してさらに述べる。
図1は、標本212を含む複数の標本容器102(例えば図2〜3D参照)を自動的に処理することが可能な標本試験装置100を示す。標本容器102は、装填エリア105で1つまたはそれ以上のラック104に提供された後、標本試験装置100の周りに配置された1つまたはそれ以上の分析器(例えば、第1の分析器106、第2の分析器108、および/または第3の分析器110)に輸送され、分析器によって分析される。より多数またはより少数の分析器を使用してもよい。分析器は、臨床化学分析器および/またはアッセイ機器などの任意の組合せでよい。標本容器102は、標本212を含むことができ、含まれる標本212の撮像を可能にすることができる、採血管、試験管、試料カップ、キュベット、または他の透明もしくは不透明のガラスもしくはプラスチック容器など任意の適切な透明または半透明の容器でよい。標本容器102は、様々なサイズでよい。
標本212(図2〜3D)は、標本容器102内で標本試験装置100に提供され、標本容器102にはキャップ214を被せることができる。キャップ214は、様々なタイプおよび/または色(例えば、赤、ロイヤルブルー、ライトブルー、緑色、灰色、褐色、黄色、または色の組合せ)でよく、これは、標本容器102がどのような試験に使用されるか、標本容器102に含まれる添加物のタイプ、容器がゲルセパレータを含むかどうかなどに関して意味を有することがある。他の色を使用してもよい。一実施形態では、キャップタイプは、本明細書に述べる特性評価方法によって決定される。
各標本容器102にはラベル218が付され、ラベル218は、バーコード、アルファベット、数字、またはこれらの組合せなど、識別情報218i(すなわちインデックス)を含むことがある。識別情報218iは、標本試験装置100の周りの様々な位置で機械可読であり得る。機械可読情報は、容易に撮像することができるように、ラベル材料(例えば白紙)よりも濃い色(例えば黒)でよい。識別情報218iは、患者の識別、および標本212に対して実施予定の試験を示すことがあり、あるいは研究室情報システム(LIS)147を介してそれらに相関されることがある。識別情報218iは、他のまたは追加の情報を示すこともある。そのような識別情報218iはラベル218に提供され、ラベル218は、管215の外面に接着される、または別の方法で提供される。図2に示されるように、ラベル218は、標本容器102の全周にわたって、または標本容器102の全長に沿って延びることはなく、したがって図示される特定の正面の視点から血清または血漿部分212SPの大部分が見え(点線で示される部分)、ラベル218によって妨げられない。
しかし、いくつかの実施形態では、(例えば標本容器102を取り扱っている複数の設備から)複数のラベル218が提供されることがあり、ある程度互いに重なっていることがある。例えば、2つのラベル(例えば、製造業者のラベルおよびバーコードラベル)が付与されることがあり、重なっていてもよく、1つまたはそれ以上の視点のいくつかまたはすべてを遮っていても(妨害していても)よい。
したがって、いくつかの実施形態では、ラベル218が標本212の一部を遮っていることがある(遮られた部分)が、標本212ならびに血清および血漿部分212SPの一部が少なくとも1つの視点から依然として見える(遮られていない部分)と理解すべきである。したがって、本開示の別の態様によれば、特性評価方法を実施するように構成されたDANの実施形態は、改善されたHILN検出を提供することができるように、遮られた部分と遮られていない部分とを認識するように訓練することができる。
再び図2を参照すると、標本212は、管215内に含まれた血清または血漿部分212SPと沈降血液部分212SBとを含むことができる。血清および血漿部分212SPの上方に空気216が入り、それらの間の境界線は、液体−空気界面(LA)と定義される。血清または血漿部分212SPと沈降血液部分212SBとの間の境界線は、血清−血液界面(SB)と定義される。空気216とキャップ214との界面は、管−キャップ界面(TC)と定義される。管の高さ(HT)は、管215の最底部からキャップ214の底部までの高さと定義され、管のサイズを決定するために使用される。血清または血漿部分212SPの高さは(HSP)であり、血清または血漿部分212SPの上部から沈降血液部分212SBの上部までの高さとして定義される。沈降血液部分212SBの高さは(HSB)であり、沈降血液部分212SBの底部から沈降血液部分212SBの上部SBまでの高さとして定義される。HTOTは標本212の全高であり、HSPとHSBとの和に等しい。
ゲルセパレータ313が使用される場合(図3A)、血清または血漿部分212SPの高さは(HSP)であり、血清または血漿部分212SPの上部LAからゲルセパレータ313の上部SGまでの高さとして定義され、SGは、血清または血漿部分212SPとゲルセパレータ313との界面である。沈降血液部分212SBの高さは(HSB)であり、沈降血液部分212SBの底部からゲルセパレータ313の底部BGまでの高さとして定義され、BGは、沈降血液部分212SBとゲルセパレータ313との界面である。HTOTは標本212の全高であり、HSPとHSBとゲルセパレータ313の高さとの和に等しい。いずれの場合も、Twは壁厚であり、Wは外幅であり、これらも標本容器102のサイズを決定するために使用され、Wiは、標本容器102の内幅である。
より詳細には、標本試験装置100は、トラック121が取り付けられる基部120(図1)(例えば、フレーム、フロア、または他の構造)を含むことがある。トラック121は、レール式トラック(例えばモノレールまたはマルチレール)、コンベアベルトの集合、コンベアチェーン、可動プラットホーム、または任意の他の適切なタイプの搬送機構でよい。トラック121は、円形または任意の他の適切な形状でよく、いくつかの実施形態では、閉じたトラック(例えばエンドレストラック)でよい。トラック121は、動作時、個々の標本容器102を、キャリア122のトラック121の周りで離間された様々な位置に輸送することができる。
キャリア122は、トラック121上で単一の標本容器102を搬送するように構成されたモータのない受動パックでよく、または場合により、トラック121の周りを動き、事前プログラムされた位置で停止するようにプログラムされたリニアモータなどの搭載型ドライブモータを含む自動キャリアでよい。キャリア122の他の構成を使用してもよい。キャリア122はそれぞれ、所定の直立位置および向きに標本容器102を保持するように構成されたホルダ122H(図3B)を含むことがある。ホルダ122Hは、キャリア122に標本容器102を固定する複数のフィンガまたはリーフスプリングを含むことがあるが、いくつかのフィンガまたはリーフスプリングは、可動または可撓性であり、標本容器102の異なるサイズに対応することができる。いくつかの実施形態では、キャリア122は、1つまたはそれ以上のラック104から装填解除された後、装填エリア105から出ることがある。装填エリア105は、事前スクリーニングおよび/または分析が完了した後、標本容器102をキャリア122から装填エリア105へ再装填することも可能にする二重の機能を果たすことができる。
ロボット124が装填エリア105に提供され、1つまたはそれ以上のラック104から標本容器102を把持し、キャリア122、例えばトラック121の投入レーンに標本容器102を装填するように構成される。また、ロボット124は、標本容器102をキャリア122から1つまたはそれ以上のラック104へ再装填するように構成される。ロボット124は、X(横方向)およびZ(縦方向−図示されるように紙面外へ)、YおよびZ、X、Y、およびZ、またはr(径方向)およびθ(回転)の運動が可能な1つまたはそれ以上(例えば少なくとも2つ)のロボットアームまたは構成要素を含むことがある。ロボット124は、ガントリロボット、関節式ロボット、R−θ型ロボット、または他の適切なロボットでよく、ロボット124は、標本容器102を持ち上げて配置するように向けられ、サイズ設定され、構成されたロボットグリッパフィンガを含むこともある。
トラック121に装填されると、キャリア122によって搬送される標本容器102は、第1の前処理ステーション125に進むことができる。例えば、第1の前処理ステーション125は、標本212の分画を実施するように構成された自動遠心分離器でよい。標本容器102を搬送するキャリア122は、流入レーンまたは他の適切なロボットによって第1の前処理ステーション125へ偏向される。遠心分離された後、標本容器102は、流出レーンに出るか、または別の方法でロボットによって取り出され、トラック121に沿って進み続けることができる。図示される実施形態では、次に、キャリア122にある標本容器102は、本明細書において図4A〜8を参照してさらに述べるように、事前スクリーニングを実施するために品質チェックモジュール130へ輸送される。
品質チェックモジュール130は、事前スクリーニングし、本明細書で述べる特性評価方法を実施するように構成され、標本212に含まれるH、I、および/もしくはLの存在およびいくつかの実施形態ではその程度もしくは度合い、または標本が正常(N)であるかどうかを自動的に決定するように構成される。実質的に少量のH、I、および/またはLを含むことが判明して正常(N)とみなされる場合、標本212は、トラック121を進み続けることができ、次いで、1つまたはそれ以上の分析器(例えば、第1、第2、および/または第3の分析器106、108、および/または110)によって分析される。その後、標本容器102は、1つまたはそれ以上のラック104に再装填するために装填エリア105に戻される。
いくつかの実施形態では、HILNの検出に加えて、標本容器102および標本212のセグメント化を行うことができる。セグメント化データから、標本212の定量化(すなわち、HSP、HSB、HTOTの決定、ならびにSBまたはSG、およびLAの位置の決定)のために後処理が使用される。いくつかの実施形態では、標本容器102の物理的属性(例えば、サイズ−高さおよび幅/直径)の特性評価は、品質チェックモジュール130で行うことができる。そのような特性評価は、HTおよびW、場合によってはTC、および/またはWiを決定することを含むことがある。この特性評価から、標本容器102のサイズが抽出される。さらに、いくつかの実施形態では、品質チェックモジュール130は、キャップタイプを決定することもでき、キャップタイプは安全チェックとして使用され、命令された試験のために間違った管タイプが使用されていないかを把握することができる。
いくつかの実施形態では、遠隔ステーション132は、トラック121に直接的に連係されていない標本試験装置100に提供される。例えば、独立型ロボット133(点線で示す)は、標本212を含む標本容器102を遠隔ステーション132に搬送し、試験/前処理の後に戻すことができる。場合により、標本容器102を手動で取り出して戻すこともできる。遠隔ステーション132は、溶血レベルなど特定の成分について試験するために使用され、または1つもしくはそれ以上の追加によっておよび/もしくは追加の処理によって脂肪血症レベルを下げる、または血塊、気泡、もしくは泡沫を取り除くなどさらなる処理のために使用される。本明細書で述べるHILN検出法を使用する他の事前スクリーニングは、遠隔ステーション132で達成される。
追加のステーションは、トラック121上またはトラック121に沿った1つまたはそれ以上の位置に設けられる。追加のステーションは、キャップ取外しステーション、アリコートステーション、1つまたはそれ以上の追加の品質チェックモジュール130などを含むことがある。
標本試験装置100は、トラック121の周囲の1つまたはそれ以上の位置にいくつかのセンサ116を含むことがある。センサ116は、識別情報218iまたは各キャリア122に提供される類似の情報(図示せず)を読み取ることによってトラック121上での標本容器102の位置を検出するために使用される。近接センサなど、位置を追跡するための任意の適切な手段を使用してもよい。各標本容器102の位置が常に分かっているように、すべてのセンサ116が、コンピュータ143とインターフェースすることができる。
前処理ステーションおよび分析器106、108、および110は、トラック121からキャリア122を取り出すように構成されたロボット機構および/または流入レーンと、トラック121にキャリア122を再び入れるように構成されたロボット機構および/または流出レーンとを含むことができる。
標本試験装置100は、コンピュータ143によって制御され、コンピュータ143は、適切なメモリと、様々なシステム構成要素を操作するための適切な調整電子回路およびドライバとを有する、マイクロプロセッサベースの中央演算処理装置(CPU)でよい。コンピュータ143は、標本試験装置100の基部120の一部として、またはそれとは別に収容される。コンピュータ143は、キャリア122が装填エリア105に出入りする動き、トラック121の周りでの運動、第1の前処理ステーション125に出入りする運動、および第1の前処理ステーション125(例えば遠心分離器)の動作、品質チェックモジュール130に出入りする運動、および品質チェックモジュール130の動作、ならびに各分析器106、108、110に出入りする運動、および様々なタイプの試験(例えばアッセイまたは臨床化学)を実施するための各分析器106、108、110の動作を制御するように動作することができる。
品質チェックモジュール130以外のすべてに対して、コンピュータ143は、ソフトウェア、ファームウェア、および/またはハードウェアコマンドもしくは回路、例えばSiemens Healthcare Diagnostics Inc.(米国ニューヨーク州タリータウン)が販売するDimension(登録商標)臨床化学分析器で使用されるものに従って標本試験装置100を制御することができ、そのような制御は、コンピュータベースの電気機械制御プログラミングの当業者には一般的であり、本明細書でさらには述べない。しかし、標本試験装置100を制御するための他の適切なシステムを使用してもよい。品質チェックモジュール130の制御は、コンピュータ143によって提供されることもあるが、本明細書で詳細に述べる本発明による特性評価方法に従う。
画像処理、および本明細書で述べる特性評価方法を実施するために使用されるコンピュータ143は、CPUまたはGPU、十分な処理能力およびRAM、ならびに適切な記憶装置を含むことができる。一例では、コンピュータ143は、1つまたはそれ以上のGPU、8GB以上のRAM、および1テラバイト以上の記憶装置を有するマルチプロセッサ搭載PCでよい。別の例では、コンピュータ143は、GPU搭載PC、または場合により並列化モードで動作されるCPU搭載PCでよい。MKL、8GB以上のRAM、および適切なストレージも使用することができる。
本開示の実施形態は、ユーザが様々な制御およびステータス表示画面に容易に迅速にアクセスできるようにするコンピュータインターフェースモジュール(CIM)145を使用して実装することができる。これらの制御およびステータス表示画面は、標本212の調製および分析のために使用される複数の相関する自動デバイスのいくつかまたはすべての態様を表示し、制御を可能にすることができる。CIM 145は、複数の相関する自動デバイスの動作ステータスに関する情報、ならびに任意の標本212の位置、および標本212に対して実施予定の、または実施されている試験のステータスを表す情報を提供するために採用される。したがって、CIM 145は、操作者と標本試験装置100との相互作用を促進するように適用される。CIM 145は、操作者が標本試験装置100とインターフェースすることができるアイコン、スクロールバー、ボックス、およびボタンを含むメニューを表示するように動作可能な表示画面を含むことがある。メニューは、標本試験装置100の機能的側面を表示および/または動作させるようにプログラムされた複数の機能要素を含むことがある。
図3Cおよび3Dは、血漿部分212Pを含む標本212Cを含む標本容器102C(図3C)と、血清部分212Sを含む標本212Dを含む標本容器102D(図3D)との視覚的な相違を示す。血漿部分212Pおよび血清部分212Sは、標本の流体部分であることに留意されたい。図示されるように、血清部分212Sの特性および外観は、血漿部分212Pの特性および外観とわずかに異なる。しかし、血清部分212Sを含む標本212Dの沈降血液部分212SB−Dは、血漿部分212Pを含む標本212Cの沈降血液部分212SB−Cと区別可能である。沈降血液部分212SB−Dの丘状領域は、血漿試料(例えば標本212C)が含まないフィブリノーゲンなどの血液凝固因子を含む血清試料(例えば標本212D)によるものである。
図4Aおよび4Bは、本明細書で図示して述べる特性評価方法を実施するように構成された品質チェックモジュール130の実施形態を示す。品質チェックモジュール130は、1つまたはそれ以上の分析器106、108、110による分析の前に、標本212中(例えば、その血清または血漿部分212SP中)の干渉物(例えば、H、I、および/またはL)の存在およびいくつかの実施形態ではその度合いを事前スクリーニングするように構成される。このような事前スクリーニングは、貴重な分析器リソースを浪費することなく、または場合によっては干渉物の存在が試験結果の信頼性に影響を及ぼすことなく、標本212の追加の処理、追加の定量化もしくは特性評価、ならびに/または廃棄および/もしくは再採取を可能にする。
本明細書で述べる干渉物検出法に加えて、品質チェックモジュール130で標本容器102に含まれる標本212に対して他の検出法を行うこともできる。例えば、DANからの出力としてセグメント化を提供するために品質チェックモジュール130で方法が実施される。セグメント化データは、標本212を定量化する、すなわち、標本212の特定の物理的寸法特性を決定する(例えば、LAおよびSB、ならびに/またはHSP、HSB、および/もしくはHTOTの決定)ための後処理工程で使用される。また、定量化は、例えば、血清もしくは血漿部分の体積(VSP)および/または沈降血液部分の体積(VSB)を推定することを含むこともある。他の定量化可能な幾何学的特徴も決定することができる。
さらに、品質チェックモジュール130は、標本容器102の幾何形状を定量化する、すなわち、標本容器102のTC、HT、および/またはWもしくはWiの位置など標本容器102の特定の物理的寸法特性を定量化するために使用される。
図1、4A、および4Bを参照すると、品質チェックモジュール130は、複数の画像取込みデバイス440A〜440Cを含むことがある。3つの画像取込みデバイス440A〜440Cが図示されており好ましいが、場合により2つまたは4つ以上を使用することもできる。画像取込みデバイス440A〜440Cは、画素化画像を取り込むことが可能な従来のデジタルカメラ、電荷結合素子(CCD)、光検出器のアレイ、1つまたはそれ以上のCMOSセンサなど、よく定義されたデジタル画像を取り込むための任意の適切なデバイスでよい。例えば、3つの画像取込みデバイス440A、440B、440Cが図4Aに示されており、3つの異なる横方向の視点(1、2、および3として表される視点)から画像を取り込むように構成される。取り込まれる画像のサイズは、例えば、約2560×694画素でよい。別の実施形態では、画像取込みデバイス440A、440B、440Cは、例えば約1280×387画素の画像サイズを取り込むことがある。他の画像サイズおよび画素密度を使用してもよい。
画像取込みデバイス440A、440B、440Cはそれぞれ、標本容器102の少なくとも一部分および標本212の少なくとも一部分の横方向画像を取り込むように構成され動作可能でよい。例えば、画像取込みデバイス440A〜440Cは、ラベル218の一部および血清または血漿部分212SPの一部またはすべてを取り込むことができる。場合によっては、例えば、視点1〜3の一部は、ラベル218によって部分的に遮られる。いくつかの実施形態では、視点1〜3のうちの1つまたはそれ以上は完全に遮られ、すなわち、血清または血漿部分212SPがはっきりと見えない可能性があり得る。しかし、視点1〜3の片面(前側または裏側)が1つまたはそれ以上のラベル218によって完全に遮られている場合でさえ、特性評価方法はそれでも、1つまたはそれ以上の遮っているラベル218を通して血清または血漿部分212SPの境界を区別することができることがある。
図示される実施形態では、複数の画像取込みデバイス440A、440B、440Cは、撮像位置432で、複数の視点1〜3から標本容器102および標本212の横方向画像を取り込むように構成される。視点1〜3は、図示されるように、互いに約120度など、互いにほぼ等間隔にされるように配置される。図示されるように、画像取込みデバイス440A、440B、440Cは、トラック121の周りに配置される。複数の画像取込みデバイス440A、440B、440Cの他の配置を使用してもよい。このようにして、標本容器102がキャリア122内で撮像位置432に位置している状態で、標本容器102内の標本212の画像が撮影される。画像取込みデバイス440A、440B、440Cによって得られる複数の画像の視界は、周縁領域でわずかに重なり合っていてもよい。
1つまたはそれ以上の実施形態では、キャリア122は、品質チェックモジュール130での所定の位置、例えば撮像位置432、すなわち例えば画像取込みデバイス440A、440B、440Cそれぞれからの法線ベクトルが互いに交差する点で停止される。撮像位置432でキャリア122を停止させるためにキャリア122のゲートまたはリニアモータが提供され、その撮像位置432で複数の品質画像が取り込まれる。品質チェックモジュール130にゲートがある実施形態では、1つまたはそれ以上のセンサ(センサ116と同様)が、品質チェックモジュール130でのキャリア122の存在を決定するために使用される。
画像取込みデバイス440A、440B、440Cは、撮像位置432で画像ウィンドウに近接して設けられ、画像ウィンドウを取り込むために訓練され、または焦点を合わせられ、画像ウィンドウは、標本容器102の予想位置を含むエリアである。したがって、標本容器102は、いくつかの実施形態では、ビューウィンドウのほぼ中央に位置するように停止される。取り込まれた画像内に、1つまたはそれ以上の参照データが存在することもある。
品質チェックモジュール130の動作時、各画像は、コンピュータ143によって送信される、通信回線443A、443B、443Cで提供されるトリガ信号に応答してトリガされて取り込まれる。取り込まれた画像はそれぞれ、1つまたはそれ以上の実施形態に従ってコンピュータ143によって処理される。特に効果的な一方法では、画像を取り込み、取り込まれた画像からの画像データを処理するために高ダイナミックレンジ(HDR)処理が使用される。より詳細には、品質チェックモジュール130で、標本212の複数の画像が、複数の異なる露光で(例えば異なる露光時間で)、1つまたはそれ以上の異なるスペクトルで順次に照明されながら取り込まれる。例えば、各画像取込みデバイス440A、440B、440Cは、複数のスペクトルそれぞれで、異なる露光時間で、血清または血漿部分212SPを含む標本容器102の画像を4〜8つ撮影することがある。例えば、4〜8つの画像は、標本212が赤色スペクトルを有する光源444Aでバックライト照明された状態で、視点1で画像取込みデバイス440Aによって撮影される。追加の同様の画像が、視点2および3で順次に撮影される。
いくつかの実施形態では、多重スペクトル画像は、異なるスペクトル照明を放出する異なる光源444A〜444Cを使用して達成される。光源444A〜444Cは、(図示されるように)標本容器102をバックライト照明することができる。いくつかの実施形態では、光源444A〜444Cと共に光拡散器が使用される。複数の異なるスペクトル光源444A〜444Cは、RGB光源、例えば、634nm±35nm(赤)、537nm±35nm(緑)、および455nm±35nm(青)の公称波長を放出するLEDでよい。他の実施形態では、光源444A〜444Cは白色光源でよい。ラベル218が複数の視点を妨げる場合には、IRバックライト照明またはNIRバックライト照明が使用される。さらに、ラベルによる遮蔽が存在するときでさえ、場合によってはRGB光源が使用される。他の実施形態では、光源444A〜444Cは、約700nm〜約1200nmの公称波長を有する1つまたはそれ以上のスペクトルを放出することがある。
非限定的な例として、第1の波長で画像を取り込むために、3つの赤色光源444A〜444C(約634nm±35nmの波長)が、3つの横方向位置から標本212を順次に照明するために使用される。異なる露光時間での複数の画像(例えば4〜8つ以上の画像)が各視点1〜3から各画像取込みデバイス440A〜440Cによって取り込まれるとき、光源444A〜444Cによる赤色照明が行われることがある。いくつかの実施形態では、露光時間は約0.1ms〜256msでよい。他の露光時間を使用してもよい。いくつかの実施形態では、各画像取込みデバイス440A〜440Cに関する対応する各画像は、例えば順次に撮影されることもある。したがって、各視点1〜3について、赤色スペクトルのバックライト照明、および異なる露光時間など複数、例えば4〜8回の露光を有する1群の画像が順次に得られる。画像は、例えば、視点1からのすべての画像が撮影され、続いて視点2および3によって順次に撮影される、ラウンドロビン方式で撮影される。
各実施形態では、品質チェックモジュール130は、外部照明の影響を最小限にするために、トラック121を少なくとも部分的に取り囲むまたは覆うことができるハウジング446を含むことがある。標本容器102は、画像撮影シーケンス中、ハウジング446内に位置する。ハウジング446は、キャリア122がハウジング446に入るかつ/またはハウジング446から出ることを可能にするために、1つまたはそれ以上のドア446Dを含むことがある。いくつかの実施形態では、天井部は、標本容器102が可動ロボットフィンガを含むロボットによって上方からキャリア122に装填されることを可能にするために、開口部446Oを含むことがある。
図4A〜4Bの実施形態で赤色照明された画像が取り込まれると、光の別のスペクトル、例えば緑色スペクトルの光源444A〜444Cがオンにされ(約±35nmの帯域幅を有する約537nmの公称波長)、異なる露光時間での複数の画像(例えば4〜8つ以上の画像)が、各画像取込みデバイス440A、440B、440Cによって順次に取り込まれる。これは、各画像取込みデバイス440A、440B、440Cに関して、青色スペクトル光源444A〜444C(約±35nmの帯域幅を有する約455nmの公称波長)を用いて繰り返される。異なる公称波長スペクトル光源444A〜444Cは、例えば、選択的にオンオフすることができる異なる所望のスペクトル光源(例えば、R、G、B、W、IR、および/またはNIR)のバンクを含むライトパネルによって達成される。バックライト照明のための他の手段を使用してもよい。
各対応する波長スペクトルに関して複数の露光(例えば露光時間)で撮影される複数の画像が次々と得られ、したがって、複数の視点1〜3からの標本容器102および標本212に関するバックライト照明画像の集合全体が、例えば数秒未満で得られる。一例では、画像取込みデバイス440A、440B、440CとRGB光源444A〜444Cを用いたバックライト照明とを使用した3つの視点1〜3での各波長に関する4つの異なる露光の画像は、4つの画像×3つのスペクトル×3つの画像取込みデバイス=36個の画像となる。別の例では、画像取込みデバイス440A、440B、440CとR、G、B、W、IR、およびNIR光源444A〜444Cを用いたバックライト照明とを使用した3つの視点1〜3での各波長に関する4つの異なる露光の画像は、4つの画像×6つのスペクトル×3つのカメラ=72個の画像となる。
特性評価方法の実施形態により、画像データの処理は、例えば、異なる露光時間で、各波長スペクトルで、各画像取込みデバイス440A〜440Cに関する複数の取り込まれた画像からの最適に露光された画素を選択することを含む前処理工程を含むことがあり、各スペクトルに関しておよび各視点1〜3に関して最適に露光された画素データを生成する。本明細書ではこれを「画像統合(image consolidation)」と呼ぶ。
対応する画素(またはパッチ)ごとに、各画像取込みデバイス440A〜440Cからの画像それぞれについて、各視点1〜3に関する異なる露光画像それぞれから、最適な画像強度を示す画素(またはパッチ)が選択される。一実施形態では、最適な画像強度は、例えば所定の強度範囲内(例えば、0〜255のスケールで180〜254)に含まれる画素(またはパッチ)であり得る。別の実施形態では、最適な画像強度は、例えば、0〜255のスケールで16〜254であり得る。2つの露光画像の対応する画素(またはパッチ)位置での複数の画素(またはパッチ)が最適に露光されていると判断される場合、2つのうちの高いほうが選択される。
最適な画像強度を示す選択された画素(またはパッチ)は、それらのそれぞれの露光時間によって正規化される。その結果、照明スペクトル(例えば、使用される組合せに応じて、R、G、B、白色光、IR、および/またはIR)に関して、および各画像取込みデバイス440A〜440Cに関して、複数の正規化されて統合されたスペクトル画像データセットが得られ、ここで、すべての画素(またはパッチ)が最適に露光され(例えばスペクトルごとに1つの画像データセット)、正規化される。言い換えると、各視点1〜3に関して、コンピュータ143によって行われるデータ前処理は、採用された照明スペクトルごとに1つずつ、複数の最適に露光されて正規化された画像データセットをもたらすことがある。
図5は、本明細書で述べるHILN特性評価方法を実施するように構成された機能構成要素500を示す。機能構成要素500は、コンピュータ143によって制御される品質チェックモジュール130として具現化される。上で論じたように、標本容器102は、機能ブロック502に示されるように、品質チェックモジュール130の撮像位置432(図4Aおよび4B)に提供される。機能ブロック504に示されるように、複数の画像取込みデバイス440A〜440Cによってマルチビュー画像が取り込まれる。マルチビュー、マルチスペクトル、マルチ露光画像それぞれに関する画像データは、複数の最適に露光されて正規化された画素データセットを提供するために、上述したように前処理される。標本容器の1つまたはそれ以上の画像の画素データは、ディープアダプテーションネットワーク(DAN)505への入力として提供される。
DAN 505は、いくつかの実施形態に従って、分類ネットワーク510、変換ネットワーク520、およびセグメント化/分類/回帰ネットワーク(SCN)530を含むことがある。分類ネットワーク510および変換ネットワーク520は、DAN 505のフロントエンド処理ブロックを形成することができ、そのコンピュータ実行可能命令は、第1の有形コンピュータ可読媒体に記憶され、一方、SCN 530は、DAN 505のバックエンド処理ブロックを形成することができ、そのコンピュータ実行可能命令は、第2の有形のコンピュータ可読媒体に記憶される。いくつかの実施形態では、図9の代替のDAN 905(以下でさらに述べる)は、変換およびその後のSCN 530のみを提供することがある(すなわち、分類ネットワーク510は省略される)。すなわち、入力標本の画像は、それが血漿または血清試料を含むかどうかに関係なく変換ネットワーク920に直接入力され、変換ネットワーク920は、入力データを変換して、SCN 530で処理するための標本のHILN特性を維持しながら血清部分と血漿部分との外観の相違を最小限にする。
分類ネットワーク510は、標本を含む標本容器の1つまたはそれ以上の画像を受け取ることができ、標本容器が標本の血清部分または血漿部分を含むかどうかを決定することができる。図3Cおよび3Dに示されるように、血清試料は血漿試料と視覚的に区別可能であり得て、分類ネットワーク510は、1つまたはそれ以上の区別可能な特徴(例えば、図3Dに示されるように血清部分212Sを含む標本212Dの沈降血液部分212SB−Dの丘状領域)を識別するように構成される(例えば、適切に注釈を付けられた画像によって訓練される)。いくつかの実施形態では、分類ネットワーク510は、標本容器が遠心分離されていない標本を含むかどうかを決定することもでき、分類ネットワーク510は、例えばCIM 145(図1)を介して未遠心分離標本カテゴリ540Uを出力することがある。標本容器が血清部分を含むと分類ネットワーク510が決定したのに応答して、変換ネットワーク520によって血清部分画像512Sの画素データが受け取られる。標本容器が血漿部分を含むと分類ネットワーク510が決定したのに応答して、SCN 530によって血漿部分画像512Pの画素データが受け取られる。分類ネットワーク510は、血清試料を血漿試料から区別するための分類に焦点を合わせるように構成された任意の適切なアーキテクチャ、例えばLeNet、AlexNet、ResNet、またはDenseNetでよい。いくつかの実施形態では、分類ネットワーク510は、例えば、SVM(サポートベクターマシン)、ランダムフォレスト、またはロジスティックシグモイドなどの古典的な機械学習アルゴリズムでよい。
変換ネットワーク520は、血清部分画像512Sの画素データを「変換後画素データ」525に変換する。変換後画素データは、血清部分の外観に対応する外観を有する血漿部分の以前に収集された画像の画素データと同一に、または実質的に同一に合致する。変換ネットワークは、血清部分画像の画素データの色、コントラスト、強度、および/または明るさのうちの1つまたはそれ以上を修正して、血清部分の外観に対応すると変換ネットワークによって考えられる以前に収集された血漿部分画像の外観と合致させる。対応関係は、同一ではないにせよ実質的に同様のHILN特性を有する血清および血漿の試料に基づくことがある。血漿試料画像に対応するように血清試料画像を変換するための変換ネットワーク520の訓練は、有利には、血清試料を適切に特性評価するためにSCN 530などのセグメント化/分類/回帰ネットワークを訓練するのに通常必要な、予想される数十万の血清試料画像よりもはるかに少ない血清試料画像を収集して注釈を付ければよい。
いくつかの実施形態では、例えば図9に示されるように、血漿または血清試料が入力として提供されるかどうかに関係なく、変換ネットワーク920は、入力試料の画像を直接受け取って「変換後画素データ」925に変換することができ、ここで、血漿と血清との外観の相違は正規化/最小化されるが、流体のHILN特性は影響を受けないままである。血清と血漿との外観の相違の正規化/最小化を実施するための変換ネットワーク920の訓練は、同一ではないにせよ実質的に同様のHILN特性を有する血清および血漿の試料に基づくことができる。機能構成要素900は、コンピュータ143によって制御される品質チェックモジュール130として具現化される。
変換ネットワーク520および920は、任意の適切なアーキテクチャでよく、例えば、敵対的生成ネットワーク(GAN)(限定はしないが、例として、CycleGANまたはPix2Pixが挙げられる)、畳み込みニューラルネットワーク(CNN)、または変分オートエンコーダ(VAE)でよい。いくつかの実施形態では、変換ネットワーク520および/または920は、必要に応じて、そこで処理される画像の画素データからいくらかのノイズ除去を提供することもできる。試料は、様々な使用年数および製造業者の様々な装置からのものでよく、それらの較正、ハードウェア材料の老化、露光などによって引き起こされる何らかの種類のノイズを有する傾向があり得る。変換ネットワーク520および/または920は、血清または血漿試料であるかどうかに関係なく、入力試料に存在するノイズを除去または正規化する機能を有することがある。変換ネットワーク520および920によってそれぞれ生成された「変換後画素データ」525および925は、処理のためにSCN 530によって受け取られる。
SCN 530は、例えば血漿部分画像512Pの画素データと、血清部分画像512Sの変換後画素データ525とを含む、処理された画素データを有する各画像に関して、HILN(溶血、黄疸、脂肪血症、および正常)カテゴリ540(例えば、540H、540I、540L、または540N)を決定するように構成される。血漿部分画像512Pの画素データおよび血清部分画像512Sの変換後画素データ525は、SCN 530において同様に処理されることに留意されたい。いくつかの実施形態では、SCN 530はまた、図2〜3Bに関連して上述したように標本容器セグメント化情報542ならびに/または容器およびキャップタイプ情報544を決定するように構成される。SCN 530は、有利には、血漿試料画像のみで訓練すればよく、その開発の時間およびコストを大幅に節約することができることに留意されたい。SCN 530は、入力画像を処理し、HILNカテゴリを決定することが可能な、Tiramisuネットワーク(例えば、100層を有する完全畳み込みニューラルネットワーク)などの任意の適切な分類、セグメント化、または回帰ネットワークでよい。
図6は、いくつかの実施形態によるSCN 530の例示的な実施形態を示す。セグメント化/分類/回帰ネットワーク(SCN)630は、HILN分類インデックスを提供するように構成され、コンピュータ143によって制御される品質チェックモジュール130の一部として具現化される。SCN 630は、ディープセマンティックセグメント化ネットワーク(DSSN)638のフロントエンドに小さな容器セグメント化ネットワーク(CSN)636を含むことがある。CSN 636は、容器/キャップタイプおよび容器セグメント化情報637を決定するように構成され動作可能でよい。CSN 636は、例えば標本容器102などの標本容器の詳細な特性評価を提供することができる。これは、例えば、背景からの標本容器の分離、血清または血漿部分の成分の理解、および標本容器に貼付されている任意のラベルのセグメント化を含む。容器/キャップタイプおよび容器セグメント化情報637は、DSNN 638への追加の入力チャネルを介して入力され、いくつかの実施形態では、CSN 636は、例えばCIM 145(図1)を介してセグメント化出力642および容器/キャップタイプ出力644を提供することができる。いくつかの実施形態では、CSN 636は、DSSN 638と同様のネットワーク構造を有することができるが、より浅い(すなわち、層がはるかに少ない)。
DSSN 638は、いくつかの実施形態では、100を超える演算層を含み、画素レベルの分類を実施する。そのようなディープネットワークを有する利点は、ネットワーク受信フィールドを増大することができることであり、ネットワーク受信フィールドは、小さなローカル領域ではなく、より多くのコンテキスト情報を利用する。入力画像(すなわち画素データ)が与えられると、DSSN 638は、画像の画素データ値によって示されるその局所的な外観に基づいて、画像の各画素に分類インデックスを割り当てるように動作可能である。抽出された画素インデックス情報は、最終的なHILN分類インデックスを決定するためにDSSN 638によってさらに処理することができる。
図6に示されるように、SCN 630の出力は、分類インデックスカテゴリ640でよく、分類インデックスカテゴリ640は、いくつかの実施形態では、正常クラス640N、溶血クラス640H、黄疸クラス640I、および脂肪血症クラス640Lを含むことがある。いくつかの実施形態では、溶血クラス640Hは、サブクラスH0、H1、H2、H3、H4、H5、およびH6を含むことがある。黄疸クラス640Iは、サブクラスI0、I1、I2、I3、I4、I5、およびI6を含むことがある。さらに、脂肪血症クラス640Lは、サブクラスL0、L1、L2、L3、およびL4を含むことがある。溶血クラス640H、黄疸クラス640I、および/または脂肪血症クラス640Lはそれぞれ、他の実施形態では他の数の細粒度のサブクラスを有することがある。
図7は、1つまたはそれ以上の実施形態による、DSSN 638の例示的なアーキテクチャ738を示す。DSSN 638は、例えばBerkley Vision and Learning Center(BVLC)から入手可能なCaffe、Theano、数式の高速計算用のPythonフレームワーク、TensorFlow、Torchなど、任意の適切な科学計算フレームワーク、プログラム、またはツールボックスを使用してコード化される。アーキテクチャ738は、以下の演算層を含むことがある:図7に示されるように配置された、2つの畳み込み(CONV)層701および747;11個の高密度ブロック層DB4 703、DB5 707、DB7 711、DB10 715、DB12 719、DB15 723、DB12 727、DB10 731、DB4 735、DB5 739、およびDB4 743;5つの遷移ダウン層TD 705、TD 709、TD 713、TD 717、およびTD 721;5つの遷移アップ層TU 725、TU 729、TU 733、TU 737、およびTU 741;および完全接続層745。ここで、分類インデックス540が出力される。
高密度ブロック層DB4 703、735、および743はそれぞれ、4つの高密度層を含むことがある。高密度ブロック層DB5 707および739はそれぞれ、5つの高密度層を含むことがある。高密度ブロック層DB7 711は、7つの高密度層を含むことがある。高密度ブロック層DB10 715および731はそれぞれ、10個の高密度層を含むことがある。高密度ブロック層DB12 719および727はそれぞれ、12個の高密度層を含むことがある。さらに、高密度ブロック層DB15 723は、15個の高密度層を含むことがある。各高密度層は、バッチ正規化操作、ReLU層、およびドロップアウトp=0.2を有する3×3畳み込み層が含まれることがあり、ここで、第1の高密度層は入力を受け取り、入力に連結された複数の画素ラベルマップを出力する。次いで、第2の高密度層は、連結された出力をその入力として受け取り、いくつかの画素ラベルマップを出力し、これらのマップは、前の画素ラベルマップに再び連結される。これは、高密度ブロック層内の各高密度層に関して繰り返すことができる。
各遷移ダウン層TD 705、TD 709、TD 713、TD 717、およびTD 721は、バッチ正規化操作、次いでReLu層、次いでドロップアウトp=0.2を有する3×3畳み込み層、次いで2×2マックスプーリング層を含むことがある。ドロップアウト確率は、最良の結果をもたらす実験的な試験の実行に応じて、0〜1の範囲内であり得ることに留意されたい。いくつかの実施形態では、TD 705の出力での画素ラベルマップの数は112でよく、TD 709の出力では192でよく、TD 713の出力では304でよく、TD 717の出力では464でよく、TD 721の出力では656でよい。他の実施形態では、出力される画素ラベルマップが他の数でもよい。
各遷移アップ層TU 725、TU 729、TU 733、TU 737、およびTU 741は、この実施形態では、ストライド2を有する3×3転置畳み込み層を含むことがある。他の遷移アップ層パラメータも可能であり得る。
いくつかの実施形態では、DB15 723の出力での画素ラベルマップの数は896でよく、DB12 727の出力では1088でよく、DB10 731の出力では816でよく、DB4 735の出力では578でよく、DB5 739の出力では384でよく、DB4 743の出力では256でよい。他の実施形態では、出力される画素ラベルマップが他の数でもよい。
本明細書で使用するとき、畳み込み層とは、入力画像データ(例えば画素強度値)にフィルタ(カーネルとも呼ばれる)を適用して、入力画像データでのある空間位置におけるある特定のタイプの色または特徴(例えば、第1の畳み込み層の適用後の単純な曲線から、いくつかの畳み込み層の適用後のいくぶん複雑な特徴まで)の検出を示すことがある活性化マップを出力する処理工程である。
マックスプーリング層は、フィルタを適用して、畳み込み層から受け取られた1つまたはそれ以上の活性化マップに現れる最大画素値を有する出力活性化マップを生成することができる処理工程である。
ReLU(正規化線形ユニット)層は、受け取られた活性化マップのすべての値に非線形関数を適用することができ、例えばすべての負の活性化値に値0が割り当てられる処理工程である。
完全接続層は、前の活性化マップ(それぞれがより低レベルの機能の検出を示すことがある)を集約して高レベルの機能の検出を示す処理工程である。
ソフトマックス層は通常、画像特徴のクラスから1つまたはそれ以上の画像の最も可能性の高い特徴を強調表示または識別する確率分布を出力する最終処理工程である。
SCN 630は、いくつかの異なるソリューションを組み合わせて、少なくとも、(例えば品質チェックモジュール130で実施される)標本容器の特性評価の複雑な撮像環境によってもたらされる上記の課題を克服する。本明細書で述べるように、SCN 630は、有利には、特性評価のためのいくつかの畳み込みニューラルネットワーク(CSN 636およびDSSN 638)を含む。品質チェックモジュール130でハードウェアによって作成され、分類ネットワーク510によって、場合によっては変換ネットワーク520によって処理された標本容器画像は、コンピュータ143で実行されるSCN 630に入力される。標本容器内の標本の血清または血漿部分の分類インデックスカテゴリ640が、SCN 630から出力され、次いで上述したようにさらなる分析に使用される。
図8は、本開示の1つまたはそれ以上の実施形態による、標本容器を特性評価する方法800の流れ図を示す。方法800は、本明細書で述べるように、品質チェックモジュール130、および/または品質チェックモジュール130を含む標本試験装置100によって実施される。特に、方法800は、標本(図2〜3Dの標本212、212C、または212Dなど)の血清または血漿部分中の干渉物の存在を決定することができ、いくつかの実施形態では、標本中に存在する干渉物の度合いを決定することができる。方法800は、プロセスブロック802において、コンピュータで実行される分類ネットワークを使用して、標本を含む標本容器の画像の画素データを処理し、標本容器が血清部分または血漿部分を含むかどうかを決定する工程を含むことがある。画像は、画像取込みデバイス(例えば、画像取込みデバイス440A〜440Cのうちの1つ)によって取り込まれ、例えば標本容器102のものであり得る。標本容器は、標本の血漿部分212P(図3C)または血清部分212S(図3D)を含むことがある。分類ネットワークは、コンピュータ143で実行される分類ネットワーク510でよい。
方法800はまた、プロセスブロック804において、血清部分を含むと分類ネットワークによって決定された画像の画素データを「変換後画素データ」に変換する工程を含むことがあり、変換後画素データは、コンピュータで実行される変換ネットワークを使用して、血清部分の外観に対応する外観を有する血漿部分の以前に収集された画像の画素データと合致する。変換ネットワークは、コンピュータ143で実行される変換ネットワーク520でよく、変換は、血清部分画像の画素データの色、コントラスト、強度、または明るさを変更することを含むことがある。
プロセスブロック806において、方法800は、コンピュータで実行されるセグメント化/分類/回帰ネットワークを使用して、変換後画素データを処理し、血清部分のHILNカテゴリを決定する工程を含むことがある。セグメント化/分類/回帰ネットワークは、コンピュータ143で実行されるSCN(セグメント化/分類ネットワーク/回帰)530または630でよい。
方法800はまた、プロセスブロック808において、コンピュータに連結されたインターフェースモジュールを使用して、セグメント化/分類/回帰ネットワークによって処理された画素データを有する各画像に関する決定されたHILN(溶血、黄疸、脂肪血症、および正常)カテゴリをセグメント化/分類/回帰ネットワークから出力する工程を含むことがある。インターフェースモジュールは、CIM(コンピュータインターフェースモジュール)145(図1)でよい。決定されたHILNカテゴリは、例えば、540H、540I、540L、または540Nのうちの1つでよい(図5)。いくつかの実施形態では、分類インデックスカテゴリ640(図6)が出力され、これは、いくつかの実施形態では、以下のクラス(およびサブクラス)を含むことがある:640N、640H(H0、H1、H2、H3、H4、H5、H6)、640I(I0、I1、I2、I3、I4、I5、I6)、および640L(L0、L1、L2、L3、およびL4)。いくつかの実施形態では、ネットワークは、入力試料のHIL濃度値を回帰/出力することができる。
いくつかの実施形態では、方法800は、血漿部分を含むと分類ネットワークによって決定された画像の画素データを処理し、コンピュータで実行されるセグメント化/分類/回帰ネットワークを使用して血漿部分のHILN(溶血、黄疸、脂肪血症、および正常)カテゴリを決定することをさらに含むことがある。例えば、図5を参照すると、血漿部分画像512Pの画素データは、分類ネットワーク510から受け取られ、SCN 530によって処理される。
HILNカテゴリの出力に加えて、方法800は、いくつかの実施形態では、標本容器セグメント化および/または標本容器のタイプおよび/または標本容器キャップのタイプに関する情報をセグメント化/分類/回帰ネットワークから出力する工程を含むことがある(例えば、図5、SCN 530、標本容器セグメント化情報542、および標本容器/キャップタイプ情報544を参照)。
いくつかの実施形態では、方法800はまた、コンピュータで実行される分類ネットワークを使用して、標本容器の画像の画素データを処理し、標本容器が遠心分離されていない標本を含むかどうかを決定する工程を含むことがある(例えば、図5、分類ネットワーク510、および遠心分離されていない標本カテゴリ出力540Uを参照)。
本開示は様々な修正および代替形態を取ることがあるが、具体的な方法および装置の実施形態を、例として図面に示し、本明細書に詳細に述べてきた。しかし、本明細書に開示される特定の方法および装置は、本開示を限定することを意図するものではなく、逆に、特許請求の範囲内にあるすべての修正形態、等価形態、および代替形態を網羅することを意図されていることを理解されたい。

Claims (21)

  1. 標本容器を特性評価する方法であって:
    コンピュータで実行される分類ネットワークを使用して、標本を含む標本容器の画像の画素データを処理し、標本容器が血清部分または血漿部分を含むかどうかを決定する工程と;
    血清部分を含むと分類ネットワークによって決定された画像の画素データを変換後画素データに変換する工程であって、変換後画素データは、コンピュータで実行される変換ネットワークを使用して、画像の画素データに存在する任意のHILN(溶血、黄疸、脂肪血症、および正常)特性に影響を及ぼすことなく、血清部分の外観に対応する外観を有する血漿部分の以前に収集された画像の画素データと合致する、工程と
    を含む前記方法。
  2. コンピュータで実行されるセグメント化/分類/回帰ネットワークを使用して、変換後画素データを処理し、血清部分のHILNカテゴリを決定する工程と;
    コンピュータで実行されるセグメント化/分類/回帰ネットワークを使用して、血漿部分を含むと分類ネットワークによって決定された画像の画素データを処理し、血漿部分のHILNカテゴリを決定する工程と;
    コンピュータに連結されたインターフェースモジュールを使用して、セグメント化/分類/回帰ネットワークによって処理された画素データを有する各画像に関する決定されたHILNカテゴリをセグメント化/分類/回帰ネットワークから出力する工程と
    をさらに含む、請求項1に記載の方法。
  3. セグメント化/分類/回帰ネットワークは、血漿試料の画像のみで訓練されている、請求項2に記載の方法。
  4. 出力する工程は、コンピュータに連結されたインターフェースモジュールを使用して、溶血、黄疸、脂肪血症、および正常のクラスおよびサブクラスを含む分類インデックスカテゴリをセグメント化/分類/回帰ネットワークから出力することをさらに含む、請求項2に記載の方法。
  5. コンピュータで実行される分類ネットワークを使用して、標本容器の画像の画素データを処理し、標本容器が遠心分離されていない標本を含むかどうかを決定する工程をさらに含む請求項1に記載の方法。
  6. コンピュータで実行される変換ネットワークを使用して、画像の画素データから少なくともいくらかのノイズを除去する工程をさらに含む、請求項1に記載の方法。
  7. 変換する工程は、血清部分を含むと分類ネットワークによって決定された画像の画素の色、コントラスト、強度、または明るさデータを変更することを含む、請求項1に記載の方法。
  8. 品質チェックモジュールであって:
    1つまたはそれ以上の視点から、標本を含む標本容器の1つまたはそれ以上の画像を取り込むように動作可能な1つまたはそれ以上の画像取込みデバイスと;
    1つまたはそれ以上の画像取込みデバイスに連結されたコンピュータとを含み、コンピュータは、インターフェースモジュールを含み:
    コンピュータで実行される分類ネットワークを使用して、標本容器の取り込まれた画像の画素データを処理し、標本容器が血清部分または血漿部分を含むかどうかを決定する工程と;
    血清部分を含むと分類ネットワークによって決定された取り込まれた画像の画素データを変換後画素データに変換する工程であって、変換後画素データは、コンピュータで実行される変換ネットワークを使用して、画像の画素データに存在する任意のHILN(溶血、黄疸、脂肪血症、および正常)特性に影響を及ぼすことなく、血清部分の外観に対応する外観を有する血漿部分の以前に収集された画像の画素データと合致する、工程と;
    コンピュータで実行されるセグメント化/分類/回帰ネットワークを使用して、変換後画素データを処理し、血清部分のHILNカテゴリを決定する工程と;
    インターフェースモジュールを使用して、セグメント化/分類/回帰ネットワークによって処理された画素データを有する各取り込まれた画像に関する決定されたHILNカテゴリをセグメント化/分類/回帰ネットワークから出力する工程と
    を行うように構成され動作可能である、前記品質チェックモジュール。
  9. セグメント化/分類/回帰ネットワークは、血漿試料の画像のみで訓練されている、請求項8に記載の品質チェックモジュール。
  10. コンピュータは、コンピュータで実行されるセグメント化/分類/回帰ネットワークを使用して、血漿部分を含むと分類ネットワークによって決定された取り込まれた画像の画素データを処理し、血漿部分のHILNカテゴリを決定するようにさらに構成され動作可能である、請求項8に記載の品質チェックモジュール。
  11. コンピュータは、インターフェースモジュールを使用して、標本が遠心分離されていないという決定を分類ネットワークから出力するようにさらに構成され動作可能である、請求項8に記載の品質チェックモジュール。
  12. コンピュータは、インターフェースモジュールを使用して、溶血、黄疸、脂肪血症、および正常のクラスを含む分類インデックスカテゴリをセグメント化/分類/回帰ネットワークから出力するようにさらに構成され動作可能である、請求項8に記載の品質チェックモジュール。
  13. 溶血、黄疸、および脂肪血症クラスのそれぞれは、5〜7つのサブクラスを含む、請求項12に記載の品質チェックモジュール。
  14. コンピュータは、取り込まれた画像の画素の色、コントラスト、強度、または明るさデータを変更することによって、取り込まれた画像の画素データを変換するようにさらに構成され動作可能である、請求項8に記載の品質チェックモジュール。
  15. 標本試験装置であって:
    トラックと;
    トラック上で可動であり、標本を含む標本容器を含むように構成されたキャリアと;
    トラックの周囲に配置されて、1つまたはそれ以上の視点から標本容器および標本の1つまたはそれ以上の画像を取り込むように動作可能である複数の画像取込みデバイスと;
    複数の画像取込みデバイスに連結されたコンピュータとを含み、コンピュータは、インターフェースモジュールを含み:
    コンピュータで実行される分類ネットワークを使用してために、標本容器の取り込まれた画像の画素データを処理し、標本容器が血清部分または血漿部分を含むかどうかを決定する工程と;
    血清部分を含むと分類ネットワークによって決定された取り込まれた画像の画素データを変換後画素データに変換する工程であって、変換後画素データは、コンピュータで実行される変換ネットワークを使用して、画像の画素データに存在する任意のHILN(溶血、黄疸、脂肪血症、および正常)特性に影響を及ぼすことなく、血清部分の外観に対応する外観を有する血漿部分の以前に収集された画像の画素データと合致する、工程と;
    コンピュータで実行されるセグメント化/分類/回帰ネットワークを使用して、変換後画素データを処理し、血清部分のHILNカテゴリを決定する工程と;
    インターフェースモジュールを使用して、セグメント化/分類/回帰ネットワークによって処理された画素データを有する各取り込まれた画像に関する決定されたHILNカテゴリをセグメント化/分類/回帰ネットワークから出力する工程と
    を行うように構成され動作可能である、前記標本試験装置。
  16. セグメント化/分類/回帰ネットワークは、血漿試料の画像のみで訓練されている、請求項15に記載の標本試験装置。
  17. コンピュータは、取り込まれた画像の画素の色、コントラスト、強度、または明るさデータを変更することによって、取り込まれた画像の画素データを変換するようにさらに構成され動作可能である、請求項15に記載の標本試験装置。
  18. コンピュータは、コンピュータで実行されるセグメント化/分類/回帰ネットワークを使用して、血漿部分を含むと分類ネットワークによって決定された取り込まれた画像の画素データを処理し、血漿部分のHILNカテゴリを決定するようにさらに構成され動作可能である、請求項15に記載の標本試験装置。
  19. コンピュータは、インターフェースモジュールを使用して、標本が遠心分離されていないという決定を分類ネットワークから出力するようにさらに構成され動作可能である、請求項15に記載の標本試験装置。
  20. コンピュータは、インターフェースモジュールを使用して、セグメント化/分類/回帰ネットワークから、溶血、黄疸、脂肪血症、および正常のクラスおよびサブクラスを含む分類インデックスカテゴリを出力するように構成され動作可能である、請求項15に記載の標本試験装置。
  21. 標本容器を特性評価する方法であって:
    コンピュータで実行される変換ネットワークを使用して、標本容器の画像の画素データを変換後画素データに変換する工程を含み、標本容器は標本を含み、標本は血清部分または血漿部分を有し、変換ネットワークは、画像の画素データに存在する任意のHILN(溶血、黄疸、脂肪血症、および正常)特性に影響を及ぼすことなく、血清部分の画像と血漿部分の画像との外観の相違を最小化または正規化する、
    前記方法。
JP2021515512A 2018-09-20 2019-09-19 血清および血漿試料の両方に関してディープアダプテーションネットワークを用いてhilnを決定するための方法および装置 Active JP7386236B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862733985P 2018-09-20 2018-09-20
US62/733,985 2018-09-20
PCT/US2019/052012 WO2020061369A1 (en) 2018-09-20 2019-09-19 Methods and apparatus for hiln determination with a deep adaptation network for both serum and plasma samples

Publications (2)

Publication Number Publication Date
JP2022502634A true JP2022502634A (ja) 2022-01-11
JP7386236B2 JP7386236B2 (ja) 2023-11-24

Family

ID=69887859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021515512A Active JP7386236B2 (ja) 2018-09-20 2019-09-19 血清および血漿試料の両方に関してディープアダプテーションネットワークを用いてhilnを決定するための方法および装置

Country Status (5)

Country Link
US (1) US11852642B2 (ja)
EP (1) EP3853615B1 (ja)
JP (1) JP7386236B2 (ja)
CN (1) CN112673261A (ja)
WO (1) WO2020061369A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019241134A1 (en) * 2018-06-15 2019-12-19 Siemens Healthcare Diagnostics Inc. Specimen container characterization using a single deep neural network in an end-to-end training fashion
US11663838B2 (en) 2020-10-29 2023-05-30 PAIGE.AI, Inc. Systems and methods for processing images to determine image-based computational biomarkers from liquid specimens
CN113592842B (zh) * 2021-08-09 2024-05-24 南方医科大学南方医院 一种基于深度学习的样本血清质量识别方法及识别设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008100A (ja) * 2010-06-28 2012-01-12 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
WO2018089938A1 (en) * 2016-11-14 2018-05-17 Siemens Healthcare Diagnostics Inc. Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7198955B1 (en) * 1997-03-03 2007-04-03 Nir Diagnostics Inc. Method and apparatus for measurement of blood substitutes
US7776583B2 (en) * 2004-06-03 2010-08-17 Meso Scale Technologies, Llc Methods and apparatuses for conducting assays
US7760340B2 (en) * 2006-03-16 2010-07-20 Sysmex Corporation Sample analyzer
EP2910926A1 (de) * 2014-02-19 2015-08-26 F.Hoffmann-La Roche Ag Verfahren und Vorrichtung zum Zuordnen einer Blutplasmaprobe
JP6499873B2 (ja) * 2015-01-30 2019-04-10 株式会社日立ハイテクノロジーズ 検体検査自動化システム
CA2976769C (en) * 2015-02-17 2023-06-13 Siemens Healthcare Diagnostics Inc. Model-based methods and apparatus for classifying an interferent in specimens
JP6888770B2 (ja) 2016-01-28 2021-06-16 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 試料内のアーチファクトを分類する方法と装置
CN108474733B (zh) * 2016-01-28 2022-08-30 西门子医疗保健诊断公司 用于表征样品容器和样品的方法和装置
CN109477848B (zh) * 2016-07-25 2023-07-18 西门子医疗保健诊断公司 用于识别样品容器盖的系统、方法和设备
US11927736B2 (en) 2018-06-15 2024-03-12 Siemens Healthcare Diagnostics Inc. Methods and apparatus for fine-grained HIL index determination with advanced semantic segmentation and adversarial training
WO2019241134A1 (en) 2018-06-15 2019-12-19 Siemens Healthcare Diagnostics Inc. Specimen container characterization using a single deep neural network in an end-to-end training fashion

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008100A (ja) * 2010-06-28 2012-01-12 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
WO2018089938A1 (en) * 2016-11-14 2018-05-17 Siemens Healthcare Diagnostics Inc. Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen

Also Published As

Publication number Publication date
JP7386236B2 (ja) 2023-11-24
US11852642B2 (en) 2023-12-26
EP3853615A1 (en) 2021-07-28
CN112673261A (zh) 2021-04-16
EP3853615A4 (en) 2021-11-03
US20210334972A1 (en) 2021-10-28
EP3853615B1 (en) 2024-01-17
WO2020061369A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
JP7055818B2 (ja) 畳み込みニューラルネットワークを用いたhiln評価方法及び装置
JP6879366B2 (ja) 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール
US11313869B2 (en) Methods and apparatus for determining label count during specimen characterization
CN108738338B (zh) 用于检测样本中的干扰物的方法和装置
JP7216069B2 (ja) ディープラーニングボリューム定量化方法および装置
JP7324757B2 (ja) 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置
JP7089071B2 (ja) 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け
JP7089072B2 (ja) 進歩したセマンティックセグメンテーションおよび敵対的訓練による、きめ細かなhil指標決定のための方法および装置
EP3610270B1 (en) Methods and apparatus for label compensation during specimen characterization
JP7386236B2 (ja) 血清および血漿試料の両方に関してディープアダプテーションネットワークを用いてhilnを決定するための方法および装置
JP7203206B2 (ja) 標本分類のための仮説および検証ネットワークおよび方法
JP2023500835A (ja) 自動診断分析システムにおいて検体のhiln決定に使用される訓練画像をハッシュおよび検索するための方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230320

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230320

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20230404

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230420

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R150 Certificate of patent or registration of utility model

Ref document number: 7386236

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150