JP2019504994A - 複数の側面図から試料容器を識別するように構成された方法および装置 - Google Patents

複数の側面図から試料容器を識別するように構成された方法および装置 Download PDF

Info

Publication number
JP2019504994A
JP2019504994A JP2018539275A JP2018539275A JP2019504994A JP 2019504994 A JP2019504994 A JP 2019504994A JP 2018539275 A JP2018539275 A JP 2018539275A JP 2018539275 A JP2018539275 A JP 2018539275A JP 2019504994 A JP2019504994 A JP 2019504994A
Authority
JP
Japan
Prior art keywords
sample container
sample
check module
quality check
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018539275A
Other languages
English (en)
Other versions
JP6919139B2 (ja
JP2019504994A5 (ja
Inventor
クルックナー、シュテファン
チャーン、ヤオ−ジェン
チェン、テレンス
ポラック、ベンジャミン,エス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare Diagnostics Inc
Original Assignee
Siemens Healthcare Diagnostics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare Diagnostics Inc filed Critical Siemens Healthcare Diagnostics Inc
Publication of JP2019504994A publication Critical patent/JP2019504994A/ja
Publication of JP2019504994A5 publication Critical patent/JP2019504994A5/ja
Application granted granted Critical
Publication of JP6919139B2 publication Critical patent/JP6919139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/02Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
    • G01N35/04Details of the conveyor system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/10Devices for transferring samples or any liquids to, in, or from, the analysis apparatus, e.g. suction devices, injection devices
    • G01N35/1009Characterised by arrangements for controlling the aspiration or dispense of liquids
    • G01N35/1016Control of the volume dispensed or introduced
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • G01N2035/00742Type of codes
    • G01N2035/00752Type of codes bar codes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/02Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
    • G01N35/04Details of the conveyor system
    • G01N2035/0401Sample carriers, cuvettes or reaction vessels
    • G01N2035/0406Individual bottles or tubes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/02Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
    • G01N35/04Details of the conveyor system
    • G01N2035/046General conveyor features
    • G01N2035/0467Switching points ("aiguillages")
    • G01N2035/047Switching points ("aiguillages") diverging, e.g. sending carriers to different analysers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/02Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
    • G01N35/04Details of the conveyor system
    • G01N2035/0474Details of actuating means for conveyors or pipettes
    • G01N2035/0491Position sensing, encoding; closed-loop control
    • G01N2035/0493Locating samples; identifying different tube sizes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/10Devices for transferring samples or any liquids to, in, or from, the analysis apparatus, e.g. suction devices, injection devices
    • G01N35/1009Characterised by arrangements for controlling the aspiration or dispense of liquids
    • G01N35/1016Control of the volume dispensed or introduced
    • G01N2035/1018Detecting inhomogeneities, e.g. foam, bubbles, clots
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/10Devices for transferring samples or any liquids to, in, or from, the analysis apparatus, e.g. suction devices, injection devices
    • G01N35/1009Characterised by arrangements for controlling the aspiration or dispense of liquids
    • G01N2035/1025Fluid level sensing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/02Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

モデルベースの試料容器特徴決定方法。本方法は、試料容器を供給し、異なる露光時間および異なる公称波長を有する異なるスペクトルで試料容器の画像を撮像し、スペクトル毎に最適露光画像データを生成するためにスペクトル毎の異なる露光時間で前記画像から最適に露光された画素を選択し、管、ラベルまたは蓋の少なくとも1つとして前記最適に露光された画素を分類し、スペクトル毎の前記最適露光画像データに基づいて前記試料容器の幅、高さ、または幅および高さを識別することを含む。本方法を実行するように構成された品質チェックモジュールおよび試料試験装置を他の態様と同様に説明する。

Description

関連出願
本出願は、参照することにより本書に含まれる米国仮特許出願第62/288,366、2016年1月28日提出の名称「複数の側面図より試料容器を識別するように構成された方法および装置」に対する優先権を主張する。
本発明は、生体的試料試験において使用される分析前方法および装置に関し、特に試料を含む試料容器の構成を決定する方法および装置に関する。
自動試験システムは、尿、血清、血液血漿、間質液、脳脊髄液などの試料における分析物またはその他の成分を識別するために、1つ以上の試薬を使用して化学分析または臨床分析を実行可能である。便宜上や安全性の理由のため、それらの試料は蓋(キャップ)で覆われ得る試料容器(例えば採血管)内にほぼ一般的に含まれている。分析/試験反応によって、いくつかの実施形態では患者の病気状態を示し得る、試料に含まれた分析物またはその他の成分の濃度を決定するために読出しおよび/または操作され得る様々な変化が生まれる。
自動試験技術における改善は、ラボラトリオートメーションシステム(LAS)と呼ばれる自動システムによって、ソート、一括調整、試料成分を分離するための試料容器の遠心分離、液体アクセスを容易にするための蓋の除去、試料容器配送などの前分析試料調整および取り扱い動作におけるそれぞれの進歩が伴う。LASは試料容器中の試料を1つ以上の前分析試料処理ステーションに自動的に運搬することによって、分析を実行する前に様々な動作が実行可能となる。
これらのLASは、標準的なバーコードがラベル付けされた試料管に含まれる複数の異なる試料を扱うことも可能である。このバーコードラベルは、検査オーダーおよびその他の所望の情報とともに病院の臨床検査情報(LIS)に入力され得る人口統計の情報と相関し得る受け入れ番号を含んでもよい。操作者はLASシステムに対してラベル付けされた試料容器を配置してもよく、それによって遠心分離、蓋の除去、分量調整などの分析前動作のために試料容器を自動的にソートおよびルーティングしてもよく、これらはすべて試料が実際にLASの一部にもなり得る1つ以上の分析器によって臨床分析を受ける前に実行される。
ある試験のため、血清または血漿部分(遠心分離によって全血液から取得)は分析を実行するために使用可能である。一部の場合においては、血清または血漿部分から沈降した血液部分を分離しやすくするために、ゲルセパレータを試料容器に対して追加してもよい。遠心分離後、試料容器を適切な分析器に運搬し、その分析器は試料容器から試料の血清または血漿部分を抽出し、反応槽(例えばキュベットなど)において試料を1つ以上の試薬と混合可能である。その後、例えば測光または蛍光吸収測定などを使用することによって、ときには調査用の放射線ビームを使用して分析計測が実行されてもよい。この計測によってエンドポイントまたは比率値が決定可能となり、そこから周知の技術を使用して分析物またはその他の成分の量を決定可能となる。
米国特許公開番号第2012/0140230
残念ながら、試料における様々な部分(例えば沈降部、血清および血漿部分、およびゲルセパレータなど)は、試料容器のそのままの大きさまたは種類では、既存の方法を使用して決定することが難しい場合がある。そのため、結果的な血清または血漿部分の量または沈降部および血清または血漿部分の相関量を正確に決定するのは難しい場合がある。
検査システムにおいて、分析のために提示される試料容器は様々な大きさをしており、たとえば高さや直径が異なり、ゲルセパレータや、粉末ガラス血栓活性剤またはトロンビン系活性剤などの血液凝固剤、エチレンジアミン四酢酸(EDTA)、ヘパリンナトリウムまたはヘパリンリチウム、または酸性クエン酸ブドウ糖(ACD)などの抗血液凝固剤、フッ化ナトリウムおよびシュウ酸カリウムなどの抗解糖剤添加物などの異なる材料も含み得る。蓋の色は、異なる添加物を識別するために使用可能であり、試料に対して実行される検査の種類または単純に管の種類を示してもよい。たとえば、赤色の蓋は血清採取管を指すものとして使用される場合があり、これは一般的に血栓活性剤などの血液凝固剤を含む場合があり、さらにゲルセパレータを含む場合がある。オレンジ色の蓋はトロンビン系活性剤系血栓活性剤を含んでもよく、迅速な凝固が必要とされるSTAT試験のために使用してもよい。紫色などの抗凝固剤の蓋はEDTAを含んでもよく、血液型および血球計数の検査のために使用される基本的血液管を識別し得る。水色の蓋は、凝固および血小板機能検査のためのクエン酸ナトリウムの添加を識別できる。緑色の蓋は、血漿検査のためのヘパリンリチウム/ナトリウムを含む管を識別可能である。黄色の蓋は、ナトリウムポリアネトール硫酸を含み、細菌の成長および微生物学検査のために使用可能である。
試験場の技術者による目視の検査を使用せずに試料容器の大きさおよび種類を評価することが望ましいが、ヒューマンエラーの傾向のため自動化されてもよい。さらに、試料容器は、試料容器に直接貼り付けられたバーコードラベルを含んでもよい。1つ以上のラベルは試料を部分的に塞ぐ場合があるため、試料の血清または血漿部分を目視で観察する明らかな機会がない場合もある。Millerの特許文献1などに記載されるその他のシステムは、ラベルによって視野を遮られていない窓を見つけるために試料容器を回転させ、試料容器の相対的な大きさと蓋の種類を光学撮像システムを使用して計測する。しかしながら、そのようなシステムは自動化が容易でない傾向にある場合がある。
試料容器の大きさまたは種類を決定する際に直面する困難な点のため、プレスクリーニング処理の一部として大きさおよび種類を容易に決定するように構成された方法および装置に対する未充足ニーズがある。プレスクリーニングを実行する方法および装置は、分析検査結果が得られる速度に大幅な悪影響をおよぼすべきではなく、すなわち検査処理全体の時間を大幅に遅らせるべきではない。さらに、本方法および装置はラベルが付けられた容器試料に対して回転せずに使用可能でなければならない。
第1の態様によれば、試料容器の特徴を決定する方法が提供される。本方法は、試料容器を供給し、異なる露光時間および異なる公称波長を有する異なるスペクトルで試料容器の画像を撮像し、スペクトル毎に最適露光画像データを生成するためにスペクトル毎の異なる露光時間の前記画像から最適露光画素を選択し、管、ラベルまたは蓋の少なくとも1つであるとして前記最適露光画素を分類し、スペクトル毎の前記最適露光画像データに基づいて前記試料容器の幅、高さ、または幅および高さを識別することを含む。
別の態様によれば、試料容器の特徴を決定するように構成された品質チェックモジュールが提供される。本品質チェックモジュールは、前記試料容器を受け付けるように構成された撮像位置周囲の複数の視点に配置された複数のカメラで、前記複数のカメラのそれぞれは前記複数の視点から異なる露光時間および異なる公称波長を有する異なるスペクトルで前記試料容器の少なくとも一部の複数の画像を撮像するように構成された複数のカメラと、前記複数のカメラに接続されたコンピュータとを含み、前記コンピュータは、スペクトルおよび視点毎に最適露光画像データを生成するために前記異なるスペクトルのそれぞれにおける前記異なる露光時間の前記画像から最適露光画素を選択し、前記最適露光画像データを管、蓋、またはラベルの少なくとも1つであると分類し、スペクトル毎に前記最適露光画像データに基づいて前記試料容器の幅、高さ、または幅および高さを識別するように構成され動作可能である。
別の態様によれば、試料試験装置が提供される。本試料試験装置は、トラックと、前記トラック上を移動可能な試料キャリアであって、前記試料キャリアは試料容器を運ぶように構成される試料キャリアと、前記トラック上に配置された試料容器の特徴と決定するように構成された品質チェックモジュールであって、前記品質チェックモジュールは、前記試料容器を受け付けるように構成された撮像位置周囲の複数の視点に配置された複数のカメラであって、前記複数のカメラのそれぞれは前記複数の視点から異なる露光時間および異なる公称波長を有するスペクトルで前記試料容器の少なくとも一部の複数の画像を撮像するように構成された複数のカメラと、前記複数のカメラに接続されたコンピュータとを含み、前記コンピュータは、スペクトルおよび視点毎に最適露光画像データを生成するために前記異なるスペクトルのそれぞれにおける前記異なる露光時間の前記画像から最適露光画素を選択し、前記最適露光画像データを管、蓋、またはラベルの少なくとも1つであると分類し、スペクトル毎に前記最適露光画像データに基づいて前記試料容器の幅、高さ、または幅および高さを識別するように構成され動作可能である。
本発明のその他の態様、特徴および利点は、本発明の実施のために熟慮された最良の態様を含む複数の実施例および実装例を示す以下の説明より容易に明らかとなるであろう。本発明は、他の異なるおよび異なる実施形態が可能であり、そのいくつかの詳細は、すべて本発明の範囲から逸脱することなく様々な点において修正可能である。したがって、図面および説明は性質的に例示目的と見なされるべきものであり、限定を意味するものではない。本発明は、添付の特許請求の範囲内におけるすべての修正、同等物および代替案を網羅するものとする。
以下に記載する図面は例示目的に過ぎず、必ずしも一定の比率の縮尺で描かれてはいない。図面は、本発明の範囲をいかなる方法でも限定するように意図されていない。図面全体において同様の要素を同様の参照番号で示す。
図1は、1つ以上の実施形態による、1つ以上の品質チェックモジュールと1つ以上の分析器(臨床化学または分析器具)とを含む試料検査装置の上面図を示す。 図2は、1つ以上の実施形態による、寸法定量化方法によって定量化可能な分離試料を含むラベル付けされた試料容器の側面図を示す。 図3は、1つ以上の実施形態による、寸法定量化方法によって定量化可能な分離試料を含むラベル付けされた試料容器の側面図を示す。 図4Aは、1つ以上の実施形態による、複数の画像の撮像および分析をするように構成された品質チェックモジュール(図示の便宜上上部ハウジング部を外している)の概略的な上面図を示す。 図4Bは、1つ以上の実施形態による、図4Aの品質チェックモジュールの概略的な側面図を示す(図示の便宜上側部ハウジング部を外している)。 図4Cは、1つ以上の実施形態による、複数の画像を撮像および分析するように構成された別の品質チェックモジュールの概略的な上面図を示す(図示の便宜上上部ハウジングを外している)。 図4Dは、1つ以上の実施形態による、図4Cの品質チェックモジュールの概略的な側面図を示す(図示の便宜上側部ハウジング部を外している)。 図5は、1つ以上の実施形態による、試料容器を定量化するように構成された品質チェックモジュールの機能的構成要素のフローチャートを示す。 図6は、1つ以上の実施形態による、試料容器を定量化するように構成された広範な撮像方法のフローチャートを示す。 図7は、1つ以上の実施形態による、試料容器を定量化する方法のフローチャートを示す。
第1の広範囲な態様によれば、本発明の実施形態は、試料容器の幅(W)および高さ(HT)などの試料容器の物理的属性を決定するよう構成され、可能にされ、操作される(操作可能である)撮像方法および装置を提供する。1つ以上の実施形態において、本方法は蓋の存在を決定し、蓋の種類の識別および/または蓋色を識別可能である。1つ以上の実施形態において、試料容器の保持装置は識別可能であるため、その特徴に対する影響を除去または少なくとも最小限に抑えることができる。
試料容器の幅(W)がわかれば、血清または血漿部分、沈降した血液部分またはその両方の定量化など、試料の様々な部分のさらなる定量化(例えば、体積または深さ)のために使用可能である。蓋の種類および/または蓋の色は、正しい試料容器がオーダーされた検査のために使用されたかを検証し、および/またはオーダーされた検査が試料容器に存在する添加物によって悪影響を確実に受けないようにするためにLISからの検査要求と相互に関連付けられてもよい。試料容器の高さHTは、試料容器とピペットの衝突を最小限に抑えるために吸引システムのピペットに対するホームの高さを設定するようにロボットシステムによって使用される。さらに、HTを使用することによってロボットの把持部が試料容器を適切に把持可能となる。
ここで説明するように、試料は採血管などの試料容器に採取されることが可能であり、血清および血漿部分および分別(遠心分離による分離など)後の沈降血液部分を含んでもよい。沈降血液部分は、白血球、赤血球、および血小板のような血液細胞からなり、通常遠心分離を行って凝集または血清または血漿部分から分離される。沈降血液部分は、試料容器の底部に通常見られる。血清または血漿部分は、沈降血液部分の一部でない血液の液体成分である。通常沈降血液部分の上部に見られる。
血漿および血清は、凝固成分、主にフィブリノーゲンの含有量が異なる。血漿は非凝固液である一方、内在性の酵素または外来性の成分などの血液凝固剤の影響により血液血漿と呼ばれる血清は凝固可能である。血清または血漿部分は、血液凝固剤にさらされているかどうかに応じて、血清または血漿からなる。いくつかの場合において、血液試料は抗血液凝固剤にさらされる。いくつかの試料容器において、少量のゲルセパレータを使用可能であり、通常、遠心分離中には凝固血液部分と血清または血漿部分との間に位置する。これは2つの部分の分離バリアの役割を果たす。
1つ以上の実施形態において、本方法は、臨床分析器または分析器具に対する分析を実行する前に分析前検査方法、すなわちプレスクリーニング方法として実行可能である。1つ以上の実施形態において、本方は試料が定量化される前またはそれと同時に実行可能であり、アーチファクト(例えば血塊、気泡、または泡)の存在および/または干渉成分(インターフェレント)(例えば溶血、黄疸、または脂肪血症(HIL))の存在のために特徴づけられる。それによって、1つ以上の実施形態において、本発明は、品質チェックモジュールにおける物理的寸法の事前検査後にさらなる分析前検査または分析検査用の試料容器の寸法の有効な特徴を提供する。
1つ以上の実施形態において、本方法は試料容器の物理的構造体を決定することを助ける高ダイナミックレンジ(HDR)画像処理を使用する。当然ながら、いくつかの実施形態において、血清または血漿部分および/またはその他の血液成分の様々な物理的境界位置の識別もHDR画像処理を用いて行われてもよい。
いくつかの実施形態において、寸法特徴付け方法を実行するように構成された品質チェックモジュールが提供される。この品質チェックモジュールは、ロボットまたは輸送機構が試料容器に含まれる試料を品質チェックモジュールに輸送する領域に設けられてもよい。いくつかの実施形態において、品質チェックモジュールは運搬トラック上に設けられてもよく、その場合、運搬トラックは試料を分析(例えば分析検査または試験)のために離れた場所に運ぶ。化学的分析または試験は、適切な分析器上で行われることが可能である。本明細書で使用される「分析器」という用語は、臨床化学分析器、および/または試験器具などを意味する。一実施形態において、品質チェックモジュールはトラック上に設けられる場合があるため、試料容器はトラック上の入力レーンまたはその他の場所など、トラック上に存在する際の寸法によって特徴づけられることが可能である。
1つ以上の実施形態において、処理済みのHDRデータは寸法特徴付けのために使用可能であるが、体積定量化やアーチファクト検出および/またはHIL検出のためにも使用可能である。寸法定量化方法によって使用される撮像画像のすべては、複数の画素を含む画素化画像である。本明細書で使用される画素は、単一の画素またはスーパー画素などの画素の集合を意味する。11個の個別画素×11個の個別画素の大きさを有するスーパー画素は、スキャニングおよび処理においては扱いやすいとされてきた。スーパー画素のその他の適切な大きさも使用可能である。
本発明の1つ以上の実施形態の別の態様において、寸法特徴付けから得られた試料容器の幅(W)に関するデータを分離から得られた境界情報とともに使用して、血清または血漿部分の深さまたは体積を決定するために使用可能であり、さらに沈降血液部分の深さまたは体積を決定する際にも使用可能である。
HDR処理を含む特徴付け方法は、異なる公称波長を有する複数のスペクトルで照明されながら、さらに複数の視点から、複数の露光量(例えば露光時間など)において品質チェックモジュールで複数の画像を撮像することを含む。いくつかの実施形態において、画像は品質チェックモジュール内に配置された複数のカメラを使用して撮像されてもよい。本明細書で使用される「カメラ」という用語は、分析のために画像(例えばデジタル画像)を撮像可能なあらゆる装置を意味する。
その後、複数のカメラによって撮像された画像は、試料容器の寸法を決定するようにコンピュータによって処理されて、試料の深さおよび/または体積を定量化するためにも使用可能である。セグメント化処理において、画像のそれぞれにおける画素毎に、各スペクトルに対して最適な画像強度(すなわち最適な露光量)を示す画素が選択され、その他の画素位置からその他の最適画素と組み合わせて、統合スペクトル画像データセットを生成してもよい。その結果として、複数の正規化された統合スペクトル画像データセット(例えば赤(R)、緑(G)、青(B)が生成されるが、この場合画素のすべては最適に露光される(例えばスペクトル(例えば、R、G、およびB)毎に1画像データセット)。
正規化および統合化された色データセットのデータは、その各画素(例えば平均および共分散行列)に関する統計データを決定するために統計分析にかけてもよい。「共分散」は、強度などの画素属性の2つ以上がどの程度相関するかの大きさである。1つ以上のデータ行列の形態の統計データは、その後マルチクラス分類器によって操作可能である。このことから、試料容器の様々な領域区分が分類可能となる。特に、試料容器の幅(W)が識別可能となる。さらに、試料容器の高さ(HT)、蓋の種類、および蓋の色も決定可能となる。
マルチクラス分類器を使用してセグメント化タスクを実行してもよい。分類器は、例えば複数の学習セットにより学習したサポートベクターマシン(SVM)またはランダム決定木でもよい。ただし、その他の種類の分類装置を使用してもよい。
試料容器の寸法は、セグメント化処理からの出力に基づいて決定されてもよい。液体部位(すなわち血清または血漿部分)は分類器によっても定義可能であり、寸法特徴付け方法によって得られた幅(W)とともに境界データを使用して、液体部位(例えば血清または血漿部分)の体積を決定できる。
さらに本発明の寸法特徴付け方法、品質チェックモジュール、および品質チェックモジュールを含む試料試験システムの詳細を図1〜7を参照して説明する。
図1は、1つ以上の分析器(例えば試料検査装置100のそばにそれぞれ配置された第1、第2、および第3の分析器106、108、110)による分析の前に、ローディングエリア105に設けられた1つ以上のラック104に含まれ得る試料容器102のうちの複数を自動的に処理することが可能で動作可能な試料検査装置100を示す。なお、使用可能な分析器の数はより多くても少なくてもよい。分析器は、1つ以上の臨床化学分析器および/または1つ以上の検査装置などや、その組み合わせでもよい。試料容器102は、採血管(図2参照)などの一般的な透明または半透明の容器でもよい。
通常、自動的に処理される試料212(図2)は、蓋214(図2参照、ストッパーと呼ばれる場合もある)によって覆われることが可能な試料容器102の中で、試料検査装置100に対して供給されうる。蓋214は、異なる形状または色(例えば、赤、ロイヤルブルー、水色、緑、灰色、黄褐色、黄色またはその他の色)を有してもよい。色は実行される検査に関する有効な情報、場合によっては試料容器102に供給された添加物に関する有効な情報を提供する。試料容器102のそれぞれは、試料検査装置100のそばの様々な場所で機械が判読可能なバーコード、アルファベット、数字または英数字式の指標またはそれらの組み合わせなどの識別情報215と共に供給される管212Tを含んでもよい。識別情報215は患者の識別と、可能であれば例えば試料212に対して実行される試験を示すことが可能である。識別情報215は、オーダーされた試験などに関する追加の情報を供給するために研究室情報システム(LIS)147と連携してもよい。そのような識別情報215は、一般に、試料容器102の側に接着または設けられたラベル218上に供給されてもよい。ラベル218は一般に、試料容器102の周囲の全体に延出しておらず、または試料容器102の長さ全体にわたって延出していない。したがって、ラベル218は試料212の一部を塞ぐが、試料212の一部は依然として閲覧可能である。いくつかの実施形態において、複数の重複したラベル218が存在する場合がある。いくつかの実施形態において、ラック104は追跡のために使用可能な追加の識別情報をその上に有してもよい。
分別後、試料212は、管212Tの中に血清または血漿部分212SPと沈降血液部分212SBを含む。空気212Aは、血清および血漿部分212SP上に供給され、空気212Aと血清または血漿部分212SPとの間の線または区分は、ここでは液体−空気界面(LA)として定義されている。血清または血漿部分212SPと沈降血液部分212SBとの間の区分の線は、血清−血液界面(SB)として定義されている。空気212Aと蓋214との間の界面は、管−蓋界面(TC)と呼ばれる。管の高さ(HT)は管212Tの物理的な最底部から蓋214の底部までの高さとして定義される。血清または血漿部分212SPの高さ(HSP)は、沈降血液部分212SBの上部から血清または血漿部分212SPの上部まで、すなわちSBからLAまでの高さとして定義される。沈降血液部分212SBの高さ(HSB)は、沈降血液部分212SBの底部から沈降血液部分212SBの上部までの高さとして定義される。ゲルセパレータ313が使用される実施形態においては、図3のように、血清または血漿部分212SPとゲルセパレータ313との間の界面(SG)が存在する。同様に、沈降血液部分212SBとゲルセパレータ313との間の界面(BG)が存在する。HTOTは、この場合HSBにHSPを加えたものである。Wは管212Tの幅である。
より詳細には、試料検査装置100はベース120(例えばフレームまたはその他の構造体)を含み、その上にトラック121が搭載または支持されている。トラック121はレールトラック(例えばモノレールトラックまたは複数のレールトラック)、ベルトコンベアの集合、チェーン、可動プラットフォーム、またはその他の適切な運搬機構でもよい。いくつかの実施形態において、トラック121は円形、蛇行、またはその他の形状を有してもよく、閉じられた(すなわち終端のない)トラックでもよい。いくつかの実施形態において、トラック121は、キャリア122においてトラック121上で試料容器102のそれぞれが輸送されてもよく、試料容器102のうちの複数が輸送されてもよい。試料容器102は、トラック121上で移動可能なキャリア122の受容器(レセプタクル)で受けられるように構成されてもよい。
1つ以上の実施形態において、キャリア122は単一の試料容器102を運ぶように構成されたパックでもよい。いくつかの実施形態において、キャリア122は、プログラミングされた命令にしたがって停止および開始しながら、トラック121で試料容器102を移動するように構成されたリニアモータなどの搭載駆動モータを有してもよい。キャリア122はそれぞれ規定された垂直位置に試料容器102を保持および固定するように構成された把持部122Hを含んでもよい。把持部122Hは、3枚以上の薄い板ばねまたはフィンガを含んでもよい。
いくつかの実施形態において、キャリア122は1つ以上のラック104をそこに有するローディングエリア105から離れる。ローディングエリア105は、処理後にキャリア122から試料容器102を降ろすことも可能とする二重の機能を提供してもよい。ロボット124は、ローディングエリア105に設けられてもよく、1つ以上のラック104から試料容器102を把持して試料容器102をトラック121の入力レーンなどのキャリア122に移動および積載するように構成されてもよい。入力レーンはトラック121の主要部の一部またはそこからの分岐部でもよい。ロボット124は、検査完了時にキャリア122から試料容器102を取り出すように構成されてもよい。ロボット124は、XおよびZ、YおよびZ、X、Y、およびZ、またはrおよびシータ運動が可能な1つ以上の(例えば少なくとも2つの)ロボットアームまたは構成要素を含み、この場合ロボット124は試料容器102を持ち上げて配置するように構成されたロボットクランプフィンガーを備えてもよい。しかしながら、他の適切な種類のロボット124を使用してもよい。
ロボット124によってトラック121に積載すると、キャリア122によって運ばれた試料容器102は遠心分離機125(例えば、試料212の分別を実行するように構成された自動遠心分離機)へと進んでもよく、いくつかの実施形態において流入レーン126によって遠心分離機125に向けられてもよい。遠心分離後、試料容器102は流出レーン128上に出て、トラック121に続く。いくつかの実施形態において、キャリア122は品質チェックモジュール130へと移動してよい。これについては図4A〜4Dを参照してさらに説明する。任意として、遠心分離は事前に発生してもよく、試料容器102内に含まれた試料212は、入力レーンの一部などのローディングエリア105に配置された品質チェックモジュール130に直接積載されてもよい。
品質チェックモジュール130は、試料検査装置100による処理対照の試料212を含む試料容器102の物理的属性を自動的に決定/特徴付けるように構成および適応されている。特徴付けは、管の大きさ、蓋の種類、および/または蓋の色の特徴付けを含んでもよい。特徴付けがなされると、試料212は試料212の深さおよび/または体積、HILおよび/または1つ以上のアーチファクトの存在を決定するようにさらに特徴付けられる。HILおよび/またはアーチファクトが全く見つからない場合、試料212はトラック121上を継続して進み、各試料容器102がローディングエリア105に戻って降ろされる前に1つ以上の分析器(例えば、第1、第2および第3の分析器106、108、および/または110)において分析されてもよい。
いくつかの実施形態において、試料容器102の物理的属性の定量化は品質チェックモジュール130において行われる(すなわちHT、蓋の色、蓋の種類、TC、管の種類および/またはWの決定)。いくつかの実施形態において、試料212の定量化は品質チェックモジュール130で行ってもよく、HSB、HSP、HTOTの決定を含んでもよく、SB、LA、SG、および/またはBGの垂直位置を決定してもよい。当然ながら、把持部122も識別可能であるが、後の処理では様々な画像が無視されてもよい。
さらに、遠隔ステーション132が試料検査装置100のトラック121と直接連携していないとしても、遠隔ステーション132は自動試料検査装置100によってサービス提供がなされることが可能である。例えば、独立ロボット133(破線で示す)は、試料容器102を遠隔ステーション132に運んで検査/処理後にそれらを返してもよい。任意として、試料容器102は手作業で除去されて返却されてもよい。遠隔ステーション132を使用して溶血レベルなどのある成分に対する検査を行ってもよく、追加の処理によって脂肪血症レベルを下げるなどのさらなる処理のために使用してもよく、または例えば血塊、気泡または泡などの試料212に見られるアーチファクトを除去してもよい。その他の検査または処理は、遠隔ステーション132において実現可能である。
試料検査装置100は、トラック121の周囲の1つ以上の位置に複数のセンサ116を含んでもよい。センサ116は、試料容器102上に配置された識別情報215(図2)またはバーコードなどの各キャリア122上に供給された同様の情報(不図示)を読込むことによってトラック121に沿って試料容器102の位置を検出する。キャリア122の位置を追跡するために他の手段が使用されてもよい。センサ116のすべてはコンピュータ143とインタフェースしているため、各試料容器102および試料212の位置は常に既知である。コンピュータ143は、既知の方法でLIS147とインタフェースおよび通信する。
遠心分離機125および分析器106、108、110のそれぞれは、トラック121からキャリア122を取り外すように構成されたロボット機構および/または流入レーン(例えば、流入レーン126、134、138、144と、キャリア122をトラック121に再進入させるように構成されたロボット機構および/または流出レーン(例えば流出レーン128、136、141および146)を通常備えてもよい。
試料検査装置100はコンピュータ143によって制御可能であり、マイクロプロセッサベースの中央演算装置CPUを含み、様々なシステム構成要素を動作させるための適切なメモリ、ソフトウェアおよび適切な調整用電子機器および駆動装置を有する。コンピュータ143は、試料試験装置100のベース120の一部として収納されてもよく、または分離していてもよい。コンピュータ143はローディングエリア105へ/からのキャリア122の動き、トラック121での動き、遠心分離機125へ/からの動き、遠心分離機125の動作、および品質チェックモジュール130へ/からの動き、ならびに品質チェックモジュール130の動作、各分析器106、108、110へ/からの動き、場合によっては様々な種類の試験を実行する各分析器106、108、110の潜在的な動作(例えば、分析および/または臨床化学)を制御するように動作可能である。
品質チェックモジュール130以外においては、コンピュータ143は、ニューヨーク州TarrytownのSiemensHealthcare Diagnostics Inc.によって販売されているDimension(登録商標)臨床化学分析装置上で使用されているソフトウェア、ファームウェア、および/またはハードウェアコマンドまたは回路にしたがって試料検査装置100を制御してもよく、そのような制御はコンピュータに基づく電気機械的な制御プログラミングの当業者にとっては一般的であり、ここでは詳述しない。しかしながら、試料検査装置100を制御するためにその他の適切なシステムを使用してもよい。試料容器を特徴付ける品質チェックモジュール130の制御はコンピュータ143によって供給されてもよいが、以下に詳述するように新規のモデルベースの方法による。任意として、コンピュータ143に接続された分離されたコンピュータによっても供給可能である。
本発明の実施形態は、ユーザが様々な制御およびステータス表示画面に容易かつ迅速にアクセス可能となるコンピュータインタフェースモジュール(CIM)145を使用して実現可能である。これらの制御およびステータス画面は、試料212の準備および分析のために使用される複数の相互に関連する自動化装置のいくつかまたはすべての態様を説明するものである。CIM145は、複数の相互に関連する自動化装置の動作ステータスに関する情報とともに試料212の位置を説明する情報、ならびに試料212に対して実行される、または実行されているスクリーニングまたは検査のステータスを供給するように適用可能である。CIM145は、操作者と試料試験装置100との間の相互連携を容易にするように構成可能である。CIM145は、操作者が試料試験装置100にインタフェース可能なアイコン、スクロールバー、ボックス、ボタンを含むメニューを表示するように構成された表示画面を含んでもよい。このメニューは試料試験装置100の機能的態様を表示するようにプログラミングされた複数の機能ボタンを含んでもよい。
図4A〜4Bを参照して、品質チェックモジュール130の第1の実施形態を図示および説明する。品質チェックモジュール130は、試料容器102の物理的構造体を自動的に特徴付ける(例えば大きさ)ように構成および適応されてもよい。この寸法特徴付け方法は、分析器106、108、110のうちの1つ以上によって自動的に処理される前に品質チェックモジュール130によって実行可能である。このようにして、試料容器の大きさは後続の処理において既知となる。品質チェックモジュール130は、試料容器102のTC、HT、および/またはWおよび/またはWiの位置および/または蓋214の色、および/または種類のような試料容器102を定量化する、すなわち試料容器102のある物理的な寸法特徴を定量化するために使用可能である。品質チェックモジュール130は、把持部122Hを後で画像を処理する際に無視可能なように、把持部122Hを定量化するために使用可能である。
試料容器定量化方法に加えて、品質チェックモジュール130の試料容器102に含まれる試料212に対してその他の検出方法も実行可能である。例えば、品質チェックモジュール130は試料212を定量化するために使用可能である。すなわち、試料212(例えばLA、SB、SGおよび/またはBGの物理的位置)のある物理的寸法特徴付けの決定や、および/またはHSP、HSB、および/またはHTOT、および/または血清または血漿部分(VSP)の体積および/または沈降血液部分(VSB)の体積を決定してもよい。
図1、4Aおよび4Bにおいて、品質チェックモジュール130は複数(例えば2台以上、3台以上、4台以上)のカメラを含んでもよい。カメラは、従来のデジタルカメラ(例えばカラーまたはモノクロカメラ)、電荷結合素子(CCD)、光検出器のアレイ、2つ以上のCMOSセンサなどでもよい。例えば、3台のカメラ440A,440B、440Cを図4Aに示し、3つの異なる視点からの撮像位置で画像を撮像するように構成されてもよい。その他の数のカメラも使用可能である。各カメラ440A、440B、440Cは撮像位置においてデジタル画像(すなわち画素化画像)を撮像可能な装置でもよい。各画像の画像解像度は、例えば約0.5MP〜3MPでもよい。その他の画素解像度も使用可能である。各カメラ440A、440B、440Cは、撮像位置における試料容器102の少なくともセグメントまたは横方向部分と少なくとも試料212の一部の横方向の画像を撮像し、さらに可能性としてラベル218および蓋214の一部を撮像するように構成され動作可能でもよい。これらの画像はわずかに重複している場合がある。最終的に、複数の画像から、試料容器102中の試料212の合成画像が得られる。いくつかの実施形態において、最終的な合成画像は、複数のカメラ440A、440B、440Cからの画像に基づいた撮像位置での試料容器102と含まれている試料212との3D画像でもよい。
図示する実施形態において、複数のカメラ440A、440B、440Cは撮像位置に配置された試料212周辺に配置されてもよく、複数の視点から横方向の画像を撮像するように構成される。それらの視点は、互いにほぼ等間隔で離れて放射状に配置されていてもよい。図示するように、3台のカメラ440A、440B、440Cが使用される場合、各間隔は互いから約120度でもよい。図示する実施形態において、カメラ440A、440B、440Cはトラック121の側部周辺に配置されてもよい。複数のカメラ440A、440B、440Cのその他の配置も使用可能である。このように、試料容器102および試料212の各画像は、試料容器102がトラック121上のキャリア122に置かれて保持されている間に撮像位置で撮像されてもよい。
1つ以上の実施形態において、キャリア122はカメラ440A、440B、440Cのそれぞれからの正常なベクトルが交差する点など、品質チェックモジュール130における所定の撮像位置に停止されてもよい。いくつかの実施形態において、キャリア122を停止するためにゲートが設けられてもよく、それによって高品質の画像が撮像されてもよい。画像のシーケンスが撮像された後に、ゲートがキャリア122を解除してもよい。他の実施形態において、キャリア122は、品質チェックモジュール130においてなど、所望の位置でキャリア122を始動および停止するように構成されたおよびプログラミングされたリニアモータでもよい。キャリア122を停止するためのその他の適切な手段を使用してもよい。
カメラ440A、440B、440Cは近接して設けられ、画像ウィンドウ、すなわち試料容器102の表面の予想される位置を含む領域を撮像するように学習または合焦され、この場合、試料容器102は画像ウィンドウのほぼ中心に配置されてもよい。構成されるように、カメラ440A、440B、440Cは血清または血漿部分212SPの一部、沈降血液部分212SBの一部、および蓋214の一部または全部を含む画像を撮像できる。撮像された画像のうち、1つ以上の参照データが存在してもよい。参照データは、試料212および/または試料容器102のさらなる定量化を支援可能である。参照データは、TCまたは試料容器102の最底部表面またはその両方でもよい。任意として、試料容器102自体は、あらゆる視点から閲覧可能な場所に設けられたマークまたはどの位置表示の印を含んでもよい。
動作において、品質チェックモジュール130によって撮像された画像のそれぞれはトリガ信号に応じてトリガされ、撮像されてもよい。トリガ信号はコンピュータ143によって生成されてもよく、コンピュータ143に接続された通信線443A、443B、443Cに設けられてもよい。撮像画像のそれぞれは、ここで提供する方法の1つ以上の実施形態にしたがって処理可能である。特に、HDR画像処理は、複数の画像を撮像および処理するために使用可能である。
より詳細に説明すると、異なる公称波長を有する1つ以上の異なるスペクトルで照明されながら、試料容器102の複数の画像が複数の異なる露光(例えば露光時間)で撮像される。例えば、各カメラ440A、440B、440Cは異なる露光時間および異なる公称波長を有する1つ以上のスペクトルで約4〜8またはそれ以上の画像を撮像してもよい。他の複数の露光で撮像されてもよい。
複数のスペクトル画像はいくつかの異なる方法によって達成可能である。一実施形態において、複数のスペクトル画像は異なる色のI光源444A〜444Cを使用して撮像されてもよい。光源444A〜444Cは試料容器102を後方から照らしてもよく(図4A〜4Bに示す)、例えば光パネルなどとして具体化されてもよい。光源444A〜444Cは、周囲の撮像位置441に対するバックライトを供給してもよい。光源444A〜444Cは光パネルでもよい。光パネルは、そこに異なる色の光のアレイを含んでもよく、もしくはそこに異なる色の光を供給する手段を含んでもよい。いくつかの実施形態において、光拡散装置を光源544A〜544Cとともに使用してもよい。パネルは、所望のスペクトル色または波長範囲の均一な照明を供給できる。この実施形態において、カメラ440A〜440Cは、デジタルモノクロカメラでもよい。光源444A〜444Cは、約+/−35nmの比較的狭帯域幅を有する様々なスペクトルで画像を撮像できる。光源444A〜444Cは、例えば、それぞれ約634nm(赤)、537nm(緑)および455nm(青)の公称放出のピークを有してもよい。ただし、その他の波長スペクトルを使用してもよく、3つの光源よりも多くの光源またはそれよりも少ない光源を使用してもよい。その後、異なる視点からカメラ440A〜440Cのそれぞれによって複数のスペクトルで、複数の露光画像が撮像されてもよい。色スペクトル画像(比較的狭い波長帯を有する公称波長によって表わされる)のそれぞれが様々な露光時間(例えば4〜8または以上の露光量)で次々と撮像される。スペクトル画像は複数の露光で赤、複数の露光で緑、さらに複数の露光で青などのあらゆる順番で撮像されてもよい。検出方法のために、透過率画像が演算されてもよく、その場合各透過率画像(R,G,B照明のそれぞれ)は、以下で説明するように最適露光画像および参照画像から演算される。最適露光画像は、それぞれの画素毎の強度によって正規化されてもよい。
任意の実施形態において、図4Cおよび4Dに示すように、試料容器102は、カメラ440A、440B、440Cに隣接して、すなわち上方、下方、側方、またはその組み合わせでそれぞれのカメラ440A〜440Cと試料容器102の同じ側に、配置された光源444D、444Eおよび444Fを含むなどすることによって品質チェックモジュール130Aで前面から照らされる。本実施形態において、カメラ440A〜440Cはそれぞれほぼ634nm、537nmおよび455nmのRGBピークを有するデジタルカラーカメラでもよいが、ただしRGB色のそれぞれは、モノクロカメラを用いた上記実施形態で使用された離散的光源と比較すると、比較的広い波長範囲を有する。本実施形態において、光源444D、444E、および444Fはそれぞれ白色光源でもよい。例えば、光源444D〜444Fは約400nm〜約700nmまでの波長範囲を出射してもよく、試料212を照明するために使用可能である。異なる露光時間における複数の画像はカメラ440A〜440Cのそれぞれによって撮像が可能である。撮像された白色光画像は、約400nmとおよび約700nmとの間の少なくとも2つの公称波長を含む複数のn公称波長の2つ以上の色スペクトル成分に分離可能である。例えば、RGBスペクトル成分は、コンピュータ143によって画像から分離されて複数のスペクトルの多時間露光画像を生成可能である。画像は、線443A〜443Cでコンピュータ143から信号を介して撮像可能である。
第1の実施形態による第1の波長で画像を撮像するためには、3つの赤色光源(スペクトル帯域幅約+/−35nmを有する約634nmの公称波長ピーク)を使用して試料212を同時に照らしてもよい。異なる露光時間での複数の画像(例えば4〜8以上の画像)が各カメラ440A〜440Cによって例えば同時に撮像された時に、光源444A〜444Cによる赤色照明が継続可能である。いくつかの実施形態において、露光時間は約0.1msと256msとの間でもよい。その他の露光時間も使用可能である。例えば、露光時間は8msでもよく、32msでもよく、さらに64msでもよく、さらに128msでもよい。その他の露光時間および時間間隔を使用して複数の露光時間画像を撮像してもよい。赤色光源444A〜444Cは、複数の赤色後方照明画像を撮像する程度にオン状態とされた後、オフ状態とされてもよい。
赤色光源444A〜444Cを使用して画像を撮像した後に、それらはオフ状態とされてもよく、例えば2つ以上の緑色光源444A〜444Cなどの他の色のスペクトルがオン状態とされる(スペクトル帯域幅約+/−35nmを有する約537nmの公称波長ピーク)、異なる露光時間における複数画像(例えば4〜8以上の画像)は、異なる視点に配置された各カメラ440A〜440Cによってそのスペクトルで撮像されてもよい。これは、カメラ440A〜440Cのそれぞれに対して、2つ以上の青色光源444A〜444C(スペクトル帯域幅約+/−35nmを有する約455nmの公称波長ピーク)を用いて繰り返してもよい。その結果、異なる露光時間、異なるスペクトル、および異なる視点で撮像された複数の画像が得られる。その他のスペクトル、露光時間、または視点が任意または追加して使用されてもよい。異なる波長光源444A〜444Cは、例えば交換可能な色フィルタの使用によって、または例えば選択的にオン状態およびオフ状態を切換えることができる異なる狭帯域での着色RGB光源のバンクを使用することによって実現可能である。効果的に後方照明を行う他の手段を使用してもよい。同様に、RGB以外の色も使用可能である。
第2の実施形態による画像の撮像のためには、3つの白色光源444D〜444Fを使用して試料212を同時に照明してもよい。光源444D〜444Fによって照明されると、異なる露光時間における複数の画像(例えば4〜8以上の画像)が、例えば同期して、各カメラ440A〜440Cによって撮像可能である。いくつかの実施形態において、露光時間は、例えば約0.1msと256msとの間である。他の露光時間も使用可能である。例えば、1回の露光は8ms、別の露光は32ms、さらに別の露光は64ms、そしてさらに別の露光は128msでもよい。その他の露光時間および時間間隔を使用して、複数の露光時間画像を撮像してもよい。複数の露光画像は、各露光時間および各視点の個別のRGB画像(明らかに低画素密度)を抽出するために、コンピュータ143によってさらに処理可能である。その結果、異なる露光時間で異なる公称波長を有する異なるスペクトルで照明されたカメラ毎の複数の画像が得られる。
それぞれの実施形態において、それぞれの波長または波長範囲(例えば白色光)で複数の露光時間で撮像された複数のスペクトル画像のすべては続けざまに取得できて、複数の視点からの試料212に対する画像の全集合は例えば2秒未満で得ることができる。
各試料212に対して撮像された画像の数の例を説明するために、以下の例を述べる。第1の実施形態によれば、RGB光源と各波長に対して4つの異なる時間の露光画像を使用し、3つの視点でモノクロカメラを供給すると、結果的に4露光×3色×3視点=36画像となる。第2の実施形態では、白色光源と4つの異なる時間露光画像を使用して、3つの視点にカラーカメラを供給すると、その結果、4露光×3視点=12画像となる。ただし、これらの12画像はその後コンピュータ143によってRGB画像に分離されるため、結果的に36画像が得られるが、それらの画像の画素密度は大まかに第1の実施形態の方法の1/3となる。それぞれの場合において、複数の露光画像はコンピュータ143のメモリに格納されてもよく、その後コンピュータ143によって処理されてもよい。
1つ以上の実施形態において、品質チェックモジュール130はトラック121を少なくとも部分的に囲むまたは網羅しうるハウジング446を含んでもよく、画像撮像用に密閉または半密閉の環境を提供可能である。試料容器102は各画像撮像中にハウジング446内部に配置されてもよい。ハウジング446は、キャリア122がハウジング446に進入および/または退出可能なように1つ以上の扉446Dを含んでもよい。いくつかの実施形態において、天井部は、品質チェックモジュール130がローディングエリア105に配置された時などに移動可能なロボットフィンガを含むロボット(例えばロボット124)によってハウジング446内に配置されたキャリア122に試料容器102を積載可能な開口部446Oを含んでもよい。前面照明が使用されている場合(図4C〜4D)、品質チェックモジュール130は画像コントラストを改善させるためにバックストップ壁447を含んでもよい。バックストップ壁447はあらゆる適切な色でよく、試料212の色の予想される範囲外の色であればよい。いくつかの実施形態において、黒色材料が使用されてもよい。
一態様において、複数のスペクトル、複数の露光時間画像のデータの処理は、管212Tおよび蓋214を識別するために試料212のセグメント化を第1に決定する。当然ながら、このセグメント化も液体部分(例えば血清または血漿部分212SP)も識別可能である。この処理は、例えば、カメラ440A〜440のそれぞれに対する波長毎に最適露光画像データセットを生成するために、異なる露光時間およびカメラ毎の波長で撮像された複数の撮像画像のそれぞれから最適な露光の画素を選択することを含んでもよい。これは、本明細書においては「画像統合」と呼ぶ。画像統合中において、スペクトル色毎に、異なる露光時間の画像のそれぞれの対応する位置における画素が比較され、最適な画像強度を示す画素のみを異なる露光時間画像のそれぞれから選択してもよい。一実施形態において、最適画像強度の画素は、例えば強度の所定の範囲(例えば0〜255のスケールにおいて180〜254の間)内に存在する画素でもよい。別の実施形態において、最適画像強度は例えば0〜255のスケールにおいて16〜254の間でもよい。その他の非最適画素は露光不足または露光過剰として廃棄される。その他のスケールおよび最適範囲が使用されてもよい。2つの画像の対応する位置にある1つ以上の画素が最適に露光されている場合、2つのうちより高い強度の画素が選択されてもよい。最適に露光された画素の強度のそれぞれは、露光時間毎に正規化される。その結果、画素のすべては最適露光されている場合(例えばスペクトル毎に1つの画像データセット(例えば、赤、緑、青)に、カメラ440A〜440Cのそれぞれに対して複数の正規化および統合されたスペクトル画像データセット(例えば、赤、緑、青)となる。
品質チェックモジュール130の較正(キャリブレーション)処理の一部として、試料容器102のない参照画像が撮像されてもよい。参照画像は、試料容器102およびキャリア122が品質チェックモジュールに入る前および後に使用される全露光時間および照明条件で全カメラ440A〜440Cのそれぞれによって撮像されてもよい。このように、コンピュータ143の演算の負担は、前景画像のみを残した各画像データセットから背景(すなわち試料容器102の外側の領域)を任意で差し引くことによって最小限に抑えることが可能となる。これをここでは「背景除去」と呼ぶ。
正規化および最適露光画素を含むスペクトル画像データセット毎に、セグメント化処理が実行されて画像データセット内の画素のそれぞれを分類する。試料容器102および試料212の様々なセグメントが特徴づけられ、すなわち様々なクラスおよびその境界が決定可能である。これは、管212T、すなわち透明もしくは半透明の領域および蓋214を識別するために使用可能である。また、液体部分(例えば、血清または血漿部分212SP)、ゲルセパレータ313(存在する場合)、沈降血液部分212SB、および要素(例えばLA、SB、SG、BG)間の境界線を識別するために使用可能である。背景およびキャリア212もセグメント化可能である。セグメント化は、最適露光画像データ中の画素を分類モデルに基づいてあるクラスに属するとして分類することに基づいてもよい(図5)。分類モデルは、複数の学習セットから作製されたマルチクラス分類器515に基づいてもよい。マルチクラス分類器515は、例えばサポートベクトルマシン(SVM)またはランダム決定木を含んでもよい。その他の種類のマルチクラス分類器も使用可能である。
分類分けを実行するためには、第1の統計データを、異なる波長(例えば、赤、緑、後)の最適露光画素毎およびカメラ440A〜440Cのそれぞれに対して演算してもよい。統計データは、平均値および第2のオーダーまでの分散を含んでもよい。作成後、統計データはマルチクラス分類器515に供給および運用され、例えば、1−血清または血漿部分、2−沈降血液部分、3−蓋、4−ラベル、5−試料容器、6−空気、7−ゲルセパレータ(使用されている場合),8−管(例えば,透明な領域)などの複数の一意のクラスラベルの1つに属するとして画像中の画素を分類可能となる。キャリア122も分類可能である。このセグメント化から、管212Tおよび蓋214を較正する画素が識別可能である。
マルチクラス分類器515の動作の結果は、クラス3−蓋およびクラス8−管に属する全画素を識別することである。図5は、試料容器特徴付け方法の単純なフローチャートである。キャリア122によって運ばれている試料212を含む第1の試料容器102は502の品質チェックモジュール130に供給される。504で複数の露光画像が撮像され、複数の露光画像は、上述したように複数の異なる露光時間および複数の異なるスペクトル(および/または波長範囲)で撮像された複数のスペクトル画像である。その後、複数の画像がコンピュータ143のメモリに格納されてもよい。これらの画像から、演算の負担を少なくするために、508の背景除去段階において背景が任意で差し引かれてもよい。背景低減は、510において得られた参照画像を差し引くことによって実現され、キャリア122および試料容器102が撮像位置441に供給される前の較正(キャリブレーション)の一部または方法の一部として扱われてもよい。
画像撮像後、実行された場合は背景除去後、511に示すようにカメラ440A〜440Cのそれぞれに対して複数の露光および複数の波長データセットにおいてセグメント化処理が達成されてもよい。511におけるセグメント化処理は、512で実行され得る画像統合段階を含んでもよい。512における画像統合の間、それぞれの色スペクトル(例えば公称波長)における様々な画像は画素毎に検証されて最適露光である画素を決定する。それぞれの対応する画素位置に対して最適露光画素のうちの最良の画素が選択され、最適露光画像データセットに含まれる。各画素の強度は、露光時間によって正規化される。それによって、512の画像統合後、波長スペクトル(例えば色)毎に1つの正規化および最適露光画像データセットが作成される。
512の画像統合後、または可能であればそれと同時に、統計作成処理が514で実行され、例えば平均および/または共分散行列などの統計が画素毎に生成される。正規化および最適露光データセットからのこの統計データおよび強度情報はマルチクラス分類器515において演算され、516において画像データセットにおける全画素に対して画素クラスの識別を実現する。516のこの分類処理から、カメラ440A〜440Cのそれぞれの統合画像中の各画素は上記一覧で示すような複数のクラスタイプの1つとして分類が与えられる。分類中に、画像はスキャンされ、マルチクラス分類器を使用することによって画素位置毎にクラスラベルが導出される。いくつかの実施形態において、画素位置周辺の小型のスーパー画素パッチを使用することによって、カメラ440A〜440Cのノイズレベル(例えば11×11画素)に対してより確実な統計的記述が作成される。
これから、管212Tおよび蓋214である画素が識別される。蓋214として分類されたすべての画素は共に収集される。これにより、識別された形状を、参照テーブル531Lなど、コンピュータ143のメモリ内に格納された参照用蓋のデータベースと照合することによって、531においてBLOB(ブロブ)またはその他の適切な形状分析によって、蓋214の形状が識別可能となる。蓋214の形状は、531において蓋の種類を識別する。蓋214の形状は、尿、唾液、便などの試料容器に存在する材料の種類や、容器が真空状態であるかを示すことが可能である。蓋214の形状も、試料容器が真空状態であったかを示すことが可能である。
蓋214として識別された画素の同一集合体は、平均R,G,およびBレベルとして定量化されもてよく、または複数色の蓋の場合はクラスタリングアプローチで定量化されてもよく、この蓋214のRGBデータ色から、参照テーブル533Lに格納された既知の蓋色に対するRGB値の個々の範囲の照合に基づいて533で識別可能である。識別された蓋領域に対して、実色値が抽出可能である。検査前の所望の時間に色補正が行われてもよい。各実色値または複数の色値を、すべての管色が提示されているデータベース(例えば参照テーブル)と照合してもよい。
管212Tは、516でクラス管の一部であると識別された様々な画素とともに収集されることによって定量化可能である。その後、ほぼ垂直に整列された管212Tの画素のそれぞれの最外側線の間の画素空間における位置は、518において幅(W)を計算および抽出するように差し引かれる。幅(W)は、対応する高さにおける対応する画素間の距離の平均として計算可能である。518において計測された画素は、低管−蓋界面TCよりも下に存在する場合があり、試料容器102の底の曲線部の画素を無視する。
その後、520で高さ(HT)が抽出される。高さ(HT)は、管212Tとして分類された最底部画素と管−蓋界面TCとの間で計測される。この高さ(HT)値は、幅(W)とともに使用して、529において、例えば参照テーブル529Lに格納されうる可能な大きさの一覧(例えば10.25×47、10.25×64、10.25×84、13×75、16×100、13×100(すべてmm×mm))から、試料容器102の大きさを識別および特徴付けすることができる。その他の標準的な大きさも一覧に示されてもよい。
これらの値から、535において推定内側幅(Wi)が決定可能である。この内側幅(Wi)は、血清または血漿部分212SPの体積および/または沈降血液部分212SBの体積の計算のために使用可能である。内側幅(Wi)は、各大きさの各試料容器102の実測または推定の壁厚(Tw)に基づいて推定されるこれらの内側幅(Wi)値は、参照テーブル535Lなどのメモリに格納可能であり、管の大きさが識別されると体積計測のために使用可能である。
図6は広範な特徴付け方法600のフローチャートを示し、試料212を含む試料容器102の特徴付けは、品質チェックモジュール130を使用する広範な方法600によって特徴付けまたは分類されることが可能な多くの項目のうちの1つに過ぎない。方法600の1つ以上の実施形態によれば、複数のカメラ(カメラ540Aを図示)などによって画像が撮像される。ただし、その他のカメラ540B、540Cを使用して他の視点からの画像を撮像してもよい。カメラ540Aにおいて撮像された画像について説明する処理は、他の視点で他のカメラ540B、540Cによるものと同一であり、ライン605におけるそれらの入力を使用して試料212の三次元(3D)モデルを作成することができる。カメラ540Aおよびその他のカメラ540B、540Cによって撮像された画像は、上述したように複数のスペクトルおよび複数の露光画像でもよい。特に、複数の露光(例えば、4〜8以上の露光)を604Aにおいて使用される光の波長毎に実行してもよい。カメラ540A〜540Cのそれぞれに対する各露光におけるそれぞれの画像は、図4A〜4Bで説明するように、モノクロカメラと、バックライト光源544A〜544Cを使用して同時に取得されてもよい。任意として、白色光源544D〜544Fを使用した前面照明の複数露光画像は、カラーカメラを使用して604Bで取得可能である。
その後、508で画像を処理して、任意の背景除去方法として参照画像510を使用して背景を除去してもよい。その後、511において、上述したようにしてセグメント化を決定するように画像をさらに処理する。いくつかの実施形態において、604Bからの前面照明カメラ540A〜540C(図4C〜4D)からの画像を511でのセグメント化に最良に使用してもよい。同様に、604Aで撮像された画像は、621におけるHILNの特徴付けのために最良に使用可能である。ただし、明らかに、604Bで撮像された画像は511におけるセグメント化のために使用可能である。
623における液体の識別および定量化は、511のセグメント化の後に実行されてもよい。623における液体の定量化は、LA、SB、SG、および/またはBGの物理的位置などの試料212の特定の物理的寸法特徴付けの決定、および/またはHSP、HSB、および/またはHTOTおよび/または血清または血漿部分(VSP)の体積および/または沈降血液部分(VSB)の体積の決定を含んでもよい。内側幅(Wi)は、上述したように試料容器特徴付け627から取得されてもよい。この識別は、それらの区分領域における画素の選択と、LA、SBまたはSPGに対する値を取得するために画素空間におけるそれらの位置の値を平均化することと、によって実現可能である。この情報から、血清または血漿部分212SPの体積が決定可能である。画素空間から機械的な計測への関連付けは、画素をmmに較正するために適切な較正を使用することによって実現可能である。
利用可能な血清または血漿部分212SPの実際の体積の近似計測値を提供するためには、血塊、気泡、または泡の存在を識別するために622においてアーチファクト検出方法を使用してもよい。存在する1つ以上のアーチファクトのそれぞれの推定体積は、上述したように決定された血清または血漿部分212SP推定体積から差し引かれることによって良好な体積推定値が得られる。その後、画像は、アーチファクト分類器を使用して622において血清または血漿部分212SPにおけるアーチファクトの存否を決定するように処理されてもよい。アーチファクト検出622において識別されたアーチファクトを含むこれらの画素は、621におけるHILN分類で無視されてもよい。いくつかの実施形態において、アーチファクトの検出により、治療を開始することもできる。
511のセグメント化の結果を使用して、バーコードなどの識別情報215を含み得るラベルを識別することが可能である。このバーコードは625で読み取ってもよい。ラベル218が511でセグメント化によって識別されると、従来のバーコード読取ソフトウェアが使用可能となる。その画像を読取が可能な程度のバーコードを含んでいない場合、バーコードは外部カメラから取得された他の画像から読取可能である。
さらに、試料容器102の特徴付けも広範な方法600により実現可能である。529における管の種類、531における蓋の種類、533における蓋の色の特徴付けは、635における3D推論に供給されて、各カメラからの処理画像に基づいて同様の特徴付けが実現されたかを検証できる。わずかに異なる値が取得された場合、値は平均化されてもよい。621におけるHILN分類、623における液体定量化、622におけるアーチファクト検出、627における試料容器検出からの出力のすべては735における3D推論に供給されて、3Dモデルを生成するために使用可能である。
図7は、1つ以上の実施形態による試料容器102の特徴を決定する方法のフローチャートを示す。方法700は、702において試料容器(例えば、蓋が締められた採血管などの試料容器102)を供給することを含む。次に、方法700は、704で異なる露光時間および異なる波長で試料容器の画像を撮像することを含む。例えば、いくつかの実施形態において、4〜8以上の異なる露光が実行されてもよい。いくつかの画像は前面照明のために白色光を使用して撮像してもよく、いくつかの画像は後方照明光源544A〜544Cとして赤、青、および緑などの複数の単一波長ピークで狭帯域幅の光源を使用して撮像してもよい。上述したように、白色光画像はコンピュータ143によって撮像されたような、R、G、およびB画像に分解可能である。それぞれのインスタンスにおいて、画像は複数の視点から複数のカメラ540A〜540Cによって撮像可能である。
方法700は、706に示すように、任意として、計算付加を下げるために背景を差し引く背景低減を含んでもよい。背景低減は、較正処理の一部として撮像され得る撮像試料画像から参照画像を差し引くことによって実現可能である。参照画像は、試料容器102の試料画像と同一の露光時間、スペクトル、照明条件において撮像されたものでもよいが、試料容器102またはキャリア122なしで撮像したものでもよい。
方法700は、710において、各波長の最適露光画像データを作成するために波長毎の異なる露光時間の画像から最適に露光された画素を選択することを含む。特定のスペクトルでの各画像におけるそれぞれ対応する画素のために、最良露光画素(露光過不足のない画素)が選択される。最適露光範囲は上述した通りでもよい。この最適露光画素の選択は、画像統合段階(例えば画像統合512)で行われる。それによって、RGBスペクトルのそれぞれに対して、最適露光画素のデータセットが生成される。
次に、方法700は、714において、該最適露光画素を管212T、ラベル218、または蓋として分類することを含む。分類は、統計データを生成するために異なる波長の最適露光画素の統計データを演算し、そしてその後、管212T、ラベル218、または蓋214の少なくとも1つを識別するために最適露光画素の統計データを取り扱うことによって実現可能である。その他のクラス(例えば、血清または血漿部分212SP、沈降血液部分212SB、ゲルセパレータ313、および/または空気212A)もセグメント化によって識別可能である。
1つ以上の実施形態において、マルチクラス分類器は線形またはカーネルベースであるサポートベクトルマシン(SVM)でもよい。任意として、マルチクラス分類器は、適応型ブースティング分類器(例えば、AdaBoost、LogitBoostなど)などのブースティング分類器、人工ニューラルネットワーク、木ベースの分類器(例えば、決定木、ランダム決定フォレスト)、分類器としてのロジスティック回帰などでもよい。SVMは液体(例えば血清または血漿部分212SP)と蓋、管、またはラベルなどの非液体との間の分類に特に効果的な場合がある。SVMはデータを分析してパターンを認識する関連付け学習アルゴリズムを備えた教師あり学習モデルである。SVMは分類および回帰分析のために使用される。
上述したように、学習例の複数セットを使用してマルチクラス分類器を学習させた後、画素をマルチクラス分類器にかけて、複数のクラスのうちの1つに属すると印付けをする。学習アルゴリズムは、マルチクラス分類器を構築し、新規の例をクラスの1つに割り当てる。それによって、いくつかの実施形態において、マルチクラス分類器は非確率論的線形分類器にもなる。SVMモデルは、マッピングされる空間中の点としての例を表わし、別のクラスの例は可能な限り幅広い明確な間隙によって分割されるようにマッピングされる。最適露光画像データセットからの画素は、同じ特徴空間にマッピング可能であり、どこに入るかに基づいて特定のクラスに属することが予測される。いくつかの実施形態において、SVMは、いわゆるカーネルトリック(例えばカーネルベースのSVM分類器)を使用して非線形分類を効率よく実行可能であり、すなわち入力を高次元の特徴空間にマッピングすることを意味する。SVMおよびブースティングも使用可能である。その他の種類のマルチクラス分類器も使用可能である。
マルチクラス分類器は、様々な管サイズ、および/または蓋の種類および色、およびラベル218を有する試料容器102の多数の例において様々な領域(例えば管212T、蓋214、空気212A、およびラベル218)を図形的に輪郭を描くことによって学習させることができる。500以上もの画像を使用してマルチクラス分類器を学習させることができる。各学習画像は、どの領域がどのクラスに属するかを識別するために手作業で学習図形を輪郭取りしてマルチクラス分類器に教えてもよい。その他の学習方法を使用してもよい。
最終的に、方法700は714において波長毎の最適露光画像データに基づいて試料容器の幅、高さ、または幅および高さを識別することを含む。
いくつかの実施形態において、試料容器102が試料212の高さおよび幅、体積などから大きさを特徴付けされると、試料容器102の内側幅(Wi)が得られる。内側幅(Wi)は、716において、試料容器102の大きさに基づいた参照テーブルを使用することなどにより決定可能である。内側幅(Wi)は、血清または血漿部分212SPの体積および/または沈降血液部分212SBの体積を正確に計算するために使用可能である。
したがって、上記に基づき、品質チェックモジュール130によって実行されるモデルベースの試料容器特徴付け方法700は、管の大きさ、蓋の種類、蓋の色などの試料容器102の物理的属性の特徴付けを高速に実現できる。この情報に基づき、正確な体積が決定可能であり、オーダーされた検査と使用された試料容器との間のクロスチェックと、提供された添加物がオーダーされた検査と親和性のあるものであるかの検証とが実行可能となる。
品質チェックモジュール130は図1に示すように、プレスクリーニングが遠心分離機125での遠心分離の直後に実行されるように配置されているが、いくつかの実施形態において、品質チェックモジュール130を分析器(例えば分析器106、108、および/または110)または他の場所に直接含めることも有効である場合がある。例えば、自動試料容器取り扱いシステムに接続されていないスタンドアロン型分析器は、品質チェックモジュール130を使用することによって分析前に試料212を確証することができる。さらに、いくつかの実施形態において、ラック104をローディングエリア105に積載する前に遠心分離を実行することによって、いくつかの実施形態において、品質チェックモジュール130はローディングエリア105に配置され、ロボット124が試料容器102をキャリア122に設置するとすぐに品質チェックを実行可能となる。品質チェックモジュール130はその他の場所でも可能である。
本発明は様々な修正および代替が可能であるが、実施形態および方法に示されるその特定の装置は図面における例示に過ぎず、本明細書に詳細を説明する。なお、本発明を本開示の特定の装置または方法に限定する意図はなく、一方で、本発明の範囲内のすべての修正、同等物および代替案を網羅することを意図する。
100 試料検査装置
102 試料容器
104 ラック
105 ローディングエリア
106、108、110 分析器
121 トラック
122 キャリア
122H 把持部
124 ロボット
125 遠心分離機
130 品質チェックモジュール
132 遠隔ステーション
143 コンピュータ
147 研究室情報システム
212 試料
212T 管
212A 空気
212SP 血清または血漿部分
212SB 沈降血液部分
214 蓋
215 識別情報
218 ラベル
440A〜440C カメラ
444D、444E、444F 光源

Claims (20)

  1. 試料容器の特徴を決定する方法であって、
    試料容器を供給し、
    異なる露光時間および異なる公称波長を有する異なるスペクトルで前記試料容器の画像を撮像し、
    スペクトル毎に最適露光画像データを生成するためにスペクトル毎の異なる露光時間の前記画像から最適に露光された画素を選択し、
    管、ラベルまたは蓋の少なくとも1つとして前記最適に露光された画素を分類し、
    スペクトル毎の前記最適露光画像データに基づいて前記試料容器の幅、高さ、または幅および高さを識別する
    ことを含む方法。
  2. 前記試料容器の蓋の種類を識別することを含む請求項1に記載の方法。
  3. 前記試料容器のラベルを識別する請求項1に記載の方法。
  4. 把持部である領域を識別する請求項1に記載の方法。
  5. 前記試料容器の前記画像撮像は、複数の異なる視点から複数の画像を撮ることを含む請求項1に記載の方法。
  6. 前記異なる視点の数は3以上である請求項5に記載の方法。
  7. 前記最適に露光された画素の前記分類は複数の学習セットから生成されたマルチクラス分類器に基づく請求項1に記載の方法。
  8. 前記マルチクラス分類器はサポートベクトルマシンを含む請求項7に記載の方法。
  9. 前記試料容器の前記幅および高さに基づいて前記試料容器の内側幅を決定することを含む請求項1に記載の方法。
  10. 試料容器の特徴を決定するように構成された品質チェックモジュールであって、
    前記試料容器を受け付けるように構成された撮像位置周囲の複数の視点に配置された複数のカメラであって、前記複数のカメラのそれぞれは前記複数の視点から異なる露光時間および異なる公称波長を有する異なるスペクトルで前記試料容器の少なくとも一部の複数の画像を撮像するように構成された複数のカメラと、
    前記複数のカメラに接続されたコンピュータであって、
    スペクトルおよび視点毎に最適露光画像データを生成するために、前記異なるスペクトルのそれぞれにおける前記異なる露光時間の前記画像から最適に露光された画素を選択し、
    前記最適露光画像データを管、蓋、またはラベルの少なくとも1つとして分類し、
    スペクトル毎の前記最適露光画像データに基づいて前記試料容器の幅、高さ、または幅および高さを識別する
    ように構成され動作可能なコンピュータと、
    を有する品質チェックモジュール。
  11. 前記撮像位置を囲むハウジングを有する請求項10に記載の品質チェックモジュール。
  12. 前記撮像位置を囲む後方照明を有する請求項10に記載の品質チェックモジュール。
  13. 前記撮像位置を囲む前面照明を有する請求項10に記載の品質チェックモジュール。
  14. 前記撮像位置はトラック上にあり、前記試料容器は前記トラック上を移動可能なキャリアの受容器で受けられるように構成された請求項10に記載の品質チェックモジュール。
  15. 前記試料容器の蓋の種類を識別するように動作可能な請求項10に記載の品質チェックモジュール。
  16. 前記試料容器のラベルを識別するように動作可能な請求項10に記載の品質チェックモジュール。
  17. 前記最適に露光された画素の前記分類は複数の学習セットから生成されたマルチクラス分類器に基づく請求項10に記載の品質チェックモジュール。
  18. 前記マルチクラス分類器はサポートベクトルマシンを含む請求項17に記載の品質チェックモジュール。
  19. 前記試料容器の前記幅および高さに基づいて前記試料容器の内側幅を決定するように動作可能な請求項10に記載の品質チェックモジュール。
  20. 試料試験装置であって、
    トラックと、
    前記トラック上を移動可能な試料キャリアであって、前記試料キャリアは試料容器を運ぶように構成された試料キャリアと、
    試料容器の特徴を決定するように構成され、前記トラック上に配置された品質チェックモジュールであって、
    前記試料容器を受け付けるように構成された撮像位置周囲の複数の視点に配置された複数のカメラであって、前記複数のカメラのそれぞれは前記複数の視点から異なる露光時間および異なる公称波長を有する異なるスペクトルで前記試料容器の少なくとも一部の複数の画像を撮像するように構成された複数のカメラと、
    前記複数のカメラに接続されたコンピュータであって、
    スペクトルおよび視点毎に最適露光画像データを生成するために前記異なるスペクトルのそれぞれにおける前記異なる露光時間の前記画像から最適に露光された画素を選択し、
    前記最適露光画像データを管、蓋、またはラベルの少なくとも1つとして分類し、
    スペクトル毎の前記最適露光画像データに基づいて、前記試料容器の幅、高さ、または幅および高さを識別する
    ように構成され動作可能なコンピュータと、
    を有する品質チェックモジュールと、
    を有する試料試験装置。
JP2018539275A 2016-01-28 2017-01-24 複数の側面図から試料容器を識別するように構成された方法および装置 Active JP6919139B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662288366P 2016-01-28 2016-01-28
US62/288,366 2016-01-28
PCT/US2017/014773 WO2017132167A1 (en) 2016-01-28 2017-01-24 Methods and apparatus adapted to identify a specimen container from multiple lateral views

Publications (3)

Publication Number Publication Date
JP2019504994A true JP2019504994A (ja) 2019-02-21
JP2019504994A5 JP2019504994A5 (ja) 2020-01-09
JP6919139B2 JP6919139B2 (ja) 2021-08-18

Family

ID=59398964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018539275A Active JP6919139B2 (ja) 2016-01-28 2017-01-24 複数の側面図から試料容器を識別するように構成された方法および装置

Country Status (6)

Country Link
US (1) US11042788B2 (ja)
EP (1) EP3408640B1 (ja)
JP (1) JP6919139B2 (ja)
CN (1) CN108603817B (ja)
HK (1) HK1255414A1 (ja)
WO (1) WO2017132167A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020516894A (ja) * 2017-04-13 2020-06-11 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 試料の特性評価中にラベル数を決定するための方法および装置
JP2021063799A (ja) * 2019-09-26 2021-04-22 エフ ホフマン−ラ ロッシュ アクチェン ゲゼルシャフト 体外診断システムのための装置および作動方法
WO2022244541A1 (ja) * 2021-05-21 2022-11-24 株式会社日立ハイテク 生体試料測定装置

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6927465B2 (ja) * 2015-02-17 2021-09-01 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 検体中の妨害因子を分類するためのモデルベース方法及び装置
EP3408653B1 (en) 2016-01-28 2024-01-17 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to quantify a specimen from multiple lateral views
WO2017132169A1 (en) 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for detecting an interferent in a specimen
WO2018017771A1 (en) 2016-07-21 2018-01-25 Siemens Healthcare Diagnostics Inc. Automated clinical analyzer system and method
CN109477848B (zh) * 2016-07-25 2023-07-18 西门子医疗保健诊断公司 用于识别样品容器盖的系统、方法和设备
EP3538839B1 (en) 2016-11-14 2021-09-29 Siemens Healthcare Diagnostics Inc. Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen
EP3610270B1 (en) 2017-04-13 2024-05-29 Siemens Healthcare Diagnostics Inc. Methods and apparatus for label compensation during specimen characterization
US11238318B2 (en) 2017-04-13 2022-02-01 Siemens Healthcare Diagnostics Inc. Methods and apparatus for HILN characterization using convolutional neural network
US11333553B2 (en) 2017-07-19 2022-05-17 Siemens Healthcare Diagnostics Inc. Methods and apparatus for specimen characterization using hyperspectral imaging
CN111052129B (zh) 2017-07-28 2024-03-08 美国西门子医学诊断股份有限公司 深度学习体积定量方法和设备
CN207215844U (zh) * 2017-08-22 2018-04-10 深圳市帝迈生物技术有限公司 自动进样血液分析仪及其试管自动进样识别装置
JP7324757B2 (ja) 2018-01-10 2023-08-10 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置
JP7219023B2 (ja) * 2018-06-22 2023-02-07 日立造船株式会社 情報処理装置および対象物判定プログラム
US20200036880A1 (en) * 2018-07-25 2020-01-30 Microsoft Technology Licensing, Llc Detecting fluid on a surface
JP7318469B2 (ja) * 2019-10-02 2023-08-01 株式会社大林組 配筋評価システム、配筋評価方法及び配筋評価プログラム
CN114585443B (zh) * 2019-10-31 2023-11-03 美国西门子医学诊断股份有限公司 训练诊断分析仪模型的设备和方法
JP7407282B2 (ja) * 2019-10-31 2023-12-28 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 管アセンブリタイプを識別する装置および方法
EP3839515A1 (en) 2019-12-18 2021-06-23 Roche Diagnostics GmbH Method and devices for assessing the suitability of a sample tube for use in a laboratory automation system
JP6755603B1 (ja) * 2019-12-25 2020-09-16 上野精機株式会社 電子部品の処理装置
EP3882849A1 (en) 2020-03-16 2021-09-22 F. Hoffmann-La Roche AG Method for determining characteristics of a sample vessel in an in-vitro diagnostics system, analyzing device, and in-vitro diagnostics system
CN111931557B (zh) * 2020-06-19 2024-05-10 广州图匠数据科技有限公司 瓶装饮品的规格识别方法、装置、终端设备及可读存介质
CN111638378A (zh) * 2020-07-07 2020-09-08 深圳市亚辉龙生物科技股份有限公司 多工位旋转条码扫描装置及体外诊断设备
JP2022015923A (ja) * 2020-07-10 2022-01-21 あおい精機株式会社 検体情報検出装置、及び検体情報検出方法
EP4214518A1 (en) 2020-09-21 2023-07-26 Roche Diagnostics GmbH A method for detecting and reporting an operation error in an in-vitro diagnostic system and an in-vitro diagnostic system
EP4257984A4 (en) * 2020-12-03 2024-01-17 Shenzhen Mindray Bio-Medical Electronics Co., Ltd SAMPLE ANALYSIS SYSTEM AND METHOD, SAMPLE IMAGE ANALYSIS SYSTEM AND BLOOD ANALYSIS DEVICE
WO2022174239A1 (en) * 2021-02-11 2022-08-18 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to identify 3d center location of a specimen container using a single image capture device
CN117501130A (zh) * 2021-06-15 2024-02-02 美国西门子医学诊断股份有限公司 监测诊断实验室系统中的物品的装置和方法
WO2023230024A1 (en) * 2022-05-23 2023-11-30 Siemens Healthcare Diagnostics Inc. Methods and apparatus for determining a viewpoint for inspecting a sample within a sample container
WO2024028852A1 (en) * 2022-08-01 2024-02-08 Odysight.Ai Ltd Monitoring liquid volume in a container

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010107400A (ja) * 2008-10-30 2010-05-13 Sysmex Corp 検体処理システム及び検体容器仕分け装置
JP2011252804A (ja) * 2010-06-02 2011-12-15 Hitachi High-Technologies Corp 生体試料の分析方法および分析装置
JP2012217102A (ja) * 2011-04-01 2012-11-08 Canon Inc 画像処理装置、及びその制御方法及びプログラム
JP2012234245A (ja) * 2011-04-28 2012-11-29 Fujitsu Ltd 食用果実の検査方法、検査装置およびプログラム
JP2013501937A (ja) * 2009-08-13 2013-01-17 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 臨床分析機によって分析される液体サンプルおよび容器の中の干渉物質および物理的寸法を確定するための方法ならびに装置
JP2013072806A (ja) * 2011-09-28 2013-04-22 Aoi Seiki Kk 検査前処理装置、検査前処理方法、及び検体処理装置
US20150241457A1 (en) * 2012-08-20 2015-08-27 Siemens Healthcare Diagnostics Inc. Methods and apparatus for ascertaining specimen and/or sample container characteristics while in transit
JP2015172509A (ja) * 2014-03-11 2015-10-01 株式会社東芝 臨床検査装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4139571B2 (ja) 2001-02-28 2008-08-27 大日本スクリーン製造株式会社 カラー画像の領域分割
EP2246689B8 (de) 2002-01-19 2013-05-01 Roche PVT GmbH Verfahren zur Klassifizierung von Farbbildern von Serumproben zentrifugierter Körperflüssigkeiten
EP1560017B1 (en) * 2002-10-18 2009-08-05 Kirin Techno-System Company, Limited Glass bottle inspection device
JP2005274289A (ja) 2004-03-24 2005-10-06 Ids:Kk 血液検体搬送分析システム
WO2006055413A2 (en) 2004-11-11 2006-05-26 The Trustees Of Columbia University In The City Of New York Methods and systems for identifying and localizing objects based on features of the objects that are mapped to a vector
US7616256B2 (en) * 2005-03-21 2009-11-10 Dolby Laboratories Licensing Corporation Multiple exposure methods and apparatus for electronic cameras
US20070053794A1 (en) 2005-09-08 2007-03-08 Beckman Coulter, Inc. Sample identification system having plural readers
JP2009198266A (ja) 2008-02-20 2009-09-03 Olympus Corp 識別コード読取装置および自動分析装置
US8331666B2 (en) 2008-03-03 2012-12-11 Csr Technology Inc. Automatic red eye artifact reduction for images
US8170271B2 (en) * 2008-06-25 2012-05-01 Jadak Llc System and method for test tube and cap identification
JP5465850B2 (ja) 2008-08-01 2014-04-09 シスメックス株式会社 試料分析システム
JP5113711B2 (ja) 2008-10-14 2013-01-09 株式会社東芝 自動分析装置および自動分析装置における容器に付された識別情報を読み取る方法
JP5021010B2 (ja) 2009-08-18 2012-09-05 あおい精機株式会社 検体処理装置及び検体処理方法
DE102009039254A1 (de) 2009-08-28 2013-05-08 Krones Aktiengesellschaft Vorrichtung und Verfahren zum Inspizieren etikettierter Gefäße
US8319823B2 (en) 2009-11-03 2012-11-27 Jadak, Llc System and method for panoramic image stitching
US8321055B2 (en) 2009-11-03 2012-11-27 Jadak, Llc System and method for multiple view machine vision target location
US8523075B2 (en) * 2010-09-30 2013-09-03 Apple Inc. Barcode recognition using data-driven classifier
CN102478568A (zh) 2010-11-25 2012-05-30 上海安彩智能技术有限公司 一种用于血样分析系统的检样装置
ES2729283T3 (es) 2011-11-07 2019-10-31 Beckman Coulter Inc Sistema de centrífuga y flujo de trabajo
US8957984B2 (en) * 2013-06-30 2015-02-17 Konica Minolta Laboratory U.S.A., Inc. Ghost artifact detection and removal in HDR image processsing using multi-scale normalized cross-correlation
US10746665B2 (en) 2016-01-28 2020-08-18 Siemens Healthcare Diagnostics Inc. Methods and apparatus for classifying an artifact in a specimen
EP3408653B1 (en) * 2016-01-28 2024-01-17 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to quantify a specimen from multiple lateral views
WO2017132169A1 (en) 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for detecting an interferent in a specimen
CN108474733B (zh) 2016-01-28 2022-08-30 西门子医疗保健诊断公司 用于表征样品容器和样品的方法和装置
CN108770364A (zh) 2016-01-28 2018-11-06 西门子医疗保健诊断公司 用于使用多个曝光来对样品容器和/或样品进行成像的方法和装置
WO2017132168A1 (en) * 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for multi-view characterization
CN109477848B (zh) * 2016-07-25 2023-07-18 西门子医疗保健诊断公司 用于识别样品容器盖的系统、方法和设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010107400A (ja) * 2008-10-30 2010-05-13 Sysmex Corp 検体処理システム及び検体容器仕分け装置
JP2013501937A (ja) * 2009-08-13 2013-01-17 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 臨床分析機によって分析される液体サンプルおよび容器の中の干渉物質および物理的寸法を確定するための方法ならびに装置
JP2011252804A (ja) * 2010-06-02 2011-12-15 Hitachi High-Technologies Corp 生体試料の分析方法および分析装置
JP2012217102A (ja) * 2011-04-01 2012-11-08 Canon Inc 画像処理装置、及びその制御方法及びプログラム
JP2012234245A (ja) * 2011-04-28 2012-11-29 Fujitsu Ltd 食用果実の検査方法、検査装置およびプログラム
JP2013072806A (ja) * 2011-09-28 2013-04-22 Aoi Seiki Kk 検査前処理装置、検査前処理方法、及び検体処理装置
US20150241457A1 (en) * 2012-08-20 2015-08-27 Siemens Healthcare Diagnostics Inc. Methods and apparatus for ascertaining specimen and/or sample container characteristics while in transit
JP2015172509A (ja) * 2014-03-11 2015-10-01 株式会社東芝 臨床検査装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020516894A (ja) * 2017-04-13 2020-06-11 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 試料の特性評価中にラベル数を決定するための方法および装置
US11313869B2 (en) 2017-04-13 2022-04-26 Siemens Healthcare Diagnostics Inc. Methods and apparatus for determining label count during specimen characterization
JP2021063799A (ja) * 2019-09-26 2021-04-22 エフ ホフマン−ラ ロッシュ アクチェン ゲゼルシャフト 体外診断システムのための装置および作動方法
JP7092837B2 (ja) 2019-09-26 2022-06-28 エフ ホフマン-ラ ロッシュ アクチェン ゲゼルシャフト 体外診断システムのための装置および作動方法
WO2022244541A1 (ja) * 2021-05-21 2022-11-24 株式会社日立ハイテク 生体試料測定装置

Also Published As

Publication number Publication date
WO2017132167A1 (en) 2017-08-03
HK1255414A1 (zh) 2019-08-16
US11042788B2 (en) 2021-06-22
EP3408640A4 (en) 2019-01-16
CN108603817B (zh) 2022-04-19
US20180365530A1 (en) 2018-12-20
JP6919139B2 (ja) 2021-08-18
CN108603817A (zh) 2018-09-28
EP3408640B1 (en) 2021-01-06
EP3408640A1 (en) 2018-12-05

Similar Documents

Publication Publication Date Title
JP6919139B2 (ja) 複数の側面図から試料容器を識別するように構成された方法および装置
JP6858243B2 (ja) 試料容器の容器キャップを識別するためのシステム、方法及び装置
CN108738336B (zh) 用于多视图表征的方法和装置
EP3408652B1 (en) Methods and apparatus for classifying an artifact in a specimen
EP3538839B1 (en) Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen
CN108738338B (zh) 用于检测样本中的干扰物的方法和装置
US11238318B2 (en) Methods and apparatus for HILN characterization using convolutional neural network
CN108603835B (zh) 被适配成根据多个侧视图来量化试样的方法和装置
JP2019504995A (ja) 複数の露光を使用して試料容器及び/又は試料を画像化するための方法及び装置
JP2019505802A (ja) 試料容器と試料の特徴付けのための方法及び装置
EP3610270B1 (en) Methods and apparatus for label compensation during specimen characterization
US11763461B2 (en) Specimen container characterization using a single deep neural network in an end-to-end training fashion
US11927736B2 (en) Methods and apparatus for fine-grained HIL index determination with advanced semantic segmentation and adversarial training
US11852642B2 (en) Methods and apparatus for HILN determination with a deep adaptation network for both serum and plasma samples

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210629

R150 Certificate of patent or registration of utility model

Ref document number: 6919139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150