JP2018512567A5 - - Google Patents

Description

検査室自動化のためのサイドビューサンプルチューブ画像におけるバーコードタグ検出

関連出願の相互参照
本出願は、２０１５年２月１７日に出願された「ＢＡＲＣＯＤＥ ＴＡＧ ＤＥＴＥＣＴＩＯＮ ＩＮ ＳＩＤＥ ＶＩＥＷ ＳＡＭＰＬＥ ＴＵＢＥ ＩＭＡＧＥＳ ＦＯＲ
ＬＡＢＯＲＡＴＯＲＹ ＡＵＴＯＭＡＴＩＯＮ」と題する米国仮出願第６２／１１７，２７０号明細書に対する優先権を請求し、この開示全体は、参照により全体が本明細書に組み込まれる。

本出願は、米国特許出願公開第２０１６／００２５７５７号及び国際公開第２０１５／１９１７０２号明細書に記載された概念の幾つかに関連し、これらの開示は、参照により全体が本明細書に組み込まれる。

本発明は、一般にバーコードタグの状態の検出に関し、詳細にはサイドビューサンプルチューブ画像を利用したサンプルチューブ上のバーコードタグの状態の分類に関する。

バーコードタグは、臨床検査室自動化システムにおいてサンプルチューブを一意に識別し追跡するためにサンプルチューブ上でよく使用され、しばしば患者を特定のサンプルチューブ内のサンプルと関連付ける唯一の手段である。通常の日々の使用により、裂け、剥がれ、変色、及び他の変形を含むバーコードタグの状態の劣化が起こることがある。そのような劣化は、検査室自動化システムのサンプルチューブ処理の合理化を妨げる。

したがって、高度な臨床検査室自動化システムにおけるサンプルチューブ取り扱いを合理化するために、サンプルチューブ上のバーコードタグの状態を検出する必要がある。また、そのような分類は自動的かつ効率的で控えめでなければならない。

実施形態は、高度な臨床検査室自動化システムにおけるサンプルチューブ取り扱いを合理化するために、サイドビュー画像からサンプルチューブ上のバーコードタグの状態を検出することを対象とする。

本発明の以上及び他の態様は、添付図面と関連して読むときに以下の詳細な説明から最もよく理解される。本発明を例示するために、図には現在好ましい実施形態が示されるが、本発明が、開示された特定の手段に限定されないことを理解されたい。図面には以下の図が含まれる。

一実施形態による、サイドビュー画像からサンプルチューブ上のバーコードタグの状態を検出するためにサンプルチューブが移される例示的チューブ評価ステーションを表す図である。 実施形態による、バーコードタグを備えた例示的サンプルチューブの図である。 実施形態による、バーコードタグ検出のために中間レベル表現に組み合わせられる幾つかの並列低レベルキューを利用するワークフローを示す図である。 一実施形態による、バーコードタグの状態を表す図である。 一実施形態による、バーコードタグの状態を検出するための低レベルキューの使用を示す図である。 一実施形態による、バーコードタグの状態を検出するための付加的な低レベルキューの使用を示す図である。

実施形態は、高度な臨床検査室自動化システムにおけるサンプルチューブ取り扱いを合理化するためにサイドビュー画像からサンプルチューブ上のバーコードタグの状態を分類することを対象とする。本明細書に提供された実施形態によるバーコードタグの状態の分類は、問題のあるバーコードタグの自動検出につながり、システム又はユーザが、問題のあるバーコードタグを修繕するのに必要なステップを取ることを可能にする。例えば、問題のあるバーコードタグを有する識別されたサンプルチューブは、問題のあるバーコードタグを修繕するための通常のチューブ取り扱い手順とは別のワークフローに送られうる。

本明細書に提供された実施形態による方法は、チューブ画像におけるバーコードタグ検出によってタグ状態の自動決定を行うことを可能にする。バーコードタグの状態は、良好、警告及び誤りのクラスに分類されうる。３つのクラスはそれぞれ、一実施形態によれば、バーコードタグの品質に関する細かな決定を可能にする追加の副分類のリストに分けられる。そのような副分類は、例えば、完全、剥がれ、破損、折れ、傾き、変形、着色などのタグ品質の個々の特徴を含む。追加又は代替のクラス及び副分類が使用されうる。

一実施形態によれば、サンプルチューブ上のバーコードタグの状態を分類するためのサイドビュー画像を得るためにチューブ評価ステーション（ＴＣＳ）が利用される。ＴＣＳは、各チューブの３つの画像の同時収集を可能にし、その結果、各チューブの３６０度サイドビューが得られる。提案された方法は、監視シーン理解（supervised scene understanding）の概念に基づき、各画素のセマンティック意味が解釈される。一実施形態によれば、状態認識のための２つの並列低レベルキューが、チューブモデル抽出キューとの組み合わせで、利用される。次に、セマンティックシーン情報が中間レベル表現に統合されて、３つの状態クラスのうちの１つに最終決定される。

セマンティックセグメンテーションは、定義されたセマンティックオブジェクトラベルに関する画像領域内の各画素の解釈に焦点を当てる。画素レベルセグメンテーションにより、オブジェクト境界を正確に取得できる。ベンチマークデータセットに対する評価から、監視された概念が、信頼性及び分類精度の点で最も有効であることが分かる。典型的には、そのような手法は、様々なレベルと階層で導出された高度で組み合わされた特徴記述子を考慮するトレーニング（学習）及び試験段階に基づく。

ＴＣＳを使用して三つ組の画像が取得される。バーコードタグの状態は、位置、向き、取り付け品質、及びバーコード可読性が変化しうる。バーコードタグの状態の検出は、チューブモデルに対する空間及び外観特徴を正確に取得する中間レベル表現を必要とする。この中間レベル表現は、該当する画像構造に関して個別にトレーニングされ評価された様々な並列低レベルキューからマルチビュー情報（例えば、三つ組の画像から３６０度ビュー）を取得する。

図１は、一実施形態による、サイドビュー画像からサンプルチューブ上のバーコードタグの状態を分類するためにサンプルチューブが転写された例示的チューブ評価ステーションを表す。サンプルチューブは、例えば、チューブトレイとそこに収容されたサンプルチューブが格納された引き出しシステムから、ＴＣＳに移されうる。一実施形態では、体外臨床検査（ＩＶＤ）環境ではサンプルハンドラのために作業エリア内に１つ以上の引き出しが提供される。サンプルチューブは、引き出しシステムとＴＣＳの間で移動可能なアームによってＴＣＳに移される。

ＴＣＳは、３つのカメラを有し、各カメラは、特定のサンプルチューブの画像を取得して一緒に全体３６０度ビューを取得するように構成される。

図２は、バーコードタグを有する例示的サンプルチューブの描写である。示されたように、チューブモデルタイプとバーコードタグの状態は、サンプルチューブ間で大きく異なりうる。

入力データ：システムの入力データは、チューブの全体３６０度ビューを示す３つの画像で構成される。

概要：提案された方法は、三つ組のチューブ画像を入力として取得し、バーコードタグの状態のラベル（良好、警告、誤り）を出力する。図３は、中間レベル表現に組み合わされる幾つかの並列低レベルキューが利用される提案されたワークフローを示す。この表現は、マルチビュー情報を取得し、バーコードタグの状態に関する最終決定に使用される。低レベルキューは、バーコード／タグ及びバックグラウンド領域並びに良好対不良領域への個別のセマンティックセグメンテーションをそれぞれ含む。追加の低レベルキューは、チューブモデルの抽出を支援し、中間レベル表現を生成するのに重要な空間情報を提供する。提案された方法は、そのような特別なキューに限定されず、追加又は代替キューに拡張されうる。提案された概念は、トレーニング段階のためにラベル付き入力データを必要とするトレーニング及び評価段階に基づく。

図４は、一実施形態による、クラス内のバーコードタグの状態と、タグ品質の個々の特徴を対象として含む副分類の表現である。

低レベルキュー：セマンティックセグメンテーション：提案された概念は、監視モードで動作する複数のキューに基づく。そのようなキューは、画素レベルに基づいてトレーニング及び評価された、色及び方向ヒストグラムのような相補的特徴記述子、統計的記述子、及び近似ローカルバイナリパターンを大量に使用する。短い返答時間が期待されるので、提案された概念は、積分画像のような効率的な画像構造を利用し、ランダム決定木又は決定木のような簡易クラシファイヤを使用する。トレーニング段階は、ラベル付き入力データを必要とし、画素レベル分類によって、アノテーションは、ストロークを使用する画像領域アノテーションによって迅速に達成されうる。トレーニングは、一回行なわれなければならず、様々な特徴を有する様々な捕捉からのデータを含む。低レベルキューごとに、個別のランダムフォレストクラシファイヤは、バイナリ（良好／不良領域）及びマルチクラスタスク（バーコード／タグ／バックグラウンド領域）のためにトレーニングされる。実行時に、トレーニングされたクラシファイヤは、トレーニングされたセマンティッククラスに関する画素レベルに基づいて確率を提供する。そのようなクラシファイヤ応答は、最終決定のための識別属性として中間レベル表現に直接統合される。図５は、サンプルチューブに適用されるセマンティックセグメンテーション低レベルキューの例示的応答を示す。

低レベルキュー：チューブモデル抽出：データ集約のための空間情報を提供するために、画像内のセグメント化チューブ領域と幾つかのサポートセグメントが使用される。チューブモデルは、較正された３Dセットアップ及び外部チューブ検出情報（即ち、チューブの幾何学形状の画像への描写）を使用して導出されてもよく、画像から個別に抽出されてもよい（即ち、ロバストライン検出方法及び論理処理又は推論を使用することによるチューブ境界のロバスト抽出）。画像内でチューブモデルをセグメント化することにより、チューブ及び近傍領域をもっと小さいパッチに分割できる。そのようなパッチは、低レベルキューからのクラシファイヤ応答並びに画像からの直接情報を収集するために使用される
。図６は、サンプルチューブに適用されるチューブモデル抽出低レベルキューの例示的応答を示す。

中間レベル表現：バーコードタグの状態の最終決定を行うために、提案された方法は、低レベルキュー応答の中間レベル表現への集約を利用し、これは、三つ組の入力画像の記述子と見なされうる。記述子は、クラシファイヤ応答並びにチューブモデルセグメンテーションの支援により抽出された画像特徴（例えば、方向情報と色統計）からなるがこれらに限定されない。表現が複数ビューからの情報を含むので、対象となるバーコード領域のサイズによるデータシーケンス順序付けが適用される。

バーコードタグの状態分類：状態の最終クラスラベルを導出するため、ランダム決定木又はサポートベクトルマシン（ＳＶＭ）などのクラシファイヤが使用される。分類の細分化は、副分類を生じ、追加の分類ステージによって又は中間レベル表現に直接基づいて達成されうる。

サイドビュー画像からサンプルチューブ上のバーコードタグの状態を分類するために、カメラによって撮影された画像の画像解析を管理するためのコントローラが提供される。このコントローラは、一実施形態によれば、体外臨床検査（ＩＶＤ）環境で、チューブトレイとチューブを分析器まで保管場所の間で取り扱い移動させるために使用されるサンプルハンドラの一部でよい。コントローラと１つ以上の記憶装置が関連付けられうる。１つ以上の記憶装置は、コントローラの内部でも外部でもよい。

本発明は、例示的な実施形態に関して述べたが、その実施形態に限定されない。当業者は、本発明の好ましい実施形態に対して多くの変更及び修正を実行でき、そのような変更及び修正が、本発明の真の趣旨から逸脱せずに行なわれうることを理解するであろう。したがって、添付の特許請求の範囲は、本発明の真の趣旨及び範囲内にあるような全ての等価的変形物を対象として含むように解釈されるべきである。