JP2012514814A - バイアルおよび他の容器上のキャップの存在および種類の自動検出のための方法および装置 - Google Patents

Abstract

容器上のキャップの存在を判定する方法、システムおよび装置が提供される。例示的な方法は、対象の画像を捕捉すること、画像から関心がある部分を抽出すること、画像から対象の一つ以上の端の位置を判定すること、そして一つ以上の端位置と基準データとの比較に基づいてキャップの存在を判定することを含む。多数の他の態様が提供される。

Description

本発明は、検出方法、より具体的には自動的にバイアルおよび他の容器上のキャップの存在および種類を検出するための方法および装置に関する。

診断目的、ルーチンケア、研究などのために、サンプルに対するさまざまな試験が実施されうる。医療の分野において、サンプルは、たとえば血液、尿、ＤＮＡ、糞便、組織などを含むことができる。たとえばバイオテロのような他の分野において、サンプルは、たとえば空気、水、土壌、などを含むことができる。サンプルは、しばしば試験の一部として、結果物を生成するため試薬と混合されうる。例としてインビトロの試験では、患者の生体外で混合を行うことができる。加えて、異なる試験は異なる量のサンプルを必要とし、それはさまざまなキャップを有するさまざまな容器に収集されうる。これらの容器およびキャップは、たとえば形状、色、表示などのような識別的特徴を有することができる。こうした識別的特徴は、容器の内容物を識別するためにおいても有用性があり、更には自動化／ロボットによるハンドリング操作のためにおいても同様である。

本発明の発明者は、従来の自動化された画像処理システムに存在する欠点が基本的な方法論上の限界、すなわち、キャップおよび／または容器の存在の判定および／または識別を行うために、画像処理システムが画像上で多数の複雑な処理を行うことにあると判断した。つまりは、キャップおよび／または容器の存在および／または種類を判定するための改良された方法および装置が必要とされている。

本発明のひとつの態様においては、容器上のキャップの存在を判定する方法が提供される。この方法は、対象の画像を捕捉すること、画像から関心がある部分を抽出すること、画像から対象の一つ以上の端の位置を判定すること、そして一つ以上の端位置と基準データとの比較に基づいてキャップの存在を判定することを含む。

本発明の他の態様においては、容器上のキャップの存在を判定するシステムが提供される。このシステムは、対象の画像を捕捉するのに適している画像捕捉装置であって、画像が光の強度の２次元のアレイとして示される画像捕捉装置と、画像から関心がある部分を抽出し、対象の端の位置を判定し、端位置を基準データと比較し、そして端位置と基準データとの比較に基づいてキャップの存在を判定するのに適しているコントローラであって、画像捕捉装置に接続するコントローラと、を含む。

本発明の他の特徴および態様は、以下の詳細な説明、添付の特許請求の範囲および添付図面からより完全に明らかになる。

本発明のいくつかの実施形態による、キャップの存在および種類を判定するシステムを図示するブロック線図である。 本発明のいくつかの実施形態による、例示的方法を示す流れ図である。 本発明のいくつかの実施形態による、例示的な容器の略図である。 本発明のいくつかの実施形態による、蓋を有する例示的な容器の略図である。 本発明のいくつかの実施形態による、例示的な基準データベースを示す表である。

本発明は、バイアルおよび他の容器上のキャップの存在および種類を自動的に判定するためのシステムおよび方法を提供する。上記のようにいくつかの実施形態においては、容器またはキャップの形状は容器の内容を示すことができる。特に、本発明は、容器および／またはキャップの画像を捕捉する方法を提供する。画像は任意の従来の手段（たとえばビデオカメラ、デジタル・スチルカメラ、ラインスキャナーなど）によって捕捉することができる。容器および／またはキャップの画像を捕捉することによって、容器および／またはキャップの特徴を物理的接触なしで観察することができ、物理的接触は識別プロセスを遅くさせうるので、このことでシステムをより効率的にすることができる。

いくつかの実施形態では、画像を光の強さの２次元のアレイに変換することができる。その後、関心がある部分を、２次元のアレイから抽出またはトリミングすることができる。いくつかの実施形態では、主要な水平方向の特徴に基づいて抽出することができ、かつ必要に応じて、関心がある部分の形状を調整することができる。たとえば、最終的に生じるアレイは、画像捕捉機構の前面に位置しかつ配置される対象（容器および／またはキャップ）に整合する位置および配置を有することができる。関心がある部分の抽出は画像の背景からノイズまたはアーチファクトを取り除くことができて、このことにより容器およびキャップの特徴をより顕著にすることができる。

たとえば、いくつかの実施形態では、測定された差が特定の閾値を越えることがありうる対象と背景の間の光の強さの差に基づいて、関心がある部分を判定して、その後抽出することができる。関心がある部分のアレイは、たとえば容器および／またはキャップの主要端を示す水平および垂直線のような一つ以上の直線的特徴を含むことができる。本明細書において用いられる「主要端」は実質的に容器および／またはキャップを描写する端を指す。たとえば、容器の縁についた切込みは、存在する端の数を増やすことができるが、それ自身で「主要端」でない。以下に更に記載するように、測定された互いの直線的特徴の比率と同様に線どうしの間の関係を判定することができる。いくつかの実施形態では、直線的特徴または寸法の比率を容器および／またはキャップを識別するために使うことは、比率が画像操作（すなわち視差および拡大など）によって生じる画像の変化に影響されないで、それによって処理が単純化するという点で、有利でありうる。

異なる寸法の関係および／または比率のセットを、単一の関係またはベクトルとして報告することができる。カメラの前に配置される容器および／またはキャップの識別性を判定するために、このベクトルを基準データと比較することができる。

いくつかの実施形態では、関心がある部分は、一つ以上の支配的な色をも含むことができる。たとえば、いくつかのキャップは、１つの支配的な色および第２の色の大きいスポット（ｓｐｏｔｓ）を有することができる。更に以下に記載するように、いくつかの実施形態では、支配的な色および第２の主要色を判定するために、関心がある部分に存在する色ベクトルの全てを分析することができる。いくつかの実施形態では、各々の色は色ベクトルに変換できる。

いくつかの実施形態では、色ベクトルおよび単一の関係および／または比率ベクトルを、単一の多次元ベクトルに結合することができる。カメラの前に配置される容器および／またはキャップの識別性を判定するために、多次元ベクトルを基準データと比較することができる。いくつかの実施形態では、容器および／またはキャップの異なる組合せを識別するために、多数の多次元基準を用いることができる。たとえば、多数の多次元処理を、並列的にまたは連続して行うことができる。

いくつかの実施形態では、上記に記載のプロセスは、画像捕捉機構の前面に対象（たとえば容器および／またはキャップ）を配置することで起動するか、または動作可能となる。これに代わるいくつかの実施形態においては、「リアル」タイムで対象の識別または整合性の報告を行うために、プロセスを周期的にかつ永久的に繰り返すことができる。

図１には、本発明のいくつかの実施形態による、容器上のキャップの存在および種類を判定するためのシステム１００の線図が示される。キャップ１０４および容器１０６の画像を捕捉するために、システム１００は画像捕捉装置１０２を含むことができる。

上記のように画像捕捉装置１０２は、任意の従来の画像捕捉手段でありうる。たとえば、画像捕捉装置１０２は、ビデオカメラ、デジタル・スチルカメラ、ラインスキャナーなどでありうる。いくつかの実施形態では、一つ以上の容器１０６およびキャップ１０４の画像を存在に応じて捕捉するために、システム１００は一つ以上の画像捕捉装置１０２を含むことができる。従来の映像システムは、２次元のアレイとして画像を捕捉することができる。他の実施形態においては、たとえば画像がシングルライン（ｓｉｎｇｌｅ ｌｉｎｅ）光学センサを通して捕捉されるときに、画像を円柱レンズを通して水平に補間することができる。この場合、画像からのデータは常に１次元だけで存在する。

もしキャップ１０４が存在する場合、捕捉画像は容器１０６またはその一部およびキャップ１０４を示すことができる。いくつかの実施形態では、容器１０６はサンプル（図示せず）を含むことができる。サンプルは、たとえば血液、尿、ＤＮＡ、糞便、組織、空気、水、土壌などを含むことができる。他の任意の適当なサンプルを用いることができる。他の実施形態においては、容器１０６は空でもよい。容器１０６はサンプルをその中で保持するのに適した任意の容器でありうる。

いくつかの実施形態では、システム１００は光源（図示せず）を更に含むことができる。光源は主要端を更に強調するためにキャップ１０４および容器１０６を照らすことができる。

システム１００はコントローラ１０８をも含むことができる。いくつかの実施形態では、システム１００は、システム１００の種々の構成要素に接続するおよび／またはそうでなければ通信するおよび／または制御することのできる、コントローラ１０８によって作動させることができる。以下に更に記載するように、キャップ１０４および容器１０６の種類を判定すべく、コントローラ１０８は、画像捕捉装置１０２から画像データを受け取り、そしてキャップ１０４（もしあるならば）および容器１０６の主要端を判定するためにデータを分析するのにも適している。コントローラ１０８は、マイクロコンピュータ、マイクロプロセッサ、論理回路、ハードウェアおよびソフトウェアの組合せ、または同様のものでありうる。コントローラ１０８は、入出力ポート、キーボード、マウス、ディスプレイ、ネットワークアダプタなどの種々なコミュニケーション機器類を含むことができる。

図２には、例示的方法２００を表している流れ図が示される。上記のようにサンプルは、容器１０６に収納されうるか、または容器は空でありうる。ステップＳ２０２において、画像捕捉装置１０２はキャップ１０４および容器１０６（図１）の画像を捕捉する。いくつかの実施形態では、たとえば捕捉画像はスキャンライン（ピクセル）として視覚的に示すことができる。加えて、またはもう一つの方法として、捕捉画像を２次元のアレイに変換することができ、そして光の異なる強度として示すことができる。画像からの情報は「信号」と称することができる。

ステップＳ２０４において、関心がある部分を画像または２次元のアレイから抽出することができる。たとえば、いくつかの実施形態では、関心がある部分を抽出するために、容器１０６（およびキャップ１０４）の画像は、たとえばＶ１、Ｖ２およびＶ３と表示される断面によって示される３つの垂直に積み重ねられた断面に分割され、そして図３の点線によって詳細に描写された後、主要な水平方向の特徴を探すことができる。任意の適当な平面において任意の適当な数の断面を使うことができる。たとえば、いくつかの実施形態では、信号を視覚的にヒストグラム上で示すことができる。たとえば、任意の主要な水平方向の特徴は、ヒストグラム上のスパイクまたはピークとして示される。しかしながら、信号はいかなるシステムにも存在し、主要端の検出をより困難にする不可避のノイズ／干渉／副次的特性を含むことがある。したがって、ノイズに関する補正をするために、たとえば閾値（たとえば比較機能）の結果によって信号を増幅させることによって信号をマスキングすることができる。たとえば、最終的に生じる信号の局所ピークをピーク高さに基づいて探すことができる。たとえば、コントローラ１０８は、それらのピークを処理するためにアルゴリズムを含むことができる。アルゴリズムは任意の論理の単純な法則を有することができる。

たとえば、図３に関連し、本明細書に示されるように、視覚的にスキャンラインによって描写されるときには、キャップのない空の容器３０２は長方形として見えうる。唯一の可視的な主要な水平方向の特徴は容器３０２の上端３０４であるので、容器３０２の下端は視野の外にありうる。ヒストグラム上ではこの上端３０４は単一のスパイクとして示されえて、そしてマスキング適用後はノイズを無視することができる。最終的に生じる信号のピークを探すときに、コントローラ１０８は、たとえば容器３０２の上端３０４である１つの主要特徴またはピークのみを報告する。

図４に関連する他の実施例において、キャップ４０４を有する空の容器４０２がスキャンラインによって視覚的に示される。図４に示すように、容器４０２およびキャップ４０４は、３つの主要な水平方向の特徴、１．キャップの上端４０６ａ、２．キャップ端とキャップ底部の界面４０６ｂ、および３．キャップ底部と容器上端の界面４０６ｃを含む。図３に示される容器３０２と同様に、図４に示される容器４０２の下端は視野の外にありうる。ヒストグラム上では、主要端または水平方向の特徴４０６ａ−ｃは、各々スパイクまたはピークとして示されえて、マスキング適用後ノイズを無視することができる。最終的に生じる信号のピークを探すときに、コントローラ１０８は、たとえばキャップの上端４０６ａ、キャップ端とキャップ底部の界面４０６ｂ、およびキャップ底部と容器上端の界面４０６ｃである、３つの主要特徴またはピークを報告する。

その後、ステップＳ２０６において、キャップ１０４および容器１０６の寸法が判定される。いくつかの実施形態では、たとえば図３に示される容器３０２の上端３０４のような、各々の検出された主要な水平方向の特徴について、特徴の幅が特徴の水平座標系を経由して測定される。いくつかの実施形態では、特徴の幅を判定するために使用する水平座標系は、たとえば検出された特徴の下、３−５スキャンライン（ピクセル）のような、検出された特徴の下の予め定められた部分からの水平座標系でありうる。他の適当な部分を使うことができる。図３に関しては、たとえば容器３０２は、容器３０２の両側のために１つの垂直座標（上端３０４で）および２つの水平座標系ｈ１、ｈ２を有することができる。水平座標系ｈ１およびｈ２の位置の差は、容器３０２の幅に実質的に等しくなりうる。

上記のように図４に関しては、たとえば容器４０２およびキャップ４０４は、３つの主要な特徴４０６ａ−ｃ（３つの垂直座標で）を含み、対になった水平座標系（ｈ１−ｈ２、ｈ３−ｈ４、ｈ５−ｈ６）が各々の主要な特徴４０６ａ−ｃに対応する。対になった座標系における各々の座標の位置間の差（すなわち、ｈ１およびｈ２間の差、ｈ３およびｈ４間の差、そして、ｈ５およびｈ６間の差）は異なる特徴（すなわち、キャップ端、キャップ底部および容器の各々）の幅に実質的に等しくなりうる。

いくつかの実施形態では、垂直座標および判定された幅はアレイ、たとえばｎ×２のアレイを形成することができ、ここで「ｎ」は検出された主要な水平方向の特徴（垂直座標によって示される）の数である。たとえば、図３に示される容器３０２においては、１つの主要な水平方向の特徴（上端３０４）のみが検出されるため、アレイは１×２のアレイでありうる。たとえば、図４に示される容器４０２においては、３つの主要な水平方向の特徴が検出されるため、アレイは３×２のアレイでありうる。すなわち、１．キャップの上端４０６ａ、２．キャップ端とキャップ底部の界面４０６ｂ、３．キャップ底部と容器上端の界面４０６ｃである。

ステップＳ２０８においては、たとえばコントローラ１０８を経由して、各々の特徴について垂直座標および対応する判定された幅を、基準データベース５００（図５）中の、種々の容器、キャップおよび容器／キャップ配置に対応する一つ以上の垂直座標および幅と比較することができる。基準データベース５００は、たとえば所定の垂直および水平座標系、幅、キャップの色、キャップ重量、容器名、キャップの存在および短い説明の集合を含むことができる。他の適当なパラメータを基準データベース５００に格納することができる。

その後、ステップＳ２１０においては、コントローラ１０８は比較に基づいて、容器およびキャップの存在および／または識別性を判定することができる。いくつかの実施形態では、捕捉された画像の特徴と基準データベースの特徴との間の最も近い合致に基づいて、存在および／または識別性を判定することができる。他の実施形態においては、たとえば重み付けをすることは特徴がより重要な特徴であること、またはより正確に検出された特徴であることを示すために、各々の特徴に重み付けまたは順位付けをすることができる。いくつかの実施形態では、たとえば重み付けはアレイの各々の対応する構成要素に適用することができる加重係数でありうる。重み付けは他の任意の適当な順位付けを示すために用いることができる。

いくつかの実施形態では、多次元ベクトルを形成するために、ｎ×２アレイを抽出するかまたは平坦化することができる。物理的な値が異なる場合には、この種のベクトル抽出を用いることにより、値の分析をより容易に行うことができる。異なる物理的な値については、選択された量記号のみを使うことができる。一般的な変化の範囲でベクトル位置にほぼ同等の影響を及ぼすために、異なる物理的な値を拡大・縮小する必要がありうる。たとえば、０から３６０度までの範囲の角度をもって測定される色ベクトルについては、一般的な変化は約２０であり、そして約５００スキャンラインの容器高さについては、一般的な変化は約５である。他の範囲および変化を使うことができる。より大きい変化を示す色データがより不安定であり、色データにおける変化が容器高さにおける変化の約４倍大きいため、色データは約４の係数で（×４）に縮小されなければならない。そうでなければ、縮小なしでは、色の広がりがより安定な高さの測定値をマスキングしてしまう可能性がある。本実施形態では、×２アレイは、左右の端の水平方向の位置を表す。本実施形態では幅を判定することが望ましいので、垂直部分およびそれらの幅の数としてｎ×２アレイをｎ×１に縮めることができる。その結果、総ベクトル次元はｎ×１＋Ｃでありえて、ここでＣは色ベクトルの数である。

加えて、基準データベースの値は、収集した所定の座標点として示されうる。それから、座標または幅として示される各々の構成要素は、多次元空間において基準座標系と比較されうる。いくつかの実施形態では、比較は多次元ベクトルと各々の基準座標系との距離を算出することを含むことができ、たとえば最短距離は捕捉された画像の特徴と基準特徴との最も近い合致を示しうる。他の比較方法を用いることができる。

いくつかの実施形態では、キャップの色または支配的な色は、キャップの検出および識別を行うために用いられる他の特徴でありうる。色は、たとえばキャップ端４０６ａ、図４に示すキャップ４０４のｈ１、ｈ２、４０６ａと４０６ｂ間の部分、または他の任意の適当なキャップの特徴を指すことができる。いくつかの実施形態では、キャップは一つ以上の支配的な色を含むことができる。たとえば、いくつかのキャップは１つの支配的な色および第２の色の大きいスポット（ｓｐｏｔｓ）を有することができる。いくつかの実施形態では、たとえば支配的な色および第２の主要色は、視覚的にヒストグラム上で示されうる。たとえば、ヒストグラムは関心がある全面の色ベクトルを含むことができ、その結果、ヒストグラム上で一つ以上のピークとなる。支配的な色はヒストグラム上で最大のピークで示されえて、かつ、第２の主要色は２番目に大きいピークで示されうる。ピークの大きさが減少することは、その色を有する関心がある部分の割合が減少することを示しうる。いくつかの実施形態では、コントローラ１０８はキャップの存在および／または識別性を判定するために、画像の色特徴を、基準データベース（図５）に含まれうる基準色特徴と比較しうる。他の実施形態においては、各々の色を、たとえばＮＴＳＣ色ベクトルのような色ベクトルに変換することができる。いくつかの実施形態では、たとえば色ベクトルの方向によって、支配的な色および第２の主要色を判定することができる。この色ベクトルを、追加次元として、上記の多次元ベクトルに追加することができる。上記のように、色ベクトルは重み付けをされた特徴でありうる。いくつかの実施形態では、コントローラ１０８は各々の特徴について垂直座標の比率および対応する判定された幅を算出することができる。比率は一定でありえて、そして画像の任意の視覚的な操作（すなわち拡大、近接、視差）から生じる変化に影響されないという点で有用でありうる。垂直座標および判定された幅の両方を基準値と比較する代わりに、たとえば単一の比率の値を基準値に対し比較することができるので、これらの比率を使うことでデータベースの基準値に対し比較される画像値の数を減らすことができる。比較の数が減少することにより、検出および識別プロセスの効率を実質的に増大させることができる。

前述の記載は本発明の例示的実施形態のみを開示するものである。本発明の範囲内に属するように上記の開示された装置および方法に変更を加えることは、通常の当業者にとって容易に明白である。

このように、本発明がその例示的実施形態に関連して開示されてはいるが、以下の請求項に記載の本発明の精神および範囲内に他の実施形態が属する余地があると理解されなければならない。

Claims (21)

1. 対象の画像を捕捉すること、
   画像から関心がある部分を抽出すること、
   画像から対象の一つ以上の端の位置を判定すること、そして
   一つ以上の端位置と基準データとの比較に基づいてキャップの存在を判定すること
   を含む、容器上のキャップの存在を判定する方法。
2. 一つ以上の端位置と基準データとの比較に基づいて、容器上に配置されるキャップの種類を判定することを更に含む、請求項１に記載の方法。
3. 一つ以上の端位置を判定することが、判定される端位置ごとに、少なくとも一つの垂直座標および少なくとも一対の水平座標系を判定することを更に含む、請求項２に記載の方法。
4. 対になった水平座標系間の差が幅測定である、請求項３に記載の方法。
5. 幅測定と垂直座標の比率を判定することを更に含む、請求項４に記載の方法。
6. 判定される端ごとの比率を基準データと比較することを更に含む、請求項５に記載の方法。
7. 関心がある部分のキャップ領域の端の比率を基準データと比較することを更に含む、請求項５に記載の方法。
8. キャップ領域の端の比率の基準データとの比較に基づいてキャップの種類を判定することを更に含む、請求項７に記載の方法。
9. 捕捉した画像を２次元のアレイに変換することを更に含む、請求項２に記載の方法。
10. フィルタを関心がある抽出された部分に適用することを更に含む、請求項２に記載の方法。
11. 少なくとも一つの色を関心がある部分から抽出することを更に含む、請求項２に記載の方法。
12. 色が色ベクトルである、請求項１１に記載の方法。
13. 更に、少なくとも一つの色を関心がある部分から抽出することが、支配的な原色および等和色を判定することを更に含む、請求項１２に記載の方法。
14. 判定された端位置に基づいて多次元ベクトルを作成することを更に含む、請求項１２に記載の方法。
15. 色ベクトルを多次元ベクトルに加えることを更に含む、請求項１４に記載の方法。
16. 一つ以上の端位置が各々順位付けを含む、請求項２に記載の方法。
17. 対象の画像を捕捉するのに適している画像捕捉装置であって、画像が光の強度の２次元のアレイとして示される画像捕捉装置と、
    画像から関心がある部分を抽出し、対象の端の位置を判定し、端位置を基準データと比較し、そして端位置と基準データとの比較に基づいてキャップの存在を判定するのに適しているコントローラであって、画像捕捉装置に接続するコントローラと
    を含む、容器上のキャップの存在を判定するシステム。
18. 端位置と基準データとの比較に基づいて、コントローラが容器に配置されるキャップの種類を判定するのに適している、請求項１７に記載のシステム。
19. システムが、一つ以上の対象の画像を捕捉するために適している一つ以上の画像捕捉装置を含む、請求項１７に記載のシステム。
20. 基準データが所定の座標の集合を含む、請求項１７に記載のシステム。
21. コントローラが色を関心がある部分から抽出するのに適している、請求項１７に記載のシステム。

Images