JP2022553572A - 自動目視検査機器への深層学習のターゲット化された適用 - Google Patents

Abstract

容器の自動目視検査において精度及び効率を高める方法において、サンプルを含有する容器が、ラインスキャンカメラが容器のストッパのエッジのプロファイル画像を得るように、方向付けられている。容器をスピンさせている間に、ストッパのエッジの複数の画像が、第１のラインスキャンカメラによりキャプチャされ、複数の画像のうちの各画像が容器の異なる回転位置に対応する。ストッパのエッジの２次元画像が、少なくとも複数の画像に基づいて生成され、２次元画像のピクセルが、訓練されたニューラルネットワークを含む推論モデルを実行する１つ以上のプロセッサにより処理されて、サンプルが欠陥を含む尤度を示す出力データを生成する。

Description

本出願は、全般的に、医薬品又は他の製品の自動目視検査（ＡＶＩ）システムに関し、より具体的には、サンプル（例えば、溶液）で充填された容器内の粒子及び他の物体（例えば、気泡）を検出及び区別するための技術に関する。

製造された医薬品の品質管理手順などの特定の状況では、サンプル（例えば、シリンジ若しくはバイアルなどの容器／入れ物、及び／又は液体若しくは凍結乾燥医薬品などの内容物）に欠陥がないかを調べる必要がある。適用可能な品質基準下での特定のサンプルの受理可能性は、例えば、容器の欠陥（例えば、チップ又はクラック）のタイプ及び／若しくはサイズ、又は医薬品中の望ましくない粒子（例えば、繊維）のタイプ、数、及び／若しくはサイズなどの、測定基準に依存する場合がある。サンプルに受理不可能な測定基準がある場合、それは拒否及び／又は破棄される場合がある。

医薬品の商業生産に典型的に関連する量を処理するために、欠陥検査タスクは次第に自動化されている。しかしながら、溶液中の粒子状物質の自動検出は、製薬業界において特別な課題を提示する。高い検出精度を達成することは一般に困難であり、より高い粘度の溶液が、そうでない場合に粒子タイプを示し得る粒子の動きを阻止するので、更に困難になる。気泡の形成を促進するガスを放出する配合物を有するタンパク質ベースの製品の場合、従来の粒子検出技術は、特に高い割合の誤った拒否をもたらし得る。例えば、そのような技術では、（容器に付着する可能性がある）これら気泡を、容器の一部分に対して（例えば、溶液で充填されたシリンジのプランジャに対して）沈殿／静止する傾向がある重い粒子から区別することが難しい場合がある。

その上、自動欠陥検査を支援するために使用される専用機器は、非常に大きくなり、非常に複雑になり、非常に高価になっている。単一の商用ライン機器が多数の異なるＡＶＩステーションを含み、ＡＶＩステーションのそれぞれが異なる特定の検査タスクを処理する場合がある。ほんの一例として、薬剤充填シリンジの充填完了検査段階で使用されるＢｏｓｃｈ（登録商標）自動検査機（ＡＩＭ）５０２３商用ライン機器は、１６個の一般検査タスクと、多数のカメラ及びその他のセンサとを備える、１４個の別個の目視検査ステーションを含む。全体として、そのような機器は、大きなクラック又は容器閉鎖性などの容器の完全性の欠陥、容器表面上の引っかき傷又は汚れなどの美観上の容器の欠陥、及び液体の色又は異物粒子の存在などの医薬品自体に関連する欠陥、を含む広範囲の欠陥を検出するように設計されてもよい。しかしながら、粒子の検出及び特性評価に関連する上述した課題に起因して、このような機器は、ＡＶＩステーション間に冗長性を必要とする場合がある。例えば、Ｂｏｓｃｈ（登録商標）ＡＩＭ ５０２３ライン機器の場合、（シリンジプランジャのドーム上に静止している重い粒子を検出及び区別するための）「ストッパエッジ」検査ステーションの性能が比較的低いことにより、粒子検査の精度の全体的レベルを受理可能にするために、粒子検査を、追加のカメラを有する別の「ストッパトップ」ＡＶＩステーションで実施することも必要になる。これにより、機器の複雑さ及びコストが増加し、及び／又は「ストッパトップ」ＡＶＩステーションを、単一のタスク（例えば、ストッパ自体の欠陥の検出）用に最適化するのではなく、複数の検査タスクを実行するように適合させる必要がある。

本明細書に記載される実施形態は、深層学習が特定のタイプのＡＶＩステーション（例えば、複数のＡＶＩステーションを含み得る商用ライン機器内の）に適用されて、相乗作用により精度を大幅に改善する（例えば、誤った拒否及び／又は偽陽性が遥かに少ない）システム及び方法に関する。加えて又は代わりに、記載されたシステム及び方法は、他のＡＶＩステーションが他のタスクに専念することを可能にすること、及び／又は他のＡＶＩステーションを完全に排除すること、などにより、（例えば、同じ商用ライン機器内の）他のＡＶＩステーションへの有利な変更を可能にしてもよい。

具体的には、深層学習は１つ以上のラインスキャンカメラ（例えば、ＣＭＯＳラインスキャンカメラ）を利用するＡＶＩステーションに適用され、ラインスキャンカメラは、サンプル（例えば、液体溶液医薬品）を含有する容器のストッパのエッジに又はその近くに静止している又は置かれている物体を検出及び区別する（例えば、ガス充填気泡に対する、ガラス及び／又は他の粒子）。例えば、ＡＶＩステーションは、ラインスキャンカメラを利用して、シリンジ内の液体サンプルと接触しているシリンジプランジャドームの表面上に又はその近くに置かれている物体を検出及び区別してもよい。ラインスキャンカメラは、ＡＶＩステーションが容器を少なくとも１回転（３６０度）回転／スピンさせるにつれて複数のライン画像をキャプチャしてもよく、その後、処理デバイス又はＡＶＩステーション内の（又はＡＶＩステーションに通信的に結合された）構成要素が、複数のライン画像から２次元画像を生成する。

ＡＶＩステーション又は外部の処理構成要素は、２次元画像のピクセル値（例えば、正規化されたピクセル強度値）を訓練済みニューラルネットワークに提供する。これにより、容器サンプルが受理不可能であるか（例えば、画像化されたエリア内の粒子が、受理不可能な数、サイズ、及び／又はタイプを含有するか）否かが推論される。ニューラルネットワークは、例えば、粒子及び／又はガス充填気泡の受理可能又は受理不可能な数、タイプ、サイズなどを有することが知られている（及びラベル付けされている）サンプルの幅広い２次元画像を使用して、教師あり学習手法で訓練されてもよい。ニューラルネットワークの訓練するために使用される画像の選択及び分類は、推論フェーズにおける性能にとって重要である。更に、欠陥のあるユニットを受理することを回避するために、予期しない状況を予測し、それを訓練画像に含めるべきである。重要なことに、訓練されたニューラルネットワーク、又はニューラルネットワークを含むより大きな推論モデルは、再認定なしにモデルを変更すること（例えば、更に訓練すること）ができないように、認定前に「ロック」されてもよい。システムが手動の目視検査と同等に又はそれよりも良好に機能することを確実にするために、好ましくは、受理基準が確立され事前に承認されているべきである。

ＡＶＩステーション（又は通信可能に結合された処理デバイス）がサンプルに欠陥があることを示した場合、ＡＶＩステーション、又はＡＶＩステーションを含む商用ライン機器は、容器／サンプルを拒否エリアに物理的に搬送させ、拒否エリアでは、サンプルは廃棄／破壊されるか、又は転送されて更に検査され得る（例えば、手動検査）。容器／サンプルは、実施形態に応じて、排出／拒否エリア（例えば、ビン）に直接搬送されてもよく、又は最初に１つ以上の他のＡＶＩステーションを通過してもよい。推論モデルがサンプルに欠陥があることを示さない場合、ＡＶＩステーション又は商用ライン機器は、容器／サンプルを、受理された製品用に指定されたエリアに、又は更なる検査のために次のＡＶＩステーション（例えば、他のタイプのサンプル及び／又は容器の欠陥を検出するように設計された１つ以上のＡＶＩステーション）に、直接搬送させてもよい。

本明細書で説明される図は、説明のために含められたものであり、本開示を限定するものではないことが当業者に理解されるであろう。図面は、必ずしも縮尺通りではなく、代わりに本開示の原理を示すことに重点が置かれている。場合によっては、記載される実現形態の様々な態様は、記載される実現形態の理解を促進するために誇張又は拡大して示される場合があることを理解されたい。図面では、様々な図面を通した同様の参照符号は、全般的に、機能的に類似する及び／又は構造的に類似する構成要素を指す。

本明細書に記載される画像化及び深層学習技術が実装され得る、例示的なライン機器の簡略化されたブロック図である。 従来技術の商用ライン機器内のＡＶＩステーションの簡略化された描写である。 容器のストッパのエッジがラインスキャンカメラを使用して画像化される例示的な容器を示す。 容器のストッパのエッジがラインスキャンカメラを使用して画像化される例示的な容器を示す。 ラインスキャンカメラによりキャプチャされたライン画像から生成され得る例示的な２次元ストッパエッジ画像を示す。 図４の２次元画像などの画像に基づいて、サンプルの受理可能性又は受理不可能性を推論するために使用され得る例示的なニューラルネットワークを示す。 ＡＶＩステーションを用いて深層学習を実装するための例示的な開発及び認定プロセスのステージを示す。 特定のＡＶＩステーションに対して深層学習を利用したときに得られた概念実証の結果を示す。 容器の自動目視検査における精度及び効率を高めるための例示的な方法のフロー図である。

上記で導入され、以下でより詳細に説明される様々な概念は、多くの手法のうちのいずれかで実現することができ、説明される概念は、いかなる特定の実現手法にも限定されるものではない。実現形態の例は、例示を目的として提供されている。

図１は、本明細書に記載される技術が実装され得る例示的なライン機器１００の簡略化されたブロック図である。ライン機器１００は、例えば、Ｎ（Ｎ≧１）個のＡＶＩステーション１１０－１～１１０－Ｎ（総称してＡＶＩステーション１１０とも呼ばれる）を有する任意の生産グレードの機器であり得る。より具体的な例を提供すると、ライン機器１００は、Ｂｏｓｃｈ（登録商標）自動検査機械（ＡＩＭ）５０２３商用ライン機器の修正版であってもよく、これは図２を参照して以下で論じられる。ＡＶＩステーション１１０のそれぞれは、容器（例えば、シリンジ、バイアルなど）の様々な態様及び／又は容器内のサンプル（例えば、液体溶液医薬品）の検査に使用される画像をキャプチャする役割を担ってもよい。例えば、第１のＡＶＩステーション１１０－１が、シリンジ、バイアル、又は他の容器の上面図の画像をキャプチャして、クラック又はチップを検査してもよく、第２のＡＶＩステーション１１０－２（図１には示されず）が、側面画像をキャプチャして、容器内のサンプル全体にわたって異物粒子の有無を検査してもよい。

図１も簡略化されたブロック図の形で、ｉ番目のＡＶＩステーション１１０－ｉの一般的な構成要素を示し、ここでｉは、１～Ｎの任意の整数であってもよい。ＡＶＩステーション１１０－ｉは、具体的にはサンプルが容器のストッパのエッジに出合う／接触するエリアにおいて、サンプル（容器の内容物）を視覚的に自動的に検査するように構成されている。ストッパは、例えば、シリンジのプランジャ、又はバイアルの開口部を封止するキャップ若しくはプラグなどであってもよい。この検査を実施するために、ＡＶＩステーション１１０－ｉは、画像化システム１１２、照明システム１１４、及びサンプル位置決めハードウェア１１６を含む。（もしあれば）他のＡＶＩステーション１１０が、概ね同様のタイプの構成要素（例えば、画像化システム、照明システム、及びサンプル位置決めハードウェア）を有してもよいが、場合によっては、所与の各ステーション１１０にとって適切な異なる構成要素のタイプ及び構成を有することを理解されたい。

画像化システム１１２は、少なくとも１つのラインスキャンカメラと、場合によっては関連する光学構成要素（例えば、追加のレンズ、ミラー、フィルタなど）を含んで、各サンプル（医薬品）のライン画像をキャプチャする。ラインスキャンカメラのそれぞれは、例えば、ＣＭＯＳラインスキャンカメラであってもよい。説明を簡単にするために、以下の説明の大部分が単一ラインスキャンカメラのみに言及する。しかしながら、複数のラインスキャンカメラが使用されてもよいことを理解されたい。例えば、スループットを向上させるために、２つのラインスキャンカメラのそれぞれが、異なる容器／サンプルを同時に並行して画像化してもよい。

照明システム１１４は１つ以上の照明デバイスを含んで、サンプルがラインスキャンカメラにより画像化されている間に各サンプルを照明する。照明デバイスは、例えばバックライトパネルとして配置されたＬＥＤアレイなどの、１つ以上の発光ダイオード（ＬＥＤ）を含んでもよい。

サンプル位置決めハードウェア１１６は、ＡＶＩステーション１１０－ｉのために容器を保持し（又は他の方法で支持し）、移動させる任意のハードウェアを含んでもよい。図１の実施形態では、サンプル位置決めハードウェア１１６は、少なくとも、画像化システム１１２のラインスキャンカメラが容器のストッパのエッジのプロファイル画像を得るように各容器を方向付けするための搬送手段１１７と、ラインスキャンカメラがライン画像をキャプチャしている間に各容器をスピンさせる（例えば、容器の中心軸を中心に回転させる）ためのスピン手段１１８と、を含む。搬送手段１１７は、電動回転テーブル、スターホイール又はカルーセル、ロボットアーム、及び／又は各容器を方向付ける（例えば、移動及び位置決めする）ための任意の他の好適な機構を含んでもよい。スピン手段１１８は、例えば、電動スピン機構（例えば、図２を参照して以下で論じられるように、シリンジのために「直接スピン」機能を提供するＢｏｓｃｈ（登録商標）ＡＩＭ ５０２３の構成要素）を含んでもよい。以下で更に説明されるように、搬送手段１１７が所与の容器を適切に位置決め／方向付けした後、ストッパがサンプルに接触するエリアにおいて、ラインスキャンカメラがストッパの３６０度全体の図面を総合的にカバーするライン画像をキャプチャできるように、スピン手段１１８は容器をスピンさせる。

いくつかの実施形態では、サンプル位置決めハードウェア１１６はまた、各容器を反転させるための（例えば、重い粒子がストッパの上に直接静止している可能性を高めるように、画像化が行われているときにストッパがサンプルの下に配置されることを確実にするために）、及び／又は各容器内に含有されるサンプルを攪拌するための、ハードウェアを含む。他の実施形態では、各容器を適切に方向付けること（例えば、容器反転）の特定の態様は、最初の方のＡＶＩステーション１１０にて、最初の方のＡＶＩステーション１１０の中で、又はライン機器１００などによる取り扱いの前に生じる。スピンするサンプルの画像をラインスキャンカメラがキャプチャするときの、容器／サンプルに対するラインスキャンカメラの様々な例示的な方向付けが、図３Ａ及び図３Ｂを参照して以下に説明される。

ライン機器１００はまた、１つ以上のプロセッサ１２０及びメモリ１２２を含む。プロセッサ１２０のそれぞれは、メモリ１２２に保存されたソフトウェア命令を実行して、本明細書で説明されるように、ライン機器１００のソフトウェア制御機能のいくつか又は全てを実行するプログラム可能なマイクロプロセッサであってもよい。代わりに又は加えて、プロセッサ１２０のうちの１つ以上が、他のタイプのプロセッサ（例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など）であってもよく、本明細書に記載されるプロセッサ１２０の機能のいくつかが、代わりにハードウェアで実装されてもよい。メモリ１２２は、１つ以上の揮発性及び／又は不揮発性メモリを含み得る。読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ソリッドステートドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）など、１つ以上の任意の適切なメモリタイプをメモリ１２２に含めることができる。メモリ１２２は、集合的に、１つ以上のソフトウェアアプリケーション、それらのアプリケーションによって受け取られる／使用されるデータ、及びそれらのアプリケーションによって出力／生成されるデータを保存し得る。

プロセッサ１２０及びメモリ１２２は、集合的に、ＡＶＩステーション１１０の動作を制御／自動化するための、及びＡＶＩステーション１１０によってキャプチャ／生成された画像を処理して、容器及び／又は容器の内容物の（例えば、医薬品サンプル）に対して、対応する欠陥のタイプを検出するための、処理手段を構成する。具体的には、以下で更に詳細に説明するように、ＡＶＩステーション１１０－ｉについて、処理手段（１２０及び１２２）は、（１）スピン手段１１８が容器をスピンさせている間に、画像化システム１１２に、適切な時間に容器のストッパエッジの画像をキャプチャさせ、（２）画像化システム１１２によりキャプチャされた画像のセットに基づいて、ストッパエッジの２次元画像を生成し、（３）得られた２次元画像のピクセル（例えば、ピクセル強度値）を、訓練されたニューラルネットワークを使用して処理して出力データを生成する、ように構成されている。代替的な実施形態では、プロセッサ１２０及び／又はメモリ１２２の機能は、Ｎ個の異なる処理ユニット及び／又はメモリユニットにそれぞれ分散され、これらはそれぞれ、ＡＶＩステーション１１０－１から１１０－Ｎのうちの異なる１つに固有である。更に別の実施形態では、プロセッサ１２０及びメモリ１２２の機能のいくつか（例えば、サンプルの搬送、スピン、及び／又は画像化のための機能）が、ＡＶＩステーション１１０にわたって分散される一方で、プロセッサ１２０及びメモリ１２２の他の機能（例えば、ラインスキャンカメラ画像から２次元画像を生成するための、及び／又は２次元画像を処理して欠陥を検出するための機能）が、集中化された処理場所において実行される。いくつかの実施形態では、プロセッサ１２０及び／又はメモリ１２２の少なくとも一部分が、ライン機器１００の外部にある（場合によってはリモートにある）コンピューティングシステムに含まれる。

メモリ１２２は、ＡＶＩステーション１１０によりキャプチャされた容器／サンプルの画像１２４を記憶し、また、ＡＶＩコード１２６を記憶し、ＡＶＩコードはプロセッサ１２０により実行されると、ＡＶＩステーション１１０に上述したような対応する機能を実行させる。ＡＶＩステーション１１０－ｉについて、例えば、ＡＶＩコード１２６は、図１においてコード１２８として示される対応する部分を含む。一実施形態の例として、コード１２８は、サンプルが照明システム１１４により照らされ、スピン手段１１８によりスピンされている間に、画像化システム１１２をトリガーさせてラインスキャン画像をキャプチャさせてもよく、サンプル位置決めハードウェア１１６を制御して、容器を適切な時間にて正しい位置に配置させてもよい。画像がキャプチャされ、画像１２４内に格納された後、コード１２８が、それぞれの画像１２４を処理して、ステーション３１０－ｉに関連付けられた欠陥を検出する（例えば、粒子、及び／又は気泡などの他の物体の、数、サイズ、及び／又はタイプに基づいて）。上述したように、いくつかの実施形態では、画像を処理するコード１２８の部分は、搬送、画像化、スピンなどを制御するコード１２８の部分を実行するものとは異なる、プロセッサ、構成要素、及び／又はデバイスにより実行されてもよい。

図１に示されるように、ＡＶＩステーション１１０－ｉ用のコード１２８は、上述したような搬送手段１１７及びスピン手段１１８を制御するためのコマンド／信号を生成する、サンプル移動及び画像キャプチャユニット１３４を含む。コード１２８はまた、画像生成ユニット１３６を含み、これは、異なる容器ごとにラインスキャンカメラ画像から異なる２次元画像を構築／生成する。更に、コード１２８は、画像生成ユニット１３６により生成された２次元画像を推論モデルを使用して処理する推論モデルユニット１３８を含む。推論モデルは、訓練されたニューラルネットワークを含み（場合によっては全面的にこれから構成される）、推論モデルは、ピクセル（例えば、強度値、場合によっては色値）を処理して、特定のサンプルが欠陥である可能性が高い（例えば、ストッパエッジ上又はその近くに、受理不可能な粒子の数、サイズ、及び／又はタイプ数がある可能性が高い）か否かを示す出力データを生成する。様々な例示的な実施形態によるニューラルネットワーク及びその訓練は、図５及び図６を参照して以下で更に説明される。

図２は、既存の（従来技術の）商用ライン機器２００、より具体的には、Ｂｏｓｃｈ（登録商標）ＡＩＭ ５０２３モデル、を簡略化された形で示す。一実施形態では、ライン機器２００は、本明細書に記載される技術を使用してアップグレード又は修正される。すなわち、ライン機器２００は、（例えば、フィールドアップグレード又は製品の完全再設計により）そのように修正された後、図１のライン機器１００として使用され得る。

生産モードでは、機器２００（Ｂｏｓｃｈ（登録商標）ＡＩＭ ５０２３）は、一般に、溶液（医薬品）が充填されたシリンジの輸送、検査、及び選別の役割を担う。機器２００は、一連のインフィードスクリュー及びスターホイールを介してデネスターマシン（例えば、Ｋｙｏｔｏ（登録商標）Ｇ１７６Ｄｅ－Ｎｅｓｔｅｒ）からシリンジを受け取り、その後、インフィード（事前検査）ユニットにおいて自動検査が開始され、メインユニットにおいて継続される。インフィードユニット及びメインユニットは、様々なＡＶＩステーションを有し、これが、ステーション２０２として図２に示される（単一のステーションにおいて２つの参照番号により示されるように、いくつかのステーション２０２が同じ場所に配置されている）。図２は、Ｂｏｓｃｈ（登録商標）ＡＩＭ ５０２３のレイアウト及び構成要素を正確に又は完全に再構築することを試みているわけではないことを理解されたい。例えば、様々なスターホイール、排出ビン、及び他の構成要素は示されておらず、様々なＡＶＩステーション２０２について示されている相対的な位置は正確には正しくない。

インフィードユニットでは、ライン機器２００は、回転するスターホイール２１２Ａに沿って、以下の３つの事前検査ステーションを含む。（１）電荷結合装置（ＣＣＤ）カメラ（「Ｃ０１－１」インチ及び「Ｃ０１－２」カメラと称される）を有するベントニードルシールド検査ステーション２０２－１；（２）ＣＣＤカメラ（「Ｃ０２」カメラと称される）を備えるフランジ検査ステーション２０２－２；及び（３）ＣＣＤカメラ（「Ｃ０３」カメラと称される）を備えるストッパプレゼンス／カラーステーション２０２－３。これらの事前検査は、ＣＣＤカメラ、安定光源、及び画像プロセッサを含む技術の組み合わせに基づいている。これらステーション２０２－１～２０２－３のいずれかにおいて、欠陥があると識別されたシリンジは、反転される又はメインユニットに移送されることなく、（スターホイール２１２Ａ及び別のスターホイール２１２Ｂを介して）排出エリア／ビンの中に放出される。しかしながら、これらの検査に合格したユニットは、反転され、スターホイール２１２Ｃを介して機器２００のメインユニットに輸送される。

メインユニットでは、ライン機器２００は、２つのスターホイール２１２Ｄ及び２１２Ｅによって結合された３つの回転テーブル２１０Ａ～２１０Ｃに沿った１３個の検査ステーションを含む。具体的には、回転テーブル２１０Ａに沿って、２つの検査ステーションが配置されている：（１）ＣＣＤカメラ（「Ｃ０４」カメラと称される）を備える濁度検査ステーション２０２－４；及び（２）ＣＣＤカメラ（「Ｃ０５」カメラと称される）を備える液色検査ステーション２０２－５。回転テーブル２１０Ｂに沿って、５つの検査ステーションが配置されている：（１）ＣＣＤカメラ（「Ｃ１－１」及び「Ｃ１－２」カメラと称される）を有する本体／繊維検査ステーション２０２－６；（２）ＣＣＤカメラ（「Ｃ２－１」及び「Ｃ２－２」カメラと称される）を有する本体（浮遊粒子）検査ステーション２０２－７；（３）ラインスキャンＣＭＯＳカメラ（「Ｃ３－１」及び「Ｃ３－２」カメラと称される）を有するストッパエッジ検査ステーション２０２－８；（４）ＣＣＤカメラ（「Ｃ４－１」及び「Ｃ４－２」カメラと称される）を備えるストッパ側部検査ステーション２０２－９；（５）ＣＣＤカメラ（「Ｃ５－１」及び「Ｃ５－２」カメラと称される）を有するストッパ上部検査ステーション２０２－１０。回転テーブル２１０Ｂと２１０Ｃとの間のスターホイール２１２Ｅには、ＣＣＤカメラ（「Ｃ０６」カメラと称される）を有するニードルシールド色検査ステーション２０２－１１が存在する。回転テーブル２１０Ｃに沿って、更に５つの検査ステーションが配置されている：（１）ＣＣＤカメラ（「Ｃ６－１」及び「Ｃ６－２」カメラと称される）を有する粒子検査ステーション２０２－１２；（２）第３世代静的分割（ＳＤｘ）センサ（「ＳＤ１－１」及び「ＳＤ１－２」センサと称される）を使用する粒子検査ステーション２０２－１３；（３）ＣＣＤカメラ（「Ｃ７－１」及び「Ｃ７－２」カメラと称される）を有する粒子検査ステーション２０２－１４；（４）ＳＤｘセンサ（「ＳＤ２－１」及び「ＳＤ２－２」センサと称される）を使用する粒子検査ステーション２０２－１５；（５）ＣＣＤカメラ（「Ｃ８」カメラと称される）を有する充填レベル／エアギャップ検査ステーション２０２－１６。

機器２００の様々なステーション２０２－４～２０２－１６は、シリンジがメインユニットを通して輸送される際にシリンジを検査する。輸送の一環として、シリンジは自由に回転するベースアタッチメントとスピンキャップとによりしっかりと保持される。回転テーブル２１０Ａ上には、テーブル２１０Ａの周辺エリアにスピンモーターが配置され、ベースアタッチメントアセンブリをスピンさせる摩擦ベルトを使用して、気泡の散逸及び検査のための適切なスピンを設定する。回転テーブル２１０Ｂには、イオン化された空気をシリンジに吹き付けて、いかなる外部粒子又は埃をも除去するエアナイフイオナイザが装備されている。回転テーブル２１０Ｂ及び２１０Ｃ上では、各シリンジの場所に対するベース取り付けシャフトに、溶液中の目に見える粒子を適切に検査するためのダイレクトスピン機能が装備されている。各ベースアタッチメントは、高速又は低速で、時計回り方向又は反時計回り方向に個別にスピンさせることができる。

メインユニットの全ての検査ステーションを通って処理された後、シリンジは排出され、別のエリアに輸送され下流のマシン（例えば、Ｋｙｏｔｏ（登録商標）Ｇ１７６ Ａｕｔｏ Ｔｒａｙｅｒなど）により収集される「受理」ルート、又は３つの排出エリア／ステーションのうちの１つ、のいずれかに分類される。各排出ステーションは、手動で切り替え可能な放出排出レールを有する。様々な回転テーブル及び／又はスターホイールが、特定の容器を指定された拒否エリアに搬送するための手段を構成し得る。例えば、ステーション２０２－８に関して、スターホイール２１２Ｅ、２１２Ｆ、２１２Ｇ、及び回転テーブル２１０Ｃ、並びに場合によっては他のスターホイール、レール、及び／又は他の機構が、ステーション２０２－８において拒否された容器／サンプルを適切な拒否／排出エリアに搬送するための手段を提供し得る。

図１に戻ると、一実施形態では、ライン機器１００が変更されて機器２００になり、ストッパエッジ検査ステーション２０２－８が変更されてＡＶＩステーション１１０－ｉになる（例えば、「Ｃ３－１」及び「Ｃ３－２」カメラの一方又は両方を含む、画像化システム１１２のラインスキャンカメラを用いて）。また、この実施形態では、搬送手段１１７は、回転テーブル２１０Ｂ（及び場合により、各シリンジを反転させるユニット）を含み、スピン手段１１８は、上述した自由回転ベースアタッチメント、スピンキャップ、スピンモーター、及び摩擦ベルトを含む。そのような一実施形態では、具体的にはストッパエッジ検査ステーション２０２－８の改善された精度に起因して、ストッパ上部検査ステーション２０２－１０は省略され得るか又は変更され得る（例えば、粒子検査よりもむしろストッパ欠陥検出に焦点を合わせることにより、場合によりステーション２０２－１０並びにステーション２０２－８の検出精度を向上させるために）。

図３Ａ及び図３Ｂは、例示的な容器（シリンジ）３００を示し、略円筒形の壁３１２内のストッパ（プランジャ）３１０、特にプランジャドーム３１４のエッジ（すなわち、ドーム３１４がシリンジ３００中の溶液と出会う場所）が、画像化システム１１２のラインスキャンカメラなどのラインスキャンカメラを使用して画像化され得る。プランジャ３１０が配置されている壁３１２は、半透明のプラスチック、ガラス、又は他の任意の適切な材料で作製されていてもよい。図３Ａ及び図３Ｂに示される特定の向き（すなわち、プランジャ３１０がシリンジ３００の下側にある）では、シリンジ３００内のサンプル／溶液中のあらゆる大きなエアポケットが、シリンジ３００の反対（ニードル）端部により、プランジャドーム３１４の十分に上方にあるべきである。

図３Ａの拡大挿入図に示されるように、画像化システム１１２のラインスキャンカメラは、シリンジ３００の回転位置ごとに、エリア３２２に対応する１つの垂直ライン画像（本明細書では単に「画像」と称されることもある）をカメラがキャプチャするように方向付けられている。各ライン画像は、画像がキャプチャされた時点における非常に狭いスライス／エリア３２２内にあるものだけをキャプチャする。図３Ａでは、例えば、第１のライン画像が、物体３３０の一部（例えば、粒子又は気泡）をキャプチャしてもよい一方で、第２のライン画像（回転が上面から反時計回り方向である場合）が、物体３３０の別の部分をキャプチャしてもよい。シリンジ３００が（例えば、スピン手段１１８により）３６０度回転にわたってスピンするにつれて、ラインスキャンカメラは、画像が十分に小さい回転増分でキャプチャされている限り（例えば、ラインスキャンカメラの画像幅に応じて、１度ごと、又は３度ごとなど）、プランジャ３１０のドーム３１４のエッジ全体をカバーするのに十分なライン画像（ピクセルの垂直スライス／スタック）をキャプチャする。

図３Ｂに示されるように、ラインスキャンカメラは、プランジャドーム３１４の傾斜に整合する又は近似するように、水平面に対して（例えば、シリンジ３００のフランジの平面に対して）僅かに上向きに角度をなしていてもよい。このようにして、ドーム３１４の傾斜に沿った任意の場所（例えば、頂点の近く、壁３１２の近く、又はその間のどこかにある）にある粒子、気泡、又は他の物体を、シリンジ３００中の照らされた溶液によりもたらされる比較的明るい背景に対して鮮明なレリーフとして見える／示される。シリンジ３００に対するラインスキャンカメラの他の向きも可能である。

図４は、（例えば、スピン手段１１８が図３のシリンジ３００を少なくとも３６０度回転させるにつれて）ラインスキャンカメラによりキャプチャされたライン画像（例えば、垂直ピクセルスタック）から生成され得る例示的な２次元画像４００を示す。画像４００は、ストッパエッジ４０２（その上に半透明の溶液がある）を示しており、例えば、図１の画像生成ユニット１３６により生成されてもよい。例示的な画像４００では、ストッパエッジ４０２上に静止している２つの物体４１０、４１２（ここではそれぞれ、気泡及びガラス粒子）を、プロファイル画像から比較的明瞭に見ることができる。例えば、ストッパエッジ４０２は、プランジャドーム３１４のエッジであってもよく、物体４１０又は４１２は、図３Ａ及び図３Ｂの物体３３０であり得る。

図５は、例えば図４の２次元画像４００などの２次元画像に基づいて、受理可能性又は受理不可能性を推論するために使用され得る例示的なニューラルネットワーク５００を示す。ニューラルネットワーク５００は、例えば、図１の推論モデルユニット１３８により実装される推論モデルを形成する（又は推論モデルに含まれる）訓練されたニューラルネットワークであってもよい。ニューラルネットワーク５００は、畳み込みニューラルネットワーク（ＣＮＮ）、又は別の好適なタイプのニューラルネットワークであってもよい。図５に示されるように、例示的なニューラルネットワーク５００は、入力層５１０、３つの隠れ層５１２、及び出力層５１４を含み、これらのそれぞれは、いくつかのノード又は「ニューロン」を含む。他の実施形態では、ニューラルネットワーク５００は、３つより多い又は少ない隠れ層５１２を含んでもよい、及び／又は各層は、図５に示されるよりも多い又は少ないノード／ニューロンを含んでもよいことを理解されたい。

ニューラルネットワーク５００は、特定の２次元画像（例えば、画像４００）が受理可能であるか又は受理不可能であるか否かを推論するように訓練されている。「受理可能」は、対応するサンプルがそれ以上の検査を必要としないことを意味してもよい又は意味しなくてもよく、「受理不可能」は、対応するサンプルを廃棄しなければならないことを意味してもよい又は意味しなくてもよいことを理解されたい。ライン機器１００において、例えば、容器／サンプルが全体として品質検査に合格するために、容器／サンプルが、ＡＶＩステーション１１０－１から１１０－Ｎのそれぞれにおける検査に首尾よく「合格」する必要がある場合がある。この場合、ＡＶＩステーション１１０－ｉでの「受理」出力は、必ずしも対応する容器／サンプルが使用可能である（例えば、商業販売又は他の使用に適している）ことを意味するわけではない。別の例として、いくつかの実施形態では、ＡＶＩステーション１１０－ｉにおける「受理不可能」出力は、容器／サンプルが、必ずしも拒否又は廃棄されるわけではなく、追加の（例えば、手動の）検査を受けなければならないことを意味する。

図１のライン機器１００を参照すると、推論モデルユニット１３８は、画像４００の異なるピクセル５０２の値（例えば、強度値、及び場合によってはＲＧＢカラー値）を、入力層５１０の異なるニューロン／ノードに渡してもよい。いくつかの実施形態では、推論モデルユニット１３８は、それらの値を入力層５１０に適用する前に、ピクセル値（例えば、０～２５５の強度及び／又は色値など）を前処理してもよい。１つの簡単な例として、推論モデルユニット１３８は、各ピクセル値を０から１の間の正規化された値に変換してもよい。他の前処理（例えば、ピクセルサブセット内の複数のピクセル値を平均化すること、又は画像４００の比較的広いエリアに対して最初にピクセルを切り出して、強度値が閾値量を超えて変化することがないようにし、したがって、ストッパ本体を表す可能性があるようにすること）も可能である。

図５は、入力層５１０の４つのニューロンに渡される４つのピクセル値のみを示すが、他の実施形態では、より多くのピクセル値が入力層５１０のより多くのニューロンに渡され、その結果、ニューラルネットワーク５００は、より大きなサブセット又は「チャンク」で画像４００を処理する。いずれにせよ、いくつかの実施形態では、ニューラルネットワーク５００が、全てのピクセルサブセット５０２が個別に受理可能であると判定した場合にのみ、推論モデルユニット１３８は、画像４００が「受理可能」であると判定してもよい。他の、より複雑な実施形態では、ニューラルネットワーク５００は、出力層５１４において３つ以上のニューロンを含んで、非気泡粒子が所与のピクセルサブセットに示される中間確率を反映させてもよく、推論モデルユニット１３８は、全てのピクセルサブセットについての結果を共同で処理して、全体として、画像４００が、受理可能なサンプルを表すか又は受理不可能なサンプルを表すかを判断する（具体的には、ストッパエッジにおいて）。更に他の実施形態では、ニューラルネットワーク５００は、入力層５１０に多数のニューロンを有して、画像４００の全て（又は画像４００において、ストッパがサンプル／溶液と出会う狭い水平バンド内の全てのピクセル）を一度に処理する。

いくつかの実施形態では、ニューラルネットワーク５００において第１のニューロンを第２のニューロンに接続する各ラインは重みに関連付けられ、その値は、訓練プロセス中に決定される（以下で更に説明する）。ニューラルネットワーク５００は、「ソース」ニューロン（すなわち、図５に見られるような接続部の左側）の値／出力にその重みを乗算し、乗算された値を、「宛先」ニューロン（すなわち、図５に示すような接続部の右側）において計算された関数への入力として提供する。更に、各隠れ層５１２の各ニューロンは、前の層５１０又は５１２からの入力に作用する「活性化関数」に関連付けられてもよい。例えば、各隠れ層５１２のニューロンは次の関数を適用してもよい。

式中、

＝ｉ番目の層におけるｊ番目のニューロンの活性化値；

（シグモイド関数）；

＝（ｉ－１）番目の層におけるｋ番目のニューロンと、ｉ番目の層におけるｊ番目のニューロンとの間の重み値；

＝ｉ番目の層におけるｊ番目のニューロンのバイアス。

代わりに、例えば、双曲線正接（Ｔａｎｈ）関数又は正規化線形ユニット（ＲｅＬＵ）関数などの、シグモイド関数以外の関数を、隠れ層５１２の各ニューロンに適用してもよい。

ニューラルネットワーク５００の配置に関して、ピクセル値が前処理される（例えば、平均化、セグメント化など）及び／又はニューラルネットワーク５００に提供される方法に関して、及びニューラルネットワーク５００の出力が推論モデルユニット１３８により処理される又は利用される方法に関して、多くの他の実施形態が可能であることを理解されたい。

ニューラルネットワーク５００は、教師あり学習を使用して訓練されてもよい。より具体的には、ニューラルネットワーク５００は、溶液／ストッパの境界におけるストッパエッジを示す２次元画像の大きなセット（例えば、それぞれが画像４００に類似している）を、幅広く組み合わせた様々な条件と共に使用して、訓練されてもよい。例えば、訓練画像は、粒子及び／又は気泡の多くの異なる数、サイズ、タイプ及び位置、並びに場合によっては（例えば、異なるレベルの半透明性、及び場合によっては異なる粘度を有する）異なる溶液タイプ、及び／又は他のバリエーションを含んでもよい。更に、各訓練画像は、ニューラルネットワーク５００によって提供される利用可能な出力のセットの中からの単一の正しい又は「真の」出力に対応する形でラベル付けされる（例えば、図５では、「受理可能」又は「受理不可能」）。全てのラベルが正しいことを確実にするために、ラベル付けは注意深く行うべきである（例えば、手動検査により、及び場合によっては実験室テストにより）。訓練用サンプルを十分に広範囲の条件で使用することにより、ニューラルネットワーク５００は、重い粒子（例えば、ガラス粒子）に対するガス充填気泡など、従来は区別が困難であった物体を確実に判別することができる。

いったん訓練データセットが完成すると、ニューラルネットワーク５００が訓練され得る。任意の好適な訓練手法が使用されてもよい。例えば、ニューラルネットワーク５００は、各訓練画像について、順伝搬、推論結果に基づく誤差計算（例えば、平均二乗誤差（ＭＳＥ））、及び勾配降下法を使用する逆伝搬、の既知の技術を使用して訓練されてもよい。

より高いレベルでは、図６は、深層学習を、図１のステーション１１０－ｉなどのＡＶＩステーションを用いて実装するための例示的な開発及び認定プロセス６００を示す。プロセス６００の開発段階では、訓練目的のために、ラベル付けされた画像データ６０２が生成及び／又は収集される。データ６０２は注意深く精選されるべきであり、上述したように、広範囲の様々な条件（例えば、粒子サイズ／タイプ、気泡など）を伴う、溶液／ストッパ界面におけるストッパエッジを示す多数の２次元画像を含み得る。ステージ６０４において、機械学習アルゴリズムは、ラベル付けされた画像データを使用してニューラルネットワーク（例えば、上記で論じたようなニューラルネットワーク５００）を訓練する。

いったんニューラルネットワークが訓練されると、プロセス６００の認定段階では、ステージ６１２において、（画像データ６０２とは異なる）画像データ６１０が、訓練されたモデルに入力される。「訓練されたモデル」は、ニューラルネットワーク単独であってもよく、又はいくつかの追加のモデリング又は処理（例えば、訓練されたニューラルネットワークに画像データを入力する前の画像データの前処理）を含んでもよい。認定の全体にわたって、訓練されたモデルは「ロック」されている。すなわち、認定結果が有効なままであることを確実にするために、認定フェーズ中又は認定フェーズ後に、モデルを修正することはできない。これには、例えば、追加の訓練データでニューラルネットワークを改良し、それによりニューラルネットワークの性能を低下させるリスクを回避することは含まれない（例えば、追加の訓練画像が不適切にラベル付けされている場合など）。

ステージ６１４では、認定の目的で推論の結果が観察される。結果が受理可能なレベルの精度を示す場合（例えば、十分に大きいサンプルサイズに対して偽陽性及び／又は偽陰性の割合が十分に低い場合）、認定は成功し、モデルは生産に使用されてもよい。モデルが変更された場合はいつでも、（例えば、新しい条件を表す画像を使用してモデルを更に訓練／改良することにより）、一般的には認定フェーズが繰り返されなければならない。

図７は、ストッパエッジ検査ステーション（例えば、Ｂｏｓｃｈ（登録商標）ＡＩＭ ５０２３ライン機器のストッパエッジ検査ステーション２０２－８と同様）用のニューラルネットワークベースの深層学習を利用して得られた概念実証結果７００、７２０を示す。結果７００及び結果７２０で分かるように、深層学習なしでステーションを稼働させた場合と比較して、深層学習により、この特定のステーションについては、検出能力が約５００％（５倍に）増加し、誤った拒否が約５０％減少した。

図８は、容器（例えば、シリンジ、バイアルなど）の自動目視検査における精度及び効率を高めるための例示的な方法８００のフロー図である。方法８００は、例えば、図１のＡＶＩステーション１１０－ｉにより実装されてもよく、プロセッサ１２０が、メモリ１２２内のＡＶＩコード１２８を実行する。

方法８００では、ブロック８０２において、ラインスキャンカメラが容器のストッパ（例えば、プランジャ又はプラグ）のエッジのプロファイル画像を有するように、サンプル（例えば、液体溶液医薬品）を含有する容器が方向付けられている。例えば、容器は、図３Ａ及び図３Ｂに示されるように、ラインスキャンカメラに対して配置されてもよい。ブロック８０２は、例えば、サンプル移動及び画像キャプチャユニット１３４を実行させる、プロセッサ１２０により生成されたコマンドに応答して、図１の搬送手段１１７により実行されてもよい。

ブロック８０４において、容器は、例えば、サンプル移動及び画像キャプチャユニット１３４を実行させる、プロセッサ１２０により生成されたコマンドに応答して、スピン手段１１８によりスピンされる。ブロック８０６において、容器がスピンしている間（例えば、少なくとも１回の完全な３６０度回転の間）、ラインスキャンカメラ（例えば、画像化システム１１２のラインスキャンカメラ）を使用して、ストッパエッジの複数の画像がキャプチャされる。各画像は、容器の様々な回転位置でキャプチャされる。本明細書で使用される表現では、容器が停止したときに画像がキャプチャされたとしても、「容器がスピンしている間に」画像がキャプチャされたと見なすことを理解されたい。例えば、いくつかの実施形態では、ラインスキャンカメラによる各画像キャプチャのタイミングは、容器が静止している短い時間と一致してもよい（例えば、容器を概ね３６０度回転をステップごとにスピンさせている間に、離散的な小さな回転間隔の間は静止している）。代わりに、ラインスキャンカメラは、ラインスキャン中のいかなる時点においても容器がスピン／回転を停止する必要なく、容器の適切な回転位置で画像をキャプチャすることができる。ブロック８０６は、例えば、サンプル移動及び画像キャプチャユニット１３４を実行させる、プロセッサ１２０により生成されたコマンドに応答して、画像化システム１１２のラインスキャンカメラにより実行されてもよい。

ブロック８０８において、少なくとも複数の画像に基づいて、ストッパエッジの２次元画像が生成される。ブロック８０６においてキャプチャされた画像の各画像は、２次元画像の第１の（例えば、水平）軸にて１つ（又はいくつかなど）のピクセルのみを提供し得るが、２次元画像の第２の（例えば、垂直）軸にて全てのピクセルを提供し得る。ブロック８０８は、例えば、画像生成ユニット１３６を実行させるプロセッサ１２０により実行されてもよい。

ブロック８１０では、訓練されたニューラルネットワーク（例えば、図５のニューラルネットワーク５００）を含む推論モデルを実行して、サンプルが欠陥を含む尤度を示す出力データを生成させることにより、２次元画像のピクセルが処理される（例えば、ストッパエッジにある又はその近くにあるサンプル中の粒子又は他の物体の数、サイズ、及び／又はタイプに基づく）。いくつかの実施形態では、ブロック８１０は、異なるピクセルに関連する強度値、又は強度値（例えば、正規化された値）から導出された他の値を、訓練されたニューラルネットワークの入力層の異なるノードに適用することにより、２次元画像のピクセルを処理することを含む。ブロック８１０は、例えば、推論モデルユニット１３８を実行するプロセッサ１２０により実行されてもよい。

いくつかの実施形態では、方法８００は、図８に示されない１つ以上の追加的なブロックを含む。

一実施形態では、例えば、方法８００は、ブロック８１０において生成された出力データに基づいて、指定された拒否エリアに容器が選択的に搬送される追加のブロックを含む。これは、例えば、サンプル移動及び画像キャプチャユニット１３４を実行させる、プロセッサ１２０により生成されたコマンドに応答して、追加の搬送手段（例えば、図２を参照して上で論じたような追加の回転テーブル、スターホイール、レールなど）により実行されてもよい。

別の例として、方法８００は、ブロック８０２～８０６と並行して実施されるが、第２の容器／サンプルのための（すなわち、スループットを増加させるための）、ブロック８０２～８０６と同様のブロックを含んでもよい。そのような一実施形態では、方法８００はまた、ブロック８０８及び８１０と同様に、（第２の容器のストッパエッジの）追加の２次元画像が生成及び処理される追加のブロックを含んでもよい。

システム、方法、装置及びそれらの構成要素を例示的な実施形態の観点から説明してきたが、システム、方法、装置及びそれらの構成要素は、これらに限定されるものではない。詳細な説明は、例としてのみ解釈されものとし、考え得る全ての実施形態の全てを説明することは、不可能ではないとしても非現実的であることから、本発明の考え得る全ての実施形態を説明しているわけではない。現在の技術又は本特許の申請日以降に開発された技術のいずれかを使用して、多くの代替的な実施形態を実現することができるが、このような実施形態は、本発明を定義する請求項の範囲内に依然として含まれる。

当業者であれば、本発明の範囲から逸脱することなく上記の実施形態に対して多種多様な修正、変更、及び組み合わせを施すことができ、そうした修正、変更、及び組み合わせは本発明の概念の範囲内であると解釈されることを理解するであろう。

Claims (30)

1. 容器の自動目視検査における精度及び効率を高めるための方法であって、
   サンプルを含有する容器を、ラインスキャンカメラが前記容器のストッパのエッジのプロファイル画像を得るように、方向付けることと、
   前記容器をスピンさせることと、
   前記容器をスピンさせながら、前記ラインスキャンカメラにより、前記ストッパの前記エッジの複数の画像をキャプチャすることであって、前記複数の画像の各画像は、前記容器の異なる回転位置に対応する、ことと、
   １つ以上のプロセッサにより、少なくとも前記複数の画像に基づいて、前記ストッパの前記エッジの２次元画像を生成することと、
   訓練されたニューラルネットワークを含む推論モデルを実行する１つ以上のプロセッサにより、前記２次元画像のピクセルを処理して、前記サンプルが欠陥を含む尤度を示す出力データを生成することと、
   を含む方法。
2. １つ以上のプロセッサにより、前記出力データに基づいて、前記容器が、指定された拒否エリアに選択的に搬送されるようにすること、を更に含む、請求項１に記載の方法。
3. 前記出力データは、前記サンプルが特定のタイプの１つ以上の物体を含むか否かを示す、請求項１に記載の方法。
4. 前記訓練されたニューラルネットワークは、前記サンプル中のガス充填気泡と粒子とを判別するように構成されている、請求項３に記載の方法。
5. 前記２次元画像の前記ピクセルを処理することは、異なるピクセルに関連する強度値、又は前記強度値から導出された他の値を、前記訓練されたニューラルネットワークの入力層の異なるノードに適用することを含む、請求項１に記載の方法。
6. 前記容器がシリンジであり、前記ストッパがプランジャであり、前記ストッパの前記エッジが前記サンプルに接触するプランジャドームのエッジである、請求項１に記載の方法。
7. 前記容器を方向付けることは、電動回転テーブル又はスターホイールを使用して前記容器を搬送することを含む、請求項１に記載の方法。
8. 前記容器を方向付けることは、前記ストッパが前記サンプルの下になるように前記容器を反転させることを含む、請求項１に記載の方法。
9. 前記容器をスピンさせることは、前記容器を前記容器の中心軸を中心として少なくとも３６０度回転させることを含む、請求項１に記載の方法。
10. 前記ラインスキャンカメラが第１のラインスキャンカメラであり、前記複数の画像が第１の複数の画像であり、前記容器が第１の容器であり、前記２次元画像が第１の２次元画像であり、前記方法は、
    前記第１の容器を方向付けている間に、第２の容器も方向付けて、第２のラインスキャンカメラが前記第２の容器のストッパのエッジのプロファイル画像を得るようにすることと、
    前記第１の容器をスピンさせながら、前記第２の容器をスピンさせることと、
    前記第１の複数の画像をキャプチャしている間に、前記第２の容器をスピンさせている間に、前記第２のラインスキャンカメラにより、前記第２の容器の前記ストッパの前記エッジの第２の複数の画像をキャプチャすることであって、前記第２の複数の画像の各画像は、前記第２の容器の異なる回転位置に対応する、ことと、
    少なくとも前記第２の複数の画像に基づいて第２の２次元画像を生成することと、
    を更に含む、請求項１に記載の方法。
11. 前記２次元画像の前記ピクセルを処理する前に、容器のストッパエッジのラベル付けされた２次元画像を使用して、前記ニューラルネットワークを訓練することを更に含む、請求項１に記載の方法。
12. 物体の異なるタイプ、数、サイズ、及び位置を含むサンプルを含有する容器のラベル付けされた２次元画像を使用して、前記ニューラルネットワークを訓練することを含む、請求項１１に記載の方法。
13. ラインスキャンカメラと、
    サンプルを含有する容器を方向付けて、前記ラインスキャンカメラが前記容器のストッパのエッジのプロファイル画像を得るようにする、搬送手段と、
    前記容器をスピンさせるためのスピン手段と、
    処理手段であって、
    前記スピン手段が前記容器をスピンさせている間に、前記ラインスキャンカメラに、前記ストッパの前記エッジの複数の画像をキャプチャさせることであって、前記複数の画像の各画像は、前記容器の異なる回転位置に対応する、ことと、
    少なくとも前記複数の画像に基づいて、前記容器の前記ストッパの前記エッジの２次元画像を生成することと、
    訓練されたニューラルネットワークを含む推論モデルを実行することにより、前記２次元画像のピクセルを処理して、前記サンプルが受理可能であるか否かを示す出力データを生成することと、を含む、処理手段と、
    を備える、自動目視検査システム。
14. 前記搬送手段は第１の搬送手段であり、前記自動目視検査システムは、
    前記容器を指定された拒否エリアに搬送するための第２の搬送手段を更に備え、
    前記処理手段は更に、
    前記出力データに基づいて、前記第２の搬送手段に、前記容器を前記指定された拒否エリアに選択的に搬送させるためのものである、請求項１３に記載の自動目視検査システム。
15. 前記出力データは、前記サンプルが特定のタイプの１つ以上の物体を含むか否かを示す、請求項１３に記載の自動目視検査システム。
16. 前記訓練されたニューラルネットワークは、前記サンプル中のガス充填気泡と粒子とを判別するように構成されている、請求項１５に記載の自動目視検査システム。
17. 前記処理手段は、少なくとも、異なるピクセルに関連する強度値、又は前記強度値から導出された他の値を、前記訓練されたニューラルネットワークの入力層の異なるノードに適用することにより、前記２次元画像の前記ピクセルを処理する、請求項１３に記載の自動目視検査システム。
18. 前記容器がシリンジであり、前記ストッパがプランジャであり、前記ストッパの前記エッジが前記サンプルに接触するプランジャドームのエッジである、請求項１３に記載の自動目視検査システム。
19. 前記搬送手段は、電動回転テーブル又はスターホイールを含み、前記搬送手段は、少なくとも、前記電動回転テーブル又は前記スターホイールを使用して前記容器を搬送することにより前記容器を方向付ける、請求項１３に記載の自動目視検査システム。
20. 前記搬送手段は、前記ストッパが前記サンプルの下になるように前記容器を反転させる、請求項１３に記載の自動目視検査システム。
21. 前記スピン手段が前記容器を前記容器の中心軸を中心に少なくとも３６０度スピンさせている間に、前記処理手段が前記ラインスキャンカメラに前記複数の画像をキャプチャさせる、請求項１３に記載の自動目視検査システム。
22. 前記ラインスキャンカメラが第１のラインスキャンカメラであり、前記複数の画像が第１の複数の画像であり、前記容器が第１の容器であり、前記サンプルが第１のサンプルであり、前記搬送手段が第１の搬送手段であり、前記スピン手段が第１のスピン手段であり、前記２次元画像は第１の２次元画像であり、前記出力データが第１の出力データであり、
    前記自動目視検査システムは、第２のラインスキャンカメラ、第２の搬送手段、及び第２のスピン手段を更に備え、
    前記第２の搬送手段は、前記第１の搬送手段が前記第１の容器を方向付けている間に第２の容器を方向付けて、前記第２のラインスキャンカメラが前記第２の容器のストッパのエッジのプロファイル画像を得るようにするためのものであり、
    前記第２のスピン手段は、前記第１のスピン手段が前記第１の容器をスピンさせている間に、前記第２の容器をスピンさせるためのものであり、
    前記処理手段は更に、
    前記第１のラインスキャンカメラが前記第１の複数の画像をキャプチャしている間に、前記第２のラインスキャンカメラに前記第２の容器の前記ストッパの前記エッジの第２の複数の画像をキャプチャさせることと、
    少なくとも前記第２の複数の画像に基づいて、前記第２の容器の前記ストッパの前記エッジの第２の２次元画像を生成することと、
    前記推論モデルを実行することにより、前記第２の２次元画像のピクセルを処理して、第２のサンプルが受理可能であるか否かを示す第２の出力データを生成することと、のためのものである、請求項１３に記載の自動目視検査システム。
23. 自動目視検査システムであって、
    ラインスキャンカメラと、
    サンプルを含有する容器を方向付けて、前記ラインスキャンカメラが前記容器のストッパのエッジのプロファイル画像を得るようにし、そのように方向付けられている間に、前記容器をスピンさせるように構成された、サンプル位置決めハードウェアと、
    命令を記憶するメモリであって、前記命令は、１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、
    前記容器がスピンしている間に、前記ストッパの前記エッジの複数の画像であって、前記複数の画像の各画像が前記容器の異なる回転位置に対応する、複数の画像を、前記ラインスキャンカメラにキャプチャさせ、
    少なくとも前記複数の画像に基づいて、前記容器の前記ストッパの前記エッジの２次元画像を生成させ、
    訓練されたニューラルネットワークを含む推論モデルを実行させることにより、前記２次元画像のピクセルを処理させて、前記サンプルが受理可能であるか否かを示す出力データを生成させる、メモリと、
    を備える、自動目視検査システム。
24. 前記出力データは、前記サンプルが特定のタイプの１つ以上の物体を含むか否かを示す、請求項２３に記載の自動目視検査システム。
25. 前記訓練されたニューラルネットワークは、前記サンプル中のガス充填気泡と粒子とを判別するように構成されている、請求項２４に記載の自動目視検査システム。
26. 前記命令は、少なくとも、異なるピクセルに関連する強度値又は前記強度値から導出された他の値を前記訓練されたニューラルネットワークの入力層の異なるノードに適用することにより、前記１つ以上のプロセッサに、前記２次元画像の前記ピクセルを処理させる、請求項２３に記載の自動目視検査システム。
27. 前記容器がシリンジであり、前記ストッパがプランジャであり、前記ストッパの前記エッジが前記サンプルに接触するプランジャドームのエッジである、請求項２３に記載の自動目視検査システム。
28. 前記サンプル位置決めハードウェアは、電動回転テーブル又はスターホイールを含み、少なくとも、前記電動回転テーブル又は前記スターホイールを使用して前記容器を搬送することにより前記容器を方向付ける、請求項２３に記載の自動目視検査システム。
29. 前記サンプル位置決めハードウェアは、前記ストッパが前記サンプルの下になるように前記容器を反転させる、請求項２３に記載の自動目視検査システム。
30. 前記命令は、前記１つ以上のプロセッサに、
    前記容器が前記容器の中心軸を中心に少なくとも３６０度スピンしている間に、前記ラインスキャンカメラに前記複数の画像をキャプチャさせる、請求項２３に記載の自動目視検査システム。

Images