JP2022512430A - 医薬品容器における粒子検出のためのシート照明 - Google Patents

医薬品容器における粒子検出のためのシート照明 Download PDF

Info

Publication number
JP2022512430A
JP2022512430A JP2021533822A JP2021533822A JP2022512430A JP 2022512430 A JP2022512430 A JP 2022512430A JP 2021533822 A JP2021533822 A JP 2021533822A JP 2021533822 A JP2021533822 A JP 2021533822A JP 2022512430 A JP2022512430 A JP 2022512430A
Authority
JP
Japan
Prior art keywords
container
axis
laser sheet
color
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021533822A
Other languages
English (en)
Other versions
JP7490655B2 (ja
Inventor
ピアソン,トーマス・クラーク
ミルン,グラハム・エフ
フラドキン,ドミトリー
フロイント,アーウィン
Original Assignee
アムジエン・インコーポレーテツド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アムジエン・インコーポレーテツド filed Critical アムジエン・インコーポレーテツド
Publication of JP2022512430A publication Critical patent/JP2022512430A/ja
Priority to JP2024079180A priority Critical patent/JP2024105550A/ja
Application granted granted Critical
Publication of JP7490655B2 publication Critical patent/JP7490655B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/90Investigating the presence of flaws or contamination in a container or its contents
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/90Investigating the presence of flaws or contamination in a container or its contents
    • G01N21/9018Dirt detection in containers
    • G01N21/9027Dirt detection in containers in containers after filling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/061Sources
    • G01N2201/06113Coherent sources; lasers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

試料を保持している容器を撮像するための方法において、容器が第1の軸に対応する第1の方向において容器に入射するレーザシートによって照明される。レーザシートの面は、第1の軸と、第1の軸に直交する第2の軸とによって定義される。本方法はまた、少なくとも第1の軸に実質的に直交する撮像軸を有するカメラによって、容器の画像を取り込むことを含む。本方法は、1つ又は複数のプロセッサによって、容器内及び/又は容器の外表面上にある粒子を検出するために容器の画像を解析することを更に含む。

Description

関連出願の相互参照
2018年12月17日に出願の米国仮特許出願第62/780,542号明細書に対する優先権を主張するものであり、その全内容が参照により本明細書中に組み込まれる。
本出願は、一般に、粒子検出技法に関し、より詳細には、容器(例えば、シリンジ、バイアルなど)内にある粒子と容器の外面上にある粒子とを区別することができる粒子検出技法に関する。
医薬品容器における異物粒子は、特に注射用の医薬品に関して、患者にとって深刻な健康及び安全上のリスクをもたらす。自動外観検査機器は、液体の製品を保持している容器内の粒子を許容可能な精度で検出し得る場合もあるが、例えば、容器の壁の外側上にある小さい粒子及び傷、容器の壁の内側若しくは容器の壁自体の内部にある欠陥(例えば、ひび)、並びに/又は容器の壁の内側にある小さい気泡に起因して、良品を不良品とする誤判定(false rejects)が多く存在し得る。
従来の撮像システム100を図1に示す。図1から分かるように、試料(例えば、液体の医薬品)を充填した容器102が、容器102の反対側にあるカメラ106と概ね対向するように位置決めされた2つの角度をつけられた照明104A及び104Bによって照明されている。照明104A及び104Bは指向性があり、放出された光の大部分は、図1に示す発光面に直交する方向に(すなわち、図1中の矢印が示すように)伝播する。このためには、照明104A、104Bのそれぞれの大きさが、容器全体を均等に照明するのに十分な大きさである必要がある。放出された光の大部分はカメラ106のレンズに向けられていないため、結果として得られる画像は、背景が暗く、それに対して粒子が存在すれば粒子は明るい画像になる。図2は、より大きい不透明な粒子(500μm超)、又は容器の内壁に付着している可能性のある繊維に一般に使用される別の従来の撮像システム200を示している。図2から分かるように、容器202は、カメラ206に対向するバックライト204によって照明されている。この場合、カメラ206は粒子が落とす影を撮像し、粒子は、比較的明るい背景に対して黒い物体として映る。
これらの従来の照明手法の両方の課題は、容器全体に光がたっぷりと当たり、これにより容器の内側及び外側の両方にある粒子及び表面の傷が照明されることである。その結果、容器の内側にある粒子と容器の外側にある粒子とを区別することが難しくなり得る。容器の外側にある粒子は品質管理手続とは関係しない場合があるため、この難しさが良品を不良品とする誤判定のリスクを高めている。撮像システム100など、後方からの角度をつけた照明の構成では、容器の内側にある小さい粒子(約100~500μm)と容器の外側にある粒子とを区別するために、「画像差分法(image subtraction)」又は「最小値投影(minimum intensity projection)」(MIP)として知られる技法が一般に使用される。この技法には、容器の中心軸を中心として容器を高速で回転させること(約600~5000RPM)と、回転を急停止させることと、停止した容器の一連の画像を約10~50ms間隔で取得することと、その後、後続の画像を差し引いて、画像間で移動した物体のみが結果として得られる差分画像に現れるようにすることとが含まれる。これにより、容器内の液体に懸濁され、且つ容器内の液体の勢いで運ばれている物体を強調しながら、容器の外側に存在し得る小さい粒子及び表面の傷を実質的に打ち消すことができる。しかしながら、粘度の高い医薬品の場合には、容器が回転を停止した後に流体及び粒子の動きがほとんどないか全くないため、この技法は不適切な場合がある。撮像システム200などのバックライト構成にも欠点があり、それは、小さい粒子又は不透明ではない粒子を「白飛び(bleach out)」させ得るためであり、バックライト構成は、一般的には、容器の内側にある粒子が、容器の外表面上に通常存在する小さい粒子と区別できるほど十分に大きいことに依存する。
医薬品の自動検査機器の製造業者の中には、これらの課題に対処しようとする技法を提案し、そして実施しているところもある。例えば、「Method and System for Irradiating and Inspecting Liquid-Carrying Containers」と題する米国特許第8,036,444号明細書(Nielsen)は、2台のラインスキャンカメラが回転する容器の平面画像を生成する撮像システムを記載している。1台のカメラは容器の中心軸に整列され、もう1台のカメラは中心軸からずらされている。この技法は、容器が回転されるとき、容器の外側にある粒子は、容器の内側にある粒子よりも水平方向(すなわち、容器の中心軸に直交する方向)に長い距離を移動するという基本原理を利用している。異なる回転数で複数の画像を取得した後、2台のラインスキャンカメラからの画像を比較し、粒子間の距離を計算する。この距離は、場合によっては、容器の内側にある粒子と容器の外側にある粒子とを区別するために使用することができる。
別の例として、「Inspection Method and Inspection Device for Monitoring Production Processes」と題する欧州特許第3,062,292号明細書(Kwoka)は、1台のエリアスキャンカメラを使用する撮像システムを記載している。容器の中心軸に沿った位置で粒子が検出されると、その位置が、粒子が容器の外側にあり、且つ容器が所定の角度(約45°)で容器の中心軸を中心として正確に回転された場合の位置である点にデジタル的にシフトされる。その後、容器を回転させて新しい画像を撮影する。粒子が実際に容器の外側にあれば、デジタル的にシフトされた画像と重なるはずである。そうではなく、粒子が容器の内側にある場合は、デジタル的にシフトされた粒子からいくらかの量だけオフセットされる。
米国特許第8,036,444号明細書(Nielsen)及び欧州特許第3,062,292号明細書(Kwoka)の技法は、上述の従来の画像差分法をいくつかの点で改善し得るが、いずれの手法もそれ自体に大きな欠点がある。1つの難点は、いずれの手法においても、画像間で容器が少しでも振動すると大きな誤差が生じることである。更に、容器の回転中に容器の内側にある粒子が「滑る」と、適切に検出されるのに予期される位置にはない場合がある。更に、イメージャの空間分解能の限界により、良品を不良品とする誤判定の大きな原因となり得るガラスの内側にある小さい傷を識別するにはこれらの技法は不十分なものになり得る。
米国特許第8,036,444号明細書 欧州特許第3,062,292号明細書
更に、有望な3D撮像技法が開発されており、画像から粒子径及び形態を測定する能力を提供するが、このような技法は計算コストが極めて高く、一般的な製造ラインの速度(例えば、1分間に300~600個の容器)では動作しない場合がある。したがって、液体を充填した医薬品容器、特に高粘度の試料/製品を保持する容器(ただしこれに限らない)の内側にある粒子を検出する方法の改善が求められている。
本明細書で説明される実施形態は、従来の自動外観検査技法を改善するシステム及び方法に関する。特に、撮像システムが、比較的薄いシート状のレーザ光によって容器を照明し、このレーザシートはカメラの撮像軸に実質的に直交する方向から容器に入射する。レーザシートは、例えば、容器の中心軸を通ってもよい。この照明構成では、粒子は、レーザシートの厚さ内に粒子がある場合にのみ、結果として得られる画像において見ることができる(又は、特定の強度レベルなどでのみ見ることができる)。このように、レーザシートと、直交するカメラの向きとを利用することによって、画像に見えている粒子が容器の内側にあるのか外側にあるのかを容易に判定することができる、すなわち、容器の外側にある撮像された粒子は、画像において容器の壁の外側にあり、容器の内側にある撮像された粒子は、画像において容器の壁の間にある。
いくつかの実施形態では、容器内にある医薬品(又は他の試料)の体積全体を検査するために、容器は、容器の中心軸を中心として何回か回転され、レーザシートを当てたままの状態で1回転ごとに撮像される。多数の回転が必要になり得るが、画像処理及び計算の負荷を極めて軽くすることができ、良品を不良品とする誤判定の確率も極めて低くなり得る。更に、本技法は、レーザ光の一部が、試料内で散乱して、又は容器/試料(例えば、ガラス/液体)界面で屈折して、容器の内周(例えば、容器が円筒形の場合)を進むという予想外の利点を有する。この散乱光又は屈折光は、容器の内側の任意の場所にある気泡を照明することができ、レーザシートと交差していない気泡でさえも照明することができる。この現象は、表面における屈折率の差が大きいこと(これが実質的な反射及び屈折をもたらす)によりもたらされ、気泡と粒子との形態の違いだけに依拠する他の手法よりも高い精度で、気泡と粒子(例えば、破片、タンパク質凝集体など)とを区別するのに利用され得る。(例えば、従来の画像差分法を用いた場合)気泡は、通常、良品を不良品とする誤判定の大きな原因となるため、気泡(通常は無害)と他の粒子とをより良好に区別できることは重要であり得る。
レーザシート技法を踏まえて、より複雑な他の構成が使用されてもよい。例えば、レーザシートが容器に入るところとレーザシートが容器から出るところとではレーザシートの光学散乱が異なるという事実を補償するために、180度で互いに対向する2つのレーザシート(いずれも単一のカメラに直交する)が使用されてもよい。これにより、必要な回転/画像の数を2分の1に減らすことができる。別の例として、容器の特定の領域(例えば、肩部又は栓の領域)をより良好に撮像するために、1つ又は複数の追加のレーザシートが第1のレーザシートに対して斜めの角度で当てられてもよい。更に別の例として、撮像システムは、ある色(例えば、赤色)のレーザシートを発生する第1のレーザ源と、別の色(例えば、青色)のレーザシートを発生する第2のレーザ源とを備え、容器の中心軸に対して2つのレーザシートの間にいくらかの角度オフセットを有してもよい。この状態で、2つのカメラ(それぞれが2つの色のうち異なる色に調整されている)は同時に画像を取り込むことができる。或いは、単一のカメラを(例えば、1つ若しくは複数のミラー、プリズム、及び/又は他の光学部品と共に)使用して、異なる色のレーザシートのそれぞれの照明によってもたらされる視覚情報を保持する画像を(例えば、ベイヤーフィルタを実装したカメラを使用して、又は2つのレーザシートの異なる色をカメラセンサの異なる部分にマッピングするための光学部品及びフィルタを備えるカメラを使用して)取り込むこともできる。使用するカメラが1台であるか2台であるかにかかわらず、本手法は、必要な回転/画像の数を2分の1に(又は3つの異なる色のレーザシートが使われる場合は3分の1に)減らすことができる。更に別の例として、撮像システムは、ある色(例えば、赤色)のレーザシートを発生するレーザ源と、容器の体積全体を実質的に照明する、別の色(例えば、青色)の光を発生する照明源とを備えてもよい。異なる色に調整されたカメラを使用することにより、容器の内側にある粒子と外側にある粒子とを1つの平面(レーザシート内)で区別することができ、同時に(他の照明源を使用して)体積全体のスナップショットを取得することができる。
上記及び本明細書の他の箇所で説明される技法は、高粘度製品における繊維及び他の粒子の自動検出を可能にすること、容器の内壁に張り付いた小さい粒子の正確な自動検出を可能にすること、容器の内側にある気泡と粒子との区別を改善すること、容器の内壁上にある小さい傷から生じる誤検出若しくは他の問題を回避すること、実際には容器の内側にない粒子に起因する若しくは気泡に起因するコンプライアンス違反のリスクを低減すること(すなわち、医薬品のバッチ全体が破棄され得る良品を不良品とする誤判定を減らすこと)、良品を不良品とする誤判定を回避するためのコストのかかる手作業による検査の必要性を減少させること、並びに/又は患者のリスクを減らすことなど、いくつかの利点をもたらし得る。更に、現在の自動検査機器を最小限のハードウェアの変更で(例えば、1つ又は複数のレーザ源を追加するだけで)改良することにより、本技法を実施することができる。
本明細書で説明される図面は、例示を目的として含めたものであり、本開示を限定するものではないことが当業者には理解されよう。図面は必ずしも縮尺通りではなく、その代わりに、本開示の原理を示すことに重点がおかれている。いくつかの場合では、記載される実施形態の様々な態様は、記載される実施形態の理解を促進するために、誇張又は拡大して示される場合があることを理解されたい。図面中、様々な図面を通して同様の参照符号は、全般的に、機能的に類似する及び/又は構造的に類似する構成要素を指す。
図1及び図2は、粒子検出のための従来の撮像システムを示す。 図1及び図2は、粒子検出のための従来の撮像システムを示す。 図3A及び図3Bは、本明細書で説明される原理にしたがって動作する例示的な撮像システムの第1の実施形態を異なる視点で示す。 図3A及び図3Bは、本明細書で説明される原理にしたがって動作する例示的な撮像システムの第1の実施形態を異なる視点で示す。 図4は、図3A及び図3Bの撮像システムと同様の撮像システムによって照明された容器の例示的な画像を示す。 図5は、本明細書で説明される原理にしたがって動作する例示的な撮像システムの第2の実施形態を示す。 図6は、本明細書で説明される原理にしたがって動作する例示的な撮像システムの第3の実施形態を示す。 図7は、本明細書で説明される原理にしたがって動作する例示的な撮像システムの第4の実施形態を示す。 図8は、図3、図5、図6、又は図7の撮像システムと共に使用され得る例示的な自動検査システムの概略ブロック図である。 図9は、試料を収容している容器を撮像するための例示的な方法のフロー図である。
上で導入として説明され、以下でより詳細に説明される様々な概念は、多くの手法のうちのいずれかで実施することができ、説明される概念は、いかなる特定の実施手法にも限定されるものではない。実施形態の例は、例示を目的として提供されている。
第1の実施形態を図3A及び図3Bに示す。図3A及び図3Bは、例示的な撮像システム300を異なる視点で提示している。具体的には、図3Aは軸外斜視図であり、図3Bは上面図である。図3A及び図3Bでは、(ホルダ303にある)容器302をレーザ源306によって照明しながら、容器302の1つ又は複数の画像がイメージャ304によって取り込まれている。図3A及び図3Bにおいて容器302はシリンジとして描かれているが、容器302は、代わりに他の適切なタイプの容器であってもよく、任意の適切なサイズ及び形状を有してもよいことを理解されたい。例えば、容器302は、代わりに、バイアル、試験管、カートリッジなどであってもよい。容器302は、レーザ源306からの光を通すこと、及びイメージャ304に光を通すことを可能にするように、少なくとも部分的に透明又は半透明であるガラス、プラスチック、又は他の適切な材料(又は材料の組み合わせ)から作られてもよい。動作中、容器302は液体試料を保持することができる。しかしながら、いくつかの使用例では、容器302は、凍結乾燥又は冷凍された試料などの非液体試料を保持することもできる。
ホルダ303は、容器302を所望の位置に維持し、イメージャ304が他の視点から画像を取り込むことができるように容器302を回転させるために必要な任意のハードウェアを含むことができる。ホルダ303は、容器302を1つ又は複数の所望の位置及び/又は向きに位置決めするための何らかの適切な手段の単なる一部分であってもよい。位置決め手段は、撮像システム300の要件に応じて、ハードウェア、ファームウェア、及び/又はソフトウェアの任意の適切な組み合わせを含むことができる。例えば、位置決め手段は、ホルダ303が、固定された向きで、又はホルダ303を回転させることができるように垂直に突出しているプラットフォーム(例えば、平坦なベースコンポーネント)を単に備えてもよい。しかしながら、他の実施形態では、位置決め手段は、自動化された/ロボットのハードウェア(例えば、ホルダ303又は容器302を把持/ピンチできる「指」などの別の適切な保持手段を備えるロボットアーム)を含んでもよい。これらの後者の実施形態では、位置決め手段はまた、処理ユニット(例えば、マイクロプロセッサ、及び/又は特定用途向け集積回路(ASIC)若しくはフィールドプログラマブルゲートアレイ(FPGA)など)と、処理ユニットが容器302を把持/保持/固定、シフト、及び/若しくは回転させるために実行し得る命令を格納するメモリ(例えば、ソリッドステートメモリ又はハードドライブメモリ)とを備えることもできる。当然のことながら、他の位置決め手段も可能である。
イメージャ304は、例えば、1つ又は複数の電荷結合素子(CCD)センサを備えるカメラであってもよい。或いは、イメージャ304は、1つ若しくは複数の相補型金属酸化膜半導体(CMOS)センサ、及び/又は任意の他の適切なタイプの撮像デバイス/センサを備えていてもよい。イメージャ304は、例えばテレセントリックレンズを備えていてもよいし、任意の他の適切なレンズ(又は複数のレンズの組み合わせ)を備えていてもよい。様々な実施形態では、イメージャ304は、画像センサ、光学スタビライザ、画像バッファ、フレームバッファ、フレームグラバなど、ハードウェア及び/又はソフトウェアの任意の適切な組み合わせを備えることができる。より一般的には、撮像システム300は、容器302(又は別の適切な容器)の1つ又は複数の画像を取り込むための任意の適切な手段を備えることができ、撮像手段は、イメージャ304及び/又は1つ若しくは複数の任意の他の適切な撮像デバイス(例えば、イメージャ304に1つ又は複数のミラー、追加のレンズなどを加えたもの)を備える。
レーザ源306は、概ね平面に一致するレーザシート310を発生する。本明細書ではレーザシート310は「シート」と呼ばれるが、レーザ源306及びレーザシート310が通る媒体(すなわち、空気又は他の気体、容器302の壁、及び容器302内の液体又は他の試料)に課せられる実際の制限により、レーザシート310は一様に平坦なシートを形成することを妨げられることを理解されたい。例えば、レーザシート310は、容器302に入るときと、容器302から出るときに、いくらかの拡散を経る。いくつかの実施形態では、レーザ源306は、出力1~5mW、ライン放射角30~60度、ライン幅(厚さ)1~1.5mmのダイオードレーザである。一実施形態では、レーザ源306は、出力3.5mW、波長670nm、ライン放射角60度のEdmund Optics社製Micro VLM(商標)Laser Diode Line、商品コード#52-267である。別の実施形態では、レーザ源306は、出力1.6mW、波長670nm、ライン放射角30度のEdmund Optics社製Micro VLM(商標)Laser Diode Line、商品コード#52-268である。より一般的には、撮像システム300は、レーザ源306又は別の適切なレーザ源など、レーザシート310を発生するための任意の適切な手段を備えてもよい。いくつかの実施形態では(例えば、容器302が可視光を遮断するために暗褐色である場合)、レーザ源306は赤外レーザ光を使用してレーザシート310を発生する。本明細書で使用される場合、「光」という用語は、必ずしも人間に見える電磁スペクトルの部分を指すものではない。
図3Aの例示的な実施形態から分かるように、レーザシート310は、第1の軸330に対応する(すなわち、整列する)方向322において容器302に入射し、第1の軸330と、直交する第2の軸332とによって定義される面に概ね一致する。図示の実施形態では、第2の軸332は、容器302の中心軸320に平行である。更に、図3Bでより明確に示されているように、図示の実施形態では、イメージャ304の撮像軸324が容器302の中心を通る(すなわち、中心軸320を通る)。イメージャ304の撮像軸324は第3の軸334に実質的に平行であり、第3の軸334は第1の軸330及び第2の軸332の両方に直交する。「実質的に(substantially)」という用語は、この状況では、部品のアライメントは決して完全に完璧になることはないという事実を反映し、本明細書で説明される技法によってもたらされる主な利点を破壊しない限り、小さい逸脱は許容され得ることを示すために使用される。例えば、いくつかの使用例では、撮像軸324は、軸330及び332に対して完全な直交状態から5度以内、又は3度以内、2度以内、1度以内などであってもよい。
レーザシート310は、第3の軸334の小さい範囲をカバーする有限の厚さ340を有する。厚さ340は、例えば、第3の軸334に沿ったレーザシート310のビーム幅の3倍を表すことができる。レーザ源306は理想的(理論的に完璧)ではないため、厚さ340は軸330に沿ったすべての点で正確に均一ではない。しかしながら、少なくともレーザシート310が容器302に入る位置では、厚さ340は容器302の直径よりも実質的に小さい。厚さ340は、容器302のサイズ(例えば、直径)と、所望の(又は例えば最大で許容される)回転/画像の数との両方に基づいて設計パラメータとして設定され得る。特に、厚さ340は、容器302が特定の回数回転され(イメージャ304がそれらの視点から画像を取り込みできるようにするため)、1回転ごとに特定の角度オフセットが与えられるとき、最終的に容器302の体積のすべての部分(又はそのうちの大部分)が照明されるように設定され得る。このことはまた、容器302の任意の回転位置において、レーザシート310が容器302の両側(すなわち、レーザシート310が容器302に入るところと、レーザシートが容器302から出るところとの両方)を十分に照明するか否かの考慮を必要とし得る。例えば、完全にカバーするために容器302を90回回転/撮像する場合、且つレーザシート310が容器302の入射側と出射側との両方を十分に照明する場合、厚さ340は、レーザシート310が容器302の円周の1/90(又は1/90強)をカバーし、カバーする半分はレーザシート310が容器302に入るところに対応し、カバーする半分はレーザシート310が容器302から出るところに対応するように設定され得る。一方、レーザシート310が容器302の出射側を十分に照明しない場合、厚さ340は、依然としてレーザシート310が容器302の円周の約1/90をカバーするが、今度は上記のカバーするすべてが、レーザシート310が容器302に入るところで発生するように設定され得る。よって、例えば、容器302の直径が100mmであり、レーザシート310が容器の両側を適切に照明する場合には、厚さ340は約2mmに設定され得る、すなわち、レーザシート310によってカバーされるのは、100mm*π/(90回転)=3.49mm/回転である(ここで、カバーする半分は、厚さ340が3.49mm/2=1.74mmとなるように容器302の両側で発生して、確実に完全にカバーするために厚さを0.26mm余分に取ることができる)。反対に、レーザシート310が容器302の出射側を適切に照明しない場合、厚さ340は約4mmに設定されてもよい(或いは、回転数を90から180に増やしてもよい)。
厚さ340は、下限が完全にカバーする/照明するために必要なものによって制約され得る一方で、厚さ340は、上限が任意の回転/画像に対して容器302の壁を照明しすぎないようにする必要性によって制約され得る。特に、レーザシート310が、容器302の外側にあるが、それにもかかわらず(イメージャ304の視点から)容器302の最も外側の境界の間にあるように見える粒子を照明する場合、撮像システム300によって提供される改善された識別力は低下し始める。様々な実施形態において、厚さ340は、ゼロよりも大きく、1mm未満、2mm未満、3mm未満、4mm未満、5mm未満などである。範囲として述べると、様々な実施形態において、厚さ340は、1~3mm、1~5mm、0.5~5mmなどの範囲にあり得る。
いくつかの実施形態では、レーザ源306の容器302からの距離、及び第2の軸332に沿ったレーザシート310のビーム角度は、レーザシート310が軸330、332によって定義される面内における容器302の断面全体を照明するように固定され得る。しかしながら、他の実施形態では、レーザシート310は、容器302のより小さい断面のみを照明する(例えば、図3Aに示すように肩部又は栓の領域を除く、及び/又は試料を保持することが知られている領域のみを含むなど)。更に、いくつかの実施形態では、レーザシート310は、特定のビーム角度で広がらない。例えば、レーザ源306は、代わりに、一連の円柱レンズを通常のガウシアンレーザビームによって照明することなどにより、よりコリメートされたシート(例えば、第2の軸332の実質的に固定された/一定の範囲をカバーするレーザシート)を発生してもよい。
いくつかの実施形態では、撮像システム300は、図3A及び図3Bに示すものとは異なって構成される。例えば、イメージャ304は、撮像軸324が容器302の中心軸320に平行である(例えば、整列される)ように配置されてもよい。別の例として、イメージャ304の撮像軸324は、軸330、334によって定義される面よりもわずかに上、又はわずかに下になるように角度をつけられてもよい。更に別の例として、レーザシート310の方向322は、(例えば、肩部又は栓の領域をより良好に照明するために)軸330、334によって定義される面よりもわずかに上、又はわずかに下になるように角度をつけられてもよい。更に別の例として、撮像システム300は、(例えば、図5~図7を参照して後述するように)1つ又は複数の追加のイメージャ及び/又は照明源を備えてもよい。
図4は、図3A及び図3Bの撮像システム300など、撮像システムによって照明された容器の例示的な画像400を示している。撮像される容器は、例えば、レーザシート310によって照明されているときの容器302であってもよい。特に、図4は、レーザシートが画像400に示す領域の左側から容器に入射するシナリオ、且つレーザシートが容器の出射側(すなわち、画像400に示す領域の右側)を適切に照明しない実施形態に対応する。
レーザシートの厚さ(例えば、図3A及び図3Bの厚さ340)は、1回の時間/回転で容器の小さい「スライス」しか照明しないため、容器の外側にある粒子(例えば、塵芥又は繊維)は、容器の壁のうちレーザシート源に面する部分(例えば、湾曲した容器の壁が撮像軸に実質的に直交する表面法線ベクトルを有する部分)に沿って(少なくとも、明確な撮像に十分なレベルで)しか照明されない。よって、容器の壁の外側にある粒子は、それらの粒子が明確に容器の外側にあることを画像が示すときにのみ、見ることができる(又は明瞭に見ることができる)。例示的な画像400では、このことは、容器の外側にある粒子は、容器の壁のすぐ左側に(且つ容器の壁に接触して)しか現れないことを意味する。レーザシートが容器の出射(右)側も適切に照明する実施形態では、画像はまた、外部粒子を容器のすぐ右側にある(且つ接触している)として示すことができる。しかしながら、容器の壁の他の部分(すなわち、画像400の中心に近い壁の部分)に位置する外部粒子は、照明されないか、せいぜい散乱光/屈折光によって極めてかすかにしか照明されない。したがって、画像400において容器の左端の境界と右端の境界との間に示される粒子は、明確に容器の内部(すなわち、レーザシートが容器の内部を通る際にレーザシートによって照明された試料の部分/スライス内)にあることになる。
図4から分かるように、レーザシートは、容器の外側の左側にあるいくつかの小さい塵芥のような粒子と、容器の左側の壁のすぐ内側にある大きい粒子(繊維)とを照明する。また、画像400では、繊維の少し右に、容器の内側にある小さい粒子が見えている。本明細書で使用される場合、「粒子」という用語は、容器と比較して小さく、固体(例えば、繊維若しくは他の破片、又はタンパク質凝集体など)、又は場合により一部の使用例ではマイクロエマルジョンである任意の物体を指す。
レーザシートによって撮像する副次的な利点は、気泡が容器内のどこに存在していても、その気泡がレーザシートと交差していないときでさえ、気泡が照明され得ることである。これは、気泡の反射率が高いことと、容器/試料界面において、及び/又は試料内の物体との相互作用に起因して、レーザ光の一部が散乱及び/又は屈折するという事実によってもたらされる。そのような気泡の1つが図4に示されている。その結果、気泡と粒子とを区別することがより容易になり得る。例えば、自動画像解析/処理は、容器の壁の間に現れた物体を「候補」粒子として最初にカウントするが、その後、他の回転点における他の画像が、最初の物体の位置及び既知の回転角度に基づいて予想される位置に物体を引き続き示している場合、その物体は実際の粒子ではなく気泡であると決定し得る。反対に、自動画像解析/処理は、物体が他の回転における他の画像の対応する位置に再出現しない場合、物体(候補粒子)を実際の粒子と識別し得る。
図5は、撮像システム500が、イメージャ504、第1のレーザ源506A、及び第2のレーザ源506Bを使用して容器502を撮像する代替的な実施形態を示しており、レーザ源506A及び506Bが向く方向は180度で対向している。図3A及び図3Bを参照すると、例えば、容器502は容器302と同様であってもよく、イメージャ504はイメージャ304と同様であってもよく、レーザ源506A及び506Bのそれぞれはレーザ源306と同様であってもよい。レーザ源506A及び506Bは、それぞれ、レーザシート510A及び510Bを発生し、そのそれぞれが、図3A及び図3Bのレーザシート310と同様であってもよい。しかしながら、撮像システム500では、レーザシート510Aは、方向522Aにおいて容器502に入射し、レーザシート510Bは、反対の方向522Bにおいて容器502に入射する。イメージャ504の撮像軸524は、方向522A及び522Bに実質的に直交する。
対向する第2のレーザ源を使用することにより、撮像システム500は、容器502の各回転時に容器502の両側(すなわち、イメージャ504の視点から「左」側及び「右」側)をより良好に照明でき、それにより、必要とされる回転及び画像の量を半分に減らすことができる。或いは、回転/画像の数を減らさない場合、第2のレーザ源によって、レーザシート510A及び510Bのそれぞれが(レーザシート310の厚さ340に対して)略半分の厚さを有することができるようになり、このことは、容器502の外側にある照明された粒子が、容器502の壁のすぐ内側(例えば、図4の容器400の左端及び右端の縁部に近いが、その間)にあるように見ないようにすることを確保するのを助け得る。
図6は、撮像システム600が、第1のイメージャ604A、第2のイメージャ604B、第1のレーザ源606A、及び第2のレーザ源606Bを使用して容器602を撮像する、別の代替的な実施形態を示している。図3A及び図3Bを参照すると、例えば、容器602は容器302と同様であってもよく、イメージャ604A及び604Bのそれぞれはイメージャ304と同様であってもよく、レーザ源606A及び606Bのそれぞれはレーザ源306と同様であってもよい。図6の実施形態では、レーザ源606Aによって発生されたレーザシート610A(例えば、レーザシート310と同様のもの)が、第1の方向622Aにおいて容器602に入射し、レーザ源606Bによって発生されたレーザシート610B(例えば、これもレーザシート310と同様のもの)が、第1の方向622Aに平行でも直交でもない第2の方向622Bにおいて容器602に入射する。例えば、方向622Aと622Bとの間には135度の角度変位(又は150度、120度、60度、30度など)があってもよい。イメージャ604Aの撮像軸624Aは、第1の方向622Aに実質的に直交し、イメージャ604Bの撮像軸624Bは、第2の方向622Bに実質的に直交する。
レーザ源606A及び606Bは、異なる波長/色の光を発生してもよい。例えば、レーザシート610Aは赤色であってもよく、レーザシート610Bは青色又は緑色などであってもよい。更に、イメージャ604A及び604Bの光学フィルタは、対応するレーザ源の色のみを通過させるのであってもよい(例えば、イメージャ604Aは、赤色光を撮像し、青色光を撮像しないように構成されてもよく、イメージャ604Bは、青色光を撮像し、赤色光を撮像しないように構成されてもよい)。異なる色を利用することにより、撮像システム600は、イメージャ604A及び604Bによる同時撮像を可能にし、このことは1つ又は複数の利点を有し得る。例えば、試料の2つの「スライス」を一度に撮像することにより、単一のレーザシート及びイメージャを使用する場合に比べて、必要とされる容器602の回転数を半分に減らすことができる、又は、図5に関連して上述したように、レーザシートの厚さを減らすことができる。
代替的な実施形態では、撮像システム600はイメージャ604Aを備えるが、イメージャ604Bは省略される。そのような実施形態では、撮像システム600は、イメージャ604Aの光路が、方向624Aと整列する第1の成分と、方向624Bと整列する第2の成分との両方を有するようにするための適切な光学系(例えば、1つ若しくは複数のミラー、プリズム、及び/又は他の光学部品)を備える。イメージャ604Aは、レーザシート610A、610Bのそれぞれからの照明によってもたらされる視覚情報を取り込んで区別して保存するために、例えば、ベイヤーフィルタ(例えば、通常のカラーCCD又はCMOSチップ)を備えてもよい。つまり、単一のイメージャ604Aは、容器602の1回転ごとに、レーザシート610Aの色(例えば、赤色)に対応する第1の画像とレーザシート610Bの色(例えば、緑色)に対応する第2の画像とを再作成するのに十分な情報を含む合成画像を取り込むことができる。或いは、イメージャ604Aは、異なる色に対応する視覚情報をカメラセンサの異なる部品にマッピングするのに適切な光学系及びフィルタを備えたカメラを備えていてもよい。
図7は、撮像システム700が、第1のイメージャ704A、第2のイメージャ704B、レーザシート710を発生するレーザ源706、及び追加の照明源712を使用して容器702を撮像する、更に別の代替的な実施形態を示している。図3A及び図3Bを参照すると、例えば、容器702は容器302と同様であってもよく、イメージャ704A及び704Bの一方又は両方はイメージャ304と同様であってもよく、レーザ源706はレーザ源306と同様であってもよい。ただし、照明源712は、レーザシートを発生しなくてもよく、実際には、レーザを全く発生しなくてもよい。例えば、照明源712は、1つ若しくは複数の発光ダイオード(LED)及び/又は実質的に容器702の体積全体を一度に照明する別の適切な光源を含んでいてもよい。レーザシート710(例えば、レーザシート310と同様のもの)は、方向722において容器702に入射し、イメージャ704Aの撮像軸724Aは、方向722に実質的に直交し、イメージャ704Bの撮像軸724Bは、方向722に平行でも直交でもない。照明源712は、図7では(イメージャ704Bに対する)バックライト構成で示されているが、いくつかの実施形態では、照明源712は撮像軸724Bからずらされてもよいことを理解されたい。例えば、照明源712は、撮像軸724Bの上及び/又は下に配置され、直接的なバックライトを提供することなく容器702を照明するように下及び/又は上に角度をつけられた1つ又は複数の光源を備えてもよい。
レーザ源706及び照明源712は、異なる波長/色の光を発生する。例えば、レーザシート710は赤色であってもよく、照明源712によって発生される光は青色であってもよい。更に、イメージャ704A及び704Bの光学フィルタは、対応する照明源の色を通すように構成されてもよい(例えば、イメージャ704Aは、赤色光を撮像するが青色光を撮像しないように構成されてもよく、イメージャ704Bは、青色光を撮像するが赤色光を撮像しないように構成されてもよい)。異なる色を利用することにより、撮像システム700は、イメージャ704A及び704Bによる同時撮像を可能にし、このことは1つ又は複数の利点を有し得る。例えば、イメージャ704Bによって生成された画像は、動きの追跡を目的として、容器702内又は容器702上の任意の場所にある粒子を識別するために使用されてもよく、一方、イメージャ704Aによって生成された画像は、それらの粒子のうちどれが容器702の外側にあるかを判定するために使用されてもよい。
代替的な実施形態では、撮像システム700は、イメージャ704Aを備えるが、イメージャ704Bを省略する。図6に関連して上述した構成と同様に、例えば、イメージャ704Aは、ベイヤーフィルタ(又は、異なる色をカメラセンサの異なる領域にマッピングする光学系/フィルタ)を実装してもよく、撮像システム700は、方向724A及び724Bの両方に沿った光路部品をイメージャ704Aに提供するために、適切な追加の光学部品(例えば、ミラー及び/又はプリズム)を備えてもよい。このようにして、イメージャ704Aは、レーザ源706からの照明及び光源712からの照明によって提供される視覚情報をそれぞれ保存した画像を取り込むことができる。
図8は、図3、図5、図6、又は図7に関連して上述した撮像システムのうちのいずれか1つと共に使用され得る例示的な自動検査システム800の概略ブロック図である。自動検査システム800は、イメージャ804(例えば、イメージャ304と同様のもの)から画像を受信するコンピュータシステム802を備える。イメージャ804は、上述の様々な実施形態のいずれかに記載されているように、試料を保持している容器及び試料がレーザシートによって照明されている間に容器の1つ又は複数の画像を生成する。
コンピュータシステム802は、本明細書で説明される動作を実行するように特にプログラムされた汎用コンピュータであってもよいし、専用コンピューティングデバイス(例えば、イメージャ804を備える撮像ユニットの一部)であってもよい。図8から分かるように、コンピュータシステム802は、処理ユニット810と、メモリユニット812とを備える。ただし、いくつかの実施形態では、コンピュータシステム802は、同じ位置に配置される、又は互いに遠隔にある2つ以上のコンピュータを含む。これらの分散型の実施形態では、処理ユニット810及び/又はメモリユニット812に関連する本明細書で説明される動作は、複数の処理ユニット及び/又はメモリユニットにそれぞれ分割されてもよい。
処理ユニット810は、容器内及び/又は容器の外表面上にある粒子を検出するために容器の画像を解析するための処理手段を備える。処理ユニット810は1つ又は複数のプロセッサを備え、1つ又は複数のプロセッサのそれぞれが、メモリユニット812に格納されたソフトウェア命令を実行して、本明細書で説明されるコンピュータシステム802の機能の一部又はすべてを実行するプログラム可能なマイクロプロセッサであり得る。処理ユニット810は、例えば、1つ若しくは複数のグラフィック処理ユニット(GPU)及び/又は1つ若しくは複数の中央処理ユニット(CPU)を含み得る。代替的又は追加的に、処理ユニット810におけるプロセッサのいくつかは、他のタイプのプロセッサ(例えば、ASIC、FPGAなど)であってもよく、本明細書で説明されるコンピュータシステム802の機能のいくつかは、代わりにハードウェアで実装されてもよい。メモリユニット812は、1つ又は複数の揮発性及び/又は不揮発性メモリを備え得る。読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、フラッシュメモリ、ソリッドステートドライブ(SSD)、ハードディスクドライブ(HDD)など、1つ又は複数の任意の適切なメモリタイプを含めることができる。まとめて、メモリユニット812は、1つ又は複数のソフトウェアアプリケーションの命令、それらのアプリケーションによって受信/使用されるデータ、及びそれらのアプリケーションによって出力/生成されるデータを格納し得る。
メモリユニット812に格納されたそのようなソフトウェアアプリケーションの1つは、処理ユニット810によって実行されると、イメージャ804によって生成された画像を(場合により、図6のイメージャ604B又は図7のイメージャ704Bなどの1つ又は複数の他のイメージャによって生成された画像も)処理して、試料内の粒子を検出する(例えば、試料内の粒子数を測定する)、及び/又はそれらの粒子の特性(例えば、粒子サイズ、タイプなど)を判定する、粒子検出アプリケーション814である。粒子検出アプリケーション814はまた、試料が許容範囲にあるか破棄すべきかを判定するために、粒子数、サイズ、タイプ、及び/又は他の要因に基づいて特定の試料を評価するなど、他の動作を実行してもよい。
比較的単純な実施形態では、粒子検出アプリケーション814は、特定の容器/試料に関するすべての「スライス」画像(例えば、レーザシートの向きを固定して容器を90回転させた場合に対応する90枚の画像)を解析し、容器の壁の間に現れたものを容器の内側にある粒子とし、容器の壁の外側に現れたものを容器の外側にある粒子として分類してもよい。ただし、上述のように、より複雑なアルゴリズムを使用することもできる。例えば、粒子検出アプリケーション814は、任意の画像において容器の壁の間に現れるものを「候補粒子」と分類し、次いで分類器(例えば、訓練されたニューラルネットワーク)を使用して、各候補が実際に粒子であるか、そうではなく気泡であるかを判定してもよい(及び/又は、例えば、気泡でない場合には、粒子のタイプを分類してもよい)。別の例として、粒子検出アプリケーション814はまた、1つ又は複数の追加のイメージャ(例えば、図6のイメージャ604B又は図7のイメージャ704B)からの画像を解析して、容器内の粒子をより正確に検出、分類、及び/又は位置決めすることもできる。例えば、2台のイメージャからの画像を使用して、容器の1回の回転/位置に対応する1回の時間における容器内の粒子の三次元位置をより良好に判定することができる(これは、試料があまり高粘度ではなく、容器が1つの位置から次の位置に回転する際に粒子/気泡が多少移動する場合に必要となり得る)。粒子検出アプリケーション814は、容器及び試料内の粒子を検出、分類、及び/又は位置決めするために、任意の他の適切な技法を追加的又は代替的に利用することもできる。
図9は、試料を保持している容器を撮像するための例示的な方法900のフロー図である。方法900は、撮像システム300、500、600、若しくは700の1つ若しくは複数の部分によって、及び/又は自動検査システム800の1つ若しくは複数の部分によって実行されてもよい。例えば、ブロック902は、レーザ源306、506A、606A、及び706のうちの1つによって実行されてもよく、ブロック904は、イメージャ304、504、604A、及び704Aのうちの1つによって実行されてもよく、ブロック906は、コンピュータシステム802によって(例えば、メモリユニット812に格納された粒子検出アプリケーション814の命令を実行するときに処理ユニット810によって)実行されてもよい。
ブロック902において、容器は、第1の軸に対応する第1の方向(例えば、図3Aの第1の軸330に対応/整列する方向322)において容器に入射するレーザシートによって照明される。レーザシートの面は、第1の軸と、直交する第2の軸(例えば、図3Aの第2の軸332)とによって定義される。レーザシートは、例えば、容器の中心軸(例えば、図3Aの中心軸320)を通ってもよい。レーザシートは、第1の軸及び第2の軸に直交する第3の軸(例えば、図3Aの第3の軸334)に沿って特定の厚さに関連付けられる。レーザシートが容器に入るところでは、レーザシートの厚さは、ゼロよりも大きいが、1mm未満、2mm未満、3mm未満、4mm未満、5mm未満などであり得る。範囲として述べると、様々な実施形態において、厚さは1~3mm、1~5mm、0.5~10mmなどの範囲にある。いくつかの実施形態では、厚さは、容器の外周(例えば、円周)の1/360~1/30である。レーザシートは、例えば、白色光を含んでいてもよいし、可視スペクトルのより狭い部分に制約されていてもよい(例えば、赤色のレーザシート)。
ブロック904において、レーザシートによって照明されている間に、容器の画像が、イメージャ(例えば、イメージャ304、504、604A、又は704A)によって取り込まれる。イメージャは、少なくとも第1の軸に(場合によっては第2の軸にも)実質的に直交する撮像軸(例えば、図3Aの撮像軸324)を有する。
ブロック906において、容器内及び/又は容器の外表面上にある粒子を検出するために、ブロック904で取り込まれた画像が解析される。いくつかの実施形態では、外側の粒子は、それらの粒子を差し引く目的でのみ「検出」される(例えば、容器の外側にある粒子が関心の対象とならない場合の品質管理手続のため)。ブロック904はまた、容器の内側にある粒子を(タイプ、サイズなどによって)分類すること、容器の内側にある粒子を数えること、及び/又は1つ若しくは複数の他の動作を含み得る。
いくつかの実施形態では、方法900は、図9に示されていない1つ又は複数の追加ブロックを含む。例えば、方法900は、レーザシートによって容器を照明しながら、容器が動かされて、容器の中心軸を中心として複数回の回転を行う第1の追加ブロックを含んでもよい。方法900はまた、イメージャによって容器の複数の画像が取り込まれる(各画像は複数回の回転のうちのそれぞれ1つに対応する)第2の追加ブロックと、容器内及び/又は容器の外表面上の粒子を検出するために複数の画像のそれぞれが解析される第3の追加ブロックとを含むことができる。
いくつかの実施形態では、レーザシートは第1の色(例えば、赤色)であり、イメージャはその第1の色以外の色をフィルタで除去するように構成される。そのような一実施形態では、方法900は、レーザシートによって容器を照明するのと同時に、容器が異なる色(例えば、青色)の第2のレーザシートによって照明される第1の追加ブロックを含む。第2のレーザシートは、第1の軸に平行ではない(すなわち、他のレーザシートの方向に平行ではない)第2の方向において容器に入射してもよく、第2のレーザシートの面は、その第2の方向と、第2の軸に実質的に平行な第3の方向とによって定義されてもよい。方法900はまた、追加のイメージャによって容器の追加の画像が取り込まれる第2の追加ブロックを含んでもよく、追加のイメージャは、第2のレーザシートの色以外の色をフィルタで除去するように構成され、少なくとも第2の(場合によっては第3の)方向に実質的に直交する撮像軸を有する。追加の画像は、例えば、ブロック904で取り込まれた画像と同時に取り込まれてもよい。次いで、ブロック906は、粒子を検出するために容器の両方の画像を解析することを含むことができる。
更に別の実施形態では、上述の例のように、レーザシートは第1の色(例えば、赤色)であり、イメージャはその第1の色以外の色をフィルタで除去するように構成される。しかしながら、本実施形態では、方法900は、レーザシートによって容器を照明するのと同時に、容器の体積/内容物のすべて又は少なくとも大部分を照明する異なる色(例えば、青色)の光によって容器を照らす第1の追加ブロックを含む。方法900はまた、追加のイメージャによって容器の追加の画像が取り込まれる第2の追加ブロックを含んでもよく、追加のイメージャは、追加の(例えば、レーザではない)光源の色以外の色をフィルタで除去するように構成される。追加の画像は、例えば、ブロック904で取り込まれた画像と同時に取り込まれてもよい。次いで、ブロック906は、粒子を検出するために容器の両方の画像を解析することを含むことができる。
システム、方法、装置、及びそれらの構成要素を例示的実施形態の観点から説明してきたが、システム、方法、装置、及びそれらの構成要素は、これらに限定されるものではない。詳細な説明は、例としてのみ解釈されるものとし、考え得るすべての実施形態のすべてを説明することは、不可能ではないとしても非現実的であることから、本発明の考え得るすべての実施形態を説明しているわけではない。現在の技術又は本特許の申請日以降に開発された技術のいずれかを使用して、多くの代替的な実施形態を実施することができるが、このような実施形態はなお、本発明を定義する請求項の範囲内に含まれる。
当業者であれば、本発明の範囲から逸脱することなく上記の実施形態に対して多種多様な修正、変更、及び組み合わせを施すことができ、そうした修正、変更、及び組み合わせは本発明の概念の範囲内であると解釈されることを理解するであろう。

Claims (20)

  1. 試料を保持している容器を撮像するための方法であって、前記方法が、
    第1の軸に対応する第1の方向において前記容器に入射するレーザシートによって前記容器を照明することであって、前記レーザシートの面が、前記第1の軸と、前記第1の軸に直交する第2の軸とによって定義される、ことと、
    少なくとも前記第1の軸に実質的に直交する撮像軸を有するイメージャによって、前記容器の画像を取り込むことと、
    1つ又は複数のプロセッサによって、前記容器内及び/又は前記容器の外表面上にある粒子を検出するために前記容器の前記画像を解析することと
    を含む、方法。
  2. 前記レーザシートによって前記容器を照明することが、前記容器の中心軸を通るレーザシートによって前記容器を照明することを含む、請求項1に記載の方法。
  3. 前記レーザシートが前記容器に入る位置における、前記第1の軸及び前記第2の軸に直交する第3の軸に沿った前記レーザシートの厚さが3ミリメートル未満である、請求項1又は2に記載の方法。
  4. 前記レーザシートの厚さが前記容器の周囲の1/360~1/30をカバーする、請求項1~3のいずれか一項に記載の方法。
  5. 前記レーザシートによって前記容器を照明しながら、前記容器を動かして、前記容器の中心軸を中心として複数回の回転を行わせることと、
    前記イメージャによって、前記容器の複数の画像を取り込むことであって、各画像が前記複数回の回転のうちのそれぞれ1つに対応する、ことと、
    前記1つ又は複数のプロセッサによって、前記容器内及び/又は前記容器の外表面上にある粒子を検出するために前記容器の前記複数の画像を解析することと
    を更に含む、請求項1~4のいずれか一項に記載の方法。
  6. 前記レーザシートが第1の色の第1のレーザシートであり、
    前記イメージャが、前記第1の色以外の色をフィルタで除去するように構成された第1のイメージャであり、
    前記方法が、
    前記第1のレーザシートによって前記容器を照明するのと同時に、前記第1の色とは異なる第2の色の第2のレーザシートによって前記容器を照明することであって、前記第2のレーザシートが、前記第1の軸に平行ではない第2の方向において前記容器に入射し、前記第2のレーザシートの面が、前記第2の方向と、前記第2の軸に実質的に平行な第3の方向とによって定義される、ことと
    前記第2の色以外の色をフィルタで除去するように構成され、少なくとも前記第2の方向に実質的に直交する撮像軸を有する追加のイメージャによって、前記容器の追加の画像を取り込むことと
    を更に含み、
    前記容器の前記画像を解析することが、前記容器内及び/又は前記容器の外表面上の粒子を検出するために前記容器の前記画像と前記容器の前記追加の画像との両方を解析することを含む、請求項1~5のいずれか一項に記載の方法。
  7. 前記レーザシートが第1の色のレーザシートであり、
    前記イメージャが、前記第1の色以外の色をフィルタで除去するように構成された第1のイメージャであり、
    前記方法が、
    前記レーザシートによって前記容器を照明するのと同時に、前記第1の色とは異なる第2の色の光によって前記容器を照明することであって、前記第2の色の前記光が前記容器の体積全体の少なくとも大部分を照明する、ことと、
    前記第2の色以外の色をフィルタで除去するように構成された追加のイメージャによって、前記容器の追加の画像を取り込むことと
    を更に含み、
    前記容器の前記画像を解析することが、前記容器内及び/又は前記容器の外表面上の粒子を検出するために前記容器の前記画像と前記容器の前記追加の画像との両方を解析することを含む、請求項1~5のいずれか一項に記載の方法。
  8. 前記第1の方向が前記容器の中心軸に実質的に直交する、請求項1~7のいずれか一項に記載の方法。
  9. 前記第1の方向が前記容器の中心軸に実質的に平行である、請求項1~7のいずれか一項に記載の方法。
  10. 前記撮像軸が前記第1の軸及び前記第2の軸に実質的に直交する、請求項1~9のいずれか一項に記載の方法。
  11. 容器を位置決めするための位置決め手段と、
    第1の軸に対応する第1の方向において前記容器に入射するレーザシートを発生するための照明手段であって、前記レーザシートの面が、前記第1の軸と、前記第1の軸に直交する第2の軸とによって定義される、照明手段と、
    前記容器の1つ又は複数の画像を取り込むための撮像手段であって、前記容器の1つ又は複数の画像を取り込むための前記撮像手段が、少なくとも前記第1の軸に実質的に直交する撮像軸を有する、撮像手段と、
    を備える、撮像システム。
  12. 前記照明手段が、前記容器の中心軸を通るレーザシートを発生するためのものである、請求項11に記載の撮像システム。
  13. 前記照明手段が、前記レーザシートが前記容器に入る位置において、且つ前記第1の軸及び前記第2の軸に直交する第3の軸に沿って、3ミリメートル未満である厚さを有するレーザシートを発生するためのものである、請求項11又は12に記載の撮像システム。
  14. 前記照明手段が、前記容器の周囲の1/360~1/30をカバーする厚さを有するレーザシートを発生するためのものである、請求項11~13のいずれか一項に記載の撮像システム。
  15. 前記位置決め手段が、前記容器を前記レーザシートによって照明しながら、前記容器を複数回回転させるためのものでもある、請求項11~14のいずれか一項に記載の撮像システム。
  16. 前記照明手段が、第1の色の第1のレーザシートを発生するための第1の照明手段であり、
    前記撮像手段が、前記第1の色以外の色をフィルタで除去するための第1の撮像手段であり、
    前記撮像システムが、
    前記第1の軸に平行ではない第2の方向において前記容器に入射する、前記第1の色とは異なる第2の色の第2のレーザシートを発生するための第2の照明手段であって、前記第2のレーザシートの面が、前記第2の方向と、前記第2の軸に実質的に平行な第3の方向とによって定義される、第2の照明手段と、
    前記第2の色以外の色をフィルタで除去するための第2の撮像手段であって、前記第2の撮像手段が、前記容器の画像を取り込むように位置決めされ、少なくとも前記第2の方向に直交する第5の方向に整列された撮像軸を有する、第2の撮像手段と
    を更に備える、請求項11~15のいずれか一項に記載の撮像システム。
  17. 前記照明手段が、第1の色の第1のレーザシートを発生するための第1の照明手段であり、
    前記撮像手段が、前記第1の色以外の色をフィルタで除去するための第1の撮像手段であり、
    前記撮像システムが、
    前記第1の色とは異なる第2の色の光によって前記容器を照明するための第2の照明手段であって、前記第2の色の前記光が前記容器の体積全体の少なくとも大部分を照明する、第2の照明手段と、
    前記第2の色以外の色をフィルタで除去するための第2の撮像手段であって、前記第2の撮像手段が、前記容器の画像を取り込むように位置決めされる、第2の撮像手段と
    を更に備える、請求項11~15のいずれか一項に記載の撮像システム。
  18. 前記第1の方向が前記容器の中心軸に実質的に直交する、請求項11~17のいずれか一項に記載の撮像システム。
  19. 前記第1の方向が前記容器の中心軸に実質的に平行である、請求項11~17のいずれか一項に記載の撮像システム。
  20. 前記容器内及び/又は前記容器の外表面上にある粒子を検出するために前記容器の前記画像を解析するための処理手段を更に備える、請求項11~19のいずれか一項に記載の撮像システム。
JP2021533822A 2018-12-17 2019-12-16 医薬品容器における粒子検出のためのシート照明 Active JP7490655B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024079180A JP2024105550A (ja) 2018-12-17 2024-05-15 医薬品容器における粒子検出のためのシート照明

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862780542P 2018-12-17 2018-12-17
US62/780,542 2018-12-17
PCT/US2019/066458 WO2020131666A1 (en) 2018-12-17 2019-12-16 Sheet lighting for particle detection in drug product containers

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024079180A Division JP2024105550A (ja) 2018-12-17 2024-05-15 医薬品容器における粒子検出のためのシート照明

Publications (2)

Publication Number Publication Date
JP2022512430A true JP2022512430A (ja) 2022-02-03
JP7490655B2 JP7490655B2 (ja) 2024-05-27

Family

ID=69177199

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021533822A Active JP7490655B2 (ja) 2018-12-17 2019-12-16 医薬品容器における粒子検出のためのシート照明
JP2024079180A Pending JP2024105550A (ja) 2018-12-17 2024-05-15 医薬品容器における粒子検出のためのシート照明

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024079180A Pending JP2024105550A (ja) 2018-12-17 2024-05-15 医薬品容器における粒子検出のためのシート照明

Country Status (11)

Country Link
US (2) US11592403B2 (ja)
EP (2) EP4403907A3 (ja)
JP (2) JP7490655B2 (ja)
CN (1) CN113196043A (ja)
AU (1) AU2019406534A1 (ja)
CA (1) CA3118915A1 (ja)
DK (1) DK3899507T3 (ja)
FI (1) FI3899507T3 (ja)
IL (1) IL282863B1 (ja)
SG (1) SG11202104514PA (ja)
WO (1) WO2020131666A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111052129B (zh) * 2017-07-28 2024-03-08 美国西门子医学诊断股份有限公司 深度学习体积定量方法和设备
US20210129971A1 (en) * 2019-11-01 2021-05-06 The Boeing Company System and method for measuring localized characteristics of a transparency
US11892652B1 (en) * 2020-04-07 2024-02-06 Mark Belloni Lenses for 2D planar and curved 3D laser sheets
DE102020118470A1 (de) * 2020-07-13 2022-01-13 Krones Aktiengesellschaft Vorrichtung und Verfahren zum Inspizieren von Behältnissen
IT202000030191A1 (it) 2020-12-09 2022-06-09 Nuova Ompi Srl Apparato e metodo per ispezionare contenitori cilindrici trasparenti contenenti prodotti lattiginosi, in particolare per applicazioni medicali
IT202000031394A1 (it) * 2020-12-18 2022-06-18 Nuova Ompi Srl Apparato e metodo per ispezionare contenitori cilindrici trasparenti contenenti prodotti gel o viscosi trasparenti o semi trasparenti, in particolare per applicazioni medicali
CN113624649B (zh) * 2021-08-05 2023-12-08 西安航空学院 基于机器视觉的路用集料针片状含量检测系统及方法
US20230254589A1 (en) * 2022-02-04 2023-08-10 Applied Materials, Inc. Pulsed illumination for fluid inspection
WO2024052440A1 (en) 2022-09-09 2024-03-14 F. Hoffmann-La Roche Ag Inspection system and method for a closed medical container

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0579999A (ja) * 1991-09-24 1993-03-30 Mitsubishi Heavy Ind Ltd びん内沈降異物の検査装置
JP2002267613A (ja) * 2001-03-14 2002-09-18 Hitachi Eng Co Ltd 透明容器等の充填液中の異物検出装置及びシステム
JP2005070013A (ja) * 2003-08-28 2005-03-17 Hitachi Eng Co Ltd 容器充填液体の異物検査方法
JP2011095107A (ja) * 2009-10-29 2011-05-12 Mutual Corp 異物検査装置および異物検査方法
WO2017200939A1 (en) * 2016-05-16 2017-11-23 Abbvie Inc. Systems and methods for identifying protein aggregates in biotherapeutics

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62220844A (ja) 1986-03-24 1987-09-29 Hitachi Ltd 異物検査装置
DK17791D0 (da) * 1991-02-01 1991-02-01 Novo Nordisk As Beholderinspektion
US5280170A (en) * 1992-12-22 1994-01-18 Emhart Glass Machinery Investments Inc. Machine for inspecting the shape of a container having a two dimensional camera for viewing the shadow of the projection of the container
US6937339B2 (en) * 2001-03-14 2005-08-30 Hitachi Engineering Co., Ltd. Inspection device and system for inspecting foreign matters in a liquid filled transparent container
EP1736782A4 (en) * 2004-03-31 2010-06-09 Tokyo Electric Power Co FLUID MEASURING SYSTEM AND FLUID MEASURING METHOD
ATE466278T1 (de) * 2005-10-15 2010-05-15 Udviklingsselskabet Innoscan K Verfahren und system zur bestrahlung und inspektion flüssigkeitstragender behälter
US8681215B2 (en) 2011-04-29 2014-03-25 ProteinSimple Method and particle analyzer for determining a broad particle size distribution
US8895778B2 (en) * 2011-10-13 2014-11-25 Iowa State University Research Foundation Depolymerization of polylactic acid
US10132736B2 (en) * 2012-05-24 2018-11-20 Abbvie Inc. Methods for inspection of protein particles in a liquid beneficial agent
DE102013222827A1 (de) * 2013-11-11 2015-05-13 Robert Bosch Gmbh Vorrichtung zur Detektion von Partikeln in einem transparenten Behälter
US20170016814A1 (en) * 2013-12-27 2017-01-19 Hitachi, Ltd. Biomolecule analysis device
DE102015002377A1 (de) 2015-02-25 2016-08-25 Seidenader Maschinenbau Gmbh Inspektionsverfahren und Inspektionsvorrichtung zur Überwachung von Produktionsprozessen
DE102016114190A1 (de) 2016-08-01 2018-02-01 Schott Schweiz Ag Verfahren und Vorrichtung zur optischen Untersuchung transparenter Körper
US10088660B2 (en) * 2017-02-10 2018-10-02 Amgen Inc. Imaging system for counting and sizing particles in fluid-filled vessels

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0579999A (ja) * 1991-09-24 1993-03-30 Mitsubishi Heavy Ind Ltd びん内沈降異物の検査装置
JP2002267613A (ja) * 2001-03-14 2002-09-18 Hitachi Eng Co Ltd 透明容器等の充填液中の異物検出装置及びシステム
JP2005070013A (ja) * 2003-08-28 2005-03-17 Hitachi Eng Co Ltd 容器充填液体の異物検査方法
JP2011095107A (ja) * 2009-10-29 2011-05-12 Mutual Corp 異物検査装置および異物検査方法
WO2017200939A1 (en) * 2016-05-16 2017-11-23 Abbvie Inc. Systems and methods for identifying protein aggregates in biotherapeutics

Also Published As

Publication number Publication date
EP4403907A2 (en) 2024-07-24
US11874233B2 (en) 2024-01-16
JP7490655B2 (ja) 2024-05-27
DK3899507T3 (da) 2024-09-09
US20230139131A1 (en) 2023-05-04
IL282863B1 (en) 2024-10-01
EP3899507A1 (en) 2021-10-27
CN113196043A (zh) 2021-07-30
US20220057336A1 (en) 2022-02-24
EP3899507B1 (en) 2024-07-17
US11592403B2 (en) 2023-02-28
WO2020131666A1 (en) 2020-06-25
FI3899507T3 (fi) 2024-09-17
IL282863A (en) 2021-06-30
CA3118915A1 (en) 2020-06-25
EP4403907A3 (en) 2024-10-23
AU2019406534A1 (en) 2021-06-03
SG11202104514PA (en) 2021-05-28
JP2024105550A (ja) 2024-08-06

Similar Documents

Publication Publication Date Title
JP7490655B2 (ja) 医薬品容器における粒子検出のためのシート照明
JP6590876B2 (ja) 流体中の非溶解粒子の非破壊的検出のための方法および装置
JP2019523424A (ja) 透明なボディの光学検査を行う方法および装置
AU2023218255A1 (en) Visual inspection systems for containers of liquid pharmaceutical products
JPH02114158A (ja) アンプル等の容器の異物検査装置
CN118647861A (zh) 用于液体药品容器的视觉检查系统
GB2609969A (en) System and method for inspecting an object

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240515

R150 Certificate of patent or registration of utility model

Ref document number: 7490655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150