JP2023168287A - 画質および特徴の自動分類方法 - Google Patents
画質および特徴の自動分類方法 Download PDFInfo
- Publication number
- JP2023168287A JP2023168287A JP2023078202A JP2023078202A JP2023168287A JP 2023168287 A JP2023168287 A JP 2023168287A JP 2023078202 A JP2023078202 A JP 2023078202A JP 2023078202 A JP2023078202 A JP 2023078202A JP 2023168287 A JP2023168287 A JP 2023168287A
- Authority
- JP
- Japan
- Prior art keywords
- image
- reference image
- histogram
- cell
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 142
- 238000012360 testing method Methods 0.000 claims abstract description 70
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000004166 bioassay Methods 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 8
- 230000015556 catabolic process Effects 0.000 claims description 7
- 238000006731 degradation reaction Methods 0.000 claims description 7
- 230000036541 health Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000011002 quantification Methods 0.000 abstract 1
- 210000004027 cell Anatomy 0.000 description 91
- 238000012545 processing Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 8
- 238000000799 fluorescence microscopy Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 208000036142 Viral infection Diseases 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000012678 infectious agent Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 208000035143 Bacterial infection Diseases 0.000 description 1
- 238000003775 Density Functional Theory Methods 0.000 description 1
- 238000003646 Spearman's rank correlation coefficient Methods 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 208000022362 bacterial infectious disease Diseases 0.000 description 1
- 238000000339 bright-field microscopy Methods 0.000 description 1
- 230000030833 cell death Effects 0.000 description 1
- 238000010365 cell imaging technique Methods 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 230000006800 cellular catabolic process Effects 0.000 description 1
- 230000004635 cellular health Effects 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- BFMYDTVEBKDAKJ-UHFFFAOYSA-L disodium;(2',7'-dibromo-3',6'-dioxido-3-oxospiro[2-benzofuran-1,9'-xanthene]-4'-yl)mercury;hydrate Chemical compound O.[Na+].[Na+].O1C(=O)C2=CC=CC=C2C21C1=CC(Br)=C([O-])C([Hg])=C1OC1=C2C=C(Br)C([O-])=C1 BFMYDTVEBKDAKJ-UHFFFAOYSA-L 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 210000005260 human cell Anatomy 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000009385 viral infection Effects 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Image Analysis (AREA)
Abstract
【課題】画質および特徴の自動分類方法並びにシステムを提供する。【解決手段】画質評価や特徴分類/識別などの、2つ以上の画像比較による自動画像評価方法は、選択された特徴における試験画像と参照画像の類似性の程度を、試験画像と参照画像の空間周波数領域の変換に適用された積集合/和集合計算に基づいて表示するメトリックの出力を含む。【選択図】図2
Description
関連出願の相互参照
本出願は、2022年5月13日に出願された「画質および特徴の自動分類方法」と題する米国仮特許出願第63/364,708号に基づく優先権を主張する。上記の出願における内容全体があらゆる点で参照により本明細書に組み込まれる。
本出願は、2022年5月13日に出願された「画質および特徴の自動分類方法」と題する米国仮特許出願第63/364,708号に基づく優先権を主張する。上記の出願における内容全体があらゆる点で参照により本明細書に組み込まれる。
本明細書に開示の主題である実施形態は、一般に画質および特徴評価に関する。
顕微鏡技術などの多様なイメージング技術は、細胞や生物構造またはその他物質のデジタル画像の取得に使用されることがある。画質のリアルタイム評価が、焦点の問題(ぼやけなど)や光のにじみ、散乱、光路のノイズ(塵やその他異物による、など)および/または解決不可な畳み込み問題といった、画像取得に問題があったかどうかの判断に使用されることがある。いくつかの実施例において、画質の主観的メトリックが、精度検証のために相関性および誤差メトリックの参照情報として使用されることがある。しかし、そのような評価の取得には時間がかかり、比較的高額で、バイオアッセイ用蛍光顕微鏡などの、比較のための正確な参照情報が利用不可であり得る応用においては実施が難しいことがある。
バイオアッセイのための画質評価のひとつのアプローチは、二次元(2D)フーリエ環重み付けヒストグラム相関(FRC)アプローチなどのプロキシメトリック統計的アプローチである。FRCアプローチや同様のアプローチが相対ぼやけおよびその他画質の相関関係の判断に使用されてきたが、参照画像に対する全体的な質の評価がそれらにより使用可能にはならない。その代わり、FRCアプローチは一般的に、高画質と低画質の精細な区別なく高画質と低画質を識別する。
発明者らは本明細書で上記の問題を認識し、少なくとも部分的にそれらの問題に対応する方法を開発した。一実施例において、方法は、選択された特徴について試験画像と参照画像の類似性の程度を、試験画像と参照画像の空間周波数領域の変換に適用された積集合/和集合に基づいて表示するメトリックの出力を含んでもよい。メトリックは、本明細書にではフーリエ環積集合/和集合(Fourier ring intersection over union、FRIOU)メトリックと呼ばれ得る。この方法によって、試験画像と参照画像の類似性の程度のリアルタイム評価が、画質またはその他画像特徴について、特にバイオアッセイにおいて調べられる細胞数およびその他細胞変化のために判別され得る。
上記方法の実施で認識され得る利点は、FRCアプローチと比較して主観的な質の評価との相関(ピアソンの線形相関係数およびスピアマンの順位相関係数の両方)の向上、FRCアプローチと比較して簡易化され計算的に効率化された画像メトリック処理、多数の画像集合へのより単純な適用性、および画質への高感度を含む。さらに、FRIOUメトリックは、類似性の程度を測定するために、および/または特徴を分類するために使用されてもよく、これにより、例えばFRCアプローチやディープニューラルネットワークアプローチと比較して、細胞に基づいたバイオアッセイへの適用性を向上させ得る。
上記の利点およびその他利点、ならびに本明細書の特徴は、次の詳細な説明自体から、または添付の図面と関連づけて、容易に明らかとなるであろう。
上記の概要は、詳細な説明でさらに詳細に説明される一連の概念を簡略化された形式で導入するために記載されていると理解されたい。上記概要は、請求の主題、詳細な説明に続く請求項で一意的に定義される範囲に係る主要な、または不可欠な特徴の特定のためではない。また、請求の主題は、上記または本開示の任意の部分に記載の不利点を解決する実装に限られない。
本説明は、光学撮像技術を介して取得された画像の画質評価に関する。図1に示されるコンピューティングシステム等のコンピューティングシステムを使用して、画質評価を行うことができる。コンピューティングシステムは、フーリエ環積集合/和集合(FRIOU)メトリックを使用して画像の画質を評価するために、図6に示されているフーリエ環の実施例を用いて、図3~図5に示されている方法などの1つ以上の方法を採用してもよい。図7は、FRIOUメトリックを使用して画像内の細胞を分類するために使用され得る方法をさらに示す。図8は、FRIOUメトリックを決定することによってそれぞれ評価され得る異なる画質の画像の組を示し、図9は、2つの異なる方法によって決定されるような画像内の細胞数を示し、それらの方法のうちの1つは、画像のFRIOUメトリックと比較して、他方よりも画像劣化に対してよりロバストである。
ここで図面を参照すると、図1は、一実施形態による例示的なコンピューティングシステム100を示す。コンピューティングシステム100は、プロセッサ112およびメモリ114をさらに含むコンピューティングデバイス110を含む。プロセッサ112は、機械可読命令を実行するために使用可能な1つ以上の計算コンポーネントを備えてもよい。例えば、プロセッサ112は、中央処理装置(CPU)を備えてもよく、または、例えば、画像処理装置(GPU)を含んでもよい。プロセッサ112は、コンピューティングデバイス110内に配置されてもよく、または適切なリモート接続を介してコンピューティングデバイス110に通信可能に結合されてもよい。
メモリ114は、揮発性メモリおよび/または不揮発性メモリを含む、1つ以上のタイプのコンピュータ可読媒体を備えてもよい。揮発性メモリは、例えば、ランダムアクセスメモリ(RAM)を備えてもよく、不揮発性メモリは、読み取り専用メモリ(ROM)を備えてもよい。メモリ114は、1つ以上のハードディスクドライブ(複数可)(HDD)、半導体ドライブ(SSD)、およびフラッシュメモリなどを含んでもよい。メモリ114は、プロセッサ112によって実行され得る機械可読命令を記憶するために使用可能である。メモリ114は、デジタル撮像、デジタル図解などを含んでもよい、様々な技術を使用してキャプチャまたは作成されたデジタル画像を備え得る画像116を記憶するようにさらに構成される。画像116は、本明細書でさらに説明されるように、画像メトリックを決定するための比較として使用され得る1つ以上の参照画像をさらに含んでもよい。例えば、画像メトリックは、画質スコアおよび類似性スコアのうちの1つ以上であってもよい。
画像116の少なくとも一部は、撮像装置106を介して取得することができる。撮像装置106は、例えば、顕微鏡(例えば、光学顕微鏡、蛍光顕微鏡)、マルチウェルプレート撮像装置、および別のタイプのバイオアッセイ撮像装置のうちの1つ以上であってもよい。撮像装置106は、広域スペクトル光源および/または狭域スペクトル光源を含む、1つ以上の光源を含んでもよい。広域スペクトル光源の例としては、紫外(UV)及び可視範囲に及ぶ光を放射するランプ(例えば、水銀ランプ、ハロゲンランプ)などの、広い波長範囲にわたって光を放射する光源が挙げられる。狭域スペクトル光源の例としては、発光ダイオード(LED)及びレーザのなどの、狭い波長範囲または波長帯域から光を放射する光源が挙げられる。撮像装置106はさらに、電荷結合素子(CCD)、電子増倍CCD(EMCCD)、アクティブピクセルセンサ(例えば、相補型金属酸化膜半導体、すなわちCMOSセンサ)、またはアレイベース様式などの位置特異的方法で光を検出する別のタイプのセンサなどの少なくとも1つの画像センサを含んでもよい。加えて、撮像装置106は、所望の波長または波長範囲の光を撮像されているサンプルに向け、(例えば、画像診断技術に応じて)上記サンプルによって透過、反射、または放出される光を画像センサ(複数可)において受け取るために使用され得る、光結合装置(例えば、レンズおよびミラー)、フィルタ、およびビームスプリッタ等のうち、1つ以上を含んでもよい。
メモリ114は、画像116の1つ以上の画像メトリックを計算するためにプロセッサ112によって実行され得る機械可読命令を備える画像処理モジュール118をさらに含む。したがって、画像処理モジュール118は、デジタル画像(例えば、画像116)を操作するための機械可読命令、例えば、フーリエ変換を実行し、試験および参照画像(複数可)の対に対する積集合/和集合メトリックを決定するための命令などを含む。例えば、画像処理モジュール118に記憶された機械可読命令は、1つ以上のルーチンに対応することができ、その実施例は、図2~図5および図7に関して提供されている。
コンピューティングシステム100は、ユーザインターフェース102をさらに含み、キーボード、マウス、タッチパッド、またはコンピューティングデバイス110に通信可能に結合された事実上任意の他の入力デバイス技術を含むがこれらに限定されない、1つ以上の周辺機器および/または入力デバイスを備えてもよい。ユーザインターフェース102は、評価すべき1つ以上の画像を選択すること、画像メトリックの1つ以上のパラメータを選択することなどのために、ユーザがコンピューティングデバイス110と対話することを可能にすることができる。
コンピューティングシステム100は、画像メトリックの結果を表示し、画像自体を表示し、例えば、1つ以上のカットオフ周波数、1つ以上の参照画像、および1つ以上のヒストグラムビン幅を含む、画像メトリックの計算に関係する可能なパラメータオプションおよび選択を表示するように構成され得るディスプレイデバイス104をさらに含む。ユーザは、ディスプレイデバイス104を介して表示されたオプションに基づいて、ユーザインターフェース102を介してパラメータを選択するか、さもなければ入力することができる。
図2は、一実施形態による、フーリエ環積集合/和集合(FRIOU)メトリックを含む画質メトリックを計算するための方法200を示す。方法200および本明細書に含まれる方法の残りは、コンピューティングシステムの非一時的メモリ(例えば、図1のメモリ114の画像処理モジュール118内)に記憶された命令に従って、図1のコンピューティングシステム100のプロセッサ112などのコンピューティングシステムのプロセッサによって実行されてもよい。
202において、方法200は、1つ以上の試験画像を取得することを含む。試験画像は、図1の撮像装置106などの撮像システムを介して取得または生成されたデジタル画像を含むことができる。例えば、試験画像は、蛍光顕微鏡法、明視野顕微鏡法、または他の撮像技術を介して得られた1つ以上のバイオアッセイの画像であってもよい。一例として、各バイオアッセイは、マルチウェルプレートを含んでもよく、マルチウェルプレートの各ウェルは、同じもしくは異なる処理条件に供される複数の細胞、または処理が提供されない対照を保持する。処理条件は、例えば、種々の濃度の薬物または他の化合物での処理、および感染性因子(例えば、ウイルスまたは細菌感染)での処理などであってもよい。いくつかの実施例では、細胞は、蛍光顕微鏡法および他の蛍光ベースの撮像技術による可視化のために、1つ以上の蛍光色素分子(例えば、蛍光色素)で処理されてもよい。複数の蛍光色素が使用されるとき、各蛍光色素は、他の蛍光色素とスペクトル的に異なることができ(例えば、非重複励起および発光極大を有することができ)、異なる細胞構造、コンパートメント、またはプロセスを標的とすることができる。本明細書で使用される場合、「試験画像」という用語は、参照画像との類似性の程度を決定するために参照画像に対して評価される画像を示す。
取得された画像の各々は、同じ解像度を有する(例えば、高さ寸法および幅寸法に沿って同じ数のピクセルを有する)ことができる。グレースケール画像が、各デジタル画像内の各ピクセルが輝度値を通して表されるように、本明細書で説明される。しかしながら、本明細書で開示される画像メトリックは、マルチチャネルまたはカラー画像に適用され得ることが理解され得る。例えば、マルチチャネル画像は、撮像システムのスペクトル的に異なる撮像チャネルにおいて取得された複数の画像(例えば、複数のグレースケール画像)の合成画像であってもよい。一実施例では、3色画像は、第1の撮像チャネル(例えば、赤色チャネル)を介して取得された第1の画像と、第2の撮像チャネル(例えば、青色チャネル)を介して取得された第2の画像と、第3の撮像チャネル(例えば、緑色チャネル)を介して取得された第3の画像とを含むことができる。FRIOUメトリックは、各チャネルについて、または合成画像について評価されることができる。
204において、方法200は、参照画像を取得することを含む。参照画像は、所望の空間周波数成分および/または画質特徴(例えば、焦点、低ノイズ)などの1つ以上の所望の特徴を含んでもよい。いくつかの実施例では、参照画像は、202において取得された試験画像の各々と同じ解像度を有してもよい。参照画像は、ユーザによって手動で選択される、または複数の候補参照画像から最も適切な参照画像を識別する機械学習ベースのアルゴリズム等のアルゴリズムを使用して選択される、所定の参照画像であってもよい。例えば、ユーザは、所望の品質を選択することができ、アルゴリズムは、複数の候補参照画像から、所望の質に最もよく一致する参照画像を識別することができる。別の実施例として、アルゴリズムは、複数の参照画像を互いに比較し、他の参照画像に最も類似する(例えば、互いの候補参照画像と比較したときに最も高いFRIOUメトリックを有する)参照画像を選択することができる。例えば、方法200は、非参照試験画像に対して参照画像を使用する前に、特に図2および図4に関して本明細書で説明する方法に従って、候補参照画像用のFRIOUメトリックを計算することを含むことができる。
206において、方法200は、周波数リングの座標を取得することを含む。周波数リングは、本明細書に記載されるように、共通の空間周波数を共有する空間周波数領域内のデータ点の集合である。各周波数リングについての座標一式を事前に取得することにより、各周波数リングについての座標一式を計算することが計算的に困難であり得るので、FRIOUメトリックを決定するための処理時間を低減させることができる。試験画像および参照画像は同じ解像度を有し得るので、すべての画像に対して同じ一組の座標が使用可能であり得る。さらに、ヒストグラムのビンを定義することができる。周波数リング内の各点の周波数を表す周波数領域の半径は、ビンインデックスに従って指定され、1つのヒストグラムビンに統合された複数の半径があり得る。ビンインデックスbは、ヒストグラムをアドレス指定するために使用される。パラメータb0は、使用される第1のビン番号であり、210において以下で詳述されるように、ハイパスフィルタリングのためのヒストグラムビンのカットオフ周波数を提供する。
図6を簡単に参照すると、空間周波数領域画像602の図形600が示されている。空間周波数領域画像602は、幅604および高さ606を有する空間周波数画像成分を含む。空間周波数領域画像602は、空間周波数に比例する半径610を有する周波数リング608を含む。周波数リング608内のすべての点は、周波数リング608のピクシレーションによって示されるように、量子化誤差に対するいくらかの許容範囲を伴って、ほぼ同じ空間周波数を有する。
図2に戻ると、208において、方法200は、各画像内の各周波数リングについて重み付きフーリエ環振幅ヒストグラム(WFRMH)を計算することを含む。図3に関してさらに詳細に説明されるように、各周波数リングに対するWFRMHの計算は、画像の2次元(2D)高速フーリエ変換(FFT)を評価することと、2D FFT内の各周波リングに対するヒストグラムを計算することと、各ヒストグラムを正規化することとを備える。名目上、すべての半径は、2D FFT振幅係数を積分するために使用される。ヒストグラムは、各周波数に対して、ビンが同じ幅および同じ数であるように選択することができる。図3に関して以下でさらに詳細に説明するように、異なる画像のヒストグラムを比較することができる。
210において、方法200は、ヒストグラムビンカットオフを決定することを含む。ヒストグラムビンカットオフは、それより下ではヒストグラムが比較されないヒストグラムビンであり、ハイパスフィルタ周波数カットオフに類似している。いくつかの実施例では、ヒストグラムビンカットオフは、所与の適用例のために選択された所定の(例えば、固定の)周波数を有し得る。他の実施例では、ヒストグラムビンカットオフは、性能メトリックを最適化するために計算されてもよい。一実施例では、カットオフ値は、周波数リングヒストグラム内のスペクトル成分のピーク(例えば、最大ビン)を決定し、小さい整数を加算し、それによって、わずかに高いヒストグラムビンに対応するインデックスをもたらすことによって決定される。例証的実施例として、蛍光顕微鏡法のために染色された核を有する典型的なヒト細胞に関して、核直径は、約1~10マイクロメートル(μm)の範囲である傾向がある。したがって、最も低いビンが細胞核に対して最適化されるように、1.1ミリメートル幅を有する4400×4400ピクセル画像のヒストグラムビンカットオフは10であり得る。より低い周波数情報は、核に対応するスペクトル情報(例えば、はるかに小さい詳細)ほど有用ではなく、したがって、ヒストグラムビンカットオフを使用して、このより低い周波数情報をフィルタ除去することができる。以下でさらに詳細に説明されるように、カットオフ値の決定は、FRIOUの計算中にハイパスフィルタが各画像(例えば、各試験画像および参照画像)に適用されることを可能にする。
212において、方法200は、FRIOUメトリックを計算することを含む。FRIOUメトリックを計算することは、各画像について重み付けされたフーリエ振幅ヒストグラムを比較することを含む。210で決定されたヒストグラムビンカットオフを使用して定義されたハイパスフィルタに基づいてさらに比較が実行される。FRIOUメトリックを決定することについての詳細は、図4に関して以下で説明される。特に、各試験画像のFRIOUメトリックは、試験画像と参照との間の類似性の程度を表すことができ、類似性の程度は、0.0(類似性なし)から1.0(最大の類似性)までの範囲である。参照画像が高品質(例えば、最高画質)画像を表すとき、高いFRIOUメトリック(例えば、0.6より高いなど、所定のゼロでないFRIOUメトリック閾値より高い)を有する試験画像は、高画質を有すると判定することができる。図7に関して説明されるように、FRIOUメトリックはまた、画質以外の特徴について試験画像と参照画像との間の類似性の程度を決定するために使用されることもできる。例えば、特徴は、細胞分類、細胞型計数のために、または処理濃度に関する細胞形態もしくは細胞死の相対的変化を定量化するために使用することができる。
214において、方法200は、任意選択的に、ぼやけおよびノイズを推定することを含む。ぼやけおよびノイズは、以下で説明するように、図5の方法に従って推定することができる。したがって、ぼやけおよびノイズは、FRIOUメトリックに加えて推定されてもよく、画質の全体的評価としてFRIOUメトリックと組み合わせられてもよい。他の実施例では、画質を評価するためにFRIOUメトリックのみが使用されてもよい。
216において、方法200は、各試験画像の画質の指標を出力することを含む。いくつかの実施例では、画質の指標はFRIOUメトリックであってもよい。他の実施例では、画質の指標は、FRIOUメトリック単独から、またはぼやけ推定値およびノイズ推定値と組み合わせて決定されてもよい。例えば、画質の指標は、異なる修飾語句(例えば、粗悪、低い、許容可能、良好、素晴らしい、優れている)に対応する所定のFRIOUメトリック範囲に従って割り当てられてもよい。一実施例として、最も低い所定のFRIOUメトリック範囲内の画像は、悪い画質を有するものとして示されてもよく、最も高い所定のFRIOUメトリック範囲内の画像は、優れた画質を有するものとして示されてもよい。指標は、図1の表示デバイス104などの表示デバイスを介して出力されてもよい。指標は、追加的または代替的に、対応する試験画像とともに記憶された、または対応する試験画像に関連したタグまたは他のタイプのデータとしての出力であってもよい。その後、方法200は終了することができる。
図3は、画像内の各周波数リングについて一連の周波数領域振幅ヒストグラムを計算するための方法300を示す。一実施形態において、方法300は、図2の方法200の一部として(例えば、208において)実行される。
304において、方法300は、試験画像または参照画像を受信することを含む。いくつかの実施例では、方法300は、方法200の202および204において取得された1つ以上の試験画像および候補参照画像を含む複数の画像に対して同時にまたは順次に実行されてもよい。
306において、方法300は、画像の2D FFTを実行することを含む。画像の2D FFTは、空間周波数領域における画像を表し、元の画像内のピクセル数と同じ数の値を含む。空間周波数領域内の各値は、複素数、例えば、実数および虚数成分を有する数によって表される。例えば、画像がXで示され、行mおよび列nに位置するピクセルが輝度値xmnで表される場合、画像XのFFTは空間周波数領域画像
であり、その値
は以下の式によって与えられる複素数である。
ここで、上記の和は、デジタル画像内のすべてのピクセルにわたって評価され、値eはオイラー数であり、iは虚数単位であり、i2=-1を満たす。各値
は、空間周波数領域画像
の周波数成分である。上記の式は離散フーリエ変換(DFT)として知られている。一般に、DFTは、通常、定義自体を使用して評価されるのではなく、1つ以上の最適化の使用を通して評価されることを理解されたい。最適化は、コンピュータハードウェアを使用してDFTの評価を単純化し、FFTを備える。実際には、FFTは、各画像のDFTを評価するために使用される。
308において、方法300は、全ての周波数成分の絶対値を決定することを含む。各周波数成分は、上述したように、実数成分および虚数成分を有する複素数によって表される。すなわち、各周波数成分
は、
として書くことができ、ここで、auv(実数成分)とbuv(虚数成分)は、両方とも数値である。
の振幅
は、
と定義される。各周波数成分の振幅も実数であり、常に非負である。
空間周波数成分
の空間周波数fuvは、
によって与えられる。本明細書で定義される空間周波数fを有する周波数リングは、インデックスの集合
によって記述することができ、ここで、tは閾値である。インデックスuおよびvの各々は整数であるので、各周波数リングは、量子化誤差まで、ほぼ円に指定されたリングを含むことができる。周波数リングおよび閾値は、周波数領域画像内の各ピクセルu、vがちょうど1つの周波数リングに入り、所与の周波数リング内の各ピクセルがほぼ同じ周波数を有するように、(例えば、206において)選定または取得することができる。
各周波数の振幅の計算は、計算効率および画像の向きに対する非感度という点で有利である。一般に、実数(例えば、周波数成分の振幅)は、より少ない計算リソースを使用して計算される。画像をある量だけ回転させるなどして画像の向きを変更すると、各周波数成分が実質上eiθ倍となり、ここでθは回転角である。各周波数成分の振幅を取ることによって、回転から生じる任意の係数が効果的に無視される。したがって、画像の任意の向きは、同じ振幅のFFTをもたらし、したがって、FRIOUメトリックは、画像の向きに敏感ではない。
312において、方法300は、周波数リング内の周波数成分の振幅(例えば、絶対値)のヒストグラムを生成することを含む。各周波数fについて、fに対応する周波数リング内の周波数成分は、事前に定義され得る(例えば、206において取得され得る)複数のヒストグラムビンのうちの1つの中でカウントすることができる。例えば、ビンの集合は、ヒストグラムが
によって与えられるようにインデックス付けすることができ、ここで、Mはヒストグラム中のビンの数であり、iはインデックス変数であり、miは、i番目の振幅に対応するi番目のビンである。したがって、各miは、i番目の振幅を有する周波数成分の数を表す整数である。いくつかの例では、ビンは均等に離間され得、例えば、各ビンmiは等しい範囲の振幅を表す。少なくともいくつかの実施例では、ビンのいずれも重複しない場合がある(例えば、ビンは各々、振幅の離散範囲を備えてもよい)。
314において、方法300は、ヒストグラムを正規化することを含む。ヒストグラムを正規化することは、周波数fに対応するヒストグラム内のすべてのビンの合計を計算することと、ヒストグラムの各ビンを合計で除算することを含む。ヒストグラムHが与えられると、正規化されたヒストグラムNHは以下の式によって与えられる。
ここで、
である。画像の正規化されたヒストグラムはメモリに保存され、図4に関して以下に説明するように、FRIOUメトリックを決定するためにアクセスできるようになる。正規化されたヒストグラムはWFRMHを含む。その後、方法300は戻ることができる。
引き続き図4を参照すると、フーリエ環積集合/和集合(FRIOU)メトリックを計算するための方法400が示されている。一実施形態において、方法400は、図2の方法200の一部として(例えば、212において)、および、図3の方法300を介して生成された正規化されたヒストグラムを使用して実行される。さらに、方法400は、少なくともいくつかの実施例では、複数の試験画像に対して並行して実行され得る。
402において、方法400は、参照画像の正規化されたヒストグラム(例えば、WFRMH)および試験画像の正規化されたヒストグラムを取得することを含む。以下にさらに詳細に説明するように、参照画像の正規化されたヒストグラムは、試験画像の正規化されたヒストグラムと比較される。正規化されたヒストグラムは、同じフーリエ環上で得られ、両方とも正規化され、同じビンの集合を含む。試験画像および参照画像のヒストグラムは、それぞれ
および
で示される。
404において、方法400は、2つのヒストグラムの和集合を計算することを含む。上記和集合は、ヒストグラムでもあり、試験画像および参照画像のヒストグラムのビンの観点から以下のように定義される。
ここで、
である。
406において、方法400は、2つのヒストグラムの積集合を計算することを含む。上記積集合はヒストグラムでもあり、試験画像と参照画像のヒストグラムのビンの観点から以下のように定義される。
ここで、
である。
408において、方法400は、ヒストグラムビンカットオフを使用して積集合および和集合に対してハイパスフィルタリングを実行することを含む。ヒストグラムビンカットオフは、図2の210においてさらに詳細に上述したように、それより下のヒストグラムのスペクトルコンテンツが無視されるべきヒストグラムビンである。ヒストグラムビンカットオフは、
を満たす指標b0として表すことができる。積集合および和集合のハイパスフィルタリングは、以下の式によって定義されるヒストグラムU+およびI+を発見することを含む。
410において、方法400は、FRIOUメトリックを計算することを含む。上記FRIOUメトリックは、以下の式に従って、ハイパス積集合ヒストグラム内の全てのビンの和をハイパス和集合ヒストグラム内の全てのビンの和で除算することによって得られる。
図2に関して上述したように、FRIOUメトリックは、試験画像と参照画像との間の類似性の程度を示し、0.0(類似性なし)から1.0(最大の類似性)の範囲である。したがって、FRIOUメトリックを使用して、試験画像が、画質または細胞形態などの参照画像の所望の特性にどの程度類似しているかを判断することができる。FRIOUメトリックは、図2の216に関して上記で説明したように、コンピューティングデバイスのメモリなどに保存されてもよく、および/または画質を測定するための手段としてユーザに表示されてもよい。その後、方法400は戻ることができる。
次に、図5は、ぼやけおよびノイズを計算するための方法500を示す。一実施形態において、方法500は、図2の方法200の一部として(例えば、214において)実行される。さらに、方法500は、複数の試験画像に対して並行して実行され得ることが理解されよう。
502において、方法500は、参照画像のヒストグラムおよび試験画像のヒストグラムを取得することを含む。参照画像および試験画像の各々からのヒストグラムは、例えば、参照画像および試験画像の各々に対して図3の方法300を実行することによって取得され得る。上記ヒストグラムは、少なくともいくつかの実施例では、正規化されたヒストグラム(例えば、WFRMH)を含むことができる。試験画像のヒストグラムは、
で示され、参照画像のヒストグラムは、
で示される。
504において、方法500は、ヒストグラムのハイパスフィルタリングを実行することを含む。ヒストグラムのハイパスフィルタリングの実行は、408において積集合および和集合ヒストグラムに対して実行されるハイパスフィルタリングと同様の方法で実行される。しかしながら、パラメータb1は、FRIOUメトリックのために使用されるパラメータb0とは異なる、ぼやけおよびノイズ推定のために使用される第1のヒストグラムビンを示すことができる。通常、b1は、FRIOUメトリックに使用されるb0よりも高い指標値である。例示的な例として、b0が10である場合、b1は20である。例えば、ハイパス試験ヒストグラムHtest+およびハイパス参照ヒストグラムHref+は、以下の式によって与えられ得る。
上記の式によって与えられるハイパスヒストグラムは、正規化されなくてもよいことに留意されたい。
506において、方法500は、ハイパスフィルタリングされたヒストグラムを正規化ことを含む。ハイパスヒストグラムNHtest+(正規化されたハイパス試験ヒストグラムに対応する)およびNHref+(正規化されたハイパス参照ヒストグラムに対応する)はそれぞれ、各ヒストグラムをその和で除算することによって正規化され得る。
ここで、
であり、
である。
508において、方法500は、正規化されたハイパスヒストグラムの差を決定することを含む。上記差は、差分ヒストグラム
をもたらし、ここで、diはi番目のビンである。差分ヒストグラムのi番目のビンは、以下の式に従って、508で得られた正規化されたハイパスヒストグラムのビンごとの差分を取ることによって計算される。
510において、方法500は、追加および損失ヒストグラムを決定することを含む。上記追加ヒストグラムは、0より大きい差分ヒストグラムのビンを表し、上記損失ヒストグラムは、0より小さい差分ヒストグラムのビンを表す。追加および損失ヒストグラムは、追加指標Aの集合および損失指標Lの集合を計算することによって決定され得る。追加および損失指標は、以下の式に従って定義され得る。
上記の指標で定義される追加ヒストグラムHAおよび損失ヒストグラムHLは、以下の式に従って定義されるヒストグラムである。
512において、方法500は、損失および追加ヒストグラムにそれぞれ基づいてぼやけおよびノイズを推定することを含む。ぼやけ値(BLUR)は、以下の式から決定され得る。
dlの値は定義上すべての
に対して負であるので、合計を実行した後に絶対値が取られる。ノイズ値(NOISE)は、以下の式を使用して、追加ヒストグラムを使用して同様の合計を実行することによって計算され得る。
全てのdaは、追加ヒストグラムに対して正であるため、絶対値は取られない。ぼやけ値およびノイズ値はそれぞれ、コンピューティングデバイスのメモリなどに保存され、および/または図2の216に関して上述したように、画質を測定する手段としてユーザに表示され得る。その後、方法500は戻ることができる。
次に、図7は、一実施形態による、FRIOUメトリックに基づいて画像内の細胞を分類するための方法700を示す。方法700は、コンピューティングシステムの非一時的メモリ(例えば、図1のメモリ114の画像処理モジュール118内)に記憶された命令に従って、図1のコンピューティングシステム100のプロセッサ112などのコンピューティングシステムのプロセッサによって実行され得る。方法700は、図2~図5に関して上記で説明した方法の少なくとも一部と組み合わせて実行され得る。例えば、方法700は、バイオアッセイに特に適用可能であり得る。
702において、方法700は、細胞の1つ以上の試験画像および1つ以上の参照画像を受信することを含む。試験画像(複数可)および参照画像(複数可)は、図2の202および204に関して上述したように、例えば任意の細胞撮像技術を使用して生成されてもよい。いくつかの実施例では、ユーザは、参照画像(複数可)または複数の候補参照画像を選択してもよい。同様に、ユーザは、方法700を介して、FRIOUメトリックを介して評価される試験画像(複数可)を選択することができる。各参照画像は、それに対して評価される試験画像(複数可)の1つ以上の所望の質(または特性)を視覚的に表すことができる。
さらに、複数の関心対象(細胞など)を有する画像(試験画像および参照画像の両方)は、各対象物(例えば、細胞)が以下に記載される方法に従って個々に評価されるように、対象物分類に使用され得るサブ画像に分割され得る。あるいは、複数の対象物の元の画像を評価して、図2に関して説明した画質の例と同様に、参照画像に対する試験画像の全体的な類似性を評価するために、アンサンブル類似性測定を行ってもよい。例えば、方法700は、参照画像内の複数の細胞と比較して、試験画像内の複数の細胞の全体的類似性を評価するために使用されてもよく、または上記方法は、参照画像の単一参照細胞に対する単一細胞の複数のサブ画像の類似性を個々に評価するために使用されてもよい。
704において、方法700は、FRIOUメトリックを介して評価される特徴の選択を受信することを含む。上記特徴は、一般に分類特徴および類似性特徴に分割され得る複数の可能な特徴から選択されてもよい。上記分類特徴は、選択された特徴を示す細胞を定量化するために使用されてもよく、一方、上記類似性特徴は、細胞内に存在する選択された特徴の相対的な程度を定量化するために使用されてもよい。分類特徴は、例えば、細胞のタイプ、所望のサイズを有する細胞の数、および感染細胞の数を含んでもよい。類似性特徴は、例えば、細胞分解、細胞の健康状態(細胞分解の欠如がある)、および細胞形態を含んでもよい。一例として、選択された特徴が細胞の健康状態である場合、参照画像は、感染および劣化のない1つ以上の名目上の健康な細胞を含むことができる。したがって、細胞の健康状態についての低いFRIOUメトリック値は、画像特徴の変化に基づいて広範囲の病理を有する細胞を識別することができる。いくつかの実施例では、上記特徴は、ユーザインターフェース(例えば、図1のユーザインターフェース102)を介して受信されるなど、ユーザ入力を介して選択されてもよい。他の実施例では、特徴は、ユーザが選択したプロトコルに従って選択されてもよい。
特徴は、ワンホット分類符号化をさらに含んでもよい。例えば、方法700は、選択された参照画像に対して最も高いそれぞれのFRIOUメトリックを有する特徴を自動的に選択することができる。一実施例では、方法700は、ユーザによって、または機械学習ベースの分類を介して割り当てられ得るタグなどにより、対応する参照画像が特徴を示すことが知られ得るので、特徴を識別することができる。
706において、方法700は、図4に関して上述したように、参照画像に対する各試験画像のFRIOUメトリックを決定することを含む。FRIOUメトリックは、各試験画像に対して、またはバイオアッセイの単一のウェル内の異なる位置、および同じ処理条件を有する異なるウェルなどからの複数の画像を含む一連の試験画像に対して、別々に決定され得る。セットアプローチは、複数の参照および複数の試験画像が、一連のより広いメトリックおよび比較のために使用されることを可能にする。例えば、ウェル、プレート、またはプレート群にわたって、どのように異なる画像が互いからのものであるかを決定するために、全ての画像のそれぞれのフーリエ環重み付けヒストグラムを、積集合および和集合計算において使用することができる。
708において、方法700は、分類特徴が、(例えば、704において選択されたような)FRIOUメトリックを介した評価のための選択された特徴であるかどうかを決定することを含む。選択された特徴が分類の特徴である場合、方法700は、710に進み、閾値と比較したFRIOUメトリックに基づいて、選択された特徴を有する各試験における細胞を定量化することを含む。閾値は、選択された特徴を有する細胞を、選択された特徴を有しない細胞から区別する、所定の非ゼロ値を指す。非限定的な実施例として、閾値は0.6であり得る。しかしながら、他の実施例では、閾値は、より高い(例えば、0.8)またはより低い(例えば、0.5)値であり得る。閾値は、選択された特徴に従って予め決定されてもよく、および/またはユーザによって調整されてもよい。
714において、方法700は、FRIOUメトリック分析の結果を出力することを含む。例えば、レポートは、選択された特徴を有する各試験画像内の細胞の量(例えば、数)を示す。選択された特徴がウイルス感染である例示的な例として、レポートは、試験画像内(複数可)の、ウイルスに感染した細胞の総数および/または割合(%)を示すことができる。結果は、表示デバイス(例えば、図1の表示デバイス104)に出力されてもよく、および/またはメモリに保存されてもよい。その後、方法700は戻ることができる。
708に戻ると、選択された特徴が分類の特徴ではない(例えば、選択された特徴が類似性の特徴である)場合、方法700は712に進み、FRIOUメトリックから直接、選択された特徴との試験画像の類似性の程度を決定することを含む。したがって、FRIOUメトリックは、試験画像内の各細胞が選択された特徴を示す程度の定量的尺度を提供することができる。
上述したように、714において、方法700は、FRIOUメトリック分析の結果を出力することを含む。選択された特徴が細胞分解である例示的な例として、報告は、化合物の異なる処理濃度での細胞分解の量における相対的変化を示し得る。その後、方法700は戻ることができる。
図8は、2つの画像、すなわち第1の画像800および第2の画像850を示す。第1の画像800は、FRIOUメトリックに対して高い値を有し、ぼやけおよびノイズに対して低い値を有する。第2の画像850は、FRIOUに対して低い値を有し、ぼやけおよびノイズに対して高い値を有する。このため、第1の画像800はより高い画質を有志、第2の画像850はより低い画質を有する。
図9は、細胞の複数の画像に対して実行される2つの細胞数計数方法と、各画像に関連付けられた対応するFRIOUメトリック値とを比較する例示的なプロット900を示す。縦軸は、第1の細胞計数方法(例えば、「細胞計数方法1」)を使用して画像から計数された細胞の数を示し、横軸は、第2の細胞計数方法(例えば、「細胞計数方法2」)を使用して画像から計数された細胞の数を示す。プロット900上の各記号は、両方の細胞計数方法によって同じ画像について計数された細胞の数を表す。プロット900は、凡例902も含む。凡例902によって示されるように、円形の記号は、0.6以上のFRIOUメトリック値を有する画像を表し、X字形の記号は、0.6未満のFRIOUメトリック値を有する画像を表す。0.6のFRIOUメトリック値は、より高品質の画像をより低品質の画像から区別する閾値であり得る。
プロット900に示されるように、高い画質(例えば、0.6以上のFRIOU値)を有する画像の大部分は、第1の細胞数計数方法および第2の細胞数計数方法を使用して同じまたは同様の細胞数をもたらし、斜めに配向された傾向をもたらす。より低い品質の画像は、第1の細胞計数方法および第2の細胞計数方法を使用して、より変動する細胞数をもたらす。例えば、第2の細胞計数方法は、第2の細胞計数方法が第1の細胞計数方法よりも実質的に少ない細胞を計数した(例えば、過小計数)点904によって示されるように、ぼやけによる画像劣化に対してより敏感である。別の実施例として、第2の細胞計数方法は、第2の細胞計数方法が第1の細胞計数方法よりも実質的に多くの細胞を計数した(例えば、過剰計数)点906によって示されるように、ノイズによる画像劣化に対してより敏感である。
第1の細胞数計数方法は、細胞を分類し、所望の分類を有する細胞を計数するためにFRIOUメトリックを使用する。例えば、第1の細胞数計数方法は、最初に、FRIOUメトリックを使用して、所望の分類の細胞を識別し、その後、所望の分類を有する細胞を定量化してもよい。対照的に、第2の細胞計数方法は、所望の分類を有する細胞を識別するために、セグメント化から(例えば、流域アルゴリズムから)導出されるもの等の他の方法からの機械学習または手作りの特徴を使用してもよく、これは、低品質の画質に対する増加した感度に加えて、FRIOUメトリックと比較して減少した精度を有し得る。FRIOUメトリックは、細胞分類に先立って、画質を評価するために使用されてもよく、画質が選択された閾値を下回る場合、画像は、任意選択的に、計算時間を減少させるように、第1のセル計数方法を介するさらなる分析から省略されてもよいことに留意されたい。
このようにして、FRIOUメトリックは、画質または別の選択された特性にさらに関連し得る、試験画像と参照画像との間の類似性の程度を決定するために使用され得る。FRIOUメトリックは、その相対的な計算効率性に起因して、リアルタイム(例えば、試験画像あたり数分の1秒)で決定され得、FRCを含む、現在の画質評価方法よりも外れ値に敏感ではない。さらに、FRIOU法は、バイオアッセイデータセットを含む大きなデータセットを迅速に評価して、画像が互いにどの程度類似しているか、または異なるかを決定するために使用されることができる。したがって、FRIOUメトリックは、バイオアッセイのヒット、および予期される結果対異常な結果などを識別するために使用可能であり得る。
一組の画像に対してフーリエ環積集合/和集合メトリックを決定することの技術的効果は、画像間の類似性の程度がリアルタイムで出力され得ることである。
本開示はまた、試験画像と参照画像との空間周波数領域変換に適用される積集合/和集合の計算に基づいて、選択された特性についての試験画像と参照画像との間の類似性の程度を示すメトリックを出力することを含む方法のためのサポートを提供する。方法の第1の実施例では、選択された特性は画質を含む。第1の実施例を任意選択的に含む、方法の第2の実施例では、試験画像および参照画像は、バイオアッセイにおける細胞の画像を含む。第1および第2の実施例の1つまたは両方を任意選択的に含む、方法の第3の実施例では、選択された特性は、細胞数を含む。第1~第3の実施例のうちの1つ以上または各々を任意選択的に含む、方法の第4の実施例では、選択された特性は、細胞形態を含む。第1~第4の実施例のうちの1つ以上または各々を任意選択で含む、方法の第5の実施例では、選択された特性は細胞の健康状態を含み、参照画像は1つ以上の健康な細胞を示す。第1~第5の実施例のうちの1つ以上または各々を任意選択的に含む、方法の第6の実施例では、方法は、試験画像および参照画像の空間周波数領域変換に対して、積集合/和集合の計算を実行することとをさらに含む。第1~第6の実施例のうちの1つ以上または各々を任意選択的に含む、方法の第7の実施例では、試験画像および参照画像の空間周波数領域変換に対して積集合/和集合の計算を実行することは、試験画像および参照画像の空間周波数領域変換における周波数リングの座標を取得することと、試験画像の周波数リングの第1の重み付けフーリエ変換リング振幅ヒストグラムおよび参照画像の周波数リングの第2の重み付けフーリエ変換リング振幅ヒストグラムを計算および正規化することと、を含む。第1~第7の実施例のうちの1つ以上または各々を任意選択的に含む、方法の第8の実施例では、方法は、第1の重み付けフーリエ変換リング振幅ヒストグラムと第2の重み付けフーリエ変換リング振幅ヒストグラムとの和集合を計算することと、第1の重み付けフーリエ変換リング振幅ヒストグラムと第2の重み付けフーリエ変換リング振幅ヒストグラムとの積集合を計算することと、ヒストグラムビンカットオフを使用して積集合および和集合をフィルタリングすることと、をさらに含む。
本開示はまた、非一時的メモリに格納された命令を実行するように構成されたプロセッサを含むコンピューティングデバイスであって、命令は、実行されると、プロセッサに、バイオアッセイの画像と、バイオアッセイの画像の選択された特性を評価するための参照画像とを受信させ、また、バイオアッセイの画像と参照画像との間の類似性の程度を、選択された特性に関して、バイオアッセイの画像と参照画像とに対して決定された振幅フーリエ環ヒストグラムの対に適用された積集合/和集合の計算に基づいて出力させる、コンピューティングデバイスを含む、システムのためのサポートを提供する。システムの第1の実施例では、システムは、コンピューティングデバイスに通信可能に結合された撮像装置をさらに備え、コンピューティングデバイスは、撮像装置からバイオアッセイの画像を受信する。第1の実施例を任意選択的に含む、システムの第2の実施例では、非一時的メモリは、プロセッサによって実行されると、プロセッサに、候補参照画像の各々の間の互いに関する類似性の程度に基づいて、複数の候補参照画像から参照画像を選択させる命令をさらに含み、選択された参照画像は、最も高い類似性の程度を有する。第1および第2の実施例の1つまたは両方を任意選択的に含む、システムの第3の実施例では、選択された特性は、画質、細胞数、および細胞の特徴のうちの1つ以上を含む。第1~第3の実施例のうちの1つ以上または各々を任意選択的に含む、システムの第4の実施例では、細胞の特徴は、細胞の形態、細胞のサイズ、細胞の健康状態、および細胞分解のうちの少なくとも1つを含む。
本開示はまた、参照画像に対してバイオアッセイの画像について決定されたフーリエ環積集合/和集合(FRIOU)メトリックに基づいてバイオアッセイにおける細胞の特徴を定量化することを含む方法のためのサポートを提供する。方法の第1の実施例では、特徴は、所定の閾値よりも大きいFRIOUメトリックを有する細胞の数を含む。第1の実施例を任意選択的に含む、方法の第2の実施例では、特徴は、バイオアッセイの処理条件に関する相対的変化を含む。第1および第2の実施例の1つまたは両方を任意選択的に含む、方法の第3の実施例では、特徴は、バイオアッセイで使用される感染因子を介して感染した細胞の割合(%)を含む。第1~第3の実施例のうちの1つ以上または各々を任意選択的に含む、方法の第4の実施例では、特徴は、バイオアッセイの画像と特徴を示す参照画像との間の最も高いFRIOUメトリックに基づいて決定される。第1~第4の実施例のうちの1つ以上または各々を任意選択的に含む、方法の第5の実施例では、FRIOUメトリックは、所与の参照画像に対するバイオアッセイの所与の画像の類似性の程度を示す。
本明細書で使用される場合、単数形で列挙され、「1つの(a)」または「1つの(an)」という単語が先行する要素またはステップは、そのような除外が明示的に述べられていない限り、複数の要素またはステップを除外しないと理解されるべきである。さらに、本発明の「一実施形態」への言及は、列挙された特徴を同様に組み込む追加の実施形態の存在を除外するものとして解釈されることを意図していない。さらに、別段の明示的な記載がない限り、特定の特性を有する1つ以上の要素を「備える、含む(comprising)」、「含む(including)」、または「有する(having)」実施形態は、その特性を有していない追加のそのような要素を含むことができる。「含む(including)」および「その中で(in which)」という用語は、それぞれの用語「備える(comprising)」および「その中で(wherein)」の平易な言語の等価物として使用される。 さらに、「第1の(first)」、「第2の(second)」、および「第3の(third)」などの用語は、単にラベルとして使用され、それらの対象に対して数値的要件または特定の位置的順序を課すことは意図されていない。
本明細書は、最良の形態を含めて本発明を開示するために、また、任意のデバイスまたはシステムを作製および使用すること、ならびに任意の組み込まれた方法を実行することを含めて、当業者が本発明を実施することを可能にするために、実施例を使用する。本発明の特許可能な範囲は、特許請求の範囲によって定義され、また、当業者が想到する他の例を含んでもよい。そのような他の例は、それらが特許請求の範囲の文言と異ならない構造要素を有する場合、またはそれらが特許請求の範囲の文言と実質的に異なる同等の構造要素を含む場合、特許請求の範囲内にあることが意図される。
Claims (14)
- 選択された特徴において試験画像と参照画像の類似性の程度を、試験画像と参照画像の空間周波数領域の変換に適用された共通部分/和集合に基づいて表示するメトリックの出力を含む方法。
- 前記選択された特徴が画質を含む、請求項1に記載の方法。
- 前記試験画像および前記参照画像がバイオアッセイにおける細胞の画像を含む、請求項2に記載の方法。
- 前記選択された特徴が細胞数を含む、請求項3に記載の方法。
- 前記選択された特徴が細胞形態を含む、請求項3に記載の方法。
- 前記選択された特徴が細胞の健康状態を含み、前記参照画像が1つ以上の健康的な細胞を描写する、請求項3に記載の方法。
- 前記試験画像と前記参照画像の前記空間周波数領域の変換において前記積集合/和集合計算の実行をさらに含む、請求項1に記載の方法。
- 前記試験画像と前記参照画像の前記空間周波数領域の変換における前記積集合/和集合計算の実行が
前記試験画像と前記参照画像の前記空間周波数領域の変換における周波数リングの座標を取得することと、
前記試験画像の前記周波数リングの第1重み付けフーリエ変換環振幅ヒストグラムおよび前記参照画像の前記周波数リングの第2重み付けフーリエ変換環振幅ヒストグラムを計算し正規化することを含む、請求項7に記載の方法。 - 前記第1重み付けフーリエ変換リング振幅ヒストグラムと前記第2重み付けフーリエ変換リング振幅ヒストグラムの和集合計算、
前記第1重み付けフーリエ変換リング振幅ヒストグラムと前記第2重み付けフーリエ変換リング振幅ヒストグラムの積集合計算、および
ヒストグラムビンカットオフを使用して前記積集合と和集合のフィルタリングをさらに含む、請求項8に記載の方法。 - 非一時的メモリに格納された命令を実行するように構成されたプロセッサを含み、前記命令は、実行されると、前記プロセッサに、
バイオアッセイの画像および参照画像を、前記バイオアッセイの前記画像で選択された特徴を評価するために受信させ、
前記選択された特徴において、前記バイオアッセイの前記画像と前記参照画像について決定された振幅フーリエ環ヒストグラムの対に適用された積集合/和集合に基づいて前記バイオアッセイの前記画像と前記参照画像の類似性の程度を出力する、コンピューティングデバイス、を含むシステム。 - 前記コンピューティングデバイスに通信可能に結合された撮像装置をさらに含み、前記コンピューティングデバイスは前記撮像装置から前記バイオアッセイの前記画像を受信する、請求項10に記載のシステム。
- 前記非一時的メモリは、プロセッサによって実行されると、
プロセッサに、複数の候補参照画像から前記参照画像を、前記複数の候補参照画像の各々の間の互いを比較した類似性の程度に基づいて、選択させる命令をさらに含み、前記参照画像は、最も高い類似性の程度を有する、請求項11に記載のシステム。 - 前記選択された特徴が、画質、細胞数および細胞の特徴のうちの1つ以上を含む、請求項12に記載のシステム。
- 前記細胞の特徴が細胞形態、細胞の大きさ、細胞の健康状態、および細胞の分解のうちの少なくとも1つを含む、請求項13に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202263364708P | 2022-05-13 | 2022-05-13 | |
US63/364,708 | 2022-05-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023168287A true JP2023168287A (ja) | 2023-11-24 |
Family
ID=88510302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023078202A Pending JP2023168287A (ja) | 2022-05-13 | 2023-05-10 | 画質および特徴の自動分類方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230368549A1 (ja) |
JP (1) | JP2023168287A (ja) |
DE (1) | DE102023112159A1 (ja) |
-
2023
- 2023-04-24 US US18/305,999 patent/US20230368549A1/en active Pending
- 2023-05-09 DE DE102023112159.6A patent/DE102023112159A1/de active Pending
- 2023-05-10 JP JP2023078202A patent/JP2023168287A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230368549A1 (en) | 2023-11-16 |
DE102023112159A1 (de) | 2023-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7422825B2 (ja) | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 | |
JP7335855B2 (ja) | コンテキストフィーチャを用いた画像解析システム | |
Campanella et al. | Towards machine learned quality control: A benchmark for sharpness quantification in digital pathology | |
EP2272046B1 (en) | Identification, classification and counting of targets of interest in multispectral image data | |
JP5717647B2 (ja) | 多核細胞分類および微小核点数化 | |
JP6517788B2 (ja) | 適応的病理組織画像分解のためのシステム及び方法 | |
JP6594294B2 (ja) | 顕微鏡画像の画像品質評価 | |
JP6598850B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
WO2017217325A1 (ja) | データ復元装置、顕微鏡システム、およびデータ復元方法 | |
JP2019164450A (ja) | 画像処理方法、コンピュータプログラムおよび記録媒体 | |
JP2023168287A (ja) | 画質および特徴の自動分類方法 | |
Shimoni et al. | Normalized polarization ratios for the analysis of cell polarity | |
Mascalchi et al. | Which elements to build co-localization workflows? from metrology to analysis | |
EP3545495B1 (en) | A method for unsupervised stain separation in pathological whole slide image | |
Keller et al. | Super‐Resolution Data Analysis | |
Peskin et al. | Predicting segmentation accuracy for biological cell images |