JP2019537736A

JP2019537736A - 畳み込み辞書学習および符号化による、ホログラフィックレンズフリー撮像における対象物検出のためのシステムおよび方法

Info

Publication number: JP2019537736A
Application number: JP2019545710A
Authority: JP
Inventors: イェリン、フローレンス; ハーフェル、ベンジャミン・ディー．; ビダル、レネ
Original assignee: MiDiagnostics NV
Current assignee: MiDiagnostics NV
Priority date: 2016-11-04
Filing date: 2017-11-03
Publication date: 2019-12-26
Also published as: US20200103327A1; WO2018085657A1; CN110366707A; EP3535622A4; EP3535622A1

Abstract

試験片中の対象物を検出するためのシステムは、試験片の少なくとも一部分を保持することのためのチャンバを含む。システムはまた、チャンバ中の試験片の一部分のホログラフィック画像を取得するためのレンズフリー画像センサを含む。システムは、画像センサと通信しているプロセッサであって、１つまたは複数の対象物がその中に示されるホログラフィック画像を取得するようにプログラムされたプロセッサをさらに含む。プロセッサは、検出されるべき対象物を表す少なくとも１つの対象物テンプレートを取得することと、ホログラフィック画像中で少なくとも１つの対象物を検出することとを行うようにさらにプログラムされる。

Description

関連出願の相互参照
[0001]本出願は、その開示全体が参照により本明細書に組み込まれる、２０１６年１１月４日に出願された「ＳｙｓｔｅｍａｎｄＭｅｔｈｏｄｆｏｒＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎｉｎＨｏｌｏｇｒａｐｈｉｃＬｅｎｓ−ＦｒｅｅＩｍａｇｉｎｇｂｙＣｏｎｖｏｌｕｔｉｏｎａｌＤｉｃｔｉｏｎａｒｙＬｅａｒｎｉｎｇａｎｄＥｎｃｏｄｉｎｇ」と題する米国仮出願第６２／４１７，７２０号の優先権を主張する。

[0002]本開示は、ホログラフィック画像処理に関し、特に、ホログラフィック画像における対象物検出に関する。

[0003]レンズフリー撮像（ＬＦＩ：lens-free imaging）は、特に、従来の顕微鏡使用と比較して、そのコンパクトさ、軽量性、最小のハードウェア要件、および広い視野により、生物学的適用例のための有利な技術として出現している。１つのそのような適用例は、超広い視野中での高スループットのセル検出およびカウントである。従来のシステムは、合焦レンズを使用し、その結果、比較的制限された視野となる。ＬＦＩシステムは、これに反して、そのような視野を制限するレンズを必要としない。しかしながら、レンズフリー画像中で対象物を検出することは特に困難であり、なぜなら、極めて近接した２つの対象物によって生成されるホログラム、光が対象物によって散乱されたときに形成する干渉縞が互いに干渉する可能性があり、それによって標準的なホログラフィック再構成アルゴリズム（たとえば、広角スペクトル再構成）が、図１（左）に示す画像など、環状アーティファクトを伴う再構成された画像を生成させることになるからである。その結果、再構成アーティファクトは、撮像されている対象物と同程度に暗く見えることがあり、それは多くの偽陽性をもたらし得るので、しきい値処理などの単純な対象物検出方法は機能しない可能性がある。

[0004]テンプレートマッチングは、画像パッチと１つまたは複数のあらかじめ定義された対象物テンプレートとの間の相関を見つけることによって画像中で対象物を検出するための古典的アルゴリズムであり、一般に、テンプレートのように見える可能性が低い再構成アーティファクトに対してよりロバストである。しかしながら、テンプレートマッチングの１つの欠点は、それがユーザに対象物テンプレートを事前指定することを要求するということであり、通常、テンプレートは、画像から手動で抽出されるパッチであり、対象物インスタンスの中で大きい変動性を捕捉する必要がある場合、テンプレートの数は非常に多くなり得る。さらに、テンプレートマッチングは、いくつかのパラメータに反応する非最大抑制およびしきい値処理を介した後処理を必要とする。

[0005]スパース辞書学習（ＳＤＬ）は、対象物テンプレートを学習するための教師なしの方法である。ＳＤＬでは、画像中の各パッチは、Ｋ−ＳＶＤなどの方法を使用してスパース係数と一緒に学習される辞書原子（テンプレート）の（スパース）線形結合として近似される。しかしながら、ＳＤＬは、セルがパッチ内の複数のロケーション中に現れることができるということに適応するために非常に冗長な数のテンプレートを必要とするので効率的でない。さらに、ＳＤＬは、対象物が画像のほんのいくつかのパッチ中にしか現れない場合でも、辞書を使用してあらゆる画像パッチをコーディングすることを必要とする。

[0006]本開示では、ＬＦＩにおける対象物検出およびカウントのための畳み込みスパース辞書学習手法について説明する。本手法は、スパースロケーションマップ（図１参照）を用いて対象物テンプレートを畳み込むことによって形成される少数の画像の和として入力画像を表そうとする畳み込みモデルに基づく。画像がピクセルの数に対して少数のインスタンスを含んでいるので、対象物検出は、畳み込みスパースコーディング（ＣＳＣ）、スパースコーディングのためのマッチング追跡アルゴリズムを拡張する貪欲な手法を使用して効率的に行われ得る。さらに、テンプレートの収集は、畳み込みスパース辞書学習（ＣＳＤＬ）、畳み込み事例へのＫ−ＳＶＤの一般化を使用して自動的に学習され得る。

[0007]本開示の手法は、他の対象物検出方法の長所を保持しながら、それらの制限および欠点の多くを克服する。テンプレートマッチングと同様に、再構成アーティファクトが検出されている対象物に似ていないので、ＣＳＣはそのようなアーティファクトによってだまされない。テンプレートマッチングとは異なり、ＣＳＣは、テンプレートとして画像パッチを使用しないが、代わりに、あらかじめ定義された例示的な対象物を使用するのではなく、データから直接テンプレートを学ぶ。コーディングステップが、直接画像中の対象物の位置を特定するので、テンプレートマッチングに勝る別の利点は、ＣＳＣが後処理ステップおよび多くのパラメータに依存しないということである。さらに、画像中の対象物の数がアプリオリに知られている場合、ＣＳＣは完全にパラメータフリーとなり、対象物の数が未知の場合、チューニングされるべき単一のパラメータがある。さらに、しきい値処理のような他の対象物検出方法と併せてパッチベースの辞書学習およびコーディング方法が使用されなければならない。対照的に、ＣＳＣおよびコーディングは、対象物検出のためのスタンドアロンな方法である。ＣＳＣはまた、パッチベースの辞書コーディングの非効率に悩まされない。これは、ＣＳＣのランタイムが、画像中の対象物の数およびすべてのタイプの対象物の発生について記述するために必要とされるテンプレートの数に対応し、一方、パッチベースの方法の複雑性が、パッチの数およびテンプレートの（場合によってはより大きい）数に対応するからである。これらの利点により、本開示のＣＳＣ技法は、特に、ＬＦＩにおけるセル検出およびカウントに適したものものとなる。

[0008]本開示の性質および目的をより完全に理解するために、添付の図面とともに以下の発明を実施するための形態を参照されたい。

[0009]本開示の技法を示す図。ここにおいて、左側の画像は従来的に再構成されたホログラムであり、示された６つのテンプレートは、畳み込み辞書学習を介して学習され、畳み込み辞書コーディング中に、入力画像は、変動する強度のデルタ関数を用いた辞書要素の畳み込みの和としてコーディングされ、右側の画像を生じる。 [0010]カウント精度およびランタイムの観点からのパッチベースの辞書コーディングとＣＳＣとの比較の図。 [0011]本開示の一実施形態による、対象物をカウントするための方法のフローチャート。 [0012]本開示の別の実施形態による、システムを示す図。 [0013]本開示の別の実施形態による、システムによって取得されたホログラムのローカル再構成を示す図。 [0014]本開示の別の実施形態による、システムによって取得されたホログラムのリモート再構成を示す図。

[0015]図３を参照すると、本開示は、ホログラフィック画像中の対象物を検出するための方法１００として実施され得る。方法１００は、たとえば、複数の対象物を含んでいる流体のホログラフィック画像などのホログラフィック画像を取得すること１０３を含む。少なくとも１つの対象物テンプレートが取得され１０６、ここにおいて、少なくとも１つの対象物テンプレートは、カウントされるべき対象物の表現である。２つ以上の対象物テンプレートが使用され得、より多数の対象物テンプレートの使用は、対象物検出を改善し得る。たとえば、各対象物テンプレートは、検出されるべき対象物の（対象物テンプレートの中で）一意の表現、たとえば、対象物の異なる向きでの対象物の表現、形態などであり得る。実施形態では、対象物テンプレートの数は、それらの間の対象物のすべての整数個を含む２、３、４、５、６、１０、２０、５０、またはそれ以上であり得る。いくつかの実施形態では、検出されるべき対象物は、異なる対象物、たとえば、赤血球および白血球である。そのような実施形態では、対象物テンプレートは、対象物が検出、カウントおよび／または区別され得るような異なる対象物の表現を含み得る。

[0016]方法１００は、ホログラフィック画像中で少なくとも１つの対象物を検出すること１０９を含む。いくつかの実施形態では、少なくとも１つの対象物を検出するステップは、残差画像と少なくとも１つの対象物テンプレートとの間の相関を計算すること１３０を備える。最初に、残差画像はホログラフィック画像であるが、本方法のステップが繰り返されるにつれて、残差画像は、（以下でさらに説明するように）本方法の各反復の結果を用いて更新される。２つ以上の対象物テンプレートが取得される１０６場合、相関は、残差画像と各対象物テンプレートとの間で計算される１３０。対象物は、計算された１３０の相関を最大化する残差画像中のロケーションを決定することによって残差画像中で検出される１３３。最大化された相関の強度も決定される。

[0017]残差画像は、残差画像から、決定されたロケーションにおいて（以下でさらに説明する）デルタ関数を用いて畳み込まれた検出された１３３対象物テンプレートを減算し、最大化された相関の強度によってこれを重み付けすることによって更新される１３９。相関を計算し１３０、最大化された相関のロケーションを決定し１３３、残差画像を更新する１３６ステップは、相関の強度が所定のしきい値に達するまで繰り返される１３９。各反復では、更新された１３６残差画像が利用される。たとえば、ホログラフィック画像が最初に残差画像として使用される場合、更新された１３６残差画像が後続の反復において使用される。反復が進むにつれて、相関の強度が減少し、たとえば、相関の強度が所定のしきい値以下であるとき、プロセスは停止され得る。所定のしきい値は、本開示に照らして明らかになる任意の方法によって、たとえば、交差検証によって決定され得、ここで、結果は、本方法をさらに反復すべきであるのかどうかを決定するために知られている良好な結果と比較される。しきい値は、たとえば、交差検証などの任意のモデル選択技法によって選択され得る。

[0018]いくつかの実施形態では、少なくとも１つの対象物テンプレートを取得する１０６ステップは、候補テンプレートとしてホログラフィック画像から少なくとも１つのパッチ選択すること１５０を含む。候補テンプレートは、ホログラフィック画像中で少なくとも１つの対象物を検出する１５３ために使用される。たとえば、少なくとも１つの対象物が、上記で説明した相関方法を使用して検出され得る１５３。検出された１５３対象物は、候補テンプレートとともに記憶され得る１５６。２つ以上の候補テンプレートが使用される場合、対象物と対応するテンプレートとが記憶される。少なくとも１つの候補テンプレートが、そのテンプレートに対応する検出された対象物に基づいて更新される１５９。対象物を検出し１５３、対象物と候補テンプレートとを記憶し１５６、検出された対象物に基づいて候補テンプレートを更新する１５９プロセスは、候補テンプレートの変化が所定のしきい値よりも少なくなるまで繰り返される１６２。テンプレートを学習するために、プロセスは、単一のホログラフィック画像を用いて行われ得、ここで、「テンプレート」を初期化するためにランダムパッチが選択され、対象物検出が、テンプレートが初期化された同じ画像に対して実行される。テンプレートは、学習されると、第２の画像中で対象物検出を行うために使用され得る。

[0019]方法１００は、少なくとも１つの検出された対象物に基づいてホログラフィック画像中の対象物の数を決定すること１１２を含み得る。たとえば、ホログラフィック画像中で少なくとも１つの対象物を検出する１０９ための上記で説明した例示的なステップでは、対象物の検出ごとに、検出された対象物の総数が更新され得、ホログラフィック画像中の対象物の数が決定され得る１１２。

[0020]別の態様では、本開示は、試験片中の対象物を検出するためのシステム１０として実施され得る。試験片９０は、たとえば、流体であり得る。システム１０は、試験片９０の少なくとも一部分を保持するためのチャンバ１８を備える。試験片が流体である例では、チャンバ１８は、流体が移動される流路の一部分であり得る。たとえば、流体は、管またはマイクロ流体チャネルを通って移動され得、チャンバ１８は、対象物がカウントされることになる管またはチャネルの一部分である。システム１０は、ホログラフィック画像を取得するためのレンズフリー画像センサ１２を有し得る。画像センサ１２は、たとえば、アクティブピクセルセンサ、電荷結合デバイス（ＣＣＤ）、またはＣＭＯＳアクティブピクセルセンサであり得る。システム１０は、コヒーレント光源などの光源１６をさらに含み得る。画像センサ１２は、画像センサ１２が作動させられるとき、光源１６からの光によって照らされた、チャンバ１８中の流体の一部分のホログラフィック画像を取得するように構成される。プロセッサ１４は、画像センサ１２と通信していることがある。

[0021]プロセッサ１４は、本開示の方法のいずれかを実行するようにプログラムされ得る。たとえば、プロセッサ１４は、チャンバ１８中の試験片のホログラフィック画像を取得することと、少なくとも１つの対象物テンプレートを取得することと、対象物テンプレートに基づいてホログラフィック画像中で少なくとも１つの対象物を検出することとを行うようにプログラムされ得る。ホログラフィック画像を取得することの一例では、プロセッサ１４は、チャンバ１８中の試験片のホログラフィック画像を画像センサ１２に捕捉させるようにプログラムされ得、プロセッサ１４は、次いで、画像センサ１２からキャプチャされた画像を取得し得る。別の例では、プロセッサ１４は、ストレージデバイスからホログラフィック画像を取得し得る。

[0022]図５〜図６を参照すると、システム１０は、たとえば、画像センサ１２およびプロセッサ１４がシステム１０を構成する「ローカル」再構成のために構成され得る。システム１０は、試験片を照らすための光源１６をさらに含み得る。たとえば、光源１６は、たとえば、コヒーレント光を与えるレーザーダイオードなどのコヒーレント光源であり得る。システム１０は、ホログラムの取得中に試験片を含んでいるように構成される試験片撮像チャンバ１８をさらに含み得る。（たとえば、図６に示す）他の実施形態では、システム２０は、リモート再構成のために構成され、ここで、プロセッサ２４は、画像センサとは別個のものであり、たとえば、ワイヤードまたはワイヤレスネットワーク接続、フラッシュドライブなどを通して画像センサから情報を受信する。

[0023]プロセッサは、メモリと通信しており、および／またはそれを含み得る。メモリは、たとえば、ランダムアクセスメモリ（ＲＡＭ）（たとえば、ダイナミックＲＡＭ、スタティックＲＡＭ）、フラッシュメモリ、取外し可能メモリなどであり得る。場合によっては、本明細書で説明する動作を実行すること（たとえば、画像センサを動作させる、再構成された画像を生成する）に関連する命令は、（いくつかの実施形態では、命令が記憶されるデータベースを含む）メモリおよび／または記憶媒体内に記憶され得、命令はプロセッサにおいて実行される。

[0024]場合によっては、プロセッサは、１つまたは複数のモジュールおよび／または構成要素を含む。プロセッサによって実行される各モジュール／構成要素は、ハードウェアベースのモジュール／構成要素（たとえば、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ））、ソフトウェアベースのモジュール（たとえば、メモリ中におよび／またはデータベース中に記憶されたならびに／あるいはプロセッサにおいて実行されるコンピュータコードのモジュール）、および／またはハードウェアベースおよびソフトウェアベースのモジュールの組合せの任意の組合せであり得る。プロセッサによって実行される各モジュール／構成要素は、本明細書で説明する１つまたは複数の特定の機能／動作を実行することが可能である。場合によっては、プロセッサ中に含まれ、その中で実行されるモジュール／構成要素は、たとえば、プロセス、アプリケーション、仮想マシン、および／あるいは何らかの他のハードウェアまたはソフトウェアモジュール／構成要素であり得る。プロセッサは、それらのモジュール／構成要素を動作および／または実行するように構成された任意の好適なプロセッサであり得る。プロセッサは、命令のセットまたはコードを動作および／または実行するように構成された任意の好適な処理デバイスであり得る。たとえば、プロセッサは、汎用プロセッサ、中央処理ユニット（ＣＰＵ）、加速処理ユニット（ＡＰＵ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）などであり得る。

[0025]本明細書で説明するいくつかのインスタンスは、様々なコンピュータ実装動作を実行するための命令またはコンピュータコードをその上に有する（非一時的プロセッサ可読媒体と呼ばれることもある）非一時的コンピュータ可読媒体をもつコンピュータ記録製品に関する。コンピュータ可読媒体（またはプロセッサ可読媒体）は、それ自体一過性の伝搬信号（たとえば、空間またはケーブルなどの送信媒体上で情報を搬送する伝搬電磁波）を含まないという点で非一時的である。（コードと呼ばれることもある）メディアおよびコンピュータコードは、特定の目的のための設計または構築されたものであり得る。非一時的コンピュータ可読媒体の例は、限定はしないが、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープなどの磁気記憶媒体、コンパクトなディスク／デジタルビデオディスク（ＣＤ／ＤＶＤ）、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、およびホログラフィックデバイスなどの光記憶媒体、光ディスクなどの光磁気記憶媒体、搬送波信号処理モジュール、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、読取り専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）デバイスなどのプログラムコードを記憶および実行するように特に構成されたハードウェアデバイスを含む。本明細書で説明する他のインスタンスは、たとえば、本明細書で説明する命令および／またはコンピュータコードを含むことができるコンピュータプログラム製品に関する。

[0026]コンピュータコードの例は、限定はしないが、マイクロコードまたはマイクロ命令と、コンパイラによって生成されるような機械語命令と、ウェブサービスを生成するために使用されるコードと、インタープリタを使用するコンピュータによって実行されるより高いレベルの命令を含んでいるファイルを含む。たとえば、インスタンスは、Ｊａｖａ（登録商標）、Ｃ＋＋、．ＮＥＴ、または他のプログラミング言語（たとえば、オブジェクト指向プログラミング言語）および開発ツールを使用して実装され得る。コンピュータコードの追加の例は、限定はしないが、制御信号と、暗号化コードと、圧縮コードとを含む。

[0027]例示的な適用例では、本開示の方法またはシステムは、生物学的な試験片内の対象物を検出および／またはカウントするために使用され得る。たとえば、システムの一実施形態は、全血液中の赤血球および／または白血球をカウントするために使用され得る。そのような実施形態では、対象物テンプレートは、１つまたは複数の向きでの赤血球および／または白血球の表現であり得る。いくつかの実施形態では、生物学的な試験片は、本開示の技法との使用の前に処理され得る。

[0028]別の態様では、本開示は、コンピュータに本明細書で開示した方法のいずれかを実行するように命令するコンピュータプログラムを記憶した非一時的コンピュータ可読媒体として実施され得る。たとえば、非一時的コンピュータ可読媒体は、１つまたは複数の対象物がその中に示されるホログラフィック画像を取得することと、検出されるべき対象物を表す少なくとも１つの対象物テンプレートを取得することと、ホログラフィック画像中で少なくとも１つの対象物を検出することとを行うコンピュータプログラムを含み得る。
さらなる説明
[0029]たとえば、広角スペクトル再構成を使用して取得された観測された画像

が与えられれば、画像が、ロケーション

において対象物のＮ個のインスタンスを含んでいると仮定する。インスタンスの数とそれらのロケーションとの両方が未知であると仮定する。また、Ｋ個の対象物テンプレート

、ω⊂Ωが、複数のインスタンスにわたって対象物の形状の変動をキャプチャすると仮定する。Ｉ_iをロケーション（ｘ_i，ｙ_i）における対象物のｉ番目のインスタンスしか含んでいない画像であるとし、ｋ_iをｉ番目のインスタンスを最も良く近似するテンプレートであるとする。したがって、次式が得られる。

[0030]ここで、☆は畳み込みを示す。Ｉは、

として分解され得、したがって、次式が得られる。

[0031]ここで、変数α_i∈｛０，１｝は、ｉ番目のインスタンスが存在する場合、α_i＝１となり、そうでない場合、α_i＝０となるものであり、Ｎが対象物の数の上限であるときにより少数の対象物インスタンスがＩ中にある可能性を考慮するために導入される。実際には、α_i∈［０，１］は、α_iの大きさが検出の強度を測定するように緩和され得る。同じテンプレートがＫ≪Ｎとなるように複数の対象物インスタンスによって選定され得ることがわかる。図１は、式（２）の画像での説明を与える。

[0032]式（２）は、一般的なスパース畳み込み近似の特殊事例であり、ここで、画像は、テンプレート

を用いた（ｌ₀の意味で）スパースフィルタ

の畳み込みの和として記述される。一般的な畳み込み辞書学習およびコーディング問題に取り組むためのいくつかの手法は、目的を凸化することと貪欲な方法を使用することとを含む。
畳み込みスパースコーディングによるセル検出
[0033]当面、テンプレート

が知られていると仮定する。画像Ｉが与えられれば、目的は、対象物インスタンスの数Ｎ（対象カウント）とそれらのロケーション

（対象物検出）を発見することである。副産物として、ｉ番目のインスタンスを最も良く近似するテンプレートｋ_iが推定される。この問題は、次式のように定式化され得る。

[0034]ここで、

はδ（ｘ−ｘ_i，ｙ−ｙ_i）の略記である。

[0035]１つのステップで画像中のすべてのＮ個の対象物について問題（３）を解くのではなく、一つずつ対象物を検出するために貪欲な方法が使用される（Ｎ個のステップが必要とされる）。この手法は、畳み込み目的へのスパースコーディングのためのマッチング追跡の適用例である。Ｒ_iを、残差画像と呼ばれる、まだコーディングされていない入力画像の一部であるとする。最初に、いずれの画像もコーディングされておらず、したがって、Ｒ₀＝Ｉとなる。すべてのＮ個の対象物がコーディングされた後、残差Ｒ_Nが背景雑音を含むが、対象物は含んでいないことになる。ｉ番目の対象物の位置を特定するために使用される基本的な対象物検出ステップは、次式のように定式化され得る。

[0036]固定されたα_iの場合、最小化問題（４）が最大化問題に等しいことを示すことができる。

[0037]ここで、

は、相関を示し、〈・，・〉は内積を示す。問題（５）の解が、すべてのテンプレートｄ_kを用いてＲ_i-1の相関を計算し、（テンプレートマッチングと同様の）最大相関を与えるテンプレートとロケーションとを選択することであることに注意されたい。最適なｋ_i、ｘ_i、ｙ_iが与えられれば、（４）中のα_iを解くことは、解が閉じられた形態で計算され得る単純な２次問題である。これらの観察は、方法１におけるＣＳＣ方法につながる。

[0038]方法１は、テンプレートのサイズがｍ²であり、画像のサイズがＭ²である場合、ｍ≪Ｍであることに注意することによって効率的に実装され得る。したがって、Ｋ［ｍ²］＊［Ｍ²］は、１回だけ行われ得、最初の反復の後に、後続の反復は、ｍ²のスケールに対するローカルの更新だけで行われ得る。Ｑ_iの更新が（ｘ_i，ｙ_i）の周りのローカルの変化に関与することに注意することによって、さらなる効率が獲得され得、したがって、大きい（ＫＭ²）行列Ｑを記憶するために最大ヒープの実装形態を使用することができる。Ｑが行列として記憶される場合、費用のかかる演算ｍａｘ（Ｑ）が各反復で行われなければならない。代わりに、Ｑが最大ヒープとして記憶される場合、ヒープ中のＫ（２ｍ−１）²要素を更新する反復ごとに追加のコストがあるが、ｍａｘ（Ｑ）は計算を必要としない。Ｎｍａｘ（・）演算を除去することからの計算利得は、ＮＫ（２ｍ−１）²ヒープ更新を追加することのコストをはるかに上回る。
畳み込みスパースコーディングの終了基準
[0039]１つの対象物がＣＳＣ方法の各反復中に位置を特定されるので、カウント精度は、反復方法がいつ終了されるのかによって影響を及ぼされる。スパース係数｛α_i｝は、画像中の選定された対象物がテンプレートに漸減的に似るのでｉとともに減少する。いくつかの実施形態では、アルゴリズムは、

であるときに終了され、ここで、Ｔは、たとえば、交差検証によって選定されたしきい値である。この終了基準により、Ｎがアプリオリに知られていないときにＮ個の対象物をコーディングするためにＣＳＣを使用することが可能になる。
畳み込みスパース辞書学習（ＣＳＤＬ）を用いたテンプレートトレーニング
[0040]次に、テンプレート

を学ぶことの問題について考える。ＣＳＤＬ方法は、（３）中で目的を最小化するが、制約｜｜ｄ_k｜｜₂＝１の対象となる

に関しても最小化する。概して、これは、非凸面最適化問題を解くことを必要とすることになり、したがって、ＣＳＣと辞書を更新することの間で交替するＫ−ＳＶＤの畳み込みバージョンを使用する貪欲な近似が採用される。コーディング更新ステップ中に、辞書が固定され、スパース係数と対象物ロケーションとがＣＳＣアルゴリズムを使用して更新される。辞書更新ステップ中に、スパース係数と対象物ロケーションとが固定され、対象物テンプレートは、特異値分解を使用して一つずつ更新される。テンプレートｄ_pに関連するエラー画像は、

として定義され、ここで、Δ_p＝｛ｉ：ｋ_i＝ｐ｝である。したがって、ｄ_pを更新する最適化問題は、次式のように定式化され得る。

[0041]パッチ（テンプレートと同じサイズ）が

を中心とするＥ_pから抽出され得、問題（６）が、標準的なパッチベースの辞書更新問題に低減され得ることに注意されたい。これは、方法２において説明する方法につながる。辞書は、トレーニング画像から学習されると、新しいテスト画像中でのＣＳＣを介した対象物検出およびカウントのために使用され得る。

例示的な実施形態
[0042]開示するＣＳＤＬおよびＣＳＣ方法は、広角スペクトル再構成を使用して再構成されるホログラフィックレンズフリー画像中で赤血球および白血球を検出し、カウントする問題に適用された。１０人のドナーからの血液凝固が阻止されたヒト血液試料の画像のデータセットを採用した。各ドナーから、（１）（はるかに少ない数の血小板とさらに少数の白血球とに加えて）主に赤血球を含んでいる希釈された（３００：１の）全血液と、（２）溶解した赤血球と混合された白血球との２つのタイプの血液サンプルを撮像した。白血球は、溶解した赤血球デブリにより検出するのがより困難であった。すべての血液細胞をマイクロ流体チャネル中を流れる間に懸濁中で撮像した。血液分析装置は、１０人のドナーの各々からの「グラウンドトゥルース」の赤血球濃度および白血球濃度を取得するために使用された。真のカウントは、血液分析装置、マイクロ流体チャネルの知られている寸法、および知られている希釈率によって与えられた濃度から計算された。本比較では、本開示の方法が画像中のセルをカウントするために使用されると、カウントは希釈率を使用して濃度に変換された。

[0043]ＣＳＤＬが４つの辞書を学習するために使用され、各々が単一の画像から学習し、辞書は、イメージャ（Ｉ１およびＩ２）ごとにおよび血液サンプルタイプ（ＲＢＣおよびＷＢＣ）ごとに学習された。６つの赤血球テンプレートと７つの白血球テンプレートとを学習するために、ＣＳＤＬ辞書の１０回の反復が使用された。ＲＢＣテンプレートとＷＢＣテンプレートとは、それぞれ、７×７および９×９ピクセルであった（ＷＢＣは、一般に、ＲＢＣよりも大きい）。ＣＳＣは、次いで、すべてのデータセット、全部で約２，７００枚の画像（それぞれ、データセットＩ１−ＲＢＣ、Ｉ２−ＲＢＣ、Ｉ１−ＷＢＣ、およびＩ２−ＷＢＣからのドナーごとの約２４０、５０、２００、および５０枚の画像）に適用された。表１に、血液分析装置からのセルカウントと比較した平均セルカウントのエラーレートを示す。
表１血液分析装置からの推定セルカウントと比較したＣＳＤＬおよびＣＳＣを使用して取得されたセルカウントの％エラー

[0044]最後に、畳み込み辞書学習およびコーディングを使用して取得された結果が、図２での標準的なパッチベースの辞書コーディングから取得された結果と比較される。パッチベースのスパース辞書コーディングを使用するときに、画像再構成時間と再構成品質との間にトレードオフがあることに注意されたい。ＣＳＣのランタイムが、画像中で検出されるべきセルの数とセルの間に予想される変動について記述するのに必要なテンプレートの数（変動が大きくなるほど、より多くのテンプレートが必要になることを意味する）とに依存することにも注意されたい。典型的なＲＢＣ画像は、約２，５００個のセルを含んでいるが、ＷＢＣ画像は、約２５０個しかセルを含んでいない。

[0045]本願明細書に関して、以下の説明が当業者には理解されよう。したがって、本明細書で言及する画像が、本方法のいずれかの時点に表示される必要がなく、代わりに、１つまたは複数のレンズフリー撮像技術を使用して生成されるデータのファイルを表し、これらの画像を再構成するステップは、代わりに、データのファイルが、次いで、よりクリアな画像を生成するために使用され得るか、または統計的な手段によって、有用な出力のために分析され得るデータのファイルを生成するために変換されることを意味する。たとえば、血液のサンプルの画像ファイルが、レンズフリー撮像技術によってキャプチャされ得る。このファイルは、血液のサンプルの画像を表すデータを含んでいる第２のファイルに次いで数学的に再構成されることになる回折パターンのものになる。第２のファイルは、第１のファイルを置き換えるか、またはコンピュータ可読媒体中に別々に記憶され得る。いずれかのファイルは、それの潜在的な視覚的提示またはサンプル中に含まれている（任意のタイプの）血液細胞のカウントを取得する観点からのそれの有用性に関して血液のサンプルをより正確に表すためにさらに処理され得る。データの様々なファイルのストレージは、画像処理技術中でのデータストレージのために一般に使用される方法を使用して達成されることになる。

[0046]本開示について、１つまたは複数の特定の実施形態に関して説明したが、本開示の趣旨および範囲から逸脱することなく本開示の他の実施形態が行われ得ることを理解されよう。以下は、本開示の実施形態を示すことのみを目的とする非限定的な例示的な特許請求の範囲である。

Claims

試験片中の対象物を検出するためのシステムであって、
前記試験片の少なくとも一部分を保持するためのチャンバと、
前記チャンバ中の前記試験片の前記一部分のホログラフィック画像を取得するためのレンズフリー画像センサと、
前記レンズフリー画像センサと通信しているプロセッサとを備え、前記プロセッサが、
（ａ）１つまたは複数の対象物がその中に示されるホログラフィック画像を取得することと、
（ｂ）検出されるべき前記対象物を表す少なくとも１つの対象物テンプレートを取得することと、
（ｃ）前記ホログラフィック画像中で少なくとも１つの対象物を検出することと
を行うようにプログラムされた、システム。
前記プロセッサが、前記少なくとも１つの検出された対象物に基づいて、前記ホログラフィック画像中の対象物の数を決定するようにさらにプログラムされた、請求項１に記載のシステム。
前記プロセッサが、
（ｃ１）残差画像と前記少なくとも１つの対象物テンプレートとの間の相関を計算することと、ここにおいて、前記残差画像が前記ホログラフィック画像であり、
（ｃ２）検出された対象物として前記計算された相関を最大化する前記残差画像中のロケーションを決定し、前記最大化された相関の強度を決定することと、
（ｃ３）前記残差画像と、前記決定されたロケーションにおいてデルタ関数を用いて畳み込まれ、前記最大化された相関の前記強度によって重み付けされた前記対象物との間の差として、前記残差画像を更新することと、
（ｃ４）前記最大化された相関の前記強度が所定のしきい値に達するまで、前記更新された残差画像を使用してステップ（ｃ１）から（ｃ３）を繰り返すことと
を行うことによって少なくとも１つの対象物を検出するようにさらにプログラムされた、請求項１に記載のシステム。
前記プロセッサが、
（ｂ１）候補テンプレートとして前記ホログラフィック画像から少なくとも１つのパッチを選択することと、
（ｂ２）前記候補テンプレートを使用して第２のホログラフィック画像中で少なくとも１つの対象物を検出することと、
（ｂ３）前記検出された対象物と対応する前記候補テンプレートとを記憶することと、
（ｂ４）前記対応する検出された対象物に基づいて前記候補テンプレートを更新することと、
（ｂ５）前記候補テンプレートの変化が所定のしきい値よりも小さくなるまでステップ（ｂ２）から（ｂ４）を繰り返すことと
を行うことによって少なくとも１つの対象物テンプレートを取得するようにさらにプログラムされた、請求項１に記載のシステム。
前記画像センサが、アクティブピクセルセンサ、ＣＣＤ、またはＣＭＯＳアクティブピクセルセンサである、請求項１に記載のシステム。
コヒーレント光源をさらに備える、請求項１に記載のシステム。
ホログラフィック画像中で対象物を検出するための方法であって、
（ａ）１つまたは複数の対象物がその中に示されるホログラフィック画像を取得することと、
（ｂ）検出されるべき前記対象物を表す少なくとも１つの対象物テンプレートを取得することと、
（ｃ）前記少なくとも１つの対象物テンプレートを使用して前記ホログラフィック画像中で少なくとも１つの対象物を検出することと
を備える、方法。
前記少なくとも１つの検出された対象物に基づいて、前記ホログラフィック画像中の対象物の数を決定することをさらに備える、請求項７に記載の方法。
前記少なくとも１つの対象物を検出するステップが、
（ｃ１）残差画像と前記少なくとも１つの対象物テンプレートとの間の相関を計算することと、ここにおいて、前記残差画像が前記ホログラフィック画像であり、
（ｃ２）検出された対象物として前記計算された相関を最大化する前記残差画像中のロケーションを決定し、前記最大化された相関の強度を決定することと、
（ｃ３）前記残差画像と、前記決定されたロケーションにおいてデルタ関数を用いて畳み込まれ、前記最大化された相関の前記強度によって重み付けされた前記対象物テンプレートとの間の差として、前記残差画像を更新することと、
（ｃ４）前記最大化された相関の前記強度が所定のしきい値に達するまで、前記更新された残差画像を使用してステップ（ｃ１）から（ｃ３）を繰り返すことと
を行うことを備える、請求項７に記載の方法。
２つ以上の対象物テンプレートが取得され、ここにおいて、前記計算された相関を最大化する前記残差画像中のロケーションを決定する前記ステップが、前記計算された相関を最大化する対象物テンプレートを決定することをさらに備える、請求項９に記載の方法。
少なくとも３つの対象物テンプレートが取得される、請求項９に記載の方法。
前記少なくとも１つの対象物テンプレートを取得するステップが、
（ｂ１）候補テンプレートとして前記ホログラフィック画像から少なくとも１つのパッチを選択することと、
（ｂ２）前記候補テンプレートを使用して前記ホログラフィック画像中で少なくとも１つの対象物を検出することと、
（ｂ３）前記検出された対象物と対応する前記候補テンプレートとを記憶することと、
（ｂ４）前記対応する検出された対象物に基づいて前記候補テンプレートを更新することと、
（ｂ５）前記候補テンプレートの変化が所定のしきい値よりも小さくなるまでステップ（ｂ２）から（ｂ４）を繰り返すことと
を行うことを備える、請求項７に記載の方法。
前記少なくとも１つのパッチがランダムに選択される、請求項１２に記載の方法。
２つ以上のパッチが候補テンプレートとして選択される、請求項１２に記載の方法。
（ａ）１つまたは複数の対象物がその中に示されるホログラフィック画像を取得することと、
（ｂ）検出されるべき前記対象物を表す少なくとも１つの対象物テンプレートを取得することと、
（ｃ）前記ホログラフィック画像中で少なくとも１つの対象物を検出することと
を行うようにコンピュータに命令するためのコンピュータプログラムを記憶した非一時的コンピュータ可読媒体。