JP2018526754A - 画像処理装置、画像処理方法及び記憶媒体 - Google Patents

画像処理装置、画像処理方法及び記憶媒体 Download PDF

Info

Publication number
JP2018526754A
JP2018526754A JP2018513390A JP2018513390A JP2018526754A JP 2018526754 A JP2018526754 A JP 2018526754A JP 2018513390 A JP2018513390 A JP 2018513390A JP 2018513390 A JP2018513390 A JP 2018513390A JP 2018526754 A JP2018526754 A JP 2018526754A
Authority
JP
Japan
Prior art keywords
image
particle
dictionary
unit
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018513390A
Other languages
English (en)
Other versions
JP6547903B2 (ja
Inventor
カピック リ
カピック リ
剛志 柴田
剛志 柴田
佐藤　敦
敦 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2018526754A publication Critical patent/JP2018526754A/ja
Application granted granted Critical
Publication of JP6547903B2 publication Critical patent/JP6547903B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

誤ったモデルの仮定に起因する、対象の位置の推定の不正確さを回避する画像処理技術を提供する。本発明の実施態様に係る画像処理装置は、粒子の領域を含む複数の粒子画像であって、当該複数の粒子画像における前記粒子の真の位置が与えられている前記粒子画像に対する、入力画像の類似度を、複数の相対位置において推定する照合部１０６と、前記類似度と前記真の位置とに基づいて、前記入力画像内における粒子の位置を算出する算出部１０８と、を含む。【選択図】 １９

Description

本発明は、画像処理技術に関する。
モデルに基づく方法は、解像度が限られた画像において、例えば、回折限界など光学系により制限された解像度をもつ顕微鏡画像又は望遠鏡画像において、対象物体の位置を推定するためにしばしば用いられる。モデルに基づく方法では、例えば発光粒子などである対象物体は、例えば、画像内の、仮定された大きさ及び輝度で、或る形状の斑点としてモデル化される。そして、観測された発光粒子のもとでモデルの最適化を実行して、仮定したモデルの蓋然性を算出する。
特許文献１では、形状の差異が互いに小さいモデルを用いて、マークを検知するマーク検知装置を開示している。
特開２００７−０７８５１０号公報
しかしながら、対象の位置を推定する、モデルに基づく方法では、結果の精度は、仮定したモデルに大きく依存する。特許文献１に係るマーク認識装置は、モデルが適切でない場合、対象を正確に認識することができない。
本発明の目的は、誤ったモデルの仮定に起因する、対象の位置の推定の不正確さを回避する画像処理技術を提供することである。
画像処理装置は、粒子の領域を含む複数の粒子画像であって、当該複数の粒子画像における前記粒子の真の位置が与えられている前記粒子画像に対する、入力画像の類似度を、複数の相対位置において推定する照合手段と、前記類似度と前記真の位置とに基づいて、前記入力画像内における粒子の位置を算出する算出手段と、を含む。
画像処理方法は、粒子の領域を含む複数の粒子画像であって、当該複数の粒子画像における前記粒子の真の位置が与えられている前記粒子画像に対する、入力画像の類似度を、複数の相対位置において推定し、前記類似度と前記真の位置とに基づいて、前記入力画像内における粒子の位置を算出する。
プログラムを記憶する記憶媒体は、コンピュータに、相対位置において、粒子の領域を含む複数の粒子画像であって、当該複数の粒子画像における前記粒子の真の位置が与えられている前記粒子画像に対する、入力画像の類似度を、複数の相対位置において推定する照合処理と、前記類似度と前記真の位置とに基づいて、前記入力画像内における粒子の位置を算出する算出処理と、を実行させる。
本発明の例示的な態様によれば、本発明は、誤ったモデルの仮定に起因する、対象の位置の推定の不正確さを回避することができる。
図１は、本発明の第１の実施形態に係る画像処理装置の構造の例を示すブロック図である。 図２は、本発明の第１、第２及び第３の実施形態に係る画像処理装置のクエリ生成フェーズにおける動作の例を示すフローチャートである。 図３は、本発明の第１、第２及び第３の実施形態に係る画像処理装置のクエリ生成フェーズにおける動作状態の部の例を示すブロック図である。 図４は、本発明の第１の実施形態に係る画像処理装置の動作の例を示すフローチャートである。 図５は、本発明の第１の実施形態に係る画像処理装置の訓練フェーズにおける動作状態の部の例を示すブロック図である。 図６は、本発明の第１の実施形態に係る画像処理装置の照合フェーズにおける動作の例を示すフローチャートである。 図７は、本発明の第１の実施形態に係る画像処理装置の照合フェーズにおける動作状態の部の例を示すブロック図である。 図８は、本発明の第２の実施形態に係る画像処理装置の構造の例を示すブロック図である。 図９は、本発明の第２の実施形態に係る画像処理装置のクエリフェーズにおける動作状態の部の例を示すブロック図である。 図１０は、本発明の第２の実施形態に係る画像処理装置の訓練フェーズにおける動作状態の部の例を示すブロック図である。 図１１は、本発明の第２及び第３の実施形態に係る画像処理装置の訓練フェーズにおける動作の例を示すフローチャートである。 図１２は、本発明の第２の実施形態に係る画像処理装置の照合フェーズにおける動作状態の部の例を示すブロック図である。 図１３は、本発明の第２及び第３の実施形態に係る画像処理装置の照合フェーズにおける動作の例を示すフローチャートである。 図１４は、本発明の第３の実施形態に係る画像処理装置の構造の第１の例を示すブロック図である。 図１５は、本発明の第３の実施形態に係る画像処理装置の画像生成フェーズにおける動作状態の部の例を示すブロック図である。 図１６は、本発明の第３の実施形態に係る画像処理装置の画像生成フェーズにおける動作の例を示すフローチャートである。 図１７は、本発明の第１の実施形態に係る粒子位置の推定の手順を示す概略図である。 図１８は、本発明の第３の実施形態に係る画像処理装置の第２の例を示すブロック図である。 図１９は、本発明の第４の実施形態に係る画像処理装置のブロック図である。 図２０は、本発明の実施形態のいずれか１つに係る画像処理装置として動作することができるコンピュータの構造の例を示すブロック図である。 図２１は、本発明の第１の実施形態に係る画像処理装置のハードウェア構造の例のブロック図である。 図２２は、本発明の第２の実施形態に係る画像処理装置のハードウェア構造の例のブロック図である。 図２３は、本発明の第３の実施形態に係る画像処理装置のハードウェア構造の第１の例のブロック図である。 図２４は、本発明の第３の実施形態に係る画像処理装置のハードウェア構造の第２の例のブロック図である。 図２５は、本発明の第４の実施形態に係る画像処理装置のハードウェア構造の例のブロック図である。
＜第１の実施形態＞
本発明の第１の実施形態を、図面を参照しながら詳細に説明する。
図１は、本発明の第１の実施形態に係る画像処理装置１００の構造の例を示すブロック図である。
画像処理装置１００は、クエリ画像受信部１０１と、選択部１０２と、回転部１０３と、辞書受信部１０４と、辞書記憶部１０５と、照合部１０６と、決定部１０７と、算出部１０８とを含む。
クエリ画像受信部１０１は、類似する強度を有する画素を含む連結領域を含む画像を受信する。連結領域の強度は、概して、連結領域に含まれない画素の強度とは異なり得る。以下の記載において、クエリ画像は、「クエリ画像」又は「入力画像」と表記される。クエリ画像は、望遠鏡及びカメラによって宇宙空間の写真を撮影することで得た天体画像であってもよい。この場合、上述の連結領域は、星の画像領域であってもよい。クエリ画像は、上記の例に限定されない。入力画像は、例えば、粒子（例えば、蛍光粒子）の顕微鏡画像であってもよく、それらは、顕微鏡及びカメラによって蛍光粒子を撮影することにより得られる。この場合、上述の連結領域は、入力画像内の、粒子の画像領域である。入力画像は、顕微鏡画像から切り出された部分であってよい。
本実施形態及び本発明の他の実施形態では、入力画像において、それぞれの粒子の像の位置（すなわち、座標）は、与えられておらず未知である。入力画像における粒子の位置は、例えば、三次元空間における、その粒子の中心を表す点の位置（すなわち、座標）である。粒子の理想的な大きさは、以下で説明する入力画像及び辞書画像において、同じであればよい。
クエリ画像受信部１０１は、例えばクエリ画像を撮影したカメラ（図示せず）から、又は、カメラによって撮影されたクエリ画像を記憶するサーバ装置（図示せず）から、入力画像（すなわち、クエリ画像）を受信してもよい。
選択部１０２は、クエリ画像受信部１０１が受信した入力画像から、粒子の画像領域を含む、又は、粒子の画像領域を複数含む領域（以後、「抽出領域」と表記する）を選択する（例えば、抽出する）。選択部１０２は、連結領域に含まれる画素の強度と、連結領域に含まれる画素数とに基づいて、粒子の画像領域（以後、「粒子領域」と表記する）として、入力画像内における連結領域を抽出してもよい。
より具体的には、選択部１０２は、粒子の画像領域（以下、画像内の粒子の領域を「粒子領域」と表記）の典型的な強度と、背景領域（すなわち、粒子領域以外の領域）の典型的な強度との間の値に設定されている強度閾値を用いて、粒子の領域の画素の候補である、粒子候補画素を抽出してもよい。粒子領域の典型的な強度及び背景領域の典型的な強度は、実験的に導出されていればよい。以下の記載において、粒子領域の画素の候補を、「粒子候補画素」と表記する。
粒子領域の典型的な強度が強度閾値より大きい場合、選択部１０２は、強度閾値以上の強度をもつ画素を、粒子候補画素として抽出してもよい。粒子領域の代表強度が強度閾値より小さい場合、選択部１０２は、強度閾値以下の強度をもつ画素を、粒子候補画素として抽出してもよい。
選択部１０２は、粒子候補画素の連結領域を生成してもよい。選択部１０２が、粒子候補画素の２つ以上の連結領域を生成してもよい。
選択部１０２は、生成した連結領域から、連結領域に含まれる画素数に基づいて、粒子領域を選択してもよい。選択部１０２は、粒子領域として、第１の大きさ閾値より大きい数の粒子画素を含む連結領域を選択してもよい。選択部１０２は、粒子領域として、第１の大きさ閾値より大きく、かつ、第１の大きさ閾値より大きい第２の大きさ閾値を超えない数の粒子画素を含む連結領域を選択してもよい。選択部１０２は、連結領域に含まれる画素の数に基づいて、連結領域を複数の連結領域に分割してもよい。
選択部１０２は、粒子領域を、２種類の粒子領域のうちの１つに分類してもよい。例えば、選択部１０２は、第１の大きさ閾値より大きく、かつ、第３の大きさ閾値を超えない数の画素を含む粒子領域を、１つの粒子を表す粒子領域（以後、「単粒子領域」と表記する）として分類する。第３の閾値は、第１の大きさ閾値より大きく、第２の大きさ閾値を超えない数に設定される。選択部１０２は、第３の大きさ閾値より大きく、かつ、第２の大きさ閾値を超えない数の画素を含む粒子領域を、２つの粒子を表す粒子領域（以後、「２粒子領域」と表記する）として分類してもよい。
２つ以上の連結領域が粒子領域として選択された場合、選択部１０２は、粒子領域から、２つの単粒子領域（すなわち、単粒子領域に分類した２つの粒子領域）を選択してもよい。選択部１０２は、選択した２つの単粒子領域を含む領域を抽出してもよい。選択部１０２は、単粒子領域の全ての可能なペアが選択されるまで、２つの単粒子領域を選択し、選択した２つの単粒子領域を含む領域を抽出することを繰り返してもよい。選択部は、選択される２つの単粒子領域の間の距離を、距離閾値以内に制限してもよい。
粒子領域として２つ以上の連結領域が選択された場合、選択部１０２は、さらに、粒子領域から、２粒子領域（すなわち、２粒子領域に分類された粒子領域）を選択してもよい。選択部１０２は、選択した２粒子領域を含む領域を抽出してもよい。選択部１０２は、全ての２粒子領域を選択するまで、２粒子領域を選択し、選択した２粒子領域を含む領域を抽出することを繰り返してもよい。
選択部１０２は、上述の抽出領域として、選択された単粒子領域又は選択した２粒子領域の外接矩形を抽出してもよい。選択部１０２は、抽出領域として、所定幅のマージンに囲まれた外接矩形を含む矩形を抽出してもよい。抽出領域の範囲は、上述の例に限定されない。以下の説明において、選択された単粒子領域や選択された２粒子領域を、「候補領域」とも表記される。
選択部１０２は、候補領域以外の連結領域の画素の強度を、予め設定された、背景領域の強度に変えることによって、選択した単粒子領域及び選択した２粒子領域以外の連結領域を、抽出領域から除いてもよい。予め設定された、背景領域の強度は、上述の、背景領域の典型的な強度であってもよい。
画像処理装置１００の操作者は、画像処理装置１００のキーボード及び／又はマウスなどの入力装置（図示せず）を用いることによって、粒子領域を含む領域を指示してもよい。選択部１０２は、操作者が指示した領域を抽出してもよい。
選択部１０２は、上述の、入力画像からの抽出領域にそれぞれ相当する、２つ以上の抽出領域を抽出してもよい。
回転部１０３は、入力画像の粒子位置を通る線を推定する。回転部１０３は、入力画像から抽出された抽出画像において、その線を推定してもよい。回転部１０３は、抽出画像において推定した線の方向が、辞書画像の真の粒子位置を通る線の方向と適合するように（言い換えると、辞書画像の真の粒子位置を通る線の方向になる又は同じであるように）、抽出画像を回転させる。辞書画像及び真の粒子位置を含む辞書画像を、以下に詳細に説明する。以下に説明するように、水平線が、辞書画像の真の粒子位置を通る。真の粒子位置を、粒子の真の位置とも表記する。
例えば、回転部１０３は、抽出領域内に含む候補領域の重心を通り、かつ、抽出領域内の候補領域に関して最小の慣性モーメントを有する線が水平となるように、選択部１０２が抽出した抽出領域を回転させる。以下の説明において、回転させられた抽出領域を、「回転領域画像」と表記する。この場合、回転部１０３は、入力画像の粒子位置を通る線として、抽出領域に含まれる候補領域の重心を通り、かつ、選択された抽出領域内の候補領域に関して最小の慣性モーメントを有する線を推定する。
より具体的には、回転部１０３は、候補領域の重心を抽出する。回転部１０３は、選択された領域の重心を通り、かつ、選択された領域に関して最小の慣性モーメントを有する線を算出する。回転部１０３は、算出した線の、水平線に対する角度を算出する。回転部１０３は、点（例えば、選択した領域の重心）を中心に、算出された角度で逆に回転させる変換を算出する。回転部１０３は、算出した変換に従って抽出領域を回転させて、回転領域画像を生成する。
回転部１０３は、算出した変換に従って入力画像を回転させればよい。回転部１０３は、選択部１０２が候補領域を含む抽出領域を抽出するのと同じ方法で、候補領域を含む回転させた入力画像から回転領域画像を抽出すればよい。
画像（元画像）を回転させるとき、回転部１０３は、元画像から回転させた画像を、補間によって生成してもよい。より具体的には、回転部１０３はまず、算出した角度で回転させる回転の変換の後の、元画像の各画素の座標を算出すればよい。回転部１０３は、回転させた画像の各画素の強度を、その画像の画素の、算出された座標と強度とに基づいて、補間によって算出してもよい。
辞書受信部１０４は、真の粒子位置と共に、粒子画像（本発明の実施形態の説明では、「辞書画像」と表記する）を受信する。粒子画像は、粒子の画像領域をそれぞれ含む画像である。辞書画像は、真の粒子位置がそれぞれ与えられている粒子画像である。辞書画像に与えられている真の粒子位置は、辞書画像における粒子の位置を表す。辞書画像における粒子の位置は、例えば、粒子の点（例えば、中心）を表す座標であってもよい。座標は、辞書画像に固定された座標系で表されていればよい。
辞書画像は、例えば、粒子の動き又は粒子の移動のシミュレーションによって生成された画像であってもよい。本実施形態では、各辞書画像の２つの粒子をつなぐ線が水平であると仮定する。言い換えると、本実施形態の辞書画像の各々は、２つの粒子の画像領域を含む。水平の線分が、２つの粒子の中心を表す点をつなぐことができる。辞書画像は、辞書画像の各々が、水平線に配置された２つの粒子を含むように、生成されてもよい。２つの粒子の粒子領域は、辞書画像において１つの粒子領域となるように重なっていてもよい。２つの粒子の粒子領域は、２つに分離していてもよい。
辞書画像は、２つの粒子の間の距離において相違する。辞書画像では、２つの粒子の間の距離の中で、最も小さい差が、辞書画像の画素の大きさよりも小さくてもよい。辞書画像の各々は、２つの粒子の、粒子領域又は複数の粒子領域と、その粒子領域又は複数の粒子領域を取り囲む背景領域とを含む。
辞書画像の各々は、２つの粒子の粒子位置の間の距離が、予め設定されている距離から選択され、かつ、粒子位置の間の距離が同じであるときに粒子位置が同じであるように、合成されていてもよい。
辞書受信部１０４は、粒子の真の粒子位置と共に受信した辞書画像を、辞書記憶部１０５に格納する。辞書受信部１０４は、受信した辞書画像のそれぞれについて、辞書画像における２つの粒子の真の粒子位置と、その辞書画像とを関連付ければよい。辞書受信部１０４は、辞書画像における粒子の真の粒子位置とそれぞれ関連付けられている辞書画像を、辞書記憶部１０５に格納してもよい。
辞書記憶部１０５は、辞書受信部１０４が受信した、辞書画像と、辞書画像の真の粒子位置とを記憶する。辞書画像は、粒子画像のダウンサンプリングの、例えばノイズやぼけなどの攪乱を含んでいてもよい。
照合部１０６は、回転部１０３から受信した回転領域画像を、辞書記憶部１０５の辞書画像の各々と照合する。
より具体的には、照合部１０６は、選択されていない辞書画像から、辞書画像を選択する。照合部１０６は、辞書記憶部１０５から、選択した辞書画像を読み出す。
照合部１０６は、テンプレートマッチングを用いて、例えば、互いに重畳する回転画像の領域と選択され辞書画像の領域との間の類似度を表すマッチングスコアに基づいて、回転領域画像と選択した辞書画像とが互いに最もよく適合する場合の、回転領域画像及び選択した辞書画像の間の相対位置を探索する。
照合部１０６は、回転領域画像と選択された辞書画像との間における可能な相対位置の全てについて、回転領域画像と選択された画像との重畳領域のマッチングスコアを算出してもよい。照合部１０６は、回転領域画像と選択された辞書画像との間における可能な相対位置の全てについて算出したマッチングスコアの中から、最も良いスコアを検出してもよい。照合部１０６は、回転領域画像及び選択した画像の重畳領域から最良スコアを算出した場合の、回転領域画像と選択された辞書画像との間における相対的な関係を検出してもよい。辞書画像内のある辞書画像に対するマッチングスコアの最も良いスコアを、「近さスコア」と称する。
辞書画像の各々の大きさが、回転領域画像の大きさより大きい場合、照合部１０６は、辞書画像を全て選択するまで、複数の辞書画像から１つの辞書画像を選択し、選択した辞書画像の全域にわたって回転領域画像をスライドさせて、回転領域画像と選択した辞書画像との重畳領域から近さスコアが算出される相対位置を見つけることを繰り返せばよい。近さスコアが算出された相対位置を、「マッチング位置」と表記する。
マッチング位置は、回転領域画像と選択された辞書画像とがマッチング位置において互いに重畳する場合の、回転領域画像に固定された点の位置に対応する位置の、選択された辞書画像の点の座標によって表すことができる。固定された点は、回転領域画像において定義されている、画像座標系の原点でああってもよい。選択された辞書画像の点の座標は、選択された辞書画像に固定されている画像座標系によって表すことができる。
決定部１０７は、辞書画像の中で、最も良い近さスコアを有する辞書画像を選択することによって、最もよく適合する辞書画像を決定する。決定部１０７は、さらに、最もよく適合する辞書画像のマッチング位置を選択することによって、最も良い相対位置を決定する。決定部１０７は、さらに、最もよく適合する辞書画像と回転領域画像とが、最もよく適合する相対位置において重畳する場合に、最もよく適合する辞書画像から、回転領域画像と重畳する領域を抽出することによって、最もよく適合する領域を抽出してもよい。
算出部１０８は、最もよく適合する辞書画像の真の粒子位置と、最も良いマッチング位置と、回転部１０３によって算出された回転の変換と、選択部１０２によって抽出された抽出領域の位置とに基づいて、入力画像における粒子の位置を算出する（すなわち、推定する）。
入力画像における粒子の座標を導出するために、算出部１０８は、最もよく適合する辞書画像の粒子の真の位置（すなわち、座標）を、辞書記憶部１０５から読み出す。算出部１０８は、最もよく適合する辞書画像における粒子の、与えられた座標（すなわち、真の位置）と、最も良いマッチング位置とに基づいて、回転領域画像における粒子の座標を算出する。算出部１０８は、最もよく適合する辞書画像と回転領域画像とが、最も良いマッチング位置において重畳する場合に、最もよく適合する辞書画像の真の粒子位置に位置する点の、回転領域画像における座標を算出することによって、回転領域画像における粒子の座標を推定する。
算出部１０８は、回転部１０３による回転の変換の逆変換に従って、回転領域画像における、推定された座標を、選択部１０２によって抽出された抽出領域における粒子の座標に変換する。算出部１０８は、入力画像における抽出領域の位置に基づいて、抽出領域における粒子の座標を、入力画像（すなわち、クエリ画像）における座標（すなわち、粒子位置）に変換する。
出力部１０９は、入力画像内における、算出された粒子位置を示す位置情報を出力する。出力部１０９は、算出された粒子位置にある粒子の位置をそれぞれ示すマークを、入力画像に描いてもよく、マークが描かれた入力画像を出力してもよい。出力部１０９は、算出された粒子位置を表すテストデータを出力してもよい。
上の説明では、回転部１０３は、入力画像から抽出された抽出領域を回転させるが、回転部１０３は、辞書画像において粒子の位置を表す点を通る線の角度が、抽出領域における重心を通り、かつ、最小の慣性モーメントを有する線に対してゼロになるように、辞書画像を回転させてもよく、抽出領域の画像と辞書画像とを回転させてもよい。
上述の説明では、水平の線が、辞書画像の各々の、真の粒子位置にある点を通る。辞書画像の各々の、真の粒子位置にある点を通る線は、水平でなくてもよい。この場合、回転部１０３は、入力画像における推定された線の方向が、照合部１０６が回転領域画像と照合させる辞書画像の、真の粒子位置にある点を通る線の方向と同じになるように、抽出画像を回転させてよい。
図１７は、本発明の第１の実施形態に係る粒子位置の推定の手順に関する画像を模式的に示す図である。
クエリ画像受信部１０１は、入力画像を受信する。選択部１０２は、受信した入力画像からクエリ画像パッチ（すなわち、上述の抽出領域）を抽出する。回転部１０３は、クエリ画像パッチから粒子の候補領域を抽出する。回転部１０３は、抽出領域において、重心を通り、かつ、抽出候補領域の最小の慣性モーメントを有する線が水平となるように、クエリ画像パッチを回転させる。
辞書記憶部１０５は、粒子画像（すなわち、上述の辞書画像）及び真の粒子位置を記憶する。辞書記憶部１０５に格納されている粒子画像は、例えばノイズやぼけである、ダウンサンプリングの攪乱を含む。照合部１０６は、回転させたクエリ画像パッチを、辞書記憶部の粒子画像の各々と照合する。照合部１０６は、照合の結果として、粒子画像の各々に対する、回転させたクエリ画像パッチのマッチングスコアを算出する。決定部１０７は、全ての辞書画像の中から最も良い近さスコアを選択することによって、最もよく適合する辞書画像を決定する。算出部１０８は、最もよく適合する辞書画像の真の粒子位置に基づいて、クエリ画像における粒子位置を推定する。
図２は、クエリ生成フェーズにおける画像処理装置１００の動作の例を示すフローチャートである。クエリ生成フェーズは、クエリ画像を受信すること、クエリ画像から領域を抽出すること、抽出領域を回転させること、及び、回転させた抽出領域の画像と辞書画像とを照合することを含む。
図３は、画像処理装置１００のクエリ生成フェーズにおける動作状態の部（すなわち、動作している部）の例を示すブロック図である。クエリ生成フェーズにおける動作状態の部には、クエリ画像受信部１０１、選択部１０２及び回転部１０３が含まれる。図３においては、動作状態の部が実線によって示され、他の部は破線によって示されている。
図２によれば、クエリ画像受信部１０１は、粒子画像である入力画像を受信する（ステップＳ１０１）。入力画像は、入力画像を撮影した顕微鏡（図示せず）によって入力されてもよい。入力画像は、また、入力画像を撮影した望遠鏡（図示せず）によって入力されてもよい。入力画像は、また、粒子画像を記憶する記憶装置（図示せず）から読みされてもよい。
次に、選択部１０２が、定義されている閾値よりも大きい強度をもつ画素（すなわち、粒子候補画素）を取り囲む、領域又は複数の領域を抽出する（ステップＳ１０２Ａ）。選択部１０２は、選択されていない抽出領域の中から、抽出領域（すなわち、選択領域）を選択する（ステップＳ１０２Ｂ）。
そして、回転部１０３は、線の周囲の慣性モーメントが最小であるように、粒子候補画素の質量中心（すなわち、重心）を通る線を導出する（ステップＳ１０３）。
回転部１０３は、導出された線が水平になるように、選択領域を回転させる（ステップＳ１０４）。選択部１０２は、同じ計算を２回以上行わないように、選択した領域を「選択済み」としてマークする（ステップＳ１０５）。全ての抽出領域が選択されたわけではない場合（ステップＳ１０６においてＮＯ）、画像処理装置の動作は、ステップＳ１０２Ｂに戻る。全ての抽出領域が選択された場合（ステップＳ１０６においてＹＥＳ）、図２の動作は終了する。
図４は、訓練フェーズにおける画像処理装置１００の動作の例を示すフローチャートである。
図５は、訓練フェーズにおける画像処理装置１００の動作状態の部の例を示すブロック図である。訓練フェーズにおける動作状態の部は、辞書受信部１０４及び辞書記憶部１０５である。図５においては、動作状態の部は実線によって示され、他の部は破線によって描かれている。
図４によれば、辞書受信部１０４は、粒子画像（すなわち、辞書画像）を、辞書画像の、与えられた粒子位置（すなわち、粒子の位置）と共に受信する（ステップＳ２０１）。そして、辞書受信部１０４は、辞書画像を、粒子位置と共に、辞書記憶部１０５に格納する（ステップＳ２０２）。辞書画像は、辞書画像を撮影した顕微鏡（図示せず）によって入力されてもよい。辞書画像は、また、その画像を撮影した望遠鏡（図示せず）によって入力されてもよい。辞書画像は、また、粒子のシミュレーション画像を生成するシミュレータによって入力されてもよい。入力される辞書画像は、また、辞書画像を記憶している記憶装置（図示せず）から読み出されてもよい。全ての辞書画像が辞書記憶部１０５に格納されているわけではない場合（ステップＳ２０３においてＮＯ）、画像処理装置の動作は、ステップＳ２０１に戻る。全ての辞書画像が格納された場合、図４に示す動作は終了する。
図６は、照合フェーズにおける画像処理装置１００の動作の例を示すフローチャートである。
図７は、画像処理装置１００の照合フェーズにおける動作状態の部の例を示すブロック図である。
図６によれば、照合部１０６は、粒子位置が与えられていない、回転領域画像を、回転部１０３から受信する（ステップＳ３０１）。回転部１０３は、回転画像を照合部１０６に送信してもよい。
そして、照合部１０６は、複数の辞書画像から、１つの辞書画像を選択する（ステップＳ３０２）。照合部１０６は、回転領域画像を、選択した辞書画像と照合する（ステップＳ３０２）。照合部１０６は、例えば回転領域画像と選択辞書画像との重畳する領域の間の類似度を表すマッチングスコアに基づいて、回転領域画像が選択辞書画像と最もよく適合する位置であるマッチング位置に対して、回転領域画像と選択辞書画像との間の可能な全ての相対位置において、回転領域画像が選択辞書画像と最もよく適合する位置であるマッチング位置を探索してもよい。照合部１０６は、回転領域画像及び選択辞書画像に対して、最も良いマッチングスコアが導出される位置である、最も良いマッチング位置を検出する。
照合部１０６が、回転領域画像及び選択辞書画像に対して、最も良いマッチング位置と最も良いマッチングスコアとを記録する（ステップＳ３０３）。全ての辞書画像が回転領域画像と照合されているわけではない場合（ステップＳ３０５においてＮＯ）、画像処理装置１００の動作はステップＳ３０２に戻り、全ての辞書画像が回転領域画像と照合されるまで（ステップＳ３０５においてＹＥＳ）、ステップＳ３０３及びＳ３０４の動作が繰り返される。
照合部１０６は、マッチングスコアとして、正規化相互相関を算出してもよい。正規化相互相関を算出するための数式の例を、以下に記載する、数１及び数２に示す。数１及び数２に示す数式において、Ｓ（ｘ，ｙ）は、辞書画像における（ｘ，ｙ）によって表される座標の位置（例えば、画素）におけるスコアであり、ｄ（ｘ，ｙ）は、例えば、辞書画像の位置（ｘ，ｙ）における画素の強度であり、ｑ（ｘ，ｙ）は、例えば、回転入力画像の位置（ｘ，ｙ）における画素の強度である。
Figure 2018526754
数２に示す数式の例は、ゼロ平均正規化相互相関のマッチングスコアを算出するための数式である。数２において、ｍｄは、辞書画像における平均強度であり、ｍｑは、回転入力画像における平均強度である。
Figure 2018526754
全ての辞書画像が回転領域画像と照合された場合（ステップＳ３０５においてＹＥＳ）、決定部１０７は、全ての辞書画像の最も良いマッチングスコアの中から最も良いスコアを特定することによって、最もよく適合する辞書画像を決定する（ステップＳ３０６）。決定部１０７は、最もよく適合する辞書画像から最も良いマッチング位置において回転領域画像と重畳している領域を抽出することによって、最もよく適合する辞書画像における最もよく適合する領域を抽出する。
そして、算出部１０８は、決定部１０７によって抽出された最もよく適合する領域における、与えられた粒子位置と、ステップＳ１０４における回転の角度と、ステップＳ１０２Ａにおいて入力画像から抽出領域が抽出された位置と、等に基づいて、入力画像における粒子位置を算出する（ステップＳ３０７）。
照合フェーズの後、出力部１０９が、位置情報を出力する。
本実施形態によれば、誤ったモデル仮定に起因する、対象位置の推定の不正確さを回避することができる。その理由は、算出部１０８が、複数の相対位置における、真の位置が与えられている粒子の領域を含む粒子画像に対する入力画像の類似度に基づいて、入力画像における粒子の位置を算出するからである。
＜第２の実施形態＞
本発明の第２の実施形態を、図面を参照しながら詳細に説明する。
図８は、本発明の第２の実施形態に係る画像処理装置２００の構造の例を示すブロック図である。
画像処理装置２００は、第１の実施形態の画像処理装置１００に含まれる構成要素と同じ構成要素を含む。以下で説明する違いを除き、これらの構成要素の詳細な説明は省略する。画像処理装置２００は、グループ化部２０１をさらに含む。
グループ化部２０１は、辞書画像における２つの粒子間の距離に基づいて、複数の辞書画像のサブグループへのグループ化を実行する。グループ化部２０１は、２つの粒子の位置を表す真の粒子位置の間の距離を算出することによって、２つの粒子の間の距離を推定してもよい。
本実施形態の決定部１０７は、回転領域画像と辞書画像の各々とのマッチングスコアに基づいて、サブグループのうちの１つに対する投票を行う。決定部１０７は、サブグループの各々に投票されたマッチングスコアの合計を算出してもよい。決定部１０７は、複数のサブグループに関するマッチングスコアの合計の中で、最も良い合計を有するサブグループを決定する（すなわち、特定する）。
本実施形態に係る画像処理装置２００の動作を、図面を参照しながら詳細に説明する。
図９は、クエリ生成フェーズにおける画像処理装置２００の動作状態の部の例を示すブロック図である。クエリ生成フェーズにおける動作状態の部には、クエリ画像受信部１０１、選択部１０２及び回転部１０３が含まれる。動作状態の部は実線によって描かれ、他の部は破線によって描かれている。
図２は、クエリ生成フェーズにおける画像処理装置２００の動作の例を示すフローチャートである。画像処理装置２００のクエリ生成フェーズにおける動作は、第１の実施形態に係る画像処理装置１００のクエリ生成フェーズにおける動作と同じである。したがって、画像処理装置２００のクエリ生成における動作の詳細な説明は省略する。
図１０は、訓練フェーズにおける画像処理装置２００の動作状態の部の例を示すブロック図である。訓練フェーズでは、画像処理装置２００において動作する部は、辞書受信部１０４、グループ化部２０１及び辞書記憶部１０５である。図１０においては、動作状態の部は実線によって示され、他の部は破線によって示されている。
図１１は、訓練フェーズにおける画像処理装置２００の動作の例を示すフローチャートである。
辞書受信部１０４は、画像（すなわち、辞書画像）を、その画像の真の粒子位置と共に受信する。画像の真の粒子位置は、予め与えられおり既知である（ステップＳ４０１）。図１１に示すステップＳ４０１は、図４に示す、第１の実施形態のステップＳ２０１と同じである。
第１の実施形態と同様に、上述の辞書画像を含む辞書画像の各々は、２つの粒子の画像領域を含む。辞書画像の各々に対して、２つの粒子の真の粒子位置が与えられている。本実施形態では、同じサブグループに分類されている辞書画像の真の粒子位置は、共通である。
２つの粒子位置のうちの一方（第１の位置）は、各辞書画像に共通であってよい。２つの粒子位置のうちの他方（第２の位置）は、第１の位置を通る水平線上にあり、かつ、第１の位置の、予め決められた側（例えば、左側又は右側）にあってよい。辞書画像は、以下のとおりに生成されてもよい。
辞書画像は、複数の辞書画像のうちのある辞書画像（第１の辞書画像）の粒子位置と、複数の辞書画像のうちの他の辞書画像（第２の辞書画像）の粒子位置とが、第１の辞書画像の粒子位置の間の距離が第２の辞書画像の粒子位置の間の距離と同じである場合に、同じであるように、辞書画像生成装置（不図示であるが、画像処理装置２００と通信可能に接続されている）によって合成されてもよい。より具体的には、辞書画像生成装置は、予め設定されている複数の距離から、辞書画像における粒子位置間の距離を選択してもよい。辞書画像生成装置は、２つの粒子位置のうちの一方は、辞書画像の各々で共通（例えば、予め決められた位置）であり、２つの粒子位置のうちの他方は、選択した距離に応じて設定されるように、辞書画像を合成してもよい。
辞書画像生成装置は、２つの粒子の領域を含む元画像（例えば、顕微鏡画像）を、２つの粒子位置を通る線が、回転された元画像の各々において水平になるように、回転させてもよい。２つの粒子位置は、操作者によって示されても、入力されてもよい。辞書画像生成装置は、２つの粒子位置のうちの一方（第１の位置）が、予め決められた位置にあり、２つの粒子位置のうちの他方が、第１の位置の、予め決められた側にあるように、回転された元画像から辞書画像を抽出してもよい。
ステップＳ４０１の詳細な説明は省略する。
グループ化部２０１は、真の粒子位置をもつ辞書画像を、辞書受信部１０４から受信する。グループ化部２０１は、辞書画像における２つの粒子の間の距離に基づいて、辞書画像をサブグループのうちの１つに分類する（ステップＳ４０２）。グループ化部２０１は、受信した辞書画像における２つの粒子の間の距離として、受信した辞書画像における２つの粒子位置の間の距離を算出してもよい。
サブグループの各々は、距離の複数の区間の中のある区間と関連付けられ、そして、その区間表す代表距離と関連付けられている。複数の区間は、互いに重ならないように準備される。区間の代表距離は、その区間の、最大値、最小値、中心、又は、他の距離であってもよい。
辞書画像の２つの粒子位置の間の距離が、複数の区間のうちのある区間に含まれる場合、グループ化部２０１は、２つの粒子位置の間の距離を含む区間に関連付けられているサブグループに、その辞書画像を分類する。辞書画像は、２つの粒子の粒子位置が、２つの粒子の間の距離が同じである複数の辞書画像について同じであるように、生成されればよい。グループ化部２０１は、辞書画像を、辞書画像が分類されるサブグループと、辞書画像とともに受信した真の粒子位置とに関連付ければよい。
全ての辞書画像が分類されているわけではない場合（ステップＳ４０３においてＮＯ）、画像処理装置２００の動作は、ステップＳ４０１に戻る。
全ての辞書画像がサブグループに分類された後（ステップＳ４０３においてＹＥＳ）、グループ化部２０１は、１つのサブグループと真の粒子位置とにそれぞれ関連付けられている全ての辞書画像を、辞書記憶部１０５に格納する（ステップＳ４０４）。
図１２は、照合フェーズにおける画像処理装置２００の動作状態の部の例を示すブロック図である。照合フェーズでは、画像処理装置２００内で動作している動作状態の部は、辞書記憶部１０５、照合部１０６、決定部１０７及び算出部１０８である。図１２においては、動作状態の部は実線によって描かれ、他の部は破線によって描かれている。
図１３は、照合フェーズにおける画像処理装置２００の動作の例を示すフローチャートである。
図１３に示すステップＳ３０１からＳ３０６は、図６に示した第１の実施形態のステップＳ３０１からＳ３０６と同じである。これらのステップの詳細な説明は省略する。ステップＳ５０１、Ｓ５０２及びＳ５０３の動作を以下に詳細に記載する。
ステップＳ３０３において、照合部１０６は、ステップＳ３０１において受信した回転領域画像とステップＳ３０２において選択して辞書記憶部１０５から読み出した辞書画像とに関する最も良いマッチングスコアを導き、最も良いマッチングスコアが導出された位置である、最も良いマッチング位置を検出する。ステップＳ３０４において、照合部１０６は、検出された最も良いマッチング位置と、導出された最も良いマッチングスコアとを記録する。
決定部１０７は、そして、ステップＳ３０４において記録された最も良いマッチングスコアを用いて、ステップＳ３０２において選択された辞書画像が分類されているサブグループに投票する（ステップＳ５０１）。
回転領域画像と辞書画像とが、マッチングスコアが導出された相対位置においてよく適合するほど、マッチングスコアがより大きい場合、決定部１０７は、最も良いマッチングスコアをサブカテゴリの合計スコア（すなわち、投票スコア）に加算することによって、最も良いマッチングスコアを用いてサブカテゴリに投票してもよい。回転領域画像と辞書画像とが、マッチングスコアが導出された相対位置においてよりよく適合するほど、マッチングスコアがより小さい場合、決定部１０７は、マッチングスコアが大きいほど変換されたスコアが小さくなるように、最も良いマッチングスコアをスコアに変換してもよい。決定部１０７は、変換されたスコアをサブカテゴリの合計スコアに加算することによって、変換されたスコアを用いてサブカテゴリに投票してもよい。
決定部１０７は、ステップＳ３０４で記録された最も良いマッチングスコアを用いて、辞書画像における最も良いマッチング位置に投票する（ステップＳ５０２）。最も良いマッチングスコアを用いて最も良いマッチング位置に投票する場合、決定部１０７は、最も良いマッチングスコア用いて、最も良いマッチング位置の座標に投票してもよい。決定部１０７は、最も良いマッチングスコアを用いて、最も良いマッチング位置を含む領域に投票してもよい。その領域は、回転領域画像と辞書画像との相対位置の空間を分割することによって生成された領域の１つである。
回転領域画像と辞書画像とが、マッチングスコアが導出された相対位置においてよりよく適合するほど、マッチングスコアがより大きい場合、決定部１０７は、最も良いマッチングスコアを最も良いマッチング位置の合計スコア（すなわち、投票スコア）に加算することによって、最も良いマッチングスコアを用いて最も良いマッチング位置に投票してもよい。回転領域画像と辞書画像とが、マッチングスコアが導出された相対位置においてよりよく適合するほど、マッチマッチングスコアがより小さい場合、決定部１０７は、最も良いマッチングスコアがより小さいほど変換されたスコアがより大きいように、最も良いマッチングスコアをスコアに変換してもよい。決定部１０７は、変換されたスコアを最も良いマッチング位置における合計スコアに加算することによって、最も良いマッチングスコアを用いて最も良いマッチング位置に投票してもよい。
ステップＳ５０２において、決定部１０７は、サブグループの各々について独立に、最も良いマッチング位置の合計スコアを算出してもよい。言い換えると、決定部１０７は、複数のサブグループのサブグループについての、最も良いマッチング位置の合計スコアを、回転領域画像とそのサブグループに分類されている辞書画像との間のマッチングスコアを用いて、算出してもよい。
全ての辞書画像が回転領域画像と照合された場合（ステップＳ３０５においてＹＥＳ）、決定部１０７は、ステップＳ５０１における投票の結果に基づいて、最もよく適合する辞書画像の真の粒子位置を決定する。決定部１０７は、ステップＳ５０１において算出された最も良い（すなわち、最も高い）合計スコア（投票スコア）を有するサブグループを選択することと、合計スコアが最も良いサブグループに分類された辞書画像の真の粒子位置を、最もよく適合する辞書画像の真の粒子位置として推定することとによって、最もよく適合する辞書画像の真の粒子位置を決定してもよい。上述のように、本実施形態では、同じサブグループに分類された辞書画像は、共通の真の粒子位置を有する。
決定部１０７は、ステップＳ５０２における投票の結果に基づいて、回転領域画像と決定されたサブグループに分類された辞書画像との間における、最も良いマッチング位置を決定する。決定部１０７は、最も良い（すなわち、最も高い）合計スコアを有する、最も良いマッチング位置を選択することによって、回転領域画像と決定されたサブグループに分類された辞書画像との間における、最も良いマッチング位置を決定してもよい（ステップＳ５０３）。
算出部１０８が、そして、最も高い投票（すなわち、最も高い合計スコア）を有するサブグループの真の粒子位置と、最も高い投票を有する最も良いマッチング位置と、ステップＳ１０４における回転の変換と、Ｓ１０２Ａにおいて抽出領域が抽出された位置とを用いて、入力画像の粒子位置を算出する（ステップＳ３０６）。算出部１０８は、本発明の第１の実施形態に係る画像処理装置１００の算出部１０８と同じ方法で、入力画像の粒子位置を算出してもよい。
照合フェーズの後、出力部１０９が、位置情報を出力する。
本実施形態に係る画像処理装置は、入力画像の真の粒子位置をより正確に推定することができる。その理由は、決定部１０７が、投票結果に基づいて、辞書画像の真の粒子位置と最も良いマッチング位置とを決定するからであり、そのために、ノイズに起因する誤照合が減少するからである。
＜第３の実施形態＞
本発明の第３の実施形態を、図面を参照しながら詳細に説明する。
図１４は、本発明の第３の実施形態に係る画像処理装置３００の構造の例を示すブロック図である。
画像処理装置３００は、第２の実施形態の画像処理装置２００に含まれる構成要素と同じ構成要素を含む。以下で説明する違いを除き、それらの構成要素の詳細な説明は省略する。画像処理装置３００は、生成部３０１をさらに含む。
生成部３０１は、算出部１０８が算出した、元の入力画像内おける粒子位置を明確に示す、変更画像を生成する。生成部３０１は、粒子位置を含む領域が目立つように、粒子位置を含む領域内の画素の強度を変更することによって変更画像を生成してもよい。
生成部３０１は、入力画像において、画素の強度が変更される領域（以下、「変更領域」と称する）を、算出部１０８が算出した粒子位置に基づいて決定してもよい。より具体的には、生成部３０１は、変更領域のそれぞれが粒子位置のうちのひとつを含むように、変更領域を決定してもよい。変更領域は、中心が粒子位置のうちのひとつにある円形領域であってもよい。その円形領域は、入力画像の粒子領域の典型的な半径よりも小さくない、予め設定された半径を有していてもよい。粒子領域の代表半径は、理論的に決定されていてもよい。粒子領域の代表半径は、実験的に決定されていてもよい。生成部３０１によって決定される領域は、上述の例に限定されない。
生成部３０１は、入力画像の決定された領域に含まれる画素の強度を変更することによって、画像（すなわち、変更画像）を生成してもよい。生成部３０１は、変更した領域に含まれる画素の強度のコントラストを強めることによって、変更画像を生成してもよい。生成部３０１は、変更領域に含まれる画素の強度を増加させることによって、変更画像を生成してもよい。生成部３０１は、入力画像において、変更領域に含まれる画素の強度を減少させることによって、変更画像を生成し得る。生成部３０１は、上述の例以外の方法によって、変更画像を生成してもよい。生成部３０１は、入力画像において粒子位置が明確になるように、入力画像の決定領域を変更することによって、変更画像を生成してもよい。
この実施形態による画像処理装置の動作を、図面を参照しながら詳細に説明する。
図２は、クエリ生成フェーズにおける画像処理装置３００の動作の例を示すフローチャートである。クエリ生成フェーズにおける画像処理装置３００の動作は、クエリ生成フェーズにおける第１の実施形態に係る画像処理装置１００の動作と同じである。そのため、クエリ生成フェーズにおける画像処理装置３００の動作の詳細な説明は省略する。
図１１は、訓練フェーズにおける画像処理装置３００の動作の例を示すフローチャートである。訓練フェーズにおける画像処理装置３００の動作は、訓練フェーズにおける第２の実施形態に係る画像処理装置２００の動作と同じである。訓練フェーズにおける画像処理装置３００の動作の詳細な説明は省略する。
図１３は、照合フェーズにおける画像処理装置３００の動作の例を示すフローチャートである。照合フェーズにおける画像処理装置３００の動作は、照合フェーズにおける第２の実施形態に係る画像処理装置２００の動作と同じである。照合フェーズにおける画像処理装置３００の動作の詳細な説明は省略する。
照合フェーズの後、画像処理装置３００は、画像生成フェーズにおける動作を実行する。
図１５は、画像生成フェーズにおける画像処理装置３００の動作状態の部の例を示すブロック図である。画像生成フェーズにおいて、動作状態の部に、生成部３０１が含まれる。図１５では、生成部３０１は実線によって示され、生成部３０１以外の部は破線によって描かれている。
図１６は、生成フェーズにおける画像処理装置３００の動作の例を示すフローチャートである。
生成部３０１は、クエリ画像受信部１０１から入力画像を受信する。生成部３０１は、画素の強度が変更される領域である変更領域を決定する（ステップＳ６０１）。上述のように、変更領域のそれぞれは、粒子位置の１つを含む。
そして、生成部３０１は、ステップＳ６０１において決定された変更領域に含まれる画素の強度を変更することによって、変更画像を生成する（ステップＳ６０２）。
生成フェーズの後、出力部１０９は、位置情報として、生成部３０１によって生成された変更画像を出力する。
図１８は、第３の実施形態に係る画像処理装置３００Ａの構造の第２の例を示すブロック図である。画像処理装置３００Ａは、画像処理装置３００の変形である。画像処理装置３００Ａは、第１の実施形態の画像処理装置１００の構成要素を含む。画像処理装置３００Ａは、生成部３０１をさらに含む。生成部３０１は、上述の第３の実施形態の生成部３０１と同じである。出力部１０９は、上述の第３の実施形態の出力部１０９と同じである。画像処理装置３００Ａの他の構成要素は、第１の実施形態の画像処理装置１００の構成要素と同じである。
本発明の本実施形態の画像処理装置３００は、本発明の第２の実施形態の画像処理装置２００の効果と同様の効果を有する。
本実施形態によれば、粒子位置を目立たせることが可能である。その理由は、生成部３０１が、それぞれ、粒子位置の１つを含み、かつ、それぞれ、強度が変更された画素を含む、変更領域を含む変更画像を生成するからである。
＜第４の実施形態＞
本発明の第４の実施形態を、図面を参照しながら詳細に説明する。
図１９は、本発明の第４の実施形態による画像処理装置の構造の例を示すブロック図である。
図１９における画像処理装置４００は、照合部１０６及び算出部１０８を含む。照合部１０６は、複数の相対位置において、粒子の領域を含む粒子画像に対する、入力画像の類似度を推定する。粒子画像における粒子の真の位置は、与えられている。算出部１０８は、類似度と真の位置とに基づいて、入力画像における粒子の位置を算出する。
本実施形態によれば、誤ったモデル仮定に起因する、対象位置の推定の不正確さを回避することができる。その理由は、複数の相対位置において、粒子画像における真の位置が与えられている粒子の領域を含む粒子画像に対する、入力画像の類似度に基づいて、算出部１０８が、入力画像における粒子の位置を算出するからである。
＜他の実施形態＞
本発明の実施形態に係る画像処理装置の各々は、例えば、専用ハードウェア（例えば、回路又は複数の回路）、プロセッサとメモリとを含むコンピュータ、又は、専用ハードウェアとコンピュータとの組み合わせなどの、回路構成によって実現することができる。
図２０は、本発明の実施形態に係る画像処理装置の各々として動作することができるコンピュータの構造の例を示すブロック図である。
図２０によれば、コンピュータ１０００は、プロセッサ１００１、メモリ１００２、記憶装置１００３及びＩ／Ｏ（入力／出力）インタフェース１００４を含む。コンピュータ１０００は、記憶媒体１００５にアクセスすることができる。メモリ１００２及び記憶装置１００３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はハードディスクドライブにより実現できる。記憶媒体１００５は、例えばＲＡＭ、ハードディスクドライブ等の記憶装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、又は、可搬記録媒体等あってもよい。記憶装置１００３が、記憶媒体１００５として機能してもよい。プロセッサ１００１は、メモリ１００２及び記憶装置１００３からデータ及びプログラムを読み出すことができ、メモリ１００２及び記憶装置１００３にデータ及びプログラムを書き込むことができる。プロセッサ１００１は、入力装置（図示せず）、クエリ画像及びモデル画像を提供する装置、決定結果を表示する装置に、Ｉ／Ｏインタフェース１００４を介してアクセスすることができる。プロセッサ１００１は、記憶媒体１００５にアクセスすることができる。記憶媒体１００５は、コンピュータ１０００を本発明の実施形態のいずれか１つに係る画像処理装置として動作させるプログラムを記憶している。
プロセッサ１００１は、記憶媒体１００５に格納されているプログラムを、メモリ１００２にロードする。プロセッサ１００１は、メモリ１００２に格納されているプログラムを実行することによって、本発明の実施形態のいずれか１つに係る画像処理装置として動作する。
クエリ画像受信部１０１、選択部１０２、回転部１０３、辞書受信部１０４、照合部１０６、決定部１０７、算出部１０８、出力部１０９、グループ化部２０１及び生成部３０１は、記憶媒体１００５から読み出され、メモリ１００２にロードされた上述のプログラムによって制御される、プロセッサ１００１によって実現できる。
辞書記憶部１０５は、メモリ１００２、及び／又は、例えばハードディスクドライブ等の記憶装置１００３によって実現できる。
上述のように、クエリ画像受信部１０１、選択部１０２、回転部１０３、辞書受信部１０４、辞書記憶部１０５、照合部１０６、決定部１０７、算出部１０８、出力部１０９、グループ化部２０１及び生成部３０１のうちの少なくとも１つは、専用ハードウェアによって実現できる。
本発明の実施形態の各々に含まれる部のいずれか１つ又は複数は、専用ハードウェア（例えば、回路構成）として実現されていても良い。本発明の実施形態の各々に含まれる部のいずれか１つ又は複数は、プログラムがロードされたメモリと、メモリにロードされたプログラムによって制御されるプロセッサとを含む、コンピュータによって実現されていてもよい。
図２１は、本発明の第１の実施形態に係る画像処理装置のハードウェア構造の例のブロック図である。図２１によれば、画像処理装置１００は、クエリ画像受信回路２１０１、選択回路２１０２、回転回路２１０３、辞書受信回路２１０４、照合回路２１０６、決定回路２１０７、算出回路２１０８及び出力回路２１０９を含んで実現される。
クエリ画像受信回路２１０１、選択回路２１０２、回転回路２１０３、辞書受信回路２１０４、辞書記憶装置２１０５、照合回路２１０６、決定回路２１０７、算出回路２１０８及び出力回路２１０９は、１つの回路又は複数の回路として実現され得る。クエリ画像受信回路２１０１、選択回路２１０２、回転回路２１０３、辞書受信回路２１０４、辞書記憶装置２１０５、照合回路２１０６、決定回路２１０７、算出回路２１０８及び出力回路２１０９は、１つの装置又は複数の装置において実現され得る。
クエリ画像受信回路２１０１は、クエリ画像受信部１０１として動作する。選択回路２１０２は、選択部１０２として動作する。回転回路２１０３は、回転部１０３として動作する。辞書受信回路２１０４は、辞書受信部１０４として動作する。辞書記憶装置２１０５は、辞書記憶部１０５として動作する。照合回路２１０６は、照合部１０６として動作する。決定回路２１０７は、決定部１０７として動作する。算出回路２１０８は、算出部１０８として動作する。出力回路２１０９は、出力部１０９として動作する。
図２２は、本発明の第２の実施形態による画像処理装置のハードウェア構造の例のブロック図である。図２２によれば、画像処理装置２００は、クエリ画像受信回路２１０１、選択回路２１０２、回転回路２１０３、辞書受信回路２１０４、照合回路２１０６、決定回路２１０７、算出回路２１０８、出力回路２１０９及びグループ化回路２２０１を含んで実現される。
クエリ画像受信回路２１０１、選択回路２１０２、回転回路２１０３、辞書受信回路２１０４、辞書記憶装置２１０５、照合回路２１０６、決定回路２１０７、算出回路２１０８、出力回路２１０９及びグループ化回路２２０１は、１つの回路又は複数の回路として実現され得る。クエリ画像受信回路２１０１、選択回路２１０２、回転回路２１０３、辞書受信回路２１０４、辞書記憶装置２１０５、照合回路２１０６、決定回路２１０７、算出回路２１０８、出力回路２１０９及びグループ化回路２２０１は、１つの装置又は複数の装置において実現され得る。
クエリ画像受信回路２１０１は、クエリ画像受信部１０１として動作する。選択回路２１０２は、選択部１０２として動作する。回転回路２１０３は、回転部１０３として動作する。辞書受信回路２１０４は、辞書受信部１０４として動作する。辞書記憶装置２１０５は、辞書記憶部１０５として動作する。照合回路２１０６は、照合部１０６として動作する。決定回路２１０７は、決定部１０７として動作する。算出回路２１０８は、算出部１０８として動作する。出力回路２１０９は、出力部１０９として動作する。グループ化回路２２０１は、グループ化部２０１として動作する。
図２３は、本発明の第３の実施形態に係る画像処理装置のハードウェア構造の第１の例のブロック図である。図２３によれば、画像処理装置３００は、クエリ画像受信回路２１０１、選択回路２１０２、回転回路２１０３、辞書受信回路２１０４、照合回路２１０６、決定回路２１０７、算出回路２１０８、出力回路２１０９、グループ化回路２２０１及び生成回路２３０１を含んで実現される。
クエリ画像受信回路２１０１、選択回路２１０２、回転回路２１０３、辞書受信回路２１０４、辞書記憶装置２１０５、照合回路２１０６、決定回路２１０７、算出回路２１０８、出力回路２１０９、グループ化回路２２０１及び生成回路２３０１は、１つの回路又は複数の回路として実現され得る。クエリ画像受信回路２１０１、選択回路２１０２、回転回路２１０３、辞書受信回路２１０４、辞書記憶装置２１０５、照合回路２１０６、決定回路２１０７、算出回路２１０８、出力回路２１０９、グループ化回路２２０１及び生成回路２３０１は、１つの装置又は複数の装置において実現され得る。
クエリ画像受信回路２１０１は、クエリ画像受信部１０１として動作する。選択回路２１０２は、選択部１０２として動作する。回転回路２１０３は、回転部１０３として動作する。辞書受信回路２１０４は、辞書受信部１０４として動作する。辞書記憶装置２１０５は、辞書記憶部１０５として動作する。照合回路２１０６は、照合部１０６として動作する。決定回路２１０７は、決定部１０７として動作する。算出回路２１０８は、算出部１０８として動作する。出力回路２１０９は、出力部１０９として動作する。グループ化回路２２０１は、グループ化部２０１として動作する。生成回路２３０１は、生成部３０１として動作する。
図２４は、本発明の第３の実施形態に係る画像処理装置のハードウェア構造の第２の例のブロック図である。図２４によれば、画像処理装置３００Ａは、クエリ画像受信回路２１０１、選択回路２１０２、回転回路２１０３、辞書受信回路２１０４、照合回路２１０６、決定回路２１０７、算出回路２１０８、出力回路２１０９及び生成回路２３０１を含んで実現される。
クエリ画像受信回路２１０１、選択回路２１０２、回転回路２１０３、辞書受信回路２１０４、辞書記憶装置２１０５、照合回路２１０６、決定回路２１０７、算出回路２１０８、出力回路２１０９及び生成回路２３０１は、１つの回路又は複数の回路として実現され得る。クエリ画像受信回路２１０１、選択回路２１０２、回転回路２１０３、辞書受信回路２１０４、辞書記憶装置２１０５、照合回路２１０６、決定回路２１０７、算出回路２１０８、出力回路２１０９及び生成回路２３０１は、１つの装置又は複数の装置において実現され得る。
クエリ画像受信回路２１０１は、クエリ画像受信部１０１として動作する。選択回路２１０２は、選択部１０２として動作する。回転回路２１０３は、回転部１０３として動作する。辞書受信回路２１０４は、辞書受信部１０４として動作する。辞書記憶装置２１０５は、辞書記憶部１０５として動作する。照合回路２１０６は、照合部１０６として動作する。決定回路２１０７は、決定部１０７として動作する。算出回路２１０８は、算出部１０８として動作する。出力回路２１０９は、出力部１０９として動作する。生成回路２３０１は、生成部３０１として動作する。
図２５は、本発明の第４の実施形態による画像処理装置のハードウェア構造の例のブロック図である。図２５によれば、画像処理装置４００は、照合回路２１０６及び算出回路２１０８を含んで実現される。
照合回路２１０６及び算出回路２１０８は、１つの回路又は複数の回路として実現され得る。照合回路２１０６及び算出回路２１０８は、１つの装置又は複数の装置において実現され得る。
本発明を、その実施形態を参照しながら、詳細に示して説明したが、本発明は、これらの実施形態に限定されない。特許請求の範囲によって規定される本発明の趣旨およびスコープから逸脱することなく、形態や細部に様々な変更がなされてよいということは、当業者には理解できるであろう。
本発明は、望遠鏡又は顕微鏡によって得られた画像における発光粒子の位置の推定に用いることできる。望遠鏡又は顕微鏡で得た画像の解像度は、回折限界など光学系により制限されることがよくあるため、さらなる処理をせずに発光粒子を分離することは困難である。本発明は、低解像度の元画像からの、粒子位置を示す鮮明な画像の生成に用いることができる。
１００ 画像処理装置
１０１ クエリ画像受信部
１０２ 選択部
１０３ 回転部
１０４ 辞書受信部
１０５ 辞書記憶部
１０６ 照合部
１０７ 決定部
１０８ 算出部
１０９ 出力部
２００ 画像処理装置
２０１ グループ化部
３００ 画像処理装置
３００Ａ 画像処理装置
３０１ 生成部
４００ 画像処理装置
１０００ コンピュータ
１００１ プロセッサ
１００２ メモリ
１００３ 記憶装置
１００４ Ｉ／Ｏインタフェース
１００５ 記憶媒体
２１０１ クエリ画像受信回路
２１０２ 選択回路
２１０３ 回転回路
２１０４ 辞書受信回路
２１０５ 辞書記憶装置
２１０６ 照合回路
２１０７ 決定回路
２１０８ 算出回路
２１０９ 出力回路
２２０１ グループ化回路
２３０１ 生成回路

Claims (10)

  1. 粒子の領域を含む複数の粒子画像であって、当該複数の粒子画像における前記粒子の真の位置が与えられている前記粒子画像に対する、入力画像の類似度を、複数の相対位置において推定する照合手段と、
    前記類似度と前記真の位置とに基づいて、前記入力画像内における粒子の位置を算出する算出手段と、
    を備える画像処理装置。
  2. 前記複数の粒子画像に含まれる前記粒子の前記真の位置の間の距離に基づいて、前記複数の粒子画像を複数のグループに分類するグループ化手段と、
    前記複数のグループからグループを、当該グループにグループ化された前記複数の粒子画像に対する、前記入力画像の前記類似度に基づいて決定する決定手段と、
    をさらに備え、
    前記算出手段は、決定された前記グループにグループ化された前記粒子画像の粒子の前記真の位置に基づいて、前記入力画像の前記粒子の位置を算出する、
    請求項１に記載の画像処理装置。
  3. 前記入力画像の、算出された前記粒子の位置の１つをそれぞれ含む領域に含まれる画素の強度を変更することによって、変更画像を生成する生成手段
    をさらに備える請求項１又は２に記載の画像処理装置。
  4. 前記入力画像の前記粒子の位置を通る線を推定し、推定した前記線の方向が、前記複数の粒子画像のうちの粒子画像における粒子の前記真の位置を通る線の方向と適合するように、前記入力画像を回転させる回転手段
    をさらに備え、
    前記照合手段は、前記類似度として、前記粒子画像に対する、回転させた前記入力画像の類似度を推定する、
    請求項１から３のいずれか一項に記載の画像処理装置。
  5. 前記入力画像における粒子の候補領域を推定し、推定された前記候補領域を含む抽出領域を前記入力画像から抽出する選択手段
    をさらに備え、
    前記照合手段は、前記類似度として、前記粒子画像に対する、前記入力画像の前記抽出領域の類似度を推定する、
    請求項１から４のいずれか一項に記載の画像処理装置。
  6. 粒子の領域を含む複数の粒子画像であって、当該複数の粒子画像における前記粒子の真の位置が与えられている前記粒子画像に対する、入力画像の類似度を、複数の相対位置において推定し、
    前記類似度と前記真の位置とに基づいて、前記入力画像内における粒子の位置を算出する、
    画像処理方法。
  7. 前記複数の粒子画像に含まれる前記粒子の前記真の位置の間の距離に基づいて、前記複数の粒子画像を複数のグループに分類し、
    前記複数のグループからグループを、当該グループにグループ化された前記複数の粒子画像に対する、前記入力画像の前記類似度に基づいて決定し、
    決定された前記グループにグループ化された前記粒子画像の該粒子の真の位置に基づいて、前記入力画像の前記粒子の位置を算出する、
    請求項６記載の画像処理方法。
  8. 前記入力画像の、算出された前記粒子の位置の１つをそれぞれ含む領域に含まれる画素の強度を変更することによって変更画像を生成する、
    請求項６又は７に記載の画像処理方法。
  9. コンピュータに、
    相対位置において、粒子の領域を含む複数の粒子画像であって、当該複数の粒子画像における前記粒子の真の位置が与えられている前記粒子画像に対する、入力画像の類似度を、複数の相対位置において推定する照合処理と、
    前記類似度と前記真の位置とに基づいて、前記入力画像内における粒子の位置を算出する算出処理と、
    を実行させるプログラムを記憶する記憶媒体。
  10. コンピュータに、
    前記複数の粒子画像に含まれる前記粒子の前記真の位置の間の距離に基づいて、前記複数の粒子画像を複数のグループに分類するグループ化処理と、
    前記複数のグループからグループを、当該グループにグループ化された前記複数の粒子画像に対する、前記入力画像の前記類似度に基づいて決定する決定処理と、
    をさらに実行させ、
    前記算出処理は、決定された前記グループにグループ化された前記粒子画像の該粒子の真の位置に基づいて、前記入力画像の前記粒子の位置を算出する、
    請求項９記載の記憶媒体。
JP2018513390A 2015-09-30 2015-09-30 画像処理装置、画像処理方法及び記憶媒体 Active JP6547903B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/004969 WO2017056130A1 (en) 2015-09-30 2015-09-30 Image processing device, image processing method and storage medium

Publications (2)

Publication Number Publication Date
JP2018526754A true JP2018526754A (ja) 2018-09-13
JP6547903B2 JP6547903B2 (ja) 2019-07-24

Family

ID=58422884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018513390A Active JP6547903B2 (ja) 2015-09-30 2015-09-30 画像処理装置、画像処理方法及び記憶媒体

Country Status (3)

Country Link
US (1) US10657672B2 (ja)
JP (1) JP6547903B2 (ja)
WO (1) WO2017056130A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020532016A (ja) * 2017-09-12 2020-11-05 日本電気株式会社 画像処理装置、画像処理方法及びプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062770B (zh) * 2017-10-25 2021-08-17 华南农业大学 一种自然拍照的微孔板图片中微孔中心的精确定位方法
US10648934B2 (en) * 2018-01-17 2020-05-12 Massachusetts Institute Of Technology Systems, apparatuses, and methods for optical focusing in scattering samples
CN109727269B (zh) * 2019-03-29 2019-07-09 中国人民解放军国防科技大学 一种基于单目视觉和道路地图的匹配定位方法
CN111553912A (zh) * 2020-05-08 2020-08-18 视睿（杭州）信息科技有限公司 基于模板匹配的工业颗粒连片制品图像切割方法、装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10221357A (ja) * 1997-02-12 1998-08-21 Ricoh Co Ltd 流体計測装置および流体計測方法
JP2010117175A (ja) * 2008-11-11 2010-05-27 National Institute Of Advanced Industrial Science & Technology 画像処理システム、画像処理方法、プログラムおよび記録媒体
JP2014532188A (ja) * 2011-10-18 2014-12-04 ルミネックス コーポレーション 画像データ処理方法及びシステム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001304842A (ja) * 2000-04-25 2001-10-31 Hitachi Ltd パターン検査方法及びその装置並びに基板の処理方法
JP4791114B2 (ja) 2005-09-14 2011-10-12 株式会社山武 マーク検知装置
US9858464B2 (en) * 2013-03-15 2018-01-02 The Regents Of The University Of Colorado, A Body Corporate 3-D localization and imaging of dense arrays of particles

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10221357A (ja) * 1997-02-12 1998-08-21 Ricoh Co Ltd 流体計測装置および流体計測方法
JP2010117175A (ja) * 2008-11-11 2010-05-27 National Institute Of Advanced Industrial Science & Technology 画像処理システム、画像処理方法、プログラムおよび記録媒体
JP2014532188A (ja) * 2011-10-18 2014-12-04 ルミネックス コーポレーション 画像データ処理方法及びシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
森口 翔太，神戸 尚志: "粒子追跡システムにおける相関値計算回路設計とその評価", 電子情報通信学会技術研究報告 ＶＯＬ．１１０ ＮＯ．４３２ ＶＬＤ２０１０−１１６−ＶＬＤ２０１０−, vol. 第110巻 第432号, JPN6019018923, 23 February 2011 (2011-02-23), JP, pages 93 - 98, ISSN: 0004041699 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020532016A (ja) * 2017-09-12 2020-11-05 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
US11195299B2 (en) 2017-09-12 2021-12-07 Nec Corporation Image processing device, image processing method and storage medium

Also Published As

Publication number Publication date
JP6547903B2 (ja) 2019-07-24
US10657672B2 (en) 2020-05-19
WO2017056130A1 (en) 2017-04-06
US20180286074A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
JP6832504B2 (ja) 物体追跡方法、物体追跡装置およびプログラム
JP6397144B2 (ja) 画像からの事業発見
JP6547903B2 (ja) 画像処理装置、画像処理方法及び記憶媒体
JP6211407B2 (ja) 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム
US20070183665A1 (en) Face feature point detecting device and method
CN104756155A (zh) 合并多个地图以用于基于计算机视觉的跟踪的系统及方法
JP6245880B2 (ja) 情報処理装置および情報処理手法、プログラム
WO2009082719A1 (en) Invariant visual scene and object recognition
JP5372183B2 (ja) 硬貨分類装置および硬貨分類方法
EP3526728B1 (en) System and method for object recognition based estimation of planogram compliance
JP2014102810A (ja) 被写体認識装置、被写体認識方法および被写体認識プログラム
CN110942473A (zh) 一种基于特征点网格化匹配的运动目标跟踪检测方法
WO2018030048A1 (ja) 物体追跡方法、物体追跡装置およびプログラム
JP2013101423A (ja) 画像マッチング装置及び画像マッチングプログラム
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
JP6393495B2 (ja) 画像処理装置および物体認識方法
JP5414631B2 (ja) 文字列探索方法、文字列探索装置、記録媒体
CN113095257A (zh) 异常行为检测方法、装置、设备及存储介质
JP4449483B2 (ja) 画像解析装置、および画像解析方法、並びにコンピュータ・プログラム
US11127158B2 (en) Image indexing and retrieval using local image patches for object three-dimensional pose estimation
KR102599192B1 (ko) 객체 검출 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
Li et al. Globally spatial-temporal perception: A long-term tracking system
WO2022137979A1 (ja) 画像処理装置、画像処理方法およびプログラム記録媒体
US20230177797A1 (en) Model generation system, shape recognition system, model generation method, shaperecognition method, and computer program
JP6764012B1 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190610

R150 Certificate of patent or registration of utility model

Ref document number: 6547903

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150