JP2014063019A - 撮影解析装置、その制御方法及び撮影解析装置用のプログラム - Google Patents

Abstract

【課題】 明るさのむらやノイズの影響を低減して、所望の染色部位をより正しく抽出することができる撮影解析装置を提供する。
【解決手段】 観察対象物２を撮影して観察画像を取得する撮影手段と、ユーザ操作に基づいて輝度閾値ＫＴを指定する輝度閾値指定手段と、輝度閾値ＫＴを用いて観察画像を二値化して二値化画像を生成する二値化手段と、二値化画像から複数のブロブ領域を特定するブロブ領域特定手段と、複数のブロブ領域の各々に関する特徴量を求める特徴量算出手段と、ユーザ操作に基づいて絞込条件を指定する絞込条件指定手段と、複数のブロブ領域から絞込条件を満たす特徴量を有するブロブ領域を抽出して抽出画像を生成するブロブ絞込手段と、同一の観察画像に対して複数の異なる輝度閾値ＫＴが指定された場合に、指定された輝度閾値ＫＴの各々に対応して生成された複数の異なる抽出画像を合成する抽出画像合成手段により構成される。
【選択図】 図３

Description

本発明は、撮影解析装置、その制御方法及び撮影解析装置用のプログラムに係り、さらに詳しくは、観察対象物を撮影して観察画像を取得する撮影解析装置の改良に関する。

蛍光観察は、試薬を付与した観察対象物に励起光を照射し、観察対象物から発せられる蛍光を利用して観察対象物を撮影し、得られた撮影画像を閲覧することにより行われる（例えば、特許文献１）。試薬は、励起光を吸収して蛍光を放射する蛍光色素からなり、細胞や生体組織に取り込まれることにより、無色透明の細胞、生体組織、細胞内の器官を蛍光によって識別することができる。

通常、蛍光の強さや位置を正確に特定するといった定量測定には、カラーカメラよりも感度が高いモノクロカメラが用いられ、観察対象物には、試薬に対応する波長の励起光が照射される。モノクロカメラにより取得される撮影画像は、観察対象物上における試薬の分布を示すモノクロ階調画像からなる。

例えば、遺伝情報を保持するＤＮＡ（デオキシリボ核酸）分子、染色体、核の大きさ、細胞内における数を測定する場合、染色部位が染色体や核といった特定の器官を染色する試薬が用いられる。試薬による染色部位は、輝度閾値を用いてモノクロ階調画像を二値化することにより、互いに隣接する画素からなるブロブ領域として識別することができる。

染色体や核といった器官を観察する場合には、細胞内には染色体や核といった器官以外に細胞壁や組織などが含まれ、これらがノイズとして抽出される。このため、染色体や核といった器官を示す染色部位だけがブロブ領域として抽出されるように輝度閾値を定めるのは容易ではなかった。

そこで、ノイズを除去して所望の染色部位を示すブロブ領域を抽出するために、モノクロ階調画像を二値化して得られる二値化画像に対し、サイズや形状といった特徴量に基づいてブロブ領域を絞り込む後処理が行われる。例えば、絞込条件として面積範囲を指定し、この面積範囲外の面積を有するブロブ領域を除去することにより、ブロブ領域を絞り込む後処理が行われる。しかしながら、レンズ性能や観察対象物の状態などの影響により、撮影画像の中央部が周辺部に比べて明るいといった明るさのむらが生じる場合が少なくない。このため、従来の撮影解析装置では、モノクロ階調画像に明るさのむらがある場合に、上述した様な後処理ではむらの影響によって所望の染色部位を正しく抽出できないという問題があった。

二値化処理を行う前に、モノクロ階調画像に対し所定のフィルタ処理を行うことにより、明るさのむらをある程度除去することは可能である。しかし、その様なフィルタ処理では、むらの影響を十分に除去することができなかった。また、フィルタ処理後のモノクロ階調画像を二値化した二値化画像に対し、ブロブ領域の絞込を行っても所望の染色部位が正しく抽出されなければ、モノクロ階調画像に対するフィルタ処理及び二値化処理を繰り返さなければならないという問題があった。なお、同様の問題は、モノクロ階調画像のみならず、カラー階調画像においても起こり得ることである。

特開２００８−１３９７９５号公報

本発明は、上記の事情に鑑みてなされたものであり、明るさのむらやノイズの影響を低減して、所望の染色部位をより正しく抽出することができる撮影解析装置を提供することを目的とする。

また、明るさのむらを除去するための前処理を必要とすることなく、所望の染色部位を観察画像から正しく抽出することができる撮影解析装置を提供することを他の目的とする。また、所望の染色部位を観察画像から抽出する際の作業を容易化することができる撮影解析装置を提供することを他の目的とする。

また、本発明は、二値化画像上のブロブ領域を絞り込むための絞込条件を指定する際の作業を簡素化することができる撮影解析装置を提供することを他の目的とする。また、本発明は、所定の特徴量を有するブロブ領域だけを抽出画像から抽出して、領域形状を整形することができる撮影解析装置を提供することを他の目的とする。

また、本発明は、上述した撮影解析装置の制御方法を提供することを他の目的とする。さらに、本発明は、コンピュータを上述した撮影解析装置として機能させることができるプログラムを提供することを他の目的とする。

第１の本発明による撮影解析装置は、観察対象物を撮影して観察画像を取得する撮影手段と、ユーザ操作に基づいて、上記観察画像を二値化するための輝度閾値を指定する輝度閾値指定手段と、上記輝度閾値を用いて上記観察画像を二値化して二値化画像を生成する二値化手段と、所定値以上の面積を有する連続領域をブロブ領域として、上記二値化画像から複数のブロブ領域を特定するブロブ領域特定手段と、上記複数のブロブ領域の各々に関する特徴量を求める特徴量算出手段と、ユーザ操作に基づいて、上記特徴量に基づき上記複数のブロブ領域から抽出対象となるブロブ領域を絞り込むための絞込条件を指定する絞込条件指定手段と、上記複数のブロブ領域から上記絞込条件を満たす特徴量を有するブロブ領域を抽出して抽出画像を生成するブロブ絞込手段と、上記輝度閾値指定手段により同一の上記観察画像に対して複数の異なる上記輝度閾値が指定された場合に、指定された上記輝度閾値の各々に対応して生成された複数の異なる上記抽出画像を合成する抽出画像合成手段とを備えて構成される。

この撮影解析装置では、ユーザが任意に指定した輝度閾値を用いて観察画像を二値化して二値化画像を生成する。このため、試薬などによって染色された領域又は非染色領域をブロブ領域として抽出することができる。また、ユーザが任意に指定した絞込条件を用いてブロブ領域を絞り込むので、ノイズを除去して所望の染色部位をブロブ領域として抽出することができる。

さらに、複数の異なる輝度閾値を用いて同一の観察画像から得られた複数の異なる抽出画像を合成するので、明るさの異なる染色部位であっても、観察画像の二値化及びブロブ領域の絞込を繰り返すことによって抽出することができる。このため、観察画像に明るさのむらがある場合であっても、所望の染色部位をより正しく抽出することができる。

第２の本発明による撮影解析装置は、観察対象物を撮影して観察画像を取得する撮影手段と、ユーザ操作に基づいて、上記観察画像を二値化するための第１の輝度閾値と、第１の輝度閾値と異なる輝度閾値であって上記観察画像を二値化するための第２の輝度閾値を指定する輝度閾値指定手段と、上記第１の輝度閾値を用いて上記観察画像を二値化して第１の二値化画像を生成し、上記第２の輝度閾値を用いて上記観察画像を二値化して第２の二値化画像を生成する二値化手段と、所定値以上の面積を有する連続領域をブロブ領域として、上記第１の二値化画像から複数の第１のブロブ領域を特定するとともに、上記第２の二値化画像から複数の第２のブロブ領域を特定するブロブ領域特定手段と、複数の上記第１のブロブ領域の各々に関する第１の特徴量を求めるとともに、複数の上記第２のブロブ領域の各々に関する第２の特徴量を求める特徴量算出手段と、ユーザ操作に基づいて、上記第１の特徴量に基づき複数の上記第１のブロブ領域から抽出対象となるブロブ領域を絞り込むための第１の絞込条件を指定し、上記第２の特徴量に基づき複数の上記第２のブロブ領域から抽出対象となるブロブ領域を絞り込むための第２の絞込条件を指定する絞込条件指定手段と、複数の上記第１のブロブ領域から上記第１の絞込条件を満たす第１の特徴量を有するブロブ領域を抽出して第１の抽出画像を生成し、複数の上記第２のブロブ領域から上記第２の絞込条件を満たす第２の特徴量を有するブロブ領域を抽出して第２の抽出画像を生成するブロブ絞込手段と、上記第１の抽出画像と上記第２の抽出画像を合成する抽出画像合成手段とを備えて構成される。

第３の本発明による撮影解析装置は、上記構成に加え、上記輝度閾値指定手段が、上記第１の輝度閾値を指定し、上記ブロブ絞込手段によって第１の抽出画像が生成された後に上記第２の輝度閾値を指定するように構成される。

第４の本発明による撮影解析装置は、上記構成に加え、上記ブロブ領域を上記観察画像上に重ねて表示するブロブ表示手段を備え、上記ブロブ表示手段が、上記輝度閾値指定手段により上記輝度閾値が変更されるごとに、上記二値化手段により変更後の輝度閾値を用いて生成された二値化画像に含まれるブロブ領域を上記観察画像上に重ねて表示するように構成される。

この様な構成によれば、観察画像上に重ねて表示されたブロブ領域を閲覧することにより、ユーザは、所望の明るさの染色部位がブロブ領域として正しく抽出されているか否かを容易に識別することができる。また、輝度閾値の変更がブロブ領域の表示に反映されるので、輝度閾値を変更した場合に、変更後の輝度閾値が適切であるか否かを容易に識別することができる。

第５の本発明による撮影解析装置は、上記構成に加え、上記ブロブ領域を上記観察画像上に重ねて表示するブロブ表示手段と、上記ブロブ表示手段において、ユーザ操作に基づいて、上記観察画像上に重ねて表示された上記ブロブ領域を絞込ブロブとして選択する絞込ブロブ選択手段とを備え、上記絞込条件指定手段が、上記絞込ブロブ選択手段により選択された１又は２以上の上記絞込ブロブに基づいて、上記絞込条件を指定するように構成される。

この様な構成によれば、観察画像上に重ねて表示されたブロブ領域を閲覧することにより、ユーザは、所望の明るさの染色部位がブロブ領域として正しく抽出されているか否かを容易に識別することができる。また、観察画像上で絞込ブロブを選択することにより、絞込条件が自動的に指定されるので、二値化画像上のブロブ領域を絞り込むための絞込条件を指定する際の作業を簡素化することができる。

第６の本発明による撮影解析装置は、上記構成に加え、上記ブロブ表示手段が、上記ブロブ絞込手段による絞込前後の上記ブロブ領域を識別可能に表示するように構成される。この様な構成によれば、ユーザは、所望の明るさ、サイズ又は形状の染色部位がブロブ領域として正しく抽出されているか否かを容易に識別することができる。

第７の本発明による撮影解析装置は、上記構成に加え、上記ブロブ領域の絞込が行われた後も上記絞込条件を保持する絞込条件記憶手段を備え、上記ブロブ絞込手段が、前回の絞込時とは異なる輝度閾値を用いて得られた上記二値化画像に対し上記ブロブ領域の絞込を行う場合に、前回の絞込時と同じ絞込条件を用いて当該二値化画像に対するブロブ領域の絞込を行うように構成される。この様な構成によれば、二値化画像上のブロブ領域を絞り込むための絞込条件を指定する際の作業を簡素化することができる。

第８の本発明による撮影解析装置は、上記構成に加え、ユーザ操作に基づいて、特徴量閾値を指定する特徴量閾値指定手段と、上記特徴量を上記特徴量閾値と比較し、上記抽出画像に含まれる１又は２以上の上記ブロブ領域を整形ブロブとして選択する整形ブロブ選択手段と、上記抽出画像に対しモルフォロジー演算を行い、上記整形ブロブを整形するブロブ領域整形手段とを備えて構成される。

この様な構成によれば、ユーザが指定した特徴量閾値を用いて整形ブロブを自動的に選択し、抽出画像に対するモルフォロジー演算によって整形ブロブを整形するので、所定の特徴量を有するブロブ領域だけを整形ブロブとして抽出画像から抽出して、その領域形状を整形することができる。

第９の本発明による撮影解析装置は、上記構成に加え、上記特徴量算出手段が、上記特徴量として、上記ブロブ領域の面積を求め、上記絞込条件指定手段が、上記絞込条件として、面積範囲を指定し、上記ブロブ絞込手段が、上記面積範囲外の面積を有するブロブ領域を除外することにより、上記ブロブ領域の絞込を行うように構成される。この様な構成によれば、所望の面積を有する染色部位だけをブロブ領域として抽出することができる。

第１０の本発明による撮影解析装置は、上記構成に加え、上記特徴量算出手段が、上記特徴量として、上記ブロブ領域の円形度を求め、上記絞込条件指定手段が、上記絞込条件として、円形度範囲を指定し、上記ブロブ絞込手段が、上記円形度範囲外の円形度を有するブロブ領域を除外することにより、上記ブロブ領域の絞込を行うように構成される。この様な構成によれば、所望の円形度を有する染色部位だけをブロブ領域として抽出することができる。

第１１の本発明による撮影解析装置は、上記構成に加え、上記特徴量算出手段が、上記特徴量として、上記ブロブ領域の包絡度を求め、上記絞込条件指定手段が、上記絞込条件として、包絡度範囲を指定し、上記ブロブ絞込手段が、上記包絡度範囲外の包絡度を有するブロブ領域を除外することにより、上記ブロブ領域の絞込を行うように構成される。この様な構成によれば、所望の包絡度を有する染色部位だけをブロブ領域として抽出することができる。

第１２の本発明による撮影解析装置の制御方法は、観察対象物を撮影して観察画像を取得する撮影ステップと、ユーザ操作に基づいて、上記観察画像を二値化するための輝度閾値を指定する輝度閾値指定ステップと、上記輝度閾値を用いて上記観察画像を二値化して二値化画像を生成する二値化ステップと、所定値以上の面積を有する連続領域をブロブ領域として、上記二値化画像から複数のブロブ領域を特定するブロブ領域特定ステップと、上記複数のブロブ領域の各々に関する特徴量を求める特徴量算出ステップと、ユーザ操作に基づいて、上記特徴量に基づき上記複数のブロブ領域から抽出対象となるブロブ領域を絞り込むための絞込条件を指定する絞込条件指定ステップと、上記複数のブロブ領域から上記絞込条件を満たす特徴量を有するブロブ領域を抽出して抽出画像を生成するブロブ絞込ステップと、上記輝度閾値指定手段により同一の上記観察画像に対して複数の異なる上記輝度閾値が指定された場合に、指定された上記輝度閾値の各々に対応して生成された複数の異なる上記抽出画像を合成する抽出画像合成ステップとを備えて構成される。

第１３の本発明による撮影解析装置用のプログラムは、観察対象物を撮影して観察画像を取得する撮影手順と、ユーザ操作に基づいて、上記観察画像を二値化するための輝度閾値を指定する輝度閾値指定手順と、上記輝度閾値を用いて上記観察画像を二値化して二値化画像を生成する二値化手順と、所定値以上の面積を有する連続領域をブロブ領域として、上記二値化画像から複数のブロブ領域を特定するブロブ領域特定手順と、上記複数のブロブ領域の各々に関する特徴量を求める特徴量算出手順と、ユーザ操作に基づいて、上記特徴量に基づき上記複数のブロブ領域から抽出対象となるブロブ領域を絞り込むための絞込条件を指定する絞込条件指定手順と、上記複数のブロブ領域から上記絞込条件を満たす特徴量を有するブロブ領域を抽出して抽出画像を生成するブロブ絞込手順と、上記輝度閾値指定手段により同一の上記観察画像に対して複数の異なる上記輝度閾値が指定された場合に、指定された上記輝度閾値の各々に対応して生成された複数の異なる上記抽出画像を合成する抽出画像合成手順とを備えて構成される。

本発明による撮影解析装置では、明るさのむらやノイズに影響されることなく、所望の染色部位をモノクロ階調画像から正しく抽出することができる。特に、明るさのむらを除去するための前処理を必要とすることなく、所望の染色部位をモノクロ階調画像から正しく抽出することができる。また、明るさのむらを除去するための前処理を必要としないので、所望の染色部位をモノクロ階調画像から抽出する際の作業を容易化することができる。

また、本発明による撮影解析装置では、モノクロ階調画像上で絞込ブロブを選択することにより、絞込条件が自動的に指定されるので、二値化画像上のブロブ領域を絞り込むための絞込条件を指定する際の作業を簡素化することができる。

また、本発明による撮影解析装置では、ユーザが指定した特徴量閾値を用いて整形ブロブを自動的に選択し、抽出画像に対するモルフォロジー演算によって整形ブロブを整形するので、所定の特徴量を有するブロブ領域だけを抽出画像から抽出して、領域形状を整形することができる。

また、本発明によれば、上述した撮影解析装置の制御方法を提供することができる。さらに、本発明によれば、コンピュータを上述した撮影解析装置として機能させるプログラムを提供することができる。

本発明の実施の形態による撮影解析装置１００の一構成例を示したブロック図である。 図１のＰＣ１２０の動作の一例を示した図であり、表示部１２１上に表示される解析アプリ画面５０が示されている。 図１のＰＣ１２０の構成例を示したブロック図である。 図３のＰＣ１２０における染色部位の抽出時の動作の一例を示したフローチャートである。 図１のＰＣ１２０の動作の一例を示した図であり、適切でない輝度閾値ＫＴを指定した場合の解析アプリ画面５０が示されている。 図１のＰＣ１２０の動作の一例を示した図であり、第１の輝度閾値として輝度閾値ＫＴ１を指定した後の解析アプリ画面５０が示されている。 図１のＰＣ１２０の動作の一例を示した図であり、確定ボタンを操作することによって解析アプリ画面５０上に表示された絞込設定画面６０が示されている。 図１のＰＣ１２０の動作の一例を示した図であり、絞込ブロブ６を選択することにより面積範囲の上限値が絞込条件として指定された場合が示されている。 図１のＰＣ１２０の動作の一例を示した図であり、さらに絞込ブロブ６を選択することにより面積範囲の下限値が絞込条件として指定された場合が示されている。 図１のＰＣ１２０の動作の一例を示した図であり、絞込設定画面６０内の確定ボタンを操作した後の解析アプリ画面５０が示されている。 図１のＰＣ１２０の動作の一例を示した図であり、第２の輝度閾値として輝度閾値ＫＴ２を指定した後の解析アプリ画面５０が示されている。 図１のＰＣ１２０の動作の一例を示した図であり、確定ボタンを操作することによって解析アプリ画面５０上に表示された絞込設定画面６０が示されている。 図１のＰＣ１２０の動作の一例を示した図であり、前回値ボタン６１を操作することにより前回と同じ絞込条件が指定された場合が示されている。 図１のＰＣ１２０の動作の一例を示した図であり、絞込設定画面６０内の確定ボタンを操作した後の解析アプリ画面５０が示されている。 図１のＰＣ１２０の動作の一例を示した図であり、モノクロ階調画像ＦＩの二値化及びブロブ領域５の絞込を繰り返した後の解析アプリ画面５０が示されている。 図１のＰＣ１２０の動作の一例を示した図であり、ブロブ領域５の整形時の解析アプリ画面５０が示されている。 図１のＰＣ１２０の動作の一例を示した図であり、領域補正ボタン５５ｃの操作によって解析アプリ画面５０上に表示された整形設定画面７０が示されている。 図１のＰＣ１２０の動作の一例を示した図であり、整形設定画面７０上で１００％以外の特徴量閾値ＴＴを指定した場合が示されている。 図１のＰＣ１２０の動作の一例を示した図であり、整形設定画面７０上で０以外の整形パラメータを指定した場合が示されている。 図１のＰＣ１２０の動作の一例を示した図であり、整形設定画面７０内の確定ボタンを操作した後の解析アプリ画面５０が示されている。 図１のＰＣ１２０の動作の一例を示した図であり、計測結果の確認時に表示される計測結果確認画面８０が示されている。

＜撮影解析装置１００＞
図１は、本発明の実施の形態による撮影解析装置１００の一構成例を示したブロック図である。この撮影解析装置１００は、試薬を付与した観察対象物２に励起光１を照射し、観察対象物２が発する蛍光３を利用して観察対象物２を撮影する蛍光顕微鏡システムであり、撮影ユニット１１０及びＰＣ（パーソナルコンピュータ）１２０により構成される。

例えば、撮影解析装置１００は、撮影解析プログラムに基づいてコンピュータを動作させることにより実現することができる。また、その様な撮影解析プログラムは、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録して提供され、或いは、ネットワークを介して提供される。

撮影ユニット１１０は、観察対象物２を撮影してモノクロ階調画像を取得する顕微鏡本体部であり、ＰＣ１２０により撮影制御が行われ、取得したモノクロ階調画像をＰＣ１２０へ送信する。なお、本実施例では、説明の便宜のため、モノクロ階調画像を取得した場合について説明するが、本発明はこれに限られない。すなわち、撮影ユニット１１０がカラー画像を取得し、後述する処理によって、カラー画像を二値化するようにしてもよいし、カラー画像の輝度成分（明るさ成分）を二値化するようにしてもよい。

ＰＣ１２０は、モノクロ階調画像に基づいて定量測定を行う解析ユニットであり、表示部１２１、キーボード１２２及びマウス１２３により構成される。表示部１２１には、撮影画像、撮影条件の設定画面、定量測定の結果などが表示される。キーボード１２２及びマウス１２３は、ユーザ操作を受け付ける入力デバイスである。

この撮影ユニット１１０は、蛍光観察と、透過光４を利用した明視野観察とを切替可能であり、フィルタホルダ１１１、対物レンズ１１２、可動ステージ１１３、結像レンズ１１４、観察切替手段１１５、カラーフィルタ１１６、モノクロカメラ１１７、接眼レンズ１１８、カラーカメラ１１９、励起光源２０、光量調整部２１、コレクタレンズ２２、透過照明光源３０、透過照明レンズ３１、フィルタ切替部４０、ステージ駆動部４１、画像転送部４２及び制御部４３により構成される。

励起光源２０は、試薬に含まれる蛍光色素を励起するための励起光１を生成する蛍光観察用光源装置であり、試薬に対応する波長を含む励起光１が出射される。すなわち、波長の異なる複数の励起光１を生成する。例えば、水銀ランプが励起光源２０として用いられ、可視光よりも波長の短い紫外光が励起光１として出射される。

光量調整部２１は、励起光１の透過光量を調整する。コレクタレンズ２２は、光量調整部２１を介して励起光源２０から入射された励起光１を平行な光束に変換し、フィルタホルダ１１１内の励起フィルタ１２に向けて出射する。

フィルタホルダ１１１は、２以上のフィルタユニット１０を保持し、所定方向に移動させることにより、フィルタユニット１０のいずれか一つを観察光の光路上に配置し、或いは、当該光路から退避させることができる。フィルタユニット１０は、励起フィルタ１１、ダイクロイックミラー１２及び吸収フィルタ１３からなる。

励起フィルタ１１は、所定の波長の励起光１を選択的に透過させる波長選択フィルタである。ダイクロイックミラー１２は、励起フィルタ１１を透過した励起光１を対物レンズ１１２に向けて反射する一方、観察対象物２から対物レンズ１１２を介して入射された観察光を吸収フィルタ１２側へ透過させる。

吸収フィルタ１３は、観察対象物２により散乱され、対物レンズ１１２及びダイクロイックミラー１４を介して入射された励起光１を吸収するとともに、所定の波長の蛍光３を選択的に透過させる波長選択フィルタである。励起光１は、観察対象物２に対し、観察光と同軸に対物レンズ１１２側から落射される。

可動ステージ１１３は、試薬を付与した観察対象物２を載置する載置台であり、ｘ，ｙ，ｚ方向に移動させることができる。ｚ方向は、対物レンズ１１２の光軸に平行な方向であり、ｘ，ｙ方向は、上記光軸に垂直な方向である。ステージ駆動部４１は、可動ステージ１１３の駆動を行う。可動ステージ１１３をｚ方向に移動させることにより、撮影画像のピント合わせを行うことができる。また、可動ステージ１１３をｘ又はｙ方向に移動させることにより、モノクロカメラ１１７の視野内へ観察対象物２を移動させることができる。なお、可動ステージ１１３は固定ステージであってもよい。

試薬は、励起光を吸収して蛍光を放射する蛍光色素からなる。フィルタホルダ１１１には、試薬ごとのフィルタユニット１０が保持される。フィルタ切替部４０は、フィルタユニット１０の切替を行う。発光させる試薬に応じてフィルタユニット１０を変更することにより、観察対象物２に対し試薬に対応する波長の励起光１を照射することができる。

フィルタユニット１０を透過した蛍光３は、結像レンズ１１４、観察切替部１１５及びカラーフィルタ１１６を介して、モノクロカメラ１１７に入射される。観察切替部１１５は、蛍光観察時に、観察対象物２から結像レンズ１１４を介して入射された蛍光３をモノクロカメラ１１７側へ透過させ、透過光４による明視野観察時に、観察対象物２から結像レンズ１１４を介して入射された透過光４をカラーカメラ１１９に向けて反射する。

カラーフィルタ１１６は、モノクロカメラ１１７を用いて明視野観察を行う場合に使用されるフィルタであり、ＲＧＢの色成分を選択的に透過させる。モノクロカメラ１１７は、蛍光３を受光してモノクロ階調画像を生成する蛍光観察用撮像装置であり、ＣＣＤ（Charge Coupled Devices：電荷結合素子）などの撮像素子により構成される。言い換えると、モノクロカメラ１１７は、ステージ（可動でも固定でも可）に載置された観察対象物２に複数の励起光１の各々が照射されたとき、観察対象物２から発せられる蛍光３を受光して、複数の異なるモノクロ蛍光画像を取得する。

透過照明光源３０は、明視野観察用の可視光を生成する光源装置である。透過照明レンズ３１は、透過照明光源３０から入射された可視光を可動ステージ１１３に向けて集光する。接眼レンズ１１８は、観察対象物２を透過し、結像レンズ１１４及び観察切替部１１５を介して入射された透過光４をカラーカメラ１１９に向けて集光する。カラーカメラ１１９は、透過光４を受光してカラー画像を生成する撮像装置である。

画像転送部４２は、モノクロカメラ１１７からモノクロ階調画像を取得し、或いは、カラーカメラ１１９からカラー画像を取得し、撮影画像としてＰＣ１２０へ送信する。制御部４３は、光量調整部２１、フィルタ切替部４０、ステージ駆動部４１及び画像転送部４２を制御する。

ＰＣ１２０では、蛍光観察時に観察対象物２を撮影して取得されたモノクロ階調画像から所望の染色部位を抽出するために、輝度閾値ＫＴを用いてモノクロ階調画像ＦＩを二値化することにより、１又は２以上のブロブ領域からなる二値化画像が生成され、絞込条件を用いてブロブ領域が絞り込まれる。

＜解析アプリ画面５０＞
図２は、図１のＰＣ１２０の動作の一例を示した図であり、表示部１２１上に表示される解析アプリ画面５０が示されている。この解析アプリ画面５０は、蛍光観察時に定量測定を行うための操作画面であり、解析フローの表示欄５１と、撮影画像や処理画像を表示するための表示欄５２と、輝度閾値の入力欄５３と、表示設定欄５４が設けられている。

なお、本実施の形態で用いられる解析アプリ画面５０は、第１の輝度閾値と第２の輝度閾値を指定することが可能な"詳細モード"に移行したときに表示される。すなわち、"通常モード"では、従来同様、１個の輝度閾値を指定することしかできない。このように、本実施の形態に係るＰＣ１２０は、一の輝度閾値を指定する"通常モード"と、複数の輝度閾値を指定可能な"詳細モード"とを切り替えるためのモード切り替え手段を有している。本実施の形態では、モード切り替えはユーザ操作に基づいて行われる。

表示欄５１には、ブロブ領域の指定から計測結果の確認までの処理手順が表示される。本実施例では、「領域の指定」⇒「領域の整形」⇒「結果確認」という順番で処理が進む。表示欄５２には、モノクロ階調画像ＦＩや二値化画像が表示される。図中の表示欄５２には、二値化処理前のモノクロ階調画像ＦＩが表示されている。モノクロ階調画像ＦＩは、試薬に対応する波長の励起光１が照射された観察対象物２を撮影して取得された撮影画像であり、画素ごとに保持される所定階調の輝度値、例えば、８ビットの輝度値からなる。

なお、本実施例では、説明の便宜上、モノクロ階調画像ＦＩを用いて説明するが、カラーカメラで撮影したカラー画像、若しくは複数のモノクロ階調画像のそれぞれに固有の色を割り振って合成した疑似カラー画像であってもよいことは言うまでもない。また、この際、二値化はカラー画像を構成するＲＧＢやＨＳＶ、ＹＵＶといった各チャネル（各色成分）のうち、単一もしくは複数のチャネルにおける階調の範囲を指定し、複数チャネルの場合はその範囲内かを示す論理の論理和、もしくは論理積をとることによって抽出対象が設定される。

このモノクロ階調画像ＦＩは、任意の色を表示色に指定して表示させることができ、試薬による染色部位を識別することができる。この例では、青色の表示色がハッチングにより表され、赤色の表示色がドットによる網掛けによって表され、緑色の表示色がグレー階調により表されるものとする。ここでは、試薬により染色された多数の細胞が観察対象物２として撮影され、細胞を示す粒子状のオブジェクト（染色部位）が画像全体に分布している。また、モノクロ階調画像ＦＩには、明るさのむらが生じており、中央部が周辺部に比べて明るい。

この様子を、モノクロ階調画像ＦＩでは、矩形領域で示す。すなわち、中央部分の矩形領域Ｒ１内は最も明るい部分であり、その外側の周囲領域Ｒ２内は矩形領域Ｒ１より暗い部分であり、さらに外側の周囲領域Ｒ３は周囲領域Ｒ２より暗い部分である。このように、モノクロ階調画像ＦＩにおいて、レンズ性能や観察対象物の状態などの影響により、明るさむらが生じている。

入力欄５３は、モノクロ階調画像ＦＩを二値化する際に用いる輝度閾値ＫＴの値を調整するための操作領域であり、輝度ヒストグラム５３ａ及びレンジ指定欄５３ｂが設けられている。輝度ヒストグラム５３ａは、表示欄５２に表示中のモノクロ階調画像ＦＩにおける輝度の分布を示すグラフであり、横軸を輝度値とし、縦軸を画素数として、輝度ごとの画素数が示されている。

レンジ指定欄５３ｂは、抽出対象とする輝度の範囲を指定するための入力欄であり、抽出対象とする輝度の上限値及び下限値を０以上２５５以下の範囲内で任意に指定することができる。輝度ヒストグラム５３ａ上でマウスカーソルを移動させることにより、抽出対象とする輝度の範囲を指定することもできる。

表示設定欄５４は、抽出結果を表示欄５２に表示するか否かを選択し、或いは、絞込条件によって抽出されたブロブ領域に割り当てる表示色を抽出色として指定し、或いは、輝度閾値ＫＴによって抽出されたブロブ領域に割り当てる表示色をハイライト色として指定するための操作領域である。この例では、抽出結果を表示欄５２に表示することが選択され、かつ、赤色を抽出色とし、青色をハイライト色とすることが指定されている。

＜ＰＣ１２０＞
図３は、図１のＰＣ１２０の構成例を示したブロック図である。このＰＣ１２０は、操作部１０１、輝度閾値指定部１０２、輝度閾値記憶部１０３、二値化部１０４、絞込条件指定部１０５、絞込条件記憶部１０６、特徴量算出部１０７、ブロブ絞込部１０８、絞込ブロブ選択部１０９、表示部１２１、画像記憶部１２４、ブロブ領域特定部１２５、抽出画像合成部１３１、特徴量閾値指定部１３２、整形ブロブ選択部１３３及びブロブ領域整形部１３４により構成される。

操作部１０１は、キーボード１２２及びマウス１２３からなり、ユーザ操作に応じた操作信号を生成する。画像記憶部１２４には、観察対象物２を撮影して取得されたモノクロ階調画像ＦＩなどが保持される。表示部１２１は、ユーザ操作に基づいて、解析アプリ画面５０上にモノクロ階調画像ＦＩを表示する。

輝度閾値指定部１０２は、ユーザ操作に基づいて、モノクロ階調画像ＦＩを二値化するための輝度閾値ＫＴを指定し、輝度閾値記憶部１０３内に格納する。絞込条件指定部１０５は、ユーザ操作に基づいて、特徴量を用いて複数のブロブ領域から抽出対象となるブロブ領域を絞り込むための絞込条件を指定し、絞込条件記憶部１０６内に格納する。絞込条件は、ブロブ領域をその特徴量によって取捨選択するための特徴量制限情報からなる。

二値化部１０４は、輝度閾値記憶部１０３内の輝度閾値ＫＴを用いてモノクロ階調画像ＦＩを二値化し、二値化画像を生成する画像処理部である。具体的には、画素ごとの輝度値を輝度閾値ＫＴと比較し、その比較結果に基づいて、輝度値が二値化される。

ブロブ領域特定部１２５は、所定値以上の面積を有する連続領域をブロブ領域として、二値化画像から複数のブロブ領域を特定する。すなわち、画素数が一定値以上の連続領域がブロブ領域として特定される。

ブロブ領域は、互いに隣接する画素からなる連続領域であり、二値化画像における高輝度側の領域をブロブ領域とすることにより、染色部位を特定することができる。画像記憶部１２４には、ユーザが指定した輝度閾値ＫＴを用いて二値化された二値化画像が保持され、表示部１２１は、解析アプリ画面５０上に当該二値化画像を表示する。

特徴量算出部１０７は、二値化画像に含まれるブロブ領域の特徴量を求める。この特徴量は、ブロブ領域のサイズ又は形状からなる。ブロブ領域のサイズを示すパラメータには、ブロブ領域の面積、周囲長、長径、短径、長径短径比、長さ、幅などがある。また、ブロブ領域の形状を示すパラメータには、円形度、包絡度、くびれ度などがある。従って、絞込条件には、面積の範囲や円形度の範囲が指定される。

円形度は、領域の外周形状がどの程度円形に近いのかを示すパラメータであり、領域の周囲長をＬ、面積をＳとすれば、４πＳ／Ｌ^２により求められる。包絡度は、領域の外周形状における凹凸度を示すパラメータであり、外周形状の包絡線による周囲長をＬ１とすれば、Ｌ／Ｌ１により求められる。

ブロブ絞込部１０８は、特徴量算出部１０７により求められた特徴量を絞込条件記憶部１０６内の絞込条件と比較し、二値化画像に含まれるブロブ領域を絞り込むことにより、抽出画像を生成する画像処理部である。言い換えると、複数のブロブ領域の各々について、特徴量算出部１０７により求められた特徴量を絞込条件記憶部１０６内の絞込条件と比較し、絞込条件を満たす特徴量を有するブロブ領域のみを抽出した抽出画像を生成する。

例えば、ブロブ絞込部１０８は、絞込条件として指定された面積範囲外の面積を有するブロブ領域を除外することにより、ブロブ領域の絞込を行う。或いは、ブロブ絞込部１０８は、絞込条件として指定された円形度範囲外の円形度を有するブロブ領域を除外することにより、ブロブ領域の絞込を行う。

画像記憶部１２４には、ユーザが指定した絞込条件に基づいてブロブ領域の絞込が行われた抽出画像が保持され、表示部１２１は、解析アプリ画面５０上に当該抽出画像を表示する。ユーザは、二値化画像や抽出画像を閲覧することにより、特定の試薬により染色された染色部位を容易に識別することができる。

抽出画像合成部１３１は、互いに異なる輝度閾値ＫＴを用いて、同一のモノクロ階調画像ＦＩから得られた２以上の抽出画像をマージし、解析画像を生成する画像処理部である。言い換えると、同一のモノクロ階調画像ＦＩに対して複数の異なる輝度閾値ＫＴが指定され、指定された輝度閾値ＫＴの各々に対応して得られた複数の異なる抽出画像を合成して、解析画像を生成する。

ここで、「抽出画像を合成」するとは、例えば、複数の異なる抽出画像を重ね合わせて合成してもよい。或いは、複数の異なる抽出画像において対応する画素間で論理和をとってもよい。具体的には、複数の異なる抽出画像において対応する画素が全て０（非抽出画素、後述する抽出画素以外の画素）である場合、解析画像におけるその画素は０（非抽出画素）とする一方、複数の異なる抽出画像において対応する画素のうちいずれか一つが１（抽出画素、すなわち輝度値が輝度閾値の範囲内であって且つ絞込条件を満たす特徴量を有するブロブ領域内の画素）である場合、解析画像におけるその画素は１（抽出画素）とする。その他、抽出画像を合成する方法については如何なる方法であっても構わない。解析画像は、複数の抽出画像を合成することによって得られる合成二値化画像である。

画像記憶部１２４には、抽出画像合成部１３１により生成された解析画像が保持され、表示部１２１は、解析アプリ画面５０上に当該解析画像を表示する。また、上記解析画像は、ブロブ領域の数や面積を計測するのに用いられる。

表示部１２１は、モノクロ階調画像ＦＩから抽出されたブロブ領域を当該モノクロ階調画像上に重ねて表示する。また、表示部１２１は、輝度閾値ＫＴが変更されるごとに、変更後の輝度閾値ＫＴを用いて抽出されたブロブ領域をモノクロ階調画像ＦＩ上に重ねて表示する。この様な表示制御により、ユーザは、所望の明るさの染色部位がブロブ領域として正しく抽出されているか否かを容易に識別することができる。また、輝度閾値ＫＴの変更がブロブ領域の表示に反映されるので、輝度閾値ＫＴを変更した場合に、変更後の輝度閾値ＫＴが適切であったか否かを容易に識別することができる。

絞込ブロブ選択部１０９は、ユーザ操作に基づいて、モノクロ階調画像ＦＩ上のブロブ領域を絞込ブロブとして選択する。絞込条件指定部１０５では、絞込ブロブ選択部１０９により選択された１又は２以上の絞込ブロブに基づいて、絞込条件が指定される。つまり、解析アプリ画面５０上で絞込ブロブを選択することにより、絞込条件を自動的に指定することができる。

表示部１２１では、ブロブ絞込部１０８による絞込前後のブロブ領域が識別可能に表示される。例えば、絞込により除去されるブロブ領域と、除去せずに残すブロブ領域とで表示色を異ならせる表示制御が行われる。この様な表示制御により、ユーザは、所望の明るさ、サイズ又は形状の染色部位がブロブ領域として正しく抽出されているか否かを容易に識別することができるとともに、絞込条件が適切であったか否かを容易に識別することができる。

絞込条件記憶部１０６は、ブロブ領域の絞込が行われた後も絞込条件を保持する。ブロブ絞込部１０８では、前回の絞込時とは異なる輝度閾値ＫＴを用いて得られた二値化画像に対しブロブ領域の絞込を行う場合に、前回の絞込時と同じ絞込条件を用いて当該二値化画像に対するブロブ領域の絞込を行う。この様な構成によれば、二値化画像上のブロブ領域を絞り込むための絞込条件を指定する際の作業を簡素化することができる。

特徴量閾値指定部１３２は、ユーザ操作に基づいて、整形対象のブロブ領域を制限するための特徴量閾値ＴＴを指定する。整形ブロブ選択部１３３は、特徴量を特徴量閾値ＴＴと比較し、抽出画像に含まれる１又は２以上のブロブ領域を整形ブロブとして選択する。

ブロブ領域整形部１３４は、抽出画像に対しモルフォロジー演算を行い、整形ブロブを整形する。モルフォロジー演算は、領域の収縮又は膨張により、穴を埋めたり、欠けた領域を補正する画像処理である。処理後の抽出画像は、整形後の整形ブロブと、整形ブロブとして選択されなかったブロブ領域からなる。

図４のステップＳ１０１〜Ｓ１０８は、図３のＰＣ１２０における染色部位の抽出時の動作の一例を示したフローチャートである。まず、輝度閾値指定部１０２は、ユーザ操作に基づいて、輝度閾値ＫＴを指定する（ステップＳ１０１）。二値化部１０４は、輝度閾値指定部１０２によって指定された輝度閾値ＫＴを用いてモノクロ階調画像ＦＩを二値化し、二値化画像を生成する（ステップＳ１０２）。このとき、表示部１２１は、二値化によって抽出されたブロブ領域を抽出元のモノクロ階調画像ＦＩ上に表示する（ステップＳ１０３）。

次に、絞込条件指定部１０５は、ユーザ操作に基づいて、絞込条件を指定する（ステップＳ１０４）。ブロブ絞込部１０８は、特徴量を絞込条件と比較し、二値化画像に含まれるブロブ領域を絞り込むことにより、抽出画像を生成する（ステップＳ１０５）。このとき、表示部１２１は、抽出画像に含まれるブロブ領域をモノクロ階調画像ＦＩ上に表示する。

ステップＳ１０２からステップＳ１０５までの処理手順は、輝度閾値ＫＴが変更されるごとに繰り返される（ステップＳ１０６）。ステップＳ１０２からステップＳ１０５までの処理手順を繰り返すことにより、互いに異なる輝度閾値ＫＴを用いて、同一のモノクロ階調画像ＦＩから２以上の抽出画像が得られれば、抽出画像合成部１３１は、これらの抽出画像をマージし、解析画像を生成する（ステップＳ１０７）。表示部１２１は、得られた解析画像を表示する（ステップＳ１０８）。

なお、本実施例では、ステップＳ１０５により生成された複数の異なる抽出画像は、ステップＳ１０７の時点で纏めてマージされるようにしたが、本発明はこれに限られない。例えば、第１の抽出画像が生成され、輝度閾値ＫＴが変更され、第２の抽出画像が生成された時点で、第１の抽出画像と第２の抽出画像をマージし、解析画像を表示させるようにしてもよい。すなわち、図４に示すステップＳ１０６の処理を、ステップＳ１０８の処理の後に移動させてもよい。これにより、ユーザは輝度閾値ＫＴを変更する前に、マージされた解析画像を確認することができるので、輝度閾値ＫＴを更に変更すべきか否かを容易に判断することができる。

図５は、図１のＰＣ１２０の動作の一例を示した図であり、適切でない輝度閾値ＫＴを指定した場合の解析アプリ画面５０が示されている。対物レンズ１１２などの光学系の特性や観察対象物２の状態の影響により、中央部分と周縁部分とで明るさにむらのあるモノクロ階調画像ＦＩでは、輝度閾値ＫＴとしてどのような値を指定しても、１回の二値化処理では所望の染色部位をブロブ領域５として抽出することはできない。

図２に示したような中央部が周辺部に比べて明るいモノクロ階調画像ＦＩの場合、比較的に小さい輝度閾値ＫＴを用いて、当該モノクロ階調画像ＦＩを二値化すれば、中央部分全体がブロブ領域５として抽出されてしまう（図２において上述した矩形領域Ｒ１及び周囲領域Ｒ２内は、外側の周囲領域Ｒ３より全体的に明るいため）。抽出されたブロブ領域５には、抽出色が割り当てられ、ドットによる網掛けによって表されている。

一方で、比較的に大きい輝度閾値ＫＴを用いて、当該モノクロ階調画像ＦＩを二値化しようとすれば、図５に示すように中央部分全体が塊として抽出されることはないものの、周囲領域Ｒ３内に存在する比較的暗い染色部位を正しく抽出することができない（矩形領域Ｒ１内の比較的明るい染色部位のみが正しく抽出される）。このように、照明ムラがある画像において、従来の二値化方法では、比較的大きな輝度閾値ＫＴを用いると不必要なものまで抽出し過ぎる一方、比較的小さな輝度閾値ＫＴを用いると必要なものを上手く抽出できない、という相反する問題があった。そのため、後処理としてのフィルタ処理等、特別な処理を必要としていた。

これに対し、本実施の形態では、新たな輝度閾値ＫＴを指定するごとに、輝度閾値ＫＴに基づく二値化処理とブロブ領域５の絞込とを行い、その様な輝度閾値ＫＴに基づく二値化処理とブロブ領域５の絞込とを複数回繰り返すことにより、中央部分の染色部位であっても、ブロブ領域５として適切に抽出することができる。

図６は、図１のＰＣ１２０の動作の一例を示した図であり、第１の輝度閾値として輝度閾値ＫＴ１を指定した後の解析アプリ画面５０が示されている。この解析アプリ画面５０では、モノクロ階調画像ＦＩの中央付近に存在する明るい染色部位がブロブ領域５として抽出されるように、比較的に大きい輝度閾値ＫＴ１が指定されている。このように比較的に大きい輝度閾値ＫＴ１を指定することで、中央部分全体がブロブ領域５として抽出されるのを防いでいる。すなわち、図５に示すように、矩形領域Ｒ１及び周囲領域Ｒ２内が塊として抽出されるのを防いでいる。

輝度閾値ＫＴは、入力欄５３内の輝度ヒストグラム５３ａ又はレンジ指定欄５３ｂを操作することにより、０以上２５５以下の範囲内で任意に指定することができる。例えば、輝度閾値ＫＴは、マウス１２３を用いて、輝度ヒストグラム５３ａ上でマウスカーソルをドラッグさせることにより、指定することができる。或いは、輝度閾値ＫＴは、レンジ指定欄５３ｂにおいて、上限値及び下限値を入力することにより、指定することができる。

この例では、ＫＴ１＝１０７が指定され、輝度値が１０７以上２５５以下の範囲内に該当する画素からなる領域がブロブ領域５として抽出されている。特に、本実施の形態では、モノクロ階調画像ＦＩ上に、二値化により抽出されたブロブ領域５が重ねて表示されている。モノクロ階調画像ＦＩ上に表示されたブロブ領域５を閲覧することにより、ユーザは、所望の明るさの染色部位がブロブ領域５として正しく抽出されているか否かを容易に識別することができる。つまり、より多くのブロブ領域５を抽出したい場合には、輝度閾値ＫＴをより小さな値に変更指定すればよいし、所望の染色部位とは異なる（ノイズとなる）ブロブ領域５が多く抽出されている場合には、輝度閾値ＫＴをより大きな値に変更指定すればよい。

また、抽出された複数のブロブ領域５は、抽出元のモノクロ階調画像ＦＩ上に表示されている。輝度値に基づいて抽出されたブロブ領域５には、ハイライト色が割り当てられ、ハッチングにより表されている。この様な比較的に高い輝度レンジを指定することにより、明るさのむらに起因する中央部分のバックグラウンドを除外してブロブ領域５を抽出することができる。

＜絞込設定画面６０＞
図７は、図１のＰＣ１２０の動作の一例を示した図であり、入力欄５３内の確定ボタンを操作することによって解析アプリ画面５０上に表示された絞込設定画面６０が示されている。この絞込設定画面６０は、絞込条件を設定するための操作画面であり、確定ボタンの操作に基づいて表示される。

絞込条件は、モノクロ階調画像ＦＩ上に表示されている１又は２以上のブロブ領域５を絞込ブロブ６として選択することにより、指定することができる。つまり、抽出結果として残したいブロブ領域５を絞込ブロブ６として画面上で指定することにより、指定された絞込ブロブ６の面積が含まれるように、絞込条件とする面積範囲が自動的に設定される。ここでは、ブロブ領域５の面積を特徴量として用い、面積範囲が絞込条件として指定される。

図８は、図１のＰＣ１２０の動作の一例を示した図であり、絞込ブロブ６を選択することにより面積範囲の上限値が絞込条件として指定された場合が示されている。絞込ブロブ６は、ブロブ領域５として残留させる領域であり、表示欄５２内でマウスカーソルを移動させながら、１又は２以上のブロブ領域５をクリック操作によって選択することにより、指定することができる。

或いは、ドラッグ操作によって矩形エリアを指定すれば、当該矩形エリア内のブロブ領域５が絞込ブロブに指定される。絞込ブロブ６には、抽出色が割り当てられ、ドットによる網掛けによって表されている。つまり、絞込ブロブ６と絞込ブロブ６以外のブロブ領域５とは、表示色によって容易に識別することができる。

絞込条件は、指定された絞込ブロブ６の面積に基づいて指定される。この例では、比較的に大きいブロブ領域５を絞込ブロブ６として選択することにより、抽出サイズ＝３０２μｍ^２が面積範囲の上限として指定されている。

図９は、図１のＰＣ１２０の動作の一例を示した図であり、さらに絞込ブロブ６を選択することにより面積範囲の下限値が絞込条件として指定された場合が示されている。比較的に小さいブロブ領域５も絞込ブロブ６として選択することにより、抽出サイズ＝３０２μｍ^２を面積範囲の上限とし、抽出サイズ＝６．４μｍ^２を面積範囲の下限とする絞込条件が指定されている。

この様な絞込条件を指定することにより、絞込条件で指定された面積範囲外の面積を有するブロブ領域５を抽出対象から除外し、面積範囲内の面積を有するブロブ領域５（絞込ブロブ６）だけに絞り込むことができる。

図１０は、図１のＰＣ１２０の動作の一例を示した図であり、絞込設定画面６０内の確定ボタンを操作した後の解析アプリ画面５０が示されている。この解析アプリ画面５０は、１回目の二値化処理及びブロブ領域絞込が行われた後の操作画面であり、表示欄５２内のモノクロ階調画像ＦＩ上には、抽出されたブロブ領域５が表示されている。このブロブ領域５には、抽出色が割り当てられ、ドットによる網掛けによって表されている。画像の中央部分の染色部位などがブロブ領域５として抽出されている。

なお、図１０では、絞込条件を満たす特徴量を有するブロブ領域５（ドットによる網掛け）を抽出した抽出画像が、モノクロ階調画像ＦＩ上に重ねて表示されている。ユーザは、図１０に示すＧＵＩを視認して、周囲領域Ｒ３内に存在する染色部位がまだ抽出できていないことを認識する。そこで、ユーザは、さらに、第１の輝度閾値よりも低い第２の輝度閾値を指定することができる。

図１１は、図１のＰＣ１２０の動作の一例を示した図であり、第２の輝度閾値として輝度閾値ＫＴ２を指定した後の解析アプリ画面５０が示されている。この解析アプリ画面５０では、モノクロ階調画像ＦＩの周縁付近に存在する染色部位がブロブ領域５として抽出されるように、輝度閾値ＫＴ１よりも小さい輝度閾値ＫＴ２が指定されている。このように、輝度閾値ＫＴ１よりも小さい輝度閾値ＫＴ２を指定すると、輝度閾値ＫＴ１で抽出しきれなかった周縁付近（例えば周囲領域Ｒ３内）のブロブ領域５を抽出することができる。一方で、中央部分全体もブロブ領域５として抽出されてしまう（図１１参照）。そこで、絞込条件を指定することによって、この中央部分全体のブロブ領域５が抽出対象（抽出画像）から除かれるようにしている。

この例では、ＫＴ２＝９２が指定され、輝度値が９２以上２５５以下の範囲内に該当する画素からなる領域がブロブ領域５として抽出されている。また、抽出された複数のブロブ領域５は、抽出元のモノクロ階調画像ＦＩ上に表示されている。なお、図１１に示すヒストグラム上に、「抽出したいレンジをドラッグで指定して下さい」や「２つ目の輝度閾値を指定して下さい」といった輝度閾値の指定を誘導するための誘導情報を表示してもよい。これにより、ユーザは、上述した"詳細モード"において、２つ目の輝度閾値を指定する必要があることを認識することができる。

輝度値がＫＴ２以上ＫＴ１以下の範囲内の領域に対応するブロブ領域５には、ハイライト色が割り当てられ、ハッチングにより表されている。また、１回目の二値化処理及びブロブ領域絞込によって抽出されたブロブ領域５には、抽出色が割り当てられ、ドットによる網掛けによって表されている。このように、ドットによる網掛けによって表されたブロブ領域５は、既に抽出済みのブロブ領域であり、ハッチングによって表されたブロブ領域５は、今回新たに抽出候補となるブロブ領域（実際に抽出されるのは絞込条件を満たす特徴量を有するもののみ）である。この様な輝度レンジを抽出対象として指定することにより、周縁部分の染色部位をブロブ領域５として抽出することができる。つまり、ユーザは、新たに抽出候補となるブロブ領域を確認しながら、輝度閾値ＫＴ２の値を最適な値に調整することができる。例えば、周囲領域Ｒ３内に存在する不必要なノイズが抽出されている場合には、輝度閾値ＫＴ２を少し大きい値に調整すればよい。一方で、周囲領域Ｒ３内に存在する染色部位を上手く抽出できていない場合には、輝度閾値ＫＴ２を少し小さい値に調整すればよい。この場合、輝度閾値ＫＴ２を小さい値に変更したことが原因で、周囲領域Ｒ２や周囲領域Ｒ３で不必要な塊が抽出されたとしても、図１２を用いて後述するブロブ絞込によって最終的な抽出対象から除くことができる。

図１２は、図１のＰＣ１２０の動作の一例を示した図であり、入力欄５３内の確定ボタンを操作することによって解析アプリ画面５０上に表示された絞込設定画面６０が示されている。この絞込設定画面６０には、前回値ボタン６１が配置されている。

前回値ボタン６１は、前回の絞込時と同じ面積範囲を絞込条件として指定するための操作アイコンである。前回値ボタン６１を操作することにより、前回の絞込時に指定された面積範囲、すなわち、６．４μｍ^２以上３０２μｍ^２を指定することができる。

図１３は、図１のＰＣ１２０の動作の一例を示した図であり、前回値ボタン６１を操作することにより前回と同じ絞込条件が指定された場合が示されている。この解析アプリ画面５０では、表示欄５２内のモノクロ階調画像ＦＩ上に、１回目のブロブ領域絞込時と同じ絞込条件が適用された絞込ブロブ６が表示されている。この様な絞込条件の適用により、中央付近でブロブ領域５同士が連結したサイズの大きなブロブ領域５を除外することができる。

図１４は、図１のＰＣ１２０の動作の一例を示した図であり、絞込設定画面６０内の確定ボタンを操作した後の解析アプリ画面５０が示されている。この解析アプリ画面５０は、２回目の二値化処理及びブロブ領域絞込が行われた後の操作画面であり、表示欄５２内のモノクロ階調画像ＦＩ上には、抽出されたブロブ領域５が表示されている。

なお、図１４は、図６に示す輝度閾値ＫＴ１及び図９に示す絞込条件を用いて抽出したブロブ領域を有する抽出画像（図１０）に対し、図１１に示す輝度閾値ＫＴ２及び図１３に示す絞込条件を用いて抽出したブロブ領域を有する抽出画像（図１３）が合成された様子を示している（リアルタイムで合成されてもよい）。具体的には、図１４に示す周囲領域Ｒ３では、図１０に示す周囲領域Ｒ３と比べて、ドットによる網掛けで表された抽出すべきブロブ領域５が増加している。その一方で、２回目の二値化処理及びブロブ領域絞込の過程で、矩形領域Ｒ１内で抽出されるサイズの大きなブロブ領域５は正しく除外されている。

このようにして、ユーザは、輝度閾値の変更指定と絞込条件の適用を繰り返すことで、不必要なブロブ領域５が加わるのを回避しつつ、抽出すべきブロブ領域５を少しずつ増加させていくことができる。

図１５は、図１のＰＣ１２０の動作の一例を示した図であり、モノクロ階調画像ＦＩの二値化及びブロブ領域５の絞込をさらに一定回数繰り返した後の解析アプリ画面５０が示されている。この解析アプリ画面５０は、二値化処理及びブロブ領域絞込が繰り返し行われた後の操作画面であり、表示欄５２内のモノクロ階調画像ＦＩ上には、抽出されたブロブ領域５が表示されている。

このブロブ領域５の抽出結果を見れば、明るさのむらの影響を受けることなく、モノクロ階調画像ＦＩの中央部分の染色部位や、周縁部分の染色部位がブロブ領域５として正しく抽出されている。すなわち、図１４と図１５を比較して分かるように、図１５に示す周囲領域Ｒ３では、図１４に示す周囲領域Ｒ３と比べて、ドットによる網掛けで表された抽出すべきブロブ領域５が増加している。したがって、ユーザが解析したい所望の染色部位がより正しく抽出されていることが分かる。

図１６は、図１のＰＣ１２０の動作の一例を示した図であり、ブロブ領域５の整形時の解析アプリ画面５０が示されている。この解析アプリ画面５０は、抽出されたブロブ領域５に対し整形処理を行うための操作画面であり、入力欄５３に代えて、ブロブ領域５を整形する画像処理を選択するための選択欄５５が配置されている。

なお、図６〜図１５を用いて説明した二値化処理及びブロブ領域絞込の繰り返しが終了し、図１５に示すＧＵＩ右下の「次へ」ボタンをクリックすると、図１６に示す解析アプリ画面５０が表示される。本実施の形態では、説明の便宜上、図１５に示す解析画像とは異なる画像（「領域の整形」を説明しやすい画像）を用いることとする。実際は、図１５に示す解析画像において、形状が歪んだブロブ領域５を整形するために、図１６に示す「領域の整形」処理を行う。ここで領域の整形を行っておくことにより、ブロブ領域５の面積、周囲長、長径、短径及び輝度などを計測する際に、正しく計測することができる。

選択欄５５には、領域除去ボタン５５ａ、穴埋めボタン５５ｂ、領域補正ボタン５５ｃ、領域分離ボタン５５ｄが配置されている。領域除去ボタン５５ａは、不要なブロブ領域５を除去する画像処理を選択するための操作アイコンである。この画像処理は、特徴量が予め定められる条件を満たさないブロブ領域５を除去する。

穴埋めボタン５５ｂは、ブロブ領域５の穴を埋める画像処理を選択するための操作アイコンである。この画像処理は、ブロブ領域５の穴を領域の膨張又は収縮によって埋める。領域補正ボタン５５ｃは、欠けた領域を補正する画像処理を選択するための操作アイコンである。この画像処理は、領域周縁部の凹みを領域の膨張又は収縮によって埋める。

領域分離ボタン５５ｄは、ブロブ領域５を分離する画像処理を選択するための操作アイコンである。この画像処理は、くびれ度などの特徴量に基づいてブロブ領域５を分離する。例えば、ウォーターシェッド（water-shed）法を利用した円形分離処理によって、ブロブ領域５が１又は２以上のブロブ領域に分離される。この様なブロブ領域５の整形処理を行うことにより、細胞や細胞内の器官を示す染色部位をブロブ領域５として正しく識別することができる。

図中の表示欄５２には、モノクロ階調画像ＦＩから得られた抽出画像が表示されている。この抽出画像は、モノクロ階調画像ＦＩに対し、輝度閾値ＫＴに基づく二値化処理とブロブ領域５の絞込とを行うことにより生成され、様々なサイズ及び形状のブロブ領域５が抽出されている。抽出されたブロブ領域５には、抽出色が割り当てられ、ドットによる網掛けによって表されている。

＜整形設定画面７０＞
図１７は、図１のＰＣ１２０の動作の一例を示した図であり、領域補正ボタン５５ｃの操作によって解析アプリ画面５０上に表示された整形設定画面７０が示されている。この整形設定画面７０は、整形処理のパラメータや特徴量閾値ＴＴを設定するためのダイアログ画面であり、領域補正ボタン５５ｃの操作に基づいて表示される。

整形処理のパラメータは、領域を膨張又は収縮させる程度を規定する補正パラメータである。このパラメータは、スライダ操作部を操作することにより、０以上１０以下の範囲内で任意に指定することができる。特徴量閾値ＴＴは、整形処理を行うブロブ領域５を特徴量によって絞り込むための閾値である。この特徴量閾値ＴＴは、スライダ操作部を操作することにより、０％以上１００％以下の範囲内で任意に指定することができる。

この例では、欠けた領域を補正する整形処理のパラメータとして「２」が指定され、特徴量閾値ＴＴとして全抽出「１００％」が指定されている。この場合、抽出画像から抽出された全てのブロブ領域５が整形処理される。このため、領域周縁部に凹凸の少ないブロブ領域５にも整形処理が行われ、分離していたブロブ領域５が結合してしまっている。この様な場合には、特徴量閾値ＴＴを調整することにより、整形処理を行うブロブ領域５を特徴量によって絞り込むことができる。

図１８は、図１のＰＣ１２０の動作の一例を示した図であり、整形設定画面７０上で１００％以外の特徴量閾値ＴＴを指定した場合が示されている。図中の表示欄５２には、包絡度を特徴量とし、特徴量閾値ＴＴを「５４％」として、整形処理を行うブロブ領域５を絞り込んだ場合が示されている。この例では、特徴量閾値ＴＴよりも包絡度の小さい１又は２以上のブロブ領域５が整形ブロブ７として選択され、整形ブロブ７に対し整形処理が行われる。

図１９は、図１のＰＣ１２０の動作の一例を示した図であり、整形設定画面７０上で０以外の整形パラメータを指定した場合が示されている。この解析アプリ画面５０では、整形処理のパラメータとして「２」が指定され、整形ブロブ７のみが整形処理されている。

図２０は、図１のＰＣ１２０の動作の一例を示した図であり、整形設定画面７０内の確定ボタンを操作した後の解析アプリ画面５０が示されている。この解析アプリ画面５０は、抽出画像に対するブロブ領域５の整形処理が行われた後の操作画面であり、表示欄５２内には、整形処理後の抽出画像が表示されている。

整形処理は、整形ブロブ７に対して行われ、整形ブロブ７以外のブロブ領域５は、整形処理が行われずにそのままの状態で存在している。この様に、特徴量閾値ＴＴに基づいて、整形処理を行うブロブ領域５を絞り込むことにより、領域周縁部に凹凸の多いブロブ領域５のみを整形処理することができる。

＜計測結果確認画面８０＞
図２１は、図１のＰＣ１２０の動作の一例を示した図であり、計測結果の確認時に表示される計測結果確認画面８０が示されている。この計測結果確認画面８０は、所定のユーザ操作に基づいて表示されるウィンドウ画面であり、染色部位を示すブロブ領域５ごとの計測結果が表形式により表示される。ブロブ領域５には、シリアル番号が自動的に割り付けられる。

計測結果確認画面８０には、ブロブ領域５の面積、周囲長、長径、短径及び輝度が計測結果として表示されている。輝度は、元のモノクロ階調画像ＦＩにおける画素ごとの輝度値の積算値である。また、面積、周囲長、長径、短径及び輝度の各計測値に対し、各種の統計処理を行った結果が表示されている。具体的には、平均値、標準偏差、最大値、最小値、総計が統計処理結果として表示されている。

本実施の形態によれば、ユーザが任意に指定した輝度閾値ＫＴを用いてモノクロ階調画像ＦＩを二値化し、１又は２以上のブロブ領域５からなる二値化画像を生成する。このため、試薬による染色領域又は非染色領域をブロブ領域５として抽出することができる。また、ユーザが任意に指定した絞込条件を用いて二値化画像に含まれるブロブ領域５を絞り込むので、ノイズを除去して所望の染色部位をブロブ領域５として抽出することができる。

さらに、互いに異なる輝度閾値ＫＴを用いて同一のモノクロ階調画像ＦＩから得られた２以上の抽出画像をマージして解析画像を生成するので、明るさの異なる染色部位であっても、モノクロ階調画像ＦＩの二値化及びブロブ領域の絞込を繰り返すことによって抽出することができる。このため、モノクロ階調画像ＦＩに明るさのむらがある場合であっても、所望の染色部位をモノクロ階調画像ＦＩから正しく抽出することができる。特に、明るさのむらを除去するための前処理を必要とすることなく、所望の染色部位をモノクロ階調画像ＦＩから正しく抽出することができる。また、明るさのむらを除去するための前処理を必要としないので、所望の染色部位をモノクロ階調画像ＦＩから抽出する際の作業を容易化することができる。

なお、本実施の形態では、励起光１を照射した際の蛍光３を利用して観察対象物２を撮影する蛍光顕微鏡システムに本発明を適用する場合の例について説明した。しかし、本発明は、その様な蛍光顕微鏡システムに限らず、可視光を利用して観察対象物を撮影する光学顕微鏡システムにも適用することができる。また、共焦点顕微鏡、特に、レーザー光を走査させる共焦点顕微鏡システムにも本発明は適用することができる。さらに、本発明は、電子顕微鏡や工業用顕微鏡（拡大観察装置）などにも適用することができる。

１００ 撮影解析装置
１１０ 撮影ユニット
１２０ ＰＣ
１２１ 表示部
１２４ 画像記憶部
１２５ ブロブ領域特定部
１３１ 抽出画像合成部
１３２ 特徴量閾値指定部
１３３ 整形ブロブ選択部
１３４ ブロブ領域整形部
１０１ 操作部
１０２ 輝度閾値指定部
１０３ 輝度閾値記憶部
１０４ 二値化部
１０５ 絞込条件指定部
１０６ 絞込条件記憶部
１０７ 特徴量算出部
１０８ ブロブ絞込部
１０９ 絞込ブロブ選択部
５０ 解析アプリ画面
６０ 絞込設定画面
６１ 前回値ボタン
７０ 整形設定画面
８０ 計測結果確認画面
１ 励起光
２ 観察対象物
３ 蛍光
５ ブロブ領域
６ 絞込ブロブ
７ 整形ブロブ

Claims (13)

1. 観察対象物を撮影して観察画像を取得する撮影手段と、
   ユーザ操作に基づいて、上記観察画像を二値化するための輝度閾値を指定する輝度閾値指定手段と、
   上記輝度閾値を用いて上記観察画像を二値化して二値化画像を生成する二値化手段と、
   所定値以上の面積を有する連続領域をブロブ領域として、上記二値化画像から複数のブロブ領域を特定するブロブ領域特定手段と、
   上記複数のブロブ領域の各々に関する特徴量を求める特徴量算出手段と、
   ユーザ操作に基づいて、上記特徴量に基づき上記複数のブロブ領域から抽出対象となるブロブ領域を絞り込むための絞込条件を指定する絞込条件指定手段と、
   上記複数のブロブ領域から上記絞込条件を満たす特徴量を有するブロブ領域を抽出して抽出画像を生成するブロブ絞込手段と、
   上記輝度閾値指定手段により同一の上記観察画像に対して複数の異なる上記輝度閾値が指定された場合に、指定された上記輝度閾値の各々に対応して生成された複数の異なる上記抽出画像を合成する抽出画像合成手段とを備えたことを特徴とする撮影解析装置。
2. 観察対象物を撮影して観察画像を取得する撮影手段と、
   ユーザ操作に基づいて、上記観察画像を二値化するための第１の輝度閾値と、第１の輝度閾値と異なる輝度閾値であって上記観察画像を二値化するための第２の輝度閾値を指定する輝度閾値指定手段と、
   上記第１の輝度閾値を用いて上記観察画像を二値化して第１の二値化画像を生成し、上記第２の輝度閾値を用いて上記観察画像を二値化して第２の二値化画像を生成する二値化手段と、
   所定値以上の面積を有する連続領域をブロブ領域として、上記第１の二値化画像から複数の第１のブロブ領域を特定するとともに、上記第２の二値化画像から複数の第２のブロブ領域を特定するブロブ領域特定手段と、
   複数の上記第１のブロブ領域の各々に関する第１の特徴量を求めるとともに、複数の上記第２のブロブ領域の各々に関する第２の特徴量を求める特徴量算出手段と、
   ユーザ操作に基づいて、上記第１の特徴量に基づき複数の上記第１のブロブ領域から抽出対象となるブロブ領域を絞り込むための第１の絞込条件を指定し、上記第２の特徴量に基づき複数の上記第２のブロブ領域から抽出対象となるブロブ領域を絞り込むための第２の絞込条件を指定する絞込条件指定手段と、
   複数の上記第１のブロブ領域から上記第１の絞込条件を満たす第１の特徴量を有するブロブ領域を抽出して第１の抽出画像を生成し、複数の上記第２のブロブ領域から上記第２の絞込条件を満たす第２の特徴量を有するブロブ領域を抽出して第２の抽出画像を生成するブロブ絞込手段と、
   上記第１の抽出画像と上記第２の抽出画像を合成する抽出画像合成手段とを備えたことを特徴とする撮影解析装置。
3. 上記輝度閾値指定手段は、上記第１の輝度閾値を指定し、上記ブロブ絞込手段によって第１の抽出画像が生成された後に上記第２の輝度閾値を指定することを特徴とする請求項２に記載の撮影解析装置。
4. 上記ブロブ領域を上記観察画像上に重ねて表示するブロブ表示手段を備え、
   上記ブロブ表示手段は、上記輝度閾値指定手段により上記輝度閾値が変更されるごとに、上記二値化手段により変更後の輝度閾値を用いて生成された二値化画像に含まれるブロブ領域を上記観察画像上に重ねて表示することを特徴とする請求項１〜３のいずれかに記載の撮影解析装置。
5. 上記ブロブ領域を上記観察画像上に重ねて表示するブロブ表示手段と、
   上記ブロブ表示手段において、ユーザ操作に基づいて、上記観察画像上に重ねて表示された上記ブロブ領域を絞込ブロブとして選択する絞込ブロブ選択手段とを備え、
   上記絞込条件指定手段は、上記絞込ブロブ選択手段により選択された１又は２以上の上記絞込ブロブに基づいて、上記絞込条件を指定することを特徴とする請求項１〜３のいずれかに記載の撮影解析装置。
6. 上記ブロブ表示手段は、上記ブロブ絞込手段による絞込前後の上記ブロブ領域を識別可能に表示することを特徴とする請求項４又は５に記載の撮影解析装置。
7. 上記ブロブ領域の絞込が行われた後も上記絞込条件を保持する絞込条件記憶手段を備え、
   上記ブロブ絞込手段は、前回の絞込時とは異なる輝度閾値を用いて得られた上記二値化画像に対し上記ブロブ領域の絞込を行う場合に、前回の絞込時と同じ絞込条件を用いて当該二値化画像に対するブロブ領域の絞込を行うことを特徴とする請求項１〜６のいずれかに記載の撮影解析装置。
8. ユーザ操作に基づいて、特徴量閾値を指定する特徴量閾値指定手段と、
   上記特徴量を上記特徴量閾値と比較し、上記抽出画像に含まれる１又は２以上の上記ブロブ領域を整形ブロブとして選択する整形ブロブ選択手段と、
   上記抽出画像に対しモルフォロジー演算を行い、上記整形ブロブを整形するブロブ領域整形手段とを備えたことを特徴とする請求項１〜７のいずれかに記載の撮影解析装置。
9. 上記特徴量算出手段は、上記特徴量として、上記ブロブ領域の面積を求め、
   上記絞込条件指定手段は、上記絞込条件として、面積範囲を指定し、
   上記ブロブ絞込手段は、上記面積範囲外の面積を有するブロブ領域を除外することにより、上記ブロブ領域の絞込を行うことを特徴とする請求項１〜８のいずれかに記載の撮影解析装置。
10. 上記特徴量算出手段は、上記特徴量として、上記ブロブ領域の円形度を求め、
    上記絞込条件指定手段は、上記絞込条件として、円形度範囲を指定し、
    上記ブロブ絞込手段は、上記円形度範囲外の円形度を有するブロブ領域を除外することにより、上記ブロブ領域の絞込を行うことを特徴とする請求項１〜８のいずれかに記載の撮影解析装置。
11. 上記特徴量算出手段は、上記特徴量として、上記ブロブ領域の包絡度を求め、
    上記絞込条件指定手段は、上記絞込条件として、包絡度範囲を指定し、
    上記ブロブ絞込手段は、上記包絡度範囲外の包絡度を有するブロブ領域を除外することにより、上記ブロブ領域の絞込を行うことを特徴とする請求項１〜８のいずれかに記載の撮影解析装置。
12. 観察対象物を撮影して観察画像を取得する撮影ステップと、
    ユーザ操作に基づいて、上記観察画像を二値化するための輝度閾値を指定する輝度閾値指定ステップと、
    上記輝度閾値を用いて上記観察画像を二値化して二値化画像を生成する二値化ステップと、
    所定値以上の面積を有する連続領域をブロブ領域として、上記二値化画像から複数のブロブ領域を特定するブロブ領域特定ステップと、
    上記複数のブロブ領域の各々に関する特徴量を求める特徴量算出ステップと、
    ユーザ操作に基づいて、上記特徴量に基づき上記複数のブロブ領域から抽出対象となるブロブ領域を絞り込むための絞込条件を指定する絞込条件指定ステップと、
    上記複数のブロブ領域から上記絞込条件を満たす特徴量を有するブロブ領域を抽出して抽出画像を生成するブロブ絞込ステップと、
    上記輝度閾値指定手段により同一の上記観察画像に対して複数の異なる上記輝度閾値が指定された場合に、指定された上記輝度閾値の各々に対応して生成された複数の異なる上記抽出画像を合成する抽出画像合成ステップとを備えたことを特徴とする撮影解析装置の制御方法。
13. 観察対象物を撮影して観察画像を取得する撮影手順と、
    ユーザ操作に基づいて、上記観察画像を二値化するための輝度閾値を指定する輝度閾値指定手順と、
    上記輝度閾値を用いて上記観察画像を二値化して二値化画像を生成する二値化手順と、
    所定値以上の面積を有する連続領域をブロブ領域として、上記二値化画像から複数のブロブ領域を特定するブロブ領域特定手順と、
    上記複数のブロブ領域の各々に関する特徴量を求める特徴量算出手順と、
    ユーザ操作に基づいて、上記特徴量に基づき上記複数のブロブ領域から抽出対象となるブロブ領域を絞り込むための絞込条件を指定する絞込条件指定手順と、
    上記複数のブロブ領域から上記絞込条件を満たす特徴量を有するブロブ領域を抽出して抽出画像を生成するブロブ絞込手順と、
    上記輝度閾値指定手段により同一の上記観察画像に対して複数の異なる上記輝度閾値が指定された場合に、指定された上記輝度閾値の各々に対応して生成された複数の異なる上記抽出画像を合成する抽出画像合成手順とをコンピュータに実行させることを特徴とする撮影解析装置用のプログラム。