JP2014063041A - 撮影解析装置、その制御方法及び撮影解析装置用のプログラム - Google Patents

撮影解析装置、その制御方法及び撮影解析装置用のプログラム Download PDF

Info

Publication number
JP2014063041A
JP2014063041A JP2012208304A JP2012208304A JP2014063041A JP 2014063041 A JP2014063041 A JP 2014063041A JP 2012208304 A JP2012208304 A JP 2012208304A JP 2012208304 A JP2012208304 A JP 2012208304A JP 2014063041 A JP2014063041 A JP 2014063041A
Authority
JP
Japan
Prior art keywords
image
color component
mask
analysis
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012208304A
Other languages
English (en)
Other versions
JP5953195B2 (ja
Inventor
Ryosuke Kondo
亮介 近藤
Woobum Kang
宇範 康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2012208304A priority Critical patent/JP5953195B2/ja
Publication of JP2014063041A publication Critical patent/JP2014063041A/ja
Application granted granted Critical
Publication of JP5953195B2 publication Critical patent/JP5953195B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】 画像処理の経験やプログラミング知識の浅いユーザでも簡易な操作で撮影画像の解析を行うことができる撮影解析装置を提供する。
【解決手段】 撮影画像の各々に異なる色成分を割り当てて複数の異なる色成分画像からなるオーバーレイ画像を生成するオーバーレイ画像生成部105と、オーバーレイ画像を表示する表示部121と、ユーザ操作に基づいて、オーバーレイ画像の色成分のいずれかをマスク用色成分として選択するマスク用色成分選択部102と、マスク用色成分が割り当てられた色成分画像から解析対象領域以外の領域をマスク領域として特定するマスク領域特定部106と、オーバーレイ画像の色成分のうちマスク用色成分以外の色成分が割り当てられている色成分画像から、マスク領域を用いて解析対象領域以外の領域がマスクされた抽出画像を生成する抽出画像生成部107により構成される。
【選択図】 図3

Description

本発明は、撮影解析装置、その制御方法及び撮影解析装置用のプログラムに係り、さらに詳しくは、観察対象物を撮影してモノクロ階調からなる2以上の撮影画像を取得する撮影解析装置の改良に関する。
蛍光観察は、試薬を付与した観察対象物に励起光を照射し、観察対象物が発する蛍光を利用して観察対象物を撮影し、得られた撮影画像を閲覧することにより行われる(例えば、特許文献1)。試薬は、励起光を吸収して蛍光を放射する蛍光色素からなり、細胞や生体組織に取り込まれることにより、無色透明の細胞、生体組織、細胞内の器官を蛍光によって識別することができる。通常、複数の試薬を用いて多重染色された観察対象物を観察する場合、試薬に対応する様々な波長の励起光を含む光が観察対象物に照射され、観察対象物がカラーカメラにより撮影される。
一方、蛍光の強さや位置を正確に特定するといった定量測定には、カラーカメラよりも感度が高いモノクロカメラが用いられる。また、多重染色された観察対象物をモノクロカメラにより撮影する場合には、観察対象物に対し、試薬に対応する波長の励起光が順に照射される。モノクロカメラは、励起光が照射されるごとに観察対象物を順に撮影し、試薬ごとのモノクロ階調画像を取得する。
モノクロ階調画像は、細胞や生体組織における試薬の分布を示すことから、観察対象物上で各試薬がどの様に影響し合っているのかといったことを確認する場合は、順に撮影して得られた複数のモノクロ階調画像から疑似カラー画像が作成される。この疑似カラー画像は、各モノクロ階調画像をそれぞれ異なる色成分に割り当てることによって作成される。疑似カラー画像は、元の蛍光色とは異なるものの、疑似カラー画像を閲覧すれば、試薬ごとに蛍光色の異なる各染色部位が相互にどの様に影響し合っているのかを容易に識別することができる。
また、遺伝情報を保持するDNA(デオキシリボ核酸)分子又は染色体の大きさ、細胞内における数などを測定する場合には、染色部位が細胞を示すモノクロ階調画像と、染色部位がDNA分子や染色体といった器官を示すモノクロ階調画像が取得される。細胞などを示す染色部位は、モノクロ階調画像を二値化することにより、互いに隣接する画素からなる画像領域として抽出することができる。しかしながら、例えば細胞内の遺伝情報を確認したい場合に、染色部位がDNA分子などの器官を示すモノクロ階調画像全体を単に二値化する方法では、確認対象である細胞内の染色部位だけでなく、確認対象ではない細胞外の領域から多数のノイズが抽出されてしまい、ユーザがモニタ上で遺伝情報を視認し難くなるのみならず、染色部位の数や面積などを測定しようとしたときに正しい結果が得られない可能性がある。
一般に、染色部位が細胞を示すモノクロ階調画像と、染色部位がDNA分子などの器官を示すモノクロ階調画像とは、別個独立の画像ファイルに格納及び保存されている。したがって、仮に、これらの複数の画像ファイルを用いて細胞内の遺伝情報を確認する方法があったとしても、ユーザは複数の画像ファイルを扱う画像処理アルゴリズムや画像処理プログラムを熟知していなければならず、画像処理の経験やプログラミング知識の浅いユーザが簡易な操作で撮影画像の解析を行うのは困難である。
特開2008−139795号公報
本発明は、上記の事情に鑑みてなされたものであり、画像処理の経験やプログラミング知識の浅いユーザでも簡易な操作で撮影画像の解析を行うことができる撮影解析装置を提供することを目的とする。
また、本発明は、細胞外の領域からノイズを抽出することなく、DNA分子や染色体といった器官を示す染色部位を正しく抽出することができる撮影解析装置を提供することを他の目的とする。
また、本発明は、第1の試薬による染色部位を容易に識別することができるとともに、当該染色部位以外の領域をマスクするためのマスク用閾値をユーザが任意に変更することができる撮影解析装置を提供することを他の目的とする。
また、本発明は、第2の試薬による染色部位を容易に識別することができるとともに、第2の試薬に対応する色成分画像を二値化するのに用いる抽出用閾値をユーザが任意に指定することができる撮影解析装置を提供することを他の目的とする。
また、本発明は、上述した撮影解析装置の制御方法を提供することを他の目的とする。さらに、本発明は、コンピュータを上述した撮影解析装置として機能させることができるプログラムを提供することを他の目的とする。
第1の本発明による撮影解析装置は、観察対象物を撮影してモノクロ階調からなる2以上の撮影画像を取得する撮影手段と、上記撮影画像の各々に異なる色成分を割り当てて、複数の異なる色成分画像を生成することにより、当該複数の異なる色成分画像を重ね合わせたオーバーレイ画像を生成するオーバーレイ画像生成手段と、上記オーバーレイ画像生成手段により生成されたオーバーレイ画像を表示する表示手段と、ユーザ操作に基づいて、上記オーバーレイ画像を構成する色成分のいずれかをマスク用色成分として選択するマスク用色成分選択手段と、上記マスク用色成分が割り当てられた色成分画像から解析対象領域以外の領域をマスク領域として特定するマスク領域特定手段と、上記オーバーレイ画像を構成する色成分のうち上記マスク用色成分以外の色成分が割り当てられている色成分画像から、上記マスク領域を用いて上記解析対象領域以外の領域がマスクされた抽出画像を生成する抽出画像生成手段とを備えて構成される。
ユーザは、表示手段にてオーバーレイ画像を視認して、オーバーレイ画像を構成する複数の異なる色成分画像のうち、マスク画像として使用したい色成分をマスク用色成分として選択する。そうすると、マスク領域特定手段によってマスク領域が特定され、抽出画像生成手段によって、オーバーレイ画像を構成する色成分のうちマスク用色成分以外の色成分が割り当てられている色成分画像から、マスク領域を用いて解析対象領域以外の領域がマスクされた抽出画像が生成される。したがって、画像処理の経験やプログラミング知識の浅いユーザでも簡易な操作で撮影画像の解析を行うことができる。例えば、細胞内の遺伝情報を確認したい場合、表示手段に表示されたオーバーレイ画像を構成する複数の異なる色成分画像のうち、染色部位が細胞を示す一の色成分をマスク用色成分として選択する、という簡易な操作で、解析対象となる解析画像から一部の領域が抽出された(マスクされた)抽出画像において、細胞外の領域に現れるノイズを低減することができる。
第2の本発明による撮影解析装置は、上記構成に加え、上記マスク領域特定手段が、マスク用閾値を用いて、上記マスク用色成分が割り当てられた色成分画像を二値化して、解析対象領域以外の領域をマスクするためのマスク画像を生成する二値化手段を備え、上記二値化手段により生成されたマスク画像に基づいて、上記マスク領域を特定するように構成される。
第3の本発明による撮影解析装置は、上記構成に加え、上記複数の異なる色成分のうち、上記マスク用色成分以外の色成分を解析用色成分として選択する解析用色成分選択手段を備え、上記抽出画像生成手段が、上記解析用色成分選択手段により選択された解析用色成分が割り当てられた色成分画像に対し、上記マスク処理を行って上記抽出画像を生成するように構成される。
第4の本発明による撮影解析装置は、上記構成に加え、励起波長が異なる複数の蛍光色素が付与された観察対象物を載置するステージと、上記ステージに載置された観察対象物に対し、上記複数の蛍光色素をそれぞれ励起するための複数の励起光を照射する励起光照射手段とを備え、上記撮影手段が、上記複数の励起光の各々が照射されたときに観察対象物を撮影してモノクロ階調からなる2以上の撮影画像を取得するように構成される。
この様な構成によれば、細胞や生体組織に取り込まれた蛍光色素が放射する蛍光を利用して観察対象物が撮影されるので、無色透明の細胞や生体組織であっても、ノイズに影響されることなく、所望の染色部位を抽出することができる。特に、細胞外の領域からノイズを抽出することなく、DNA分子や染色体といった器官を示す染色部位を正しく抽出することができる。
第5の本発明による撮影解析装置は、上記構成に加え、上記マスク画像を表示するマスク画像表示手段と、ユーザ操作に基づいて、上記マスク用閾値を変更するマスク用閾値調整手段とを備え、上記二値化手段が、変更後の上記マスク用閾値を用いて、上記マスク用色成分が割り当てられた色成分画像を二値化して上記マスク画像を生成し、上記マスク画像表示手段が、変更後の上記マスク用閾値を用いて二値化された上記マスク画像を表示するように構成される。
この様な構成によれば、第1の試薬による染色部位を容易に識別することができるとともに、当該染色部位以外の領域をマスクするためのマスク用閾値をユーザが任意に変更することができる。
第6の本発明による撮影解析装置は、上記構成に加え、上記抽出画像を表示する抽出画像表示手段と、ユーザ操作に基づいて、抽出用閾値を指定する抽出用閾値調整手段とを備え、上記抽出画像生成手段が、上記抽出用閾値を用いて、上記オーバーレイ画像を構成する色成分のうち上記マスク用色成分以外の色成分が割り当てられている色成分画像から、上記マスク領域を用いて上記解析対象領域以外の領域がマスクされた画像を二値化して、抽出画像を生成するように構成される。
この様な構成によれば、第2の試薬による染色部位を容易に識別することができるとともに、第2の試薬に対応する色成分画像を二値化するのに用いる抽出用閾値をユーザが任意に変更することができる。
第7の本発明による撮影解析装置は、上記構成に加え、上記抽出用閾値調整手段が、上記抽出画像が表示されている状態で、上記抽出用閾値の変更を行うように構成される。この様な構成によれば、抽出画像を閲覧しながら抽出用閾値の調整を行うことができる。
第8の本発明による撮影解析装置は、上記構成に加え、3つの異なる色成分のうち、ユーザがそれぞれ指定したマスク用色成分、第1の解析用色成分及び第2の解析用色成分に対し、上記マスク用色成分が割り当てられた色成分画像及び上記第1の解析用色成分が割り当てられた色成分画像を用いて得られた第1の抽出画像と、上記マスク用色成分が割り当てられた色成分画像及び上記第2の解析用色成分が割り当てられた色成分画像を用いて得られた第2の抽出画像とを合成し、合成画像を生成する抽出画像合成手段を備えて構成される。
この様な構成によれば、第1の解析用色成分に対応する試薬を第2の試薬とし、第2の解析用色成分に対応する試薬を第3の試薬とすれば、マスク画像に対応する第1の試薬による染色部位上において、第2及び第3の試薬による各染色部位が相互にどの様に影響し合っているのかといったことを容易に識別することができる。
第9の本発明による撮影解析装置の制御方法は、観察対象物を撮影してモノクロ階調からなる2以上の撮影画像を取得する撮影ステップと、上記撮影画像の各々に異なる色成分を割り当てて、複数の異なる色成分画像を生成することにより、当該複数の異なる色成分画像を重ね合わせたオーバーレイ画像を生成するオーバーレイ画像生成ステップと、上記オーバーレイ画像生成ステップにおいて生成されたオーバーレイ画像を表示する表示ステップと、ユーザ操作に基づいて、上記オーバーレイ画像を構成する色成分のいずれかをマスク用色成分として選択するマスク用色成分選択ステップと、上記マスク用色成分が割り当てられた色成分画像から解析対象領域以外の領域をマスク領域として特定するマスク領域特定ステップと、上記オーバーレイ画像を構成する色成分のうち上記マスク用色成分以外の色成分が割り当てられている色成分画像から、上記マスク領域を用いて上記解析対象領域以外の領域がマスクされた抽出画像を生成する抽出画像生成ステップとを備えて構成される。
第10の本発明による撮影解析装置用のプログラムは、観察対象物を撮影してモノクロ階調からなる2以上の撮影画像を取得する撮影手順と、上記撮影画像の各々に異なる色成分を割り当てて、複数の異なる色成分画像を生成することにより、当該複数の異なる色成分画像を重ね合わせたオーバーレイ画像を生成するオーバーレイ画像生成手順と、上記オーバーレイ画像生成手順において生成されたオーバーレイ画像を表示する表示手順と、ユーザ操作に基づいて、上記オーバーレイ画像を構成する色成分のいずれかをマスク用色成分として選択するマスク用色成分選択手順と、上記マスク用色成分が割り当てられた色成分画像から解析対象領域以外の領域をマスク領域として特定するマスク領域特定手順と、上記オーバーレイ画像を構成する色成分のうち上記マスク用色成分以外の色成分が割り当てられている色成分画像から、上記マスク領域を用いて上記解析対象領域以外の領域がマスクされた抽出画像を生成する抽出画像生成手順とを備えて構成される。
本発明による撮影解析装置では、画像処理の経験やプログラミング知識の浅いユーザでも簡易な操作で撮影画像の解析を行うことができる。
また、本発明による撮影解析装置では、細胞や生体組織に取り込まれた蛍光色素が放射する蛍光を利用して観察対象物が撮影されるので、無色透明の細胞や生体組織であっても、ノイズに影響されることなく、所望の染色部位を抽出することができる。特に、細胞外の領域からノイズを抽出することなく、DNA分子や染色体といった器官を示す染色部位を正しく抽出することができる。
また、本発明による撮影解析装置では、第1の試薬による染色部位を容易に識別することができるとともに、当該染色部位以外の領域をマスクするためのマスク用閾値をユーザが任意に変更することができる。
また、本発明による撮影解析装置では、第2の試薬による染色部位を容易に識別することができるとともに、第2の試薬に対応する色成分画像を二値化するのに用いる抽出用閾値をユーザが任意に変更することができる。
また、本発明によれば、上述した撮影解析装置の制御方法を提供することができる。さらに、本発明によれば、コンピュータを上述した撮影解析装置として機能させるプログラムを提供することができる。
本発明の実施の形態による撮影解析装置100の一構成例を示したブロック図である。 図1のPC120の動作の一例を示した図であり、表示部121上に表示される蛍光観察画面50が示されている。 図1のPC120の構成例を示したブロック図である。 図1の撮影解析装置100における蛍光観察時の動作の一例を示したフローチャートである。 図1の撮影解析装置100における蛍光観察時の動作の一例を示したフローチャートである。 図1のPC120の動作の一例を示した図であり、蛍光観察画面50内の解析ボタン56を操作した際に表示される抽出設定画面60が示されている。 図1のPC120の動作の一例を示した図であり、起動ボタン62の操作によって表示される解析アプリ画面70が示されている。 図1のPC120の動作の一例を示した図であり、マスク用チャネルを選択した後の解析アプリ画面70が示されている。 図1のPC120の動作の一例を示した図であり、マスク用チャネルを確定した後の解析アプリ画面70が示されている。 図1のPC120の動作の一例を示した図であり、マスク画像の二値化により判定された注目領域を整形する場合の解析アプリ画面70が示されている。 図1のPC120の動作の一例を示した図であり、1つ目の解析用チャネルを選択した後の解析アプリ画面70が示されている。 図1のPC120の動作の一例を示した図であり、1つ目の解析用チャネルを確定した後の解析アプリ画面70が示されている。 図1のPC120の動作の一例を示した図であり、2つ目の解析用チャネルを選択した後の解析アプリ画面70が示されている。 図1のPC120の動作の一例を示した図であり、2つ目の解析用チャネルを選択した後の解析アプリ画面70が示されている。 図1のPC120の動作の一例を示した図であり、抽出結果の確認時の解析アプリ画面70が示されている。 図1のPC120の動作の一例を示した図であり、詳細ボタンを操作した後に表示される計測結果確認画面80が示されている。
<撮影解析装置100>
図1は、本発明の実施の形態による撮影解析装置100の一構成例を示したブロック図である。この撮影解析装置100は、試薬を付与した観察対象物2に励起光1を照射し、観察対象物2が発する蛍光3を利用して観察対象物2を撮影する蛍光顕微鏡システムであり、撮影ユニット110及びPC(パーソナルコンピュータ)120により構成される。
例えば、撮影解析装置100は、撮影解析プログラムに基づいてコンピュータを動作させることにより実現することができる。また、その様な撮影解析プログラムは、CD−ROMなどのコンピュータ読み取り可能な記録媒体に記録して提供され、或いは、ネットワークを介して提供される。
撮影ユニット110は、観察対象物2を撮影してモノクロ階調画像を取得する顕微鏡本体部であり、PC120により撮影制御が行われ、取得したモノクロ階調画像をPC120へ送信する。
PC120は、モノクロ階調画像に基づいて定量測定を行う解析ユニットであり、表示部121、キーボード122及びマウス123により構成される。表示部121には、撮影画像、撮影条件の設定画面、定量測定の結果などが表示される。キーボード122及びマウス123は、ユーザ操作を受け付ける入力デバイスである。
この撮影ユニット110は、蛍光観察と、透過光4を利用した明視野観察とを切替可能であり、フィルタホルダ111、対物レンズ112、可動ステージ113、結像レンズ114、観察切替手段115、カラーフィルタ116、モノクロカメラ117、接眼レンズ118、カラーカメラ119、励起光源20、光量調整部21、コレクタレンズ22、透過照明光源30、透過照明レンズ31、フィルタ切替部40、ステージ駆動部41、画像転送部42及び制御部43により構成される。
励起光源20は、試薬に含まれる蛍光色素を励起するための励起光1を生成する蛍光観察用光源装置であり、試薬に対応する波長を含む励起光1が出射される。例えば、水銀ランプが励起光源20として用いられ、可視光よりも波長の短い紫外光が励起光1として出射される。
光量調整部21は、励起光1の透過光量を調整する。コレクタレンズ22は、光量調整部21を介して励起光源20から入射された励起光1を平行な光束に変換し、フィルタホルダ111内の励起フィルタ12に向けて出射する。
フィルタホルダ111は、2以上のフィルタユニット10を保持し、所定方向に移動させることにより、フィルタユニット10のいずれか一つを観察光の光路上に配置し、或いは、当該光路から退避させることができる。フィルタユニット10は、励起フィルタ11、ダイクロイックミラー12及び吸収フィルタ13からなる。
励起フィルタ11は、所定の波長の励起光1を選択的に透過させる波長選択フィルタである。ダイクロイックミラー12は、励起フィルタ11を透過した励起光1を対物レンズ112に向けて反射する一方、観察対象物2から対物レンズ112を介して入射された観察光を吸収フィルタ12側へ透過させる。
吸収フィルタ13は、観察対象物2により散乱され、対物レンズ112及びダイクロイックミラー14を介して入射された励起光1を吸収するとともに、所定の波長の蛍光3を選択的に透過させる波長選択フィルタである。励起光1は、観察対象物2に対し、観察光と同軸に対物レンズ112側から落射される。
可動ステージ113は、2以上の試薬を付与した観察対象物2を載置する載置台であり、x,y,z方向に移動させることができる。z方向は、対物レンズ112の光軸に平行な方向であり、x,y方向は、上記光軸に垂直な方向である。ステージ駆動部41は、可動ステージ113の駆動を行う。可動ステージ113をz方向に移動させることにより、撮影画像のピント合わせを行うことができる。また、可動ステージ113をx又はy方向に移動させることにより、モノクロカメラ117の視野内へ観察対象物2を移動させることができる。
各試薬は、励起波長が互いに異なる蛍光色素からなる。フィルタホルダ111には、試薬ごとのフィルタユニット10が保持される。フィルタ切替部40は、フィルタユニット10の切替を行う。発光させる試薬に応じてフィルタユニット10を変更することにより、観察対象物2に対し試薬に対応する波長の励起光1を順に照射することができるとともに、観察対象物2を順に撮影することができ、試薬ごとのモノクロ階調画像を取得することができる。
フィルタユニット10を透過した蛍光3は、結像レンズ114、観察切替部115及びカラーフィルタ116を介して、モノクロカメラ117に入射される。観察切替部115は、蛍光観察時に、観察対象物2から結像レンズ114を介して入射された蛍光3をモノクロカメラ117側へ透過させ、透過光4による明視野観察時に、観察対象物2から結像レンズ114を介して入射された透過光4をカラーカメラ119に向けて反射する。
カラーフィルタ116は、モノクロカメラ117を用いて明視野観察を行う場合に使用されるフィルタであり、RGBの色成分を選択的に透過させる。モノクロカメラ117は、蛍光3を受光してモノクロ階調画像を生成する蛍光観察用撮像装置であり、CCD(Charge Coupled Devices:電荷結合素子)などの撮像素子により構成される。
透過照明光源30は、明視野観察用の可視光を生成する光源装置である。透過照明レンズ31は、透過照明光源30から入射された可視光を可動ステージ113に向けて集光する。接眼レンズ118は、観察対象物2を透過し、結像レンズ114及び観察切替部115を介して入射された透過光4をカラーカメラ119に向けて集光する。カラーカメラ119は、透過光4を受光してカラー画像を生成する撮像装置である。
画像転送部42は、モノクロカメラ117からモノクロ階調画像を取得し、或いは、カラーカメラ119からカラー画像を取得し、撮影画像としてPC120へ送信する。制御部43は、光量調整部21、フィルタ切替部40、ステージ駆動部41及び画像転送部42を制御する。
PC120では、蛍光観察時に、励起光1が照射されるごとに観察対象物2を順に撮影して取得された2以上のモノクロ階調画像を用いて、疑似カラー画像が作成され、また、所望の染色部位がモノクロ階調画像から抽出される。
<蛍光観察画面50>
図2は、図1のPC120の動作の一例を示した図であり、表示部121上に表示される蛍光観察画面50が示されている。蛍光観察画面50は、蛍光観察時の操作画面であり、モノクロ階調画像FIr,FIg,FIbや疑似カラー画像Pcを閲覧したり、撮影条件を設定することができる。
この蛍光観察画面50には、撮影画像の表示欄51と、観察方法の選択欄52と、撮影倍率の選択欄53と、ステージ制御の入力欄54と、顕微鏡操作タブ55a及びカメラ設定タブ55bと、解析ボタン56が設けられている。表示欄51には、モノクロ階調画像FIr,FIg,FIbや疑似カラー画像Pcが表示される。
モノクロ階調画像FIr,FIg及びFIbは、観察対象物2に対して試薬に対応する波長の励起光1が順に照射されるごとに、観察対象物2を順に撮影して取得された試薬ごとの撮影画像であり、画素ごとに保持される所定階調の輝度値、例えば、8ビットの輝度値からなる。
この例では、励起波長が互いに異なる3つの試薬が観察対象物2に付与され、これらの試薬に対応する3つのモノクロ階調画像FIr,FIg,FIbが取得されている。各モノクロ階調画像FIr,FIg,FIbは、任意の色を表示色に指定して表示させることができ、試薬による染色部位を識別することができる。
疑似カラー画像Pcは、各モノクロ階調画像FIr,FIg,FIbを異なる色成分に割り当てることによって作成されるオーバーレイ画像である。この例では、RGBの3つの色成分にモノクロ階調画像FIr,FIg,FIbをそれぞれ割り当ててこれらのモノクロ階調画像を重畳することにより、疑似カラー画像Pcが作成されている。また、RGBの各色成分は、色チャネルと呼び、色チャネル「チャネル1」には、緑色(G)が指定され、色チャネル「チャネル2」には、赤色(R)が指定され、色チャネル「チャネル3」には、青色(B)が指定されている。
モノクロ階調画像FIrは、色チャネル「チャネル2」に割り当てられ、モノクロ階調画像FIgは、色チャネル「チャネル1」に割り当てられ、モノクロ階調画像FIbは、色チャネル「チャネル3」に割り当てられている。撮影画像中における緑色の染色部位は、ハッチングにより表され、赤色の染色部位は、ドットにより表され、青色の染色部位は、グレー階調により表されている。図中の表示欄51には、モノクロ階調画像FIr,FIg,FIb及び疑似カラー画像Pcが配置されている。
選択欄52は、各色チャネルに割り当てる表示色又はモノクロ階調画像を指定し、或いは、観察方法を選択するための操作領域である。顕微鏡操作タブ55aは、撮影ユニット110内の各デバイスを操作するための操作項目であり、当該顕微鏡操作タブ55aを選択することにより、選択欄53及び入力欄54が表示される。
選択欄53は、撮影倍率を選択するための操作領域であり、この例では、対物レンズ112を変更することにより、40倍、20倍又は10倍のいずれか一つを選択することができる。入力欄54には、可動ステージ113をxy平面内で移動させるための方向ボタンと、対物レンズ112をz方向に移動させてピント合わせを行うための方向ボタンが設けられている。
カメラ設定タブ55bは、撮影条件を設定するための操作項目である。解析ボタン56は、モノクロ階調画像FIr,FIg,FIbを用いて定量測定を行うための操作アイコンである。
<PC120>
図3は、図1のPC120の構成例を示したブロック図である。このPC120は、操作部101、マスク用色成分選択部102、解析用色成分選択部103、画像記憶部104、オーバーレイ画像生成部105、マスク領域特定部106、抽出画像生成部107、抽出画像合成部108及び表示部121により構成される。
操作部101は、キーボード122及びマウス123からなり、ユーザ操作に応じた操作信号を生成する。画像記憶部104には、同一の観察対象物2を繰り返し撮影して取得された2以上のモノクロ階調画像FIが保持される。
オーバーレイ画像生成部105は、2以上のモノクロ階調画像FIをそれぞれ異なる色成分に割り当てることにより、疑似カラー画像Pcを生成する。具体的には、2つ又は3つのモノクロ階調画像FIをRGBの各色チャネルに割り当てることにより、これらのモノクロ階調画像FIの合成画像として、疑似カラー画像Pcが作成される。ここでいう疑似カラー画像は、「オーバーレイ画像」の一例に相当する。
「オーバーレイ画像」について詳しく説明すると、2以上のモノクロ階調画像(例えば8ビット画像であれば、各画素で0〜255の輝度値を有する)にそれぞれ異なる色成分(例えばRGB)を割り当てると、複数の異なる色成分画像が生成される。例えば、赤の色成分(R)が割り当てられたとき、各画素が有する輝度値をそのままRの輝度値とし、緑の色成分(G)が割り当てられたとき、各画素が有する輝度値をそのままGの輝度値とし、青の色成分(B)が割り当てられたとき、各画素が有する輝度値をそのままBの輝度値とすることができる(勿論、各画素が有する輝度値をそのままRGBの輝度値とするのではなく、何らかの補正処理を施した補正輝度値をRGBの輝度値としてもよい)。
そして、これらの色成分画像を重ね合わせると、各画素にてRGBの輝度値を有する1枚のカラー画像、すなわち一個の「オーバーレイ画像」が生成される。この「オーバーレイ画像」は、一般的な色分解と同様に、各色成分画像に色分解(分離)することが可能である。なお、本実施例では、RGBの色成分を割り当ててオーバーレイ画像を生成することとしたが、他にも例えば、CMY(シアン・マゼンダ・イエロー)の色成分を割り当ててもよい。要するに、直交座標空間により表される色空間の各色成分を割り当てればよい。
画像記憶部104には、オーバーレイ画像生成部105により生成された疑似カラー画像Pcが保持され、表示部121は、当該疑似カラー画像Pcを表示する。マスク用色成分選択部102は、ユーザ操作に基づいて、疑似カラー画像Pcを構成する色成分のいずれかをマスク用色成分として選択する。マスク用色成分は、試薬による染色領域又は非染色領域を示す解析対象領域以外の領域をマスク領域としてマスクするのに用いる色チャネルである。
解析用色成分選択部103は、ユーザ操作に基づいて、疑似カラー画像Pcを構成する複数の異なる色成分のうち、マスク用色成分以外の色成分を解析用色成分として選択する。解析用色成分は、所望の染色部位を抽出するための色チャネルである。表示部121は、マスク用色成分が割り当てられたモノクロ階調画像FIや、解析用色成分が割り当てられたモノクロ階調画像FIを必要に応じて表示する。
ここでは、ユーザがオーバーレイ画像Pcを構成する色成分の中からマスク用色成分及び解析用色成分を任意に指定するものとしたが、試薬の組合せに応じてマスク用色成分又は解析用色成分が自動的に選択されるような構成であっても良い。
マスク領域特定部106は、マスク用色成分が割り当てられた色成分画像から解析対象領域以外の領域をマスク領域として特定する。このマスク領域特定部106は、閾値調整部61及び二値化部62からなり、マスク用閾値Thmを用いて、マスク用色成分が割り当てられた色成分画像を二値化する画像処理部である。
二値化部62は、マスク用色成分が割り当てられた色成分画像に対し、画素ごとの輝度値をマスク用閾値Thmと比較し、その比較結果に基づいて輝度値を二値化することにより、解析対象領域以外の領域をマスクするためのマスク画像を生成する。マスク領域特定部106では、二値化部62により生成されたマスク画像に基づいて、マスク領域を特定する。なお、このマスク領域特定部106は、二値化部62によってマスク画像を生成するものに限られない。例えば、細胞を示す領域などの解析対象領域のみが着色し、それ以外の領域(例えば細胞を示す領域以外の領域)はほとんど着色していない色成分画像の場合、ほとんど着色していない領域(輝度値が一定値以下の領域)をそのままマスク領域(マスク領域を示すマスク画像情報)として特定(認識)してもよい。この場合、マスク画像自体を生成しなくてもマスク領域を特定できる。
表示部121は、ユーザ操作に基づいて、マスク画像を表示する。解析対象領域は、所定値以上の面積を有する連続領域からなる注目領域として識別可能に表示される。この注目領域は、例えば、マスク画像(二値化画像)における高輝度側の領域として特定され、注目領域を視認することにより、染色部位を識別することができる。
閾値調整部61は、ユーザ操作に基づいて、マスク用閾値Thmを変更する。二値化部62は、閾値調整部61による変更後のマスク用閾値Thmを用いて、マスク用色成分が割り当てられた色成分画像を二値化してマスク画像を生成する。
画像記憶部104には、変更後のマスク用閾値Thmを用いて二値化されたマスク画像が保持され、表示部121は、当該マスク画像を表示する。この様なマスク画像を閲覧することにより、特定の試薬により染色された染色部位を容易に識別することができる。
抽出画像生成部107は、疑似カラー画像Pcを構成する色成分のうちマスク用色成分以外の色成分が割り当てられている色成分画像から、マスク領域を用いて解析対象領域以外の領域がマスクされた抽出画像を生成する。具体的には、解析用色成分選択部103により選択された解析用色成分が割り当てられた色成分画像を解析画像とし、この解析画像に対し、マスク処理を行って抽出画像を生成する。
この抽出画像生成部107は、閾値調整部71及び二値化処理部72からなり、マスク画像を用いて解析画像の一部をマスクするとともに、抽出用閾値Thtを用いて解析画像を二値化することにより、マスクされない領域の二値化画像として、抽出画像を生成する。具体的には、注目領域以外の領域が解析画像からマスクされ、解析画像において注目領域に相当する画像領域が二値化される。注目領域は、マスクされない領域、すなわち、非マスク領域である。
解析画像の二値化処理は、画素ごとの輝度値を抽出用閾値Thtと比較し、その比較結果に基づいて、輝度値を二値化することにより行われる。画像記憶部104には、抽出用閾値Thtを用いて生成された抽出画像が保持され、表示部121は、当該抽出画像を表示する。
閾値調整部71は、ユーザ操作に基づいて、抽出用閾値Thtを指定する。二値化処理部72は、閾値調整部71により指定された抽出用閾値Thtを用いて、解析画像の二値化を行い、染色部位を示す1又は2以上の画像領域を抽出する。二値化処理部72により抽出される画像領域は、互いに隣接する画素からなる連続領域であり、二値化画像における高輝度側の領域として特定される。
ここでは、解析画像全体を二値化してから、マスク画像を用いて解析画像の一部をマスクすることにより、抽出画像が生成されるものとする。ただし、マスク画像を用いて解析画像の一部をマスクした後、非マスク領域、すなわち、注目領域だけを二値化するような構成であっても良い。
画像記憶部104には、変更後の抽出用閾値Thtを用いて生成された抽出画像が保持され、表示部121は、当該抽出画像を表示する。この様な抽出画像を閲覧することにより、ノイズに影響されることなく、特定の試薬により染色された染色部位を容易に識別することができる。
抽出画像合成部108は、3つの異なる色成分のうち、ユーザがそれぞれ指定したマスク用色成分、第1の解析用色成分及び第2の解析用色成分に対し、マスク用色成分が割り当てられた色成分画像及び第1の解析用色成分が割り当てられた色成分画像を用いて得られた第1の抽出画像と、マスク用色成分が割り当てられた色成分画像及び第2の解析用色成分が割り当てられた色成分画像を用いて得られた第2の抽出画像とを合成し、合成画像を生成する。この合成画像は、2つの抽出画像を重畳することによって作成される。
画像記憶部104には、抽出画像合成部108により生成された合成画像が保持され、表示部121は、当該合成画像を表示する。この様な合成画像を閲覧することにより、2つの試薬が観察対象物2上で相互にどの様に影響し合っているのかを容易に識別することができる。
ここでは、画像記憶部104内に保持されているモノクロ階調画像FIを用いて抽出画像が作成されるものとしたが、疑似カラー画像Pcを用いて抽出画像や合成画像を作成するような構成であっても良い。
特に、本実施例では、画像記憶部104内に保持されている複数のモノクロ階調画像(複数の色成分画像)は、各画素でRGB成分を有する1枚のカラー画像を各色成分に色分解することにより得られる。つまり、画像記憶部104に1枚の疑似カラー画像(オーバーレイ画像)が保持されていれば、必要に応じて色成分画像を作成し、これらの色成分画像を用いて抽出画像を作成することができる。
なお、本実施例では、1枚の疑似カラー画像(オーバーレイ画像)は、単一のファイルに格納されている。本発明においては、RGBなど直交する色成分を疑似カラー表示に用いるため、専用のファイルフォーマットや閲覧ソフトを導入する必要がなく、Jpegやtiffなど、汎用のファイル形式を用いることができる。これにより、ユーザは、一般的な画像閲覧及び編集ソフトを用いて疑似カラー画像を閲覧及び編集することが可能であり、汎用性が向上する。ユーザは、一般的な画像処理ソフトウェアを用いてファイルを開くことにより、疑似カラー画像を事前に確認することができる。そして、解析を行いたい疑似カラー画像を選んで、必要に応じて本実施例に係る撮影解析装置100を利用すればよい。これにより、撮影解析装置100のユーザビリティ及び汎用性を高めることができる。
例えば、複数の疑似カラー画像Pcが互いに観察対象物2の異なる画像ファイルとして保持され、ユーザが任意に指定した疑似カラー画像Pcを用いて抽出画像が作成される。具体的には、疑似カラー画像Pcを色チャネルごとのモノクロ階調画像に分離し、これらのモノクロ階調画像の中からマスク画像及び解析画像を選択して抽出画像が作成される。
図4及び図5のステップS101〜S114は、図1の撮影解析装置100における蛍光観察時の動作の一例を示したフローチャートである。まず、撮影ユニット110は、PC120の指示に基づいて観察対象物2を撮影し、試薬ごとのモノクロ階調画像FIを取得する(ステップS101)。
次に、PC120のオーバーレイ画像生成部105は、同一の観察対象物2を順に撮影して得られた3つのモノクロ階調画像FIをそれぞれRGBの各色チャネルに割り当て、3色合成画像として疑似カラー画像Pcを生成する(ステップS102)。表示部121は、この疑似カラー画像Pcを表示する(ステップS103)。
次に、マスク領域特定部106は、マスク用チャネルが選択されれば、マスク用チャネルとして指定されたマスク画像をマスク用閾値Thmに基づいて二値化する処理を実行し、注目領域の判定を行う(ステップS104,S105)。表示部121は、二値化されたマスク画像を表示する(ステップS106)。マスク用閾値Thmが変更されれば、ステップS105及びステップS106の処理手順が繰り返される(ステップS107)。
次に、抽出画像生成部107は、マスク用チャネルとは異なる色チャネルとして解析用チャネルが選択されれば、解析用チャネルとして指定された解析画像全体を抽出用閾値Thtに基づいて二値化する処理を実行し、解析画像において注目領域に相当する領域以外の領域をマスクすることにより、抽出画像を生成する(ステップS108,S109)。表示部121は、この抽出画像を表示する(ステップS110)。抽出用閾値Thtが変更されれば、ステップS109及びステップS110の処理手順が繰り返される(ステップS111)。
ステップS104からステップS111までの処理手順は、1つの色チャネルがマスク用チャネルとして選択され、かつ、互いに異なる2つの色チャネルが解析用チャネルとして選択されるまで繰り返される(ステップS112)。抽出画像合成部108は、2つの抽出画像が作成され、ユーザによるマージの指示があれば、これらの抽出画像を合成し、合成画像を生成する(ステップS113)。表示部121は、この合成画像を表示する(ステップS114)。
<抽出設定画面60>
図6は、図1のPC120の動作の一例を示した図であり、蛍光観察画面50内の解析ボタン56を操作した際に表示される抽出設定画面60が示されている。この抽出設定画面60は、抽出条件を設定するための操作画面であり、解析ボタン56の操作に基づいて表示される。
この抽出設定画面60には、3つの選択ボタン61及び起動ボタン62が設けられている。選択ボタン61を操作することにより、1つの抽出画像を作成するのか、或いは、2つの抽出画像を作成するのか、或いは、抽出画像を作成しないのかのいずれか一つを選択することができる。起動ボタン62を操作すれば、モノクロ階調画像FIr、FIg,FIbを用いて定量測定を行うための解析アプリを起動することができる。
<解析アプリ画面70>
図7は、図1のPC120の動作の一例を示した図であり、起動ボタン62の操作によって表示される解析アプリ画面70が示されている。解析アプリ画面70は、定量測定を行うための操作画面であり、起動ボタン62の操作に基づいて表示される。
この解析アプリ画面70は、マスク画像の選択時における操作画面であり、解析フローの表示欄71と、撮影画像や処理画像を表示するための表示欄72と、マスク用閾値の入力欄74と、表示設定欄75が設けられている。表示欄71には、マスク画像の選択から計測結果の確認までの処理手順が表示される。表示欄72には、疑似カラー画像Pc、二値化前後のマスク画像、解析画像、抽出画像、合成画像などが表示される。
入力欄74は、マスク用閾値Thmの値を調整するための操作領域であり、0以上255以下の任意の整数をマスク用閾値Thmとして指定することができる。表示設定欄75は、抽出結果を表示欄72に表示するか否かを選択し、或いは、染色部位を示す画像領域に割り当てる表示色を抽出色として指定し、或いは、抽出色で塗りつぶされた画像領域の透過率を指定するための操作領域である。この例では、抽出結果を表示欄72に表示することが選択され、かつ、赤色を抽出色とすることが指定されている。
図中の表示欄72には、図2の疑似カラー画像Pcが拡大表示され、マスク用チャネルを選択するためのダイアログ画面73が表示されている。このダイアログ画面73には、RGBの各色チャネルを選択するための選択ボタンと、確定ボタンとが設けられている。
図8は、図1のPC120の動作の一例を示した図であり、マスク用チャネルを選択した後の解析アプリ画面70が示されている。この解析アプリ画面70は、青の色チャネルがマスク用チャネルとして選択された場合の操作画面であり、表示欄72には、当該色チャネルに割り当てられているモノクロ階調画像が表示されている。
ダイアログ画面73内の確定ボタンを操作すれば、マスク用チャネルが確定され、マスク用閾値Thmを用いてマスク画像が二値化されるとともに、表示設定欄75の設定内容がマスク画像に適用される。
図9は、図1のPC120の動作の一例を示した図であり、マスク用チャネルを確定した後の解析アプリ画面70が示されている。この解析アプリ画面70の表示欄72には、マスク用閾値Thmを用いて二値化されたマスク画像が表示されている。また、染色部位を示す注目領域は、抽出色として指定された表示色で塗りつぶされている。
図10は、図1のPC120の動作の一例を示した図であり、マスク画像の二値化により判定された注目領域を整形する場合の解析アプリ画面70が示されている。この解析アプリ画面70は、注目領域の整形時における操作画面であり、注目領域を整形する画像処理を選択するための選択欄76が配置されている。
選択欄76には、領域除去ボタン、穴埋めボタン、領域補正ボタン、領域分離ボタンが配置されている。領域除去ボタンは、不要な領域を除去する画像処理を選択するための操作アイコンである。この画像処理は、二値化画像における高輝度側の連続領域について、面積、周囲長、長径などの特徴量が予め定められる条件を満たさない領域を除去する。
穴埋めボタンは、領域内の穴を埋める画像処理を選択するための操作アイコンである。この画像処理は、二値化画像における高輝度側の連続領域から、全体が重複する低輝度領域を領域の膨張又は収縮によって除去する。
領域補正ボタンは、欠けた領域を補正する画像処理を選択するための操作アイコンである。この画像処理は、二値化画像における高輝度側の連続領域に対し、領域の境界の凹みを領域の膨張又は収縮によって除去する。
領域分離ボタンは、領域を分離する画像処理を選択するための操作アイコンである。この画像処理は、二値化画像における高輝度側の連続領域に対し、領域のくびれ度などの特徴量に基づいて分離する。例えば、ウォーターシェッド(water-shed)法を利用した円形分離処理によって、領域が分離される。
図中の表示欄72には、マスク画像の二値化によって抽出された複数の注目領域5と、領域分離処理によって領域が分離されたことを示す分離線6とが表示されている。この様な領域の整形処理を行うことにより、細胞や細胞内の器官を示す染色部位を正しく識別することができる。
図11は、図1のPC120の動作の一例を示した図であり、1つ目の解析用チャネルを選択した後の解析アプリ画面70が示されている。この解析アプリ画面70は、緑の色チャネルが1つ目の解析用チャネルとして選択された場合の操作画面であり、表示欄72には、当該色チャネルに割り当てられているモノクロ階調画像が表示されている。
ダイアログ画面73内の確定ボタンを操作すれば、解析用チャネルが確定され、抽出用閾値Tht1を用いて解析画像が二値化され、抽出画像が作成されるとともに、表示設定欄75の設定内容が抽出画像に適用される。
図12は、図1のPC120の動作の一例を示した図であり、1つ目の解析用チャネルを確定した後の解析アプリ画面70が示されている。この解析アプリ画面70の表示欄72には、抽出用閾値Tht1を用いて二値化され、注目領域5以外の領域がマスクされた抽出画像が表示されている。また、当該抽出画像上で染色部位を示す抽出領域は、抽出色として指定された表示色で塗りつぶされている。また、抽出領域は、マスク画像の注目領域に対して行ったのと同様の整形処理を行うことができる。
図13は、図1のPC120の動作の一例を示した図であり、2つ目の解析用チャネルを選択した後の解析アプリ画面70が示されている。この解析アプリ画面70は、赤の色チャネルが2つ目の解析用チャネルとして選択された場合の操作画面であり、表示欄72には、当該色チャネルに割り当てられているモノクロ階調画像が表示されている。
ダイアログ画面73内の確定ボタンを操作すれば、解析用チャネルが確定され、抽出用閾値Tht2を用いて解析画像が二値化され、抽出画像が作成されるとともに、表示設定欄75の設定内容が抽出画像に適用される。
図14は、図1のPC120の動作の一例を示した図であり、2つ目の解析用チャネルを選択した後の解析アプリ画面70が示されている。この解析アプリ画面70の表示欄72には、抽出用閾値Tht2を用いて二値化され、注目領域5以外の領域がマスクされた抽出画像が表示されている。また、当該抽出画像上で染色部位を示す抽出領域は、抽出色として指定された表示色で塗りつぶされている。また、抽出領域は、マスク画像の注目領域に対して行ったのと同様の整形処理を行うことができる。
図15は、図1のPC120の動作の一例を示した図であり、抽出結果の確認時の解析アプリ画面70が示されている。この解析アプリ画面70は、2つ目の抽出画像が確定された後の操作画面であり、計測結果の表示欄77が配置され、表示欄72には、2つの抽出画像から得られた合成画像が表示されている。
表示欄77には、注目領域5から抽出された抽出領域の総数がカウント値として表示され、また、抽出領域の総面積が表示されている。表示欄77内の詳細ボタンを操作すれば、計測結果の詳細情報を確認することができる。
図16は、図1のPC120の動作の一例を示した図であり、解析アプリ画面70内の詳細ボタンを操作した後に表示される計測結果確認画面80が示されている。図中の(a)には、標準タブを選択した場合が示され、(b)には、マスクタブを選択した場合が示されている。
計測結果確認画面80は、詳細ボタンの操作に基づいて表示される操作画面であり、標準タブ81及びマスクタブ82が設けられている。標準タブ81が選択された場合、染色部位を示す抽出領域ごとの計測結果が表形式により表示される。抽出領域及び注目領域5には、それぞれシリアル番号が自動的に割り付けられる。
標準タブ81では、抽出領域の面積、周囲長、長径、短径及び輝度が計測結果として表示されている。輝度は、元のモノクロ階調画像における画素ごとの輝度値の積算値である。また、抽出領域が属する注目領域5のシリアル番号がマスク番号として表示されている。また、面積、周囲長、長径、短径及び輝度の各計測値に対し、各種の統計処理を行った結果が表示されている。具体的には、平均値、標準偏差、最大値、最小値、総計が統計処理結果として表示されている。
マスクタブ82が選択された場合には、注目領域5ごとの計測結果が表形式により表示される。マスクタブ82では、抽出領域の総数及び総面積と、注目領域5の面積が計測結果として表示されている。
1つ目の抽出画像から得られた抽出領域の総数及び総面積は、「カウント1」及び「面積1」として表示され、2つ目の抽出画像から得られた抽出領域の総数及び総面積は、「カウント2」及び「面積2」として表示されている。また、抽出領域の総数及び総面積と、注目領域5の面積との各計測値に対し、各種の統計処理を行った結果が表示されている。
本実施の形態によれば、マスク画像に対応する試薬を第1の試薬とし、解析画像に対応する試薬を第2の試薬とすれば、第2の試薬による染色部位を抽出する際に、第1の試薬による染色領域以外の領域を解析画像においてマスクすることができる。このため、第1の試薬による染色部位以外の領域からノイズを抽出することなく、第2の試薬による染色部位を正しく抽出することができる。
特に、細胞や生体組織に取り込まれた試薬が放射する蛍光3を利用して観察対象物2が撮影されるので、無色透明の細胞や生体組織であっても、ノイズに影響されることなく、所望の染色部位を抽出することができる。例えば、細胞外の領域からノイズを抽出することなく、DNA分子や染色体といった器官を示す染色部位を正しく抽出することができる。
また、第1の試薬による染色部位を二値化されたマスク画像により容易に識別することができるとともに、当該染色部位以外の領域をマスクするためのマスク用閾値Thmをユーザが任意に変更することができる。さらに、第2の試薬による染色部位を抽出画像により容易に識別することができるとともに、第2の試薬に対応する解析画像を二値化するのに用いる抽出用閾値Thtをユーザが任意に変更することができる。
また、第1の解析画像に対応する試薬を第2の試薬とし、第2の解析画像に対応する試薬を第3の試薬とすれば、マスク画像に対応する第1の試薬による染色部位上において、第2及び第3の試薬による各染色部位が相互にどの様に影響し合っているのかといったことを合成画像により容易に識別することができる。
なお、本実施の形態では、励起光1を照射した際の蛍光3を利用して観察対象物2を撮影する蛍光顕微鏡システムに本発明を適用する場合の例について説明した。しかし、本発明は、その様な蛍光顕微鏡システムに限らず、可視光を利用して観察対象物を撮影する光学顕微鏡システムにも適用することができる。また、共焦点顕微鏡、特に、レーザー光を走査させる共焦点顕微鏡システムにも本発明は適用することができる。
100 撮影解析装置
110 撮影ユニット
111 フィルタホルダ
112 対物レンズ
113 可動ステージ
114 結像レンズ
117 モノクロカメラ
10 フィルタユニット
11 励起フィルタ
12 ダイクロイックミラー
13 吸収フィルタ
20 励起光源
21 光量調整部
40 フィルタ切替部
41 ステージ駆動部
42 画像転送部
43 制御部
50 蛍光観察画面
70 解析アプリ画面
120 PC
121 表示部
122 キーボード
123 マウス
101 操作部
102 マスク用色成分選択部
103 解析用色成分選択部
104 画像記憶部
105 オーバーレイ画像生成部
106 マスク領域特定部
107 抽出画像生成部
108 抽出画像合成部
1 励起光
2 観察対象物
3 蛍光

Claims (10)

  1. 観察対象物を撮影してモノクロ階調からなる2以上の撮影画像を取得する撮影手段と、
    上記撮影画像の各々に異なる色成分を割り当てて、複数の異なる色成分画像を生成することにより、当該複数の異なる色成分画像を重ね合わせたオーバーレイ画像を生成するオーバーレイ画像生成手段と、
    上記オーバーレイ画像生成手段により生成されたオーバーレイ画像を表示する表示手段と、
    ユーザ操作に基づいて、上記オーバーレイ画像を構成する色成分のいずれかをマスク用色成分として選択するマスク用色成分選択手段と、
    上記マスク用色成分が割り当てられた色成分画像から解析対象領域以外の領域をマスク領域として特定するマスク領域特定手段と、
    上記オーバーレイ画像を構成する色成分のうち上記マスク用色成分以外の色成分が割り当てられている色成分画像から、上記マスク領域を用いて上記解析対象領域以外の領域がマスクされた抽出画像を生成する抽出画像生成手段とを備えたことを特徴とする撮影解析装置。
  2. 上記マスク領域特定手段は、マスク用閾値を用いて、上記マスク用色成分が割り当てられた色成分画像を二値化して、解析対象領域以外の領域をマスクするためのマスク画像を生成する二値化手段を備え、上記二値化手段により生成されたマスク画像に基づいて、上記マスク領域を特定することを特徴とする請求項1に記載の撮影解析装置。
  3. 上記複数の異なる色成分のうち、上記マスク用色成分以外の色成分を解析用色成分として選択する解析用色成分選択手段を備え、
    上記抽出画像生成手段は、上記解析用色成分選択手段により選択された解析用色成分が割り当てられた色成分画像に対し、上記マスク処理を行って上記抽出画像を生成することを特徴とする請求項1又は2に記載の撮影解析装置。
  4. 励起波長が異なる複数の蛍光色素が付与された観察対象物を載置するステージと、
    上記ステージに載置された観察対象物に対し、上記複数の蛍光色素をそれぞれ励起するための複数の励起光を照射する励起光照射手段とを備え、
    上記撮影手段は、上記複数の励起光の各々が照射されたときに観察対象物を撮影してモノクロ階調からなる2以上の撮影画像を取得することを特徴とする請求項1〜3のいずれかに記載の撮影解析装置。
  5. 上記マスク画像を表示するマスク画像表示手段と、
    ユーザ操作に基づいて、上記マスク用閾値を変更するマスク用閾値調整手段とを備え、
    上記二値化手段は、変更後の上記マスク用閾値を用いて、上記マスク用色成分が割り当てられた色成分画像を二値化して上記マスク画像を生成し、
    上記マスク画像表示手段は、変更後の上記マスク用閾値を用いて二値化された上記マスク画像を表示することを特徴とする請求項2に記載の撮影解析装置。
  6. 上記抽出画像を表示する抽出画像表示手段と、
    ユーザ操作に基づいて、抽出用閾値を指定する抽出用閾値調整手段とを備え、
    上記抽出画像生成手段は、上記抽出用閾値を用いて、上記オーバーレイ画像を構成する色成分のうち上記マスク用色成分以外の色成分が割り当てられている色成分画像から、上記マスク領域を用いて上記解析対象領域以外の領域がマスクされた画像を二値化して、抽出画像を生成することを特徴とする請求項1〜5のいずれかに記載の撮影解析装置。
  7. 上記抽出用閾値調整手段は、上記抽出画像が表示されている状態で、上記抽出用閾値の変更を行うことを特徴とする請求項6に記載の撮影解析装置。
  8. 3つの異なる色成分のうち、ユーザがそれぞれ指定したマスク用色成分、第1の解析用色成分及び第2の解析用色成分に対し、上記マスク用色成分が割り当てられた色成分画像及び上記第1の解析用色成分が割り当てられた色成分画像を用いて得られた第1の抽出画像と、上記マスク用色成分が割り当てられた色成分画像及び上記第2の解析用色成分が割り当てられた色成分画像を用いて得られた第2の抽出画像とを合成し、合成画像を生成する抽出画像合成手段を備えたことを特徴とする請求項3に記載の撮影解析装置。
  9. 観察対象物を撮影してモノクロ階調からなる2以上の撮影画像を取得する撮影ステップと、
    上記撮影画像の各々に異なる色成分を割り当てて、複数の異なる色成分画像を生成することにより、当該複数の異なる色成分画像を重ね合わせたオーバーレイ画像を生成するオーバーレイ画像生成ステップと、
    上記オーバーレイ画像生成ステップにおいて生成されたオーバーレイ画像を表示する表示ステップと、
    ユーザ操作に基づいて、上記オーバーレイ画像を構成する色成分のいずれかをマスク用色成分として選択するマスク用色成分選択ステップと、
    上記マスク用色成分が割り当てられた色成分画像から解析対象領域以外の領域をマスク領域として特定するマスク領域特定ステップと、
    上記オーバーレイ画像を構成する色成分のうち上記マスク用色成分以外の色成分が割り当てられている色成分画像から、上記マスク領域を用いて上記解析対象領域以外の領域がマスクされた抽出画像を生成する抽出画像生成ステップとを備えたことを特徴とする撮影解析装置の制御方法。
  10. 観察対象物を撮影してモノクロ階調からなる2以上の撮影画像を取得する撮影手順と、
    上記撮影画像の各々に異なる色成分を割り当てて、複数の異なる色成分画像を生成することにより、当該複数の異なる色成分画像を重ね合わせたオーバーレイ画像を生成するオーバーレイ画像生成手順と、
    上記オーバーレイ画像生成手順において生成されたオーバーレイ画像を表示する表示手順と、
    ユーザ操作に基づいて、上記オーバーレイ画像を構成する色成分のいずれかをマスク用色成分として選択するマスク用色成分選択手順と、
    上記マスク用色成分が割り当てられた色成分画像から解析対象領域以外の領域をマスク領域として特定するマスク領域特定手順と、
    上記オーバーレイ画像を構成する色成分のうち上記マスク用色成分以外の色成分が割り当てられている色成分画像から、上記マスク領域を用いて上記解析対象領域以外の領域がマスクされた抽出画像を生成する抽出画像生成手順とをコンピュータに実行させることを特徴とする撮影解析装置用のプログラム。
JP2012208304A 2012-09-21 2012-09-21 撮影解析装置、その制御方法及び撮影解析装置用のプログラム Active JP5953195B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012208304A JP5953195B2 (ja) 2012-09-21 2012-09-21 撮影解析装置、その制御方法及び撮影解析装置用のプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012208304A JP5953195B2 (ja) 2012-09-21 2012-09-21 撮影解析装置、その制御方法及び撮影解析装置用のプログラム

Publications (2)

Publication Number Publication Date
JP2014063041A true JP2014063041A (ja) 2014-04-10
JP5953195B2 JP5953195B2 (ja) 2016-07-20

Family

ID=50618341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012208304A Active JP5953195B2 (ja) 2012-09-21 2012-09-21 撮影解析装置、その制御方法及び撮影解析装置用のプログラム

Country Status (1)

Country Link
JP (1) JP5953195B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016223931A (ja) * 2015-06-01 2016-12-28 コニカミノルタ株式会社 蛍光画像の合焦システム、合焦方法および合焦プログラム
JPWO2016042963A1 (ja) * 2014-09-19 2017-09-07 コニカミノルタ株式会社 画像処理装置、画像処理方法、及びプログラム
WO2020066043A1 (ja) * 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
US11662565B2 (en) 2018-09-28 2023-05-30 Evident Corporation Microscope system, projection unit, and image projection method
US11869166B2 (en) 2018-09-28 2024-01-09 Evident Corporation Microscope system, projection unit, and image projection method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209425A (ja) * 1998-11-09 2000-07-28 Canon Inc 画像処理装置及び方法並びに記憶媒体
JP2004340663A (ja) * 2003-05-14 2004-12-02 Yokogawa Electric Corp 共焦点光スキャナ
JP2008139795A (ja) * 2006-12-05 2008-06-19 Keyence Corp 拡大画像観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2009146033A (ja) * 2007-12-12 2009-07-02 Nikon Corp 部分画像抽出方法
JP2009276250A (ja) * 2008-05-15 2009-11-26 Toyota Motor Corp 溶接ビードの品質検査装置およびその方法
JP2012032183A (ja) * 2010-07-28 2012-02-16 Olympus Corp 試料観測装置および試料観測方法
WO2013164281A2 (en) * 2012-04-30 2013-11-07 General Electric Company Systems and methods for performing correlation analysis on clinical outcome and characteristics of biological tissue

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209425A (ja) * 1998-11-09 2000-07-28 Canon Inc 画像処理装置及び方法並びに記憶媒体
JP2004340663A (ja) * 2003-05-14 2004-12-02 Yokogawa Electric Corp 共焦点光スキャナ
JP2008139795A (ja) * 2006-12-05 2008-06-19 Keyence Corp 拡大画像観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2009146033A (ja) * 2007-12-12 2009-07-02 Nikon Corp 部分画像抽出方法
JP2009276250A (ja) * 2008-05-15 2009-11-26 Toyota Motor Corp 溶接ビードの品質検査装置およびその方法
JP2012032183A (ja) * 2010-07-28 2012-02-16 Olympus Corp 試料観測装置および試料観測方法
WO2013164281A2 (en) * 2012-04-30 2013-11-07 General Electric Company Systems and methods for performing correlation analysis on clinical outcome and characteristics of biological tissue

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016042963A1 (ja) * 2014-09-19 2017-09-07 コニカミノルタ株式会社 画像処理装置、画像処理方法、及びプログラム
JP2016223931A (ja) * 2015-06-01 2016-12-28 コニカミノルタ株式会社 蛍光画像の合焦システム、合焦方法および合焦プログラム
WO2020066043A1 (ja) * 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
JPWO2020066043A1 (ja) * 2018-09-28 2021-08-30 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
US11594051B2 (en) 2018-09-28 2023-02-28 Evident Corporation Microscope system and projection unit
US11662565B2 (en) 2018-09-28 2023-05-30 Evident Corporation Microscope system, projection unit, and image projection method
US11869166B2 (en) 2018-09-28 2024-01-09 Evident Corporation Microscope system, projection unit, and image projection method

Also Published As

Publication number Publication date
JP5953195B2 (ja) 2016-07-20

Similar Documents

Publication Publication Date Title
CN110269700B (zh) 增强现实手术显微镜和显微镜学方法
JP5698398B2 (ja) スライド全体蛍光スキャナ
JP2012237693A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5953195B2 (ja) 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
JP7146635B2 (ja) マルチスペクトル軌跡を使用するデジタル撮像のための自動合焦の方法およびシステム
JP6948145B2 (ja) 蛍光画像分析装置、蛍光画像の画像処理方法及びコンピュータプログラム
JP2010181833A (ja) 顕微鏡観察システム
JP6696503B2 (ja) 画像処理装置、画像処理方法、および画像処理用のプログラム
JP2014521114A (ja) 生体イメージングの画像品質最適化
US20130128024A1 (en) Image obtaining apparatus, image obtaining method, and image obtaining program
US10921252B2 (en) Image processing apparatus and method of operating image processing apparatus
JP2014523545A (ja) 生体イメージングのための顕微鏡システム及び方法
JP2023052796A (ja) 顕微鏡システムの制御方法、顕微鏡システム
JP2014063019A (ja) 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
JP7501364B2 (ja) 分光イメージング装置および蛍光観察装置
US7221784B2 (en) Method and arrangement for microscopy
US7983466B2 (en) Microscope apparatus and cell observation method
JP2014063043A (ja) 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
JP6617774B2 (ja) 顕微鏡装置
WO2017217268A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7046500B2 (ja) 画像表示装置、画像表示方法および画像処理方法
JP2012173087A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
EP2458551A2 (en) Observation apparatus and observation method
WO2017109983A1 (ja) 微弱発光試料の解析方法及び解析システム
CN115861137A (zh) 一种样本图像分析系统和图像融合的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160613

R150 Certificate of patent or registration of utility model

Ref document number: 5953195

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250