JP2016099486A - 観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システム - Google Patents

観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システム Download PDF

Info

Publication number
JP2016099486A
JP2016099486A JP2014236114A JP2014236114A JP2016099486A JP 2016099486 A JP2016099486 A JP 2016099486A JP 2014236114 A JP2014236114 A JP 2014236114A JP 2014236114 A JP2014236114 A JP 2014236114A JP 2016099486 A JP2016099486 A JP 2016099486A
Authority
JP
Japan
Prior art keywords
observation target
image
support member
images
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014236114A
Other languages
English (en)
Other versions
JP6371686B2 (ja
Inventor
泰士 田辺
Hiroshi Tanabe
泰士 田辺
磴 秀康
Hideyasu Ishibashi
磴  秀康
岳一 龍田
Takeichi Tatsuta
岳一 龍田
栄輝 山岸
Shigeteru Yamagishi
栄輝 山岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014236114A priority Critical patent/JP6371686B2/ja
Publication of JP2016099486A publication Critical patent/JP2016099486A/ja
Application granted granted Critical
Publication of JP6371686B2 publication Critical patent/JP6371686B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Input (AREA)

Abstract

【課題】観察対象支持部材のパターンが適切に除かれ、観察対象が抽出された画像を生成する観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システムを提供する。【解決手段】観察対象支持部材へ光を照射することによって、観察対象支持部材を撮像した分光特性の異なる2種類の第1および第2の画像を取得する補正画像取得部51と、第1および第2の画像に基づいて補正係数を算出する補正係数算出部52と、観察対象が設置された観察対象支持部材へ光を照射することによって、観察対象が設置された観察対象支持部材を撮像した分光特性の異なる2種類の第3および第4の画像を取得する観察画像取得部53と、第3および第4の画像のうちの一方の画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と他方の画像とに基づいて、観察対象が抽出された抽出画像を生成する抽出処理部54とを備える。【選択図】図1

Description

本発明は、樹脂シートなどの観察対象支持部材に設置された観察対象を撮像した画像から観察対象を抽出した画像を生成する観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システムに関するものである。
従来、細胞や微生物などの生物、食品および結晶などの観察対象を樹脂などからなるシート部材上に設置して顕微鏡観察を行う場合がある。具体的には、たとえば多孔質なシート部材上に細胞を配置して培養し、その細胞の画像を顕微鏡によって撮像して観察することによって、細胞の培養過程を確認する場合などがある。
このようにシート部材上に設置された細胞の画像を顕微鏡によって撮像する場合、細胞などの観察対象とシート部材の孔のパターンとが混在した画像が撮像されるため、観察対象のみを抽出した画像を生成する必要がある。
観察対象のみを抽出した画像を生成する方法としては、たとえばシート部材の孔のパターンが予め既知である規則的なパターンである場合には、シート部材の周期構造を表す信号をテンプレート信号として予め保存しておき、撮像した画像信号からテンプレート信号を減算することによって観察対象のみを抽出した画像を生成する方法がある。
特開2012−39930号公報
しかしながら、たとえばシート部材が不規則なパターンを有する場合、撮像視野によって孔のパターンが変わるため、撮像視野が変わると同じテンプレート信号を用いることができず、観察対象の画像をシート部材のパターンの画像と分離して抽出するのが困難である。
また、複数枚のタイムラプス画像を用いて、時間変動しないシート部材の成分を除去することによって観察対象を抽出した画像を生成する方法も考えられるが、たとえば細胞を観察する場合、インキュベータ設備などといった細胞の時間変化を観察するための装置が必要となり、コストアップとなる。
また、シート部材の成分を周波数画像処理により除去することによって観察対象を抽出した画像を生成する方法もあるが、シート部材が不規則なパターンを有する場合、周波数空間でのピークが乱れ、シート部材のパターンを適切に除去できない問題がある。
また、細胞が存在しない状態でシート部材を予め撮像しておき、細胞がある程度培養された段階で撮像した画像と上述したシート部材の画像との間でレジストレーションなどのマッチングの画像処理手法を用いて、シート部材の画像を除去する方法も考えられるが、シート部材が不規則なパターンを有する場合、レジストレーションに用いるマッチングポイントも不規則に変化し、シート部材のパターンを適切に除去できない場合がある。なお、細胞を培養する前のシート部材と細胞が設置されてある程度培養された段階のシート部材とを全く同じ視野で撮像することは現実的に困難である。
また、シート部材に最もピントがあった画像と、観察対象に最もピントが合った画像を含む複数枚の画像を撮像し、その差分成分を強調することによって観察対象のみを抽出した画像を生成する方法も考えられるが、シート部材が不規則なパターンを有する場合、適切なピントずれ量を予め知ることが困難であり、シート部材のパターンを適切に除去できない場合がある。
なお、特許文献1には、複数種類のストライプパターンの照明光をディッシュに照射して複数の画像を取得し、その複数の画像を解析することによって培地の領域を識別することが提案されているが、上述したようにシート部材を除去し、細胞のみを抽出した画像を生成する方法については、何も提案されていない。
本発明は、上記の問題に鑑み、観察対象が設置される観察対象支持部材が不規則なパターンを有する場合でも、観察対象支持部材のパターンが適切に除かれ、観察対象が抽出された画像を生成することができる観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システムを提供することを目的とする。
本発明の観察対象抽出処理装置は、観察対象を支持するシート状の観察対象支持部材へ光を照射し、その観察対象支持部材から出射された光を検出することによって観察対象支持部材を撮像した分光特性の異なる2種類の第1および第2の画像を取得する補正画像取得部と、第1および第2の画像に基づいて補正係数を算出する補正係数算出部と、観察対象が設置された観察対象支持部材へ光を照射し、その観察対象が設置された観察対象支持部材から出射された光を検出することによって観察対象が設置された観察対象支持部材を撮像した分光特性の異なる2種類の第3および第4の画像を取得する観察画像取得部と、第3および第4の画像のうちの一方の画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と他方の画像とに基づいて、観察対象が抽出された抽出画像を生成する抽出処理部とを備えたことを特徴とする。
また、上記本発明の観察対象抽出処理装置においては、第1および第2の画像は、観察対象支持部材へ分光特性の異なる2種類の光をそれぞれ照射し、その観察対象支持部材から出射された光をそれぞれ検出することによって観察対象支持部材を撮像した画像であり、第3および第4の画像は、観察対象が設置された観察対象支持部材へ2種類の光をそれぞれ照射し、その観察対象が設置された観察対象支持部材から出射された光をそれぞれ検出することによって観察対象が設置された観察対象支持部材を撮像した画像であることが好ましい。
また、第1および第2の画像は、観察対象支持部材へ励起光を照射し、その観察対象支持部材から発せられた蛍光を検出することによって観察対象支持部材を撮像した蛍光画像と、観察対象支持部材へ可視光を照射し、その観察対象支持部材を透過した透過光を検出することによって観察対象支持部材を撮像した透過画像であり、第3および第4の画像は、観察対象が設置された観察対象支持部材へ励起光を照射し、その観察対象が設置された観察対象支持部材から発せられた蛍光を検出することによって観察対象が設置された観察対象支持部材を撮像した蛍光画像と、観察対象が設置された観察対象支持部材へ可視光を照射し、その観察対象が設置された観察対象支持部材を透過した透過光を検出することによって観察対象が設置された観察対象支持部材を撮像した透過画像であることが好ましい。
また、補正係数算出部は、第1および第2の画像のうちの蛍光画像に対して鮮鋭度強調処理を施し、第1および第2の画像のうちの透過画像に対して、観察対象を培養する培地成分の画像を抑制するレベル補正処理を施し、鮮鋭度強調処理の施された蛍光画像とレベル補正処理の施された透過画像に基づいて、補正係数を算出することができる。
また、抽出処理部は、第3および第4の画像のうちの蛍光画像に対して鮮鋭度強調処理を施し、第3および第4の画像のうちの透過画像に対して、観察対象を培養する培地成分の画像を抑制するレベル補正処理を施し、鮮鋭度強調処理の施された蛍光画像を用いて補正画像を生成し、その補正画像とレベル補正処理の施された透過画像とを用いて抽出画像を生成することができる。
また、第1および第2の画像は、観察対象支持部材へ光を照射し、その観察対象支持部材から出射された光であって分光特性の異なる2種類のフィルタを通過した光を検出することによって観察対象支持部材を撮像した画像であり、第3および第4の画像は、観察対象が設置された観察対象支持部材へ光を照射し、その観察対象が設置された観察対象支持部材から出射された光であって分光特性の異なる2種類のフィルタを通過した光を検出することによって観察対象が設置された観察対象支持部材を撮像した画像であることが好ましい。
また、第1および第2の画像は、観察対象支持部材へ励起光を照射し、その観察対象支持部材から発せられた蛍光のうちの第1のフィルタを通過した第1の蛍光成分を検出することによって観察対象支持部材を撮像した第1の蛍光画像と、蛍光のうちの第2のフィルタを通過した第2の蛍光成分を検出することによって観察対象支持部材を撮像した第2の蛍光画像であり、第3および第4の画像は、観察対象が設置された観察対象支持部材へ励起光を照射し、観察対象が設置された観察対象支持部材から発せられた蛍光のうちの第1のフィルタを通過した第3の蛍光成分を検出することによって観察対象が設置された観察対象支持部材を撮像した第3の蛍光画像と、蛍光のうちの第2のフィルタを通過した第4の蛍光成分を検出することによって観察対象が設置された観察対象支持部材を撮像した第4の蛍光画像であることが好ましい。
また、補正係数算出部は、第1および第2の蛍光画像に対して鮮鋭度強調処理を施し、その鮮鋭度強調処理の施された第1および第2の蛍光画像を用いて補正係数を算出することができる。
また、抽出処理部は、第3および第4の蛍光画像に対して鮮鋭度強調処理を施し、その鮮鋭度強調処理の施された第3または第4の蛍光画像を用いて補正画像を生成し、その補正画像と第3または第4の蛍光画像とを用いて抽出画像を生成することができる。
また、第1および第2の画像は、観察対象支持部材から出射された光を分光感度の異なる撮像部によりそれぞれ検出することによって観察対象支持部材を撮像した画像であり、第3および第4の画像は、観察対象が設置された観察対象支持部材から出射された光を分光感度の異なる撮像部によりそれぞれ検出することによって観察対象支持部材が設置された観察対象支持部材を撮像した画像であることが好ましい。
また、第1および第2の画像は、観察対象支持部材へ可視光を照射し、観察対象支持部材を透過した透過光を第1の撮像部により検出することによって観察対象支持部材を撮像した第1の透過画像と、透過光を第2の撮像部により検出することによって観察対象支持部材を撮像した第2の透過画像であり、第3および第4の画像は、観察対象が設置された観察対象支持部材へ可視光を照射し、観察対象が設置された観察対象支持部材を透過した透過光を第1の撮像部により検出することによって観察対象が設置された観察対象支持部材を撮像した第3の透過画像と、透過光を第2の撮像部により検出することによって観察対象が設置された観察対象支持部材を撮像した第4の透過画像であることが好ましい。
また、第1の撮像部の分光感度は可視光帯域以外の帯域であり、第2の撮像部の分光感度は可視光帯域であることが好ましい。
また、補正係数算出部は、第1および第2の透過画像に対して、観察対象を培養する培地成分の画像を抑制するレベル補正処理を施し、そのレベル補正処理の施された第1および第2の透過画像を用いて補正係数を算出することができる。
また、抽出処理部は、第3および第4の透過画像に対して、観察対象を培養する培地成分の画像を抑制するレベル補正処理を施し、そのレベル補正処理の施された第3または第4の透過画像を用いて補正画像を生成し、その補正画像と第3または第4の透過画像とを用いて抽出画像を生成することができる。
また、補正係数算出部は、第1の画像と第2の画像の濃度情報の比に基づいて補正係数を算出することができる。
また、抽出処理部は、上記他方の画像から補正画像を減算した減算画像を生成し、その減算画像に対してモルフォロジー処理を施すことによって抽出画像を生成することができる。
また、観察対象支持部材は、平面方向にパターンを有するシートであることが好ましい。
また、上記パターンは、不規則性を有することができる。
また、上記パターンは、規則性を有することができる。
また、シートとして、ハニカムフィルムを用いることができる。
本発明の観察対象抽出処理装置は、観察対象が設置された、観察対象を支持するシート状の観察対象支持部材へ光を照射し、観察対象が設置された観察対象支持部材から出射された光を検出することによって観察対象が設置された観察対象支持部材を撮像した分光特性の異なる2種類の画像を取得する観察画像取得部と、2種類の画像に基づいて補正係数を算出する補正係数算出部と、2種類の画像のうちの一方の画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と他方の画像とに基づいて、観察対象が抽出された抽出画像を生成する抽出処理部とを備えたことを特徴とする。
本発明の観察対象抽出処理方法は、観察対象を支持するシート状の観察対象支持部材へ光を照射し、その観察対象支持部材から出射された光を検出することによって観察対象支持部材を撮像した分光特性の異なる2種類の第1および第2の画像を取得し、第1および第2の画像に基づいて補正係数を算出し、観察対象が設置された観察対象支持部材へ光を照射し、その観察対象の設置された観察対象支持部材から出射された光を検出することによって観察対象が設置された観察対象支持部材を撮像した分光特性の異なる2種類の第3および第4の画像を取得し、第3および第4の画像のうちの一方の画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と他方の画像とに基づいて、観察対象が抽出された抽出画像を生成することを特徴とする。
本発明の観察対象抽出処理方法は、観察対象が設置された、観察対象を支持するシート状の観察対象支持部材へ光を照射し、その観察対象が設置された観察対象支持部材から出射された光を検出することによって観察対象が設置された観察対象支持部材を撮像して分光特性の異なる2種類の画像を取得し、その2種類の画像に基づいて補正係数を算出し、その2種類の画像のうちの一方の画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と他方の画像とに基づいて、観察対象が抽出された抽出画像を生成することを特徴とする。
本発明の観察対象抽出処理プログラムは、観察対象を支持するシート状の観察対象支持部材へ光を照射し、その観察対象支持部材から出射された光を検出することによって観察対象支持部材を撮像した分光特性の異なる2種類の第1および第2の画像を取得する補正画像取得部と、第1および第2の画像に基づいて補正係数を算出する補正係数算出部と、観察対象が設置された観察対象支持部材へ光を照射し、その観察対象が設置された観察対象支持部材から出射された光を検出することによって観察対象が設置された観察対象支持部材を撮像した分光特性の異なる2種類の第3および第4の画像を取得する観察画像取得部と、第3および第4の画像のうちの一方の画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と他方の画像とに基づいて、観察対象が抽出された抽出画像を生成する抽出処理部としてコンピュータを機能させることを特徴とする。
本発明の観察対象抽出処理プログラムは、観察対象が設置された、観察対象を支持するシート状の観察対象支持部材へ光を照射し、観察対象が設置された観察対象支持部材から出射された光を検出することによって分光特性の異なる2種類の画像を取得する観察画像取得部と、2種類の画像に基づいて補正係数を算出する補正係数算出部と、2種類の画像のうちの一方の画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と他方の画像とに基づいて、観察対象が抽出された抽出画像を生成する抽出処理部としてコンピュータを機能させることを特徴とする。
本発明の観察画像撮像表示制御システムは、上記観察対象抽出処理装置と、第1から第4の画像を撮像する撮像装置と、撮像装置における第1から第4の画像の撮像と、観察対象抽出処理装置における第1から第4の画像に基づく抽出画像の生成と、抽出画像の表示とを制御する制御部と、撮像開始指示の入力を受け付ける撮像開始指示受付部とを備え、制御部が、撮像開始指示の入力に応じて、第1から第4の画像の撮像と、第1から第4の画像に基づく抽出画像の生成と、抽出画像の表示とを連続して自動的に行うことを特徴とする。
本発明の観察画像撮像表示制御システムは、上記観察対象抽出処理装置と、2種類の画像を撮像する撮像装置と、撮像装置における2種類の画像の撮像と、観察対象抽出処理装置における2種類の画像に基づく抽出画像の生成と、抽出画像の表示とを制御する制御部と、撮像開始指示の入力を受け付ける撮像開始指示受付部とを備え、制御部が、撮像開始指示の入力に応じて、2種類の画像の撮像と、2種類の画像に基づく抽出画像の生成と、抽出画像の表示とを連続して自動的に行うことを特徴とする。
本発明の観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示制御システムによれば、観察対象支持部材への光の照射によって、分光特性の異なる第1および第2の画像を取得し、第1および第2の画像に基づいて補正係数を算出し、観察対象が設置された観察対象支持部材への光の照射によって、分光特性の異なる2種類の第3および第4の画像を取得する。そして、第3および第4の画像のうちの一方の画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と他方の画像とに基づいて、観察対象が抽出された抽出画像を生成するようにしたので、たとえば観察対象が設置される観察対象支持部材が不規則なパターンを有する場合でも、観察対象支持部材のパターンが適切に除かれ、観察対象が抽出された抽出画像を生成することができる。
本発明の観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示制御システムによれば、観察対象支持部材への光の照射によって、分光特性の異なる2種類の画像を取得する。そして、その2種類の画像に基づいて補正係数を算出し、2種類の画像のうちの一方の画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と他方の画像とに基づいて、観察対象が抽出された抽出画像を生成するようにしたので、たとえば観察対象が設置される観察対象支持部材が不規則なパターンを有する場合でも、観察対象支持部材の画像が適切に除かれ、観察対象が抽出された抽出画像を生成することができる。
本発明の観察対象抽出処理装置の第1の実施形態を用いた顕微鏡システムの概略構成を示す図 スリット板の具体的な構成を示す平面図 位相板の具体的な構成を示す平面図 本発明の観察対象抽出処理装置の第1の実施形態を用いた顕微鏡システムの作用を説明するためのフローチャート 第1のグレー画像と第2のグレー画像とを模式的に示した図 第3のグレー画像と第4のグレー画像とを模式的に示した図 減算画像の一例を示す図 抽出画像の一例を示す図 図1に示す顕微鏡システムの変形例を示す概略構成図 本発明の観察対象抽出処理装置の第2の実施形態を用いた顕微鏡システムの概略構成を示す図 本発明の観察対象抽出処理装置の第2の実施形態を用いた顕微鏡システムの作用を説明するためのフローチャート 第1の蛍光画像と第2の蛍光画像とを模式的に示した図 第3の蛍光画像と第4の蛍光画像とを模式的に示した図 本発明の観察対象抽出処理装置の第3の実施形態を用いた顕微鏡システムの概略構成を示す図 本発明の観察対象抽出処理装置の第3の実施形態を用いた顕微鏡システムの作用を説明するためのフローチャート
以下、本発明の観察対象抽出処理装置の一実施形態を用いた顕微鏡システムについて、図面を参照しながら詳細に説明する。図1は、本発明の観察対象抽出処理装置の第1の実施形態を用いた顕微鏡システムの概略構成を示す図である。
第1の実施形態の顕微鏡システムは、顕微鏡本体1と、観察対象抽出処理装置50と、表示装置60とを備えている。
第1の実施形態の顕微鏡本体1は、図1に示すように、可視光照射部10と、励起光照射部20と、結像光学系30と、撮像部40とを備えている。
可視光照射部10と結像光学系30との間には、ステージ82が設けられており、このステージ82上に観察対象Sが収容された培養容器80が設置される。そして、本実施形態の顕微鏡システムは、ステージ82を、互いに直交するX方向およびY方向に移動させるステージ駆動機構(図示省略)を備えている。X方向およびY方向は、観察対象Sの設置面に並行な面上において互いに直交する方向である。
培養容器80としては、シャーレ、ディッシュまたはウェルプレートなどを用いることができる。また、培養容器80およびステージ82は、可視光照射部10から出射された可視光を透過する材料から形成されるものである。
培養容器80の底面には、観察対象Sを支持する観察対象支持部材81が設けられている。観察対象支持部材81としては、シート状の多孔質部材を用いることができる。特に、本実施形態の観察対象支持部材81は、励起光照射部20から出射された励起光の照射を受けて蛍光を発する材料から形成されたものである。観察対象支持部材81の材料としては、たとえば蛍光を発する蛍光体を含有させた蛍光体含有樹脂を用いるようにしてもよいし、蛍光を発する樹脂を用いるようにしてもよい。
また、観察対象支持部材81としては、上述したように、その平面方向に多数の孔が所定のパターンで配置された多孔質部材を用いることが望ましい。多数の孔は、不規則に配置されることが望ましい。この場合、観察対象支持部材81は、たとえば自己組織化作用によって形成されたものでもよいし、または、インクジェットプリンタや3Dプリンタなどの無版印刷の技術を用いて形成されたものでもよい。自己組織化作用による製法としては、たとえば疎水性溶媒系の溶液キャスト製膜法に水蒸気の結露現象を組み合わせた製法を用いることができる。また、多数の孔のパターンは必ずしも不規則なパターンでなくてもよく、規則的なパターンで孔が配置された樹脂シートを観察対象支持部材81として用いるようにしてもよい。具体的には、観察対象支持部材81として、たとえばハニカムフィルムなどを用いるようにしてもよい。
観察対象Sとしては、たとえば培養される細胞群があり、具体的には、たとえばiPS細胞およびES細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋または肝臓の細胞、もしくは人体から取り出された皮膚、網膜、心筋、血球、神経または臓器の細胞などがある。なお、観察対象Sは、上述したような細胞に限らず、微生物、食品または結晶などでもよい。
また、本実施形態の培養容器80内には、上述した観察対象支持部材81および観察対象Sと、観察対象Sを培養するための培養液Cとが収容される。
顕微鏡本体1の可視光照射部10は、培養容器80内に収容された観察対象Sおよび観察対象支持部材81に対して、いわゆる位相差計測のための照明光L1を照射するものであり、本実施形態では、その位相差計測用照明光としてリング状照明光L1を照射する。具体的には、本実施形態の可視光照射部10は、白色光を出射する白色光源11と、リング形状のスリットを有し、白色光源11から出射された白色光が入射されてリング状照明光L1を出射するスリット板12と、スリット板12から射出されたリング状照明光L1が入射され、その入射されたリング状照明光L1を観察対象Sに対して照射する第1の対物レンズ13とを備えている。
図2は、スリット板12の具体的な構成を示す図である。図2に示すように、スリット板12は、白色光源11から出射された白色光を遮光する遮光板12bに対して白色光を透過するリング形状のスリット12aが設けられたものであり、白色光がスリット12aを通過することによってリング状照明光L1が形成される。
励起光照射部20は、励起光L2を出射する励起光源21と、励起光源21から出射された励起光L2を平行光とするコリメートレンズ22とを備えている。励起光源21としては、たとえば発光ダイオード、レーザダイオード、高圧水銀光源およびハロゲン光源などを用いることができる。励起光源21から射出される励起光L2は、白色光源11から出射される白色光とは異なる分光特性を有する光である。
具体的には、たとえば励起光源21として発光ダイオードを用いる場合、340nm〜410nmに間にピーク波長を有する光を用いることができる。また、励起光源21として、発光ダイオードやレーザダイオードを用いた場合には、観察対象Sに与える熱を抑制することができ、また、照射のオンおよびオフを高速に安定して切り替えることができる。
結像光学系30は、第2の対物レンズ31と、位相板32と、ハーフミラー33と、結像レンズ34とを備えたものである。図3は、位相板32の具体的な構成を示す平面図である。図3に示すように、位相板32は、リング状照明光L1の波長に対して透明な透明板32bに対して位相リング32aを形成したものである。なお、上述したスリット12aの大きさは、この位相リング32aと共役な関係にある。
位相リング32aは、入射された光の位相を1/4波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相リング32aに入射された直接光は、位相リング32aを通過することによって位相が1/4波長ずれるとともに、その明るさが弱められる。一方、観察対象Sによって回折された回折光は大部分が位相板32の透明板32bを通過し、その位相および明るさは変化しない。
第2の対物レンズ31は、結像光学系駆動部(図示省略)によってZ方向に移動するものである。この第2の対物レンズ31のZ方向への移動によってオートフォーカス制御が行われ、撮像部40によって撮像される画像のコントラストが調整される。
ハーフミラー33は、観察対象Sおよび位相板32を通過した透過光L3(直接光および回折光)を透過し、かつ励起光照射部20から出射された励起光L2を観察対象Sの方向に反射する光学特性を有するものである。また、ハーフミラー33は、観察対象支持部材81への励起光L2の照射によって観察対象支持部材81から発せられた蛍光L4を透過する光学特性を有するものである。
結像レンズ34は、ハーフミラー33を通過した透過光L3または蛍光L4が入射され、これらの光を撮像部40に結像するものである。
撮像部40は、結像レンズ34によって結像された蛍光像および透過像を撮像する撮像素子を備えたものである。撮像素子としては、CCD(charge-coupled device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどが用いられる。本実施形態においては、撮像部40として、RGBのカラーフィルタが設けられた撮像素子が用いられる。ただし、撮像素子としては、カラーフィルタが設けられたものに限らず、モノクロの撮像素子を用いるようにしてもよい。
観察対象抽出処理装置50は、コンピュータに対して本発明の観察対象抽出処理プログラムの一実施形態がインストールされたものである。観察対象抽出処理装置50は、中央処理装置、半導体メモリおよびハードディスクなどを備えており、ハードディスクに観察対象抽出処理プログラムの一実施形態がインストールされている。そして、このプログラムが中央処理装置によって実行されることによって、図1に示すような、補正画像取得部51、補正係数算出部52、観察画像取得部53、抽出処理部54および表示制御部55が動作する。
補正画像取得部51は、観察対象Sが設置されていない観察対象支持部材81への励起光L2の照射によって、観察対象支持部材81から発せられた蛍光L4を検出することによって観察対象支持部材81を撮像した蛍光画像(以下、第1の画像という)と、観察対象Sが設置されていない観察対象支持部材81へのリング状照明光L1の照射によって、観察対象支持部材81を透過した透過光L3を検出することによって観察対象支持部材81を撮像した透過画像(以下、第2の画像という)とを取得するものである。
補正係数算出部52は、補正画像取得部51によって取得された第1および第2の画像に基づいて補正係数を算出するものである。補正係数の算出方法については、後で詳述する。
観察画像取得部53は、観察対象Sが設置された観察対象支持部材81への励起光L2の照射によって、観察対象支持部材81から発せられた蛍光L4を検出することによって観察対象Sが設置された観察対象支持部材81を撮像した蛍光画像(以下、第3の画像という)と、観察対象Sが設置された観察対象支持部材81への観察対象支持部材81へのリング状照明光L1の照射によって、観察対象支持部材81および観察対象Sを透過した透過光L3を検出することによって観察対象Sが設置された観察対象支持部材81を撮像した透過画像(以下、第4の画像という)とを取得するものである。
なお、第3の画像と第4の画像は、同視野で可視光L1の照射と励起光L2の照射を切り替えることによって撮像されるものである。これに対し、上述した第1の画像および第2の画像は、必ずしも同視野で撮像されたものでなくてもよく、別の視野で撮像された画像でもよい。
抽出処理部54は、蛍光を検出することによって撮像した第3の画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と第4の画像とに基づいて、観察対象Sが抽出された抽出画像を生成するものである。なお、抽出画像の生成処理については、後で詳述する。
表示制御部55は、抽出処理部54において生成された抽出画像を表示装置60に表示させるものである。
観察対象抽出処理装置50には、表示装置60が接続されている。表示装置60は、液晶ディスプレイなどの表示デバイスから構成されるものであり、抽出処理部54において生成された抽出画像などを表示するものである。
次に、本実施形態の顕微鏡システムの作用について、図4に示すフローチャートを参照しながら説明する。
まず、観察対象Sが設置されていない観察対象支持部材81と培養液Cが収容された培養容器80がステージ82上に設置される。そして、励起光照射部20から観察対象支持部材81に向けて励起光L2が照射され、観察対象支持部材81の蛍光像が撮像部40によって撮像され、補正画像取得部51によって第1の画像が取得される(S10)。
次に、可視光照射部10から観察対象支持部材81に向けてリング状照明光L1が照射され、観察対象支持部材81の透過像が撮像部40によって撮像され、補正画像取得部51によって第2の画像が取得される(S12)。
補正画像取得部51によって取得された第1の画像と第2の画像は、補正係数算出部52に出力される。そして、補正係数算出部52は、第1の画像と第2の画像とに対してグレースケール変換処理を施してグレー化し、第1のグレー画像と第2のグレー画像とを生成する(S14)。なお、図5Iは、第1のグレー画像を模式的に示したものであり、図5IIは第2のグレー画像を模式的に示した図である。
次に、補正係数算出部52は、第1のグレー画像の濃度コントラストaと第2の画像の濃度コントラストbとを算出し、これらの比b/aを補正係数fとして算出する(S16)。
なお、観察対象支持部材81の蛍光画像は、エッジ部分がボケる場合がある。そこで、このボケを抑制するために、補正係数fを算出する前に、第1のグレー画像に対してアンシャープマスク処理などの鮮鋭度強調処理を施すようにしてもよい。また、たとえば培養液C(培地に相当する)として色が着いたものを利用した場合、観察対象支持部材81の透過画像内に培養液Cの色が現れる場合がある。そこで、この培養液Cの色を抑制するレベル補正処理を第2のグレー画像に施すようにしてもよい。培養液Cの色信号は、画像面内に均一に含まれるので、このようなレベル補正処理によって除去することができる。
また、本実施形態においては、上述したように補正係数fを算出する際、第1および第2の画像の濃度コントラストの比を算出するようにしたが、濃度コントラストの比に限らず、たとえば画像を構成する画素の値の平均値、最大値、最小値または中央値などの比を求めるようにしてもよい。また、2つの画像の対応する画素値の比を補正係数fとして算出するようにしてもよい。この場合、画素毎に補正係数fが算出される。
補正係数算出部52によって算出された補正係数fは、抽出処理部54に出力される。
次に、観察対象Sが設置された観察対象支持部材81と培養液Cが収容された培養容器80がステージ82上に設置される。そして、励起光照射部20から観察対象支持部材81に向けて励起光L2が照射され、観察対象支持部材81の蛍光像が撮像部40によって撮像され、観察画像取得部53によって第3の画像が取得される(S18)。
次に、可視光照射部10から観察対象Sが設置された観察対象支持部材81に向けてリング状照明光L1が照射され、観察対象支持部材81および観察対象Sの透過像が撮像部40によって撮像され、観察画像取得部53によって第4の画像が取得される(S20)。
そして、観察画像取得部53によって取得された第3の画像と第4の画像は、抽出処理部54に出力される。抽出処理部54は、第1の画像および第2の画像と同様に、第3の画像と第4の画像とに対してグレースケール変換処理を施してグレー化し、第3のグレー画像と第4のグレー画像とを生成する(S22)。
なお、図6Iは、第3のグレー画像を模式的に示したものであり、図6IIは第4のグレー画像を模式的に示した図である。図6Iおよび図6IIに示すように、本実施形態においては、観察対象Sの細胞群からは蛍光は発せられず、第3のグレー画像上には観察対象Sの画像は現れず、透過画像である第4のグレー画像上のみに観察対象Sの画像が現れるものとする。
なお、ここで、上述した第1のグレー画像と同様に、第3のグレー画像に対してアンシャープマスク処理などの鮮鋭度強調処理を施すようにしてもよい。また、第2のグレー画像と同様に、第4のグレー画像に対してレベル補正処理を施すようにしてもよい。
次いで、抽出処理部54は、第3のグレー画像に対して上述した補正係数fを乗算し、補正画像を生成する(S24)。そして、抽出処理部54は、第4のグレー画像から補正画像を減算することによって、観察対象支持部材81の画像が除かれた減算画像を生成する(S26)。図7は、減算画像を模式的に示した図であり、図7に示す点線は、上述した減算処理によって第4のグレー画像から除かれた観察対象支持部材81の画像の部分を示している。
図7に示すように、第4のグレー画像から補正画像を減算した場合、観察対象支持部材81の部分が除かれるため、この処理にともなって、観察対象支持部材81と観察対象Sとが重なった部分まで除かれてしまう。そこで、抽出処理部54は、第4のグレー画像から補正画像を減算した減算画像に対してモルフォロジー処理のクロージング処理などを施すことによって、観察対象支持部材81と観察対象Sとが重なった部分を埋める処理を行う。図8は、減算画像に対してクロージング処理を施すことによって生成された抽出画像を模式的に示した図である。
そして、抽出処理部54によって生成された抽出画像は表示制御部55に出力され、表示制御部55は、入力された抽出画像を表示装置60に表示させる(S28)。
上記第1の実施形態の顕微鏡システムによれば、観察対象Sが設置されていない観察対象支持部材81へ可視光および励起光を照射して、観察対象支持部材81を撮像した第1および第2の画像を取得し、第1および第2の画像に基づいて補正係数を算出し、観察対象Sが設置された観察対象支持部材81へ可視光および励起光を照射し、観察対象Sが設置された観察対象支持部材81を撮像した第3および第4の画像を取得する。そして、第3の画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と第4の画像とに基づいて、観察対象が抽出された抽出画像を生成するようにしたので、観察対象支持部材81が不規則なパターンを有する場合でも、観察対象支持部材81のパターンが適切に除かれ、観察対象Sが抽出された抽出画像を生成することができる。
なお、上記第1の実施形態の顕微鏡システム(観察画像撮像表示制御システムに相当する)において、図9に示すように、顕微鏡本体1(撮像装置に相当する)と観察対象抽出処理装置50とを自動的に制御する制御部500と、ユーザによる撮像開始指示の入力を受け付ける撮像開始指示受付部501とを設けるようにしてもよい。撮像開始指示受付部501は、たとえばキーボードやマウスなどの入力デバイスを備えたものである。
そして、制御部500が、撮像開始指示受付部501によって受け付けられた撮像開始指示の入力に応じて、上述した第1から第4の画像の撮像と、第1から第4の画像を用いた抽出画像の生成と、抽出画像の表示とを連続して自動的に行うようにしてもよい。なお、この際、第1および第2の画像の撮像から抽出画像の表示までの一例の動作を1分以内で完了することが望ましい。
また、上記第1の実施形態の顕微鏡システムにおいては、観察対象Sが設置されていない観察対象支持部材81を撮像した第1の画像と第2の画像を用いて補正係数を算出するようにしたが、画質は多少劣化する可能性はあるが、第1の画像と第2の画像の撮像を行うことなく、観察対象Sが設置された観察対象支持部材81を撮像した第3の画像と第4の画像を用いて補正係数を算出するようにしてもよい。また、この場合も、制御部500が、撮像開始指示受付部501によって受け付けられた撮像開始指示の入力に応じて、上述した第3および第4の画像の撮像と、第3および第4の画像を用いた抽出画像の生成と、抽出画像の表示とを連続して自動的に行うようにしてもよい。この場合も、第3および第4の画像の撮像から抽出画像の表示までの一例の動作を1分以内で完了することが望ましい。
次に、本発明の観察対象抽出処理装置の第2の実施形態を用いた顕微鏡システムについて説明する。図10は、本発明の観察対象抽出処理装置の第2の実施形態を用いた顕微鏡システムの概略構成を示す図である。
第2の実施形態の顕微鏡システムは、顕微鏡本体2と、観察対象抽出処理装置70と、表示装置60とを備えている。第2の実施形態の顕微鏡システムは、第1の実施形態の顕微鏡システムとは、顕微鏡本体2の構成が異なり、また、観察対象抽出処理装置70における抽出画像の生成処理が異なる。
第2の実施形態の顕微鏡本体2は、第1の実施形態の顕微鏡本体1のように可視光の照射による透過画像の撮像は行わず、励起光の照射によって観察対象Sおよび観察対象支持部材81から発せられた蛍光を、分光特性の異なる2種類のフィルタを用いて検出するものである。なお、本実施形態においては、観察対象支持部材81だけでなく、観察対象Sからも蛍光が発せられるものとする。観察対象Sは、それ自体が蛍光を発するものでもよいし、蛍光標識されたものでもよい。
第2の実施形態の顕微鏡本体2は、具体的には、図10に示すように、励起光照射部20と、結像光学系300と、撮像部40とを備えている。なお、図10に示す培養容器80と、培養容器80内に収容された観察対象S、培養液Cおよび観察対象支持部材81と、ステージ82とは、第1の実施形態とほぼ同様である。ただし、本実施形態の培養容器80およびステージ82は、励起光の照射によって観察対象Sおよび観察対象支持部材81から発せられた蛍光を透過する材料から形成されたものである。
励起光照射部20は、第1の実施形態と同様の構成であり、励起光L2を出射する励起光源21と、励起光源21から出射された励起光L2を平行光とするコリメートレンズ22とを備えている。
結像光学系300は、対物レンズ301と、ハーフミラー302と、結像レンズ303と、フィルタ部304とを備えたものである。
対物レンズ301は、結像光学系駆動部(図示省略)によってZ方向に移動するものである。この対物レンズ301のZ方向への移動によってオートフォーカス制御が行われ、撮像部40によって撮像される画像のコントラストが調整される。
ハーフミラー302は、励起光照射部20から出射された励起光L2を観察対象Sの方向に反射し、かつ励起光L2の照射によって観察対象Sおよび観察対象支持部材81から発せられた蛍光を透過する光学特性を有するものである。
結像レンズ303は、ハーフミラー302を通過した蛍光が入射され、その入射された蛍光を撮像部40に結像するものである。
フィルタ部304は、図10に示すように、結像レンズ303と撮像部40との間に設けられたものであり、分光特性が異なる2種類の蛍光フィルタを備えたものである。本実施形態のフィルタ部304は、具体的には、図10に示すように、第1の蛍光フィルタ304aと第2の蛍光フィルタ304bとこれらのフィルタを交換する交換機構(図示省略)とを備えている。第1の蛍光フィルタ304aと第2の蛍光フィルタ304bは、上述したようにそれぞれ異なる分光特性を有するものであり、たとえば第1の蛍光フィルタ304aとして、330nm〜385nmに透過ピーク波長を有するものを用い、第2の蛍光フィルタ304bとして、460nm〜495nmに透過ピーク波長を有するものを用いることができる。ただし、このような分光特性の蛍光フィルタの組み合わせに限らず、その他の組み合わせでもよい。
本実施形態においては、分光特性の異なる2種類の蛍光画像を取得するために、上述した第1の蛍光フィルタ304aと第2の蛍光フィルタ304bを切り替える構成としたが、このような構成に限らず、励起光を透過するフィルタと蛍光を吸収する吸収フィルタとダイクロイックミラーとを組み合わせた蛍光ミラーユニットを2種類用い、これらの蛍光ミラーユニットを交換する構成としてしてもよい。上記蛍光ミラーユニットとしては、たとえばU-MWIB3(オリンパス株式会社製)とU-MWU2(オリンパス株式会社製)との組み合わせを用いることができる。ただし、これらの組み合わせに限らず、その他の蛍光ミラーユニットの組み合わせを用いるようにしてもよい。
撮像部40は、第1の蛍光フィルタ304aを通過した蛍光像および第2の蛍光フィルタ304bを通過した蛍光像を撮像する撮像素子を備えたものである。撮像素子としては、たとえばRGBのカラーフィルタが設けられた撮像素子が用いられる。なお、RGBのカラーフィルタに限らず、分光特性の異なる複数のフィルタが設けられた撮像素子であれば、その他の撮像素子を用いるようにしてもよい。
第2の実施形態の観察対象抽出処理装置70は、第1の実施形態の観察対象抽出処理装置50と同様に、補正画像取得部71、補正係数算出部72、観察画像取得部73、抽出処理部74および表示制御部75を備えている。
補正画像取得部71は、観察対象Sが設置されていない観察対象支持部材81への励起光L2の照射によって、観察対象支持部材81から発せられた蛍光であって、第1の蛍光フィルタ304aを通過した蛍光L5を検出することによって観察対象支持部材81を撮像した蛍光画像(以下、第1の蛍光画像という)と、励起光L2の照射によって、観察対象支持部材81から発せられた蛍光であって、第2の蛍光フィルタ304bを通過した蛍光L6を検出することによって観察対象支持部材81を撮像した蛍光画像(以下、第2の蛍光画像という)とを取得するものである。
補正係数算出部52は、補正画像取得部51によって取得された第1および第2の蛍光画像に基づいて補正係数を算出するものである。補正係数の算出方法については、後で詳述する。
観察画像取得部53は、観察対象Sが設置された観察対象支持部材81への励起光L2の照射によって、観察対象支持部材81および観察対象Sから発せられた蛍光であって、第1の蛍光フィルタ304aを通過した第1の蛍光L5を検出することによって観察対象Sが設置された観察対象支持部材81を撮像した蛍光画像(以下、第3の蛍光画像という)と、励起光L2の照射によって、観察対象支持部材81および観察対象Sから発せられた蛍光であって、第2の蛍光フィルタ304bを通過した第2の蛍光L6を検出することによって観察対象Sが設置された観察対象支持部材81を撮像した蛍光画像(以下、第4の蛍光画像という)を取得するものである。
なお、第3の蛍光画像と第4の蛍光画像は、同視野での励起光L2の照射によって撮像されるものである。これに対し、上述した第1の蛍光画像および第2の蛍光画像は、必ずしも同視野で撮像されたものでなくてもよく、別の視野で撮像された画像でもよい。
抽出処理部74は、第1の蛍光フィルタ304aを通過した第1の蛍光L5を検出することによって観察対象Sが設置された観察対象支持部材81を撮像した第3の蛍光画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と第4の蛍光画像とに基づいて、観察対象Sが抽出された抽出画像を生成するものである。なお、抽出画像の生成処理については、後で詳述する。
表示制御部75は、抽出処理部74において抽出処理の施された抽出画像を表示装置60に表示させるものである。
次に、本実施形態の顕微鏡システムの作用について、図11に示すフローチャートを参照しながら説明する。
まず、観察対象Sが設置されていない観察対象支持部材81と培養液Cが収容された培養容器80がステージ82上に設置される。そして、第1の蛍光フィルタ304aが蛍光の光路上に配置された状態で、励起光照射部20から観察対象支持部材81に向けて励起光L2が照射される。この励起光L2の照射によって観察対象支持部材81から発せられた蛍光であって、第1の蛍光フィルタ304aを通過した蛍光像が撮像部40によって撮像され、補正画像取得部71によって第1の蛍光画像が取得される(S30)。
次に、フィルタ部304の交換機構によって、第1の蛍光フィルタ304aが蛍光の光路上から外され、その代わりに第2の蛍光フィルタ304bが蛍光の光路上に配置される。そして、第2の蛍光フィルタ304bが蛍光の光路上に配置された状態で、励起光照射部20から観察対象支持部材81に向けて励起光L2が再び照射される。この励起光L2の照射によって観察対象支持部材81から発せられた蛍光であって、第2の蛍光フィルタ304bを通過した蛍光像が撮像部40によって撮像され、補正画像取得部71によって第2の蛍光画像が取得される(S32)。なお、図12Iは、第1の蛍光画像を模式的に示したものであり、図12IIは第2の蛍光画像を模式的に示した図である。
補正画像取得部71によって取得された第1の蛍光画像と第2の蛍光画像は、補正係数算出部72に出力される。そして、本実施形態の補正係数算出部72は、カラー画像である第1の蛍光画像からR(red)成分の蛍光画像(以下、第1のR成分蛍光画像という)とG(green)成分の蛍光画像(以下、第1のG成分蛍光画像という)とB(blue)成分の蛍光画像(以下、第1のB成分蛍光画像という)とを生成する。また、カラー画像である第2の蛍光画像からR(red)成分の蛍光画像(以下、第2のR成分蛍光画像という)とG(green)成分の蛍光画像(以下、第2のG成分蛍光画像という)とB(blue)成分の蛍光画像(以下、第2のB成分蛍光画像という)とを生成する。
そして、補正係数算出部72は、第1のR成分蛍光画像の濃度コントラストa(R)と第2のR成分蛍光画像の濃度コントラストb(R)とを算出し、これらの比b(R)/a(R)を補正係数f(R)として算出する(S34)。また、同様に、第1のG成分蛍光画像の濃度コントラストと第2のG成分蛍光画像の濃度コントラストに基づいて補正係数f(G)を算出し、第1のB成分蛍光画像の濃度コントラストと第2のB成分蛍光画像の濃度コントラストに基づいて補正係数f(B)を算出する。
なお、補正係数f(R),f(G)およびf(B)を算出する前に、第1および第2の蛍光画像に対してアンシャープマスク処理などの鮮鋭度強調処理を施すようにしてもよい。また、本実施形態においては、上述したように補正係数f(R),f(G)およびf(B)を算出する際、濃度コントラストの比を算出するようにしたが、濃度コントラストの比に限らず、たとえば画像を構成する画素の値の平均値、最大値、最小値または中央値などの比を求めるようにしてもよい。また、2つの画像の対応する画素値の比を補正係数f(R),f(G)およびf(B)として算出するようにしてもよい。この場合、画素毎に補正係数f(R),f(G)およびf(B)が算出される。
補正係数算出部72によって算出された補正係数f(R),f(G)およびf(B)は、抽出処理部74に出力される。
次に、観察対象Sが設置された観察対象支持部材81と培養液Cが収容された培養容器80がステージ82上に設置される。そして、再び第1の蛍光フィルタ304aが蛍光の光路上に配置された状態で、励起光照射部20から観察対象Sが設置された観察対象支持部材81に向けて励起光L2が照射される。この励起光L2の照射によって観察対象支持部材81および観察対象Sから発せられた蛍光であって、第1の蛍光フィルタ304aを通過した蛍光像が撮像部40によって撮像され、観察画像取得部73によって第3の蛍光画像が取得される(S36)。
次に、フィルタ部304の交換機構によって、第1の蛍光フィルタ304aが蛍光の光路上から外され、その代わりに第2の蛍光フィルタ304bが蛍光の光路上に配置される。そして、第2の蛍光フィルタ304bが蛍光の光路上に配置された状態で、励起光照射部20から観察対象支持部材81および観察対象Sに向けて励起光L2が再び照射される。この励起光L2の照射によって観察対象支持部材81から発せられた蛍光であって、第2の蛍光フィルタ304bを通過した蛍光像が撮像部40によって撮像され、観察画像取得部73によって第4の蛍光画像が取得される(S38)。
そして、観察画像取得部73によって取得された第3の蛍光画像と第4の蛍光画像は、抽出処理部74に出力される。なお、図13Iは、第3の蛍光画像を模式的に示したものであり、図13IIは第4の蛍光画像を模式的に示した図である。図13Iおよび図13IIに示すように、本実施形態においては、観察対象Sの細胞群から蛍光が発せられるので、第3および第4の蛍光画像上には観察対象Sの画像が現れる。
なお、ここで、上述した第1および第2の蛍光画像と同様に、第3および第4の蛍光画像に対してアンシャープマスク処理などの鮮鋭度強調処理を施すようにしてもよい。
次いで、抽出処理部74は、カラー画像である第3の蛍光画像からR(red)成分の蛍光画像(以下、第3のR成分蛍光画像という)とG(green)成分の蛍光画像(以下、第3のG成分蛍光画像という)とB(blue)成分の蛍光画像(以下、第3のB成分蛍光画像という)とを生成する。また、カラー画像である第4の蛍光画像からR(red)成分の蛍光画像(以下、第4のR成分蛍光画像という)とG(green)成分の蛍光画像(以下、第4のG成分蛍光画像という)とB(blue)成分の蛍光画像(以下、第4のB成分蛍光画像という)とを生成する。
そして、抽出処理部74は、第3のR成分蛍光画像に対して上述した補正係数f(R)を乗算し、R成分の補正画像を生成し、第3のG成分蛍光画像に対して上述した補正係数f(G)を乗算し、G成分の補正画像を生成し、第3のB成分蛍光画像に対して上述した補正係数f(B)を乗算し、B成分の補正画像を生成する(S40)。
次いで、抽出処理部74は、第4のR成分蛍光画像からR成分の補正画像を減算することによってR成分減算画像を生成し、第4のG成分蛍光画像からG成分の補正画像を減算することによってG成分減算画像を生成し、第4のB成分蛍光画像からB成分の補正画像を減算することによってB成分減算画像を生成する。
上述したように減算処理を行うことによって、観察対象支持部材81のR成分、G成分およびB成分の画像は除かれるが、観察対象支持部材81の蛍光像と観察対象Sの蛍光像とはR成分、G成分およびB成分のバランスが異なるので、R成分減算画像、G成分減算画像およびB成分減算画像は、観察対象Sが抽出された画像となる。
そして、抽出処理部74は、上記第1の実施形態と同様に、R成分減算画像、G成分減算画像およびB成分減算画像に対してモルフォロジー処理のクロージング処理などを施すことによって、観察対象支持部材81と観察対象Sとが重なった部分を埋める処理を行って、R成分抽出画像、G成分抽出画像およびB成分抽出画像を生成する(S42)
抽出処理部74によって生成されたR成分抽出画像、G成分抽出画像およびB成分抽出画像は表示制御部75に出力され、表示制御部75は、入力されたG成分抽出画像およびB成分抽出画像に基づいて、表示装置60にカラーの抽出画像を表示させる(S44)。
上記第2の実施形態の顕微鏡システムによれば、観察対象Sが設置されていない観察対象支持部材81への励起光の照射によって、第1の蛍光フィルタ304aを通過した第1の蛍光画像と第2の蛍光フィルタ304bを通過した第2の蛍光画像とを取得し、第1および第2の蛍光画像に基づいて補正係数を算出し、観察対象Sが設置された観察対象支持部材81への励起光の照射によって、第1の蛍光フィルタ304aを通過した第3の蛍光画像と第2の蛍光フィルタ304bを通過した第4の蛍光画像とを取得する。そして、第3の蛍光画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と第4の蛍光画像とに基づいて、観察対象が抽出された抽出画像を生成するようにしたので、観察対象支持部材81が不規則なパターンを有する場合でも、観察対象支持部材81のパターンが適切に除かれ、観察対象Sが抽出された抽出画像を生成することができる。
なお、上記第2の実施形態の顕微鏡システム(観察画像撮像表示制御システムに相当する)においても、第1の実施形態と同様に、顕微鏡本体2(撮像装置に相当する)と観察対象抽出処理装置70とを自動的に制御する制御部と、ユーザによる撮像開始指示の入力を受け付ける撮像開始指示受付部とを設け、制御部が、撮像開始指示受付部によって受け付けられた撮像開始指示の入力に応じて、上述した第1から第4の蛍光画像の撮像と、第1から第4の蛍光画像を用いた抽出画像の生成と、抽出画像の表示とを連続して自動的に行うようにしてもよい。なお、この際、第1および第2の蛍光画像の撮像から抽出画像の表示までの一例の動作を1分以内で完了することが望ましい。
また、上記第2の実施形態の顕微鏡システムにおいては、観察対象Sが設置されていない観察対象支持部材81を撮像した第1の蛍光画像と第2の蛍光画像を用いて補正係数を算出するようにしたが、画質は多少劣化する可能性はあるが、第1の蛍光画像と第2の蛍光画像の撮像を行うことなく、観察対象Sが設置された観察対象支持部材81を撮像した第3の蛍光画像と第4の蛍光画像を用いて補正係数を算出するようにしてもよい。
また、この場合も、制御部が、撮像開始指示受付部によって受け付けられた撮像開始指示の入力に応じて、上述した第3および第4の蛍光画像の撮像と、第3および第4の蛍光画像を用いた抽出画像の生成と、抽出画像の表示とを連続して自動的に行うようにしてもよい。そして、この場合も、第3および第4の蛍光画像の撮像から抽出画像の表示までの一例の動作を1分以内で完了することが望ましい。
次に、本発明の観察対象抽出処理装置の第3の実施形態を用いた顕微鏡システムについて説明する。図14は、本発明の観察対象抽出処理装置の第3の実施形態を用いた顕微鏡システムの概略構成を示す図である。
第3の実施形態の顕微鏡システムは、顕微鏡本体3と、観察対象抽出処理装置90と、表示装置60とを備えている。第3の実施形態の顕微鏡システムは、第1の実施形態の顕微鏡システムとは、顕微鏡本体2の構成が異なり、また、観察対象抽出処理装置90における抽出画像の生成処理が異なる。
第3の実施形態の顕微鏡本体3は、第1の実施形態の顕微鏡本体1のように励起光の照射による蛍光画像の撮像は行わず、可視光の照射によって観察対象Sおよび観察対象支持部材81を透過した透過光を、分光感度の異なる撮像部によって撮像するものである。
第3の実施形態の顕微鏡本体3は、具体的には、図14に示すように、可視光照射部10と、結像光学系310と、撮像部400とを備えている。なお、図14に示す培養容器80と、培養容器80内に収容された観察対象S、培養液Cおよび観察対象支持部材81と、ステージ82とは、第1の実施形態と同様である。
可視光照射部10は、第1の実施形態と同様に、白色光源11と、スリット板12と、第1の対物レンズ13とを備え、培養容器80内に収容された観察対象Sおよび観察対象支持部材81に対して、リング状照明光L1を照射するものである。
結像光学系310は、第2の対物レンズ311と、位相板312と、結像レンズ313とを備えたものである。
第2の対物レンズ311は、結像光学系駆動部(図示省略)によってZ方向に移動するものである。この第2の対物レンズ311のZ方向への移動によってオートフォーカス制御が行われ、撮像部400によって撮像される画像のコントラストが調整される。
位相板312は、第1の実施形態の位相板32と同様の構成である。
結像レンズ313は、位相板312を通過した透過光L3(直接光および回折光)が入射され、この透過光L3を撮像部400に結像するものである。
撮像部400は、結像レンズ313によって結像された透過像を撮像するものであるが、本実施形態の撮像部400は、上述したように分光感度の異なる2種類の撮像部を備えたものである。
具体的には、本実施形態の撮像部400は、図14に示すように、第1の撮像部41と第2の撮像部42とこれらの撮像部を交換する交換機構(図示省略)とを備えている。第1の撮像部41と第2の撮像部42は、上述したようにそれぞれ異なる分光感度を有するものであり、たとえば第1の撮像部41は、可視光帯域以外の帯域に分光感度を有するものであり、第2の撮像部42は、可視光帯域に分光感度を有するものである。第1の撮像部41としては、たとえば赤外光または紫外光に分光感度を有するものを用いることができる。
なお、可視光帯域に分光感度を有するとは、可視光帯域に対する感度が可視光帯域以外の帯域に対する感度よりも相対的に高ければよい。また、逆に、可視光帯域以外の帯域に分光感度を有するとは、可視光帯域以外の帯域に対する感度が可視光帯域に対する感度よりも相対的に高ければよい。
第3の実施形態の観察対象抽出処理装置90は、第1の実施形態の観察対象抽出処理装置50と同様に、補正画像取得部91、補正係数算出部92、観察画像取得部93、抽出処理部94および表示制御部95を備えている。
補正画像取得部91は、観察対象Sが設置されていない観察対象支持部材81へのリング状照明光L1の照射によって、観察対象支持部材81を透過した透過光L3を第1の撮像部41により検出することによって観察対象支持部材81を撮像した透過画像(以下、第1の透過画像という)と、リング状照明光L1の照射によって、観察対象支持部材81を透過した透過光L3を第2の撮像部により検出することによって観察対象支持部材81を撮像した透過画像(以下、第2の透過画像という)とを取得するものである。
補正係数算出部92は、補正画像取得部91によって取得された第1および第2の透過画像に基づいて補正係数を算出するものである。補正係数の算出方法については、後で詳述する。
観察画像取得部93は、観察対象Sが設置された観察対象支持部材81へのリング状照明光L1の照射によって、観察対象支持部材81および観察対象Sを透過した透過光L3を第1の撮像部41により検出することによって観察対象Sが設置された観察対象支持部材81を撮像した透過画像(以下、第3の透過画像という)と、リング状照明光L1の照射によって、観察対象支持部材81および観察対象Sを透過した透過光L3を第2の撮像部42により検出することによって観察対象Sが設置された観察対象支持部材81を撮像した透過画像(以下、第4の透過画像という)とを取得するものである。
なお、第3の透過画像と第4の透過画像は、同視野でのリング状照明光L1の照射によって撮像されるものである。これに対し、上述した第1の透過画像および第2の透過画像は、必ずしも同視野で撮像されたものでなくてもよく、別の視野で撮像された画像でもよい。
抽出処理部94は、第1の撮像部41によって撮像された第3の透過画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と第4の透過画像とに基づいて、観察対象Sが抽出された抽出画像を生成するものである。なお、抽出画像の生成処理については、後で詳述する。
表示制御部95は、抽出処理部94において抽出処理の施された抽出画像を表示装置60に表示させるものである。
次に、本実施形態の顕微鏡システムの作用について、図15に示すフローチャートを参照しながら説明する。
まず、観察対象Sが設置されていない観察対象支持部材81と培養液Cが収容された培養容器80がステージ82上に設置される。そして、結像レンズ313の結像位置に第1の撮像部41が設置された状態で、可視光照射部10から観察対象支持部材81に向けてリング状照明光L1が照射され、観察対象支持部材81を透過した透過光L3が第1の撮像部41により検出され、補正画像取得部91によって第1の透過画像が取得される(S50)。
次に、撮像部400の交換機構によって、結像レンズ313の結像位置から第1の撮像部41が外され、その代わりに結像レンズ313の結像位置に第2の撮像部42が配置される。そして、結像レンズ313の結像位置に第2の撮像部42が配置された状態で、可視光照射部10から観察対象支持部材81に向けてリング状照明光L1が照射され、観察対象支持部材81を透過した透過光L3が第2の撮像部42によって検出され、補正画像取得部91によって第2の透過画像が取得される(S52)。
補正画像取得部91によって取得された第1の透過画像と第2の透過画像は、補正係数算出部92に出力される。そして、本実施形態の補正係数算出部92は、第1の透過画像からR(red)成分の透過画像(以下、第1のR成分透過画像という)とG(green)成分の透過画像(以下、第1のG成分透過画像という)とB(blue)成分の透過画像(以下、第1のB成分透過画像という)とを生成する。また、第2の透過画像からR(red)成分の透過画像(以下、第2のR成分透過画像という)とG(green)成分の透過画像(以下、第2のG成分透過画像という)とB(blue)成分の透過画像(以下、第2のB成分透過画像という)とを生成する。
そして、補正係数算出部92は、第1のR成分透過画像の濃度コントラストa(R)と第2のR成分透過画像の濃度コントラストb(R)とを算出し、これらの比b(R)/a(R)を補正係数f(R)として算出する(S54)。また、同様に、第1のG成分透過画像の濃度コントラストと第2のG成分透過画像の濃度コントラストに基づいて補正係数f(G)を算出し、第1のB成分透過画像の濃度コントラストと第2のB成分透過画像の濃度コントラストに基づいて補正係数f(B)を算出する。
なお、補正係数f(R),f(G)およびf(B)を算出する前に、第1および第2の透過画像に対して、上述した培養液Cの色を抑制するレベル補正処理を施すようにしてもよい。また、本実施形態においては、上述したように補正係数f(R),f(G)およびf(B)を算出する際、濃度コントラストの比を算出するようにしたが、濃度コントラストの比に限らず、たとえば画像を構成する画素の値の平均値、最大値、最小値または中央値などの比を求めるようにしてもよい。また、2つの画像の対応する画素値の比を補正係数f(R),f(G)およびf(B)として算出するようにしてもよい。この場合、画素毎に補正係数f(R),f(G)およびf(B)が算出される。
補正係数算出部92によって算出された補正係数f(R),f(G)およびf(B)は、抽出処理部94に出力される。
次に、観察対象Sが設置された観察対象支持部材81と培養液Cが収容された培養容器80がステージ82上に設置される。そして、結像レンズ313の結像位置に第1の撮像部41が再び設置された状態で、可視光照射部10から観察対象Sが設置された観察対象支持部材81に向けてリング状照明光L1が照射され、観察対象支持部材81および観察対象Sを透過した透過光L3が第1の撮像部41によって検出され、観察画像取得部93によって第3の透過画像が取得される(S56)。
次に、撮像部400の交換機構によって、結像レンズ313の結像位置から第1の撮像部41が外され、その代わりに結像レンズ313の結像位置に第2の撮像部42が配置される。そして、結像レンズ313の結像位置に第2の撮像部42が配置された状態で、可視光照射部10から観察対象Sが設置された観察対象支持部材81に向けてリング状照明光L1が照射され、観察対象支持部材81および観察対象Sを透過した透過光L3が第2の撮像部42によって検出され、観察画像取得部93によって第4の透過画像が取得される(S58)。
そして、観察画像取得部93によって取得された第3の透過画像と第4の透過画像は、抽出処理部94に出力される。なお、本実施形態においては、第3および第4の透過画像の両方に観察対象Sの画像が現れる。
なお、ここで、上述した第1および第2の透過画像と同様に、第3および第4の透過画像に対してレベル補正処理を施すようにしてもよい。
次いで、抽出処理部94は、第3の透過画像からR(red)成分の透過画像(以下、第3のR成分透過画像という)とG(green)成分の透過画像(以下、第3のG成分透過画像という)とB(blue)成分の透過画像(以下、第3のB成分透過画像という)とを生成する。また、第4の透過画像からR(red)成分の透過画像(以下、第4のR成分透過画像という)とG(green)成分の透過画像(以下、第4のG成分透過画像という)とB(blue)成分の透過画像(以下、第4のB成分透過画像という)とを生成する。
そして、抽出処理部94は、第3のR成分透過画像に対して上述した補正係数f(R)を乗算し、R成分の補正画像を生成し、第3のG成分透過画像に対して上述した補正係数f(G)を乗算し、G成分の補正画像を生成し、第3のB成分透過画像に対して上述した補正係数f(B)を乗算し、B成分の補正画像を生成する(S60)。
次いで、抽出処理部94は、第4のR成分透過画像からR成分の補正画像を減算することによってR成分減算画像を生成し、第4のG成分透過画像からG成分の補正画像を減算することによってG成分減算画像を生成し、第4のB成分透過画像からB成分の補正画像を減算することによってB成分減算画像を生成する。
上述したように減算処理を行うことによって、観察対象支持部材81のR成分、G成分およびB成分の画像は除かれるが、観察対象支持部材81の透過画像と観察対象Sの透過画像とはR成分、G成分およびB成分のバランスが異なるので、R成分減算画像、G成分減算画像およびB成分減算画像は、観察対象Sが抽出された画像となる。
そして、抽出処理部94は、上記第1の実施形態と同様に、R成分減算画像、G成分減算画像およびB成分減算画像に対してモルフォロジー処理のクロージング処理などを施すことによって、観察対象支持部材81と観察対象Sとが重なった部分を埋める処理を行って、R成分抽出画像、G成分抽出画像およびB成分抽出画像を生成する(S62)。
抽出処理部94によって生成されたR成分抽出画像、G成分抽出画像およびB成分抽出画像は表示制御部95に出力され、表示制御部95は、入力されたG成分抽出画像およびB成分抽出画像に基づいて、表示装置60にカラーの抽出画像を表示させる(S64)。
上記第3の実施形態の顕微鏡システムによれば、観察対象Sが設置されていない観察対象支持部材81への可視光の照射によって、第1の撮像部41によって撮像された第1の透過画像と第2の撮像部42によって撮像された第2の透過画像とを取得し、第1および第2の透過画像に基づいて補正係数を算出し、観察対象Sが設置された観察対象支持部材81への可視光の照射によって、第1の撮像部41によって撮像された第3の透過画像と第2の撮像部よって撮像された第4の透過画像とを取得する。そして、第3の透過画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と第4の透過画像とに基づいて、観察対象が抽出された抽出画像を生成するようにしたので、観察対象支持部材81が不規則なパターンを有する場合でも、観察対象支持部材81のパターンが適切に除かれ、観察対象Sが抽出された抽出画像を生成することができる。
なお、上記第3の実施形態の顕微鏡システム(観察画像撮像表示制御システムに相当する)においても、第1の実施形態と同様に、顕微鏡本体3(撮像装置に相当する)と観察対象抽出処理装置90とを自動的に制御する制御部と、ユーザによる撮像開始指示の入力を受け付ける撮像開始指示受付部とを設け、制御部が、撮像開始指示受付部によって受け付けられた撮像開始指示の入力に応じて、上述した第1から第4の透過画像の撮像と、第1から第4の透過画像を用いた抽出画像の生成と、抽出画像の表示とを連続して自動的に行うようにしてもよい。なお、この際、第1および第2の透過画像の撮像から抽出画像の表示までの一例の動作を1分以内で完了することが望ましい。
また、上記第3の実施形態の顕微鏡システムにおいては、観察対象Sが設置されていない観察対象支持部材81を撮像した第1の透過画像と第2の透過画像を用いて補正係数を算出するようにしたが、画質は多少劣化する可能性はあるが、第1の透過画像と第2の透過画像の撮像を行うことなく、観察対象Sが設置された観察対象支持部材81を撮像した第3の透過画像と第4の透過画像を用いて補正係数を算出するようにしてもよい。
また、この場合も、制御部が、撮像開始指示受付部によって受け付けられた撮像開始指示の入力に応じて、上述した第3および第4の透過画像の撮像と、第3および第4の透過を用いた抽出画像の生成と、抽出画像の表示とを連続して自動的に行うようにしてもよい。この場合も、第3および第4の透過画像の撮像から抽出画像の表示までの一例の動作を1分以内で完了することが望ましい。
また、上記第1から第3の実施形態の顕微鏡システムにおいては、透過画像として位相差画像を撮像するようにしたが、これに限らず、明視野画像を撮像する構成としてもよい。
また、上記第1から第3の実施形態の顕微鏡システムにおいて、観察対象抽出処理装置が、抽出処理部において生成された抽出画像を保存する機能を有していることが望ましい。抽出画像を保存する場所としては、観察対象抽出処理装置内でもよいし、通信ネットワークを介してクラウドサーバなどに保存するようにしてもよい。
また、上記第1から第3の実施形態の顕微鏡システムにおいては、観察対象支持部材81に設置された観察対象Sの撮像範囲を複数の範囲に分割して撮像することによって複数の部分抽出画像を生成し、この複数の部分抽出画像をタイリングすることによって1つの抽出画像を生成するようにしてもよい。
1,2,3 顕微鏡本体
10 可視光照射部
11 白色光源
12 スリット板
12a スリット
12b 遮光板
13 第1の対物レンズ
20 励起光照射部
21 励起光源
22 コリメートレンズ
30 結像光学系
31 第2の対物レンズ
32 位相板
32a 位相リング
32b 透明板
33 ハーフミラー
34 結像レンズ
40 撮像部
41 第1の撮像部
42 第2の撮像部
50,70,90 観察対象抽出処理装置
51,71,91 補正画像取得部
52,72,92 補正係数算出部
53,73,93 観察画像取得部
54,74,94抽出処理部
55,75,95表示制御部
60 表示装置
80 培養容器
81 観察対象支持部材
82 ステージ
300 結像光学系
301 対物レンズ
302 ハーフミラー
303 結像レンズ
304 フィルタ部
304a 第1の蛍光フィルタ
304b 第2の蛍光フィルタ
310 結像光学系
311 第2の対物レンズ
312 位相板
313 結像レンズ
400 撮像部
500 制御部
501 撮像開始指示受付部

Claims (27)

  1. 観察対象を支持するシート状の観察対象支持部材へ光を照射し、該観察対象支持部材から出射された光を検出することによって前記観察対象支持部材を撮像した分光特性の異なる2種類の第1および第2の画像を取得する補正画像取得部と、
    前記第1および第2の画像に基づいて補正係数を算出する補正係数算出部と、
    前記観察対象が設置された前記観察対象支持部材へ光を照射し、該観察対象が設置された観察対象支持部材から出射された光を検出することによって前記観察対象が設置された観察対象支持部材を撮像した分光特性の異なる2種類の第3および第4の画像を取得する観察画像取得部と、
    前記第3および第4の画像のうちの一方の画像を前記補正係数に基づいて補正して補正画像を生成し、該補正画像と他方の画像とに基づいて、前記観察対象が抽出された抽出画像を生成する抽出処理部とを備えたことを特徴とする観察対象抽出処理装置。
  2. 前記第1および第2の画像が、前記観察対象支持部材へ分光特性の異なる2種類の光をそれぞれ照射し、該観察対象支持部材から出射された光をそれぞれ検出することによって前記観察対象支持部材を撮像した画像であり、
    前記第3および第4の画像が、前記観察対象が設置された観察対象支持部材へ前記2種類の光をそれぞれ照射し、該観察対象が設置された観察対象支持部材から出射された光をそれぞれ検出することによって前記観察対象が設置された観察対象支持部材を撮像した画像である請求項1記載の観察対象抽出処理装置。
  3. 前記第1および前記第2の画像が、前記観察対象支持部材へ励起光を照射し、該観察対象支持部材から発せられた蛍光を検出することによって前記観察対象支持部材を撮像した蛍光画像と、前記観察対象支持部材へ可視光を照射し、該観察対象支持部材を透過した透過光を検出することによって前記観察対象支持部材を撮像した透過画像であり、
    前記第3および前記第4の画像が、前記観察対象が設置された観察対象支持部材へ前記励起光を照射し、該観察対象が設置された観察対象支持部材から発せられた蛍光を検出することによって前記観察対象が設置された観察対象支持部材を撮像した蛍光画像と、前記観察対象が設置された観察対象支持部材へ前記可視光を照射し、該観察対象が設置された観察対象支持部材を透過した透過光を検出することによって前記観察対象が設置された観察対象支持部材を撮像した透過画像である請求項2記載の観察対象抽出処理装置。
  4. 前記補正係数算出部が、前記第1および前記第2の画像のうちの前記蛍光画像に対して鮮鋭度強調処理を施し、前記第1および前記第2の画像のうちの前記透過画像に対して、前記観察対象を培養する培地成分の画像を抑制するレベル補正処理を施し、前記鮮鋭度強調処理の施された蛍光画像と前記レベル補正処理の施された透過画像に基づいて、前記補正係数を算出する請求項3記載の観察対象抽出処理装置。
  5. 前記抽出処理部が、前記第3および前記第4の画像のうちの前記蛍光画像に対して鮮鋭度強調処理を施し、前記第3および前記第4の画像のうちの前記透過画像に対して、前記観察対象を培養する培地成分の画像を抑制するレベル補正処理を施し、前記鮮鋭度強調処理の施された蛍光画像を用いて前記補正画像を生成し、該補正画像と前記レベル補正処理の施された透過画像とを用いて前記抽出画像を生成する請求項3または4記載の観察対象抽出処理装置。
  6. 前記第1および第2の画像が、前記観察対象支持部材へ光を照射し、該観察対象支持部材から出射された光であって分光特性の異なる2種類のフィルタを通過した光を検出することによって前記観察対象支持部材を撮像した画像であり、
    前記第3および第4の画像が、前記観察対象が設置された観察対象支持部材へ光を照射し、該観察対象が設置された観察対象支持部材から出射された光であって分光特性の異なる2種類のフィルタを通過した光を検出することによって前記観察対象が設置された観察対象支持部材を撮像した画像である請求項1記載の観察対象抽出処理装置。
  7. 前記第1および前記第2の画像が、前記観察対象支持部材へ励起光を照射し、該観察対象支持部材から発せられた蛍光のうちの第1のフィルタを通過した第1の蛍光成分を検出することによって前記観察対象支持部材を撮像した第1の蛍光画像と、前記蛍光のうちの第2のフィルタを通過した第2の蛍光成分を検出することによって前記観察対象支持部材を撮像した第2の蛍光画像であり、
    前記第3および前記第4の画像が、前記観察対象が設置された観察対象支持部材へ前記励起光を照射し、前記観察対象が設置された観察対象支持部材から発せられた蛍光のうちの前記第1のフィルタを通過した第3の蛍光成分を検出することによって前記観察対象が設置された観察対象支持部材を撮像した第3の蛍光画像と、前記蛍光のうちの前記第2のフィルタを通過した第4の蛍光成分を検出することによって前記観察対象が設置された観察対象支持部材を撮像した第4の蛍光画像である請求項6記載の観察対象抽出処理装置。
  8. 前記補正係数算出部が、前記第1および前記第2の蛍光画像に対して鮮鋭度強調処理を施し、該鮮鋭度強調処理の施された第1および第2の蛍光画像を用いて前記補正係数を算出する請求項7記載の観察対象抽出処理装置。
  9. 前記抽出処理部が、前記第3および前記第4の蛍光画像に対して鮮鋭度強調処理を施し、該鮮鋭度強調処理の施された第3または第4の蛍光画像を用いて前記補正画像を生成し、該補正画像と前記第3または前記第4の蛍光画像とを用いて前記抽出画像を生成する請求項7または8記載の観察対象抽出処理装置。
  10. 前記第1および第2の画像が、前記観察対象支持部材から出射された光を分光感度の異なる撮像部によりそれぞれ検出することによって前記観察対象支持部材を撮像した画像であり、
    前記第3および第4の画像が、前記観察対象が設置された観察対象支持部材から出射された光を前記分光感度の異なる撮像部によりそれぞれ検出することによって前記観察対象支持部材が設置された観察対象支持部材を撮像した画像である請求項1記載の観察対象抽出処理装置。
  11. 前記第1および前記第2の画像が、前記観察対象支持部材へ可視光を照射し、前記観察対象支持部材を透過した透過光を第1の撮像部により検出することによって前記観察対象支持部材を撮像した第1の透過画像と、前記透過光を第2の撮像部により検出することによって前記観察対象支持部材を撮像した第2の透過画像であり、
    前記第3および前記第4の画像が、前記観察対象が設置された観察対象支持部材へ前記可視光を照射し、前記観察対象が設置された前記観察対象支持部材を透過した透過光を前記第1の撮像部により検出することによって前記観察対象が設置された観察対象支持部材を撮像した第3の透過画像と、前記透過光を前記第2の撮像部により検出することによって前記観察対象が設置された前記観察対象支持部材を撮像した第4の透過画像である請求項10記載の観察対象抽出処理装置。
  12. 前記第1の撮像部の分光感度が可視光帯域以外の帯域であり、前記第2の撮像部の分光感度が可視光帯域である請求項10または11記載の観察対象抽出処理装置。
  13. 前記補正係数算出部が、前記第1および前記第2の透過画像に対して、前記観察対象を培養する培地成分の画像を抑制するレベル補正処理を施し、該レベル補正処理の施された第1および第2の透過画像を用いて前記補正係数を算出する請求項11記載の観察対象抽出処理装置。
  14. 前記抽出処理部が、前記第3および前記第4の透過画像に対して、前記観察対象を培養する培地成分の画像を抑制するレベル補正処理を施し、該レベル補正処理の施された第3または第4の透過画像を用いて前記補正画像を生成し、該補正画像と前記第3または前記第4の透過画像とを用いて前記抽出画像を生成する請求項11または13記載の観察対象抽出処理装置。
  15. 前記補正係数算出部が、前記第1の画像と第2の画像の濃度情報の比に基づいて前記補正係数を算出する請求項1から14いずれか1項記載の観察対象抽出処理装置。
  16. 前記抽出処理部が、前記他方の画像から前記補正画像を減算した減算画像を生成し、該減算画像に対してモルフォロジー処理を施すことによって前記抽出画像を生成する請求項1から15いずれか1項記載の観察対象抽出処理装置。
  17. 前記観察対象支持部材が、平面方向にパターンを有するシートである請求項1から16いずれか1項記載の観察対象抽出処理装置。
  18. 前記パターンが、不規則性を有する請求項17記載の観察対象抽出処理装置。
  19. 前記パターンが、規則性を有する請求項17記載の観察対象抽出処理装置。
  20. 前記シートが、ハニカムフィルムである請求項19記載の観察対象抽出処理装置。
  21. 観察対象が設置された、前記観察対象を支持するシート状の観察対象支持部材へ光を照射し、前記観察対象が設置された観察対象支持部材から出射された光を検出することによって前記観察対象が設置された観察対象支持部材を撮像した分光特性の異なる2種類の画像を取得する観察画像取得部と、
    前記2種類の画像に基づいて補正係数を算出する補正係数算出部と、
    前記2種類の画像のうちの一方の画像を前記補正係数に基づいて補正して補正画像を生成し、該補正画像と他方の画像とに基づいて、前記観察対象が抽出された抽出画像を生成する抽出処理部とを備えたことを特徴とする観察対象抽出処理装置。
  22. 観察対象を支持するシート状の観察対象支持部材へ光を照射し、該観察対象支持部材から出射された光を検出することによって前記観察対象支持部材を撮像した分光特性の異なる2種類の第1および第2の画像を取得し、
    前記第1および第2の画像に基づいて補正係数を算出し、
    前記観察対象が設置された前記観察対象支持部材へ光を照射し、該観察対象の設置された観察対象支持部材から出射された光を検出することによって前記観察対象が設置された観察対象支持部材を撮像した分光特性の異なる2種類の第3および第4の画像を取得し、
    前記第3および第4の画像のうちの一方の画像を前記補正係数に基づいて補正して補正画像を生成し、該補正画像と他方の画像とに基づいて、前記観察対象が抽出された抽出画像を生成することを特徴とする観察対象抽出処理方法。
  23. 観察対象が設置された、前記観察対象を支持するシート状の観察対象支持部材へ光を照射し、該観察対象が設置された観察対象支持部材から出射された光を検出することによって前記観察対象が設置された観察対象支持部材を撮像して分光特性の異なる2種類の画像を取得し、
    前記2種類の画像に基づいて補正係数を算出し、
    前記2種類の画像のうちの一方の画像を前記補正係数に基づいて補正して補正画像を生成し、該補正画像と他方の画像とに基づいて、前記観察対象が抽出された抽出画像を生成することを特徴とする観察対象抽出処理方法。
  24. 観察対象を支持するシート状の観察対象支持部材へ光を照射し、該観察対象支持部材から出射された光を検出することによって前記観察対象支持部材を撮像した分光特性の異なる2種類の第1および第2の画像を取得する補正画像取得部と、
    前記第1および第2の画像に基づいて補正係数を算出する補正係数算出部と、
    前記観察対象が設置された前記観察対象支持部材へ光を照射し、該観察対象が設置された観察対象支持部材から出射された光を検出することによって前記観察対象が設置された観察対象支持部材を撮像した分光特性の異なる2種類の第3および第4の画像を取得する観察画像取得部と、
    前記第3および第4の画像のうちの一方の画像を前記補正係数に基づいて補正して補正画像を生成し、該補正画像と他方の画像とに基づいて、前記観察対象が抽出された抽出画像を生成する抽出処理部としてコンピュータを機能させることを特徴とする観察対象抽出処理プログラム。
  25. 観察対象が設置された、前記観察対象を支持するシート状の観察対象支持部材へ光を照射し、前記観察対象が設置された観察対象支持部材から出射された光を検出することによって分光特性の異なる2種類の画像を取得する観察画像取得部と、
    前記2種類の画像に基づいて補正係数を算出する補正係数算出部と、
    前記2種類の画像のうちの一方の画像を前記補正係数に基づいて補正して補正画像を生成し、該補正画像と他方の画像とに基づいて、前記観察対象が抽出された抽出画像を生成する抽出処理部としてコンピュータを機能させることを特徴とする観察対象抽出処理プログラム。
  26. 請求項1から20いずれか1項記載の観察対象抽出処理装置と、
    前記第1から第4の画像を撮像する撮像装置と、
    該撮像装置における前記第1から第4の画像の撮像と、前記観察対象抽出処理装置における前記第1から第4の画像に基づく前記抽出画像の生成と、前記抽出画像の表示とを制御する制御部と、
    撮像開始指示の入力を受け付ける撮像開始指示受付部とを備え、
    前記制御部が、前記撮像開始指示の入力に応じて、前記第1から第4の画像の撮像と、前記第1から第4の画像に基づく前記抽出画像の生成と、前記抽出画像の表示とを連続して自動的に行うことを特徴とする観察画像撮像表示制御システム。
  27. 請求項21記載の観察対象抽出処理装置と、
    前記2種類の画像を撮像する撮像装置と、
    該撮像装置における前記2種類の画像の撮像と、前記観察対象抽出処理装置における前記2種類の画像に基づく前記抽出画像の生成と、前記抽出画像の表示とを制御する制御部と、
    撮像開始指示の入力を受け付ける撮像開始指示受付部とを備え、
    前記制御部が、前記撮像開始指示の入力に応じて、前記2種類の画像の撮像と、前記2種類の画像に基づく前記抽出画像の生成と、前記抽出画像の表示とを連続して自動的に行うことを特徴とする観察画像撮像表示制御システム。
JP2014236114A 2014-11-21 2014-11-21 観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システム Expired - Fee Related JP6371686B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014236114A JP6371686B2 (ja) 2014-11-21 2014-11-21 観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014236114A JP6371686B2 (ja) 2014-11-21 2014-11-21 観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018073694A Division JP6587709B2 (ja) 2018-04-06 2018-04-06 観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システム

Publications (2)

Publication Number Publication Date
JP2016099486A true JP2016099486A (ja) 2016-05-30
JP6371686B2 JP6371686B2 (ja) 2018-08-08

Family

ID=56077773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014236114A Expired - Fee Related JP6371686B2 (ja) 2014-11-21 2014-11-21 観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システム

Country Status (1)

Country Link
JP (1) JP6371686B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020188717A (ja) * 2019-05-21 2020-11-26 株式会社ニコン 細胞の数、形態又は形状を測定する方法及び装置
JP2022506227A (ja) * 2018-11-02 2022-01-17 ホロジック, インコーポレイテッド デジタル撮像システムおよび方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002257730A (ja) * 2000-12-26 2002-09-11 Olympus Optical Co Ltd 蛍光輝度測定方法及び装置
JP2002272498A (ja) * 2001-03-21 2002-09-24 Olympus Optical Co Ltd 生化学的検査方法
JP2004286453A (ja) * 2003-03-19 2004-10-14 Aisin Seiki Co Ltd 蛍光読取装置
JP2008014689A (ja) * 2006-07-04 2008-01-24 Matsushita Electric Ind Co Ltd 蛍光読取装置および位置補正用チップ
JP2008064977A (ja) * 2006-09-06 2008-03-21 Olympus Corp 顕微鏡装置の制御方法、顕微鏡装置
US20110299720A1 (en) * 2010-03-18 2011-12-08 The Regents Of The University Of California Systems and methods for material layer identification through image processing
WO2012035705A1 (ja) * 2010-09-17 2012-03-22 国立大学法人東北大学 抗体を成分として含む医薬品の有効性の判定方法
JP2013236564A (ja) * 2012-05-11 2013-11-28 Nikon Corp 細胞評価装置、細胞評価方法およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002257730A (ja) * 2000-12-26 2002-09-11 Olympus Optical Co Ltd 蛍光輝度測定方法及び装置
JP2002272498A (ja) * 2001-03-21 2002-09-24 Olympus Optical Co Ltd 生化学的検査方法
JP2004286453A (ja) * 2003-03-19 2004-10-14 Aisin Seiki Co Ltd 蛍光読取装置
JP2008014689A (ja) * 2006-07-04 2008-01-24 Matsushita Electric Ind Co Ltd 蛍光読取装置および位置補正用チップ
JP2008064977A (ja) * 2006-09-06 2008-03-21 Olympus Corp 顕微鏡装置の制御方法、顕微鏡装置
US20110299720A1 (en) * 2010-03-18 2011-12-08 The Regents Of The University Of California Systems and methods for material layer identification through image processing
WO2012035705A1 (ja) * 2010-09-17 2012-03-22 国立大学法人東北大学 抗体を成分として含む医薬品の有効性の判定方法
JP2013236564A (ja) * 2012-05-11 2013-11-28 Nikon Corp 細胞評価装置、細胞評価方法およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022506227A (ja) * 2018-11-02 2022-01-17 ホロジック, インコーポレイテッド デジタル撮像システムおよび方法
US11977215B2 (en) 2018-11-02 2024-05-07 Hologic, Inc. Digital imaging system and method
JP2020188717A (ja) * 2019-05-21 2020-11-26 株式会社ニコン 細胞の数、形態又は形状を測定する方法及び装置
JP7275849B2 (ja) 2019-05-21 2023-05-18 株式会社ニコン 細胞の数、形態又は形状を測定する方法及び装置

Also Published As

Publication number Publication date
JP6371686B2 (ja) 2018-08-08

Similar Documents

Publication Publication Date Title
JP6219214B2 (ja) 細胞撮像制御装置および方法並びにプログラム
JP6675279B2 (ja) 撮影装置および方法並びに撮影制御プログラム
JP6371686B2 (ja) 観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システム
WO2018154924A1 (ja) 顕微鏡装置および観察方法並びに顕微鏡装置制御プログラム
US10659694B2 (en) Imaging device, imaging method and imaging device control program
Bimber et al. Closed-loop feedback illumination for optical inverse tone-mapping in light microscopy
WO2018179946A1 (ja) 観察装置および観察制御方法並びに観察制御プログラム
JP6562807B2 (ja) 顕微鏡装置および結像方法
JP6587709B2 (ja) 観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システム
JP6499506B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP6580012B2 (ja) 撮影画像評価装置および方法並びにプログラム
WO2018061756A1 (ja) 観察装置および方法並びに観察装置制御プログラム
JP6609967B2 (ja) 判定装置、判定システム、判定プログラム、及び細胞の製造方法
WO2018061635A1 (ja) 観察装置および方法並びに観察装置制御プログラム
JPWO2017195794A1 (ja) 細胞観察装置及びプログラム
JP6993423B2 (ja) 撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム
JP6534294B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP6522535B2 (ja) 細胞観察装置および方法
JP6534295B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP2016161610A (ja) 撮像装置および方法
US11415505B2 (en) Method and system for observing a sample under ambient lighting
JP2016186446A (ja) 細胞分化情報取得装置および方法並びにプログラム
US20200217781A1 (en) Imaging device, and operation method and imaging control program of imaging device
JP2019041737A (ja) 画像処理装置、観察装置、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170307

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180713

R150 Certificate of patent or registration of utility model

Ref document number: 6371686

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees