JP2019070751A - 観察装置および焦点調節方法 - Google Patents

観察装置および焦点調節方法 Download PDF

Info

Publication number
JP2019070751A
JP2019070751A JP2017197123A JP2017197123A JP2019070751A JP 2019070751 A JP2019070751 A JP 2019070751A JP 2017197123 A JP2017197123 A JP 2017197123A JP 2017197123 A JP2017197123 A JP 2017197123A JP 2019070751 A JP2019070751 A JP 2019070751A
Authority
JP
Japan
Prior art keywords
focus
cell
unit
imaging
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017197123A
Other languages
English (en)
Inventor
日暮 正樹
Masaki Higure
正樹 日暮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2017197123A priority Critical patent/JP2019070751A/ja
Priority to US16/141,942 priority patent/US10771677B2/en
Publication of JP2019070751A publication Critical patent/JP2019070751A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】細胞等の試料の立体構造によって、コントラストカーブに2つ以上のピークが出現するような場合であっても、用途に応じて適切なフォーカス位置に調節可能な観察装置および焦点調節方法を提供する。【解決手段】試料に並行光を照射した場合に、試料を通過する際に、屈折して集光効果が現われ、フォーカスレンズ位置に応じてAF評価値の変化を検出すると、AF評価値のピーク(極大値)が複数、生ずる。試料を観察する場合には、AF評価値の極小値となるベストピント位置Pbとし、試料の画像解析を行う場合には、AF評価値のピーク(極大値)に対応するフォーカス位置Pq、Prのいずれかを選択する。【選択図】 図8

Description

本発明は、撮像部によって試料の撮像を行い、取得した画像データに基づいて焦点調節を行う観察装置および焦点調節方法に関する。
温度等の環境を一定に維持する恒温槽やインキュベータ等の内部に観察装置を長期間配置し、培養容器内の細胞等の試料を撮像部によって観察することが知られている。この装置によれば、インキュベータ内部に長期期間の間、試料を配置し、外部からの操作によって観察することができる。装置の開閉や人手の介在を排し、効率的で質の高い細胞環境を実現することができる。また、観察に当たって、撮像部によって培養容器内の細胞等の試料の画像データを取得し、この画像データに基づいて焦点調節を行い、ピントの合った画像を表示することができる(例えば、特許文献1、2参照)。
また、観察に当たって、容器の種類、製造のバラツキ、観察位置により培養細胞のピント位置が変化するために、オートフォーカス(AF)機能を備えることが望ましい。このため、撮像部によって培養容器内の細胞等の試料の画像データを取得し、この画像データに基づいて焦点調節を行い、ピントの合った画像を表示するようにしている(例えば、特許文献1、2参照)。特許文献1では、フォーカス位置を変化させて、観察できる細胞数が最大となった位置を最適なピント位置としている。特許文献2では、フォーカス位置によって変化する輝度情報を参照して、ピント位置を決定している。
特開2015−194544号公報 特開2008−116526号公報
細胞等の試料に対してコントラストAFで焦点調節を行う場合には、透過照明が一般的であり、コントラストカーブに2つのピークが出現する場合がある。これは、細胞が立体構造を有するため細胞内において光線が屈折され、集光効果が生ずるためである(後述する図7参照)。このような現象が生ずると、特許文献1、2に開示されるような焦点調節装置では、ピントがあった観察画像を得ることができない。また、特許文献1、2等に開示される焦点調節装置では、試料中の細胞数を正確にカウントすることも困難である。
本発明は、このような事情を鑑みてなされたものであり、細胞等の試料の立体構造によって、コントラストカーブに2つ以上のピークが出現するような場合であっても、用途に応じて適切なフォーカス位置に調節可能な観察装置および焦点調節方法を提供することを目的とする。
上記目的を達成するため第1の発明に係る観察装置は、試料を撮像する撮像部を有する観察装置であって、上記撮像部のフォーカス位置を変化させ、上記撮像部の出力する撮像面の所定範囲内の撮像データに基づきコントラスト評価値を算出して、コントラスト評価値に基づいてフォーカスを制御するフォーカス制御部と、上記撮像部の出力する撮像データに基づいて、上記試料を解析する解析部と、を具備し、上記フォーカス制御部は、上記フォーカス位置の変化に対応するコントラスト評価値の変化にて複数の極大値が発生する場合に、上記複数の極大値に対応するフォーカス位置のいずれか一方にフォーカス位置を制御する。
第2の発明に係る観察装置は、上記第1の発明において、上記撮像部の出力する撮像データに基づいて観察を行うための観察用画像データを生成する観察用画像データ生成部をさらに具備し、上記フォーカス制御部は、上記観察用画像データ生成部により観察用画像データを生成する時に、上記フォーカス位置の変化に対応する上記コントラスト評価値の変化に複数の極大値が現れる場合に、上記複数の極大値に対応するフォーカス位置の間に位置する上記コントラスト評価値の極値に対応するフォーカス位置に制御する。
第3の発明に係る観察装置は、上記第2の発明において、上記フォーカス制御部は、上記複数の極大値に対応するフォーカス位置の間に位置する上記コントラスト評価値の極値のうちのいずれかに対応するフォーカス位置に制御する。
第4の発明に係る観察装置は、上記第1ないし第3の発明において、上記フォーカス制御部は、上記フォーカス位置の変化に対応するコントラスト評価値の変化にて1個の極大値が発生する場合、上記1個の極大値に対応するフォーカス位置にフォーカス位置を制御する。
第5の発明に係る観察装置は、上記第1ないし第4の発明において、上記解析部は、上記試料に含まれる細胞の数をカウントする。
第6の発明に係る観察装置は、上記第1ないし第4の発明において、上記解析部は、上記試料に含まれる細胞の形状を測定する。
第7の発明に係る観察装置は、上記第1ないし第4の発明において、上記解析部は、上記試料に含まれる細胞の密度を測定する。
第8の発明に係る焦点調節方法は、試料を撮像する撮像部を有する観察装置の焦点調節方法であって、上記撮像部のフォーカス位置を変化させ、上記撮像部の出力する撮像面の所定範囲内の撮像データに基づきコントラスト評価値を算出して、コントラスト評価値に基づいてフォーカスを制御し、上記フォーカス位置の変化に対応するコントラスト評価値の変化にて複数の極大値が発生する場合に、上記複数の極大値に対応するフォーカス位置のいずれか一方にフォーカス位置を制御する。
本発明によれば、細胞等の試料の立体構造によって、コントラストカーブに2つ以上のピークが出現するような場合であっても、用途に応じて適切なフォーカス位置に調節可能な観察装置および焦点調節方法を提供することができる。
本発明の一実施形態に係る細胞観察システムの全体構成を示すブロック図である。 本発明の一実施形態に係る細胞観察装置、容器、および操作部を示す外観斜視図である。 本発明の一実施形態に係る細胞観察装置の主として電気的構成を示すブロック図である。 本発明の一実施形態に係る細胞観察システムにおいて、細胞を収納する容器の例を示す外観斜視図である。 本発明の一実施形態に係る細胞観察システムにおいて、AF評価値算出のためのブロック図、およびフィルタ処理部の構成例を示すブロック図である。 本発明の一実施形態に係る細胞観察システムにおいて、撮像部のレンズ位置とAF評価値の関係の例(ピークが1つの場合)を示すグラフである。 本発明に一実施形態に係る細胞観察システムにおいて、撮像部の結像光学系によって生成される光線を示す図である。 本発明の一実施形態に係る細胞観察システムにおいて、撮像部のレンズ位置とAF評価値の関係の例(ピークが2つの場合)を示すグラフである。 本発明の一実施形態に係る細胞観察システムにおいて、撮影画像の例を示す図である。 本発明の一実施形態に係る細胞観察装置内の撮像部の動作を示すフローチャートである。 本発明の一実施形態に係る情報端末の動作を示すフローチャートである。 本発明の一実施形態に係る細胞観察装置内の撮像部のAF処理を示すフローチャートである。 本発明の一実施形態に係る細胞観察装置内の撮像部のフォーカス検出処理を示すフローチャートである。 本発明の一実施形態に係る細胞観察装置における細胞数カウントおよび細胞密度の検出を示す図である。 本発明の一実施形態の変形例に係る細胞観察システムにおいて、撮像部のレンズ位置とAF評価値の関係の例(ピークが3つの場合)を示すグラフである。 本発明の一実施形態の変形例に係る細胞観察装置内の撮像部のフォーカス検出処理を示すフローチャートである。
以下、図を用いて、本発明の一実施形態として細胞観察システムに適用した例について説明する。本実施形態においては、試料を撮像する撮像部を有し、撮像部のフォーカス位置を変化させて、撮像部からの撮像データに基づきAF評価値(コントラスト評価値)を算出してフォーカスレンズのフォーカス位置を制御する(例えば、後述する図12参照)。AF評価値の変化にて複数のピーク(極大値)が発生する場合がある(例えば、図8、図15参照)。複数のピークが発生した場合には、画像の解析用に複数のピークのいずれか一方にフォーカス位置を制御する(例えば、図8のQ、R、図13のS93、図15のQ’R’、図16のS107参照)。また画像の観察用に複数のピークの間の位置する極値にフォーカス位置を制御する。複数のピークの間に位置する極小値にフォーカス位置を制御する(例えば、図8のP、図13のS91参照)場合と、複数のピークの間に位置する極大値(ピーク)にフォーカス位置を制御する(例えば、図15のP’、図16のS105参照)場合がある。
図1は、細胞観察システムの全体的構成を示すブロック図である。この細胞観察システムは、インキュベータ100、細胞培養容器80、細胞観察装置1、細胞観察主制御装置210、細胞観察副制御装置220、表示装置230、および入力装置240を有する。
インキュベータ100は、密閉構造となっており、その内部は一定温度(例えば、37.0度C)が維持されるように温度調節がなされる。また、湿度、酸素濃度、二酸化炭素濃度(例えば、5.0%)が一定に保たれるようにしてもよい。細胞培養容器80は、細胞を培養するための瓶、シャーレ等種々の大きさ・形状・材質等を有する。インキュベータ100において温度等が一定に維持された環境内で、細胞培養容器80内の細胞が培養される。細胞培養容器80の形状等について、図4を用いて後述する。
細胞観察装置1は、インキュベータ内に配置され、カメラ部(撮像部)10を有し、細胞培養容器80内の細胞を観察する。また、カメラ部10は後述するようにX軸、Y軸方向に移動可能であり、予め設定されているパターンに沿って自動的にカメラ部10の位置を変更し、変更した位置で細部培養容器80内の細胞の画像を取得することができる。なお、設定されているパターン以外にも、ユーザが任意に手動でカメラ部10の位置を移動させ、細胞の画像を取得することも勿論可能である。この細胞観察装置1の詳しい外観および電気的構成については図2および図3を用いて後述する。
細胞観察主制御装置210は、例えばパーソナルコンピュータ(PC)等であり、細胞観察装置1と無線通信または有線通信によって通信可能であり、細胞観察装置1の全体制御を行う。なお、細胞観察主制御装置210はPC以外にも、イントラネットで接続されたサーバー等に接続する制御装置であってもよい。
細胞観察主制御装置210には、表示装置230と入力装置240が接続されている。この接続は、有線であってもよく、また無線であってもよい。表示装置230は、モニタ等の表示部を有しており、細胞観察装置1の撮像部によって取得されたライブ画像および/または細胞観察主制御装置210によって記録された画像の再生画像を表示する。またこの表示部には、メニュー画面等、モード設定等種々の設定のための画面を表示する。
入力装置240は、キーボード等の入力インターフェースを有する。ユーザは入力装置240によって、種々のモード、細胞培養容器80等の情報入力等を行う。入力装置240、または細胞観察副制御装置220の表示部229(図2参照)は、試料を配置する容器の情報を入力する入力部として機能する(例えば、後述する図10のS65参照)。この入力部は、複数の異なる形状の容器に関する情報を入力する(例えば、後述する図4、図10のS65参照)。
細胞観察副制御装置220は、例えば、スマートフォン、タブレットPC等、携帯性があり、かつ無線通信によって細胞観察主制御装置210および/または細胞観察装置1と通信を行うことでき(なお、後述する図2においては、細胞観察装置1と通信を行う場合を示す)、細胞観察システムの制御を行うことができる。無線通信としては、WiFi通信等の無線通信の他、赤外線通信等であってもよい。細胞観察副制御装置220に表示部を設けておけば、細胞観察装置1によって取得したライブ画像の表示や記録画像の再生表示等を行うことができる。細胞観察主制御装置210、細胞観察副制御装置220の少なくとも1つは、観察装置と通信可能な外部制御装置として機能する。
このように本実施形態に係る細胞観察システムは、インキュベータ100内に、細胞培養容器80を配置し、この細胞培養容器80内で培養される細胞を、細胞観察装置1内の撮像部によって撮像して画像データを取得する。この取得された画像データは細胞観察主制御装置210および/または細胞観察副制御装置220に出力され、この出力された画像データが表示装置230に表示される。細胞を観察する際に、細胞培養容器80は、インキュベータ外に持ち出されることがなく、常に一定の温度等の環境の下で培養が可能となる。
次に、図2に示す外観斜視図を用いて、主として細胞観察装置1の構成について説明する。図2には、細胞観察システムの内、細胞観察装置1、細胞培養容器80、および細胞観察副制御装置220を示す。前述したように、この細胞観察システムの内、細胞観察装置1および細胞培養容器80は、インキュベータ内に配置され、細胞観察副制御装置220はインキュベータの外に配置されている。なお、細胞観察副制御装置220に代えて、細胞観察主制御装置210としてもよい。
細胞観察装置1の透明な天板40の上には細胞培養容器80を載置でき、細胞培養容器80で培養される試料81を透明な天板40を透して撮像し、撮像画像データを取得することができる。このため、細胞をインキュベータ100等内で環境を維持したまま培養し、インキュベータ100外の細胞観察副制御装置220や細胞観察主制御装置210等において、試料81等の計測や観察を行うことができる。インキュベータ100内で培養された細胞の観察や計測を遠隔で行うので、細胞観察装置1は省エネ性や信頼性の高い設計を行うことが望ましい。
細胞観察装置1は、カメラ部10、Yアクチュエータ31a、Xアクチュエータ31b、Y送りネジ32a、X送りネジ32b、移動制御部33、透明な天板40、外装体42を有する。カメラ部10はレンズ11aを有し、撮像センサ12a(図3参照)がレンズ11aによって形成された像を光電変換し、画像データを取得する。
カメラ部10には、照明用のLED13が配置されている。LED13の照明光は、天板40および細胞培養容器80の方向に照射され、細胞培養容器80の蓋によって反射され、この反射光によって試料81を透過光で照明する。なお、LED13は、細胞培養容器80の上方に配置し、試料81を透過光で照明するようにしてもよい。なお、照明光源は、LED以外の光源を使用しても勿論かまわない。
また、細胞観察装置1内には無線通信装置18が配置されており、細胞観察装置1の外部に配置される細胞観察副制御装置220内の通信部228と無線通信が可能である。カメラ部10の詳しい構成については、図3を用いて後述する。
カメラ部10は、X送りネジ32bに保持され、X送りネジ32bが回転することによって、X軸方向に移動可能である。X送りネジ32bは、Xアクチュエータ31bによって回転駆動される。Xアクチュエータ31bは、Y送りネジ32aに保持され、Y送りネジ32aが回転することによって、Y軸方向に移動可能である。Y送りネジ32aは、Yアクチュエータ31aによって回転駆動される。
移動制御部33は、Yアクチュエータ31aおよびXアクチュエータ31bの駆動制御を行い、カメラ部10を、予めプログラムされた手順に従って、X軸およびY軸方向に駆動制御する。また、ユーザがカメラ部10を特定の位置に移動させることも可能であり、この場合には、細胞観察副制御装置220によって手動で指示するので、移動制御部33は、ユーザの指示に従ってカメラ部10を移動させる。移動制御部33、Yアクチュエータ31aおよびXアクチュエータ31b等は、撮像部の撮像位置を変更する撮像位置変更部として機能する。
なお、後述するように、細胞観察装置1内には、内蔵の電源電池73が備えられ、移動制御部33、Yアクチュエータ31a、Xアクチュエータ31b、カメラ部10に電源が供給され、また各部の間で制御信号を双方向で通信するための通信ラインが設けられている。本実施形態では、細胞観察装置1をインキュベータ内に配置し易くするために、電源として電源電池を使用することを想定しているが、これに限らず、AC電源によって電源供給するようにしてもよい。また各部の間の制御信号は有線通信で行うことを想定しているが、無線通信によって行うようにしてもよい。
上述のカメラ部10、Yアクチュエータ31a、Xアクチュエータ31b、Y送りネジ32a、X送りネジ32b、および移動制御部33は、天板40および外装体42で構成される筐体内に配置されている。天板40および外装体42は、その内部に外部からの湿気が入り込まないような気密構造となっている。このため、インキュベータ内が高湿であっても、天板40および外装体42により構成される筐体の内部は、高湿となることがない。
天板40、外装体42で構成される筐体内には、内蔵センサとして装置内温度センサ43aが配置されている。内蔵センサとしては、本実施形態においては、細胞観察装置内の温度を検出するための温度センサを有しているが、これに限らず、圧力を検出するための圧力センサ、湿度を検出するための湿度センサ等を有していてもよい。温度センサ以外の2つのセンサのいずれか1つを有するだけでもよく、また他の項目を検出するためのセンサを配置してもよい。また、配置位置は、1か所にまとめる必要はなく、適宜分散して配置するようにしてもよい。
なお、天板40、外装体42で構成される筐体の外には、外部センサを配置するようにしてもよい。外部センサとしては、細胞観察装置外の温度を検出するための温度センサ、圧力を検出するための圧力センサ、湿度を検出するための湿度センサ、酸素濃度を検出するための酸素濃度センサ、窒素濃度を検出するための窒素濃度センサ、二酸化炭素濃度を検出するための二酸化濃度センサ等がある。これらのセンサのいずれか1つまたは複数であってもよく、また他の項目を検出するためのセンサを配置してもよい。また、配置位置は、1か所にまとめる必要はなく、適宜分散して配置するようにしてもよい。
透明な天板40の上側には、細胞培養容器80を載置することが可能であり、細胞培養容器80内には培地を充填し、試料81(細胞)を培養することができる。カメラ部10のレンズ11aは、透明な天板40を透して細胞培養容器80内の培地を撮像し、画像を観察することができる。この撮像にあたっては、前述したように、LED13によって試料81が照明される。細胞培養容器80内の細胞は、カメラ10によって撮像されることから、細胞培養容器80の底面(天板40と接する側)は透明であることが望ましい。
細胞観察副制御装置220は、通信部228を有し、細胞観察装置1内の無線通信装置18と無線通信が可能である。このため、細胞観察副制御装置220は、細胞観察装置1と離れた位置から、カメラ部10と通信を行い、カメラ部10を移動させ、またカメラ部10が取得した画像データを受信することができる。なお、細胞観察副制御装置220は、専用機器であってもよいが、スマートフォン等の情報端末機器を操作部として兼用するようにしてもよい。さらに、細胞観察副制御装置220は、パーソナルコンピュータ(PC)、サーバー等のコンピュータの付属の操作部を兼用するようにしてもよい。
また、細胞観察副制御装置220は、撮像された画像を解析することにより、試料81の細胞数のカウントや細胞密度を検出することができる。すなわち、カメラ部10は、Xアクチュエータ31aおよびYアクチュエータ31bによって移動しながら、細胞培養容器80内の試料81を撮像する。細胞観察副制御装置220は、撮像された画像に基づいて、細胞の数のカウントや細胞密度を検出することができる。なお、細胞等のカウントや細胞密度の検出は、細胞観察主制御装置210が行ってもよいことは勿論である。また、細胞観察装置1内の画像処理部63が、細胞等のカウントや細胞密度の検出を行ってもよい。画像処理部63の細胞等のカウントや細胞密度の検出の結果は、細胞観察主制御装置210や細胞観察副制御装置220へ送信される。細胞の数のカウントや細胞密度の検出の仕方については、図14を用いて後述する。
また、細胞観察副制御装置220は表示部229を有してもよく、この場合には表示部229は細胞観察副制御装置220の各種モード、各種設定用のアイコン等の表示を行う。タッチパネルを設けておけば、タッチ操作により、各種入力を行うことができる。また、表示部229は、カメラ部10によって取得され、送信されてきた画像を表示する。
次に、図3を用いて、本実施形態に係る細胞観察装置1の主として電気的構成について説明する。細胞観察装置1は、カメラ部10、X/Yステージ部50、CPU(Central Processing Unit)60、装置内温度センサ43a、その他の周辺回路等を有する。
カメラ部10内は、フォーカスレンズ11aを含む撮影レンズを有する。このフォーカスレンズ11aを含む撮影レンズは、単焦点レンズまたはズームレンズであり、細胞等の試料81の画像を撮像センサ12a上に結像させる。また、撮影レンズは、フォーカスのために構成する全群を一体的に光軸方向に移動させる全体繰り出しタイプであってもよい。図2には、フォーカスレンズ11aの光軸上に絞りおよび機械式シャッタが示されていないが、これらを設けてもよく、また省略してもよい。
撮像センサ12aは、CCDイメージセンサやCMOSイメージセンサ等のイメージセンサであり、フォーカスレンズ11aによって形成された像を光電変換することによって、画像信号を生成する。この画像信号は撮像回路にてAD変換等の処理が行われ画像データが生成され、この画像データは画像処理部63に出力される。撮像センサ12aは、試料を撮像する撮像部として機能する。撮像部は、静止画に対応する撮像とライブビューに対応する撮像、動画に対応する撮像が可能である。
フォーカスレンズ11aは、レンズ駆動(LD)モータ(LDMT)12bによって、フォーカスレンズ11aの光軸方向に移動される。LDモータ12bは、本実施形態においては、ステッピングモータであるが、これ以外のモータでもよい。
フォーカスレンズ基準位置検出部(LDPI)12cは、フォトインタラプタ等を有し、フォーカスレンズ11aが基準位置に達した際に、基準位置信号をCPU60に出力する。この基準位置信号を基点として、ステッピングモータに印加したパルス数に基づいて、フォーカスレンズ11aの位置を検出することができる。この位置検出に基づいて、LDモータ制御部61は、目標とするフォーカス位置にフォーカスレンズ11aを移動させることができる。なお、ステッピングモータ以外のモータの場合には、フォーカスレンズ11aの相対的または絶対的位置を検出するためのセンサを設ければよい。
LED(Light Emitted Diode)13は、前述したように、細胞培養容器80内の細胞(試料81)を照明するための光源である。LEDの発光波長は、細胞(試料)にダメージを与えない赤色光、より具体的には波長660nmの赤色光に設定してもよい。なお、LED以外の照明用光源であってもよい。
X/Yステージ部50は、カメラ部10の位置をX方向およびY方向に移動させるための機構であり、図1のYアクチュエータ31a、Xアクチュエータ31b、移動制御部33等に相当する。
LDモータドライバ51は、LDモータ12bの駆動回路であり、CPU60内のLDモータ制御部61からの制御信号に応じて、LDモータ12bの駆動用パルスを出力する。上述のLDモータ12b、およびLDモータドライバ51、および後述するLDモータ制御部61は、撮像部のフォーカスを制御するフォーカス部として機能する。また、LDモータ12b、LDモータドライバ51、およびLDモータ制御部61は、撮像部のフォーカスを制御するフォーカス制御回路として機能する。フォーカス制御部は、撮像部により撮像された画像情報に基づくコントラストがピークとなるようにフォーカスを調節することが可能である。
Xステージ駆動機構52は、カメラ部10をX軸方向に駆動させるための機構であり、図2においてはX送りネジ32b等が相当する。なお、Xステージ駆動機構52は、送りねじ機構以外にも歯車機構、ベルト機構等、X軸方向に空間的に移動させるための機構であればよい。
Xステージモータ(XMT)53は、X送りネジ32bを回転させるためのモータであり、本実施形態においてはステッピングモータが採用される。Xステージモータ53は、図2においてはXアクチュエータ31bが相当する。Xステージモータ53はXステージモータドライバ54によってパルス駆動される。Xステージモータドライバ54は、CPU60内のXMT制御部62からの制御信号に応じてXステージモータ53の駆動制御を行う。
Xステージ基準位置検出部55はPI(フォトインタラプタ)、PR(フォトリフレクタ)等の検知センサを有し、カメラ部10がX軸方向の基準位置に達した場合に、基準信号をCPU60に出力する。XMT制御部62は、この基準位置を基に、Xステージモータ53にパルスを印加することにより、カメラ部10のX軸方向の目標位置に移動させることができる。
Yステージ駆動機構59は、カメラ部10をY軸方向に駆動させるための機構であり、図2においてはY送りネジ32a等が相当する。なお、Yステージ駆動機構59は、送りねじ機構以外にも歯車機構、ベルト機構等、Y軸方向に空間的に移動させるための機構であればよい。
Yステージモータ(YMT)58は、Y送りネジ32aを回転させるためのモータであり、本実施形態においてはステッピングモータが採用される。Yステージモータ58は、図2においてはYアクチュエータ32aが相当する。Yステージモータ58はYステージモータドライバ57によってパルス駆動される。Yステージモータドライバ57は、CPU60内のYMT制御部64からの制御信号に応じてYステージモータ58の駆動制御を行う。
Yステージ基準位置検出部56は、PI(フォトインタラプタ)、PR(フォトリフレクタ)等の検知センサを有し、カメラ部10がY軸方向の基準位置に達した場合に、基準信号をCPU60に出力する。YMT制御部64は、この基準位置を基に、Yステージモータ58にパルスを印加することにより、カメラ部10のY軸方向の目標位置に移動させることができる。
LED駆動回路59aは、CPU60内のLED制御部65からの制御信号に従って、LED13の照明制御を行う。
CPU(Central Processing Unit)60は、記憶部71に記憶されているプログラムに従って、細胞観察装置1内の各部の制御を行う。CPU60は、コントローラとして機能し、CPU60は、いわゆるASIC(Application Specific Integrated Circuit)の一部として配置される。このASIC内には、CPUの他、周辺回路を有し、ASIC内には、CPUと周辺回路によって、レンズ駆動(LD)モータ制御部61、Xモータ(XMT)制御部62、画像処理部63、Yモータ(Yモータ)制御部64、LED制御部65の機能を実現する。これらの各部はプログラムによってソフトウエア的に実行するが、各制御部61、62、64、65および/または画像処理部63等の一部の機能は周辺回路によって実現される。
上述のコントローラは、撮像部のフォーカス位置を変化させ、撮像部の出力する撮像面の所定範囲内の撮像データに基づきコントラスト評価値を算出して、コントラスト評価値に基づいてフォーカスを制御するフォーカス制御部として機能する(例えば、図12参照)。このフォーカス制御部は、フォーカス位置の変化に対応するコントラスト評価値の変化にて複数の極大値が発生する場合に、複数の極大値に対応するフォーカス位置のいずれか一方にフォーカス位置を制御する(例えば、図13のS87、S89、S93参照)。
また、上述のフォーカス制御部は、観察用画像データ生成部により観察用画像データを生成する時に、フォーカス位置の変化に対応するコントラスト評価値の変化に複数の極大値が現れる場合に、複数の極大値に対応するフォーカス位置の間に位置するコントラスト評価値の極値に対応するフォーカス位置に制御する(例えば、図13のS87、S89、S93、図16のS101、S103、S107等参照)。また、上述のフォーカス制御部は、複数の極大値に対応するフォーカス位置の間に位置するコントラスト評価値の極値のうちのいずれかに対応するフォーカス位置に制御するようにしてもよい。
また、上述のフォーカス制御部は、フォーカス位置の変化に対応するコントラスト評価値の変化にて1個の極大値が発生する場合、1個の極大値に対応するフォーカス位置にフォーカス位置を制御する(例えば、図13のS83Yes、S85等参照)。
LDモータ制御部61は、レンズ駆動(LD)モータ12bの駆動制御を行うことにより、フォーカスレンズ11aのピント合わせを制御する(後述する図10のS25、図12参照)。XMT制御部62はXステージモータ53の駆動制御を行うことにより、カメラ部10のX軸方向の位置制御を行う。YMT制御部64はYステージモータ58の駆動制御を行うことにより、カメラ部10のY軸方向の位置制御を行う(後述する図10のS13、等参照)。
画像処理部63は、撮像センサ12aからの画像データを処理し、表示部75に画像表示を行い、またケーブル72中の通信ケーブルを介して外部の表示部(例えば、細胞観察副制御部220の表示部229)に、試料81等の画像を表示する。また、画像処理部63は、試料81中の特定の細胞の数をカウントしたり、細胞の密度を検出したり、細胞の形状を測定する等の画像解析を行うようにしてもよい。さらに、画像処理部63は、画像データに基づいてAF(Auto Focus)評価値を算出する。
画像処理部63は、撮像部の出力する撮像データに基づいて観察を行うための観察用画像データを生成する観察用画像データ生成部として機能する。画像処理部63は、撮像部の出力する撮像データに基づいて、試料を解析する解析部として機能する。この解析部は、試料に含まれる細胞の数をカウントする(例えば、図14(a)参照)。この解析部は、試料に含まれる細胞の形状を測定する。この解析部は、試料に含まれる細胞の密度を測定する(例えば、図14(b)参照)。
LED制御部65は、LED駆動回路59aによるLED13の発光制御を行う。この発光制御は、試料81の撮像の際に、試料81の照明が適正露光となるように行う。
記憶部71は、電気的に書き換え可能な揮発性メモリおよび/または電気的に書き換え可能な不揮発性メモリを有する。記憶部71は前述のプログラムの他に、また細胞観察装置1の各種調整値等を記憶し、また細胞観察の際に行う予め設定したカメラ部10の移動経路(移動パターン)を記憶しておいてもよい。すなわち、記憶部71に、静止画撮影を行う指定位置と、この指定位置における撮影条件をセットにして記憶しておいてもよい。
ケーブル72は、細胞観察装置1と細胞観察副制御部220との間を有線で結ぶ場合の通信ケーブルである。この通信ケーブルを介して、撮像センサ12aによって取得した画像データを外部に送信する。無線通信の場合には、この通信ケーブルを省略してもよい。また、ケーブル72は細胞観察装置1に外部より電源を供給する場合の電源供給ケーブルである。細胞観察装置1内に電源電池を内蔵する場合には省略してもよい。電源部73は、外部よりケーブル72を介して、または内蔵電池より、電源供給を受け、細胞観察装置1用の電源電圧に変換する。
操作部74は、電源のオンオフや細胞観察副制御部220との無線通信等による通信のオンオフを行うスイッチ等を有する。その他、細胞観察副制御部220による操作の一部を行うためのスイッチ、ダイヤル、タッチパネル等を含むようにしてもよい。表示部75は、ディスプレイを有し、CPU60の画像処理部63によって処理された試料81等の画像を表示する。なお、画像は外部機器のみで表示するようにし、表示部75を省略してもよい。
前述の装置内温度センサ43aは、細胞観察装置1の天板40、外装体42から構成される筐体内の温度を検出し、CPU60に出力する。装置内温度センサ43aは、観察装置の内部の温度を計測する温度計測部として機能する。また、装置内温度センサ43aは、図2には1か所のみに配置されているが、天板40、外装体42から構成される筐体の内部の異なる位置に複数のセンサを配置してもよい。この場合、制御部は、複数の温度センサの出力に基づいて、試料の温度を推定して計測される温度を決定すればよい。
本実施形態における細胞観察装置1は、Xステージ駆動機構52およびYステージ駆動機構59を有し、これによって撮像センサ12aを含むカメラ部10をX軸方向およびY軸方向に移動させることができる。
また、本実施形態における細胞観察装置1は、撮像センサ12aを有し、所望の位置で細胞(試料81)の所望の位置での画像を取得することできる。この取得した画像を用いてライブビュー表示することができ、また静止画または動画として記録しておき、後から再生することも可能である。また、取得した画像を解析することにより、細胞数をカウントする等、種々の解析を行うことも可能である。
また、本実施形態における細胞観察装置1の画像処理部63は、撮像センサ12aによって取得した画像データのAF評価値を算出し、この算出したAF評価値に基づいて、LDモータ12bによってフォーカスレンズ11aを合焦位置に移動させるようにしている。合焦位置への駆動の詳細については、図5ないし図8を用いて後述する。
次に、図4を用いて、細胞培養容器80の例について説明する。図4(a)は、特開2013−116073に開示されているフラスコ型形状の容器82の例を示す。この例では、容器本体部82a内は空洞であり、この空洞に続く首部82bには蓋82cを係止する係止部82dが形成されている。容器本体部82a内に培地を収納し、細胞を培養することができる。
図4(b)に、ディッシュ(皿)型形状の容器83の例を示す。この容器83は底部の周囲に壁部が形成され、上方は開放された形状している。この直径は100mmが標準サイズであるが、種々のサイズが用意されている。
図4(c)に、特開2014−506799に開示されているウエル(マイクロ)プレート型形状の容器84の例を示す。この例では、4×6=24個の小さな凹部84aが設けてあり、各凹部84aにそれぞれ培地を配置し、細胞を培養する。図4(c)に示した例では、24ウエルのタイプであるが、これ以外にも、6ウエル、12ウエル等、種々のウエル数の容器がある。
次に、図5を用いて、AF評価値の算出について説明する。図5(a)は、画像処理部63内に設けられたAF評価値を算出するための構成を示す。
Y生成部66は、輝度信号(Y信号)の輝度生成回路を含み、撮像センサ12aからの撮像データ(RGBデータ)を入力し、輝度データを生成し、フィルタ処理部67に出力する。フィルタ処理部67は、フィルタ回路を含み、輝度データの内、高周波成分を抽出し、エリア積算部68に出力する。フィルタ処理部67の詳細な回路については、図5(b)を用いて後述する。
エリア積算部68は、加算回路を含み、またはCPU60によるソフトウエア的な加算処理を含み、フィルタ処理部67から出力された1フレーム分の撮像データの高周波成分を積算する。エリア積算部68によって積算された高周波成分が、AF評価値データ(コントラスト評価データ)として生成される。なお、エリア積算部68は、撮像センサ12aの撮像データの1フレーム全体の積算を行ってもよいし、自動、手動により予め設定された所定の焦点調節領域の撮像データの積算を行ってもよい。
図5(b)は、フィルタ処理部67におけるフィルタ処理回路の一例を示す。図5(b)に示すフィルタ処理回路は、加算器69、アンプa0、a1、a2、−b1、−b2、および遅延回路Z−1を有し、このフィルタ処理回路は、入力した輝度データに対して高周波成分を抽出し、フィルタ出力データを生成する。
図6は、横軸にフォーカスレンズ位置、縦軸にAF評価値(コントラスト値)をとり、フォーカスレンズ位置を移動させた際のAF評価値の変化の一例を示す。すなわち、LDモータ12bによってフォーカスレンズ11aを光軸方向に移動させた場合、各レンズ位置におけるAF評価値を示す。レンズ位置Pbは、AF評価値が最大となる位置、すなわちベストピント位置であり、試料81にピントが合う位置である。
次に、図7を用いて、AF評価値がダブルピークとなる場合について説明する。破線は、照明光Lを示し、前述したように、照明光Lは、LED13の照射光が細胞培養容器80の蓋によって反射され、試料である細胞81aにほぼ平行光として照射される。この照射された照明光Lは、細胞81aおよび細胞培養容器80の底面80aを透過する。照明光Lは細胞81aを透過する際に、細胞81aの形状が凸面形状となっているため、光線が屈折し集光効果が現われる。このため、細胞81aを透過した照明光Lが結像光学系11a(撮影レンズ11a)により撮像面に結像する際に、ピント位置から外れると、光線に粗密(光線の不均等)が生じ、試料の像に粗の部分(暗い部分)と、密の部分(明るい部分)が生じてしまう。
細胞81aおよび結像光学系としてのフォーカスレンズ11aを透過した光線は、撮像面位置(r)において、細胞境界付近の光線が密になり、このため細胞の境界付近は明るくなる。撮像面位置(p)において光線密度は均等になり、このため細胞の観察画像は鮮明でかつ視認し易くなる。撮像面位置(q)において、細胞境界の光線が疎となり、このため、細胞の境界付近は暗くなる。
上述したように、撮像面位置によって、細胞境界付近の光線は粗密が異なっている。このため、撮像面位置(r)における細胞81aの像は、図9(c)に示すように、細胞81aの境界が白く、内部が黒くなる。また、撮像面位置(p)における細胞81aの像は、図9(a)に示すように、ピントの合った像となる。また、撮像面位置(q)における細胞81aの像は、図9(b)に示すように、細胞81aの境界が黒く、内部が白くなる。なお、81bは、撮像面位置(p)における細胞81aの像を示す。なお、細胞81a中の交差斜線を施した部分は、細胞の核を示す。
図8は、図7に示すように、細胞81aの凸形状による集光効果によって、透過光束に粗密が発生する場合における、AF評価値の変化を示す。図8において、破線で示すラインは、集光効果がない場合のAF評価値の変化を示し、これは図6に示したAF評価値の変化と同じである。
図8において、実線で示すラインは、集光効果がある場合のAF評価値の変化を示す。フォーカスレンズ11aのレンズ位置Pqと、レンズ位置Prにおいて、AF評価値は極大値となり、またベストピント位置PbでAF評価値は極小値となる。
図9に各撮像面における撮影画像の例を示す。ベストピント位置Pb(図7の位置pに相当)での撮影画像は、前述の図9(a)に示す画像であり、ピントが合った細胞81aを観察するに適している。
レンズ位置Pq(図7の位置qに相当)での撮影画像は、前述の図9(b)に示す画像であり、細胞81aの境界が黒色で内部が白色である。例えば、細胞の数をカウントする手法として、画像から細胞の外周部を検出して細胞の存在を判断し、カウントする方法がある。図9(b)に示す画像は、この手法を採用する場合、細胞の数をカウントするに適した画像である。また、細胞の密度を計測する手法として、画像から細胞の外周部を検出して細胞の存在を判定し、外周の内部の面積を計測して細胞の密度を計測する手法もある。この場合も、図9(b)に示す画像は適した画像である。
レンズ位置Pr(図7の位置rに相当)での撮影画像は、前述の図9(c)に示す画像であり、細胞81aの境界が白色で内部が黒色である。例えば、細胞の密度を計測する手法として、画像から境界が白色で内部が黒色の部分を細胞と判定し、内部の黒色の部分の面積に基づいて細胞の密度を計測する手法がある。図9(c)の画像は、この手法を採用する場合に適した画像である。また、細胞数をカウントする手法として、画像から境界が白色で内部が黒色の部分を細胞と判定し細胞の存在を検出する手法もある。この手法を採用する場合、図9(c)の画像は細胞数をカウントすることに適した画像である。
次に、図10に示すフローチャートを用いて、細胞観察装置1における動作について説明する。このフローチャート(後述する図12、図13、および図16も同様)は、CPU60が記憶部71内に記憶されたプログラムコードに従って、細胞観察装置1内の各部を制御することにより実行する。本フローチャートにおいては、ユーザが細胞観察副制御装置220によって細胞観察装置1を制御する場合について説明する。しかし、細胞観察主制御装置210によって制御するようにしてもよい。
図10に示す撮像部通信のフローチャートが電源オン等により開始すると、まず通信待ちの状態となる(S1)。ここでは、細胞観察副制御部220から通信が開始されるのを待つ。すなわち、インキュベータ等の、細胞観察副制御部220から隔離された室内に配置された細胞観察装置1に対して、ユーザが指示を与える場合には、細胞観察副制御部220を操作する。このステップは、この操作に基づく制御信号が無線通信によって受信するのを待つ状態である。
次に、電源オフ/オフ通信がなされたか否かを判定する(S3)。前述したように、本実施形態においては、細胞観察装置1の電源は電池によって供給されるので、電源電池の消耗を防止するために、ユーザは細胞観察副制御部220から電源オンまたは電源オフの指示を行うことができる。なお、細胞観察装置1が内蔵電源電池以外に、外部から電源供給される場合には、このステップS3およびS5の処理を省略してもよい。
ステップS3における判定の結果、電源オン/オフ通信があった場合には、撮像オン/オフ処理を行う(S5)。ここでは、電源オンであった場合には、CPU60の各部やカメラ部10やXYステージ部50の電源をオンとし、一方、電源オフであった場合には、CPU60カメラ部10やXYステージ部50の電源をオフとする。またカメラ部10等の電源オン/オフに連動して他の各部の電源オン/オフも行う。但し、電源オフの場合であっても、細胞観察副制御部220からの指示を判定するための機能を実行するための最低限の電源は供給されるようにする。例えば、CPU60の基本部分と無線通信装置18の電源は供給されるようにする。この電源制御により、無駄なエネルギ消費が削減可能となる。
ステップS3における判定の結果、電源オン/オフ通信でなかった場合には、各種無線通信情報を取得したか否かを判定する(S7)。ユーザが細胞観察副制御部220を操作して種々の設定を行うと、この設定情報が、細胞観察副制御部220の通信部228から無線通信で送信されてくる。また撮像にあたって必要となる情報も通信部228から無線通信で送信されてくる。例えば、ここで送信されてくる情報としては、画像データの送信先に関する情報、撮影にあたっての条件、各種パラメータ、試料81を測定するにあたっての測定条件等がある。このステップでは、これらの情報や設定を、細胞観察装置1内の無線通信装置18で受信したか否かを判定する。
ステップ7における判定の結果、各種無線通信情報を取得した場合には、情報取得、各種設定、通信等を行う(S9)。このステップでは、無線通信装置18で取得した各種情報や設定に基づいて、細胞観察装置1内の各種設定を行う。
ステップS9において、情報取得、各種設定、通信等を行うと、またはステップS7における判定の結果、各種情報を取得していない場合には、次に、マニュアル位置指定を受信したか否かを判定する(S11)。ユーザは、細胞培養容器80内の試料81を測定するに先立って又は測定中に、位置を指定し、またその位置で画像を観察したい場合がある。この場合には、ユーザは細胞観察副制御部220を操作して撮像位置を指定することができる。このステップでは、このマニュアル位置指定を行うための無線通信を受信したか否かを判定する。
ステップS11における判定の結果、マニュアル位置指定を受信した場合には、位置合わせ設定を行う(S13)。ここでは、図2に示す例で説明すると、移動制御部33は、無線通信で受信したマニュアル位置に、Yアクチュエータ31aとXアクチュエータ31bの駆動制御を行い、カメラ部10を指定されたマニュアル位置に移動させる。また図3に示す例で説明すると、CPU60は、XYステージ部50に対して、カメラ部10を移動させるように指示する。
ステップS13において、位置合わせ設定を行うと、またはマニュアル位置指定の受信がないと判定された場合には、次に、フォーカス選択モード指定を受信したか否かについて判定する(S15)。
図7ないし図9を用いて説明したように、ユーザが細胞81を視認するには、フォーカスレンズ11aを合焦位置(ベストピント位置)に移動させるのが望ましい(図7の撮像面位置p、図8のベストピント位置Pb、図9(a)参照)。また、細胞の数をカウントするには、例えば、細胞境界が黒色となる撮像面位置にフォーカスレンズ11aを移動させるのが望ましい(図7の撮像面位置q、図8のピント位置Pq、図9(b)参照)。また、細胞の密度を計測する場合に、細胞境界が黒色となる撮像面位置にフォーカスレンズ11aを移動させてもよい。さらに、細胞の密度を計測するには、例えば、細胞の内部が黒色となる撮像面位置にフォーカスレンズ11aを移動させるのが望ましい(図7の撮像面位置r、図8のピント位置Pr、図9(c)参照)。細胞の数をカウントする場合に、細胞の内部が黒色となる撮像面位置にフォーカスレンズ11aを移動させてもよい。
ユーザは、それぞれの意図に応じて、フォーカス選択モード(観察用、細胞数カウント用、細胞密度計測用)を指定するので、このステップS15においては、ユーザがフォーカス選択モードで指定した用途があるか否かを判定する。
ステップS15における判定の結果、フォーカス選択モードを指定していた場合には、フォーカス選択モードの設定を行う(S17)。ここでは、ユーザが指定したフォーカス選択モードの設定を行う。
ステップS17において、フォーカス選択モードを設定すると、またはステップS15における判定の結果、フォーカス選択モードを受信していない場合には、次に、AF動作指示を受信したか否かについて判定する(S19)。AF動作は、細胞観察副制御部220から自動的に、またはユーザが細胞観察副制御部220を操作することによって、細胞観察装置1に指示する。このステップS19においては、細胞観察副制御部220からAF動作が指示されたか否かについて判定する。
ステップS19における判定の結果、AF動作指示を受信していた場合には、AF処理を行う(S21)。ここでは、ステップS17において設定されたフォーカス選択モードに従って、フォーカスレンズ11aの焦点調節を行う。このAF処理の詳しい動作については、図12を用いて後述する。
ステップS21において、AF処理を行うと、またはステップS19における判定の結果、AF動作指示を受信していない場合には、画像要求を受信したか否かを判定する(S23)。ユーザは、測定に先立って、または測定中に、指定したマニュアル位置での画像を観察したい場合がある。その場合には、細胞観察副制御部220を操作して画像要求を送信する。また、ユーザは、測定中にそれまで撮像した画像を確認したい場合があり、この場合にも、細胞観察副制御部220を操作して画像要求を送信してくる。そこで、このステップでは、細胞観察副制御部220から画像要求信号を受信したか否かを判定する。
ステップS23における判定の結果、画像要求信号がある場合には、画像データを取得し、無線送信を行う(S25)。この場合には、ステップS13において位置合わせを行った地点で撮像し、その画像データを細胞観察副制御部220に送信する。また測定中に、それまでの撮像した画像データの送信要求があった場合には、記憶部71に記憶された画像データを読み出し、細胞観察副制御部220に送信する。
ステップS25において画像データを取得し、無線送信を行うと、またはステップS23における判定の結果、画像要求を受信していない場合には、ステップS1に戻り、前述の処理を実行する。
このように、撮像部通信のフローにおいては、細胞観察装置1において、細胞観察副制御部220(または細胞観察主制御装置210)からの指示に従って細胞を撮像し、取得した画像を、細胞観察副制御部220(または細胞観察主制御装置210)に送信する(S25参照)。また、細胞の画像を取得するにあたって、細胞観察副制御部220(または細胞観察主制御装置210)から指示されたフォーカス選択モードに従ってフォーカスレンズ11aの焦点調節を行う(S17、S21参照)。このため、ユーザが細胞を観察する場合、細胞数をカウントする場合、細胞密度を計測する場合等、その用途に応じた画像を取得することができる。
次に、図11示す情報端末通信のフローチャートを用いて、細胞観察副制御装置220における動作について説明する。このフローチャートは、細胞観察副制御装置220内の制御部(CPU等)が記録部内に記憶されたプログラムコードに従って、細胞観察副制御装置220内の各部を制御することにより実行する。なお、本フローチャートにおいては、ユーザが細胞観察副制御装置220によって細胞観察装置1を制御する場合について説明するが、細胞観察主制御装置210によって制御するようにしてもよい。
情報端末通信のフローに入ると、まず、モード表示を行う(S31)。ここでは、細胞観察副制御装置220におけるモードを表示部229に表示する。例えば、スマートフォンを細胞観察副制御装置220に兼用する場合には、携帯電話モード、メールモード等がある。
モード表示を行うと、次に、検査アプリ起動か否かを判定する(S33)。ここでは、試料81の細胞81aの個数をカウントし、細胞密度を計測する等の検査を行う検査(測定)用のアプリケーションソフト(以下、「検査アプリ」と略称する)を起動するか否かを判定する。例えば、検査アプリのアイコンを表示し、これがタッチ操作されれば、検査アプリを起動すると判定する。検査アプリ以外にも、細胞の画像を解析するようなアプリであってもよい。またアプリの選択方法としては、タッチ操作以外にも、カーソルを移動させ選択されれば起動すると判定してもよく、また専用釦が操作されれば起動すると判定してもよい。この判定の結果、検査アプリ等の起動でなれば、他の動作、例えば、スマートフォンならば、携帯電話動作やメール動作等を行う。
ステップS33における判定の結果、検査アプリ起動であった場合には、指定カメラにアクセスする(S35)。ここでは、細胞観察副制御装置220によって指定されたカメラ(図1及び図2の例では、細胞観察装置1)に対してアクセスする。すなわち、細胞観察副制御装置220の通信部228から、細胞観察装置1の無線通信装置18に通信を行う。
次に、電源オン/オフ操作を行ったか否かを判定する(S37)。細胞観察装置1は、インキュベータ等の密室に載置して細胞培養容器80内の試料81を検査し、また電源電池から給電している。電源浪費を防止するために、細胞観察装置1の電源のオン/オフを細胞観察副制御装置220から指示することができる。ここでは、細胞観察副制御装置220において、電源のオン/オフの操作を行ったか否かを判定する。
ステップS37における判定の結果、電源オン/オフ操作を行った場合には、オン/オフ信号を送信する(S39)。ここでは、細胞観察副制御装置220の通信部228から、細胞観察装置1の無線通信装置18に電源オン/オフ信号を送信する。細胞観察装置1は、この信号を受信すると(図10のS3参照)、電源オン/オフを実行する(図10のS5参照)。
ステップS39においてオン/オフ信号を送信すると、またはステップS37における判定の結果、電源オン/オフ操作を行っていない場合には、次に、画像送信相手や撮影条件、パラメータ、測定条件等の各種設定を行うか否かの判定を行う(S41)。細胞観察装置1によって撮像された画像データと、これにタグ付けされた各種情報(日時情報、位置情報、測定(検査)結果情報)を送信する先を指定することができる。送信先としては、細胞観察主制御装置210または細胞観察副制御装置220に限らず、他の情報端末等であってもよい。
また、細胞観察装置1が撮像する際の撮影条件(ピント位置、絞り値、シャッタ速度値、ISO感度値、エッジやコントラストや色などの強調を含む画像処理の切換、照明の明るさやパターンや波長)、同様にパラメータ、測定条件等、を設定してもよい。また、移動パターンについても、デフォルトとして細胞観察装置1の記憶部71や細胞観察副制御装置の記録部に記録されているパターン以外に設定するようにしてもよい。このステップS41においては、これらの各種設定を行うための操作が行われたか否かを判定する。
ステップS41における判定の結果、各種設定のための操作が行われた場合には、各種無線通信情報を送信する(S43)。ここでは、ステップS41における判定に基づいて、操作された情報を、通信部228から細胞観察装置1の無線通信装置18に送信する(図10のS7、S9参照)。
ステップS43において各種無線通信情報を送信すると、またはステップS41における判定の結果、各種設定の操作がなされなかった場合には、次に、フォーカス選択モード指定、AF動作指示か否かを判定する(S45)。前述したように、本実施形態においては、ユーザが細胞を観察する場合、細胞数をカウントする場合、細胞密度を計測する場合等、その用途に応じた画像の取得に適したフォーカスモードを選択することができる(図10のS15参照)。この選択は、細胞観察副制御装置220(細胞観察主制御装置210でもよい)の表示部および入力部を利用して行う。また、ユーザがAF動作を指示することもできる(図10のS19参照)。
このステップS45では、ユーザがフォーカス選択モードを指定したか否か、またAF動作を指示したか否かに基づいて判定する。なお、これらの指定・指示は、細胞観察副制御装置220(細胞観察主制御装置210でもよい)が自動的に行えるようにしてもよい。
ステップS45における判定の結果、フォーカス選択モードが指定され、またAF動作が指示された場合には、指定信号を細胞観察装置1に送信する(S47)。ここでは、細胞観察副制御装置220の通信部228から細胞観察装置1の無線通信装置18に指定信号を送信する。
ステップS47において指定信号を送信すると、またはステップS45における判定の結果、フォーカス選択モードの指定がなく、またAF動作の指示が無い場合には、次に、マニュアル位置設定、画像要求が入力されたか否かを判定する(S49)。前述したように、ユーザは、測定に先立って、または測定中に、カメラ部10の位置を指定し、またカメラ部10で取得した画像を観察したい場合には、細胞観察副制御装置220から指示を行うことができる。このステップでは、これらの操作がなされたか否かを判定する。
なお、カメラ部10の位置指定は、(x、y)座標等の絶対位置で指示してもよく、また、画像を観察しながら、水平方向、垂直方向へ相対的な位置指定で移動を指示するようにしてもよい。その他、操作部の有するタッチパネルやスイッチやダイヤルの操作量に従って、移動制御してもよく、また代表的な観察ポイントを判定しておき、その場所に移動させるような指示でもよい。
ステップS49における判定の結果、マニュアル位置設定、画像要求入力があった場合には、指定信号を送信する(S51)。ここでは、ステップS49における操作に応じた信号を、通信部228から細胞観察装置1の無線通信装置18に送信する(図10のS11〜S17参照)。
ステップS51において指定信号を送信すると、またはステップS49における判定の結果、マニュアル位置設定、画像要求入力がない場合には、次に、アプリ終了か否かを判定する(S53)。ここでは、ステップS33において起動された検査アプリの動作を終了する指示がなされたか否かを判定する。この判定の結果、検査アプリが終了していなければ、ステップS35に戻り、一方、検査アプリが終了の場合には、ステップS31に戻る。
このように、情報端末通信のフローにおいては、細胞観察副制御装置220においてカメラ部10を動作させるための各種設定操作を行うと、通信部228を介して、細胞観察装置1の無線通信装置18に設定に基づく信号を送信する(例えば、S39、S43、S47、S51)。なお、フローチャートには記載されてないが、カメラ部10で取得した画像データが、細胞の観察、細胞数のカウント、細胞の密度の計測等のために、細胞観察装置1の無線通信装置18から細胞観察副制御装置220の通信部228に送信される。
また、情報端末通信のフローにおいては、撮像観察副制御装置220において、フォーカス選択モードの設定を行うと、このモードが細胞観察装置1に送信される(例えば、S45、S47参照)。このため、ユーザが細胞を観察したいのか、細胞数をカウントしたいのか、細胞密度を計測したいのかに応じて、この用途に適した画像を取得することができる。
次に、図12に示すフローチャートを用いて、AF処理(図10のS21参照)の動作について説明する。AF処理のフローに入ると、まず、初期レンズ駆動を行う(S61)。ピント合わせの対象となる試料81(細胞81a)は、フォーカスレンズ11aの移動範囲の内の所定範囲の位置にある。このためステップS61では該所定範囲付近からレンズ駆動を開始できるように、フォーカスレンズ11aを初期位置へ移動させる。なお、初期位置は、フォーカスレンズ基準位置検出部12cによって基準位置が検出されてから、LDモータ12bに印加されたパルス数に基づいて検出する。この検出方法以外にも、フォーカスレンズ11aの位置を検出するセンサを設けて、検出するようにしてもよい。
フォーカスレンズ11aを初期位置に移動させると、レンズスキャンを開始する(S63)。ここでは、フォーカスレンズ11aを、LDモータ12bによって、光軸方向に沿って移動させる。
レンズスキャンを開始させると、次に、AF評価値を取得する(S65)。ここでは、撮像センサ12aによって1フレーム分の撮像データを取得するたびに、画像処理部63によってAF評価値を算出する(図5参照)。
AF評価値を取得すると、次に指定範囲端に到達したか否かを判定する(S67)。前述したように、ピント合わせの対象となる試料81(細胞81a)の合焦となるフォーカスレンズ位置は、フォーカスレンズ11aの移動範囲の内の所定範囲にあり、ここでは、この所定範囲の端部に到達したか否かを判定する。この判定の結果、指定範囲端に到達していない場合には、ステップS65に戻り、1フレーム分の撮像データを取得するたびにAF評価値を算出する。
ステップS67における判定の結果、指定範囲端に到達すると、フォーカス検出処理を行う(S69)。ここでは、ステップS17(図10参照)において設定されたフォーカス選択モードに応じて焦点調節を行う。このフォーカス検出処理の詳しい動作については、図13を用いて後述する。
フォーカス検出処理を行うと、次に、AFがOKか否かを判定する(S71)。フォーカス検出処理において、フォーカス位置を検出した場合にはAF結果がOKのフラグが設定される(図13のS95参照)。このステップでは、AFOKのフラグが設定されたか否かに基づいて判定する。
ステップS71における判定の結果、AF結果がOKであった場合には、フォーカス駆動を行う(S73)。フォーカス検出処理において検出されたフォーカス位置(図13のS85、S91、S93)に、LDモータ12bの駆動によりフォーカスレンズ11aを駆動する。
一方、ステップS71における判定の結果、AF結果がOKでない場合には、指定レンズ位置に駆動する(S75)。この場合には、予め決められたフォーカス位置(指定レンズ位置)にLDモータ12bによりフォーカスレンズ11aを駆動する。予め決められたフォーカス位置としては、細胞81aが存在する可能性の高い位置等、適宜、決めておく。
ステップS73またはS75においてフォーカスレンズ11aを駆動すると、元のフローに戻る。
このように、AF処理においては、フォーカスレンズ11aを移動させながら、撮像データのAF評価値を取得し(S65)、この撮像データに基づいてフォーカス位置を検出している。
次に、図13に示すフローチャートを用いて、フォーカス検出処理(図12のS69参照)の動作について説明する。フォーカス検出処理のフローに入ると、まず、ピークがあるか否かについて判定する(S81)。フォーカスレンズを移動させながら、またはフォーカスレンズを所定量ずつ移動させて、離散的にステップS65において算出したAF評価値が増加から減少に転じたフォーカスレンズ位置がピークとなる。そして、減少に転じた後、フォーカスレンズ位置に応じてAF評価値が所定量を越えて減少することを確認しピークと判断する。このステップでは、1つ以上のピークが存在するか否かについて判定する。
ステップS81における判定の結果、ピークがない場合には、AF結果にNGを設定する(S97)。AF評価値のピークを検出できないことから、コントラスト法による合焦位置を検出できず、AF結果としてNGフラグを設定する。
一方、ステップS81における判定の結果、ピークがあった場合には、シングルピークか否かについて判定する(S83)。シングルピークは、図6に示したように(図8の破線も同様)、AF評価値のピークが1つだけ現われる場合である。この時、所定範囲内においてピークが1つだけ現れるか判定する。所定範囲は、レンズスキャン範囲の全体としてもよいし、端部を除いた中央部分の一部分としてもよいし、複数の範囲に分割してそれぞれの範囲で判定してもよい。
ステップS83における判定の結果、シングルピークの場合には、ピーク位置をフォーカス位置に設定する(S85)。この場合には、AF評価値のピークに対応するフォーカスレンズの位置をフォーカス位置として記憶する。この記憶された位置にフォーカスレンズ11a駆動される(図12のS73参照)。
一方、ステップS83における判定の結果、シングルピークでない場合には、ピークがダブルピークか否かについて判定する(S87)。ダブルピークは、図8の実線に示したように、AF評価値のピークが2つ現われる場合である。この判定の結果、ダブルピークでない場合には、フォーカス位置を検出できないことから、ステップS97と同様に、AF結果としてNGフラグを設定する(S98)。なお、ダブルピークの判定においては、ピーク間の距離であるフォーカスレンズ位置の間隔(Pr−Pq)が所定範囲内であることを条件とする。細胞のような試料の場合は、その構造から物理的に厚さが限られるので、ピーク間の距離が所定値より大きい場合は複数のピークの一方を排除する。
ステップS87における判定の結果、ダブルピークの場合には、フォーカス選択モードが観察モードか解析モードを判定する(S89)。観察モードは、ユーザが細胞81aを表示部75において観察するのに適したフォーカスを行う(図9(a)参照)。また解析モードは、細胞81aの細胞数または細胞密度を計測するのに適したフォーカスを行う(図9(b)(c)参照)。観察モードか解析モードの判定は、ステップS17(図10参照)において設定したフォーカス選択モードに基づいて判定する。
ステップS89における判定の結果、観察モードが設定されていた場合には、2つのピークの間に位置するAF評価値が極小となる極小位置をフォーカス位置に設定する(S91)。この場合には、AF評価値の極小位置(図8のベストピント位置Pb)を、フォーカスレンズ11aのフォーカス位置として記憶する。この記憶された位置にフォーカスレンズ11a駆動される(図12のS73参照)。
一方、ステップS89における判定の結果、解析モードが設定されていた場合には、2つのピークのいずれかのピーク位置(ピークに対応するフォーカスレンズ位置)をフォーカス位置に設定する(S93)。図8に示すように、ダブルピークの場合には、AF評価値の極小値の両側にピークが現われる。このステップでは、いずれかのピーク位置に対応するフォーカスレンズ11aの位置をフォーカス位置として記憶する。この記憶された位置にフォーカスレンズ11a駆動される(図12のS73参照)。なお、前述したように、細胞数をカウントするか、細胞密度を計測するかに応じて、両側のいずれか一方のピークを選択するようにしてもよい。細胞数カウントおよび細胞密度の検出の仕方については図14を用いて後述する。
ステップS85、S91、またはS93において、フォーカス位置を記憶すると、AF結果としてOKフラグを設定する(S95)。上述のステップにおいて、フォーカス位置を設定することができたことから、OKフラグを設定する。
ステップS95においてOKフラグを設定すると、またはステップS97においてNGフラグを設定すると、元のフローに戻る。
このように、フォーカス検出処理のフローにおいては、AF評価値がシングルピークを有するか、ダブルピークを有するかに応じて、フォーカスレンズ11aのフォーカス位置の設定を異ならせている(S85、S91、S93参照)。このため、フォーカスレンズ位置に対応するAF評価値の変化がピークを2つ有するような場合であっても、正確な焦点調節を行うことができる。
また、フォーカス選択モードを設定することにより、細胞の観察に適した焦点調節と、細胞の数等、細胞の解析に適した焦点調節を行うことができる。なお、解析モードとしては、細胞数のカウントや細胞密度の計測以外の解析を行うように、適宜、フォーカス位置の設定を異ならせてもよい。例えば、画像データから細胞の形状を検出し、形状を解析して細胞の生死判断を行う等の解析モードを有していてもよい。
次に、図14を用いて、解析モードにおける細胞数カウントと、細胞密度(コンフルエンシー)の検出について説明する。図14(a)は、細胞数カウントの例を示す。細胞数をカウントする場合には、図9(b)に示したように、細胞の境界が黒色、内部が白色となるようなフォーカス位置で撮像される。このため、このような条件を満たしている細胞の数をカウントすればよい。図14(a)は、この条件を満たしている部分を画像解析によって検出し(×印をつけている)、この×印をカウントしている。また、図9(c)に示したように、境界線が白色、内部が黒色となるようなフォーカス位置で撮像し、境界線が白色、内部が黒色となる部分を細胞と認識してカウントしてもよい。
図14(b)は、細胞密度を検出する例を示す。細胞密度を検出する場合には、図9(c)に示したように、境界線が白色、内部が黒色となるようなフォーカス位置で撮像される。このため設定領域(図14(b)においては破線の内部)において、内部が黒色となっている部分の面積を算出することにより、密度を算出することができる。図9(b)に示すように、細胞の境界が黒色、内部が白色となるようなフォーカス位置で撮像し、境界が黒色、内部が白色となる部分を細胞と認識し、内部の白色部分の面積を算出して密度を算出してもよい。
次に、図15および図16を用いて、本発明の一実施形態の変形例について説明する。本発明の一実施形態においては、AF評価値のピークは1つ又は2つであった。本変形例においてはAF評価値のピークが1〜3の場合であってもフォーカス位置を検出することができる。
図15を用いてAF評価値のピークが3つある場合について説明する。図15において、破線は、細胞81aによる集光効果がない場合のフォーカスレンズ位置とAF評価値の関係を示す。また、図15の実線は、細胞81aによる集光効果がある場合を示す。位置Pbは、ベストピント位置である。
図8に示した例では、AF評価値の極大値のピークQ(Pq位置)とピークR(Pr位置)の2つあり、極小値がP(Pbの位置)の1つであった。極小値Pは、元々、破線で示すAF評価値ではピークであったものであり、ピークQとピークRの値が大きくなり、Pは極小値となったものである。図15の実線に示す例は、図8に示す例よりも細胞81aの集光効果が弱い場合である。そのため、AF評価値のピークQとピークRが、図8に示した例ほど大きくならなかった為に、AF評価値のピークPが残り、ピークQ’、P’、R’と3つのピークが生じている。図15の実線で示す状況において、例えばピークQ´とP´をダブルピークと検出し、かつ観察モードである場合、ピークQ´とP´の間の極小値に対応するフォーカス位置にフォーカスを行うこととなる。その場合、観察のために適切なフォーカスに設定することができないという問題が生ずる。
次に、図16に示すフローチャートを用いて、本変形例のフォーカス検出処理について説明する。本変形例におけるフォーカス検出処理は、図13に示した本実施形態におけるフォーカス検出処理のステップS81〜S97は同一であることから、重複するステップを省略し、またステップS98を省略し、ステップS99〜S107を追加しているだけである。そこで、この相違するステップを中心に説明する。
フォーカス検出処理のフローに入り、ステップS87においてダブルピークか否かの判定を行い、この判定の結果、ダブルピークでない場合には、トリプルピークか否かの判定を行う(S101)。トリプルピークは、図15の実線に示したように、AF評価値のピークが3つ現われる場合である。この判定の結果、トリプルピークでない場合には、シングルピークでもなく、ダブルピークでもないことからピークが存在せず、フォーカス位置を検出できないと判定し、ステップS97、S98と同様に、AF結果としてNGフラグを設定する(S99)。
ステップS101における判定の結果、トリプルピークの場合には、ステップS89と同様に、フォーカス選択モードが観察モードか解析モードを判定する(S103)。前述したように、観察モードは、ユーザが細胞81aを表示部75において観察するのに適したフォーカスを行う(図9(a)参照)。また解析モードは、細胞81aの細胞数または細胞密度を計測するのに適したフォーカスを行う(図9(b)(c)参照)。観察モードか解析モードの判定は、ステップS17(図10参照)において設定したフォーカス選択モードに基づいて判定する。
ステップS103における判定の結果、観察モードが設定されていた場合には、中央のピーク位置をフォーカス位置に設定する(S105)。この場合には、3つのピークの内、中央にあるピーク位置(図15のベストピント位置Pb)を、フォーカスレンズ11aのフォーカス位置として記憶する。この記憶されたフォーカス位置にフォーカスレンズ11a駆動される(図12のS73参照)。
一方、ステップS103における判定の結果、解析モードが設定されていた場合には、左右いずれかのピーク位置をフォーカス位置に設定する(S107)。図15に示すように、トリプルピークの場合には、AF評価値の中央のピークの両側にもピークが現われる。このステップでは、左右のいずれかのピーク位置に対応するフォーカスレンズ11aの位置をフォーカス位置として記憶する。この記憶されたフォーカス位置にフォーカスレンズ11a駆動される(図12のS73参照)。なお、前述したように、細胞数をカウントするか、細胞密度を計測するかに応じて、両側のいずれか一方のピークを選択するようにしてもよい(図14参照)。
ステップS85、S91、S93、S105、S107において、フォーカス位置を記憶すると、AF結果としてOKフラグを設定する(S95)。上述のステップにおいて、フォーカス位置を設定することができたことから、OKフラグを設定する。
ステップS95においてOKフラグを設定すると、またはステップS97、S99においてNGフラグを設定すると、元のフローに戻る。
このように、本変形例に係るフォーカス検出処理においては、シングルピークの場合(図13のS81)、ダブルピークの場合(S87)、またはトリプルピークの場合(S101)の何れの場合においても、フォーカスレンズ11aのフォーカス位置を適切に調節することができる。
また、AF評価値がトリプルピークを有する場合に、フォーカス選択モードとして観察モードが設定されると、細胞81a等の試料81の観察に適したピント位置にフォーカスレンズを移動させることができ、細胞等の観察に適した焦点調節ができる。また、フォーカス選択モードとして解析モードが設定されると、細胞81a等の試料81の解析に適したピント位置にフォーカスレンズを移動させることができ、精度の高い画像解析ができる。
以上説明したように、本発明の一実施形態や変形例においては、フォーカス位置の変化に対応するAF評価値(コントラスト評価値)の変化にて複数の極大値(ピーク)が発生する場合に、複数の極大値に対応するフォーカス位置のいずれか一方にフォーカス位置を制御するようにしている(例えば、図8のQ、R、図13のS93、図15のQ’、R’、図16のS107等参照)。このため、細胞の立体構造によって、コントラストカーブに2つ以上のピークが出現するような場合であっても、用途に応じて適切なフォーカス位置に調節することができる。特に、細胞の解析に適した画像を提供することができる。
また、本発明の一実施形態や変形例においては、観察用画像データ生成部により観察用画像データを生成する時に、フォーカス位置の変化に対応するAF評価値(コントラスト評価値)の変化に複数の極大値が現れる場合に、複数の極大値に対応するフォーカス位置の間に位置するコントラスト評価値の極値に対応するフォーカス位置に制御するようにしている(例えば、図8のP、図13のS91、図15のP’、図16のS105等参照)。このため、細胞の立体構造によって、コントラストカーブに2つ以上のピークが出現するような場合であっても、用途に応じて適切なフォーカス位置に調節することができる。特に、細胞の観察に適した画像を提供することができる。
また、本発明の一実施形態や変形例において、複数の極大値に対応するフォーカス位置の間に位置するコントラスト評価値の極小値のうちの最小値に対応するフォーカス位置に制御するようにしてもよい。すなわち、コントラスト評価値の極小値が複数ある場合には、この極小値の中の最小値に対応するフォーカス値に制御する。この場合には、極小値が複数ある場合でも、細胞を表示する場合でも最も細胞の観察に適した画像を提供することができる。
また、本発明の一実施形態や変形例においては、撮像部のフォーカス位置を変化させ(例えば、図12のS63参照)、撮像部の出力する撮像面の所定範囲内の撮像データに基づきコントラスト評価値を算出して(例えば、図12のS65参照)、コントラスト評価値に基づいてフォーカスを制御し(例えば、図12のS73参照)、フォーカス位置の変化に対応するコントラスト評価値の変化にて複数の極大値が発生する場合に(例えば、図12のS87、図16のS101)、複数の極大値に対応するフォーカス位置のいずれか一方にフォーカス位置を制御している(例えば、図12のS93、図16のS107)。このため、細胞の立体構造によって、コントラストカーブに2つ以上のピークが出現するような場合であっても、用途に応じて適切なフォーカス位置に調節することができる。特に、細胞の解析に適した画像を提供することができる。
なお、本発明の一実施形態や変形例においては、高周波成分が多くなるとAF評価値が大きくなるようにした例について説明したので、AF評価値の極大値が合焦位置となっていた。しかし、逆に、高周波成分が多くなるとAF評価値が小さくなるようなAF評価値の算出を行うことができ、この場合でも本実施形態を適用することができる。
また、本発明の一実施形態や変形例においては、細胞等の試料の画像解析として、細胞の数のカウント、細胞の密度の測定を例に挙げて説明した。しかし、画像解析は、この例に限らず、細胞の形状の測定等、他の画像解析を行うようにしてもよい。この場合には、画像解析に応じて、AF評価値のピークを選択すればよく、またピーク位置に限らず、ピーク位置と所定の関係にある位置にフォーカス制御するようにしてもよい。
また、本発明の一実施形態や変形例においては、LDモータ制御部61、LDモータドライバ51の制御によりLDモータ12bを駆動してフォーカスレンズ11aを移動させフォーカスの調節を行っている。しかし、これに限らず、撮像部(カメラ部10)や撮像部10の内部の撮像センサ12aを撮影レンズ11の光軸方向に移動させてフォーカスを調節してもよい。また、天板40を撮影レンズ11の光軸方向に移動させて細胞81aを含む細胞培養容器80を光軸方向に移動させ、フォーカスの調節を行ってもよい。
また、本発明の一実施形態や変形例においては、CPU60の内部のLDモータ制御部61等の一部は、プログラムによってソフトウエア的に実現したが、これらの全部または一部をCPU60とは別体のハードウエア回路で構成してもよく、また別体のCPUによって実現するようにしてもよい。また、これらをヴェリログ(Verilog)によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またDSP(Digital Signal Processor)等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。
また、本発明の一実施形態や変形例においては、測定対象として、容器80内の培地で培養された試料81(細胞)を例に挙げて説明したが、AF評価値に複数のピークが生ずるような試料であれば、これに限られない。通信方法も無線通信に限る必要はなく、有線通信でもよい。この他、製品の出来栄え検査、部品や実装の出来栄え検査、移動制御と撮影制御を組み合わせて行う遠隔撮影、検査システムや装置や方法であれば、本実施形態の応用が可能である。
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
1・・・細胞観察装置、10・・・カメラ部、11a・・・フォーカスレンズ、12a・・・撮像センサ、12b・・・LDモータ、12c・・・フォーカスレンズ基準値検出部、13・・・LED、18・・・無線通信装置、29・・・表示部、31・・・アクチュエータ、31a・・・Yアクチュエータ、31b・・・Xアクチュエータ、32a・・・Y送りネジ、32b・・・X送りネジ、33・・・移動制御部、40・・・天板、42・・・外装体、43・・・内蔵センサ、43a・・・装置内温度センサ、50・・・XYステージ部、51・・・LDモータドライバ、52・・・Xステージ駆動機構、53・・・Xステージモータ、54・・・Xステージモータドライバ、55・・・Xステージ基準位置検出部、56・・・Yステージ基準位置検出部、57・・・Yステージモータドライバ、58・・・Yステージモータ、59・・・Yステージ駆動機構、59a・・・LED駆動回路、60・・・CPU、61・・・LDモータ制御部、62・・・XMT制御部、63・・・画像処理部、64・・・YMT制御部、65・・・LED制御回路、66・・・Y生成部、67・・・フィルタ処理部、68・・・エリア積算部、71・・・記憶部、72・・・ケーブル、73・・・電源、74・・・操作部、75・・・表示部、80・・・細胞培養容器、80a・・・容器底面、81・・・試料、81a・・・細胞、82・・・容器、82a・・・容器本体部、82b・・・首部、82c・・・蓋、82d・・・係止部、83・・・容器、84・・・容器、84a・・・凹部、100・・・インキュベータ、210・・・細胞観察主制御装置、220・・・細胞観察副制御装置、220・・・操作部、228・・・通信部、230・・・表示装置、240・・・入力装置

Claims (8)

  1. 試料を撮像する撮像部を有する観察装置であって、
    上記撮像部のフォーカス位置を変化させ、上記撮像部の出力する撮像面の所定範囲内の撮像データに基づきコントラスト評価値を算出して、コントラスト評価値に基づいてフォーカスを制御するフォーカス制御部と、
    上記撮像部の出力する撮像データに基づいて、上記試料を解析する解析部と、
    を具備し、
    上記フォーカス制御部は、上記フォーカス位置の変化に対応するコントラスト評価値の変化にて複数の極大値が発生する場合に、上記複数の極大値に対応するフォーカス位置のいずれか一方にフォーカス位置を制御する、
    ことを特徴とする観察装置。
  2. 上記撮像部の出力する撮像データに基づいて観察を行うための観察用画像データを生成する観察用画像データ生成部をさらに具備し、
    上記フォーカス制御部は、上記観察用画像データ生成部により観察用画像データを生成する時に、上記フォーカス位置の変化に対応する上記コントラスト評価値の変化に複数の極大値が現れる場合に、上記複数の極大値に対応するフォーカス位置の間に位置する上記コントラスト評価値の極値に対応するフォーカス位置に制御する、
    ことを特徴とする請求項1に記載の観察装置。
  3. 上記フォーカス制御部は、上記複数の極大値に対応するフォーカス位置の間に位置する上記コントラスト評価値の極値のうちのいずれかに対応するフォーカス位置に制御することを特徴とする請求項2に記載の観察装置。
  4. 上記フォーカス制御部は、上記フォーカス位置の変化に対応するコントラスト評価値の変化にて1個の極大値が発生する場合、上記1個の極大値に対応するフォーカス位置にフォーカス位置を制御することを特徴とする請求項1乃至3のいずれか一項に記載の観察装置。
  5. 上記解析部は、上記試料に含まれる細胞の数をカウントすることを特徴とする請求項1乃至4のいずれか一項に記載の観察装置。
  6. 上記解析部は、上記試料に含まれる細胞の形状を測定することを特徴とする請求項1乃至4のいずれか一項に記載の観察装置。
  7. 上記解析部は、上記試料に含まれる細胞の密度を測定することを特徴とする請求項1乃至4のいずれか一項に記載の観察装置。
  8. 試料を撮像する撮像部を有する観察装置の焦点調節方法であって、
    上記撮像部のフォーカス位置を変化させ、上記撮像部の出力する撮像面の所定範囲内の撮像データに基づきコントラスト評価値を算出して、コントラスト評価値に基づいてフォーカスを制御し、上記フォーカス位置の変化に対応するコントラスト評価値の変化にて複数の極大値が発生する場合に、上記複数の極大値に対応するフォーカス位置のいずれか一方にフォーカス位置を制御することを特徴とする焦点調節方法。
JP2017197123A 2017-10-10 2017-10-10 観察装置および焦点調節方法 Pending JP2019070751A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017197123A JP2019070751A (ja) 2017-10-10 2017-10-10 観察装置および焦点調節方法
US16/141,942 US10771677B2 (en) 2017-10-10 2018-09-25 Observation device and focus adjustment method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017197123A JP2019070751A (ja) 2017-10-10 2017-10-10 観察装置および焦点調節方法

Publications (1)

Publication Number Publication Date
JP2019070751A true JP2019070751A (ja) 2019-05-09

Family

ID=65993689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017197123A Pending JP2019070751A (ja) 2017-10-10 2017-10-10 観察装置および焦点調節方法

Country Status (2)

Country Link
US (1) US10771677B2 (ja)
JP (1) JP2019070751A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021157153A (ja) * 2020-03-30 2021-10-07 澁谷工業株式会社 細胞観察装置及び細胞観察方法
WO2022113365A1 (ja) * 2020-11-30 2022-06-02 株式会社ニコン 合焦方法、観察装置、およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210215925A1 (en) * 2020-01-09 2021-07-15 Kimball Electronics Indiana, Inc. Imaging system for leak detection

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7391461B2 (en) * 2002-03-06 2008-06-24 Canon Kabushiki Kaisha Apparatus, method and control computer program for imaging a plurality of objects at different distances
JP3986988B2 (ja) * 2002-09-27 2007-10-03 富士フイルム株式会社 自動焦点調節方法および装置
WO2007037439A1 (ja) * 2005-09-29 2007-04-05 Olympus Corporation 焦点位置決定方法、焦点位置決定装置、微弱光検出装置及び微弱光検出方法
JP5307539B2 (ja) * 2006-05-31 2013-10-02 オリンパス株式会社 生体試料撮像方法および生体試料撮像装置
JP2008116526A (ja) 2006-11-01 2008-05-22 Matsushita Electric Ind Co Ltd 顕微鏡画像の処理装置及び処理方法
JP4732397B2 (ja) * 2007-04-11 2011-07-27 富士フイルム株式会社 撮像装置及びその合焦制御方法
KR101411906B1 (ko) * 2008-03-21 2014-06-25 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
JP5523143B2 (ja) * 2010-02-25 2014-06-18 オリンパスイメージング株式会社 撮像装置及び自動焦点調節方法
CN103429729B (zh) 2011-03-03 2015-01-21 弗·哈夫曼-拉罗切有限公司 悬滴板
JP2013116073A (ja) 2011-12-02 2013-06-13 Dainippon Printing Co Ltd 細胞培養容器の製造方法
JP6184276B2 (ja) * 2013-09-27 2017-08-23 オリンパス株式会社 焦点調節装置
JP6173950B2 (ja) * 2014-03-04 2017-08-02 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム
JP6219214B2 (ja) 2014-03-31 2017-10-25 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム
JP6333145B2 (ja) * 2014-09-30 2018-05-30 株式会社Screenホールディングス 画像処理方法および画像処理装置
US10761294B2 (en) * 2015-06-18 2020-09-01 Sony Corporation Display control device and display control method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021157153A (ja) * 2020-03-30 2021-10-07 澁谷工業株式会社 細胞観察装置及び細胞観察方法
JP7502606B2 (ja) 2020-03-30 2024-06-19 澁谷工業株式会社 細胞観察装置及び細胞観察方法
WO2022113365A1 (ja) * 2020-11-30 2022-06-02 株式会社ニコン 合焦方法、観察装置、およびプログラム

Also Published As

Publication number Publication date
US20190109995A1 (en) 2019-04-11
US10771677B2 (en) 2020-09-08

Similar Documents

Publication Publication Date Title
US8982457B2 (en) Microscope system and illumination intensity adjusting method
JP2019016859A (ja) 観察装置および観察方法
US20200318058A1 (en) Observation system and observation method using the same
JP5633753B2 (ja) フォーカス制御方法および培養観察装置
JP2019070751A (ja) 観察装置および焦点調節方法
JP6692660B2 (ja) 撮像装置
JP5818651B2 (ja) 画像処理装置
CN107231507B (zh) 摄像装置和摄像方法
JP6514832B2 (ja) 観察装置
US10674044B2 (en) Observation apparatus, method for controlling observation apparatus, and non-transitory computer-readable medium storing control program for observation apparatus
JPWO2007145091A1 (ja) 細胞培養装置
US20070064101A1 (en) Observation apparatus
US20150241683A1 (en) Image Measurement Device
US20180054551A1 (en) Observation apparatus, observation method and observation system
US8408705B2 (en) System for observing cornea for transplantation
JP7097168B2 (ja) 拡大観察装置
JP2006023175A (ja) 顕微鏡撮像装置
JP6330070B1 (ja) 観察装置、観察システム及び観察装置の制御方法
US10310242B2 (en) Observation apparatus, method for controlling observation apparatus, and non-transitory computer readable storage medium storing control program for observation apparatus
US10129474B2 (en) Observation apparatus, measurement system and observation method
JP2017169480A (ja) 観察装置、測定システム及び観察方法
US20170280051A1 (en) Observation apparatus, measurement system, culture vessel and control method for observation apparatus
JP2015127769A (ja) 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
JP6535494B2 (ja) 撮像装置、撮像方法および培養容器
KR20190051506A (ko) 다각도 시료촬영 장치