JP2011209573A - 合焦装置、合焦方法、合焦プログラム及び顕微鏡 - Google Patents

合焦装置、合焦方法、合焦プログラム及び顕微鏡 Download PDF

Info

Publication number
JP2011209573A
JP2011209573A JP2010078204A JP2010078204A JP2011209573A JP 2011209573 A JP2011209573 A JP 2011209573A JP 2010078204 A JP2010078204 A JP 2010078204A JP 2010078204 A JP2010078204 A JP 2010078204A JP 2011209573 A JP2011209573 A JP 2011209573A
Authority
JP
Japan
Prior art keywords
image
recording
imaging range
sample
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010078204A
Other languages
English (en)
Other versions
JP5471715B2 (ja
Inventor
Takashi Yamamoto
隆司 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010078204A priority Critical patent/JP5471715B2/ja
Publication of JP2011209573A publication Critical patent/JP2011209573A/ja
Application granted granted Critical
Publication of JP5471715B2 publication Critical patent/JP5471715B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】合焦に要する時間を短縮させ得る合焦装置、合焦方法、合焦プログラム及び顕微鏡を提案する。
【解決手段】記録用の撮影範囲に対応する焦点探索用の撮影範囲から位相差像を交互に取得し、当該位相差像を用いて、記録用の撮影範囲における焦点位置を決定する。また位相差像のうち、対物レンズの視界内で記録用の撮影範囲の外側となる余白領域用いて、焦点位置が未決定となる記録用の撮影範囲内における焦点位置を予測する。
【選択図】図11

Description

本発明は合焦装置、合焦方法、合焦プログラム及び顕微鏡に関し、例えば組織切片を観察する場合に好適なものである。
病理診では、組織切片はスライドガラスに固定され、染色過程及び封入過程を経てプレパラートとして作製される。一般に、プレパラートの保管期間が長期間となると、生体サンプルの劣化や退色等によりプレパラートに対する顕微鏡での視認性が悪くなる。また、プレパラートはそれを作製した病院等の施設以外の施設で鏡検されることもあるが、該プレパラートの受け渡しは一般に郵送であり、一定の時間を要する。
このような実情等に鑑み、生体サンプルを画像データとして保存する装置が提案されている(例えば特許文献1参照)。この装置では、撮像画像のコントラストに基づいて焦点を合わせる合焦技術が採用される。
特開2009−175334公報
しかしながら上述の合焦技術の場合、撮影範囲の奥行き方向(光軸方向)へ所定間隔ごとに焦点をずらし、これら焦点での撮像画像のコントラストに基づいて最適な焦点位置を探索する処理が必要となる。
一般に、スライドガラスの製造時に生じる厚みの違いや、プレパラートの作製時に生じる封入材の量の違いなどの要因によって、光軸方向の探索距離がおおよそ200[μm]前後となる。例えば、生体サンプルに集光する光学レンズの被写界深度が1[μm]である場合、0.5[μm]の精度で最適な合焦位置を検出するには、400枚程度の撮像画像から探索する処理が必要となる。
この探索処理は、生体サンプルに対して割り当てられる撮影範囲ごとに実行されるため、最適な焦点位置の検出に要する時間は莫大となり、この結果、生体サンプル全体を画像データとして取得する効率が著しく低下することになる。
本発明は以上の点を考慮してなされたもので、合焦に要する時間を短縮させ得る合焦装置、合焦方法、合焦プログラム及び顕微鏡を提案しようとするものである。
かかる課題を解決するため本発明は、合焦装置であって、対物レンズの視界よりも小さい記録用の撮影範囲に結像される像に対応する像が結像され、該対物レンズの視界よりも大きい焦点探索用の撮影範囲が、サンプルに対して割り当てられ、それら焦点探索用の撮影範囲内にあるサンプル部位の像を所定間隔ごとに取得する取得手段と、サンプル部位の像を用いて、該像に対応するサンプル部位の像が結像される記録用の撮影範囲における焦点位置を決定する決定手段と、サンプル部位の像のうち、対物レンズの視界内で記録用の撮影範囲の外側となる領域を用いて、焦点位置が未決定となる記録用の撮影範囲における焦点位置を予測する予測手段とを有する。
また本発明は、合焦方法であって、対物レンズの視界よりも小さい記録用の撮影範囲に結像される像に対応する像が結像され、該対物レンズの視界よりも大きい焦点探索用の撮影範囲が、サンプルに対して割り当てられ、それら焦点探索用の撮影範囲内にあるサンプル部位の像を所定間隔ごとに取得する取得ステップと、サンプル部位の像を用いて、該像に対応するサンプル部位の像が結像される記録用の撮影範囲における焦点位置を決定する決定ステップと、サンプル部位の像のうち、対物レンズの視界内で記録用の撮影範囲の外側となる領域を用いて、焦点位置が未決定となる記録用の撮影範囲における焦点位置を予測する予測ステップとを有する。
また本発明は、合焦プログラムであって、コンピュータに対して、対物レンズの視界よりも小さい記録用の撮影範囲に結像される像に対応する像が結像され、該対物レンズの視界よりも大きい焦点探索用の撮影範囲が、サンプルに対して割り当てられ、それら焦点探索用の撮影範囲内にあるサンプル部位の像を所定間隔ごとに取得すること、サンプル部位の像を用いて、該像に対応するサンプル部位の像が結像される記録用の撮影範囲における焦点位置を決定すること、サンプル部位の像のうち、対物レンズの視界内で記録用の撮影範囲の外側となる領域を用いて、焦点位置が未決定となる記録用の撮影範囲における焦点位置を予測することを実行させる。
また本発明は、顕微鏡であって、対物レンズの視界よりも小さい撮影範囲をもつ記録用の撮像素子と、対物レンズの視界よりも大きい撮影範囲をもち、記録用の撮像素子の撮影範囲に結像される像に対応する像が結像される焦点探索用の撮像素子と、サンプルに対して焦点探索用の撮像素子の撮影範囲が割り当てられ、それら撮影範囲内のサンプル部位の像を所定間隔ごとに取得する取得手段と、サンプル部位の像を用いて、該像に対応するサンプル部位の像が結像される記録用の撮像素子の撮影範囲における焦点位置を決定する決定手段と、サンプル部位の像のうち、対物レンズの視界内で記録用の撮像素子の外側となる領域を用いて、焦点位置が未決定となる記録用の撮像素子の撮影範囲における焦点位置を予測する予測手段とを有する。
本発明は、焦点探索用の撮影範囲から所定間隔ごとに取得した像だけで、サンプルに対して割り当てられる記録用の撮影範囲よりも広範囲の面積に対応した焦点位置が得られるため、焦点探索に用いるべきサンプルに対する撮影枚数が大幅に低減される。かくして合焦に要する時間を短縮させ得る合焦装置、合焦方法、合焦プログラム及び顕微鏡が実現される。
顕微鏡の構成を示す概略図である。 撮像素子における撮影範囲の説明に供する概略図である。 記録対象に用いられるべき組織切片の像と、焦点探索に用いられるべき組織切片の位相差像を示す写真である。 統括制御部の構成を示す概略図である。 合焦プログラムに基づくCPUの機能的な構成を示す概略図である。 位相差像の取得対象とされる生体サンプル例を示す概略図である。 生体サンプルの凹凸状態の説明に供する概略図である。 位相差像の一方の像に対する他方の像の画素ごとの距離(視差)を示す概略図である。 余白領域の説明に供する概略図である。 余白領域を用いたサンプル部位の奥行幅の予測の説明に供する概略図である。 合焦位置の決定の説明に供する概略図である。 合焦処理手順を示すフローチャートである。 X−Z方向における各画素の視差(凹凸分布)に最も近似する直線の検出の説明に供する概略図である。 他の実施の形態における奥行幅の分割例の説明に供する概略図である。
以下、発明を実施するための形態について説明する。なお、説明は以下の順序とする。
<1.実施の形態>
[1−1.顕微鏡の構成]
[1−2.統括制御部の機能的な構成]
[1−3.合焦処理の具体的内容]
[1−4.合焦処理手順]
[1−5.効果等]
<2.他の実施の形態>
<1.実施の形態>
[1−1.顕微鏡の構成]
図1において、本一実施の形態である顕微鏡1の構成を示す。この顕微鏡1は、プレパラートPRTを配置可能なステージ(以下、これをプレパラートステージとも呼ぶ)11を有する。
プレパラートPRTは、血液等の結合組織、上皮組織又はそれらの双方の組織などにおけるサンプル(以下、これを生体サンプルとも呼ぶ)を、所定の固定手法によりスライドガラスに固定したものであり、該生体サンプルには必要に応じて染色が施される。染色には、HE(ヘマトキシリン・エオジン)染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色と呼ばれる染色のみならず、FISH(Fluorescence In-Situ Hybridization)や酵素抗体法等の特殊染色と呼ばれる染色が含まれる。
プレパラートステージ11のうち、プレパラートPRTが配される面(以下、これをプレパラート配置面とも呼ぶ)とは逆の面側には光源12が配される。光源12は、一般染色が施された生体サンプルを照明する光(以下、これを明視野照明光とも呼ぶ)を照射可能なものとされる。また、プレパラート配置面側には、特殊染色が施された生体サンプルを照明する光(以下、これを暗視野照明光とも呼ぶ)を照射可能な光源(図示せず)が配される。
プレパラートステージ11と光源12との間には、プレパラート配置面における基準位置の法線を光軸LXとするコンデンサレンズ13が配される。
プレパラートステージ11のプレパラート配置面側には、該プレパラート配置面における基準位置の法線を光軸LXとする対物レンズ14が配される。
対物レンズ14の後方には、対物レンズ14から入射する光を透過光と反射光とに分割するハーフミラー15が配される。
ハーフミラー15の透過側の後方には、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子16が配される。この撮像素子16は、記録対象とすべき像の撮影に用いられる。図2に示すように、この撮像素子16における撮影範囲FSC1は、対物レンズ14の視界FOVに内接する矩形の範囲とされ、対物レンズ14の光軸LXを中心として位置される。ちなみに撮影範囲は、実際に画素として撮影に用いられる受光素子部分である。
一方、ハーフミラー15の反射側の後方には、該反射側に投影される対物レンズ14の被写体像を後方(予定される結像面)にリレーするフィールドレンズ17が配される。このフィールドレンズ17では、ハーフミラー15において反射される被写体光が集められるので視野周辺における明度の低下が抑制される。
フィールドレンズ17の後方には絞りマスク18が配される。絞りマスク18は、フィールドレンズ17の光軸と直交する面のうちその光軸を境界として対称となる位置に一対の開口18A、18Bを有する。絞りマスク18は、これら開口18A、18Bによって、フィールドレンズ17から入射する被写体光束を分割する。分割光束は、被写体光束の結像面で交差し、該結像面の前後で位置関係が入れ換わる光束となる。
一対の開口18A、18Bの後方にはそれぞれセパレータレンズ19A、19Bが配される。セパレータレンズ19A、19Bは、対応する開口18A、18Bによって分割される分割光束をアオリ結像(シフト)させ、フィールドレンズ17によってリレーされる予定結像面に対して、視点の異なる1対の像(以下、これを位相差像とも呼ぶ)を形成する。
なお、セパレータレンズ19A、19Bがフィールドレンズ17の口径蝕(ケラレ)に掛かると、分割光束の一部が欠損する。このためセパレータレンズ19A、19Bは、口径蝕に掛からないようフィールドレンズ17の中央側に寄せて配置される。またセパレータレンズ19A、19Bの被写界深度は、対物レンズ14の被写界深度よりも広く設定される。このセパレータレンズ19A、19Bの被写界深度の設定は、例えば絞りマスク18における開口18A、18Bの大きさを可変することにより行われる。
セパレータレンズ19A、19Bの後方には、焦点の探索対象に用いるべき像を取得するための撮像素子20が配される。図2に示したように、撮像素子20の撮影範囲FSC2は、撮像素子16の撮影範囲FSC1よりも大きい範囲とされ、対物レンズ14の光軸LXを中心として位置される。すなわち撮像素子20は、ラインセンサーではなくエリアセンサーである。
この顕微鏡1における信号処理系には、ステージ駆動制御部31、照明制御部32、撮像制御部33、撮像制御部34及び画像処理部35が含まれる。
ステージ駆動制御部31は、光軸と直交する方向(すなわちプレパラート配置面に対して平行となる方向)にプレパラートステージ11を移動させる。具体的には図2に示したように、プレパラートPRTに配される生体サンプルSPLに対して撮像素子16の撮影範囲FSC1が割り当てられるよう、プレパラートステージ11が走査される。
ちなみに図2に示す例では、生体サンプルSPLに割り当てられる撮影範囲FSC1が重ならない態様となっているが、当該撮影範囲FSC1の一部が重なる態様であってもよい。
またステージ駆動制御部31は、生体サンプルSPLに割り当てるべき撮影範囲FSC1が変更されるたびに、光軸方向(すなわちプレパラート配置面に対して直交する方向)にプレパラートステージ11を移動させる。具体的には、対物レンズ14の光軸方向のずれ量を示すデータに基づいて、生体サンプルSPLに割り当てられる撮影範囲FSC1内に存在するサンプル部位に対物レンズ14の焦点が合うよう、プレパラートステージ11が調整される。
照明制御部32は、明視野像を取得すべきモード(以下、これを明視野モードとも呼ぶ)又は暗視野像を取得すべきモード(以下、これを暗視野モードとも呼ぶ)に応じたパラメータを光源12又は図示しない光源に設定し、照明光を照射させる。このパラメータは例えば照明光の強度や光源種類の選択などである。
なお、明視野モードにおける照射光は一般に可視光とされる。一方、暗視野モードにおける照射光は、特殊染色で用いられる蛍光マーカーを励起する波長を含む光とされる。また暗視野モードでは蛍光マーカーに対する背景部分はカットアウトされる。
光源12から照明光が照射された場合、コンデンサレンズ13によって、プレパラートステージ11におけるプレパラート配置面の基準位置に集められる。そして、撮影範囲FSC1として割り当てられるサンプル部位の像は対物レンズ14によって拡大され、撮像素子16上に結像される。一方、撮影範囲FSC2として割り当てられるサンプル部位の像は対物レンズ14によって拡大され、セパレータレンズ19A、19Bによって位相差像として形成され、撮像素子20上に結像される。
ここで、記録対象に用いるべきとして撮像素子16に結像される組織切片の像と、焦点の探索対象に用いるべきとして撮像素子20に結像される組織切片の位相差像との写真を図3に示す。この図3からも分かるように、撮影範囲FSC1として割り当てられるサンプル部位の像は撮像素子16上に結像される一方、撮影範囲FSC2として割り当てられるサンプル部位の像は位相差像として撮像素子20上に結像される。
撮像制御部33は、明視野モード又は暗視野モードに応じたパラメータを撮像素子16に設定し、撮影範囲FSC1として割り当てられる被写体像のデータを取得する。このパラメータは例えば露光の開始タイミング及び終了タイミングなどである。
撮像制御部34は、明視野モード又は暗視野モードに応じたパラメータを撮像素子20に設定し、撮影範囲FSC2として割り当てられる位相差像のデータを取得する。このパラメータは例えば露光の開始タイミング及び終了タイミングなどである。
画像処理部35は、撮像素子16から出力される被写体像のデータに対して各種の画像処理を施す。
画像処理には、例えば、生体サンプルSPLに対して割り当てられる撮影範囲FSC1内に存在するサンプル部位の像を、所定の連結アルゴリズムを用いて連結して生体サンプル像(対物レンズ14の倍率によって拡大された生体サンプルSPL全体の像)を生成する処理がある。また別例として、所定の画面生成アルゴリズムを用いて、表示命令で指定される拡大像の表示画面を生成する処理がある。
また画像処理部35は、生体サンプル像を生成した場合、該生体サンプル像を被験者単位で記憶媒体に記憶するようになっている。
ところで、ステージ駆動制御部31、照明制御部32、撮像制御部33、撮像制御部34及び画像処理部35には、これら制御部を統括する制御部(以下、これを統括制御部とも呼ぶ)40が接続される。
[1−2.統括制御部の構成]
統括制御部40は、図4に示すように、CPU(Central Processing Unit)41に対して各種ハードウェアを接続することにより構成される。
具体的にはROM(Read Only Memory)42、CPU41のワークメモリとなるRAM(Random Access Memory)43、ユーザの操作に応じた命令を入力する操作入力部44、インターフェイス45、表示部46及び記憶部47がバス48を介して接続される。
ROM42には、各種の処理を実行させるプログラムが格納される。インターフェイス45には、ステージ駆動制御部31、照明制御部32、撮像制御部33、撮像制御部34及び画像処理部35がそれぞれ接続される。
表示部46には、液晶ディスプレイ、EL(Electro Luminescence)ディスプレイ又はプラズマディスプレイ等が適用される。また記憶部47には、HD(Hard Disk)に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。USB(Universal Serial Bus)メモリやCF(Compact
Flash)メモリ等のように可搬型メモリが適用されてもよい。
CPU41は、ROM42に格納される複数のプログラムのうち、操作入力部44などから与えられる命令に対応するプログラムをRAM43に展開し、展開したプログラムにしたがって、表示部46及び記憶部47を適宜制御する。
またCPU41は、展開したプログラムにしたがって、インターフェイス45を介してステージ駆動制御部31、照明制御部32、撮像制御部33、撮像制御部34又は画像処理部35での制御条件を指定するなど処理を実行するようになされている。
[1−3.合焦処理の具体的内容]
CPU41は、合焦位置を探索すべき旨の開始命令を受けた場合、その命令に対応するプログラムをRAM43に展開する。この場合、CPU41は、展開したプログラムにしたがって、図5に示すように、位相差像取得部51、視差算出部52、合焦位置決定部53及び合焦位置予測部54として機能する。
位相差像取得部51は、生体サンプルSPLに対して、撮影範囲FCS1と同様に割り当てられる撮影範囲FSC2内のサンプル部位の位相差像を、例えば図6に示すように、1つの撮影範囲FSC2をあけて交互(図6の太い破線で囲まれる部分)に取得する。
視差算出部52は、位相差像取得部51によって取得される位相差像を用いて、基準とすべき一方の像(以下、これを基準像とも呼ぶ)に対する他方の像(以下、これを参照像とも呼ぶ)の距離を画素単位で算出する。
具体的には、例えば、位相差像における基準像における各画素が、注目対象の画素(以下、これを注目画素と呼ぶ)として順に選択される。そして、注目画素が選択されるたびに、その注目画素に対応する画素(以下、これを相対画素と呼ぶ)が、位相差像における参照像から検出され、該注目画素に対する相対画素の距離が算出される。
なお、相対画素の検出手法には、例えば、注目画素を中心とする注目ブロックの画素値と最も類似度が高いブロックを、参照すべき位相差像の他方の像から正規化相関法により探索し、該ブロックの中心を相対画素とする手法が適用される。
視差算出部52によって算出される距離は視差に相当する。この距離(視差)は小さいほど対物レンズ14の焦点が後方に位置し、これに対して大きいほど前方に位置する関係にある。したがって、基準像の各画素に対する参照像の相対画素の距離は、図7に示すように、対物レンズ14の視界に映るサンプル部位の凹凸状態を示す情報に相当するものとなる。
ここで、図3に示した生体サンプルの位相差像における基準像の各画素の位置と、当該画素に対する参照像の相対画素の距離との関係をグラフとして図8に示す。この図8におけるグラフの薄い部分は表側を、濃い部分は裏側を示すものである。この図8から、対物レンズ14の視界に映るサンプル部位の凹凸状態が反映されていることが分かる。ちなみに、この図8におけるサンプル部位の端はまくれた状態となっている。
合焦位置決定部53は、視差算出部52によって視差(基準像の各画素に対する参照像の相対画素の距離)が算出された場合、第1段階として、該視差に基づいて、位相差像取得部51で取得対象とされた撮影範囲FSC2内のサンプル部位の奥行幅を算出する。
具体的には、基準像の各画素に対する参照像の相対画素の距離のうち、最大となる距離と最小となる距離の差が奥行幅として算出される。すなわち、プレパラートPRTの一方の面側に最も近い位置を通る水平面と、他方の面側に最も近い位置を通る水平面との距離が奥行幅とされる。
上述したようにセパレータレンズ19A,19Bの被写界深度は対物レンズ14よりも広く調整されている。例えば、撮像素子16上に結像される撮影範囲FSC1のサンプル部位の被写界深度が1[μm]程度で設定され、撮像素子20上に結像される撮影範囲FSC2のサンプル部位の被写界深度が200[μm]程度で設定されているものとする。この撮像素子16で撮影される画像を用いて焦点位置を探索する場合、光軸方向へ±100[μm]程度の範囲でサンプルステージ11を動かしながら多数の画像を取得する必要がある。これに対し、撮像素子20で撮影される画像を用いて焦点位置を探索する場合、撮像素子16で撮影される画像を用いて焦点位置を探索する範囲と同等の探索範囲を、サンプルステージ11を動かすことなく1回の撮影で取得可能となる。
したがって、合焦位置決定部53は、撮像素子20の像(位相差像)を用いることで、撮像素子16の像を用いる場合に比べて、撮影枚数を抑えつつも、対物レンズ14の視界に映る被写体像の奥行幅を正確に算出できる。
合焦位置決定部53は、サンプル部位の奥行幅を算出した場合、第2段階として、サンプル部位の奥行幅に基づいて、撮影範囲FSC1において合わせるべき対物レンズ14の焦点位置(以下、これを合焦位置とも呼ぶ)を決定する。ちなみに撮影範囲FSC1は、位相差像取得部51において取得対象とされた撮影範囲FSC2に対応する撮影範囲である。
この実施の形態における焦点位置の具体的な決定手法は、まず、サンプル部位の奥行幅を、該奥行幅に対して設定される閾値以上であるか否か判断する。閾値は、対物レンズ14に対する絞りの開口に対して設定される開口量等のように、対物レンズ14の被写界深度に相当する値とされる。
ここで、例えば図9(A)に示すように、サンプル部位の奥行幅が閾値未満となる場合、その奥行幅の中間を合焦位置として決定する。一方、サンプル部位の奥行幅が閾値以上となる場合、例えば図9(B)に示すように、その奥行幅を、対物レンズ14の被写界深度に納まる複数の層(以下、これを撮影層とも呼ぶ)に分割し、それら撮影層それぞれにおける奥行き方向の中間を合焦位置として決定する。
このように合焦位置決定部53は、サンプル部位の奥行幅が対物レンズ14の被写界深度未満である場合にはその奥行幅に応じて合焦位置を決定し、被写界深度以上となる場合には被写界深度に納まる撮影層ごとに合焦位置を決定する。つまり合焦位置決定部53は、対物レンズ14の被写界深度に応じて焦点位置及びその数を決定する。
したがってこの合焦位置決定部53は、例えば傾斜した状態又はまくれた状態としてサンプル部位が存在する場合であっても、そのサンプル部位の一部が欠落又はぼけるといった撮影状態を回避させることができる。
合焦位置決定部53は、合焦位置を決定した場合、第3段階として、該合焦位置までのサンプルステージ11の移動量(以下、これをデフォーカス量)を算出し、これをステージ駆動制御部31に与える。
ところで位相差像取得部51では、図6に示したように、撮影範囲FSC2が割り当てられるサンプル部位全ての位相差像が取得されるのではなく、1つの撮影範囲FSC2をあけて交互に取得される。
このため、位相差像の取得対象として除外される撮影範囲FSC2に対応する撮影範囲FSC1では、合わせるべき焦点位置(合焦位置)が決定されないことになる。
しかしながらこの実施の形態の場合、焦点の探索対象に用いるべき像を取得するための撮像素子20の撮影範囲FSC2は、図2に示したように、記録対象に用いるべき像を取得するための撮像素子16の撮影範囲FSC1よりも大きい範囲とされる。したがって、図10に示すように、撮影範囲FSC2のうち、対物レンズ14の視界FOV内であり撮影範囲FSC1よりも外側となる領域(以下、これを余白領域とも呼ぶ)MAR1〜MAR4が存在する。
この余白領域MARには、図11に示すように、位相差像の取得対象として除外されるサンプル部位P2の一部が、該サンプル部位P2に対してプレパラートPRTの長方向に隣接するサンプル部位P1又はP3の位相差像に含まれる。また図示はしていないが、サンプル部位P2に対してプレパラートPRTの短方向に隣接するサンプル部位の位相差像にも含まれる。
合焦位置予測部54は、サンプル部位P2に隣接する余白領域MAR1〜MAR4に基づいて、焦点位置が未決定とされた撮影範囲FSC1における合焦位置を予測する。
具体的には、余白領域MAR1〜MAR4における基準像の各画素に対する参照像の相対画素の距離の最大値の平均と、最小値の平均との差が、焦点位置が未決定とされた撮影範囲FSC1内にあるサンプル部位の奥行幅として予測される。そしてその奥行幅に応じて、合焦位置決定部53と同様に合焦位置及びその数が予測される。
合焦位置予測部54は、サンプル部位の合焦位置を予測した場合、該合焦位置に対するサンプルステージ11の移動量(デフォーカス量)を算出し、これをステージ駆動制御部31に与える。
[1−4.合焦処理手順]
次に、CPU41における合焦処理手順を図12に示すフローチャートを用いて説明する。ただし、この図12では、図6に示したように、位相差像を用いて焦点位置を決定すべき撮影範囲FSC2と、余白領域MARを用いて焦点位置を予測すべき撮影範囲FSC2とを交互に指定すべき設定内容が、統括制御部40及びステージ駆動制御部31に設定されている場合を示している。
CPU41は、合焦位置を探索すべき旨の開始命令を受けた場合、合焦処理手順を開始し、第1ステップSP1に進む。CPU41は、第1ステップSP1では、合焦位置を探索すべきサンプル部位に対して、記録用の撮影範囲FSC1を割り当てたことを示すデータを待ち受ける。
CPU41は、第1ステップSP1で受けるべきデータが例えばステージ駆動制御部31から与えられた場合、第2ステップSP2に進む。CPU41は、第2ステップSP2では、記録用の撮影範囲FSC1に対応する焦点探索用の撮影範囲FSC2から位相差像を取得すべきか否かを判断する。
ここで、位相差像を取得すべきであると判断した場合、CPU41は、第3ステップSP3に進んで、焦点探索用の撮影範囲FSC2に結像される位相差像を用いて視差(基準像の各画素に対する参照像の相対画素の距離)を算出する。そしてCPU41は、第4ステップSP4に進んで、第3ステップSP3で算出した視差を用いて、記録用の撮影範囲FSC1に対する合焦位置とその数を決定する。またCPU41は、第5ステップSP5に進んで、第4ステップSP4で算出した合焦位置に基づいてデフォーカス量を算出し、これをステージ駆動制御部31に与える。さらにCPU41は、第6ステップSP6に進んで、生体サンプルSPLに対して記録用の撮影範囲FSC1の割り当てが終了したことを示すデータを受け取っているか否か判断する。
一方、第2ステップSP2で位相差像を取得すべきではないと判断した場合、CPU41は、第3ステップSP3から第5ステップSP5までの各処理を経ることなく、第6ステップSP6に進む。
このようにCPU41は、第6ステップSP6において生体サンプルSPLに対して記録用の撮影範囲FSC1の割り当てが終了したことを示すデータを受け取るまで、上述の第1ステップSP1から第6ステップSP6までの処理を繰り返す。
これに対してCPU41は、第6ステップSP6において生体サンプルSPLに対して記録用の撮影範囲FSC1の割り当てが終了したことを示すデータを受け取った場合、第7ステップSP7に進む。
CPU41は、第7ステップSP7では、記録用の撮影範囲FSC1のうち合焦位置が未決定となる撮影範囲FSC1の合焦位置とその数を、該撮影範囲FSC1の周囲に位置する撮影範囲FSC1に対応する焦点探索用の撮影範囲FSC2の余白領域MARを用いて予測し、第8ステップSP8に進む。CPU41は、第8ステップSP8では、第7ステップSP7で算出した合焦位置に基づいてデフォーカス量を算出し、これをステージ駆動制御部31に与えた後、この合焦処理手順を終了する。
[1−5.効果等]
以上の構成において、この顕微鏡1は、記録用の撮影範囲FSC1に対応する焦点探索用の撮影範囲FSC2から位相差像を交互に取得し(図2,図6参照)、当該位相差像を用いて、記録用の撮影範囲FSC1における焦点位置を決定する(図9参照)。
またこの顕微鏡1は、位相差像のうち、対物レンズ14の視界内で記録用の撮影範囲FSC1の外側となる余白領域MAR用いて、焦点位置が未決定となる記録用の撮影範囲FSC1内における焦点位置を予測する(図10,図11参照)。
したがって、この顕微鏡1では、焦点探索用の撮影範囲FSC2から交互に取得した位相差像だけで、生体サンプルSPLに対して割り当てられる記録用の撮影範囲FSC1すべてにおける焦点位置が得られるため、焦点探索に用いるべき生体サンプルSPLに対する撮影枚数が大幅に低減される。
なお、像のコントラストに基づいて焦点位置を探索する場合、一般には、1つの撮像素子における撮影範囲が生体サンプルに割り当てられ、これら撮影範囲内の像が焦点探索用としても記録用としても用いられる。この場合、焦点位置を探索するためには、生体サンプルに対して割り当てられる撮影範囲すべての像を得ることが必須となる。
したがって、像のコントラストに基づいて焦点位置を探索する場合に比べても、焦点探索に用いるべき生体サンプルSPLに対する撮影枚数が大幅に低減される。
ところで、像のコントラストに基づいて焦点位置を探索する場合、生体サンプルに割り当てられる撮影範囲のなかで代表とすべき一部分を探索対象とすることで、最適な焦点位置を検出するまでに要する時間の短縮化を図るといったことが考えられる。しかしこの場合、探索対象以外の部分が多くなるほど焦点位置の検出精度が悪くなる。つまり、像のコントラストに基づいて焦点位置を探索する場合、最適な焦点位置を検出するまでの時間短縮と、該焦点位置の検出精度とが二律背反の関係となり、一方を犠牲にしない限り他方の効果が期待できないことになる。
これに対し焦点探索用の撮影範囲FSC2から交互に取得される像は、取得対象である撮影範囲FSC2に対応する記録用の撮影範囲FSC1の全体のみならず、未取得対象である撮影範囲FSC2に対応する記録用の撮影範囲FSC1の一部を含むものとなる。つまり、像のコントラストに基づいて焦点位置を探索する場合に比べて、焦点位置の決定又は予測に用いる観測範囲の割合が大きくなる。したがって、像のコントラストに基づいて焦点位置を探索する場合に比べて、焦点位置の検出精度が向上しつつも、焦点探索に用いるべき生体サンプルSPLに対する撮影枚数が大幅に低減する。
またこの実施の形態の場合、焦点探索用の撮影範囲FSC2に対する被写界深度は、記録用の撮影範囲FSC1よりも大きく設定される。したがって、焦点探索用の撮影範囲FSC2での凹凸状態は、記録用の撮影範囲FSC1よりも詳細に反映した像であり(図8参照)、この顕微鏡1では、該凹凸状態に基づいて焦点位置が決定又は予測される。したがって、撮影範囲FSC1のコントラストに基づいて焦点位置を探索する場合に比べて、より一段と正確に合焦位置を決定又は予測することが可能となる。
さらに焦点探索用の撮影範囲FSC2に位相差像を結像するレンズの被写体深度は、記録用の撮影範囲FSC1に像を結像するレンズの被写体深度よりも広く調整されている。このため、コントラストに基づいて焦点位置を探索する場合に比べて、焦点探索に用いるべき撮影範囲あたりの撮影枚数が格段に低減される。
以上の構成によれば、焦点探索に用いるべき生体サンプルSPLに対する撮影枚数を大幅に低減できるようにしたことにより、合焦に要する時間を短縮させ得る顕微鏡1を実現できる。
<2.他の実施の形態>
上述の実施の形態では組織切片が生体サンプルSPLとされた。しかしながら生体サンプルSPLはこの実施の形態に限定されるものではない。例えば塗抹細胞や染色体等が生体サンプルSPLとして適用可能である。また例えば半導体素子等のように、生体(生物体)以外のサンプルであってもよい。
また上述の実施の形態では、生体サンプルSPLの位相差像が撮像素子20から取得された。しかしながら取得先は撮像素子20に限定されるものではない。例えば、統括制御部40に接続される記憶媒体から取得するようにしてもよい。また顕微鏡1の外部から、ローカルエリアネットワークやインターネット等の有線又は無線の通信媒体を通じて取得するようにしてもよい。
また上述の実施の形態では、取得すべき像が位相差像とされた。しかしながら取得像は位相差像に限定されるものではない。例えば、フィールドレンズ17、開口18A,18B及びセパレータレンズ19A,19Bを経ない撮像素子20であってもよい。この場合、撮像素子20には、ハーフミラー15の反射側の後方に配される1又は複数のレンズもしくは開口などを介して、撮像素子16に相当する像が結像される。
また、当該像を用いて合焦位置を決定する手法には、例えば、当該撮影範囲FSC2での奥行位置を所定間隔ごとに変更し、それら奥行位置での像のコントラスが最も大きい奥行位置を合焦位置として決定する手法が採用可能である。さらに、当該像の余白領域MARを用いて合焦位置を予測する手法には、例えば、余白領域MAR1〜MAR4におけるコントラスが最も大きい奥行位置の平均を合焦位置として予測する手法が採用可能である。
また上述の実施の形態では、サンプル部位P2に隣接する余白領域MAR1〜MAR4に基づいて合焦位置が予測された。しかしながら合焦位置の予測に用いるべき余白領域MARはすべての領域に限定されるものではない。例えば、余白領域MAR1とMAR2、もしくは、余白領域MAR3とMAR4、又は、余白領域MAR1とMAR3等、一部の領域のみであってもよい。ただし、余白領域MAR1又はMAR2に比べて、結像される像のゆがみの程度が小さい余白領域MAR3又はMAR4のほうが、予測精度の観点では望ましい。
また上述の実施の形態では、焦点位置が未決定とされた撮影範囲FSC1内にあるサンプル部位の奥行幅が、該撮影範囲FSC1近傍の撮影範囲FSC2から取得された位相差像の余白領域MARにおける視差の最大値の平均と、最小値の平均との差(距離)として予測された。しかしながら奥行幅の予測手法はこれに限定されるものではない。
例えば、余白領域MAR内にあるサンプル部位の傾斜角度を用いて予測することができる。傾斜角度の算出手法は、例えば、図13に示すように、X―Z方向における画素ごとの視差分布に最も近似する直線SLを、Y方向における各列Y0,Y1,……,Ynについて、例えば最小二乗法によって検出する。そして各Y列の直線を最も多く通る平面を、例えば水平面に対する各直線の角度平均により決定する。すなわち、サンプル部位は、X―Z方向からみたときの凹凸状態に最も近い平面に近似される。この平面と水平面とのなす角度が、サンプル部位の傾斜角度として算出される。
また傾斜角度に基づく奥行幅の予測手法は、例えば、傾斜角度に割り当てられる奥行幅を、所定の関数又は記憶媒体に記憶されるデータベースを用いて取得する。なお、この傾斜角度と、余白領域MARにおける基準像の各画素に対する参照像の相対画素の距離の最大値の平均と最小値の平均との差との双方を用いて、奥行幅が予測されてもよい。
また上述の実施の形態では、焦点位置が未決定とされた撮影範囲FSC1における合焦位置が、撮影範囲FSC1近傍の撮影範囲FSC2から取得された位相差像の余白領域MARにあるサンプル部位の奥行幅に基づいて予測された。
しかしながら合焦位置の予測対象とすべきパラメータはサンプル部位の奥行幅に限定されるものではない。例えば、サンプル部位の傾斜角度に基づいて合焦位置が予測されてもよい。具体的には、傾斜角度に割り当てられる合焦位置を、所定の関数又は記憶媒体に記憶されるデータベースを用いて取得する。
なお、余白領域MARにあるサンプル部位から予測される奥行幅又は傾斜角度は、合焦位置を予測すべきか、あるいは、位相差像を取得して合焦位置を決定すべきかを判断するパラメータとしても用いることができる。
また上述の実施の形態では、位相差像の取得対象が、図6に示したように、1つの撮影範囲FSC2をあけて交互とされた。しかしながら2以上の撮影範囲FSC2をあけて交互としてもよく、交互でなくともよい。要は、余白領域MARにおけるサンプル部位を用いることが可能な程度で、所定間隔ごとに像が取得されればよい。ただし、交互としたほうが、交互としない場合に比べて、予測に用いることが可能な余白領域MARの数が多いので、予測精度の観点では望ましい。
また上述の実施の形態では、焦点位置に対する対物レンズ14の焦点の移動量(デフォーカス量)が、統括制御部40で算出された。しかしながらデフォーカス量の算出場所はこの実施の形態に代えて、ステージ駆動制御部31とすることができる。
また上述の実施の形態では、対物レンズ14における被写界深度は固定とされたが可変としてもよい。また対物レンズ14は上述の実施の形態では1つとされたが、倍率の異なる複数の対物レンズのなかからレンズ切換機構により電動又は手動で選択されるようにしてもよい。
また上述の実施の形態では、基準像の各画素に対する参照像の相対画素の距離(視差)における最大値と最小値との差が閾値以上となる場合、奥行幅が、対物レンズ14の被写界深度に納まる層(撮影層)に分割された。しかしながら分割態様はこの実施の形態に限定されるものではない。
例えば図14に示すように、奥行幅のうち、サンプル部位において奥行方向に途切れた部分以外を、撮影層に分割するようにしてもよい。このようにすれば、途切れた部分に対して焦点を合わせて撮影する処理が除かれるため、被写体像の取得効率をより一段と向上させさせることが可能となる。ちなみに、途切れた部分は、基準像の各画素に対する参照像の相対画素の距離(視差)から容易に検出可能である。
また上述の実施の形態では2枚のセパレータレンズ44A,44Bが用いられた。しかしながらセパレータレンズ44の数はこの実施の形態に限定されるものではない。1対のセパレータレンズ44A,44Bを単位(組)として、複数枚のセパレータレンズ44を用いることができる。なおこの場合、絞りマスク43に対して各組のセパレータレンズ44に対応する開口を設けることを要する。
また上述の実施の形態では、セパレータレンズ44A,44Bによって位相差像が形成されたが、当該形成手法はこの実施の形態に必ずしも限定されるものではなく、他の既知のものが採用されてもよい。
また上述の実施の形態では、明視野照明光を照明する光源と、暗視野照明光を照明する光源とが別々に配された。しかしながら、明視野照明光又は暗視野照明光を切換可能な1つの光源が配されてもよい。なお、光源は、波長が異なる単一の光源素子で実現してもよく、互いに異なる中心波長をもつ複数の光源素子で実現してもよい。
なお、他の実施の形態として述べた事項以外であっても、本発明の趣旨を逸脱しない程度において様々な形態を幅広く採用することができる。
本発明は、遺伝子実験、医薬の創製又は患者の経過観察などのバイオ産業上において利用することができる。
1……顕微鏡、11……プレパラートステージ、12……光源、13……コンデンサレンズ、14……対物レンズ14……ハーフミラー、16,20……撮像素子、17……フィールドレンズ、18……絞りマスク、18A,18B……開口、19A,19B……セパレータレンズ、31……ステージ駆動制御部、32……照明制御部、33,34……撮像制御部、35……画像処理部、40……統括制御部、41……CPU、42……ROM、43……RAM、44……操作入力部、45……インターフェイス、46……表示部、47記憶部、51……位相差像取得部、52……視差算出部、53……合焦位置決定部、54……合焦位置予測部、FSC1,FSC2……撮影範囲、FOV……視界、PRT……プレパラート、SPL……生体サンプル。

Claims (6)

  1. 対物レンズの視界よりも小さい記録用の撮影範囲に結像される像に対応する像が結像され、該対物レンズの視界よりも大きい焦点探索用の撮影範囲が、サンプルに対して割り当てられ、それら焦点探索用の撮影範囲内にあるサンプル部位の像を所定間隔ごとに取得する取得手段と、
    上記サンプル部位の像を用いて、該像に対応するサンプル部位の像が結像される記録用の撮影範囲における焦点位置を決定する決定手段と、
    上記サンプル部位の像のうち、上記対物レンズの視界内で上記記録用の撮影範囲の外側となる領域を用いて、上記焦点位置が未決定となる記録用の撮影範囲における焦点位置を予測する予測手段と
    を有する合焦装置。
  2. 上記焦点探索用の撮影範囲には、
    上記記録用の撮影範囲に結像される像に対応する像として、視点の異なる1組の像が結像され、
    上記決定手段は、
    上記視点の異なる1組の像における一方の像に対する他方の像の距離を画素単位で算出し、当該距離を用いて焦点位置とその数を決定する
    請求項1に記載の合焦装置。
  3. 上記予測手段は、
    上記領域における上記距離を用いて、上記焦点位置が未決定となる記録用の撮影範囲における焦点位置を予測する
    請求項2に記載の合焦装置。
  4. 対物レンズの視界よりも小さい記録用の撮影範囲に結像される像に対応する像が結像され、該対物レンズの視界よりも大きい焦点探索用の撮影範囲が、サンプルに対して割り当てられ、それら焦点探索用の撮影範囲内にあるサンプル部位の像を所定間隔ごとに取得する取得ステップと、
    上記サンプル部位の像を用いて、該像に対応するサンプル部位の像が結像される記録用の撮影範囲における焦点位置を決定する決定ステップと、
    上記サンプル部位の像のうち、上記対物レンズの視界内で上記記録用の撮影範囲の外側となる領域を用いて、上記焦点位置が未決定となる記録用の撮影範囲における焦点位置を予測する予測ステップと
    を有する合焦方法。
  5. コンピュータに対して、
    対物レンズの視界よりも小さい記録用の撮影範囲に結像される像に対応する像が結像され、該対物レンズの視界よりも大きい焦点探索用の撮影範囲が、サンプルに対して割り当てられ、それら焦点探索用の撮影範囲内にあるサンプル部位の像を所定間隔ごとに取得すること、
    上記サンプル部位の像を用いて、該像に対応するサンプル部位の像が結像される記録用の撮影範囲における焦点位置を決定すること、
    上記サンプル部位の像のうち、上記対物レンズの視界内で上記記録用の撮影範囲の外側となる領域を用いて、上記焦点位置が未決定となる記録用の撮影範囲における焦点位置を予測すること
    を実行させる合焦プログラム。
  6. 対物レンズの視界よりも小さい撮影範囲をもつ記録用の撮像素子と、
    上記対物レンズの視界よりも大きい撮影範囲をもち、上記記録用の撮像素子の撮影範囲に結像される像に対応する像が結像される焦点探索用の撮像素子と、
    サンプルに対して上記焦点探索用の撮像素子の撮影範囲が割り当てられ、それら撮影範囲内のサンプル部位の像を所定間隔ごとに取得する取得手段と、
    上記サンプル部位の像を用いて、該像に対応するサンプル部位の像が結像される記録用の撮像素子の撮影範囲における焦点位置を決定する決定手段と、
    上記サンプル部位の像のうち、上記対物レンズの視界内で上記記録用の撮像素子の外側となる領域を用いて、上記焦点位置が未決定となる記録用の撮像素子の撮影範囲における焦点位置を予測する予測手段と
    を有する顕微鏡。
JP2010078204A 2010-03-30 2010-03-30 合焦装置、合焦方法、合焦プログラム及び顕微鏡 Active JP5471715B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010078204A JP5471715B2 (ja) 2010-03-30 2010-03-30 合焦装置、合焦方法、合焦プログラム及び顕微鏡

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010078204A JP5471715B2 (ja) 2010-03-30 2010-03-30 合焦装置、合焦方法、合焦プログラム及び顕微鏡

Publications (2)

Publication Number Publication Date
JP2011209573A true JP2011209573A (ja) 2011-10-20
JP5471715B2 JP5471715B2 (ja) 2014-04-16

Family

ID=44940691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010078204A Active JP5471715B2 (ja) 2010-03-30 2010-03-30 合焦装置、合焦方法、合焦プログラム及び顕微鏡

Country Status (1)

Country Link
JP (1) JP5471715B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013167816A (ja) * 2012-02-16 2013-08-29 Sony Corp 撮像装置、撮像制御プログラム及び撮像方法
JP2013246334A (ja) * 2012-05-28 2013-12-09 Canon Inc 撮像方法および撮像装置
WO2016103728A1 (ja) * 2014-12-26 2016-06-30 シスメックス株式会社 細胞撮像装置、細胞撮像方法及び試料セル
WO2021167044A1 (ja) * 2020-02-20 2021-08-26 ソニーグループ株式会社 顕微鏡システム、撮像方法、および撮像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04110810A (ja) * 1990-08-30 1992-04-13 Dainippon Screen Mfg Co Ltd 撮像システム
JPH11264937A (ja) * 1998-03-18 1999-09-28 Olympus Optical Co Ltd 顕微鏡
JP2007218846A (ja) * 2006-02-20 2007-08-30 Omron Corp 寸法計測方法、撮像装置、制御装置および寸法計測装置
JP2011170297A (ja) * 2010-02-22 2011-09-01 Nikon Corp 顕微鏡、基板貼り合せ装置、積層半導体装置製造方法及び積層半導体装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04110810A (ja) * 1990-08-30 1992-04-13 Dainippon Screen Mfg Co Ltd 撮像システム
JPH11264937A (ja) * 1998-03-18 1999-09-28 Olympus Optical Co Ltd 顕微鏡
JP2007218846A (ja) * 2006-02-20 2007-08-30 Omron Corp 寸法計測方法、撮像装置、制御装置および寸法計測装置
JP2011170297A (ja) * 2010-02-22 2011-09-01 Nikon Corp 顕微鏡、基板貼り合せ装置、積層半導体装置製造方法及び積層半導体装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013167816A (ja) * 2012-02-16 2013-08-29 Sony Corp 撮像装置、撮像制御プログラム及び撮像方法
JP2013246334A (ja) * 2012-05-28 2013-12-09 Canon Inc 撮像方法および撮像装置
WO2016103728A1 (ja) * 2014-12-26 2016-06-30 シスメックス株式会社 細胞撮像装置、細胞撮像方法及び試料セル
JPWO2016103728A1 (ja) * 2014-12-26 2017-06-22 シスメックス株式会社 細胞撮像装置、細胞撮像方法及び試料セル
US10732168B2 (en) 2014-12-26 2020-08-04 Sysmex Corporation Cell imaging device, cell imaging method, and sample cell
WO2021167044A1 (ja) * 2020-02-20 2021-08-26 ソニーグループ株式会社 顕微鏡システム、撮像方法、および撮像装置

Also Published As

Publication number Publication date
JP5471715B2 (ja) 2014-04-16

Similar Documents

Publication Publication Date Title
JP5672688B2 (ja) 合焦装置、合焦方法、合焦プログラム及び顕微鏡
JP6899963B2 (ja) リアルタイムの自動焦点調節走査
JP6100813B2 (ja) スライド全体蛍光スキャナ
US11156823B2 (en) Digital microscope apparatus, method of searching for in-focus position thereof, and program
JP5504881B2 (ja) 演算装置、演算方法、演算プログラム及び顕微鏡
JP6985506B2 (ja) リアルタイムオートフォーカス合焦アルゴリズム
JP6940696B2 (ja) 二次元および三次元の固定式z走査
JP5471715B2 (ja) 合焦装置、合焦方法、合焦プログラム及び顕微鏡
JP5581690B2 (ja) 厚み情報取得装置、厚み情報取得方法、厚み情報取得プログラム及び顕微鏡
JP2021512346A (ja) 衝撃再走査システム
JP6945737B2 (ja) デュアルプロセッサ画像処理

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140120

R151 Written notification of patent or utility model registration

Ref document number: 5471715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250