JP2005037690A - 3次元共焦点レーザ顕微鏡システム - Google Patents

3次元共焦点レーザ顕微鏡システム Download PDF

Info

Publication number
JP2005037690A
JP2005037690A JP2003274520A JP2003274520A JP2005037690A JP 2005037690 A JP2005037690 A JP 2005037690A JP 2003274520 A JP2003274520 A JP 2003274520A JP 2003274520 A JP2003274520 A JP 2003274520A JP 2005037690 A JP2005037690 A JP 2005037690A
Authority
JP
Japan
Prior art keywords
signal
scanning
waveform
image
actuator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003274520A
Other languages
English (en)
Inventor
Koshi Kei
虹之 景
Kenji Yatani
憲二 八谷
Kenta Mikuriya
健太 御厨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP2003274520A priority Critical patent/JP2005037690A/ja
Priority to DE602004003638T priority patent/DE602004003638T2/de
Priority to EP04005573A priority patent/EP1498759B1/en
Priority to US10/800,754 priority patent/US6982824B2/en
Publication of JP2005037690A publication Critical patent/JP2005037690A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】振動を抑えた走査波形を自動計算し、その波形を用いてアクチュエータを駆動して顕微鏡対物レンズの焦点面を光軸方向に走査することにより、試料の共焦点スライス像を安定に得ることのできる3次元共焦点レーザ顕微鏡システムを実現する。
【解決手段】試料のスライス像を共焦点画像として取得する共焦点スキャナと、前記共焦点画像をビデオ信号に変換するビデオレートカメラと、前記ビデオレート信号を画像データに変換する画像処理装置と、顕微鏡の対物レンズの焦点位置を光軸方向に移動するアクチュエータと、このアクチュエータを介して前記対物レンズを光軸方向に走査するための走査波形信号を発生する制御手段を備え、試料の深さ方向のスライス画像を取得することができるように構成した3次元共焦点レーザ顕微鏡システムであって、
前記制御手段は、三角状またはステップ状の走査波形であって、かつ不連続的な変化部分では加速度が実質上一定値となるように補正した走査波形信号を作成し、その走査波形信号により前記アクチュエータを駆動するように構成する。
【選択図】 図1


Description

本発明は、3次元共焦点レーザ顕微鏡システムに関し、より詳しくは、試料の共焦点スライス像を安定に得るための改良に関するものである。
共焦点顕微鏡は、試料を薄切片にすることにくスライス画像が得られ、そのスライス画像から試料の正確な3次元立体像を構築できるので、生物やバイオテクノロジーなどの分野における生きた細胞の生理反応観察や形態観察あるいは半導体市場におけるLSIの表面観察などに使用されている(例えば、特許文献1参照)。
特開2002−72102号公報
図6は特許文献1に記載の共焦点顕微鏡の構成図である。ビデオレートカメラ1、共焦点スキャナ2、顕微鏡3、アクチュエータ4および対物レンズ5は、同じ光軸上に配置されている。共焦点スキャナ2は、多数のピンホールを持つニポウディスクと、それに対応するマイクロレンズアレイを有するもので、シンプルな光学系から成るニポウディスク方式を採用したコンパクトなアドオンタイプである。
この共焦点スキャナ2は顕微鏡3のカメラポートに取り付けられる。共焦点顕微鏡は、レーザ光を使用して、対物レンズ5、アクチュエータ4および顕微鏡3を経由して、試料の像を共焦点スキャナ2に入力する。共焦点スキャナ2は、試料の共焦点画像を得て、ビデオレートカメラ1に入力する。
図7は、図6の共焦点顕微鏡が取り扱う各種信号のタイムチャートである。ビデオレートカメラ1は、共焦点画像をビデオ信号101に変換し、共焦点スキャナ2、同期インターフェイスボックス9の信号入力端子および画像処理装置6の画像入力端子にビデオ信号101を入力する。共焦点スキャナ2は、ビデオ信号101に同期して、ニポウディスクの回転同期制御を行う。
画像処理装置6にビデオテープデッキを採用する場合、ビデオテープデッキは、画像入力端子から入力されるビデオ信号101と、音声入力端子から入力される開始信号103を長時間用のビデオテープに同時に記録する。ビデオテープには、リアルタイムに変化する共焦点画像と対物レンズ5の焦点位置の走査開始のタイミングが同時に記録される。
同期インターフェイスボックス9は、ビデオ信号101の偶数側パルス列または奇数側パルス列の何れか一方を抽出し、内部A信号を作成する。任意波形発生器7は、Hレベルのパルス信号であるトリガ信号102を発生し、同期インターフェイスボックス9のトリガ入力端子に入力して、焦点面の走査の開始タイミングに利用する。
同期インターフェイスボックス9は、トリガ信号102の立下りに同期して、内部B信号を作成する。内部B信号は、Hレベルのパルス幅時間が35msec程度であり、ビデオレートカメラ1のビデオレートの時間に比して若干長いパルス信号である。同期インターフェイスボックス9は、内部A信号の反転信号と内部B信号とを論理積演算することにより、開始信号103を発生し、画像処理装置6および任意波形発生器7の同期入力端子に入力する。
画像処理装置6は、同期入力端子からの開始信号103の立上りに同期して、ビデオ信号101を画像データに変換し記録するキャプチャを開始する。同期インターフェイスボックス9は、信号入力端子からのビデオ信号101に基づいて、共焦点スキャナ2によるニポウディスクの回転同期制御、画像処理装置6によるビデオ信号の取得の開始タイミング、および光学制御系による対物レンズの焦点位置の走査開始のタイミングを全て同期させる。
任意波形発生器7は、開始信号103の立上りに同期して、光学制御系による対物レンズ5の焦点位置の走査を開始する。任意波形発生器7は、走査信号104を発生し、コントローラ8に入力する。走査信号104は、LレベルからHレベルまで一定時間で直線的に増加するノコギリ波状の信号である。コントローラ8は、走査信号104をアクチュエータ4に入力する。アクチュエータ信号105は実際のアクチュエータの位置信号であり、伸びきってから一気に原点に戻ったあとにオーバーシュートがあり、この間は不感帯となる。
アクチュエータ4は、顕微鏡3の対物レンズレボルバーと対物レンズ5との間に取り付けられ、ピエゾ駆動により走査信号104のレベルに比例して画像の焦点方向の長さが変化し、対物レンズ5の焦点位置を制御する。共焦点顕微鏡は、走査信号104に基づいて、焦点面を走査することにより、試料のスライス画像を取得する。
このような構成によれば、ニポウディスクの回転同期制御、画像処理装置によるビデオ信号の取得の開始タイミングおよび光学制御系によるレンズの焦点位置の走査開始のタイミングが、すべてビデオ信号に同期することにより、共焦点画像の位置精度が向上し、複数のスライス画像を取得する際に個々の取得時間のバラツキがなくなるので、信頼性の高いスライス画像が得られる。
しかしながら、従来の共焦点顕微鏡では、対物レンズの焦点面を走査するアクチュエータの走査波形としてランプ波(直角三角波)を用いているため、波形の折返し点でアクチュエータに巨大な加速度が生じ、整定するまでに長い時間が必要となる。その整定時間中は正確な画像の取得ができないため、観察に使用できる有効画像の数が減ってしまうという欠点があった。
また、巨大な加速度は振動となり、その周波数がアクチュエータ自身や顕微鏡筐体の固有振動数と一致すると共振現象が生じ、試料面が不安定になって観測できなくなるという問題もある。
本発明は、このような従来の共焦点顕微鏡が有していた問題を解決しようとするものであり、振動を抑えた走査波形を自動計算し、その波形を用いてアクチュエータを駆動して顕微鏡対物レンズの焦点面を光軸方向に走査することにより上記課題を解決し、試料の共焦点スライス像を安定に得ることのできる3次元共焦点レーザ顕微鏡システムを実現することを目的とするものである。
このような課題を達成するために、本発明の請求項1の発明では、
試料のスライス像を共焦点画像として取得する共焦点スキャナと、前記共焦点画像をビデオ信号に変換するビデオレートカメラと、前記ビデオレート信号を画像データに変換する画像処理装置と、顕微鏡の対物レンズの焦点位置を光軸方向に移動するアクチュエータと、このアクチュエータを介して前記対物レンズを光軸方向に走査するための走査波形信号を発生する制御手段を備え、試料の深さ方向のスライス画像を取得することができるように構成された3次元共焦点レーザ顕微鏡システムであって、
前記制御手段は、三角状またはステップ状の走査波形であって、かつ不連続的な変化部分では加速度が実質上一定値となるように補正した走査波形信号を作成し、その走査波形信号により前記アクチュエータを駆動するように構成したことを特徴とする。
このような構成により、対物レンズなどの振動を抑えた走査波形を発生して対物レンズを走査でき、観測試料の安定した共焦点スライス像が容易に得られる。
この場合、請求項2のように、走査波形信号の不連続的な変化部分では、その変位sが2次関数で表されるように補正してもよい。
また、制御手段は、請求項3のように、前記三角状またはステップ状の走査波形信号の波形を計算を用いて求める波形計算装置と、この走査波形を記憶しておき走査波形発生トリガ信号に同期して発生する任意波形発生器と、この任意波形発生器から出力される操作波形発生トリガ信号に基づいて前記アクチュエータを駆動するアクチュエータドライバと、前記ビデオレートカメラのビデオ信号に同期した各トリガ信号を発生して各部に与える信号制御器から構成することができる。
以上説明したように、本発明によれば、振動を抑えた走査波形を自動計算により求め、その波形を用いてアクチュエータを駆動することにより、振動を抑えて、対物レンズの焦点位置を光軸方向に容易に走査できる。
以下図面を用いて本発明を詳細に説明する。図1は本発明に係る3次元共焦点レーザ顕微鏡システムの一実施例を示す構成図である。なお、図1において図6と同等部分には同一符号を付し、その説明は省略する。
図1において、10は信号制御器、11は波形計算装置、12はアクチュエータドライバ、20は試料である。
信号制御器10は、ビデオレートカメラ(以下単にカメラという)1から出力されるビデオ信号を受けて、そのビデオ信号をそのまま出力すると共に、ビデオ信号から垂直同期信号を抽出しこれを基に各種のトリガ信号を生成する。
任意波形発生器7aは、信号制御器10からの走査波形発生トリガ信号を受信すると、あらかじめ波形計算装置11から送られ記憶した三角状波またはステップ波を発生して、アクチュエータドライバ12へ送る。
波形計算装置11は、試料20を観察する際の対物レンズ5の走査周期と光軸方向の走査距離から、アクチュエータ4や顕微鏡筐体の振動を抑えることのできる三角状波やステップ波を計算によって求め、それを走査波形として任意波形発生器7aに出力する。
アクチュエータドライバ12は、任意波形発生器7aから出力される走査波形信号に基づいて、アクチュエータ4を駆動するための駆動信号を発生する。
なお、ここでは、波形計算装置11、任意波形発生器7a、アクチュエータドライバ12、信号制御器10から構成される部分を制御手段と呼ぶ。
このような構成の動作を、図2に示す各信号のタイムチャートを参照して次に説明する。カメラ1から制御信号器10に図2の(a)に示すビデオ信号(垂直同期信号が含まれる)が送られると、信号制御器10では、そのビデオ信号をそのまま画像処理装置6へ送ると同時に、ビデオ信号から垂直同期信号を抽出して、共焦点スキャナ2へ同期信号を送ると共に、各種トリガ信号すなわち走査波形発生トリガ信号[図2の(c)]、画像取込トリガ信号[図2の(e)]を生成する。
信号制御器10では、図2(b)に示す画像取込スタート信号を受信すると、画像取込スタート信号がLOWになった後の最初の垂直同期信号を走査波形発生トリガ信号[同図(c)]として任意波形発生器7aへ送ると共に、垂直同期信号を図2(e)に示す画像取込トリガ信号として画像処理装置6へ送る。なお、画像取込スタート信号は、操作者が上位コントローラ例えばパーソナルコンピュータから、任意のタイミングに信号制御器に入力する信号であり、そのパルス幅はビデオ信号の垂直同期信号の周期の2倍以上である。
任意波形発生器7aでは、信号制御器10から走査波形発生トリガ信号を受信すると、あらかじめ波形計算装置11から入力され記憶してある図2(d)に示す三角状波または同図(f)に示すステップ波を発生し、これをアクチュエータドライバ12に送る。
アクチュエータ4はアクチュエータドライバ12からの駆動信号によって駆動され、図2(d)あるいは(f)の波形に従って対物レンズ5を光軸方向に走査する。画像処理装置6では、これに同期して試料20の断面スライス像を連続的に取得する。
次に、波形計算装置11で作成される走査波形について説明する。図3は対物レンズの走査波形として、通常の三角波を用いた従来の場合[同図(a)]と三角状の波形を用いる本発明の場合[同図(b)]との比較を示す図である。なお、図中の黒丸点が波形のデータポイントである。
通常の三角波では、波形の折返し部で変位が急激に変化する。その時、大きな加速度が生じ、それが振動の発生源となる。これに対して、本発明では、波形の変化が不連続的な部分すなわち波形の折返し部では、その変位が2次関数で表されるように補正し、急峻な変化が無い(すなわち加速度が小さく、かつ実質上一定値となる)形状にしてある。
本発明においては、対物レンズの走査ストロークSと、三角波形における降下部の時間Tと、折返し部の加速度aとの間には次の関係式(1)が成立するように設計しておく。
a=S/T ……(1)
ここで、ストロークSは観察者が設定する項目である。時間Tはカメラの撮像フレームレートの整数倍とする。
したがって、折り返し部の変位sは次式で表され、図3(b)に示すような波形となる。これにより、対物レンズ5部や顕微鏡筐体部の振動は抑えられる。
s=a・t2/2 ……(2)
ここで、tは経過時間を表す。
また、図4は対物レンズ5の走査波形をステップ波とした場合の比較図である。同図(a)が従来の場合、同図(b)が本発明の場合である。なお、走査のフルストーク点から0点に戻る波形は、図3の三角波の場合と同様とする。
図4(a)のステップ波形の場合、ステップが変化するとき、変位の急激な変化によって大きな加速度が生じ、それが振動源となる。図4(b)に示す本発明のステップ波形では、ステップが変るところでは(2)式の2次関数の波形であり、滑らかな変化となっており、加速度は小さい。したがって、ステップ波形の場合においても対物レンズ5や顕微鏡筐体部の振動は抑えられる。
図5にステップ波形の変位と加速度について従来の場合[同図(a)]と本発明の場合[同図(b)]との対比を示す。
なお、本発明は、上記実施例に限定されることなく、その本質から逸脱しない範囲で更に多くの変更、変形をも含むものである。
本発明に係る3次元共焦点レーザ顕微鏡システムの一実施例を示す構成図である。 本発明に係る各信号のタイムチャートである。 走査波形と加速度についての説明図である。 ステップ波についての説明図である。 ステップ波と加速度についての説明図である。 従来の共焦点顕微鏡の一例を示す構成図である。 図6の共焦点顕微鏡が取り扱う各信号のタイムチャートである。
符号の説明
1 カメラ
2 共焦点スキャナ
3 顕微鏡
4 アクチュエータ
5 対物レンズ
6 画像処理装置
7a 任意波形発生器
10 信号制御器
11 波形計算装置
12 アクチュエータドライバ
20 試料

Claims (3)

  1. 試料のスライス像を共焦点画像として取得する共焦点スキャナと、前記共焦点画像をビデオ信号に変換するビデオレートカメラと、前記ビデオレート信号を画像データに変換する画像処理装置と、顕微鏡の対物レンズの焦点位置を光軸方向に移動するアクチュエータと、このアクチュエータを介して前記対物レンズを光軸方向に走査するための走査波形信号を発生する制御手段を備え、試料の深さ方向のスライス画像を取得することができるように構成した3次元共焦点レーザ顕微鏡システムであって、
    前記制御手段は、三角状またはステップ状の走査波形であって、かつ不連続的な変化部分では加速度が実質上一定値となるように補正した走査波形信号を作成し、その走査波形信号により前記アクチュエータを駆動するように構成したことを特徴とする3次元共焦点レーザ顕微鏡システム。
  2. 前記制御手段で生成される走査波形信号を、不連続的な変化部分では、その変位sが、
    s=a・t/2
    ただし、tは経過時間
    aはS/T(ここに、Sは対物レンズの走査ストローク、Tは波形の下降部の時間である)
    となるように2次関数で補正し、加速度が実質上一定値となるようにしたことを特徴とする請求項1に記載の3次元共焦点レーザ顕微鏡システム。
  3. 前記制御手段は、前記三角状またはステップ状の走査波形信号の波形を計算を用いて求める波形計算装置と、この走査波形を記憶しておき走査波形発生トリガ信号に同期して発生する任意波形発生器と、この任意波形発生器から出力される走査波形発生トリガ信号に基づいて前記アクチュエータを駆動するアクチュエータドライバと、前記ビデオレートカメラのビデオ信号に同期した各トリガ信号を発生して各部に与える信号制御器から構成されたことを特徴とする請求項1または2に記載の3次元共焦点レーザ顕微鏡システム。
JP2003274520A 2003-07-15 2003-07-15 3次元共焦点レーザ顕微鏡システム Pending JP2005037690A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003274520A JP2005037690A (ja) 2003-07-15 2003-07-15 3次元共焦点レーザ顕微鏡システム
DE602004003638T DE602004003638T2 (de) 2003-07-15 2004-03-09 Konfokales Mikroskop
EP04005573A EP1498759B1 (en) 2003-07-15 2004-03-09 Confocal microscope
US10/800,754 US6982824B2 (en) 2003-07-15 2004-03-16 Three-dimensional confocal microscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003274520A JP2005037690A (ja) 2003-07-15 2003-07-15 3次元共焦点レーザ顕微鏡システム

Publications (1)

Publication Number Publication Date
JP2005037690A true JP2005037690A (ja) 2005-02-10

Family

ID=34211450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003274520A Pending JP2005037690A (ja) 2003-07-15 2003-07-15 3次元共焦点レーザ顕微鏡システム

Country Status (1)

Country Link
JP (1) JP2005037690A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006308709A (ja) * 2005-04-27 2006-11-09 Tohoku Univ 顕微鏡ステージ、および、焦点位置計測装置と共焦点顕微鏡システム
JP2006343606A (ja) * 2005-06-10 2006-12-21 Yokogawa Electric Corp 共焦点顕微鏡
JP2007187945A (ja) * 2006-01-16 2007-07-26 Yokogawa Electric Corp 共焦点顕微鏡
US8275226B2 (en) 2008-12-09 2012-09-25 Spectral Applied Research Ltd. Multi-mode fiber optically coupling a radiation source module to a multi-focal confocal microscope
JP2013531819A (ja) * 2010-06-30 2013-08-08 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション ライン走査式顕微鏡における同期用システム
US8670178B2 (en) 2009-12-08 2014-03-11 Spectral Applied Research Inc. Imaging distal end of multimode fiber
JP2017068121A (ja) * 2015-09-30 2017-04-06 日東電工株式会社 偏光子の検査方法および偏光板の製造方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03212178A (ja) * 1990-01-12 1991-09-17 Fuji Photo Film Co Ltd ピエゾアクチュエータの駆動方法
JP2002072102A (ja) * 2000-09-01 2002-03-12 Yokogawa Electric Corp 共焦点顕微鏡

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03212178A (ja) * 1990-01-12 1991-09-17 Fuji Photo Film Co Ltd ピエゾアクチュエータの駆動方法
JP2002072102A (ja) * 2000-09-01 2002-03-12 Yokogawa Electric Corp 共焦点顕微鏡

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006308709A (ja) * 2005-04-27 2006-11-09 Tohoku Univ 顕微鏡ステージ、および、焦点位置計測装置と共焦点顕微鏡システム
JP2006343606A (ja) * 2005-06-10 2006-12-21 Yokogawa Electric Corp 共焦点顕微鏡
JP2007187945A (ja) * 2006-01-16 2007-07-26 Yokogawa Electric Corp 共焦点顕微鏡
US8275226B2 (en) 2008-12-09 2012-09-25 Spectral Applied Research Ltd. Multi-mode fiber optically coupling a radiation source module to a multi-focal confocal microscope
US9134519B2 (en) 2008-12-09 2015-09-15 Spectral Applied Reseach Inc. Multi-mode fiber optically coupling a radiation source module to a multi-focal confocal microscope
US8670178B2 (en) 2009-12-08 2014-03-11 Spectral Applied Research Inc. Imaging distal end of multimode fiber
US8922887B2 (en) 2009-12-08 2014-12-30 Spectral Applied Research Inc. Imaging distal end of multimode fiber
JP2013531819A (ja) * 2010-06-30 2013-08-08 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション ライン走査式顕微鏡における同期用システム
US10027855B2 (en) 2010-06-30 2018-07-17 Ge Healthcare Bio-Science Corp. System for synchronization in a line scanning imaging microscope
JP2017068121A (ja) * 2015-09-30 2017-04-06 日東電工株式会社 偏光子の検査方法および偏光板の製造方法

Similar Documents

Publication Publication Date Title
US11539898B2 (en) Method and apparatus for imaging a sample using a microscope scanner
JP2009145913A (ja) 電子式カメラ及び自動フォーカス方法
US7349152B2 (en) Three-dimensional confocal microscope system
US9661212B2 (en) Image acquisition device and focusing method for image acquisition device
JP2005037690A (ja) 3次元共焦点レーザ顕微鏡システム
JP4158077B2 (ja) 共焦点顕微鏡
EP1498759B1 (en) Confocal microscope
JP2006047954A (ja) 電子式カメラ及び自動フォーカス方法
JP4811632B2 (ja) 3次元共焦点顕微鏡システム
JP2006308709A (ja) 顕微鏡ステージ、および、焦点位置計測装置と共焦点顕微鏡システム
JP4962769B2 (ja) 3次元顕微鏡システム
JP4478921B2 (ja) 3次元共焦点レーザ顕微鏡システム
JP2006163023A (ja) レーザ顕微鏡及びカラーレーザ顕微鏡
JP2005148454A (ja) 3次元共焦点レーザ顕微鏡システム
US10488641B2 (en) Scanning microscope
JP2006084960A (ja) 3次元共焦点顕微鏡システム
WO2016116962A1 (ja) 光走査方法及び光走査装置
JPH1138324A (ja) レーザ走査顕微鏡
JPH03209415A (ja) 顕微鏡像出力方法および走査型顕微鏡
JP2006067171A (ja) カラー撮像装置
JP4493293B2 (ja) レーザ走査型共焦点顕微鏡装置
JP2004109708A (ja) 撮像装置
KR20210086257A (ko) 광간섭 단층 영상 시스템을 위한 멤스 미러 제어 장치 및 그 제어 방법
JP2012063423A (ja) レンズ鏡筒及び撮像装置
KR20230027863A (ko) 카메라 모듈

Legal Events

Date Code Title Description
A621 Written request for application examination

Effective date: 20060202

Free format text: JAPANESE INTERMEDIATE CODE: A621

A977 Report on retrieval

Effective date: 20090629

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090813

A521 Written amendment

Effective date: 20091008

Free format text: JAPANESE INTERMEDIATE CODE: A523

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100121

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100218

A912 Removal of reconsideration by examiner before appeal (zenchi)

Effective date: 20100402

Free format text: JAPANESE INTERMEDIATE CODE: A912