JP2006043289A - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
JP2006043289A
JP2006043289A JP2004231385A JP2004231385A JP2006043289A JP 2006043289 A JP2006043289 A JP 2006043289A JP 2004231385 A JP2004231385 A JP 2004231385A JP 2004231385 A JP2004231385 A JP 2004231385A JP 2006043289 A JP2006043289 A JP 2006043289A
Authority
JP
Japan
Prior art keywords
image
signal
image signal
light
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004231385A
Other languages
English (en)
Other versions
JP4526322B2 (ja
Inventor
Tsuyoshi Ozawa
剛志 小澤
Yoshinori Takahashi
義典 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004231385A priority Critical patent/JP4526322B2/ja
Publication of JP2006043289A publication Critical patent/JP2006043289A/ja
Application granted granted Critical
Publication of JP4526322B2 publication Critical patent/JP4526322B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】画像処理手段が1つの蛍光観察画像を構築するための時間周期と、該画像処理手段が1つの通常観察画像を構築するための時間周期との差異を少なくし、術者が被検体である生体内に対して検査、観察等を行う際の視覚的違和感を軽減することができるような内視鏡装置を提供する。
【解決手段】内視鏡装置1Aは、照明光と、励起光とを所定の時間周期において周期的に順次照射する手段を有する光源装置3Aと、撮像した被検体の像を照明光画像信号および蛍光画像信号に変換して出力するCCD28と、前記照明光画像信号と、前記蛍光画像信号とを一時的に記録し、前記所定の時間周期において同期させるレンジ補正テーブル46a、46bおよび46cと、各画像信号に対して所定の信号処理を行い、蛍光観察画像を構築するための第1の信号、第2の信号および第3の信号として出力する画像処理回路38とを有する
【選択図】図1

Description

本発明は、内視鏡装置に関し、特に、光源装置が照明光を照射した際に撮像手段が撮像した被検体の像の画像信号と、光源装置が励起光を照射した際に撮像手段が撮像した被検体の像の画像信号とを用いて蛍光観察画像を作成する内視鏡装置に関するものである。
従来より、内視鏡装置は医療分野等において広く用いられている。特に、医療分野における内視鏡装置は、術者が被検体である生体内の検査、観察等の処置を行うという用途において主に用いられている。医療分野における内視鏡装置を用いた観察として一般的に知られているものとしては、例えば、主に白色光を生体内に照射し、肉眼による観察と略同様の生体内の像を撮像する通常観察の他に、特定の波長帯域を有する励起光を生体内に照射した際に生体内の生体組織が発する自家蛍光の像を撮像し、該自家蛍光の像を観察することにより、生体内の正常部位および病変部位を判別することができる自家蛍光観察がある。自家蛍光観察を行うことのできる内視鏡装置としては、例えば、特許文献1および特許文献2において開示されているようなものがある。
特許文献1および特許文献2において開示されている内視鏡装置は、いずれも、2つの異なる波長帯域の照明光と、蛍光を励起するための励起光とを照明する光源と、生体組織に前記照明光が照射され、反射された反射光による各々2つの反射光画像と、前記励起光により励起された蛍光による蛍光画像とを撮像する撮像手段と、前記2つの反射光画像と前記蛍光画像とを処理し、処理画像である蛍光観察画像を構築する画像処理手段とを有している。そして、特許文献1および特許文献2において開示されている内視鏡装置が有する画像処理手段は、いずれも、入力された2つの反射光画像の信号および蛍光画像の信号を同期させ、R(赤)、G(緑)およびB(青)のそれぞれのチャンネルに適切に割り付けて出力することにより、処理画像である蛍光観察画像を構築している。そのため、特許文献1および特許文献2において開示されている内視鏡装置は、いずれも、術者が被検体である生体内の生体組織に対して検査、観察等を行う際に、正常部位と病変部位とを識別し易いような画像を得ることができるような構成を有している。
特開2003−126014号公報 特開2003−126015号公報
一般的に、励起光の照射により生体組織が発する自家蛍光の強度は非常に弱いため、画像処理手段が蛍光観察画像を構築する場合、通常観察時に比べて露光時間を長くする等の工夫が必要となる。その場合、画像処理手段が1つの蛍光観察画像を構築するための時間周期と、該画像処理手段が1つの通常観察画像を構築するための時間周期とにおいては、比較的大きな差異が生じる。そして、前記差異は、術者が被検体である生体内の、特に心臓の拍動の影響を受ける生体組織に対して検査、観察等を行う際の視覚的違和感となって現れる。その結果、前記差異は、術者が被検体である生体内に対して検査、観察等を行う際の妨げとなっているという課題がある。しかし、特許文献1および特許文献2において開示されている内視鏡装置においては、前記差異を小さくするための手段については記載されておらず、前記課題に対する提案はなされていない。
本発明は、前述した点に鑑みてなされたものであり、術者が生体組織の正常部位と病変部位とを十分に区別可能である蛍光観察画像の構築を行った上において、画像処理手段が1つの蛍光観察画像を構築するための時間周期と、該画像処理手段が1つの通常観察画像を構築するための時間周期との差異を少なくし、術者が被検体である生体内に対して検査、観察等を行う際の視覚的違和感を軽減することができるような内視鏡装置を提供することを目的としている。
本発明における内視鏡装置は、所定の波長帯域を有する照明光と、被検体に対して蛍光を励起させるための励起光とを、所定の時間周期において周期的に順次照射する手段を有する光源装置と、
前記励起光は透過させず、励起光よりも長波長側の光を透過する特性を有するフィルタを通して前記被検体を撮像し、前記光源装置が前記照明光を照射した際に撮像した前記被検体の反射像を第1の画像信号に変換し、前記光源装置が前記励起光を照射した際に撮像した前記被検体の蛍光像を第2の画像信号に変換して出力する撮像手段と、前記第1の画像信号と、前記第2の画像信号とを一時的に記録し、前記所定の時間周期において同期させるための少なくとも1つの画像信号記録手段と、前記画像信号記録手段において同期されて出力された前記第1の画像信号と、前記第2の画像信号とに対して所定の信号処理を行い、赤、緑および青のうち少なくとも2つ以上の輝度成分を有する所定の画像信号として出力する画像処理手段とを有する。
本発明における内視鏡装置は、術者が生体組織の正常部位と病変部位とを十分に区別可能である蛍光観察画像の構築を行った上において、画像処理手段が1つの蛍光観察画像を構築するための時間と、該画像処理手段が1つの通常観察画像を構築するための時間との差異を少なくし、術者が被検体である生体内に対して検査、観察等を行う際の視覚的違和感を軽減することができる。
以下、図面を参照して本発明の実施の形態を説明する。
図1は、本実施形態に係る内視鏡装置の全体構成を示す図である。図2は、本実施形態に係る内視鏡装置が有する励起光カットフィルタの分光特性を示す図である。図3は、本実施形態に係る内視鏡装置が有する切替フィルタの構成を示す図である。図4は、本実施形態に係る内視鏡装置が有する切替フィルタに設けられたRフィルタと、Gフィルタと、Bフィルタとの分光特性を示す図である。図5は、本実施形態に係る内視鏡装置が有する切替フィルタに設けられたE1フィルタおよびG1フィルタの分光特性を示す図である。図6は、本実施形態に係る内視鏡装置が有する画像処理回路の構成を示すブロック図である。図7は、本実施形態に係る内視鏡装置において通常観察を行う際の、R信号と、G信号と、B信号との同期のタイミングを示すタイミングチャートである。図8は、本実施形態に係る内視鏡装置において蛍光観察を行う際の、AF信号およびGa信号の同期のタイミングを示すタイミングチャートである。図9は、本実施形態に係る内視鏡装置において蛍光観察を行った際に構築される蛍光観察画像の例を示す図である。図10は、本実施形態に係る内視鏡装置の変形例の全体構成を示す図である。図11は、本実施形態の変形例に係る内視鏡装置が有する励起光カットフィルタの分光特性を示す図である。図12は、本実施形態の変形例に係る内視鏡装置が有する切替フィルタの構成を示す図である。図13は、本実施形態の変形例に係る内視鏡装置が有する切替フィルタに設けられたE2フィルタおよびG2フィルタの分光特性を示す図である。図14は、本実施形態の変形例に係る内視鏡装置において蛍光観察を行う際の、AF信号およびGa信号の同期のタイミングを示すタイミングチャートである。
本実施形態に係る内視鏡装置1Aは、図1に示すように、一部が被検体である生体内に挿入される内視鏡2Aと、被検体の観察を行う際に用いる光を照射する光源装置3Aと、通常観察画像および蛍光観察画像を構築するための処理を行うプロセッサ4Aと、プロセッサ4Aが構築した通常観察画像および蛍光観察画像をカラー表示するモニタ5とにより構成される。
内視鏡2Aは、体腔内に挿入できる程度の外径を有する挿入部7および先端部8と、先端部8の内部に設けられ、光源装置3Aから照射される光を拡散させる照明レンズ24と、先端部8の内部に設けられ、被検体の光学像を結ぶための対物レンズ系25と、先端部8の内部に設けられ、遠点から近点までフォーカスを合わせるため空間的に入射光量を制限する絞り26と、先端部8の内部に設けられ、励起光をカットする励起光カットフィルタ27と、先端部8の内部に設けられた、撮像素子であるCCD(電荷結合素子)28と、スコープスイッチ29と、内視鏡2Aの、少なくともその機種を含む固有のID情報が記録されているスコープID発生部41とを有している。
励起光カットフィルタ27は、図2に示すように、470−700nmの波長帯域を有する光を透過する特性を有するフィルタであり、生体組織に自家蛍光を発生させるために、蛍光観察時に照射される励起光を遮光し、励起光よりも長波長側の光を透過する。
撮像手段であるCCD28は、プロセッサ4Aに設けられたCCD駆動回路31から出力されるCCD駆動信号により駆動され、被検体を撮像し、撮像した被検体の像を画像信号に変換して、プロセッサ4Aに設けられたプリアンプ32に出力する
スコープスイッチ29には、図示しない1または複数の入力インターフェースを有し、例えば、通常観察と蛍光観察との切替を行うための観察モード切替スイッチ、CCD28が撮像した被検体の像の画像信号を静止画像として記録するための指示であるレリーズスイッチ等のインターフェースが設けられている。術者が前述した観察モード切替スイッチ等のインターフェースの操作を行うと、該操作に基づく操作信号がプロセッサ4Aに設けられた制御回路37に出力され、該操作信号に基づき、制御回路37は内視鏡装置1Aの各部の制御を行う。
スコープID発生部41は、内視鏡2Aがプロセッサ4Aに接続された際に、プロセッサ4Aに設けられた機種検知回路42に対し、接続された内視鏡2AのID情報を出力する。
さらに、挿入部7の内部には、光源装置3Aから照射される光を導光するための、石英ファイバ等により構成されたライトガイドファイバ9が挿通されている。ライトガイドファイバ9の一端は、光源装置3Aに対して着脱自在に接続される光源用コネクタ10を有する構成となっており、また、ライトガイドファイバ9の他端は、挿入部7の先端部8に設けられた照明レンズ24の近傍に配置されている。
光源装置3Aは、ランプ駆動回路11と、ランプ駆動回路11により発光するように駆動され、赤外波長帯域から可視光帯域を含む光を照射するランプ12と、ランプ12の照射光路上に設けられ、ランプ12から照射される光量を制限する光源絞り13と、ランプ12の照射光路上に設けられた切替フィルタ部14と、切替フィルタ部14を通過した光を集光するコンデンサレンズ15とを有している。
切替フィルタ部14は、切替フィルタ17と、切替フィルタ17を回転駆動させるための回転用モータ16と、回転用モータ16に取り付けられたラック18と、ラック18に螺合するように取り付けられたピニオン19と、ピニオン19を回転駆動することにより、切替フィルタ17をランプ12の照射光路の軸に対して垂直方向に移動させるための移動用モータ20とを有している。
回転用モータ16は、回転軸等に取り付けられた図示しないエンコーダを有し、該エンコーダは、切替フィルタ17の駆動状態の情報を駆動状態信号に変換する。そして、前記駆動状態信号は、プロセッサ4Aの制御回路37に出力される。
切替フィルタ17は、図3に示すように、内周部に通常観察用のRGBフィルタ21を有し、外周部に蛍光観察用フィルタ22を有している。また、RGBフィルタ21および蛍光観察用フィルタ22は、切替フィルタ17において同心状となるように配置されており、術者がスコープスイッチ29の観察モード切替スイッチを操作すると、該操作の内容に基づき、プロセッサ4Aの制御回路37を介して移動用モータ20が駆動され、RGBフィルタ21がランプ12の照射光路上に配置された場合、通常観察を行うことができ、また、蛍光観察用フィルタ22がランプ12の照射光路上に配置された場合、蛍光観察を行うことができるような構成を有している。
RGBフィルタ21は、周方向を略3等分するように設けられた、赤色の波長帯域を有する光を透過するRフィルタ21aと、緑色の波長帯域を有する光を透過するGフィルタ21bと、青色の波長帯域を有する光を透過するBフィルタ21cとを有し、回転モータ16により回転駆動された際に、3つのフィルタがランプ12の照射光路上に順次かつ略連続的に介挿されるような構成となっている。また、図4に示すように、Rフィルタ21aは、600−700nmの波長帯域を有する光を透過し、Gフィルタ21bは、500−600nmの波長帯域を有する光を透過し、Bフィルタ21cは、400−500nmの波長帯域を有する光を透過するフィルタ特性を有する。
蛍光観察用フィルタ22は、周方向を略2等分するように設けられた、狭帯域の励起光を透過するE1フィルタ22aと、狭帯域の緑色の波長帯域を有する光を透過するG1フィルタ22bとを有し、回転モータ16により回転駆動された際に、2つのフィルタがランプ12の照射光路上に順次かつ略連続的に介挿されるような構成となっている。また、図5に示すように、E1フィルタ22aは、395−445nmの波長帯域を有する光を透過し、G1フィルタ22bは、540−560nmの波長帯域を有する光を透過するフィルタ特性を有する。なお、G1フィルタ22bのフィルタ特性は、前述したものに限定されず、例えば、550nmを含み、かつ、半値全幅が50nm未満の波長帯域を有する光を透過するような特性を有していれば良い。
プロセッサ4Aは、CCD駆動回路31と、プリアンプ32と、AGC(オートゲインコントロール)回路33と、A/D(アナログ/デジタル)変換回路34と、第1フレームメモリ36aと、第2フレームメモリ36bと、第3フレームメモリ36cと、マルチプレクサ35と、制御回路37と、画像処理手段である画像処理回路38と、D/A(デジタル/アナログ)変換回路39と、調光回路40と、機種検知回路42と、設定スイッチ43とを有する。
CCD28から出力される画像信号は、プリアンプ32において増幅され、さらにAGC回路33において所定のレベルまで増幅された後、A/D変換回路34によりアナログ信号からデジタル信号に変換される。そして、デジタル信号に変換された画像信号は、前記画像信号の記録先の切替を行うマルチプレクサ35を経て、画像信号記録手段である第1フレームメモリ36a、第2フレームメモリ36bおよび第3フレームメモリ36cに一時的に記録される。第1フレームメモリ36a、第2フレームメモリ36bおよび第3フレームメモリ36cに記録された画像信号は、所定の時間周期において同期された後、画像処理回路38に入力されて所定の信号処理が行われる。前記所定の信号処理が行われた画像信号は、D/A変換回路39によりデジタル信号からアナログ信号に変換された後、モニタ5に出力される。
なお、CCD駆動回路31は制御回路37により制御される。CCD駆動回路31は、CCD28に対し、例えば、通常観察および蛍光観察の際に、電子シャッタ機能を動作させることにより、CCD28が受光する光量を調整する、というような制御を行う。
また、制御回路37は、回転用モータ16のエンコーダから出力された駆動状態信号に基づき、CCD駆動回路31、マルチプレクサ35等を制御する。
また、制御回路37は、マルチプレクサ35を制御してCCD28から出力される画像信号記録先の切替を行う。制御回路37は、通常観察の場合、Rフィルタ21a、Gフィルタ21bおよびBフィルタ21cを通過して照射された照明光のもとにおいて、CCD28が撮像した被検体の像の画像信号を、それぞれ第1フレームメモリ36a、第2フレームメモリ36bおよび第3フレームメモリ36cに順次記憶させるような制御をマルチプレクサ35に対して行う。また、制御回路37は、蛍光観察の場合、E1フィルタ22aおよびG1フィルタ22bを通過して照射された照明光のもとにおいて、CCD28が撮像した被検体の像の画像信号を、それぞれ第1フレームメモリ36a、第2フレームメモリ36bおよび第3フレームメモリ36cに順次記憶させるような制御をマルチプレクサ35に対して行う。すなわち、制御回路37は、第1フレームメモリ36a、第2フレームメモリ36bおよび第3フレームメモリ36cのうち、2つのフレームメモリに一方の画像信号が入力され、1つのフレームメモリに他方の画像信号が入力されるような制御をマルチプレクサ35に対して行う。
また、制御回路37は、ランプ駆動回路11を制御し、ランプ12が照射する光量等の調整を行う。
画像処理回路38は、第1フレームメモリ36a、第2フレームメモリ36bおよび第3フレームメモリ36cにおいて同期された状態として入力された3つの画像信号に対し、マトリックス変換処理等の処理を行い、処理を行った後の画像信号を、第1の信号、第2の信号および第3の信号として出力する。なお、前記第1の信号、前記第2の信号および前記第3の信号は、表示手段であるモニタ5においてカラー表示する際の、R、GおよびBの3つのチャンネルに割り当てられる、それぞれの色の輝度成分を有する信号である。また、蛍光観察においては、第1フレームメモリ36a、第2フレームメモリ36bおよび第3フレームメモリ36cに入力される画像信号の組み合わせ方により、モニタ5の表示画像における、生体内の正常部位および病変部位の色調が変化する。この色調の変化の詳細については、後程説明を行う。
調光回路40は、制御回路37により制御され、該制御内容に基づき、光源装置に設けられた光源絞り13の開口量の調整を行う。
機種検知回路42は、スコープID発生部41から出力された内視鏡2AのID情報に基づいて接続された内視鏡2Aの機種情報を検知し、該機種情報を制御回路37に対して出力する。
設定スイッチ43は、画像処理回路38に接続され、マトリックス回路45がマトリックス変換処理を行う際のパラメータ等の設定を行うことができる。
次に、図6を参照しつつ、画像処理回路38の具体的な構成について説明する。
画像処理回路38は、マトリックス回路45と、マトリックス回路45から出力される信号の輝度レベルの補正を行うレンジ補正テーブル46a、46bおよび46cと、マトリックス回路45におけるパラメータを決定するパラメータ決定部47と、ROM(Read Only Memory)48とを有する。
マトリックス回路45は、蛍光観察が行われる際に、第1フレームメモリ36a、第2フレームメモリ36bおよび第3フレームメモリ36cから、画像処理回路38の3つの入力端Ta、TbおよびTcに入力された各画像信号に対し、所定の信号処理であるマトリックス変換処理を行い、該処理を行った後の各画像信号を、第1の信号、第2の信号および第3の信号として出力する。
レンジ補正テーブル46a、46bおよび46cは、蛍光観察が行われる際に、マトリックス回路45から出力される第1の信号、第2の信号および第3の信号の輝度レベルの補正を行い、該補正を行った後の前記第1から第3の信号を、画像処理回路38の3つの出力端Ta1、Tb1およびTc1から、D/A変換回路39に対して出力する。
パラメータ決定部47は、内視鏡2Aの機種情報を基に制御回路37から出力される制御信号に応じてマトリックス変換処理におけるパラメータを決定し、マトリックス回路45に対して該パラメータを出力する。
ROM48は、マトリックス変換処理における1または複数のパラメータを格納している。例えば、術者が設定スイッチ43を操作することにより、ROM48に格納されたパラメータを選択および設定した場合、ROM48は、該パラメータをパラメータ決定部47に対して出力する。なお、パラメータ決定部47は、ROM48からパラメータが出力されたことを検知した場合、内視鏡2Aの機種情報を基に制御回路37から出力される制御信号に応じて決定されるパラメータを無効とし、かつ、ROM48から出力されたパラメータを有効としてマトリックス回路45に対して出力する。
次に、以上述べたような構成を有する、本実施の形態の内視鏡装置1Aを使用した際の作用についての説明を行う。
術者は、内視鏡装置1Aを使用する際には、図1に示すように、内視鏡2Aの光源用コネクタ10を光源装置3Aに接続し、また内視鏡2Aの図示しない信号用コネクタをプロセッサ4Aに接続する。そして、図1に示すような接続状態に設定した後、図示しない各装置の電源を投入し、動作状態とする。各装置の電源が投入されると、制御回路37は、初期設定として、例えば、通常観察を行うことができるように、各装置に対して制御および設定を行う。通常観察を行うための設定として、制御回路37は、切替フィルタ17の内周部に設けられたRGBフィルタ21がランプ12の照射光路上に配置されるように、光源装置3Aの移動用モータ20の制御を行う。
そして、術者がスコープスイッチ29等を操作することにより観察が開始されると、制御回路37は、回転モータ16を回転駆動させるための制御を行う。ランプ12から照射される光は、RGBフィルタ21のRフィルタ21a、Gフィルタ21bおよびBフィルタ21cがランプ12の照射光路上に介挿されることにより、赤色の波長帯域を有する光を透過する赤色(R)光と、緑色の波長帯域を有する光を透過する緑色(G)光と、青色の波長帯域を有する光を透過する青色(B)光とに分光され、ライトガイドファイバ9を介し、それぞれの光が、例えば、1/20秒の周期において順次かつ略連続的に被検体に対して照射される。
赤色、緑色および青色の光が被検体に対して照射されたそれぞれのタイミングにおいて、CCD28は被検体の像の撮像を行い、撮像した該被検体の反射像を、それぞれ赤色画像信号、緑色画像信号および青色画像信号に変換し、プロセッサ4Aに対して出力する。プロセッサ4Aに対して出力された赤色画像信号、緑色画像信号および青色画像信号は、プロセッサ4Aの各部において、増幅およびA/D変換がなされた後、制御回路37によるマルチプレクサ35の切替制御により、記録先が順次切り替えられ、第1フレームメモリ36a、第2フレームメモリ36bおよび第3フレームメモリ36cにそれぞれ記録される。図7に示すように、第1フレームメモリ36a、第2フレームメモリ36bおよび第3フレームメモリ36cに記録された赤色画像信号(図7におけるR1、R2、…)、緑色画像信号(図7におけるG0、G1、…)および青色画像信号(図7におけるB0、B1、…)は、例えば、1/20秒の周期において同期され、画像処理回路38に対して出力される。画像処理回路38は、通常観察の際には、マトリックス変換処理等の処理を行わず、入力された各画像信号をそのままD/A変換回路39に対して出力する。画像処理回路38から出力された各画像信号は、D/A変換回路39においてアナログの標準的な映像信号であるRGB信号に変換され、R、GおよびBチャンネルからモニタ5に出力される。そして、モニタ5は、RGB信号に基づいて通常観察画像をカラー表示する。
また、蛍光観察を行いたい場合、まず、術者は、スコープスイッチ29の観察モード切替スイッチを操作する。スコープスイッチ29が術者により操作されると、該操作の内容に基づく操作信号が制御回路37に対して出力される。前記操作信号を検知した制御回路37は、蛍光観察を行うための設定として、切替フィルタ17の外周部に設けられた蛍光観察用フィルタ22がランプ12の照射光路上に配置されるように、光源装置3Aの移動用モータ20の制御を行う。
そして、観察が開始されると、制御回路37は、回転モータ16を回転駆動させるための制御を行う。ランプ12から照射される光は、蛍光観察用フィルタ22のE1フィルタ22aおよびG1フィルタ22bがランプ12の照射光路上に介挿されることにより、被検体である生体内の生体組織に対して蛍光を励起させるための励起光と、少なくとも550nmを含む波長帯域を有する照明光とに分光され、ライトガイドファイバ9を介し、それぞれの光が、例えば、1/15秒の周期である所定の時間周期において順次かつ略連続的に被検体に対して照射される。
照明光が被検体に対して照射されたタイミングにおいては、CCD28は、通常観察と同様に被検体の反射像の撮像を行い、撮像した該被検体の反射像を、第1の画像信号である照明光画像信号に変換し、プロセッサ4Aに対して出力する。これに対し、励起光が被検体に対して照射されたタイミングにおいては、前記励起光E1の反射光は励起光カットフィルタ27により略完全に遮光され、かつ、生体組織が、励起光カットフィルタ27の透過帯域の波長帯域を有する蛍光を発するため、CCD28は、受光した該蛍光による被検体の蛍光像の撮像を行い、撮像した該被検体の蛍光像を、第2の画像信号である蛍光画像信号に変換し、プロセッサ4Aに対して出力する。プロセッサ4Aに対して出力された照明光画像信号および蛍光画像信号は、プロセッサ4Aの各部において、増幅およびA/D変換がなされた後、制御回路37によるマルチプレクサ35の切替制御により、記録先が順次切り替えられる。
マルチプレクサ35は、第1フレームメモリ36a、第2フレームメモリ36bおよび第3フレームメモリ36cのうち、照明光画像信号および蛍光画像信号のいずれか一方の画像信号が、いずれか2つのフレームメモリに記録され、また、前記いずれか一方の画像信号以外の他方の画像信号が、前記いずれか2つのフレームメモリ以外の他の1つのフレームメモリに記録されるように、各映像信号の記録先の切り替えを順次行う。例えば、マルチプレクサ35は、第1フレームメモリ36aおよび第3フレームメモリ36cに照明光画像信号を記録し、第2フレームメモリ36bに蛍光画像信号を記録する、というような各映像信号の記録先の切り替えを行う。そして、図8に示すように、第1フレームメモリ36aおよび第3フレームメモリ36cに記録された照明光画像信号(図8におけるGa1、Ga2、…)および第2フレームメモリ36bに記録された蛍光画像信号(図8におけるAF1、AF2、…)は、例えば、所定の時間周期である1/15秒の周期において同期され、画像処理回路38に対して出力される。
第1フレームメモリ36aおよび第3フレームメモリ36cに照明光画像信号が記録され、第2フレームメモリ36bに蛍光画像信号が記録された場合、画像処理回路38のマトリックス回路45は、所定の信号処理であるマトリックス変換処理を行うことにより、第1フレームメモリ36aから出力された照明光画像信号を第1の信号に変換し、第2フレームメモリ36bから出力された蛍光画像信号を第2の信号に変換し、第3フレームメモリ36cから出力された照明光画像信号を第3の信号に変換する。そして、マトリックス変換処理が行われた後の第1の信号、第2の信号および第3の信号は、レンジ補正テーブル46a、46bおよび46cに対してそれぞれ出力される。レンジ補正テーブル46a、46bおよび46cは、マトリックス回路45から出力された前記第1の信号、前記第2の信号および前記第3の信号に対し、蛍光観察画像がモニタ5に表示された際に、術者が色調の違いにより正常部位と病変部位とを十分視認可能となるように、輝度レベルの補正を行う。具体的には、レンジ補正テーブル46a、46bおよび46cは、(第1の信号の輝度レベル):(第2の信号の輝度レベル):(第3の信号の輝度レベル)=1:x:yとなり、かつ、前記xおよび前記yが0.5≦x≦3.5、y≧0を満たすように、前記第1の信号、前記第2の信号および前記第3の信号に対して輝度レベルの補正を行う。なお、レンジ補正テーブル46a、46bおよび46cは、第1の信号の輝度レベル値をA(Aは任意の実数)とすると、前述した第1から第3の信号の輝度レベルの比率より、第1の信号を輝度レベル値A、第2の信号を輝度レベル値xA、第3の信号を輝度レベル値yAとして、画像処理回路38の3つの出力端Ta1、Tb1およびTc1からそれぞれ出力する。所定の画像信号である、レンジ補正テーブル46a、46bおよび46cから出力された第1から第3の信号は、D/A変換回路39により映像信号であるアナログのRGB信号に変換され、R、GおよびBチャンネルからモニタ5に出力される。そして、モニタ5は、前記RGB信号に基づいて蛍光観察画像を、図9に示すように、擬似的にカラー表示する。具体的な色調としては、病変部位101aはマゼンタ、正常部位101bは緑、血管101cは黒として、それぞれモニタ5に表示される。すなわち、内視鏡装置1Aのプロセッサ4Aは、入力された2種類の画像信号から、モニタ5において擬似的にカラー表示されるような蛍光観察画像を構築することができる。
なお、モニタ5に表示される蛍光観察画像の色調は、下記表1に示すように、第1フレームメモリ36a、第2フレームメモリ36bおよび第3フレームメモリ36cに入力される照明光画像信号および蛍光画像信号の組み合わせおよびR、GおよびBチャンネルから出力される信号の組み合わせに関連している。
Figure 2006043289
本実施形態の説明においては、特に、表1の1番の場合についての説明を行ったが、本実施形態の内視鏡装置1Aは、例えば、表1の2番から6番までの組み合わせの色調をもって、蛍光観察画像をモニタ5に表示することもまた可能である。さらに、本実施形態の内視鏡装置1Aは、R、GおよびBの3つのチャンネルの全てから信号が出力されなくとも、例えば、蛍光画像信号が一のチャンネルから出力され、また、照明光画像信号が、該一のチャンネル以外の、他の二のチャンネルのうちの一のチャンネルのみから出力される場合であっても、蛍光観察画像を構築してモニタ5に表示することができる。なお、レンジ補正テーブル46a、46bおよび46cが行う輝度レベルの補正に関し、前述した第1から第3の信号の輝度レベルの比率および条件は、表1の1番の場合に対してのみ適合する比率および条件である。
また、本実施形態の変形例としての内視鏡装置1Bは、図10に示すように、蛍光観察用CCD28aおよび通常観察用CCD28bの、2つのCCDを有する内視鏡2Bが、切替フィルタ17aを有する光源装置3Bおよびプロセッサ4Aに接続されているという構成を有している。なお、本実施形態の図1から図9までの説明において、構成および動作が同じである部分に関しては、一部省略しつつ以降の説明を行う。
内視鏡2Bは、挿入部7および先端部8と、先端部8の内部に設けられた照明レンズ24と、スコープスイッチ29と、スコープID発生部41と、切替スイッチ64とを有する。また、内視鏡2Bは、先端部8の内部に設けられた、対物レンズ系25aと、第1絞り26aと、励起光カットフィルタ27aと、撮像素子である蛍光観察用CCD28aとからなる蛍光観察用撮像部と、先端部8の内部に設けられた、対物レンズ系25bと、第2絞り26bと、通常観察用CCD28bとからなる通常観察用撮像部とを有している。
励起光カットフィルタ27aは、図11に示すように、490−630nmの波長帯域を有する光を透過する特性を有するフィルタであり、生体組織に自家蛍光を発生させるために、蛍光観察時に照射される励起光を遮光し、励起光よりも長波長側の光を透過する。
蛍光観察用CCD28aおよび通常観察用CCD28bは、切替スイッチ64を介し、CCD駆動回路31とプリアンプ32とに接続されている。
切替スイッチ64は、スコープスイッチ29が操作されることにより、蛍光観察を行う設定が行われた場合、蛍光観察用CCD28aを有する蛍光観察用撮像部が選択および使用され、また、通常観察を行う設定が行われた場合、通常観察用CCD28bを有する通常観察用撮像部が選択および使用されるように、スコープスイッチ29の操作内容および制御回路37の制御内容に基づいて切替を行うことができるような構成を有している。
また、本実施形態の変形例における光源装置3Bは、切替フィルタ部14aを有し、切替フィルタ部14aには、切替フィルタ17aが設けられている。なお、光源装置3Bにおいては、切替フィルタ17a以外は、前述した光源装置3Aと同一の構成を有する。
切替フィルタ17aは、図12に示すように、内周部に通常観察用のRGBフィルタ21を有し、外周部に蛍光観察用フィルタ22Aを有している。また、RGBフィルタ21および蛍光観察用フィルタ22Aは、切替フィルタ17において同心状となるように配置されており、術者がスコープスイッチ29の観察モード切替スイッチを操作すると、該操作の内容に基づき、プロセッサ4Aの制御回路37を介して移動用モータ20が駆動され、RGBフィルタ21がランプ12の照射光路上に配置された場合、通常観察を行うことができ、また、蛍光観察用フィルタ22Aがランプ12の照射光路上に配置された場合、蛍光観察を行うことができるような構成を有している。
蛍光観察用フィルタ22Aは、周方向に設けられ、図12に示すような形状を有する狭帯域の励起光を透過するE2フィルタ22cと、周方向に設けられ、図12に示すような形状を有する狭帯域の緑色の波長帯域を有する光を透過するG2フィルタ22dとを有し、回転モータ16により回転駆動された際に、2つのフィルタがランプ12の照射光路上に順次かつ略連続的に介挿されるような構成となっている。また、図13に示すように、E1フィルタ22cは、395−475nmの波長帯域を有する光を透過し、G1フィルタ22dは、540−560nmの波長帯域を有する光を透過するフィルタ特性を有する。
前述したような構成を有する本変形例の内視鏡装置1Bを用いて蛍光観察を行う場合、まず、術者は、スコープスイッチ29の観察モード切替スイッチを操作する。スコープスイッチ29が術者により操作されると、該操作の内容に基づく操作信号が制御回路37に対して出力される。前記操作信号を検知した制御回路37は、蛍光観察を行うための設定として、切替フィルタ17の外周部に設けられた蛍光観察用フィルタ22がランプ12の照射光路上に配置されるように、光源装置3Aの移動用モータ20の制御を行う。
そして、観察が開始されると、制御回路37は、回転モータ16を回転駆動させるための制御を行う。ランプ12から照射される光は、蛍光観察用フィルタ22AのE2フィルタ22cおよびG2フィルタ22dがランプ12の照射光路上に介挿されることにより、被検体である生体内の生体組織に対して蛍光を励起させるための励起光と、少なくとも550nmを含む波長帯域を有する照明光とに分光され、ライトガイドファイバ9を介し、それぞれの光が、例えば、1/20秒の周期において順次かつ略連続的に被検体に対して照射される。
CCD28が撮像および変換し、プロセッサ4Aに対して出力された照明光画像信号および蛍光画像信号は、プロセッサ4Aの各部において、増幅およびA/D変換がなされた後、制御回路37によるマルチプレクサ35の切替制御により、記録先が順次切り替えられる。マルチプレクサ35は、第1フレームメモリ36a、第2フレームメモリ36bおよび第3フレームメモリ36cのうち、照明光画像信号および蛍光画像信号のいずれか一方の画像信号が、いずれか2つのフレームメモリに記録され、また、前記いずれか一方の画像信号以外の他方の画像信号が、前記いずれか2つのフレームメモリ以外の他の1つのフレームメモリに記録されるように、各映像信号の記録先の切り替えを順次行う。例えば、マルチプレクサ35は、第1フレームメモリ36aおよび第3フレームメモリ36cに照明光画像信号を記録し、第2フレームメモリ36bに蛍光画像信号を記録する、というような各映像信号の記録先の切り替えを行う。そして、図14に示すように、第1フレームメモリ36aおよび第3フレームメモリ36cに記録された照明光画像信号(図14におけるGa1、Ga2、…)および第2フレームメモリ36bに記録された蛍光画像信号(図14におけるAF1、AF2、…)は、例えば、1/20秒の周期において同期され、画像処理回路38に対して出力される。その後、照明光画像信号および蛍光画像信号は、画像処理回路38において、前述した内容と同様のマトリックス変換処理等の処理が行われた後、D/A変換回路39により映像信号であるアナログのRGB信号に変換され、R、GおよびBチャンネルからモニタ5に出力される。なお、モニタ5に出力される蛍光観察画像の色調は、前述した、図9に示す画像の色調と略同一である。
本発明の内視鏡装置1Aは、プロセッサ4Aに対して、少なくとも、1つの照明光画像信号と、1つの蛍光画像信号とが入力されれば、生体組織の正常部位と病変部位とを、モニタ5に表示される蛍光観察画像における色調の違いにより、術者が十分に区別可能であるような蛍光観察画像を構築することができる。そのため、2つの異なる波長帯域の照明光を使用していた従来に比べ、各画像信号を同期させて出力するための時間周期をより短くすることができる。その結果、プロセッサ4Aが1つの蛍光観察画像を構築するための時間と、プロセッサ4Aが1つの通常観察画像を構築するための時間との差異を少なくすることができ、術者が被検体である生体内に対して検査、観察等を行う際の視覚的違和感を軽減することができる。
また、本発明の内視鏡装置1Aのプロセッサ4Aは、少なくとも、1つの照明光画像信号と、1つの蛍光画像信号とが入力されれば、蛍光観察画像を構築することができる。そのため、光源装置3Aの蛍光観察用フィルタ22は、少なくとも2種類のフィルタを有していればよい。その結果、蛍光観察画像を構築する際に使用する光源装置において、少なくとも3種類のフィルタを有する光源装置が必要であった従来に比べ、より安価な光源装置を用いて蛍光観察画像を構築することができるため、蛍光観察において用いられる光源装置を製作する際の製造コストを低減することができる。
また、本発明における実施形態の変形例としての内視鏡装置1Bは、RGBフィルタ21および蛍光観察用フィルタ22Aの回転時間周期が同一である。そのため、プロセッサ4Aが1つの蛍光観察画像を構築するための時間と、プロセッサ4Aが画像処理回路38が1つの通常観察画像を構築するための時間とを略同一にすることができる。その結果、内視鏡装置1Bは、内視鏡装置1Aに比べ、術者が被検体である生体内に対して検査、観察等を行う際の視覚的違和感をより軽減することができる。
本実施形態に係る内視鏡装置の全体構成を示す図。 本実施形態に係る内視鏡装置が有する励起光カットフィルタの分光特性を示す図。 本実施形態に係る内視鏡装置が有する切替フィルタの構成を示す図。 本実施形態に係る内視鏡装置が有する切替フィルタに設けられたRフィルタと、Gフィルタと、Bフィルタとの分光特性を示す図。 本実施形態に係る内視鏡装置が有する切替フィルタに設けられたE1フィルタおよびG1フィルタの分光特性を示す図。 本実施形態に係る内視鏡装置が有する画像処理回路の構成を示すブロック図。 本実施形態に係る内視鏡装置において通常観察を行う際の、R信号と、G信号と、B信号との同期のタイミングを示すタイミングチャート。 本実施形態に係る内視鏡装置において蛍光観察を行う際の、AF信号およびGa信号の同期のタイミングを示すタイミングチャート。 本実施形態に係る内視鏡装置において蛍光観察を行った際に構築される蛍光観察画像の例を示す図。 本実施形態に係る内視鏡装置の変形例の全体構成を示す図。 本実施形態の変形例に係る内視鏡装置が有する励起光カットフィルタの分光特性を示す図。 本実施形態の変形例に係る内視鏡装置が有する切替フィルタの構成を示す図。 本実施形態の変形例に係る内視鏡装置が有する切替フィルタに設けられたE2フィルタおよびG2フィルタの分光特性を示す図。 本実施形態の変形例に係る内視鏡装置において蛍光観察を行う際の、AF信号およびGa信号の同期のタイミングを示すタイミングチャート。
符号の説明
1A,1B 内視鏡装置、2A,2B 内視鏡、3A,3B 光源装置、4A プロセッサ、5 モニタ、7 挿入部、8 先端部、9 ライトガイドファイバ、10 光源用コネクタ、11 ランプ駆動回路、12 ランプ、13 光源絞り、14,14a 切替フィルタ部、15 コンデンサレンズ、16 回転用モータ、17,17a 切替フィルタ、18 ラック、19 ピニオン、20 移動用モータ、21 RGBフィルタ、21a Rフィルタ、21b Gフィルタ、21c Bフィルタ、22,22A 蛍光観察用フィルタ、22a E1フィルタ、22b G1フィルタ、22c E2フィルタ、22d G2フィルタ、24 照明レンズ、25,25a,25b 対物レンズ系、26 絞り、26a 第1絞り、26b 第2絞り、27,27a 励起光カットフィルタ、28 CCD、28a 蛍光観察用CCD、28b 通常観察用CCD、29 スコープスイッチ、31 CCD駆動回路、32 プリアンプ、33 AGC回路、34 A/D変換回路、35 マルチプレクサ、36a 第1フレームメモリ、36b 第2フレームメモリ、36c 第3フレームメモリ、37 制御回路、38 画像処理回路、39 D/A変換回路、40 調光回路、41 スコープID発生部、42 機種検知回路、43 設定スイッチ、45 マトリックス回路、46a,46b,46c レンジ補正テーブル、47 パラメータ決定部、48 ROM、64 切替スイッチ、101a 病変部位、101b 正常部位、101c 血管
代理人 弁理士 伊 藤 進

Claims (4)

  1. 所定の波長帯域を有する照明光と、被検体に対して蛍光を励起させるための励起光とを、所定の時間周期において周期的に順次照射する手段を有する光源装置と、
    前記励起光は透過させず、励起光よりも長波長側の光を透過する特性を有するフィルタを通して前記被検体を撮像し、前記光源装置が前記照明光を照射した際に撮像した前記被検体の反射像を第1の画像信号に変換し、前記光源装置が前記励起光を照射した際に撮像した前記被検体の蛍光像を第2の画像信号に変換して出力する撮像手段と、
    前記第1の画像信号と、前記第2の画像信号とを一時的に記録し、前記所定の時間周期において同期させるための少なくとも1つの画像信号記録手段と、
    前記画像信号記録手段において同期されて出力された前記第1の画像信号と、前記第2の画像信号とに対して所定の信号処理を行い、赤、緑および青のうち少なくとも2つ以上の輝度成分を有する所定の画像信号として出力する画像処理手段と、
    を有することを特徴とする内視鏡装置。
  2. 前記照明光が有する前記所定の波長帯域は、550nmを含む波長帯域であることを特徴とする請求項1記載の内視鏡装置。
  3. 前記所定の波長帯域は、550nmを含み、かつ、半値全幅が50nm未満であることを特徴とする請求項1記載の内視鏡装置。
  4. さらに、前記画像処理手段が構築した前記蛍光観察画像の表示を行う表示手段を有し、
    前記画像処理手段は、前記所定の画像信号としての、赤、緑および青の輝度成分を有する信号を出力し、前記赤、緑および青の輝度成分を有する信号を出力する際に、前記表示手段に表示される蛍光観察画像の輝度レベルの比率が、(赤の輝度レベル):(緑の輝度レベル):(青の輝度レベル)=1:x:yとなり、かつ、前記xおよび前記yが0.5≦x≦3.5、y≧0を満たすように前記赤、緑および青の輝度成分を有する信号の輝度レベルを補正して出力することを特徴とする請求項1から請求項3のいずれか記載の内視鏡装置。
JP2004231385A 2004-08-06 2004-08-06 内視鏡装置 Expired - Fee Related JP4526322B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004231385A JP4526322B2 (ja) 2004-08-06 2004-08-06 内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004231385A JP4526322B2 (ja) 2004-08-06 2004-08-06 内視鏡装置

Publications (2)

Publication Number Publication Date
JP2006043289A true JP2006043289A (ja) 2006-02-16
JP4526322B2 JP4526322B2 (ja) 2010-08-18

Family

ID=36022483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004231385A Expired - Fee Related JP4526322B2 (ja) 2004-08-06 2004-08-06 内視鏡装置

Country Status (1)

Country Link
JP (1) JP4526322B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008043396A (ja) * 2006-08-11 2008-02-28 Olympus Corp 内視鏡システム
JP2009125411A (ja) * 2007-11-27 2009-06-11 Fujinon Corp 内視鏡画像処理方法および装置ならびにこれを用いた内視鏡システム
JP2009131615A (ja) * 2007-11-07 2009-06-18 Fujifilm Corp 撮像システム、撮像方法、およびプログラム
EP2478827A1 (en) 2011-01-19 2012-07-25 Fujifilm Corporation Endoscope system
EP2478826A1 (en) 2011-01-19 2012-07-25 Fujifilm Corporation Endoscope system
CN111345903A (zh) * 2018-12-21 2020-06-30 徕卡仪器(新加坡)有限公司 图像处理设备、荧光观察设备及模拟荧光观察设备的方法
CN111481164A (zh) * 2019-01-25 2020-08-04 宏碁股份有限公司 用以获取荧光眼底图的方法及其装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001137174A (ja) * 1999-11-16 2001-05-22 Fuji Photo Film Co Ltd 蛍光画像表示方法および装置
JP2003126015A (ja) * 2001-10-22 2003-05-07 Olympus Optical Co Ltd 内視鏡装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001137174A (ja) * 1999-11-16 2001-05-22 Fuji Photo Film Co Ltd 蛍光画像表示方法および装置
JP2003126015A (ja) * 2001-10-22 2003-05-07 Olympus Optical Co Ltd 内視鏡装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008043396A (ja) * 2006-08-11 2008-02-28 Olympus Corp 内視鏡システム
JP2009131615A (ja) * 2007-11-07 2009-06-18 Fujifilm Corp 撮像システム、撮像方法、およびプログラム
US7675017B2 (en) 2007-11-07 2010-03-09 Fujifilm Corporation Image capturing system, image capturing method, and recording medium
JP2009125411A (ja) * 2007-11-27 2009-06-11 Fujinon Corp 内視鏡画像処理方法および装置ならびにこれを用いた内視鏡システム
EP2478827A1 (en) 2011-01-19 2012-07-25 Fujifilm Corporation Endoscope system
EP2478826A1 (en) 2011-01-19 2012-07-25 Fujifilm Corporation Endoscope system
CN111345903A (zh) * 2018-12-21 2020-06-30 徕卡仪器(新加坡)有限公司 图像处理设备、荧光观察设备及模拟荧光观察设备的方法
CN111345903B (zh) * 2018-12-21 2023-06-30 徕卡仪器(新加坡)有限公司 图像处理设备、荧光观察设备及模拟荧光观察设备的方法
CN111481164A (zh) * 2019-01-25 2020-08-04 宏碁股份有限公司 用以获取荧光眼底图的方法及其装置

Also Published As

Publication number Publication date
JP4526322B2 (ja) 2010-08-18

Similar Documents

Publication Publication Date Title
JP4855728B2 (ja) 照明装置及び観察装置
JP6184571B2 (ja) 蛍光観察内視鏡システム
JP5259882B2 (ja) 撮像装置
JP3869324B2 (ja) 蛍光観察用画像処理装置
JP4891990B2 (ja) 内視鏡装置
JP5326065B2 (ja) 内視鏡装置
KR101050882B1 (ko) 생체 관측 시스템
JP4989036B2 (ja) 電子内視鏡用信号処理装置及び電子内視鏡装置
JP2006325672A (ja) 内視鏡装置
KR20040069332A (ko) 내시경 화상 처리 장치
JP2010012102A (ja) 光源装置及びこの光源装置を用いた内視鏡装置
JP5539840B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP4744279B2 (ja) 電子内視鏡装置
EP1769730A1 (en) Light source device and fluorescence observation system
JP2005261974A (ja) 蛍光内視鏡装置
JP3884265B2 (ja) 内視鏡装置
JP4846917B2 (ja) 蛍光観察用内視鏡装置
JP5331394B2 (ja) 内視鏡装置
JP4575208B2 (ja) 電子内視鏡装置
JP4716801B2 (ja) 内視鏡撮像システム
JP4526322B2 (ja) 内視鏡装置
JP4459709B2 (ja) 蛍光観察内視鏡装置
JP4242578B2 (ja) 内視鏡装置
JP4679013B2 (ja) 内視鏡用画像処理装置
JP2004305382A (ja) 特殊光観察システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100525

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100601

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4526322

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees