JP2002034893A - 内視鏡装置 - Google Patents

内視鏡装置

Info

Publication number
JP2002034893A
JP2002034893A JP2000227237A JP2000227237A JP2002034893A JP 2002034893 A JP2002034893 A JP 2002034893A JP 2000227237 A JP2000227237 A JP 2000227237A JP 2000227237 A JP2000227237 A JP 2000227237A JP 2002034893 A JP2002034893 A JP 2002034893A
Authority
JP
Japan
Prior art keywords
image
light
unit
filter
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000227237A
Other languages
English (en)
Other versions
JP3559755B2 (ja
Inventor
Kazuhiro Atono
和弘 後野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2000227237A priority Critical patent/JP3559755B2/ja
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to PCT/JP2001/006205 priority patent/WO2002007588A1/ja
Priority to US10/333,155 priority patent/US7892169B2/en
Priority to EP01953304A priority patent/EP1302152B1/en
Priority to EP10011752.2A priority patent/EP2319390B1/en
Publication of JP2002034893A publication Critical patent/JP2002034893A/ja
Application granted granted Critical
Publication of JP3559755B2 publication Critical patent/JP3559755B2/ja
Priority to US12/169,161 priority patent/US20080281154A1/en
Priority to US12/169,185 priority patent/US20080294105A1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Endoscopes (AREA)

Abstract

(57)【要約】 【課題】 生体組織の組織表面近くの所望の深部の組織
情報を分離して視認する。 【解決手段】 画像処理回路30は、RGBのうち2つ
のバンド画像情報を用いて、血液中のヘモグロビン濃度
に相関のある値、IHb(ヘモグロビンインデックス)
を算出する処理構成を有し、画像処理回路30に入力さ
れたRGB信号は、逆γ補正処理部61でCRT表示用
に行われているγ補正を除去するための逆γ補正処理が
テーブル変換等で行われる。逆γ補正処理されたGB信
号は、セレクタ部62でモード切替回路42からの制御
信号に基づいて、後段処理に流す信号を選択する。階調
反転処理部63で階調の反転処理が行われたあと、R信
号との乗算器64で乗算が行われる。最後に対数変換部
65で対数変換を受けたあと、画像処理回路30から出
力される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、生体組織の像を撮
像し信号処理する内視鏡装置に関する。
【0002】
【従来の技術】従来より、照明光を照射し体腔内の内視
鏡画像を得る内視鏡装置が広く用いられている。この種
の内視鏡装置では、光源装置からの照明光を体腔内にラ
イトガイド等を用い導光しその戻り光により被写体を撮
像する撮像手段を有する電子内視鏡が用いられ、ビデオ
プロセッサにより撮像手段からの撮像信号を信号処理す
ることにより観察モニタに内視鏡画像を表示し患部等の
観察部位を観察するようになっている。
【0003】内視鏡装置において通常の生体組織観察を
行う場合は、光源装置で可視光領域の白色光を発光し、
例えばRGB等の回転フィルタを介することで面順次光
を被写体に照射し、この面順次光による戻り光をビデオ
プロセッサで同時化し画像処理することでカラー画像を
得たり、内視鏡の撮像手段の撮像面の前面にカラーチッ
プを配し白色光による戻り光をカラーチップにてRGB
に分離することで撮像しビデオプロセッサで画像処理す
ることカラー画像を得ている。
【0004】一方、生体組織では、照射される光の波長
により光の吸収特性及び散乱特性が異なるため、近年、
例えば赤外光を照明光として生体組織に照射し生体組織
に深部の組織の観察が可能な赤外光内視鏡装置が種々提
案されている。
【0005】
【発明が解決しようとする課題】しかしながら、生体組
織の診断では、組織表面近くの深部組織情報も重要な観
察対象となるが、上記の赤外光内視鏡装置では、組織表
面よりも深い深部組織情報しか得ることができない。
【0006】また、白色光を回転フィルタによりRGB
面順次光として、生体組織に照射すると、その波長域が
異なるために、各色の光による撮像信号は、生体組織の
組織表面近くの異なる深部組織情報を有しているが、一
般にはこのRGB面順次光による内視鏡画像をより自然
な色画像とするため、白色光は、各波長域がオーバーラ
ップしたRGB光に分離される。
【0007】すなわち、オーバーラップしたRGB光で
は、各波長域による光の撮像信号には幅のある深部組織
情報が取り込まれるため、生体組織の組織表面近くの所
望の深部の組織情報を視認することが難しいといった問
題がある。
【0008】本発明は、上記事情に鑑みてなされたもの
であり、生体組織の組織表面近くの所望の深部の組織情
報を分離して視認することのできる内視鏡装置を提供す
ることを目的としている。
【0009】
【課題を解決するための手段】本発明の内視鏡装置は、
可視光領域を含む照明光を供給する照明光供給手段と、
前記照明光を被写体に照射し戻り光により前記被写体を
撮像する撮像手段を有する内視鏡と、前記撮像手段から
の撮像信号を信号処理する信号処理手段とを備えた内視
鏡装置において、前記照明光の複数の波長域の少なくと
も1つの波長域を制限し前記被写体の離散的な分光分布
のバンド像を前記撮像手段に結像させる帯域制限手段
を、前記照明光供給手段から前記撮像手段に至る光路上
に着脱自在に配置する帯域制限配置手段を有し、前記信
号処理手段が前記帯域制限配置手段による前記帯域制限
手段の配置状態に応じて前記撮像信号の信号処理を変更
するように構成される。
【0010】
【発明の実施の形態】以下、図面を参照しながら本発明
の実施の形態について述べる。
【0011】図1ないし図10は本発明の第1の実施の
形態に係わり、図1は内視鏡装置の構成を示す構成図、
図2は図1の回転フィルタの構成を示す構成図、図3は
図2の回転フィルタの第1のフィルタ組の分光特性を示
す図、図4は図2の回転フィルタの第2のフィルタ組の
分光特性を示す図、図5は図1の内視鏡装置により観察
する生体組織の層方向構造を示す図、図6は図1の内視
鏡装置からの照明光の生体組織の層方向への到達状態を
説明する図、図7は図3の第1のフィルタ組を透過した
面順次光による各バンド画像を示す図、図8は図4の第
2のフィルタ組を透過した面順次光による各バンド画像
を示す図、図9は図1の調光回路による調光制御を説明
する図、図10は図1の画像処理回路の構成を示す構成
図である。
【0012】図1に示すように、本実施の形態の内視鏡
装置1は、体腔内に挿入し体腔内組織を撮像する撮像手
段としてCCD2を有する電子内視鏡3と、電子内視鏡
3に照明光を供給する光源装置4と、電子内視鏡3のC
CD2からの撮像信号を信号処理して内視鏡画像を観察
モニタ5に表示したり内視鏡画像を符号化して圧縮画像
として画像ファイリング装置6に出力するビデオプロセ
ッサ7とから構成される。
【0013】光源装置4は、照明光を発光するキセノン
ランプ11と、白色光の熱線を遮断する熱線カットフィ
ルタ12と、熱線カットフィルタ12を介した白色光の
光量を制御する絞り装置13と、照明光を面順次光にす
る回転フィルタ14と、電子内視鏡3内に配設されたラ
イトガイド15の入射面に回転フィルタ14を介した面
順次光を集光させる集光レンズ16と、回転フィルタ1
4の回転を制御する制御回路17とを備えて構成され
る。
【0014】回転フィルタ14は、図2に示すように、
円盤状に構成され中心を回転軸とした2重構造となって
おり、外側の径部分には図3に示すような自然な色再現
に適したオーバーラップした分光特性の面順次光を出力
するための第1のフィルタ組を構成するR1フィルタ1
4r1,G1フィルタ14g1,B1フィルタ14b1が配
置され、内側の径部分には図4に示すような所望の深層
組織情報が抽出可能な離散的な分光特性の狭帯域な面順
次光を出力するための第2のフィルタ組を構成するR2
フィルタ14r2,G2フィルタ14g2,B2フィルタ1
4b2が配置されている。そして、回転フィルタ14
は、図1に示すように、制御回路17により回転フィル
タモータ18の駆動制御がなされ回転され、また径方向
の移動(回転フィルタ14の光路に垂直な移動であっ
て、回転フィルタ14の第1のフィルタ組あるいは第2
のフィルタ組を選択的に光路上に移動)が後述するビデ
オプロセッサの7内のモード切替回路42からの制御信
号によりモード切替モータ19によって行われる。
【0015】なお、キセノンランプ11、絞り装置1
3、回転フィルタモータ18及びモード切替モータ19
には電源部10より電力が供給される。
【0016】図1に戻り、ビデオプロセッサ7は、CC
D2を駆動するCCD駆動回路20と、対物光学系21
を介してCCD2により体腔内組織を撮像した撮像信号
を増幅するアンプ22と、アンプ22を介した撮像信号
に対して相関2重サンプリング及びノイズ除去等を行う
プロセス回路23と、プロセス回路23を経た撮像信号
をデジタル信号の画像データに変換するA/D変換器2
4と、A/D変換器24からの画像データにホワイトバ
ランス処理を施すホワイトバランス回路25と、回転フ
ィルタ14による面順次光を同時化するためのセレクタ
26及び同時化メモリ27a、27b,27cと、同時
化メモリ27a、27b,27cに格納された面順次光
の各画像データを読み出しガンマ補正処理、輪郭強調処
理、色処理等を行う画像処理回路30と、画像処理回路
30からの画像データをアナログ信号に変換するD/A
回路31a,31b,31cと、D/A回路31a,3
1b,31cの出力を符号化する符号化回路34と、光
源装置4の制御回路17からの回転フィルタ14の回転
に同期した同期信号を入力し各種タイミング信号を上記
各回路に出力するタイミングジェネレータ35とを備え
て構成される。
【0017】また、電子内視鏡2には、モード切替スイ
ッチ41が設けられており、このモード切替スイッチ4
1の出力がビデオプロセッサ7内のモード切替回路42
に出力されるようになっている。ビデオプロセッサ7の
モード切替回路42は、制御信号を調光回路43,調光
制御パラメータ切替回路44及び光源装置4のモード切
替モータ19に出力するようになっている。調光制御パ
ラメータ切替回路44は、回転フィルタ14の第1のフ
ィルタ組あるいは第2のフィルタ組に応じた調光制御パ
ラメータを調光回路43に出力し、調光回路43はモー
ド切替回路42からの制御信号及び調光制御パラメータ
切替回路44からの調光制御パラメータに基づき光源装
置4の絞り装置13を制御し適正な明るさ制御を行うよ
うになっている。
【0018】図5に示すように、体腔内組織51は、例
えば深さ方向に異なった血管等の吸収体分布構造を持つ
場合が多い。粘膜表層付近には主に毛細血管52が多く
分布し、またこの層より深い中層には毛細血管の他に毛
細血管より太い血管53が分布し、さらに深層にはさら
に太い血管54が分布するようになる。
【0019】一方、光は体腔内組織51に対する光の深
さ方向の深達度は、光の波長に依存しており、可視域を
含む照明光は、図6に示すように、青(B)色のような
波長が短い光の場合、生体組織での吸収特性及び散乱特
性により表層付近までしか光は深達せず、そこまでの深
さの範囲で吸収、散乱を受け、表面から出た光が観測さ
れる。また、青(B)色光より波長が長い、緑(G)色
光の場合、青(B)色光が深達する範囲よりさらに深い
所まで深達し、その範囲で吸収、散乱を受け、表面から
出た光が観測される。さらにまた、緑(G)色光より波
長が長い、赤(R)色光は、さらに深い範囲まで光が到
達する。
【0020】通常観察時には、照明光の光路上に回転フ
ィルタ14の第1のフィルタ組であるR1フィルタ14
r1,G1フィルタ14g1,B1フィルタ14b1に位置
するようにビデオプロセッサの7内のモード切替回路が
制御信号によりモード切替モータ19を制御する。
【0021】体腔内組織51の通常観察時におけるR1
フィルタ14r1,G1フィルタ14g1,B1フィルタ1
4bは、図3に示したように各波長域がオーバーラップ
させるために、B1フィルタ14b1によるCCD4で撮
像される撮像信号には図7(a)に示すような浅層での
組織情報を多く含む浅層及び中層組織情報を有するバン
ド画像が撮像され、また、G1フィルタ14g1によるC
CD4で撮像される撮像信号には図7(b)に示すよう
な中層での組織情報を多く含む浅層及び中層組織情報を
有するバンド画像が撮像され、さらにR1フィルタ14
r1によるCCD4で撮像される撮像信号には図7
(c)に示すような深層での組織情報を多く含む中層及
び深層組織情報を有するバンド画像が撮像される。
【0022】そしてビデオプロセッサ7により、これら
RGB撮像信号を同時化して信号処理することで、内視
鏡画像としては所望あるいは自然な色再現の内視鏡画像
を得ることが可能となる。
【0023】一方、電子内視鏡3のモード切替スイッチ
41が押されると、その信号がビデオプロセッサ7のモ
ード切替回路42に入力される。モード切替回路42
は、光源装置4のモード切替モータ19に制御信号を出
力することで、通常観察時に光路上にあった回転フィル
タ14の第1のフィルタ組を移動させ第2のフィルタ組
を光路上に配置するように回転フィルタ14を光路に対
して駆動する。
【0024】第2のフィルタ組による体腔内組織51の
狭帯域光観察時におけるR2フィルタ14r2,G2フィ
ルタ14g2,B2フィルタ14b2は、照明光を図4に
示したように離散的な分光特性の狭帯域な面順次光とす
るために、B2フィルタ14b2によるCCD4で撮像さ
れる撮像信号には図8(a)に示すような浅層での組織
情報を有するバンド画像が撮像され、また、G2フィル
タ14g2によるCCD4で撮像される撮像信号には図
8(b)に示すような中層での組織情報を有するバンド
画像が撮像され、さらにR2フィルタ14r2によるCC
D4で撮像される撮像信号には図8(c)に示すような
深層での組織情報を有するバンド画像が撮像されれる。
【0025】この時、図3及び図4から明らかなよう
に、第1のフィルタ組による透過光量に対して第2のフ
ィルタ組による透過光量は、その帯域が狭くなるため減
少するため、調光制御パラメータ切替回路44は、回転
フィルタ14の第1のフィルタ組あるいは第2のフィル
タ組に応じた調光制御パラメータを調光回路43に出力
することで、調光回路43は絞り装置13を制御し、図
9に示すように、ビデオプロセッサ7の図示しない設定
パネルでの設定値Lxに応じた通常観察時の絞り装置1
3による例えばリニアな絞り制御線61に対して、狭帯
域光観察時では絞り装置13を制御して設定値Lxに応
じた絞り制御曲線62により光量Mxを制御する。これ
により狭帯域光観察時においても十分 な明るさの画像
データが得られる。
【0026】具体的には、第1のフィルタ組から第2の
フィルタ組に変更したことに連動して、光量設定値Lx
に対応する絞りレベル値が図9に示すようにMx1から
Mx2に変更になり、その結果、絞りが開放される方向
に制御され、フィルタが狭帯域化することにより、照明
光量が減少することを補償するように動作する。
【0027】本実施の形態の画像処理回路30は、RG
Bのうち2つのバンド画像情報を用いて、血液中のヘモ
グロビン濃度に相関のある値、IHb(ヘモグロビンイ
ンデックス)を算出する処理構成を有し、具体的には、
図10に示すように、画像処理回路30に入力されたR
GB信号は、逆γ補正処理部61でCRT表示用に行わ
れているγ補正を除去するための逆γ補正処理がテーブ
ル変換等で行われる。
【0028】つぎに逆γ補正処理されたGB信号は、セ
レクタ部62でモード切替回路42からの制御信号に基
づいて、後段処理に流す信号を選択する。次に階調反転
処理部63で階調の反転処理が行われたあと、R信号と
の乗算器64で乗算が行われる。そして最後に対数変換
部65で対数変換を受けたあと、画像処理回路30から
出力される。
【0029】画像処理回路30からの出力形態は、IH
bに基づいて疑似カラー画像を生成しても良いし、ある
いは一つのバンド画像、例えぱR画像をIHb画像に置
き換えるようにしても良い。
【0030】従来のIHbでは、32×Log2(R/G)と
いう式が使われている。この式はGバンド画像が血液情
報を強く反映することを利用している。
【0031】一方、フィルタを狭帯域化すると、B画像
には表面上の毛細血管が強く反映される。したがって、
フィルタ切替後のBとGの画像は、血液が存在する深さ
が異なり、Bが表層、Gがそれより深い層位置の情報を
反映することになる。
【0032】よって、本実施の形態では、モード切替ス
イッチ41が押下され狭帯域観察モードとなると、モー
ド切替回路42からの指示によって、図10に示すセレ
クタ部62の動作を切替えることで、B情報に基づいた
粘膜表層のIHb値(32×Log2(R/B))、G情報に
基づいた粘膜中層のIHb値(32×Log2(R/G))を
切替えて使用することができ、生体組織の組織表面近く
の所望の深部の組織情報を分離して視認することができ
る。
【0033】なお、セレクタ部62の動作はモード切替
回路42からの制御信号に基づいたが、これは、電子内
視鏡3の操作部等に別のスイッチを設けても良い。
【0034】図11ないし図15は本発明の第2の実施
の形態に係わり、図11は内視鏡装置の構成を示す構成
図、図12は図11の画像処理回路の構成を示す構成
図、図13は図12のフィルタリング実行部の構成を示
す構成図、図14は図13のフィルタリング実行部のフ
ィルタ周波数特性を示す図、図15は図11の狭帯域観
察モード時に撮像されるRGB画像を示す図である。
【0035】第2の実施の形態は、第1の実施の形態と
ほとんど同じであるので、異なる点のみ説明し、同一の
構成には同じ符号をつけ説明は省略する。
【0036】本実施の形態は、照明光の分光特性を狭帯
域RGB特性に切替えることが可能で、それと連動して
調光テープルなど光量制御パラメータの変更、画像処理
パラメータの変更機能を備えた内視鏡装置に関する。
【0037】図11に示すように、電子内視鏡3には処
理切替指示スイッチ70が設けられ、画像処理回路30
は、モード切替回路42からの制御信号と処理切替指示
スイッチ70からの指示信号を受け取り、後述する色変
換処理を行う。
【0038】従来より内視鏡画像処理として、FIRフ
ィルタなど空間周波数フィルタが画質改讐、画像強調処
理に用いられており、観察補助に効果を上げてきた。
【0039】本実施の形態の画像処理回路30は、この
空間周波数フィルタリングを狭帯域RGB画像に適用す
る構成となっており、図12に示すように、入力された
RGB画像に対して空間周波数フィルタリング処理を行
なうフィルタリング実行部71と、フィルタリング実行
部71の出力結果をRGB各々8ビットレペル内に調整
するなどの変換を行なうデータ変換部72と、さらにフ
ィルタ切替回路42からの制御信号と処理切替指示スイ
ッチ70からの指示信号に基づきフィルタリング実行部
の動作を変更する係数変更部73とから構成される。
【0040】フィルタリング実行部71は、図13に示
すように、RGBのそれぞれの画像データに対して5×
5のマスク演算を行うフィルタリング部81,82,8
3とフィルタリング部81,82,83の出力に重み付
けを行いRGBのそれぞれの画像データに加算する加算
器84,85,86とからなり、係数変更部73はフィ
ルタリング部81,82,83に対するマスク係数を、
また加算器84,85,86に対する重み係数を設定す
る。
【0041】これにより、画像データをR(x、y)、
G(x、y)、B(x、y)、フィルタリング部81,
82,83の出力をRs(x、y)、Gs(x、y)、B
s(x、y)、重み係数をωR、ωG、ωBとして式(1)
のような演算を行うことで、例えば図14のフィルタ周
波数特性に示すような空間周波数フィルタリング処理結
果R’(x、y)、G’(x、y)、B’(x、y)を
出力する。
【0042】 R’(x、y)=R(x、y)+ωR・Rs(x、y) G’(x、y)=G(x、y)+ωG・Gs(x、y) B’(x、y)=B(x、y)+ωB・Bs(x、y) (1) 図14のフィルタ特性は、M1,M2,M3と順にノイ
ズ成分の強調を極力抑えつつ、高周波数成分を強調する
特性になっており、順により強調帯域が高周波数にシフ
トする。このような強調帯域が異なるフィルタは、それ
ぞれ各バンド別に別個に適用する。
【0043】つまり、モード切替スイッチ41が押下さ
れ狭帯域観察モードとなると、図15に示すようにR画
像に比較してB画像はより細かい血管パターン、つまり
より高周波数特性を持っており、そのパターンをより明
瞭に再現するためにフィルタM1よりはM3を適用する
ことになる。R画像はその逆でM3よりはM1の適用が
好ましい。このように、バンドが再現する生体情報の内
容によってフィルタ特性を使い分けることが重要であ
る。
【0044】また、このようなフィルタ特性は狭帯域R
GB画像に対して有効であって、通常観寮時には別のフ
ィルタ特性が求められる。したがって、モード切替回路
42に応じて、係数変更部73はフィルタ特性を最適な
ものへと変更する。処理切替指示スイッチ70からの指
示信号による制御は、例えば強調レベルの調整などを行
なう。
【0045】このように本実施の形態でも、生体組織の
組織表面近くの所望の深部の組織情報を分離して視認す
ることができる。
【0046】図16ないし図19は本発明の第3の実施
の形態に係わり、図16は画像処理回路の構成を示す構
成図、図17は図16の前処理部における階調補正テー
ブルを示す図、図18は図16のエッジ抽出処理部にお
けるエッジ抽出処理に適用されるヒストグラム分布を示
す図、図19は図16のパターン抽出部での処理を説明
する図である。
【0047】第3の実施の形態は、第2の実施の形態と
ほとんど同じであるので、異なる点のみ説明し、同一の
構成には同じ符号をつけ説明は省略する。
【0048】本実施の形態では、血管走行パターンや粘
膜表面微細構造パターンの抽出のパラメータをフィルタ
切替に連動して変更する構成を示す。狭帯域RGB画像
は、バンド間で表現されている情報の独立性が高いこと
が特傲である。例えば、モード切替スイッチ41が押下
された狭帯域観察モードでは、図15に示したようにB
画像は粘膜表面微細構造や粘膜表層付近に存在する血管
網、G画像は中層付近に存在する血管網、R画像は粘膜
深層に存在する比較的太い血管網と、バンド間で異なる
情報を反映し、それらの情報は生体構造の深さ方向の変
化と深い関係がある。このような狭帯域RGB画像に対
しては、通常観察で適用するパターン抽出処理を適用す
るより、よりパラメータを最適化した方が効果的な結果
を得られることが期待できる。
【0049】そこで、本実施の形態の画像処理回路30
は、図16に示すように、RGBの各バンド画像データ
を選択するバンドセレクタ部91を備え、後段の前処理
部93、エッジ抽出処理部94及びパターン抽出部95
よりなるパターン抽出処理部92での処理に適用するバ
ンドを選択する。
【0050】ここでは、一つのバンドでも複数のバンド
でも良く、抽出したい情報に合わせて選択される。粘膜
表面微細構造のパターンを抽出したけれぱ、ここではB
画像がセレクトされる。あるいは、粘膜深層の太い血管
の位置を抽出したけれぱR画像が選択される。
【0051】パターン抽出処理部92では、前処理部9
3において前処理が行われる。一般的には前処理は、デ
ィストーション補正、階調補正など、後段の処理に応じ
て適切な前処理が行われる。血管走行パターンなどの処
理を行なう場合は、撮像光学系の歪曲収差を補正するデ
ィストーション補正処理と濃度分布の規格化のためヒス
トグラム平坦化処理を行なう。例えば階調補正の場合、
前処理部93に入力されたバンドデータf(x、y)に
対して図17に示すような階調補正テーブルFを適用し
て出力g(x、y)(=F(f(x、y))を得る。な
お、図17の階調補正テーブルにおいては、曲線aより
曲線bの方が強いコントラストに変換する。
【0052】次に、エッジ抽出処理部94において、エ
ッジ抽出処理を行なう。これは、図18に示すようにヒ
ストグラム分布の谷を発見しそのレペルで2値化処理を
行なう方法や、微分オペレータを用いてエッジを抽出す
る方法が適用できる。
【0053】次に、パターン抽出部95において、図1
9に示すように、例えば領域Aの面積をMとしたとき、
このMと所定のしきい値θとを比較し、M<θならば領
域Aを不要なパターンとしてを除去し、θ以上の面積を
有する血管などを領域にしているパターンのみを抽出す
る。具体的には、膨張、収縮処理や、基準パターンとの
照合によりパターンの排除と統合を行なう。
【0054】パターン抽出処理部92での一連の処理
は、各バンドに表現されている情報毎にパラメータが最
適化されねばならない。例えば、パターン抽出部95に
おいて、R画像から深部走行血管を抽出したい場合に
は、細かな孤立点は極力除去するように動作させるし、
B画像から毛細血管走行パターンを抽出する場合には、
細かいパターンを極力残す動作をさせる。
【0055】パターン抽出処理部92の処理結果は最後
段の画像合成部96に出力され、画像合成部96では、
パターン抽出結果を画像に反映させるための画像合成を
行なう。ここでは、元のRGB画像にパターン抽出結果
を加算したり、パターン抽出結果だけでモノクロ画像を
構成したりする処理を行なう。
【0056】上記画像処理回路30の動作は、モード切
替回路42および処理切替指示スイッチ70からの制御
信号に基づいて、係数変更部73が各処理部の係数を変
更することで全体の動作を最適化する。モード切替回路
42に対しては、通常RGB照明の場合は、パターン抽
出処理をバイパスするように制御し、狭帯域RGB照明
の場合は、画像処理回路30において、処理切替指示ス
イッチ70の制御信号に基づいたパターン抽出処理が行
われる。
【0057】このように本実施の形態でも、生体組織の
組織表面近くの所望の深部の組織情報を分離して視認す
ることができる。
【0058】
【発明の効果】以上説明したように本発明によれば、
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る内視鏡装置の
構成を示す構成図
【図2】図1の回転フィルタの構成を示す構成図
【図3】図2の回転フィルタの第1のフィルタ組の分光
特性を示す図
【図4】図2の回転フィルタの第2のフィルタ組の分光
特性を示す図
【図5】図1の内視鏡装置により観察する生体組織の層
方向構造を示す図
【図6】図1の内視鏡装置からの照明光の生体組織の層
方向への到達状態を説明する図
【図7】図3の第1のフィルタ組を透過した面順次光に
よる各バンド画像を示す図
【図8】図4の第2のフィルタ組を透過した面順次光に
よる各バンド画像を示す図
【図9】図1の調光回路による調光制御を説明する図
【図10】図1の画像処理回路の構成を示す構成図
【図11】本発明の第2の実施の形態に係る内視鏡装置
の構成を示す構成図
【図12】図11の画像処理回路の構成を示す構成図
【図13】図12のフィルタリング実行部の構成を示す
構成図
【図14】図13のフィルタリング実行部のフィルタ周
波数特性を示す図
【図15】図11の狭帯域観察モード時に撮像されるR
GB画像を示す図
【図16】本発明の第3の実施の形態に係る画像処理回
路の構成を示す構成図
【図17】図16の前処理部における階調補正テーブル
を示す図
【図18】図16のエッジ抽出処理部におけるエッジ抽
出処理に適用されるヒストグラム分布を示す図
【図19】図16のパターン抽出部での処理を説明する
【符号の説明】
1…内視鏡装置 2…CCD 3…電子内視鏡 4…光源装置 5…観察モニタ 6…画像ファイリング装置 7…ビデオプロセッサ 10…電源部 11…キセノンランプ 12…熱線カットフィルタ 13…絞り装置 14…回転フィルタ 15…ライトガイド 16…集光レンズ 17…制御回路 18…回転フィルタモータ 19…モード切替モータ19 20…CCD駆動回路 21…対物光学系 22…アンプ 23…プロセス回路 24…A/D変換器 25…ホワイトバランス回路 26…セレクタ 27、28,29…同時化メモリ 30…画像処理回路 31,32,33…D/A回路 34…符号化回路 35…タイミングジェネレータ 41…モード切替スイッチ 42…モード切替回路 43…調光回路 44…調光制御パラメータ切替回路 61…逆γ補正処理部 62…セレクタ部 63…階調反転処理部 64…乗算器 65…対数変換部

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 可視光領域を含む照明光を供給する照明
    光供給手段と、前記照明光を被写体に照射し戻り光によ
    り前記被写体を撮像する撮像手段を有する内視鏡と、前
    記撮像手段からの撮像信号を信号処理する信号処理手段
    とを備えた内視鏡装置において、 前記照明光の複数の波長域の少なくとも1つの波長域を
    制限し前記被写体の離散的な分光分布のバンド像を前記
    撮像手段に結像させる帯域制限手段を、前記照明光供給
    手段から前記撮像手段に至る光路上に着脱自在に配置す
    る帯域制限配置手段を有し、 前記信号処理手段は、前記帯域制限配置手段による前記
    帯域制限手段の配置状態に応じて前記撮像信号の信号処
    理を変更することを特徴とする内視鏡装置。
  2. 【請求項2】 前記照明光供給手段は、 前記帯域制限手段の制限に応じて、前記照明光の光量を
    前記波長域毎に制御する光量制御手段を備えたことを特
    徴とする請求項1に記載の内視鏡装置。
JP2000227237A 2000-07-21 2000-07-27 内視鏡装置 Expired - Lifetime JP3559755B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2000227237A JP3559755B2 (ja) 2000-07-27 2000-07-27 内視鏡装置
US10/333,155 US7892169B2 (en) 2000-07-21 2001-07-18 Endoscope apparatus
EP01953304A EP1302152B1 (en) 2000-07-21 2001-07-18 Endoscope apparatus
EP10011752.2A EP2319390B1 (en) 2000-07-21 2001-07-18 Endoscope apparatus
PCT/JP2001/006205 WO2002007588A1 (fr) 2000-07-21 2001-07-18 Endoscope
US12/169,161 US20080281154A1 (en) 2000-07-21 2008-07-08 Endoscope device
US12/169,185 US20080294105A1 (en) 2000-07-21 2008-07-08 Endoscope device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000227237A JP3559755B2 (ja) 2000-07-27 2000-07-27 内視鏡装置

Publications (2)

Publication Number Publication Date
JP2002034893A true JP2002034893A (ja) 2002-02-05
JP3559755B2 JP3559755B2 (ja) 2004-09-02

Family

ID=18720721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000227237A Expired - Lifetime JP3559755B2 (ja) 2000-07-21 2000-07-27 内視鏡装置

Country Status (1)

Country Link
JP (1) JP3559755B2 (ja)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003075752A1 (fr) * 2002-03-14 2003-09-18 Olympus Corporation Appareil de traitement d'image d'endoscope
WO2004052187A1 (ja) * 2002-12-12 2004-06-24 Olympus Corporation イメージング装置
JP2005074034A (ja) * 2003-09-01 2005-03-24 Olympus Corp カプセル型内視鏡
JP2006192009A (ja) * 2005-01-12 2006-07-27 Pentax Corp 画像処理装置
JP2006218283A (ja) * 2004-09-02 2006-08-24 Olympus Corp 内視鏡装置
WO2006120798A1 (ja) * 2005-05-12 2006-11-16 Olympus Medical Systems Corp. 生体観測装置
JP2006314557A (ja) * 2005-05-12 2006-11-24 Olympus Medical Systems Corp 生体観測装置
JP2006341078A (ja) * 2005-05-12 2006-12-21 Olympus Medical Systems Corp 生体観測装置
WO2007099681A1 (ja) * 2006-03-03 2007-09-07 Olympus Medical Systems Corp. 生体観察装置
JP2009039515A (ja) * 2007-07-17 2009-02-26 Fujifilm Corp 画像処理システム、画像処理方法およびプログラム
JP2009066301A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 画像処理装置および内視鏡システム
JP2009160386A (ja) * 2007-12-10 2009-07-23 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム
JP2009165889A (ja) * 2009-05-07 2009-07-30 Olympus Corp 画像処理装置
EP2105090A1 (en) 2008-03-27 2009-09-30 Fujifilm Corporation Image capturing apparatus, image capturing method, and computer readable medium
EP2301416A1 (en) 2009-09-24 2011-03-30 Fujifilm Corporation Method of controlling endoscope and endoscope
EP2301415A1 (en) 2009-09-24 2011-03-30 Fujifilm Corporation Method of controlling endoscope and endoscope
JP2011098088A (ja) * 2009-11-06 2011-05-19 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び画像処理方法
WO2011080996A1 (ja) * 2009-12-28 2011-07-07 オリンパス株式会社 画像処理装置、電子機器、プログラム及び画像処理方法
EP2368480A1 (en) * 2010-03-26 2011-09-28 Fujifilm Corporation Electronic endoscope system and processor unit thereof, and method for obtaining blood vessel information
JP2011200572A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 電子内視鏡システム
JP2012143337A (ja) * 2011-01-11 2012-08-02 Fujifilm Corp 内視鏡診断装置
JP2012152413A (ja) * 2011-01-27 2012-08-16 Fujifilm Corp 電子内視鏡システム
JP2012152414A (ja) * 2011-01-27 2012-08-16 Fujifilm Corp 電子内視鏡システム
JP2012239815A (ja) * 2011-05-24 2012-12-10 Fujifilm Corp 内視鏡システム及び内視鏡画像の表示方法
JP2012239816A (ja) * 2011-05-24 2012-12-10 Fujifilm Corp 内視鏡システム及び内視鏡診断支援方法
WO2013035532A1 (ja) * 2011-09-05 2013-03-14 富士フイルム株式会社 内視鏡システム及びそのプロセッサ装置並びに画像作成方法
JP2013099595A (ja) * 2013-02-04 2013-05-23 Fujifilm Corp 電子内視鏡システム
US8531512B2 (en) 2004-08-30 2013-09-10 Olympus Corporation Endoscope apparatus
WO2013145409A1 (ja) * 2012-03-30 2013-10-03 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2014504938A (ja) * 2011-02-09 2014-02-27 テル ハショマー メディカル リサーチ インフラストラクチャー アンド サーヴィシーズ リミテッド 血液を含む組織の画像形成方法と装置
JP2014128394A (ja) * 2012-12-28 2014-07-10 Hoya Corp 内視鏡装置
JP2016158838A (ja) * 2015-02-27 2016-09-05 富士フイルム株式会社 内視鏡システム、内視鏡プロセッサ装置、及び、内視鏡システムの作動方法
JPWO2016059906A1 (ja) * 2014-10-16 2017-04-27 オリンパス株式会社 内視鏡装置及び内視鏡用光源装置
WO2018043723A1 (ja) * 2016-09-02 2018-03-08 Hoya株式会社 電子内視鏡システム
JP2018051065A (ja) * 2016-09-29 2018-04-05 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP2018515159A (ja) * 2015-03-26 2018-06-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 人間又は動物の体内の関心構造を照射する装置、システム、及び方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8668636B2 (en) 2009-09-30 2014-03-11 Fujifilm Corporation Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information
JP5371702B2 (ja) 2009-11-06 2013-12-18 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5371921B2 (ja) 2010-09-29 2013-12-18 富士フイルム株式会社 内視鏡装置
JP5371920B2 (ja) 2010-09-29 2013-12-18 富士フイルム株式会社 内視鏡装置
JP5637834B2 (ja) 2010-12-15 2014-12-10 富士フイルム株式会社 内視鏡装置
JP5501210B2 (ja) 2010-12-16 2014-05-21 富士フイルム株式会社 画像処理装置
JP5334952B2 (ja) 2010-12-16 2013-11-06 富士フイルム株式会社 画像処理装置
JP5274591B2 (ja) 2011-01-27 2013-08-28 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5335017B2 (ja) 2011-02-24 2013-11-06 富士フイルム株式会社 内視鏡装置
JP5623348B2 (ja) 2011-07-06 2014-11-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5702755B2 (ja) 2012-07-24 2015-04-15 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP2014036759A (ja) 2012-08-17 2014-02-27 Hoya Corp 電子内視鏡システムおよび内視鏡用光源装置
JP6077340B2 (ja) 2013-03-06 2017-02-08 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
CN105324064B (zh) 2013-05-30 2017-10-27 Hoya株式会社 生成示出生物组织中生物物质浓度分布图像的方法和装置
JP6204314B2 (ja) 2014-09-03 2017-09-27 Hoya株式会社 電子内視鏡システム
JP6356051B2 (ja) 2014-11-21 2018-07-11 Hoya株式会社 分析装置及び分析装置の作動方法

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003334162A (ja) * 2002-03-14 2003-11-25 Olympus Optical Co Ltd 内視鏡画像処理装置
WO2003075752A1 (fr) * 2002-03-14 2003-09-18 Olympus Corporation Appareil de traitement d'image d'endoscope
WO2004052187A1 (ja) * 2002-12-12 2004-06-24 Olympus Corporation イメージング装置
JP2004202217A (ja) * 2002-12-12 2004-07-22 Olympus Corp イメージング装置
US8000776B2 (en) 2002-12-12 2011-08-16 Olympus Corporation Imaging apparatus
JP4632645B2 (ja) * 2002-12-12 2011-02-16 オリンパス株式会社 イメージング装置およびプロセッサ装置
JP2005074034A (ja) * 2003-09-01 2005-03-24 Olympus Corp カプセル型内視鏡
US8531512B2 (en) 2004-08-30 2013-09-10 Olympus Corporation Endoscope apparatus
JP2006218283A (ja) * 2004-09-02 2006-08-24 Olympus Corp 内視鏡装置
JP4566754B2 (ja) * 2005-01-12 2010-10-20 Hoya株式会社 画像処理装置
JP2006192009A (ja) * 2005-01-12 2006-07-27 Pentax Corp 画像処理装置
DE102006001647B4 (de) * 2005-01-12 2017-03-09 Hoya Corp. Bilddatenprozessor und elektronisches Endoskopsystem
WO2006120798A1 (ja) * 2005-05-12 2006-11-16 Olympus Medical Systems Corp. 生体観測装置
US8301229B2 (en) 2005-05-12 2012-10-30 Olympus Medical Systems Corp. Biological observation display apparatus for presenting color or spectral images
JP2006314557A (ja) * 2005-05-12 2006-11-24 Olympus Medical Systems Corp 生体観測装置
JP2006341078A (ja) * 2005-05-12 2006-12-21 Olympus Medical Systems Corp 生体観測装置
WO2007099681A1 (ja) * 2006-03-03 2007-09-07 Olympus Medical Systems Corp. 生体観察装置
JP2009039515A (ja) * 2007-07-17 2009-02-26 Fujifilm Corp 画像処理システム、画像処理方法およびプログラム
JP2009066301A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 画像処理装置および内視鏡システム
JP2009160386A (ja) * 2007-12-10 2009-07-23 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム
US9052277B2 (en) 2008-03-27 2015-06-09 Fujifilm Corporation Image capturing apparatus, image capturing method, and computer readable medium
EP2105090A1 (en) 2008-03-27 2009-09-30 Fujifilm Corporation Image capturing apparatus, image capturing method, and computer readable medium
JP2009165889A (ja) * 2009-05-07 2009-07-30 Olympus Corp 画像処理装置
EP2301416A1 (en) 2009-09-24 2011-03-30 Fujifilm Corporation Method of controlling endoscope and endoscope
EP2301415A1 (en) 2009-09-24 2011-03-30 Fujifilm Corporation Method of controlling endoscope and endoscope
US8936548B2 (en) 2009-09-24 2015-01-20 Fujifilm Corporation Method of controlling endoscope and endoscope
JP2012029703A (ja) * 2009-09-24 2012-02-16 Fujifilm Corp 内視鏡装置の制御方法及び内視鏡装置
US8834359B2 (en) 2009-09-24 2014-09-16 Fujifilm Corporation Method of controlling endoscope and endoscope
JP2011098088A (ja) * 2009-11-06 2011-05-19 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び画像処理方法
US8913111B2 (en) 2009-12-28 2014-12-16 Olympus Corporation Image processing device, electronic apparatus, information storage device, and image processing method
WO2011080996A1 (ja) * 2009-12-28 2011-07-07 オリンパス株式会社 画像処理装置、電子機器、プログラム及び画像処理方法
EP2368480A1 (en) * 2010-03-26 2011-09-28 Fujifilm Corporation Electronic endoscope system and processor unit thereof, and method for obtaining blood vessel information
JP2011200572A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 電子内視鏡システム
JP2012143337A (ja) * 2011-01-11 2012-08-02 Fujifilm Corp 内視鏡診断装置
JP2012152413A (ja) * 2011-01-27 2012-08-16 Fujifilm Corp 電子内視鏡システム
US9107603B2 (en) 2011-01-27 2015-08-18 Fujifilm Corporation Electronic endoscope system including a suppression section
JP2012152414A (ja) * 2011-01-27 2012-08-16 Fujifilm Corp 電子内視鏡システム
US11911138B2 (en) 2011-02-09 2024-02-27 Tel Hashomer Medical Research Infrastructure And Services Ltd. Methods for in vivo fundus monochromotic angiography imaging blood-containing tissue by utilizing two wavelength from 400nm to 620 nm and 620 nm to 800 nm
JP2014504938A (ja) * 2011-02-09 2014-02-27 テル ハショマー メディカル リサーチ インフラストラクチャー アンド サーヴィシーズ リミテッド 血液を含む組織の画像形成方法と装置
JP2012239815A (ja) * 2011-05-24 2012-12-10 Fujifilm Corp 内視鏡システム及び内視鏡画像の表示方法
JP2012239816A (ja) * 2011-05-24 2012-12-10 Fujifilm Corp 内視鏡システム及び内視鏡診断支援方法
US9532740B2 (en) 2011-09-05 2017-01-03 Fujifilm Corporation Endoscope system, processing apparatus for the same, and image generating method
WO2013035532A1 (ja) * 2011-09-05 2013-03-14 富士フイルム株式会社 内視鏡システム及びそのプロセッサ装置並びに画像作成方法
JP5362149B1 (ja) * 2012-03-30 2013-12-11 オリンパスメディカルシステムズ株式会社 内視鏡装置
US9277190B2 (en) 2012-03-30 2016-03-01 Olympus Corporation Endoscope apparatus
WO2013145409A1 (ja) * 2012-03-30 2013-10-03 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2014128394A (ja) * 2012-12-28 2014-07-10 Hoya Corp 内視鏡装置
US9949625B2 (en) 2012-12-28 2018-04-24 Hoya Corporation Electronic endoscope
US10986988B2 (en) 2012-12-28 2021-04-27 Hoya Corporation Electronic endoscope
JP2013099595A (ja) * 2013-02-04 2013-05-23 Fujifilm Corp 電子内視鏡システム
JPWO2016059906A1 (ja) * 2014-10-16 2017-04-27 オリンパス株式会社 内視鏡装置及び内視鏡用光源装置
JP2016158838A (ja) * 2015-02-27 2016-09-05 富士フイルム株式会社 内視鏡システム、内視鏡プロセッサ装置、及び、内視鏡システムの作動方法
JP2018515159A (ja) * 2015-03-26 2018-06-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 人間又は動物の体内の関心構造を照射する装置、システム、及び方法
WO2018043723A1 (ja) * 2016-09-02 2018-03-08 Hoya株式会社 電子内視鏡システム
JP2018051065A (ja) * 2016-09-29 2018-04-05 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法

Also Published As

Publication number Publication date
JP3559755B2 (ja) 2004-09-02

Similar Documents

Publication Publication Date Title
JP3559755B2 (ja) 内視鏡装置
JP4868976B2 (ja) 内視鏡装置
JP3583731B2 (ja) 内視鏡装置および光源装置
JP4384626B2 (ja) 内視鏡装置
US7892169B2 (en) Endoscope apparatus
JP4554944B2 (ja) 内視鏡装置
JP4599398B2 (ja) 画像処理装置及び内視鏡装置
JP5057675B2 (ja) 生体観察装置
RU2378977C2 (ru) Устройство для биологических наблюдений
JP5501210B2 (ja) 画像処理装置
WO2006025334A1 (ja) 内視鏡装置
WO2007108270A1 (ja) 生体観測装置
JP5582948B2 (ja) 内視鏡装置
JP2006068113A (ja) 内視鏡装置
JP5715602B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
US9554693B2 (en) Image processing device
JP3965174B2 (ja) 内視鏡装置
JP2010279579A (ja) 画像取得方法および内視鏡装置
JP3315188B2 (ja) 内視鏡装置
JP5331863B2 (ja) 内視鏡装置
WO2022038803A1 (ja) プロセッサ装置、プロセッサ装置の作動方法
JP7090699B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP2005323758A (ja) 電子内視鏡装置
CN117338223A (zh) 一种内窥镜装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040524

R151 Written notification of patent or utility model registration

Ref document number: 3559755

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080528

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080528

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090528

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100528

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100528

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110528

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120528

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140528

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term