JP2013013560A - 内視鏡システム、光源装置、及び内視鏡システムの制御方法 - Google Patents

内視鏡システム、光源装置、及び内視鏡システムの制御方法 Download PDF

Info

Publication number
JP2013013560A
JP2013013560A JP2011148358A JP2011148358A JP2013013560A JP 2013013560 A JP2013013560 A JP 2013013560A JP 2011148358 A JP2011148358 A JP 2011148358A JP 2011148358 A JP2011148358 A JP 2011148358A JP 2013013560 A JP2013013560 A JP 2013013560A
Authority
JP
Japan
Prior art keywords
light
oxygen saturation
blood volume
light source
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011148358A
Other languages
English (en)
Other versions
JP5419931B2 (ja
Inventor
Takaaki Saito
孝明 齋藤
Hiroshi Yamaguchi
博司 山口
Takayuki Iida
孝之 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2011148358A priority Critical patent/JP5419931B2/ja
Priority to CN201210230099.5A priority patent/CN102860809B/zh
Publication of JP2013013560A publication Critical patent/JP2013013560A/ja
Application granted granted Critical
Publication of JP5419931B2 publication Critical patent/JP5419931B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】主として表層血管について酸素飽和度と血液量の両方を良好な測定精度で取得して観察可能な内視鏡システムを、既存の光源装置の構成を利用しやすい形態で提供する。
【解決手段】内視鏡システムの光源装置は、通常観察画像を得るための照明光に利用される白色光を発する白色光源30と、半導体光源ユニット31とを有する。半導体光源ユニット31は、青色領域の一部の狭い波長域を有し、観察部位に照射して観察部位に存在する血管の血中ヘモグロビンの酸素飽和度を測定するための酸素飽和度測定光を発する。光源装置は、酸素飽和度測定光に加えて、血管の血液量を測定するための血液量測定光として、白色光に含まれる赤色領域の光を電子内視鏡に供給する。酸素飽和度測定光及び血液量測定光に応じて撮像素子が出力する第1及び第2の撮像信号に基づいて、血液量及び酸素飽和度が算出されて、酸素飽和度と血液量の両方の情報が画像化される。
【選択図】図8

Description

本発明は、被検体内を観察するための内視鏡システム、光源装置、及び内視鏡システムの制御方法に関する。
近年の医療においては、内視鏡システムを用いた診断等が広く行われている。内視鏡システムによる被検体内の観察としては、照明光として広帯域の白色光を用いる通常光観察の他、波長を狭帯域化した狭帯域光を用いて、被検体内の血管を強調表示等させる特殊光観察も行われるようになってきている。
また、特許文献1に記載されているように、血管の吸光特性や生体組織の散乱特性を利用して、画像信号から血中ヘモグロビンの酸素飽和度や血管深さなどの血管に関する機能情報を取り出し、それを画像化することも行われている。特許文献1に記載の内視鏡システムでは、血中ヘモグロビンの吸光スペクトルにおいて近赤外領域や緑色領域など酸素飽和度によって吸光度が変化する波長域の光を用いて、画像信号を取得している。近赤外領域や緑色領域の光は、白色光を光学フイルタで色分離して生成される。そして、取得した画像信号に基づいて酸素飽和度を算出し、酸素飽和度の大小に応じて異なる色を割り当て、その割り当てた色に基づいて疑似カラーの酸素飽和度画像を生成している。このような酸素飽和度画像を用いることで、例えば、酸素飽和度が特異的に低くなる癌の発見が容易になるため、診断能が向上する。
特許2648494号公報
低酸素状態となる癌の中でも、未分化型早期胃癌は高分化型の癌と比べて腫瘍領域の血液密度(血液量ともいう)が低くなる特徴を有している。したがって、このような未分化型早期胃癌の発見を確実に行うために、酸素飽和度と合わせて、血液量に関する情報も画像信号から取り出すことが求められている。これに関して、特許文献1においては、酸素飽和度のみしか求めていないため、未分化型早期胃癌など酸素飽和度と血液量の両方に特徴を有する病変部の発見が困難である。また、酸素飽和度は血液量によっても影響を受けるため、酸素飽和度の測定精度を上げるためには、血液量の影響を排除する必要があり、そのためにも酸素飽和度と血液量の両方を把握することが求められている。
さらに、特許文献1に記載の酸素飽和度測定方法は、近赤外領域や緑色領域の光を用いている。粘膜表層からの光の深達度は、波長が短いほど浅く、波長が長いほど深くなるという波長依存性を有しているため、近赤外領域や緑色領域の光では粘膜表層に位置する表層血管に関する情報が良好に取得できないという問題もある。腫瘍の良悪鑑別などの病変部の診断においては、中深層よりも表層血管の性状の把握が重要である場合も多く、表層血管の性状を詳細に把握することが求められている。
しかしながら、ヘモグロビンの吸光スペクトルにおいて、緑色領域や赤色領域と比較して、青色領域は、吸光度の変化が急峻であるため、波長が少しずれると吸光度が大きく変化してしまう。そのため、青色領域の光を用いる場合には、緑色領域や赤色領域と比較して、狭い波長域を持つ狭帯域光が必要になる。特許文献1のように、白色光を光学フイルタで色分離する方法では、光量が不足して高い測定精度が得られないという懸念があった。
一方で、こうした酸素飽和度を測定する技術は、内視鏡診断において有用であるため、ユーザがより利用しやすいものとするためには、内視鏡システムの実用段階において、開発コストや製造コストの低減が求められる。そのため、既存の光源装置に搭載されている白色光源をできるだけ有効利用するという観点も見過ごせない。
本発明は、上記課題を鑑みてなされたものであり、その目的は、主として表層血管に関する酸素飽和度と血液量の両方について良好な測定精度で取得して観察可能な内視鏡システムを、既存の光源装置の構成を利用しやすい形態で提供することにある。
上記目的を達成するために、本発明の内視鏡システムは、被検体内に挿入される挿入部を有し、前記被検体内の観察部位を撮像する撮像素子を有する電子内視鏡と、前記電子内視鏡に撮像用の光を供給する光源装置であり、前記観察部位の通常観察画像を得るための照明光に利用される白色光を発する白色光源と、青色領域の一部の狭い波長域を有し、前記観察部位に照射して前記観察部位に存在する血管の血中ヘモグロビンの酸素飽和度を測定するための酸素飽和度測定光を発する半導体光源とを有し、前記酸素飽和度測定光に加えて、前記観察部位に照射して前記血管の血液量を測定するための血液量測定光として、前記白色光に含まれる赤色領域の光を前記電子内視鏡に供給する光源装置と、前記撮像素子が出力する撮像信号に基づいて画像処理を施すプロセッサ装置であり、前記観察部位で反射した前記酸素飽和度測定光及び前記血液量測定光を受光した前記撮像素子が出力する2つの第1及び第2の撮像信号に基づいて、前記血液量及び前記酸素飽和度を求める血液量及び酸素飽和度算出手段と、前記酸素飽和度と前記血液量の両方の情報を画像化する画像生成手段とを有するプロセッサ装置とを備えていることを特徴とする。
前記光源装置は、前記白色光に含まれる少なくとも一部の光を、前記第1及び第2の撮像信号の規格化に利用される参照信号を得るための参照光として、前記電子内視鏡に供給し、前記血液量及び酸素飽和度算出手段は、前記第1及び第2の撮像信号と、前記参照光に対応して前記撮像素子が出力する第3の撮像信号の3つの撮像信号に基づいて前記血液量及び酸素飽和度を算出することが好ましい。
前記光源装置は、前記白色光源が発する白色光を前記電子内視鏡に入射させるために前記白色光を集光する集光レンズと、前記白色光源から前記集光レンズに向かう前記白色光の光路上に配置され、前記半導体光源が発する前記酸素飽和度測定光を前記白色光の光路に合流させる光合流部とを有していることが好ましい。
前記光合流部は、前記白色光を透過する透過部と、前記酸素飽和度測定光を前記集光レンズに向けて反射する反射部とを有していることが好ましい。
前記光源装置は、前記白色光の光路に挿入されて前記白色光を遮光する挿入位置と前記光路から退避する退避位置との間で移動可能なシャッタとを有しており、前記血液量及び前記酸素飽和度を算出するモードにおいて、前記シャッタを前記挿入位置に移動して前記白色光を遮光した状態で、前記酸素飽和度測定光を前記電子内視鏡に供給し、前記シャッタを前記退避位置に移動して、前記血液量測定光を前記電子内視鏡に供給することが好ましい。
前記撮像素子は単色の撮像信号を出力するモノクロ撮像素子であり、前記光源装置は、青色、緑色、赤色の三色、またはイエロー、マゼンタ、シアンの三色の透過領域を有し、三色の各透過領域を前記白色光の光路に選択的に挿入して、前記白色光を三色の光に色分離するフイルタを有しており、前記通常観察画像を得る通常観察モードにおいて、前記三色の光を順次前記電子内視鏡に供給する面順次式であることが好ましい。この場合には、前記フイルタには、前記三色の透過領域に加えて、前記シャッタを構成する遮光部が設けられていることが好ましい。
前記撮像素子は、青色、緑色、赤色の三色、またはイエロー、マゼンタ、シアンの三色の画素を有し、各色の画素に対応した三色の画像信号を出力するカラー撮像素子であり、前記光源装置は、前記通常観察画像を撮像する通常観察モードにおいて、前記白色光を色分離せずに前記電子内視鏡に供給する同時式であることが好ましい。
前記血液量及び酸素飽和度算出手段は、前記酸素飽和度と前記血液量の両方に依存性を有する前記第1撮像信号と、前記参照信号の比である第1信号比と、前記血液量に依存性を有する前記第2撮像信号と、前記参照信号の比である第2信号比とを求める信号比算出手段と、前記酸素飽和度と前記第1信号比及び前記第2信号比との第1の相関関係と、前記血液量と前記第2信号比との第2の相関関係を記憶する相関関係記憶部とを有しており、前記第2相関関係を参照して前記第2信号比に対応する前記血液量を求めるとともに、前記第1相関関係を参照して前記前記第1信号比に対応する酸素飽和度を求めることが好ましい。
前記酸素飽和度測定光は、例えば、470nm±10nmの波長域を有する。また、前記血液量測定光は、例えば、590nm〜700nmの波長域を有する。前記参照光は、例えば、540nm〜580nmの波長域を有する。
前記画像生成手段は、前記血液量及び酸素飽和度算出手段によって算出された前記血液量及び前記酸素飽和度に応じて色調が変化するカラーテーブルを用いて、前記血液量及び前記酸素飽和度の情報が反映された疑似カラー画像を生成することが好ましい。
前記プロセッサ装置は、前記画像生成手段が生成した画像をモニタに出力する表示制御手段を有しており、前記表示制御手段は、前記血液量の情報を画像化した血液量画像と、前記酸素飽和度の情報を画像化した酸素飽和度画像の2つの画像を、前記モニタに同時に又は選択的に出力することが好ましい。
本発明の光源装置は、被検体内に挿入される挿入部を有し、前記被検体内の観察部位を撮像する撮像素子を有する電子内視鏡を有する内視鏡システムに用いられ、前記電子内視鏡に撮像用の光を供給する光源装置において、前記観察部位の通常観察画像を得るための照明光に利用される白色光を発する白色光源と、青色領域の一部の狭い波長域を有し、前記観察部位に照射して前記観察部位に存在する血管の血中ヘモグロビンの酸素飽和度を測定するための酸素飽和度測定光を発する半導体光源とを有し、前記酸素飽和度測定光に加えて、前記観察部位に照射して前記血管の血液量を測定するための血液量測定光として、前記白色光に含まれる赤色領域の光を前記電子内視鏡に供給することを特徴とする。
本発明の内視鏡システムの制御方法は、被検体内に挿入される挿入部を有し、前記被検体内の観察部位を撮像する撮像素子を有する電子内視鏡と前記電子内視鏡に撮像用の光を供給する光源装置とを有する内視鏡システムを用い、前記観察部位に存在する血管の血中ヘモグロビンの酸素飽和度と、前記血管の血液量を算出する内視鏡システムの制御方法において、前記光源装置が有する半導体光源が発光する光であり、青色領域の一部の狭い波長域を有し、前記酸素飽和度を測定するための酸素飽和度測定光が、前記観察部位に照射されるように前記光源装置を制御する第1照射制御ステップと、前記酸素飽和度測定光の反射光を受光した前記撮像素子が出力する第1撮像信号を取得する第1信号取得ステップと、前記光源装置が有する白色光源が発光する白色光に含まれる赤色領域の光であり、前記血液量を測定するための血液量測定光が、前記観察部位に照射されるように前記光源装置を制御する第2照射制御ステップと、前記血液量測定光を受光した前記撮像素子が出力する第2撮像信号を取得する第2信号取得ステップと、前記第1及び第2の撮像信号に基づいて、前記血液量及び前記酸素飽和度を算出する算出ステップと、前記算出ステップの算出結果に基づいて、前記酸素飽和度と前記血液量の両方の情報を画像化する画像生成ステップとを含むことを特徴とする。
本発明によれば、主として表層血管について酸素飽和度と血液量の両方を良好な測定精度で取得して観察可能な内視鏡システムを、既存の光源装置の構成を利用しやすい形態で提供することにある。
本発明の第1実施形態の電子内視鏡システムの外観図である。 スコープ先端部の正面図である。 第1実施形態の電子内視鏡システムの電気的構成を示すブロック図である。 ロータリフイルタの説明図である。 原色系カラーフイルタの分光透過率と、白色光BB及び狭帯域光Nの光強度分布を示すグラフである。 光合流部の説明図である。 シャッタ板の説明図である。 通常観察モードにおける光源装置の動作の説明図である。 機能情報観察モードにおける光源装置の動作の説明図である。 (A)は通常観察モードにおける撮像素子の撮像動作を、(B)は機能情報観察モードにおける撮像素子の撮像動作を説明する説明図である。 機能画像処理部のブロック図である。 血液量と信号比R/Gとの相関関係を示すグラフである。 酸素飽和度と信号比N/G、R/Gとの相関関係を示すグラフである。 ヘモグロビンの吸光係数を示すグラフである。 図8のグラフにおいて信号比から酸素飽和度を求める方法を説明するための説明図である。 血液量画像及び酸素飽和度画像の作成手順を示すブロック図である。 血液量と色差信号との関係を示すグラフである。 酸素飽和度と色差信号との関係を示すグラフである。 血液量画像と酸素飽和度画像を並列表示する表示装置の画像図である。 血液量画像と酸素飽和度画像のいずれか一方を表示する表示装置の画像図である。 内視鏡システムの動作手順を示すフローチャートである。 第2実施形態のシャッタ機能を有するロータリフイルタの説明図である。 図22とは別のシャッタ機能を有するロータリフイルタの説明図である。 第3実施形態のカラー撮像素子の説明図である。 第3実施形態の光源装置の説明図である。 第3実施形態における撮像素子の撮像動作を説明する説明図である。 補色系のカラーフイルタの分光透過率と、白色光BB及び狭帯域光Nの光強度分布を示すグラフである。
[第1実施形態]
図1に示すように、本発明の第1実施形態の内視鏡システム10は、被検体内の観察部位を撮像する電子内視鏡11と、撮像により得られた信号に基づいて観察部位の観察画像を生成するプロセッサ装置12と、観察部位を照射する光を供給する光源装置13と、観察画像を表示するモニタ14とを備えている。プロセッサ装置12には、キーボードやマウスなどの操作入力部であるコンソール15が設けられている。
電子内視鏡システム10は、白色光のもとで観察部位を観察する通常観察モードと、機能情報観察モードの2つの動作モードを備えている。機能情報観察モードは、特殊光を利用して、観察部位に存在する血管に関する生体機能情報である、酸素飽和度及び血液量を取得して、これらを画像化して観察するモードである。
電子内視鏡11は、被検体内に挿入される可撓性の挿入部16と、挿入部16の基端部分に設けられた操作部17と、操作部17とプロセッサ装置12及び光源装置13との間を連結するユニバーサルコード18とを備えている。
挿入部16は、先端から順に連設された、先端部19、湾曲部20、可撓管部21からなる。図2に示すように、先端部19の先端面には、観察部位に照明光を照射する照明窓22、観察部位で反射した像光が入射する観察窓23、観察窓23を洗浄するために送気・送水を行うための送気・送水ノズル24、鉗子や電気メスといった処置具を突出させる鉗子出口25などが設けられている。観察窓23の奥には、撮像素子44(図2参照)や結像用の光学系が内蔵されている。
湾曲部20は、連結された複数の湾曲駒からなり、操作部17のアングルノブ26を操作することにより、上下左右方向に湾曲動作する。湾曲部20が湾曲することにより、先端部19の向きが所望の方向に向けられる。可撓管部21は、食道や腸など曲がりくねった管道に挿入できるように可撓性を有している。挿入部16には、撮像素子44を駆動する駆動信号や撮像素子44が出力する撮像信号を通信する通信ケーブルや、光源装置13から供給される照明光を照明窓22に導光するライトガイド43(図2参照)が挿通されている。
操作部17には、アンブルノブ26の他、処置具を挿入するための鉗子口27、送気・送水操作を行う送気・送水ボタン、静止画像を撮影するためのレリーズボタンなどが設けられている。
ユニバーサルコード18には、挿入部16から延設される通信ケーブルやライトガイド43が挿通されており、一端には、プロセッサ装置12および光源装置13側にコネクタ28が取り付けられている。コネクタ28は、通信用コネクタと光源用コネクタからなる複合タイプのコネクタであり、通信用コネクタには通信ケーブルの一端が、光源用コネクタにはライトガイド43の一端がそれぞれ配設される。電子内視鏡11は、このコネクタ28を介して、プロセッサ装置12および光源装置13に着脱自在に接続される。
図3に示すように、光源装置13は、白色光源30と、半導体光源ユニット31と、これらを駆動制御する光源制御部32とを備えている。光源制御部32は、光源装置13の各部の駆動開始、終了、駆動タイミング、同期タイミングなどの制御を行う。
白色光源30は、キセノンランプ、ハロゲンランプ、メタルハライドランプなど、赤色領域から青色領域(約400〜700nm)にわたる広い波長域において発光スペクトルが連続する広帯域の白色光BBを発生する。白色光源30は、既存の光源装置の多くに搭載されているものと同様であり、既存の光源装置からの部品の流用が可能である。
白色光源30は、白色光BBを放射するランプ30aと、ランプ30aが放射する広白色光BBを出射方向に向けて反射するリフレクタ30bとからなる。キセノンランプやハロゲンランプなどの白色光源は、点灯開始から光量が安定するまでに時間が掛かるため、白色光源30は、光源装置13の電源が投入されると点灯を開始し、電子内視鏡11の使用中、常時点灯する。また、白色光源30の光路上には、絞り33が配置されており、白色光源30の光量制御は絞り33の開度を調節することによって行われる。
白色光源30が発光する白色光BBの光路には、ロータリフイルタ34が配置されている。図4に示すように、ロータリフイルタ34は、円板形状をしており、円周方向に3分割されて中心角が120°の扇形の領域に、それぞれB、G、Rの光を透過するBフイルタ部34a、Gフイルタ部34b、Rフイルタ部34cの三色のカラーフイルタが設けられている。
ロータリフイルタ34は、Bフイルタ部34a、Gフイルタ部34b、Rフイルタ部34cが選択的に白色光BBの光路に挿入されるように回転自在に設けられている。モータ34dは、ロータリフイルタ34を回転させるための駆動源である。ロータリフイルタ34が回転すると、各色のフイルタ部34a、Gフイルタ部34b、Rフイルタ部34cが順次白色光BBの光路に挿入される。
Bフイルタ部34a、Gフイルタ部34b、Rフイルタ部34cは、それぞれ図5に示す分光透過率を有しており、白色光BBが各フイルタ部34a〜34cを透過することにより、B、G、Rの各色に分離されてB色光、G色光、R色光が生成される。光源装置13は、白色光の下で観察部位を観察する通常観察モードにおいて、白色光源30の光をロータリフイルタ34でB、G、Rの三色の光に順次色分離して生成し、生成した三色の光を電子内視鏡11に対して順次供給する、いわゆる面順次方式である。
電子内視鏡11の撮像素子44(図3参照)は、撮像面にマイクロカラーフイルタが設けられていないモノクロの撮像素子であり、光源装置13から順次供給される光に対応する色の撮像信号を出力する。ロータリフイルタ34の回転速度や各フイルタ部34a、34b、34cの大きさは、撮像素子44の1画面分の撮像信号を出力する間隔を規定するフレームレートに応じて決められる。
白色光BBの光路において、ロータリフイルタ34の下流側には、絞り33、集光レンズ36、ロッドインテグレータ37が配置されている。絞り33は、光を遮光する遮光板と遮光板を変位させるアクチュエータ(図示せず)からなり、遮光板で白色光BBの光路の一部を遮光することにより光量を制御する。光源制御部32は、撮像素子44が出力する撮像信号をプロセッサ装置12から受け取り、撮像信号から撮像素子44の撮像面における露光量を求めて、絞り33の絞り量を決定する。絞り33は、決定した絞り量に応じて絞り径や光路への挿入量を調節して光量を制御する。
集光レンズ36は、絞り33を通過した光を集光して、ロッドインテグレータ37に入射させる。ロッドインテグレータ37は、入射した光を内部で多重反射させることにより面内光量分布を均一化して、光源装置13に接続された電子内視鏡11のライトガイド43の入射端面に光を入射させる。
半導体光源ユニット31は、機能情報観察モードにおいて、特殊光を発する特殊光光源であり、レーザダイオードからなるレーザ光源31aとコリメータレンズ31bを有する。レーザ光源31aは、酸素飽和度を測定するための酸素飽和度測定光として、青色領域の一部の狭い波長域の青色狭帯域光(以下、単に狭帯域光という)Nを発光する。狭帯域光Nの波長域は、図5に示すように、波長域が470±10nmに、好ましくは473nmに制限された狭帯域である。レーザ光源31aとしては、ブロードエリア型のInGaN系、InGaNAs系、GaNAs系のレーザダイオードを用いることができる。半導体光源ユニット31は、光源制御部32の制御により、レーザ光源31aの点灯、消灯、光量の制御を行う。
レーザ光源31aが発光する狭帯域光Nは、コリメータレンズ31bに入射する。コリメータレンズ31bは、狭帯域光Nを平行光束にすると共に、光束のサイズ及び形状を整形する。
白色光BBの光路において、ロータリフイルタ34と絞り33の間には、半導体光源ユニット31が発生する狭帯域光Nを白色光BBの光路に合流させる光合流部39が配置されている。半導体光源ユニット31から出射直後の狭帯域光Nの出射光軸NAは、白色光BBの光軸BAと直交しており、光合流部39は、出射光軸NAを90°屈曲させて、狭帯域光Nの光路を白色光BBの光路に合流させる。
図6に示すように、光合流部39は、白色光BBに対する透過性を有する平板部材をベースに、その片面の中央部に狭帯域光Nを反射する反射部材を設けたものであり、平板部材のうち反射部材が設けられていない部分が透過部39aを構成し、反射部材が設けられた部分が反射部39bを構成する。反射部39bは、狭帯域光Nのみを反射し、その他の白色光BBは透過するダイクロイックミラーで形成される。
光合流部39は、反射部39bの中心と白色光BBの光軸BAを一致させて、かつ、白色光BBの進行方向に向けて45°傾斜して配置されている。この傾斜により光合流部39は、白色光BBの光束を斜めに横切るように配置されることになるため、その平面形状は、光束を斜めに切断したときの切断面の形状に合わせて楕円形状をしている。
狭帯域光Nの光束は、コリメータレンズ31bによって反射部39bのサイズ及び形状に整形される。光合流部39は、狭帯域光Nの出射光軸NAに対しても45°傾斜して配置されるので、その傾斜に合わせて反射部39bの形状も楕円形状となっている。
反射部39bは、白色光BBのうち狭帯域光Nに対応する波長成分を透過させないため、ロータリフイルタ34のBフイルタ部34a部を透過して光合流部39を透過するB色光の光量分布は不均一なものとなる。しかし、ロッドインテグレータ37の内部において光量分布が均一化されるため、電子内視鏡11に供給されるB色光の光量ムラは低減される。
図2において、白色光源30とロータリフイルタ34の間には、シャッタ板40が配置されている。シャッタ板40は、狭帯域光Nを電子内視鏡11に供給するときに、白色光BBを遮光するものである。
図7に示すように、シャッタ板40は、白色光BBに対する遮光性を有する部材からなり、平面形状は、円形の一部を切り欠いた形状をしている。具体的には、シャッタ板40は、120°の中心角を持つ遮光部40aを有しており、残りの240°の部分が切り欠かれて白色光BBを透過する透過部40bとなっている。シャッタ板40は、回転自在に設けられており、回転により、遮光部40aと透過部40bが交互に選択的に白色光BBの光路に挿入されるようになっている。モータ40c(図3参照)は、シャッタ板40の駆動源であり、光源制御部32によって制御される。
シャッタ板40は、ロータリフイルタ34とほぼ同じ半径を有しており、回転軸が一致している。シャッタ板40の遮光部40aの中心角は、ロータリフイルタ34のBフイルタ部34aの中心角とほぼ一致している。透過部40bの中心角は、Gフイルタ部34b、Rフイルタ部34cを合計した中心角とほぼ一致している。なお、本例においては、透過部40bを切り欠きで形成しているが、白色光BBを透過する透明板で透過部40bを構成してもよい。
図8に示すように、通常観察モードにおいては、シャッタ板40は、遮光部40aが白色光BBの光路から退避し、透過部40bが光路に挿入された状態で停止している。白色光源30は常時点灯しているため、透過部40bが白色光BBの光路に進入したときに、白色光BBが透過部40bを透過する。通常観察モードにおいては、白色光BBが透過部40bを常に透過して、ロータリフイルタ34に入射する。そして、白色光BBの光路に挿入されている、B、G、Rの各フイルタ部34a、34b、34cの種類に応じて、B色、G色、R色の三色の光が順次生成される。
機能情報観察モードにおいては、狭帯域光Nに加えて、白色光BBから色分離されたG色光及びR色光の3種類の光が用いられる。図9に示すように、機能情報観察モードにおいては、シャッタ板40は、遮光部40aとBフイルタ部34aの回転位相が一致するように、ロータリフイルタ34と同じ速度で回転する。遮光部40aが白色光BBの光路に挿入されて、透過部40bが光路から退避している間、白色光BBが遮光される。白色光BBが遮光されている間に、レーザ光源31aが点灯して、狭帯域光Nが電子内視鏡11に供給される。撮像素子44はモノクロの撮像素子であるため、シャッタ板40を設けることにより、狭帯域光Nと白色光BBの混色が防止される。また、透過部40bが白色光BBの光路に挿入されて、遮光部40aが光路から退避している間、白色光BBは、Gフイルタ部34b、Rフイルタ部34cを順次透過して、G色光及びR色光が生成される。G色光及びR色光は、集光レンズ36及びロッドインテグレータ37を通過して電子内視鏡11に順次供給される。電子内視鏡11は、3種類の光に対応する撮像信号を撮像素子44から出力する。
図2において、電子内視鏡11は、ライトガイド43、撮像素子44、アナログ処理回路45(AFE:Analog Front End)、撮像制御部46を備えている。ライトガイド43は大口径光ファイバ、バンドルファイバなどであり、ライトガイド43の入射端が配置されたコネクタ28が光源装置13に接続されたときに、入射端が光源装置13のロッドインテグレータ37の出射端と対向する。
電子内視鏡11の先端部19に設けられた照明窓22の奥には、照明光の配光角を調整する照射レンズ48が配置されている。光源装置13から供給された光はライトガイド43により照射レンズ48に導光されて照明窓22から観察部位に向けて照射される。観察窓23の奥には、対物光学系51と撮像素子44が配置されている。観察部位で反射した像光は、観察窓23を通して対物光学系51に入射し、対物光学系51によって撮像素子44の撮像面44aに結像される。
撮像素子44は、CCDイメージセンサやCMOSイメージセンサなどからなり、フォトダイオードなどの画素を構成する複数の光電変換素子がマトリックスに配列された撮像面44aを有している。撮像素子44は、撮像面44aで受光した光を光電変換して、各画素においてそれぞれの受光量に応じた信号電荷を蓄積する。信号電荷はアンプによって電圧信号に変換されて読み出される。電圧信号は撮像信号として撮像素子44から出力される。撮像信号は、AFE45に送られる。上述のとおり、撮像素子44は、撮像面44aにマイクロカラーフイルタが設けられていないモノクロ撮像素子である。
通常観察モードにおいては、撮像素子44は、順次入射するB、G、Rの各色に対応する撮像信号B、G、Rを出力する。そして、機能情報観察モードにおいては、狭帯域光N、G色光、R色光が撮像素子44に順次入射して、撮像素子44は、各色に対応する撮像信号N、G、Rを順次出力する。
図10(A)に示すように、撮像素子44は、1フレームの取得期間内で、信号電荷を蓄積する蓄積動作と、蓄積した信号電荷を読み出す読み出し動作が行なわれる。通常観察モードにおいては、1フレーム毎にB、G、Rの三色の像光を順次撮像して、撮像信号B、G、Rを順次出力する。こうした動作は、通常観察モードに設定されている間、繰り返される。
機能情報観察モードにおいては、図10(B)に示すように、1フレーム毎に狭帯域光N、G色光、R色光の3つの光の像光を順次撮像して、撮像信号N、G、Rを順次出力する。こうした動作が機能情報観察モードに設定されている間、繰り返される。
図2において、AFE45は、相関二重サンプリング回路(CDS)、自動ゲイン制御回路(AGC)、及びアナログ/デジタル変換器(A/D)(いずれも図示省略)から構成されている。CDSは、撮像素子44からの撮像信号に対して相関二重サンプリング処理を施し、信号電荷のリセットに起因するノイズを除去する。AGCは、CDSによりノイズが除去された撮像信号を増幅する。A/Dは、AGCで増幅された撮像信号を、所定のビット数に応じた階調値を持つデジタルな撮像信号に変換してプロセッサ装置12に入力する。
撮像制御部46は、プロセッサ装置12内のコントローラ56に接続されており、コントローラ56から入力されるベースクロック信号に同期して、撮像素子44に対して駆動信号を入力する。撮像素子44は、撮像制御部46からの駆動信号に基づいて、所定のフレームレートで撮像信号をAFE45に出力する。
プロセッサ装置12は、コントローラ56の他、画像処理部57と、記憶部58と、表示制御回路59を備えており、コントローラ56が各部を制御している。画像処理部57は、電子内視鏡11から出力された撮像信号に対して、ガンマ補正などの画像補正を施して画像データを作成する。記憶部58は、画像処理部57で作成された画像データを記憶する。
また、画像処理部57は、通常観察モードにおいては、順次入力される撮像信号B、G、Rに対応する三色の画像データB、G、Rに基づいて、通常観察画像を生成する。フレームレートに従って撮像信号B、G、Rが更新される毎に、通常観察画像を生成する。表示制御回路59は、画像処理部57で生成された画像をコンポジット信号やコンポーネント信号などのビデオ信号に変換してモニタ14に出力する。
画像処理部57には、機能画像処理部60が設けられている。機能画像処理部60は、機能情報観察モードにおいて、撮像信号N、G、Rに対応する3つの画像データN、G、Rに基づいて、血液量と、血中ヘモグロビンの酸素飽和度の情報を算出するとともに、算出した血液量を疑似カラー画像化した血液量画像と酸素飽和度を疑似カラー画像化した酸素飽和度画像を生成する。
図11に示すように、機能画像処理部60は、信号比算出部64と、相関関係記憶部65と、血液量及び酸素飽和度算出部66と、血液量画像生成部67と、酸素飽和度画像生成部68とを備えている。
信号比算出部64は、機能情報観察モードにおいて取得される、画像データN、G、Rを照合して、同じ位置にある画素同士の画素値(信号値)の比である信号比を算出する。信号比は1画面分の画像データの全ての画素に対して算出される。本実施形態では、信号比算出部64は、画像データNと画像データGとの信号比N/Gと、画像データGと画像データRとの信号比R/Gとを求める。画像データGは、画像データNと画像データRを規格化するために、観察部位の明るさレベルを表す参照信号として用いられる。なお、信号比は画像データのうち血管部分の画素のみ求めてもよい。この場合、血管部分は、例えば、血管部分の画像値とそれ以外の部分の画像値との差に基づいて特定される。
相関関係記憶部65は、信号比N/G及びR/Gと血液量及び酸素飽和度との相関関係を記憶している。信号比と血液量との相関関係は、図12に示すように、信号比R/Gが大きくなるほど血液量も大きくなるように定義される1次元テーブルで記憶されている。なお、信号比R/Gはlogスケールで記憶されている。
一方、信号比と酸素飽和度との相関関係は、図13に示す二次元空間上に酸素飽和度の等高線を定義した2次元テーブルで記憶されている。この等高線の位置及び形状は、光散乱の物理的なシミュレーションで得られ、血液量に応じて変わるように定義されている。例えば、血液量の変化があると、各等高線間の間隔が広くなったり、狭くなったりする。なお、信号比N/G,R/Gはlogスケールで記憶されている。
なお、上記相関関係は、図14に示すような酸化ヘモグロビンや還元ヘモグロビンの吸光特性や光散乱特性と密接に関連性し合っている。図14において、グラフ70は酸化ヘモグロビンの吸光係数を、グラフ71は還元ヘモグロビンの吸光係数を示している。この図14が示すように、例えば、狭帯域光Nの波長域である473nmのように吸光係数の差が大きい波長では、酸素飽和度の情報を取り易い。しかしながら、観察部位に473nmの光を照射して得た信号は、酸素飽和度だけでなく血液量にも依存度が高い。
図14に示す血中ヘモグロビンの吸光係数の波長依存性から、以下の2つのことが言える。
・波長470nm近辺(例えば、中心波長470nm±10nmの青色の波長領域)では酸素飽和度の変化に応じて吸光係数が大きく変化する。
・590〜700nmの赤色の波長範囲では、酸素飽和度によって一見吸光係数が大きく変化するように見えるが、吸光係数の値自体が非常に小さいので、結果的に酸素飽和度の影響を受けにくい。
こうした知見を踏まえて、本発明の機能情報観察モードにおいては、酸素飽和度測定光として青色領域の狭帯域光Nを用いて、狭帯域光Nに対応する画像データNを取得し、主として血液量に依存して変化するR色光を血液量測定光として用いて、R色光に対応する画像データRを取得する。そして、酸素飽和度と血液量の両方に依存性を示す信号比N/Gと、血液量のみ依存性を示す信号比R/Gの2つの信号比を用いて、血液量の影響を除去した酸素飽和度を正確に求めている。
血液量及び酸素飽和度算出部66は、相関関係記憶部65に記憶された相関関係と信号比算出部64で求めた信号比N/G、R/Gとを用いて、各画素における血液量及び酸素飽和度の両方を求める。血液量については、相関関係記憶部65の1次元テーブルにおいて信号比算出部で求めた信号比R/Gに対応する値が、血液量となる。一方、酸素飽和度については、まず、図15に示すように、二次元空間において信号比算出部64で求めた信号比B/G、R/Gに対応する対応点Pを特定する。
そして、図15のように、対応点Pが酸素飽和度=0%限界の下限ライン73と酸素飽和度=100%限界の上限ライン74との間にある場合、その対応点Pが位置する等高線が示すパーセント値が、酸素飽和度となる。例えば、図15の場合であれば、対応点Pが位置する等高線は60%を示しているため、この60%が酸素飽和度となる。なお、対応点が下限ライン73と上限ライン74との間から外れている場合には、対応点が下限ライン73よりも上方に位置するときには酸素飽和度を0%とし、対応点が上限ライン74よりも下方に位置するときには酸素飽和度を100%とする。なお、対応点が下限ライン73と上限ライン74との間から外れている場合には、その画素における酸素飽和度の信頼度を下げて表示しないようにしてもよい。
血液量画像生成部67は、血液量及び酸素飽和度算出部66で求めた血液量を疑似カラーで表す血液量画像を生成する。血液量画像は、画像データNと算出した血液量に基づいて生成される。
図16に示すように、モニタ14に出力されるビデオ信号は、輝度信号Yと色差信号Cb,Crから構成される。血液量画像は、画像データGと算出した血液量とをそれぞれ輝度信号Yと色差信号Cb,Crに割り当てることによって生成される。輝度信号Yには、画像データGが割り当てられる。画像データGは、ヘモグロビンによる吸収がやや強い波長域の反射光に対応しているので、これに基づく画像からは粘膜の凹凸や血管などを視認できる。したがって、画像データGを輝度信号に割り当てることで、疑似カラー画像の全体的な明るさを定義することができる。
一方、色差信号Cb,Crは、カラーテーブル67aに従って、血液量に応じた信号値が割り当てられる。カラーテーブル67aは、図17に示すように、色差信号Cbについては血液量が大きくなるほど信号値が低下するように定義され、色差信号Crについては血液量が大きくなるほど信号値が増加するように定義されている。したがって、血液量画像は、血液量が多いところでは赤味が増加し、血液量が低くなるにつれて赤味の彩度が下がりモノクロに近づいていく。
酸素飽和度画像生成部68は、血液量及び酸素飽和度算出部66で求めた酸素飽和度を疑似カラーで表す酸素飽和度画像を生成する。図16に示すように、酸素飽和度画像は、血液量画像と同様に、画像データGと算出した酸素飽和度を、輝度信号Yと色差信号Cb,Crに割り当てることによって生成される。輝度信号Yには、画像データGが割り当てられる。色差信号Cb,Crは、カラーテーブル68aに従い、酸素飽和度に応じた信号値が割り当てられる。
カラーテーブル68aは、図18に示すように、高酸素飽和度下では色差信号Crの信号値が正、色差信号Cbの信号値が負となるように定義され、低酸素飽和度下では、反対に色差信号Crの信号値が負、色差信号Cbの信号値が正となるように定義されている。そして、中酸素飽和度下において、色差信号Crの信号値と色差信号Cbの信号値の大小関係が逆転するように定義されている。したがって、酸素飽和度が低い方から高い方に行くにつれて、酸素飽和度画像の色味は青→水色→緑→黄色→橙→赤と変化するようになっている。
以上のように生成された血液量画像及び酸素飽和度画像はモニタ14に表示される。表示方法としては、図19に示すように、酸素飽和度画像と血液量画像を縮小し、それら縮小した画像を並列して同時に表示してもよい。あるいは、コンソール15に設けられた画像選択手段をユーザが操作することによって、図20に示すように、酸素飽和度画像と血液量画像のいずれか一方を選択し、その選択した画像をモニタ14に表示するようにしてもよい。このように血液量画像と酸素飽和度画像の両方を用いて内視鏡診断を行うことができるため、酸素飽和度と血液量の両方に特徴を有する未分化型早期胃癌などの病変部に対する診断能を向上させることができる。
次に、上記構成による作用を図21に示すフローチャートを用いて説明する。まず、内視鏡システム10は通常観察モードで起動されて、白色光源30が点灯を開始するとともに、ロータリフイルタ34が回転を開始する。通常観察モードにおいては、図8に示すように、シャッタ板40は回転せずに、白色光BBの光路から遮光部40aが退避し、透過部40bが挿入された状態で停止する。これにより、白色光BBは、ロータリフイルタ34の各フイルタ部34a〜34cに順次に入射して、白色光BBが色分離されて、B、G、Rの三色の光が順次生成される。
三色の光は、光源装置13から電子内視鏡11に供給されて、照明窓22から観察部位に照射される。観察部位で反射した三色の像光は、観察窓23を通じて撮像素子44で撮像され、撮像素子44は、撮像信号B、G、Rを順次出力する。画像処理部57は、撮像信号B、G、Rに対応する画像データB、G、Rに基づいて通常観察画像を生成する。生成された通常観察画像は、記憶部58に記憶される。表示制御回路59は、通常観察画像をビデオ信号に変換してモニタ14に出力する。これによりモニタ14に通常観察画像が表示される。通常観察モードにおいては、こうした処理が繰り返されて、モニタ14に表示される通常観察画像が更新される。
コンソール15の操作により、通常観察モードから機能情報観察モードへの切り替え指示が入力されると、機能情報観察モードに切り替えられる。機能情報観察モードに切り替えられると、シャッタ板40が、遮光部40aを、ロータリフイルタ34のBフイルタ部34aと回転位相を一致させた状態で、ロータリフイルタ34と同じ速度で回転を開始する。
光源制御部32は、シャッタ板40の遮光部40aが白色光BBの光路に挿入されている間に、レーザ光源31aを点灯させる。レーザ光源31aが発する狭帯域光Nは、電子内視鏡11に供給されて、照明窓22から観察部位に順次照射される。狭帯域光Nの像光は、観察窓23を通じて撮像素子44に入射して、撮像素子44は、狭帯域光Nに対応する撮像信号Nを出力する。
そして、光源制御部32は、シャッタ板40の透過部40bが白色光BBの光路に挿入されている間は、レーザ光源31aを消灯させる。透過部40bが光路に挿入されている間、白色光BBがロータリフイルタ34のGフイルタ部34b、Rフイルタ部34cに順次入射してG色光、R色光が生成される。G色光及びR色光は、電子内視鏡11に供給されて、観察部位に順次照射される。G色光及びR色光の像光が観察窓23を通じて撮像素子44に順次入射して、撮像素子44は、G色光及びR色光に対応する撮像信号G、Rを出力する。
機能画像処理部60は、撮像信号N、G、Rに対応する画像データN、G、Rに基づいて、図15で説明した手順で、血液量及び酸素飽和度を算出する。機能画像処理部60は、図16〜図18で説明した手順で、血液量画像及び酸素飽和度画像を生成する。生成された画像は、図19及び図20に示したいずれかの表示態様で、モニタ14に表示される。通常観察モードへの切り替え指示があるまで、上記処理が繰り返される。通常観察モードへの切り替え指示が入力された場合には、通常観察モードに復帰する。観察を終了する指示があった場合には、白色光源30、レーザ光源31a、ロータリフイルタ34、シャッタ板40が停止される。
なお、本例においては、機能情報観察モードにおいては、通常観察画像の生成を行わない例で説明したが、機能情報観察モードの実行中に、通常観察画像を得るためのB、G、Rの照射と、機能観察を行うための狭帯域光N、G、Rの照射を交互に行って、通常観察画像と、血液量画像及び酸素飽和度画像との両方を生成してもよい。こうすれば、機能情報観察モードにおいても、通常観察画像を表示することができる。
以上説明したように、本発明においては、青色領域の狭帯域光Nを酸素飽和度測定光として、白色光BBから色分離されたR色光を血液量測定光として用いることにより、血液量と酸素飽和度の両方を算出している。これにより、血液量に影響されない精度の高い酸素飽和度を求めることができる。
また、血液量測定光及び参照光としては、既存の光源装置の構成である白色光源30を利用して、白色光BBから色分離されたR色光、G色光をそれぞれ用いているため、血液量測定光及び参照光に専用の光源を追加する場合と比べて、部品点数、設置スペースの低減が可能となる。これにより、既存の光源装置の構成が利用しやすく、コストダウンが可能となる。
また、酸素飽和度測定光として青色領域の狭帯域光を発するレーザ光源31aを使用しているため、表層血管の酸素飽和度を高い精度で測定できる。上述のとおり、腫瘍の良悪鑑別などの病変部の診断においては、中深層よりも表層血管の性状の把握が重要である場合も多く、表層血管の性状を詳細に把握できる観察方法が望まれている。
青色領域においては、図10に示すヘモグロビンの吸光スペクトルで明らかなように、緑色領域や赤色領域と比較して、吸光度の変化が急峻であり、波長が少しずれると、吸光度が大きく変化する。また、各ヘモグロビン70、71の吸光度の大小関係に逆転が生じる等吸収点の間隔も狭い。波長域が広いと、大小関係が逆転する2つの領域の信号が混合して、輝度値が平均化されてしまうため、精度の高い情報が得られない。そのため、青色領域の光を利用して表層血管の血管情報を得るためには、2つの等吸収点の間隔に近い幅の波長域、好ましくは、2つの等吸収点の間隔に収まる波長域を持つ狭い狭帯域光を用いる必要がある。
さらに、表層血管は、中深層血管と比較して細いため、照射される光量が不足しがちであり、表層血管を観察する場合には、光量が大きな光源が必要になる。
このように、表層血管の酸素飽和度の測定精度を高めるには、青色領域の狭帯域光で、かつ高い光量の光を発する光源が適している。本発明においては、白色光BBから色分離する場合と比べて高い光量が得られ、単色の狭帯域光Nを発光可能なレーザ光源31aを採用することで、表層血管の酸素飽和度の測定精度を向上させている。
参照光は、血液量及び酸素飽和度の算出処理において、狭帯域光NとR色光に対応する信号を規格化するための参照信号として利用されるものである。そのため、観察部位の明るさのレベルが分かればよく、狭帯域光である必要はない。波長域を比較的広くとれるため、白色光BBから色分離したG色光を用いても光量的にも問題はない。なお、上記実施形態において、G色光を参照光として利用している例で説明しているが、参照光は明るさのレベルが分かればよいので、G色光の代わりに、Bフイルタ部34a、Rフイルタ部34cで白色光BBを色分離した、B色光やR色光を利用してもよいし、白色光BBを色分離せずに、白色光BBそのものを使用してもよい。
ただし、酸素飽和度測定光及び血液量測定光として、青色の狭帯域光N及びR色光を利用しているので、ロータリフイルタ34のように、B、G、Rの三色のフイルタ部を有する一般的な構成を考慮すれば、G色光を参照光として利用するのが好ましい。また、G色光に対応する画像データGは、血液量画像や酸素飽和度画像を生成する際に輝度信号Yに割り当てられるので、こうした画像処理の観点からも、参照光として画像データGを利用するのが好ましい。
また、図5に示すように、本例においては、Gフイルタ部34bとして、波長域が約450nm〜約620nm程度の分光透過率を有するフイルタを使用しているが、酸素飽和度の測定精度をより高めるには、Gフイルタ部34bの分光透過率を540nm〜580nmの波長域に制限するのが好ましい。図14に示すヘモグロビンの吸光特性を鑑みると、緑色領域においては、540〜580nmの波長域で平均するのが、最も酸素飽和度の影響を受けにくいためである。
なお、本例においては、狭帯域光Nとして、波長域が470±10nm、好ましくは473nmの狭帯域光を使用しているが、波長域が440±10nm、好ましくは445nmの狭帯域光など、各ヘモグロビン70、71の吸光度に差がある波長域の光であれば、他の波長域でもよい。
また、上記実施形態においては、半導体光源ユニット31の狭帯域光Nを、光合流部39によって、白色光源30から集光レンズ36へ向かう白色光BBの光路に合流させている。白色光源30、ロータリフイルタ34、集光レンズ36を設ける構成は、既存の光源装置では標準的な構成である。上記実施形態のような構成であれば、白色光BBの光路に大幅な変更を加えずに、光合流部39とシャッタ板40を追加するだけで済むため、既存の光源装置に組み込みやすい。
また、光合流部39は、白色光を透過する透過部39aと、狭帯域光Nを反射させる反射部39bとを有するため、構成の複雑化を防止できる。というのは、光合流部39を反射部39bのみで構成した場合には、通常観察モードにおいては光合流部39を光路から退避させ、機能情報観察モードにおいては光路に挿入させるというように、光合流部39を移動させるための移動機構が必要になる。光合流部39に透過部39aを設ければ、移動機構を設けずに済むため、既存の光源装置に追加する構成を簡素にできるので、既存の光源装置を利用しやすい。
なお、反射部39bは、白色光BBに含まれる、狭帯域光Nの波長域の光を透過させないため、反射部39bのサイズが大きい場合には、その波長域について無視できない程度の光量の低下を招く懸念もある。その場合には、通常観察モードにおいて、B色光を照射するときにレーザ光源31aを点灯させて、反射部39bでカットされる光量を補ってもよい。
また、シャッタ板40を回転板で構成して、回転動作により遮光部40aの光路への挿入と退避を行っているが、例えば、シャッタ板40を直線的に移動させて挿入と退避を行ってもよい。しかし、本例のようにシャッタ板40を回転動作させる構成によれば、直線移動させる場合と比較して、直線移動させるためのリンク機構が不要な分、構成を簡素化できる。
[第2実施形態]
上記実施形態では、ロータリフイルタ34とシャッタ板40を別々に設けた例で説明したが、図22に示すように、シャッタ板の機能を設けたロータリフイルタ91を使用してもよい。ロータリフイルタ91は、Bフイルタ部とGフイルタ部において、内周領域と外周領域の2つの領域に分割された二重円で構成されている。内周領域は、通常観察モードで使用される、B、G1、Rの各フイルタ部であり、外周領域は、機能情報観察モードで使用される、遮光部、G2、Rの各フイルタ部である。外周領域の遮光部は、上記実施形態のシャッタ板40として機能する。
移動機構92は、ロータリフイルタ91の回転軸を移動させることにより、内周領域と外周領域を白色光BBの光路に選択的に挿入する。こうしたロータリフイルタ91を用いれば、ロータリフイルタ34とシャッタ板40を別々に設けずに済むので、部品点数や配置スペースを低減できる。また、二重円の構成にすれば、フイルタ部G1を図5に示すGの分光透過率のフイルタで構成し、フイルタ部G2を酸素飽和度の算出に適した、540nm〜580nmの波長域の分光透過率を有するフイルタで構成するというように、モードに応じてGのフイルタ部の分光透過率を変えることができる。
また、図18に示すロータリフイルタ93のように、内周領域と外周領域に分けずに、全周を4分割して、各分割領域にB、G、Rの各フイルタ部と、遮光部とを設けてもよい。遮光部は、シャッタ板40として機能する。こうした構成であれば、移動機構92は不要である。また、ロータリフイルタ93のような構成とすれば、通常観察モードと機能情報観察モードの切り替えの際に、第1実施形態のようにシャッタ板の回転及び停止の切り替えを行ったり、図19に示すロータリフイルタ91のように回転軸を移動させずに済むため、通常観察画像と機能情報観察を並行して行いやすい。
[第3実施形態]
上記実施形態では、電子内視鏡11の撮像素子44としてモノクロ撮像素子を用い、光源装置13に、白色光BBをB、G、Rの三色の光に色分離するロータリフイルタを設けた面順次式の例で説明したが、電子内視鏡11の撮像素子として、図24に示すような、カラー撮像素子100を用いた同時式のシステムに本発明を適用してもよい。カラー撮像素子100は、撮像面を構成する各画素に、B、G、Rのいずれかのマイクロカラーフイルタが設けられており、撮像面内にB、G、Rの三色の画素が構成される。三色の画素は、例えばベイヤー形式で配列される。
図25に示すように、同時式の場合には、光源装置13にはロータリフイルタ34が不要となる。その他の構成は、図6及び7に示す面順次式と同様であるので、同一部材については同じ符号を付して説明を省略する。
図26(A)に示すように、通常観察モードにおいて、シャッタ板40は、遮光部40aを白色光BBの光路から退避させた状態で停止させ、同時式の光源装置13は、電子内視鏡11に対して白色光BBを供給する。白色光BBは、照明窓22から観察部位に照射されて、その反射光をカラー撮像素子100で撮像する。カラー撮像素子100に入射する白色光BBは、マイクロカラーフイルタによって色分離されて、カラー撮像素子100は、B、G、Rの各色の画素に対応する三色の色信号を含んだ撮像信号を出力する。B、G、Rの各マイクロカラーフイルタの分光透過率は、図4に示すロータリフイルタ34の場合と同様である。
図26(B)に示すように、機能情報観察モードの場合には、シャッタ板40を回転させて、シャッタ板40の遮光部40aで白色光BBを遮光している間に、レーザ光源31aを点灯させて、狭帯域光Nを照射する。図5に示すように、狭帯域光Nは、B画素が感応する光であるので、B画素に対応する撮像信号を撮像信号Nとして抽出する。
そして、シャッタ板40の遮光部40aが白色光BBの光路から退避している間に、白色光BBが照射される。機能画像処理部60は、カラー撮像素子100が出力する撮像信号から、G画素に対応する撮像信号G及びR画素に対応する撮像信号Rを抽出する。そして、図15〜18で説明した手順に従って、撮像信号N、G、Rに対応する画像データN、G、Rに基づいて血液量及び酸素飽和度を算出して、算出結果に基づいて血液量画像及び酸素飽和度画像を生成してモニタ14に表示する。
また、上記各実施形態では、ロータリフイルタの各フイルタ部や、カラーCCDのマイクロカラーフイルタを、B、G、Rの原色系のフイルタを使用する例で説明したが、図27に示す分光透過率を有する、Y(イエロー)、M(マゼンダ)、C(シアン)の補色系のフイルタを使用してもよい。
なお、上記実施形態では、血液量画像及び酸素飽和度画像を生成する際に、血液量及び酸素飽和度に関する情報を疑似カラー画像化したが、これに代えて、血液量及び酸素飽和度に関する情報を、例えば白と黒のモノクロで濃淡を変化させてもよい。酸素飽和度画像には、上記実施形態で示した形態に代えて、又はそれに加えて、「血液量(酸化ヘモグロビンと還元ヘモグロビンの和)×酸素飽和度(%)」から求まる酸化ヘモグロビンインデックスを画像化したのや、「血液量×(100−酸素飽和度)(%)」から求まる還元ヘモグロビンインデックスを画像化したものも含まれる。
上記実施形態では、半導体光源としてレーザダイオードからなるレーザ光源を例示したが、レーザダイオードの代わりにLEDを使用したLED光源でもよい。また、上記実施形態では、光源装置とプロセッサ装置が別体で構成される例で説明したが、2つの装置を一体で構成してもよい。
なお、本発明は、撮像素子と超音波トランスデューサが先端部に内蔵された超音波内視鏡等、他の形態の内視鏡にも適用することができる。
10 電子内視鏡システム
14 モニタ
30 白色光源
31 半導体光源ユニット
31a レーザ光源
32 光源制御部
34 ロータリフイルタ
36 集光レンズ
37 ロッドインテグレータ
39 光合流部
39a 透過部
39b 反射部
40 シャッタ板
40a 遮光部
40b 透過部
44 撮像素子
56 画像処理部
60 機能画像処理部
64 信号比算出部
65 相関関係記憶部
66 血液量及び酸素飽和度算出部
67 血液量画像生成部
67a (血液量用の)カラーテーブル
68 酸素飽和度画像生成部
68a (酸素飽和度用の)カラーテーブル

Claims (16)

  1. 被検体内に挿入される挿入部を有し、前記被検体内の観察部位を撮像する撮像素子を有する電子内視鏡と、
    前記電子内視鏡に撮像用の光を供給する光源装置であり、
    前記観察部位の通常観察画像を得るための照明光に利用される白色光を発する白色光源と、
    青色領域の一部の狭い波長域を有し、前記観察部位に照射して前記観察部位に存在する血管の血中ヘモグロビンの酸素飽和度を測定するための酸素飽和度測定光を発する半導体光源とを有し、
    前記酸素飽和度測定光に加えて、前記観察部位に照射して前記血管の血液量を測定するための血液量測定光として、前記白色光に含まれる赤色領域の光を前記電子内視鏡に供給する光源装置と、
    前記撮像素子が出力する撮像信号に基づいて画像処理を施すプロセッサ装置であり、
    前記観察部位で反射した前記酸素飽和度測定光及び前記血液量測定光を受光した前記撮像素子が出力する2つの第1及び第2の撮像信号に基づいて、前記血液量及び前記酸素飽和度を求める血液量及び酸素飽和度算出手段と、
    前記酸素飽和度と前記血液量の両方の情報を画像化する画像生成手段とを有するプロセッサ装置とを備えていることを特徴とする内視鏡システム。
  2. 前記光源装置は、前記白色光に含まれる少なくとも一部の光を、前記第1及び第2の撮像信号の規格化に利用される参照信号を得るための参照光として、前記電子内視鏡に供給し、
    前記血液量及び酸素飽和度算出手段は、前記第1及び第2の撮像信号と、前記参照光に対応して前記撮像素子が出力する第3の撮像信号の3つの撮像信号に基づいて前記血液量及び酸素飽和度を算出することを特徴とする請求項1記載の内視鏡システム。
  3. 前記光源装置は、前記白色光源が発する白色光を前記電子内視鏡に入射させるために前記白色光を集光する集光レンズと、前記白色光源から前記集光レンズに向かう前記白色光の光路上に配置され、前記半導体光源が発する前記酸素飽和度測定光を前記白色光の光路に合流させる光合流部とを有していることを特徴とする請求項1又は2に記載の内視鏡システム。
  4. 前記光合流部は、前記白色光を透過する透過部と、前記酸素飽和度測定光を前記集光レンズに向けて反射する反射部とを有していることを特徴とする請求項3に記載の内視鏡システム。
  5. 前記光源装置は、前記白色光の光路に挿入されて前記白色光を遮光する挿入位置と前記光路から退避する退避位置との間で移動可能なシャッタとを有しており、
    前記血液量及び前記酸素飽和度を算出するモードにおいて、前記シャッタを前記挿入位置に移動して前記白色光を遮光した状態で、前記酸素飽和度測定光を前記電子内視鏡に供給し、前記シャッタを前記退避位置に移動して、前記血液量測定光を前記電子内視鏡に供給することを特徴とする請求項1〜4のいずれか1項に記載の内視鏡システム。
  6. 前記撮像素子は単色の撮像信号を出力するモノクロ撮像素子であり、
    前記光源装置は、青色、緑色、赤色の三色、またはイエロー、マゼンタ、シアンの三色の透過領域を有し、三色の各透過領域を前記白色光の光路に選択的に挿入して、前記白色光を三色の光に色分離するフイルタを有しており、
    前記通常観察画像を得る通常観察モードにおいて、前記三色の光を順次前記電子内視鏡に供給する面順次式であることを特徴とする請求項1〜5のいずれか1項に記載の内視鏡システム。
  7. 請求項5を引用する請求項6に記載の内視鏡システムにおいて、
    前記フイルタには、前記三色の透過領域に加えて、前記シャッタを構成する遮光部が設けられていることを特徴とする内視鏡システム。
  8. 前記撮像素子は、青色、緑色、赤色の三色、またはイエロー、マゼンタ、シアンの三色の画素を有し、各色の画素に対応した三色の画像信号を出力するカラー撮像素子であり、
    前記光源装置は、前記通常観察画像を撮像する通常観察モードにおいて、前記白色光を色分離せずに前記電子内視鏡に供給する同時式であることを特徴とする請求項1〜5のいずれか1項に記載の内視鏡システム。
  9. 請求項2、又は請求項2を引用する請求項3〜8のいずれか1項に記載の内視鏡システムにおいて、
    前記血液量及び酸素飽和度算出手段は、
    前記酸素飽和度と前記血液量の両方に依存性を有する前記第1撮像信号と、前記参照信号の比である第1信号比と、前記血液量に依存性を有する前記第2撮像信号と、前記参照信号の比である第2信号比とを求める信号比算出手段と、
    前記酸素飽和度と前記第1信号比及び前記第2信号比との第1の相関関係と、前記血液量と前記第2信号比との第2の相関関係を記憶する相関関係記憶部とを有しており、
    前記第2相関関係を参照して前記第2信号比に対応する前記血液量を求めるとともに、前記第1相関関係を参照して前記前記第1信号比に対応する酸素飽和度を求めることを特徴とする内視鏡システム。
  10. 前記酸素飽和度測定光は、470nm±10nmの波長域を有することを特徴とする請求項1〜9のいずれか1項に記載の内視鏡システム。
  11. 前記血液量測定光は、590nm〜700nmの波長域を有することを特徴とする請求項1〜10のいずれか1項に記載の内視鏡システム。
  12. 請求項2、又は請求項2を引用する請求項3〜11のいずれか1項に記載の内視鏡システムにおいて、
    前記参照光は、540nm〜580nmの波長域を有することを特徴とする内視鏡システム。
  13. 前記画像生成手段は、前記血液量及び酸素飽和度算出手段によって算出された前記血液量及び前記酸素飽和度に応じて色調が変化するカラーテーブルを用いて、前記血液量及び前記酸素飽和度の情報が反映された疑似カラー画像を生成することを特徴とする請求項1〜12のいずれか1項に記載の内視鏡システム。
  14. 前記プロセッサ装置は、前記画像生成手段が生成した画像をモニタに出力する表示制御手段を有しており、
    前記表示制御手段は、前記血液量の情報を画像化した血液量画像と、前記酸素飽和度の情報を画像化した酸素飽和度画像の2つの画像を、前記モニタに同時に又は選択的に出力することを特徴とする請求項1〜13のいずれか1項に記載の内視鏡システム。
  15. 被検体内に挿入される挿入部を有し、前記被検体内の観察部位を撮像する撮像素子を有する電子内視鏡を有する電子内視鏡システムに用いられ、前記電子内視鏡に撮像用の光を供給する光源装置において、
    前記観察部位の通常観察画像を得るための照明光に利用される白色光を発する白色光源と、
    青色領域の一部の狭い波長域を有し、前記観察部位に照射して前記観察部位に存在する血管の血中ヘモグロビンの酸素飽和度を測定するための酸素飽和度測定光を発する半導体光源とを有し、
    前記酸素飽和度測定光に加えて、前記観察部位に照射して前記血管の血液量を測定するための血液量測定光として、前記白色光に含まれる赤色領域の光を前記電子内視鏡に供給することを特徴とする光源装置。
  16. 被検体内に挿入される挿入部を有し、前記被検体内の観察部位を撮像する撮像素子を有する電子内視鏡と前記電子内視鏡に撮像用の光を供給する光源装置とを有する内視鏡システムを用い、前記観察部位に存在する血管の血中ヘモグロビンの酸素飽和度と、前記血管の血液量を算出する内視鏡システムの制御方法において、
    前記光源装置が有する半導体光源が発光する光であり、青色領域の一部の狭い波長域を有し、前記酸素飽和度を測定するための酸素飽和度測定光が、前記観察部位に照射されるように前記光源装置を制御する第1照射制御ステップと、
    前記酸素飽和度測定光の反射光を受光した前記撮像素子が出力する第1撮像信号を取得する第1信号取得ステップと、
    前記光源装置が有する白色光源が発光する白色光に含まれる赤色領域の光であり、前記血液量を測定するための血液量測定光が、前記観察部位に照射されるように前記光源装置を制御する第2照射制御ステップと、
    前記血液量測定光を受光した前記撮像素子が出力する第2撮像信号を取得する第2信号取得ステップと、
    前記第1及び第2の撮像信号に基づいて、前記血液量及び前記酸素飽和度を算出する算出ステップと、
    前記算出ステップの算出結果に基づいて、前記酸素飽和度と前記血液量の両方の情報を画像化する画像生成ステップとを含むことを特徴とする内視鏡システムの制御方法。
JP2011148358A 2011-07-04 2011-07-04 内視鏡システム、光源装置、及び内視鏡システムの作動方法 Active JP5419931B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011148358A JP5419931B2 (ja) 2011-07-04 2011-07-04 内視鏡システム、光源装置、及び内視鏡システムの作動方法
CN201210230099.5A CN102860809B (zh) 2011-07-04 2012-07-04 内窥镜系统、光源装置、及内窥镜系统的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011148358A JP5419931B2 (ja) 2011-07-04 2011-07-04 内視鏡システム、光源装置、及び内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JP2013013560A true JP2013013560A (ja) 2013-01-24
JP5419931B2 JP5419931B2 (ja) 2014-02-19

Family

ID=47440144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011148358A Active JP5419931B2 (ja) 2011-07-04 2011-07-04 内視鏡システム、光源装置、及び内視鏡システムの作動方法

Country Status (2)

Country Link
JP (1) JP5419931B2 (ja)
CN (1) CN102860809B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014132742A1 (ja) * 2013-02-27 2014-09-04 富士フイルム株式会社 内視鏡システム及びその作動方法並びにプロセッサ装置
WO2015194312A1 (ja) * 2014-06-17 2015-12-23 オリンパス株式会社 内視鏡光源装置
JP2018000975A (ja) * 2015-09-24 2018-01-11 Hoya株式会社 分析装置
JP2022510010A (ja) * 2018-12-05 2022-01-25 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 組織中の発色団濃度の決定
WO2023166694A1 (ja) * 2022-03-04 2023-09-07 オリンパス株式会社 画像処理装置、生体観察システムおよび画像処理方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5579672B2 (ja) * 2011-08-15 2014-08-27 富士フイルム株式会社 内視鏡システム、及び光源装置
EP3127467B1 (en) * 2014-03-31 2018-03-28 Fujifilm Corporation Medical image processing device, operation method thereof, and endoscope system
JP2016152872A (ja) * 2015-02-20 2016-08-25 Hoya株式会社 光源装置
US10925527B2 (en) * 2016-01-08 2021-02-23 Hoya Corporation Endoscope apparatus
CN105559793A (zh) * 2016-01-29 2016-05-11 江苏思维森网络技术有限公司 血氧饱和度监测设备
JP6273637B1 (ja) * 2016-07-04 2018-02-07 パナソニックIpマネジメント株式会社 ファイバー光源、内視鏡および内視鏡システム
CN108601504A (zh) * 2016-11-25 2018-09-28 深圳迈瑞生物医疗电子股份有限公司 一种内窥镜系统及其控制方法
CN108603642A (zh) * 2016-11-25 2018-09-28 深圳迈瑞生物医疗电子股份有限公司 一种内窥镜系统及其光源装置
WO2018155560A1 (ja) * 2017-02-24 2018-08-30 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2019093355A1 (ja) * 2017-11-13 2019-05-16 富士フイルム株式会社 内視鏡システム及びその作動方法
JP7305675B2 (ja) * 2018-11-19 2023-07-10 オリンパス株式会社 内視鏡フードおよび内視鏡システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63311937A (ja) * 1987-06-16 1988-12-20 Toshiba Corp 内視鏡装置
JPH0380834A (ja) * 1989-05-09 1991-04-05 Olympus Optical Co Ltd 内視鏡装置
JP2011010998A (ja) * 2009-07-06 2011-01-20 Fujifilm Corp 内視鏡用照明装置および内視鏡装置
JP2011092690A (ja) * 2009-09-30 2011-05-12 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び血管情報取得方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935056A (ja) * 1995-07-24 1997-02-07 Olympus Optical Co Ltd 画像処理装置
JP4270634B2 (ja) * 1999-03-18 2009-06-03 オリンパス株式会社 内視鏡装置
ES2425568T3 (es) * 2005-01-21 2013-10-16 Verisante Technology, Inc. Método y aparato para la medición de cambios cancerosos a partir de mediciones espectrales de reflectancia obtenidas durante la toma de imágenes endoscópicas
US8668636B2 (en) * 2009-09-30 2014-03-11 Fujifilm Corporation Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63311937A (ja) * 1987-06-16 1988-12-20 Toshiba Corp 内視鏡装置
JPH0380834A (ja) * 1989-05-09 1991-04-05 Olympus Optical Co Ltd 内視鏡装置
JP2011010998A (ja) * 2009-07-06 2011-01-20 Fujifilm Corp 内視鏡用照明装置および内視鏡装置
JP2011092690A (ja) * 2009-09-30 2011-05-12 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び血管情報取得方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014132742A1 (ja) * 2013-02-27 2014-09-04 富士フイルム株式会社 内視鏡システム及びその作動方法並びにプロセッサ装置
JP6017670B2 (ja) * 2013-02-27 2016-11-02 富士フイルム株式会社 内視鏡システム及びその作動方法並びにプロセッサ装置
WO2015194312A1 (ja) * 2014-06-17 2015-12-23 オリンパス株式会社 内視鏡光源装置
JP2016002302A (ja) * 2014-06-17 2016-01-12 オリンパス株式会社 内視鏡光源装置
US10405737B2 (en) 2014-06-17 2019-09-10 Olympus Corporation Endoscope light source apparatus
JP2018000975A (ja) * 2015-09-24 2018-01-11 Hoya株式会社 分析装置
JP2022510010A (ja) * 2018-12-05 2022-01-25 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 組織中の発色団濃度の決定
US12002208B2 (en) 2018-12-05 2024-06-04 Intuitive Surgical Operations, Inc. Determining chromophore concentrations in tissues
JP7500564B2 (ja) 2018-12-05 2024-06-17 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 組織中の発色団濃度の決定
WO2023166694A1 (ja) * 2022-03-04 2023-09-07 オリンパス株式会社 画像処理装置、生体観察システムおよび画像処理方法

Also Published As

Publication number Publication date
CN102860809B (zh) 2015-12-16
CN102860809A (zh) 2013-01-09
JP5419931B2 (ja) 2014-02-19

Similar Documents

Publication Publication Date Title
JP5419931B2 (ja) 内視鏡システム、光源装置、及び内視鏡システムの作動方法
JP5331860B2 (ja) 内視鏡システム及び光源装置
JP5303012B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5616304B2 (ja) 電子内視鏡システム及び電子内視鏡システムの作動方法
JP5496852B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5309120B2 (ja) 内視鏡装置
JP6039639B2 (ja) 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法
JP6010571B2 (ja) 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP5579672B2 (ja) 内視鏡システム、及び光源装置
JP5222934B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5887350B2 (ja) 内視鏡システム及びその作動方法
JP5623469B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP5419930B2 (ja) 電子内視鏡システム、光源装置、及び電子内視鏡システムの作動方法
JP5757891B2 (ja) 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム
JP5539840B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5623470B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP2006181387A (ja) 内視鏡装置
JP6085648B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP6085649B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP6017670B2 (ja) 内視鏡システム及びその作動方法並びにプロセッサ装置
JP5921984B2 (ja) 電子内視鏡装置及び照明装置
JP6254502B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP2012143302A (ja) 内視鏡システム
WO2018070474A1 (ja) 内視鏡システム
WO2015025595A1 (ja) 内視鏡システム及び作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131119

R150 Certificate of patent or registration of utility model

Ref document number: 5419931

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250