JP2020010763A - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP2020010763A
JP2020010763A JP2018133458A JP2018133458A JP2020010763A JP 2020010763 A JP2020010763 A JP 2020010763A JP 2018133458 A JP2018133458 A JP 2018133458A JP 2018133458 A JP2018133458 A JP 2018133458A JP 2020010763 A JP2020010763 A JP 2020010763A
Authority
JP
Japan
Prior art keywords
image
light
excitation light
image processing
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018133458A
Other languages
English (en)
Other versions
JP6461411B1 (ja
Inventor
茂樹 緒形
Shigeki Ogata
茂樹 緒形
直実 白井
Naomi Shirai
直実 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2018133458A priority Critical patent/JP6461411B1/ja
Application granted granted Critical
Publication of JP6461411B1 publication Critical patent/JP6461411B1/ja
Publication of JP2020010763A publication Critical patent/JP2020010763A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

【課題】可視光とIR励起光に基づく蛍光とを同時撮像して患部の詳細が判明可能な高画質の立体画像を出力して医者等の患部の状態把握を支援する。【解決手段】内視鏡システムは、被検体に照射する励起光をカットする励起光カットフィルタを有し、励起光カットフィルタを通過した光に基づく撮像を行う第1撮像部と、非可視光をカットする非可視光カットフィルタを有し、非可視光フィルタを通過した光に基づく撮像を行う第2撮像部と、第1の撮像部が撮像した第1撮像画像と第2の撮像部が撮像した第2撮像画像とに基づいて、被検体の立体画像を生成する画像処理部と、を備える。【選択図】図10

Description

本開示は、被検体からの光に基づく撮像により被検体の立体画像を生成する内視鏡システムに関する。
特許文献1には、第1の受光部および第2の受光部を内視鏡に設け、白色光による通常のカラー画像とともに、カラー画像とは異なる蛍光観察用画像等の他の画像を取得する内視鏡システムが開示されている。この内視鏡システムでは、第1の受光部は、第1の光学系を介して入射した光を受光して体腔内のカラー画像を撮像する。一方で、第2の受光部は、所定波長帯の光のみを透過する分光フィルタを有し、所定波長帯の蛍光に対応する蛍光観察用画像をモノクロ画像として撮像する。
特許第5245022号公報
特許文献1によれば、第1の受光部および第2の受光部のうち一方がカラー画像を撮像し、他方が蛍光観察画像を生成することは可能である。しかし、特許文献1では、特性(例えば、波長帯域)がそれぞれ異なる撮像光に基づく撮像により得られたカラー画像および蛍光観察画像を用いて、立体画像を生成することは考慮されていない。
ここで、蛍光観察画像内視鏡を用いた検査あるいは手術等において、カラー画像は患者等の被検体の患部を含む周囲の全体的な様子を確認可能とする役割を有し、一方、蛍光観察画像は蛍光薬剤が事前に投与されて集積した患部の詳細な様子を確認可能とする役割を有する。特許文献1において、撮像面を構成する画素(例えば、赤(R)−緑(G)−青(B)−緑(G)のベイヤ配列された色フィルタ)は、それぞれ可視光より長波長側の近赤外光(IR光)の感度を有する。このため、例えば、蛍光を発光させるためのIR帯の励起光の光量に反応して、撮像されたカラー画像の色味成分に、それぞれの色フィルタの感度差に応じた色味成分が余分に加算され、高精度なカラー画像の撮像が困難となっていた。
このように、役割の異なるカラー画像と蛍光観察画像とを用いて、患部等の詳細が分かる立体画像を生成することは、特許文献1のような従来技術では容易には行えないという課題があった。
本開示は、上述した従来の状況に鑑みて案出され、可視光とIR励起光に基づく蛍光とを同時撮像して患部の詳細が判明可能な高画質の立体画像を出力して医者等の患部の状態把握を支援する内視鏡システムを提供することを目的とする。
本開示は、被写体に照射する励起光をカットする励起光カットフィルタを有し、前記励起光カットフィルタを通過した光に基づく撮像を行う第1撮像部と、非可視光をカットする非可視光カットフィルタを有し、前記非可視光フィルタを通過した光に基づく撮像を行う第2撮像部と、前記第1の撮像部が撮像した第1撮像画像と前記第2の撮像部が撮像した第2撮像画像とに基づいて、前記被写体の立体画像を生成する画像処理部と、を備える、内視鏡システムを提供する。
本開示によれば、可視光とIR励起光に基づく蛍光とを同時撮像して患部の詳細が判明可能な高画質の立体画像を出力でき、医者等の患部の状態把握を支援できる。
実施の形態1に係る内視鏡システムの概要の一例を示す図 スコープの先端の外観を示す斜視図 スコープの先端の外観を示す正面図 スコープ内に配置される右眼撮像部の構成を示す断面図 スコープ内に配置される左眼撮像部の構成を示す断面図 イメージセンサの構造を説明する模式図 バンドカットフィルタの特性を示すグラフ IRカットフィルタの特性を示すグラフ イメージセンサの感度を示すグラフ ビデオプロセッサの構成例を示すブロック図 画像処理制御部のハードウェア構成を示す図 観察対象に照射される光および観察対象からの反射光を説明する図 白色光およびIR励起光の点灯制御を示すタイミングチャート
(本開示に係る実施の形態に至る経緯の一例の説明)
電子内視鏡システムに関する先行技術として、例えば特許第5435916号公報が知られている。この特許第5435916号公報では、電子内視鏡システムは、第1撮像モードでは、1フレーム期間(例えば1/30秒間)を単位として通常光と特殊光とを交互に切り替え、撮像領域内の全ての画素から撮像信号を読み出さずに半数の画素からのみ撮像信号を読み出すことで、1フレーム期間ごとに通常光画像と特殊光画像とを交互に取得する。また、電子内視鏡システムは、第2撮像モードでは、2フレーム期間を単位として通常光と特殊光とを交互に切り替え、撮像領域内の全ての画素から撮像信号を読み出して2フレーム期間ごとに通常光画像と特殊光画像とを交互に取得する。
しかし、上述した特許第5435916号公報では、第1撮像モードおよび第2撮像モードのいずれにおいても通常光および特殊光(例えばIR励起光)の照射を短い時間(例えば、1/30秒、1/60秒)ごとに時分割に交互に切り替えられるので、照射の制御が煩雑となり汎用性に欠けるという課題があった。また、1つのCMOS(Complementary Metal Oxide Semiconductor)センサを用いて、第1撮像モードでは1フレーム期間ごと、第2撮像モードでは2フレーム期間ごとにそれぞれ通常光画像、特殊光画像を撮像しているので、実質的に同時(言い換えると、CMOSセンサの露光期間)に通常光の撮像と特殊光の撮像とを行えていないという課題があった。
そこで、上述した特許第5435916号公報に対し、可視光およびIR励起光のそれぞれの照射の制御を簡易化して汎用性を向上し、可視光とIR励起光に基づく蛍光とを同時撮像して患部の詳細が判明可能な高画質撮像画像を出力して医者等の患部の状態把握を支援する内視鏡および内視鏡システムの提供が求められるところである。
以下、適宜図面を参照しながら、本開示に係る内視鏡システムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
図1は、実施の形態1における内視鏡システム5の概要の一例を示す図である。以下の説明において、「上」、「下」、「前」、「後」は、図1に示すそれぞれの方向に従う。例えば、水平面に置かれたビデオプロセッサ30の上方向,下方向をそれぞれ「上」,「下」と称し、内視鏡10が観察対象を撮像する側を「前」と称し、内視鏡10がビデオプロセッサ30に接続される側を「後」と称する。また、内視鏡10の挿入方向先端から前方を向き、右手側が「右」に対応し、左手側が「左」に対応する。
内視鏡システム5は、内視鏡10と、ビデオプロセッサ30と、モニタ40とを含む構成である。内視鏡10は、例えば医療用の軟性鏡である。ビデオプロセッサ30は、被検体内の観察対象(例えば、血管、皮膚、人体内部の臓器壁等)に挿入された内視鏡10により撮像されて得られた撮像画像(例えば、静止画もしくは動画)に対して所定の画像処理を施して3Dモニタ40に出力する。3Dモニタ40は、ビデオプロセッサ30から出力された、画像処理後の左右の視差を有する撮像画像(例えば、後述するRGB(Red Green Blue)画像に、IR(Infrared Ray)帯で蛍光発光した蛍光画像中の蛍光部分をRGB画像中の対応箇所(つまり、画像中の座標)に重畳した合成画像)を入力して立体的(3D)に表示する。なお、3Dモニタ40は、ビデオプロセッサ30から画像処理後の合成画像(上述参照)を一方のみ入力した場合には、その合成画像を2D表示してよい。画像処理は、例えば、色調補正、階調補正およびゲイン調整の各処理が該当するが、これらの処理に限定されない。
内視鏡10は、例えば人体である被検体内に挿入され、観察対象の3D映像を撮像することができる。内視鏡10は、3D映像を構成する一方の映像(例えば、右眼用映像)を撮像するための右眼撮像部21R(第1撮像部の一例)と、3D映像を構成する他方の映像(例えば、左眼用映像)を撮像するための左眼撮像部21L(第2撮像部の一例)とを有する。
具体的には、内視鏡10は、挿入先端部を構成して観察対象の内部に挿入されるスコープ13と、スコープ13の後端部が接続されるプラグ部16とを含む。スコープ13は、比較的長い可撓性を有する軟性部11と、軟性部11の先端に設けられた剛性を有する硬性部12とを含む。スコープ13の構造については後述する。
ビデオプロセッサ30は、筐体30zを有し、内視鏡10により撮像された画像に対して画像処理を施し、画像処理後の画像を表示データとして3Dモニタ40に出力する。筐体30zの前面には、プラグ部16の基端部16zが挿入されるソケット部30yが配置される。プラグ部16の基端部16zがソケット部30yに挿入され、内視鏡10とビデオプロセッサ30とが電気的に接続されることで、内視鏡10とビデオプロセッサ30との間で電力および各種のデータもしくは情報(例えば、撮像された映像のデータもしくは各種の制御情報)の送受信が可能となる。これらの電力および各種のデータもしくは情報は、スコープ13の内部に挿通された伝送ケーブル(図示略)を介して、プラグ部16から軟性部11側に伝送される。また、硬性部12の内側に設けられたイメージセンサ22から出力される撮像画像のデータは、伝送ケーブルを介して、プラグ部16からビデオプロセッサ30に伝送される。また、軟性部11は、内視鏡10の操作部(図示略)への入力操作に応じて、可動(例えば屈曲)する。内視鏡10の操作部(図示略)は、例えばビデオプロセッサ30に近い内視鏡10の基端側に配置される。
ビデオプロセッサ30は、伝送ケーブルを介して伝送された画像のデータに対し、所定の画像処理(上述参照)を施し、画像処理後の画像のデータを表示データとして生成変換して、3Dモニタ40に出力する。
3Dモニタ40は、例えば、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)もしくは有機EL(Electroluminescence)等の表示デバイスを用いて構成される。3Dモニタ40は、ビデオプロセッサ30により画像処理が施された後の画像(つまり、内視鏡10によって撮像された観察対象の画像)のデータを表示する。3Dモニタ40に表示された画像は、例えば内視鏡を用いた手術中に医者等によって視認される。実施の形態1では、3Dモニタ40は、上述したように、観察対象が撮像された画像を3D映像で表示可能である。
図2は、スコープ13の先端13zの外観を示す斜視図である。図3は、スコープ13の先端13zの外観を示す正面図である。スコープ13の先端13zには、右眼用撮像窓41R、左眼用撮像窓41L、右眼用白色光照射窓43R、左眼用白色光照射窓43L、右眼用励起光照射窓45R、および左眼用励起光照射窓45Lが配置される。なお、右眼用白色光照射窓43Rおよび左眼用白色光照射窓43Lと、右眼用励起光照射窓45Rおよび左眼用励起光照射窓45Lとは互いに上下で入れ替わるようにそれぞれ配置されてもよい。
右眼用白色光照射窓43R,左眼用白色光照射窓43Lには、観察対象を白色光(つまり、通常のRGB(Red Green Blue)の可視光)で照射するための白色光照明部23R,23L(図4,図5参照)がそれぞれ当接するように配置される。白色光照明部23R,23Lには、それぞれ光ファイバ231R,231Lによって基端側の可視光源52から照射された白色光が導光される。なお、基端側に可視光源52(図10参照)が配置されず、例えば白色光照明部23R,23L内に白色光を照射可能な白色LED(図示略)がそれぞれ直接に配置されてもよい。この場合、それぞれの白色LEDから照射された白色光が白色光照明部23R,23Lを介して右眼用白色光照射窓43R,左眼用白色光照射窓43Lから観察対象に照射される。
右眼用励起光照射窓45R,左眼用励起光照射窓45Lには、観察対象をIR帯の励起光(以下、「IR励起光」という)で照射するための励起光照明部25R,25L(図4,図5参照)がそれぞれ当接する。励起光照明部25R,25Lには、それぞれ光ファイバ251R.251Lによって基端側のIR励起光源53から照射されたIR励起光が導光される。なお、基端側にIR励起光源53(図10参照)が配置されず、例えば励起光照明部25R,25L内にIR帯の励起光を照射可能なIR−LED(図示略)がそれぞれ直接に配置されてもよい。この場合、それぞれのIR−LEDから照射されたIR帯の励起光が励起光照明部25R,25Lを介して右眼用励起光照射窓45R,左眼用励起光照射窓45Lから観察対象に照射される。
ここで、IR励起光は、人体である被検体に投与されて患部に集積したICG(インドシアニングリーン)等の蛍光薬剤を照射することでその蛍光薬剤を励起させて蛍光を発光させる役割を有する。IR励起光は、例えば690nm〜820nm程度の波長帯域を有する近赤外光である。右眼用撮像窓41Rの裏側(つまり、背面側)には、観察対象を撮像するための右眼撮像部21R(図4参照)が配置される。同様に、左眼用撮像窓41Lの裏側(つまり、背面側)には、観察対象を撮像するための左眼撮像部21L(図5参照)が配置される。なお、図3には、右眼撮像部21Rおよび左眼撮像部21Lのうち、例えば右眼撮像部21R側に配置されるIRカットフィルタ28(図4参照)の位置を表す矩形の点線枠28zが示される。
図4は、スコープ13内に配置される右眼撮像部21Rの構成を示す断面図である。右眼撮像部21Rでは、観察対象側(つまり、対物側)から順に光軸に沿って、負レンズ211R、IRカットフィルタ28、対物カバーガラス212R、バンドカットフィルタ29R、第1レンズ213R、スペーサ214R、第2レンズ215R、第3レンズ216R、および第4レンズ217Rが配置される。
IRカットフィルタ28は、右眼撮像部21Rに入射するIR帯(つまり、波長700nm以上の波長帯域)の光の透過をカット(遮断)する。つまり、IRカットフィルタ28は、第4レンズ217Rよりも後段側(つまり、後側)に配置されるイメージセンサ22RにIR帯の光を結像させず、透過する波長700nm未満の波長帯域の白色光(つまり、可視光)をイメージセンサ22Rに結像させる(図8参照)。
バンドカットフィルタ29Rは、例えば、被検体に投与されるICG(インドシアニングリーン)等の蛍光薬剤を励起させて蛍光発光させるためのIR励起光の波長帯域を含む波長700nm〜830nmの光の透過をカット(遮断)する(図7参照)。バンドカットフィルタ29Rは、例えば蒸着により対物カバーガラス212Rの裏面(背面側)に形成される。
負レンズ211R、第1レンズ213R、第2レンズ215R、第3レンズ216R、および第4レンズ217Rは、レンズ群RGを形成し、観察対象からの光(例えば、患部等で反射した白色光、患部等の蛍光薬剤の蛍光発光により生じた蛍光)を集光し、イメージセンサ22Rの撮像面に結像させる。スペーサ214Rは、第1レンズ213Rと第2レンズ215Rの間に介在して配置され、これらの位置を安定させる。対物カバーガラス212Rは、レンズ群RGを外部から保護する。リアホルダ225Rは、レンズ群RGを安定的に保持する。
また、右眼撮像部21Rでは、連結部材221Rを介してレンズ群RGに接続される、センサカバーガラス218R、イメージセンサ22Rおよびセンサ基板219Rが配置される。
連結部材221Rは、レンズ群RGをセンサカバーガラス218Rに密着させる。センサカバーガラス218Rは、イメージセンサ22Rの撮像面に配置され、撮像面を保護する。イメージセンサ22Rは、例えばIR光、赤色光、青色光および緑色光を同時に受光可能な単板式の固体撮像素子である。イメージセンサ22Rの構造については後述する(図6参照)。センサ基板219Rには、イメージセンサ22Rが動作可能に実装される。
また、スコープ13内において、右眼撮像部21Rの上方には、白色光を白色光照明部23Rに導光する光ファイバ231Rが配置される。右眼撮像部21Rの下方には、IR励起光を励起光照明部25Rに導光するための光ファイバ251Rが配置される。
図5は、スコープ13内に配置される左眼撮像部21Lの構成を示す断面図である。左眼撮像部21Lは、IRカットフィルタ28を有しない点を除き、右眼撮像部21Rと同一の構成を有する。即ち、左眼撮像部21Lでは、観察対象側(つまり、対物側)から光軸に沿って、負レンズ211L、対物カバーガラス212L、バンドカットフィルタ29L、第1レンズ213L、スペーサ214L、第2レンズ215L、第3レンズ216L、および第4レンズ217Lが配置される。
バンドカットフィルタ29Lは、例えば、被検体に投与されるICG(インドシアニングリーン)等の蛍光薬剤を励起させて蛍光を発光させるためのIR励起光の波長帯域を含む波長700nm〜830nmのIR励起光の透過をカット(遮断)する(図7参照)。バンドカットフィルタ29Lは、例えば蒸着により対物カバーガラス212Lの裏面(背面側)に形成される。
負レンズ211L、第1レンズ213L、第2レンズ215L、第3レンズ216L、および第4レンズ217Lは、レンズ群LGを形成し、観察対象からの光(例えば、患部等で反射した白色光、患部等の蛍光薬剤の蛍光発光により生じた蛍光)を集光し、イメージセンサ22Lの撮像面に結像させる。スペーサ214Lは、第1レンズ213Lと第2レンズ215Lの間に介在して配置され、これらの位置を安定させる。対物カバーガラス212Lは、レンズ群LGを外部から保護する。リアホルダ225Lは、レンズ群LGを安定的に保持する。
また、左眼撮像部21Lでは、連結部材221Lを介してレンズ群LGに接続される、センサカバーガラス218L、イメージセンサ22Lおよびセンサ基板219Lが配置される。
連結部材221Lは、レンズ群LGをセンサカバーガラス218Lに密着させる。センサカバーガラス218Lは、イメージセンサ22Lの撮像面に配置され、撮像面を保護する。イメージセンサ22Lは、例えばIR光、赤色光、青色光および緑色光を同時に受光可能な単板式の固体撮像素子である。イメージセンサ22Lの構造については後述する(図6参照)。センサ基板219Lには、イメージセンサ22Lが動作可能に実装される。
また、スコープ13内において、左眼撮像部21Lの上方には、白色光を白色光照明部23Lに導光する光ファイバ231Lが配置される。右眼撮像部21Rの下方には、IR励起光を励起光照明部25Lに導光するための光ファイバ251Lが配置される。
なお、図4,図5では、バンドカットフィルタ29R,29Lは、それぞれ対物カバーガラス212R,212Lの裏面に形成されるが、センサカバーガラス218R,218Lの前面に形成されてもよい。また、イメージセンサ22R,22Lを特に区別しない場合、単にイメージセンサ22と称する。
図6は、イメージセンサ22の構造を説明する模式図である。イメージセンサ22の前面には、IR、赤色(R)、青色(B)および緑色(G)の波長の光をそれぞれ透過させる色フィルタ22zがベイヤ配列で配置される。図6では、蛍光を透過させるための色フィルタが設けられた画素を便宜的に「IR/G」と示している。「IR/G」は、IR光を受光可能な画素として、IR光だけを透過させる色フィルタが設けられた専用のIR画素、またはIR帯に感度を有する緑色用画素を用いてもよいことを表す。つまり、緑色用画素は、IR光の波長域においても、十分に撮像可能な感度を有する(図9参照)。なお、青色用画素あるいは赤色用画素においても、IR光の波長域で撮像可能な感度を有するので、これらの画素(つまり、青色用画素あるいは赤色用画素)をIR光の検出用画素として使用してもよい。
イメージセンサ22は、例えば、CCD(Charged Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子である。イメージセンサ22は、矩形に成形され、単板式カメラとして、IR光、赤色光、青色光および緑色光を同時に受光可能である。
図7は、バンドカットフィルタ29R,29Lの特性を示すグラフである。縦軸は透過率(%)を表し、横軸は波長(nm)を表す。バンドカットフィルタ29R,29Lは、白色光の波長帯域である波長700nm未満の光(つまり、可視光)を透過する。バンドカットフィルタ29R,29Lは、被検体に投与されるICG(インドシアニングリーン)等の蛍光薬剤を励起させて蛍光を発光させるためのIR励起光の波長帯域を含む700nm〜850nmの帯域のIR光の透過をカット(遮断)し、上述した蛍光薬剤の蛍光発光により生じた蛍光の波長帯域を含む860nm以上のIR光を透過する。
励起光は、IRの波長帯域(つまり、例えば690nm〜820nm程度の波長帯域)に限定されない。例えば、被検体(つまり、人体)の皮膚内には自家蛍光する特徴を有する蛍光物質が含有されており、この蛍光物質を励起させて自家蛍光させる場合、励起光は、例えば380nm〜450nmの波長帯域を有する紫外線でもよい。正常(健常)な皮膚であれば、励起光(上述した紫外線等)により励起されて発生した自家蛍光の光量は強いが、皮膚に腫瘍等の病変部が発生している場合には自家蛍光の光量が弱い。つまり、内視鏡システム5は、励起光として紫外線を使用し、自家蛍光の光量(具体的には、励起光の強度(光量)に対する自家蛍光の光量の比率)に基づいて、皮膚における病変部の有無が判別可能となる。
右眼撮像部21Rおよび左眼撮像部21Lのいずれにも、それぞれバンドカットフィルタ29R,29Lが配置される。バンドカットフィルタ29R,29Lは、それぞれ励起光照明部25R,25Lから照射され、観察対象(例えば、被検体内の患部)で一部反射した反射IR励起光(例えば波長690nm〜820nmの光)の透過をカット(遮断)する。また、バンドカットフィルタ29R,29Lは、それぞれICG等の蛍光薬剤が投与されて集積された観察対象でその蛍光薬剤が蛍光発光した蛍光(例えば波長860nm〜900nmの光)を透過させる。イメージセンサ22Lは、蛍光を受光し、IR蛍光画像を生成する。
図8は、IRカットフィルタ28の特性を示すグラフである。縦軸は透過率(%)を表し、横軸は波長(nm)を表す。図8に示されるように、IRカットフィルタ28は、波長700nm未満の可視光を透過し、波長700nm以上のIR光の透過を全てカット(遮断)する。右眼撮像部21Rでは、対物カバーガラス212Rの表面にIRカットフィルタ28が配置される。なお、IRカットフィルタ28は、右眼撮像部21Rでなく、左眼撮像部21Lの対物カバーガラス212Lの表面に配されてもよい。IRカットフィルタ28によってIR光が全てカットされるので、イメージセンサ22Rは、IR蛍光画像を生成しない。また、イメージセンサ22Rは、IRカットフィルタ28を通過した白色光だけを受光してIR光を受光しないので、IR帯の画素成分を有しない鮮明なRGB画像を生成することができる。
図9は、イメージセンサ22の感度を示すグラフである。縦軸は感度を示し、横軸は波長(nm)を示す。イメージセンサ22を構成する画素のうち、R,G,B画素は、白色光(R,G,Bの光)に対してそれぞれ大きな感度を有し、また、IR光の波長帯域に対しても撮像に適する十分な感度を有する。一方、IR画素は、IR光に対して大きな感度を有する。従って、イメージセンサ22は、白色光の波長域において大きな感度を有し、また、IR蛍光の波長域においても大きな感度を有する。
左眼撮像部21Lでは、バンドカットフィルタ29Lが配置されるが、IRカットフィルタ28は配置されない。イメージセンサ22Lに白色光および蛍光が入射すると、イメージセンサ22Lは、白色光によるRGB画像を生成するとともに、830nm以上の波長域でIR蛍光画像を生成する。従って、イメージセンサ22Lは、図9に示される蛍光撮像領域の波長帯域における赤(R),緑(G),青(B)の感度の差(R>G>B)により、多少赤みがかったRGB画像を生成することになる。言い換えると、イメージセンサ22Lにより生成されたRGB画像は、部分的にIR帯の画素成分を有したものとなり、イメージセンサ22Rのように鮮明なRGB画像を生成できない。言い換えると、イメージセンサ22R,22Lによりそれぞれ生成されたRGB画像の色調が異なってしまう。
そこで、実施の形態1に係る内視鏡システム5は、上述した色調が異なるRGB画像の色成分をそれぞれ抽出してIR帯の画素成分が含まれたRGB画像の部分の色調を、鮮明なRGB画像の部分の色調に補正(つまり、色調補正)する。この内視鏡システム5の構成について、図10を参照して説明する。
図10は、ビデオプロセッサ30の構成例を示すブロック図である。ビデオプロセッサ30は、CPU31と、右眼用画像処理部30Rと、左眼用画像処理部30Lとを含む構成である。CPU31は、内視鏡システム5全体の各部の動作の制御を司るマスタCPUであり、ビデオプロセッサ30の各部の動作を全体的に統括するための制御処理、ビデオプロセッサ30の各部との間のデータの入出力処理、データの演算(計算)処理およびデータの記憶処理を行う。
右眼用画像処理部30Rは、画像処理制御部32Rと、フレームメモリ33Rと、ビデオメモリ34Rと、ビデオコントローラ35Rとを有する。画像処理制御部32Rとビデオコントローラ35Rとは、CPU、DSP(Digital Signal Processor)あるいはFPGA(Field Programmable Gate Array)等のプロセッサを用いて構成される。
画像処理制御部32Rは、イメージセンサ22Rで撮像された画像に対し、色調補正等の画像処理を行う。また、IRカットフィルタ28によってIR光がカットされるので、イメージセンサ22Rは、IR蛍光画像を撮像せず、鮮明なRGB画像を撮像可能である。なお、画像処理制御部32Rは、左眼用のイメージセンサ22Lで撮像されたIR蛍光画像を取得し、このIR蛍光画像を用いて、右眼から見た場合の出力画像(例えば、イメージセンサ22Rで撮像された鮮明なRGB画像に、イメージセンサ22Lにより撮像されたIR蛍光画像中の蛍光発光部分を重畳した合成画像)を生成する。このとき、合成画像は、右眼用撮像窓41Rと左眼用撮像窓41Lとの位置を基に、所定の視差が形成されるように生成される。なお、合成画像は、視差が形成されずに生成されてもよく、この場合には、サイマル方式に従って3Dモニタ40において表示される際に、3Dモニタ40の処理として視差が形成される。
画像処理制御部32Rは、同期制御部321Rおよび通信制御部322Rを有する。同期制御部321Rは、右眼用(例えばマスタ側)の画像処理制御部32Rと、左眼用(例えばスレーブ側)の画像処理制御部32Lとの間で処理のタイミングを同期させるための制御(いわゆる、同期制御)を行う。ここでは、IRカットフィルタ28が配置される右眼撮像部21Rに対応する右眼用画像処理部30Rの画像処理制御部32Rがマスタと設定され、IRカットフィルタ28が配置されない左眼撮像部21Lに対応する左眼用画像処理部30Lの画像処理制御部32Lがスレーブと設定される。
同期制御部321Rは、画像を読み取るための同期制御信号をイメージセンサ22Rに出力する。また、同期制御部321Rは、左眼用(スレーブ側)の画像処理制御部32Lに対し、通信制御部322Rを介して、画像を読み取るための同期制御信号を送出する。同期制御部321Rには、ビデオプロセッサ30内またはビデオプロセッサ30外からのマスタ信号が入力される。マスタ信号は、上記画像を読み取るための同期制御信号を含む他、画像処理制御部32Rをマスタ側に設定するための信号を含む。この信号は、外部スイッチやモニタに表示されたメニュー等を用いて、ユーザ操作により生成される。なお、ユーザ操作により、画像処理制御部32Lをマスタ側に設定するための信号を生成してもよい。
通信制御部322Rは、マスタ側の同期制御部321Rからの信号を、左眼用(スレーブ側)の通信制御部322Lに伝送する。また、通信制御部322Rは、通信制御部322Lとの間でコマンド、上述したIR蛍光画像のデータ、さらにRGBの各色味成分データ(つまり、右眼撮像部21Rにより撮像されたIR帯がカットされたRGBの各色味成分を示すデータ)を送受信する。
フレームメモリ33Rは、画像を一時的に記憶する半導体メモリであり、赤(R),緑(G),青(B)の各色味成分データおよびIR蛍光画像のデータを記憶するラインメモリとして使用される。ビデオメモリ34Rは、3Dモニタ40に出力可能な映像データ(上述した合成画像)を記憶するメモリである。ビデオコントローラ35Rは、ビデオメモリ34Rから読み出した映像データを3Dモニタ40の映像出力形式(例えば、NTSC(National Television System Committee)あるいはPAL(Phase Alternation Line)に適したデータに変換して出力する。
同様に、左眼用画像処理部30Lは、画像処理制御部32Lと、フレームメモリ33Lと、ビデオメモリ34Lと、ビデオコントローラ35Lとを有する。画像処理制御部32Lとビデオコントローラ35Lとは、CPU、DSPあるいはFPGA等のプロセッサを用いて構成される。
画像処理制御部32Lは、イメージセンサ22Lで撮像された画像に対し、色調補正等の画像処理を行う。画像処理制御部32Lは、画像処理制御部32Rから送られた鮮明なRGB画像(つまり、IRカットフィルタ28を透過した白色光に基づいて撮像されたRGB画像)とイメージセンサ22Lで撮像されたIR蛍光画像とを用いて、左眼から見た場合の出力画像(例えば、イメージセンサ22Rにより撮像された鮮明なRGB画像に、イメージセンサ22Lにより撮像されたIR蛍光画像中の蛍光発光部分を重畳した合成画像)を生成する。このとき、合成画像は、右眼用撮像窓41Rと左眼用撮像窓41Lとの位置を基に、所定の視差が形成されるように生成される。なお、合成画像は、視差が形成されずに生成されてもよく、この場合には、サイマル方式に従って3Dモニタ40において表示される際に、3Dモニタ40の処理として視差が形成される。
画像処理制御部32Lは、同期制御部321Lおよび通信制御部322Lを有する。同期制御部321Lは、左眼用(例えばスレーブ側)の画像処理制御部32Lと、右眼用(例えばマスタ側)の画像処理制御部32Rとの間で処理のタイミングを同期させるための制御(いわゆる、同期制御)を行う。
同期制御部321Lは、マスタ側の画像処理制御部32Rから伝送される同期制御信号に同期して、画像を読み取るための同期制御信号をイメージセンサ22Lに出力する。これにより、右眼用のイメージセンサ22Rで撮像される画像と、左眼用のイメージセンサ22Lで撮像される画像とを同じタイミングに揃えることができる。
通信制御部322Lは、マスタ側の通信制御部322Rから伝送される同期制御信号を入力する。また、通信制御部322Lは、右眼用画像処理部30Rの通信制御部322Rとの間でコマンド、上述したIR蛍光画像のデータ、さらにRGBの各色味成分データ(つまり、右眼撮像部21Rにより撮像されたIR帯がカットされたRGBの各色味成分を示すデータ)を送受信する。
フレームメモリ33Lは、画像を一時的に記憶する半導体メモリであり、赤(R),緑(G),青(B)の各色味成分データおよびIR蛍光画像のデータを記憶するラインメモリとして使用される。ビデオメモリ34Lは、3Dモニタ40に出力可能な映像データ(上述した合成画像)を記憶するメモリである。ビデオコントローラ35Lは、ビデオメモリ34Lから読み出した映像データを3Dモニタ40の映像出力形式(例えば、NTSCあるいはPAL)に適した映像データに変換して出力する。
3Dモニタ40は、ビデオコントローラ35Rから出力された合成画像(つまり、出力映像)のデータと、ビデオコントローラ35Lから出力された合成画像(つまり、出力映像)のデータとを入力し、入力された双方の合成画像を3D映像として表示する。なお、モニタ40は、これらの映像データのいずれか一方のみを入力した場合には、その一方の映像データを2D映像として表示してよい。
ビデオプロセッサ30は、駆動回路51と、可視光源52と、IR励起光源53とを含む構成である。駆動回路51は、CPU31から供給される制御信号sgに従って制御される。
駆動回路51は、可視光源52を駆動し、可視光(例えば白色光)を一定の間隔で間欠的にパルス発光させる(図13参照)。可視光源52は、可視光画像を撮像するタイミングで、可視光を観察対象に向けて間欠的に照射する。撮像期間は、観察対象を内視鏡10で撮像する期間である(図13参照)。具体的には、可視光源52は、単一の光源であり、照射された白色光を、光ファイバ231Rおよび白色光照明部23Rを介して右眼用白色光照射窓43R、光ファイバ231Lおよび白色光照明部23Lを介して左眼用白色光照射窓43Lからそれぞれ照明する。白色光の場合、パルス間隔の短い発光であっても、強い光が得られる。
また、駆動回路51は、IR励起光源53を駆動し、IR励起光を連続発光させる(図13参照)。IR励起光源53は、撮像期間において、連続的に点灯し、IR励起光を観察対象に向けて連続的に照射する(図13参照)。なお、図13では、可視光が一定の間隔で間欠的にパルス発光され、IR励起光が連続発光されているが、反対に、IR励起光が一定の間隔で間欠的にパルス発光され、可視光が連続発光されてもよい。また、図13では、可視光が一定の間隔で間欠的にパルス発光され、IR励起光が連続発光されているが、可視光およびIR励起光がともに、一定の間隔で交互に間欠的にパルス発光されてもよい。具体的には、IR励起光源53は、レーザダイオード(図示略)を有し、レーザダイオードから光ファイバ251R,251Lをそれぞれ経由し、波長690nm〜820nmのIR励起光を右眼用励起光照射窓45R,左眼用励起光照射窓45Lからそれぞれから出射する。IR励起光は連続光であっても、観察対象によって励起される蛍光は、微弱な光である。
図11は、画像処理制御部32R,32Lのハードウェア構成を示す図である。画像処理制御部32Rと画像処理制御部32Lは、同様の構成を有するので、ここでは、主に画像処理制御部32Rについて説明し、画像処理制御部32Lについては画像処理制御部32Rと異なる内容について説明する。
画像処理制御部32Rは、同期制御部321Rと、通信制御部322Rとの他に、色別格納部323Rと、色情報比率取得部324Rと、色被り補正部325と、配列変更部326Rと、映像データ出力部327Rと、メモリ制御部328Rとを有する。
色別格納部323Rは、イメージセンサ22Rから入力される赤(R),緑(G),青(B),IRの各画素の色味成分データを一時的に記憶し、かつ、メモリ制御部328Rを介して、フレームメモリ33Rに格納する制御を行う。メモリ制御部328Rは、フレームメモリ33Rに記憶されるデータの入出力を制御する。フレームメモリ33Rは、赤(R),緑(G),青(B),IRの各画素の色味成分データを記憶する。
色情報比率取得部324Rは、フレームメモリ33Rから読み出した赤(R),緑(G),青(B),IRの各画素の色味成分データを用いて、赤(R),緑(G),青(B)の色成分を分析して色成分比率情報を取得する。
マスタ側(つまり、色被り補正部325R)では、色被り補正の処理が不要であり、スレーブ側(つまり、色被り補正部325L)では、色被り補正の処理が実行される。色被り補正部325Rは、フレームメモリ33Rから読み出した鮮明なRGB画像の赤(R),緑(G),青(B)の色味成分データと、画像処理制御部32Lから送られたIR蛍光画像とを用いて、右眼から見た場合の出力画像(例えば、イメージセンサ22Rで撮像された鮮明なRGB画像に、イメージセンサ22Lにより撮像されたIR蛍光画像中の蛍光発光部分を重畳した合成画像)を生成する。
一方、色被り補正部325Lは、マスタ側の画像処理制御部32Rから通信制御部322Lを介して送られたRGB画像の赤(R),緑(G),青(B)の各色の色成分比率情報と一致するように、イメージセンサ22Lで撮像されたRGB画像における赤(R),緑(G),青(B)の各色の色成分比率を補正する(色調補正)。具体的には、色被り補正部325Lは、色情報比率取得部324Lの分析により得られた左眼撮像部21LからのRGB画像における色成分比率情報と、色情報比率取得部324Rの分析により得られた右眼撮像部21Rからの鮮明なRGB画像における色成分比率情報との差分をとる。さらに、色被り補正部325Lは、この差分値を、色情報比率取得部324Lにより得られた色成分比率に加算する。
また、色被り補正部325Lは、色被り補正部325Rと同様、画像処理制御部32Rから送られてフレームメモリ33Lに記憶された鮮明なRGB画像の各色の色味成分データと、イメージセンサ22Lにより撮像されたIR蛍光画像とを用いて、左眼から見た場合の出力画像(例えば、イメージセンサ22Rにより撮像された鮮明なRGB画像に、イメージセンサ22Lにより撮像されたIR蛍光画像中の蛍光発光部分を重畳した合成画像)を生成する。
配列変更部326Rは、映像データ出力用の配列に、フレームメモリ33Rに格納された各画素データの配列を変更し、ビデオメモリ34Rに映像データを記憶する。映像データ出力部327Rは、ビデオメモリ34Rに記憶された映像データをビデオコントローラ35Rに出力する制御を行う。
次に、上述した実施の形態1に係る内視鏡システム5の動作を説明する。
先ず始めに、撮像動作の概要について、図12を参照して説明する。
図12は、観察対象に照射される光および観察対象からの反射光を説明する図である。内視鏡を用いた検査あるいは手術では、観察対象は、皮膚、臓器壁である。観察に際して、被検体である人体には、注射器を用いて蛍光薬剤が予め観察対象内の血管内に注入される。蛍光薬剤として、例えばインドシアニングリーン(ICG:Indocyanine Green)が用いられる。ICGは、IR励起光の照射前に被検体内に投与されると、腫瘍等の患部に集積する。ICGは、IR励起光(例えば波長780nm)によって励起されると、より長波長(860nm〜900nmの波長)側で蛍光発光する。なお、患部等の観察対象によっては、蛍光薬剤を投与しなくても、励起光を照射するだけで蛍光発光することがある。例えば、皮膚内に含有される蛍光物質に対して励起光(例えば紫外線)を照射すると自家蛍光する場合、蛍光薬剤の投与は不要である。
白色光(波長700nm以下の光)は、観察対象に照射されると、観察対象である皮膚や臓器壁の表面で反射される。左眼撮像部21Lでは、反射した白色光(波長700nm以下の光)は、レンズ群LGおよびバンドカットフィルタ29Lを透過してイメージセンサ22Lに入射する。イメージセンサ22Lは、観察対象の表面からの反射白色光(波長700nm以下の光)によるRGB画像を撮像する。
一方、IR励起光(波長780nmの光)が観察対象に照射されると、観察対象の内部にある血管や患部等の組織に集積されたICGが蛍光発光する。蛍光発光した光(波長860nm〜900nmの光)は、レンズ群LG、バンドカットフィルタ29Lを透過してイメージセンサ22Lに入射する。イメージセンサ22Lは、観察対象(例えば、皮膚、臓器壁、血管や患部等の組織)の画像を撮像する。このとき、観察対象に照射されたIR励起光の一部は、観察対象の表面で反射される。反射IR励起光(波長780nmの光)は、レンズ群LGを透過してバンドカットフィルタ29Lに入射し、バンドカットフィルタ29Lによってカット(遮断)される。従って、イメージセンサ22Lは、IR蛍光(波長860nm〜900nmの光)だけを受光し、IR蛍光画像を撮像する。
一方、右眼撮像部21Rでは、レンズ群RGの前にIRカットフィルタ28が配置される。IRカットフィルタ28は、波長700nm以上の光を全てカットする。従って、蛍光(波長860nm〜900nmの光)と、観察対象の表面で反射された反射IR励起光(波長780nmの光)とは全てカット(遮断)される。イメージセンサ22Rは、観察対象の表面からの反射白色光(700nm以下の光)によるRGB画像だけを撮像する。
次に、観察対象の撮像動作について、図13を参照して説明する。
内視鏡システム5は、ビデオプロセッサ30または内視鏡10に設けられたスイッチ(図示略)を医者等がオンにする操作を受け付けることで、撮像動作を開始する。
図13は、白色光およびIR励起光の点灯制御を示すタイミングチャートである。白色光は、パルス点灯し、点灯(ON)と消灯(OFF)を繰り返す。IR励起光は、連続点灯(ON)を行う。ここでは、白色光を連続点灯する場合、照射量が過大となって生じるハレーションによって白くぼやけて不鮮明な画像になることもあるので、白色光をパルス点灯しているが、IR励起光と同様、白色光を連続点灯してもよい。また逆に、IR励起光をパルス点灯し、白色光を連続点灯してもよい。
撮像動作が開始されると、ビデオプロセッサ30のCPU31は、駆動回路51を駆動する。駆動回路51は、IR励起光源53をオンにし、IR励起光を点灯させる(図13のタイミングt11)。IR励起光は、連続光であるので、撮像期間の終了まで点灯する。IR励起光源53がIR励起光を発光させると、IR励起光は、スコープ13内の光ファイバ251R,251Lを通って右眼用励起光照射窓45R、左眼用励起光照射窓45Lからそれぞれから観察対象に向けて照射される。観察対象は、IR励起光で照明される。観察対象からのIR光は、右眼用撮像窓41R、左眼用撮像窓41Lを通ってそれぞれ右眼撮像部21R、左眼撮像部21Lに入射する。
右眼撮像部21Rでは、観察対象で反射されたIR励起光(波長780nmの光)およびIR蛍光(波長860nm〜900nmの光)は、IRカットフィルタ28で遮断される。左眼撮像部21Lでは、観察対象で反射されたIR励起光(波長780nmの光)は、バンドカットフィルタ29Lによって遮断されるが、IR蛍光(波長860nm〜900nmの光)は、バンドカットフィルタ29Lを透過してイメージセンサ22Lの撮像面に結像する。
タイミングt11では、IR励起光の点灯と同時に、駆動回路51は、可視光源52をオンにし、白色光をパルス点灯する。図13では、白色光は、タイミングt1の期間だけ点灯する。白色光は、スコープ13内の光ファイバ231R,231Lを通って右眼用白色光照射窓43R、左眼用白色光照射窓43Lから観察対象に向けてそれぞれ照射される。観察対象は、白色光で照明される。観察対象からの反射白色光は、右眼用撮像窓41R、左眼用撮像窓41Lを通って右眼撮像部21R、左眼撮像部21Lにそれぞれ入射する。右眼撮像部21Rおよび左眼撮像部21Lでは、観察対象からの反射白色光は、それぞれイメージセンサ22R,22Lの撮像面に結像する。
タイミングt1の期間、白色光およびIR励起光による露光が終了すると、画像処理制御部32Rは、イメージセンサ22RからRGB信号の読み出しを開始する(図13のタイミングt12)。イメージセンサ22Rによって読み出された、可視光データ(RGB信号)は、フレームメモリ33Rのラインメモリに記憶される。
一方、画像処理制御部32Lは、通信制御部322Lを介して、画像処理制御部32Rから伝送される信号に同期する信号の入力に従い、イメージセンサ22LからのIR蛍光信号およびRGB信号の読み出しを開始する。イメージセンサ22Lによって読み出された、可視光データ(RGB信号)および蛍光データ(IR蛍光信号)は、フレームメモリ33Lのラインメモリに記憶される。
このように、タイミングt1の期間では、白色光およびIR励起光の両方が点灯する。右眼撮像部21Rでは、IRカットフィルタ28によって反射IR励起光およびIR蛍光がカットされるので、イメージセンサ22Rは、反射白色光による鮮明なRGB画像だけを撮像する。左眼撮像部21Lでは、イメージセンサ22Lは、蛍光発光したIR蛍光(860nm〜900nmの光)によるIR蛍光画像、および、IR励起光により赤被りの(色味が変化した)、反射白色光によるRGB画像を撮像する。
タイミングt2の期間(非照射期間)では、画像処理制御部32R,32Lは、それぞれイメージセンサ22Rによる右眼用撮像画像、およびイメージセンサ22Lによる左眼用撮像画像の読み取り動作を行う。また、画像処理制御部32R,32Lは、右眼用撮像画像および左眼用撮像画像に対し、それぞれ画像処理を行い、右眼用撮像画像と左眼用撮像画像を重畳した3D映像を表示する。3D映像の表示動作の詳細については後述する。
タイミングt3,t4以降の期間では、タイミングt1,t2の期間と同様の動作が行われる。画像処理制御部32R,32Lが同時に露光動作と読取動作を時分割で交互に行うことで、露光動作と読取動作を区別しない場合と比べ、撮像動作の制御が簡単である。
(3D映像で表示動作)
右眼用撮像画像と左眼用撮像画像とを3Dモニタ40に入力して3D表示する場合、画像処理制御部32Rにより生成された右眼用の出力画像と、画像処理制御部32Lにより生成された左眼用の出力画像とでは、視差によるズレを形成する必要がある。この視差を形成する処理は、3Dモニタ40において表示される際に、例えばフレームシーケンシャル方式のように予めビデオプロセッサ30(画像処理部の一例)において実行されてもよいし、例えばサイマル方式のように3Dモニタ40(画像処理部の一例)において実行されてもよい。言い換えれば、実施の形態1において、3Dモニタ40において3D映像として表示するための表示方式ならびに映像の伝送方式は、上述したサイマル方式やフレームシーケンシャル方式に特に限定されなくてよい。
ビデオプロセッサ30は、右眼撮像部21Rで撮像された右眼用の画像に基づいて画像処理制御部32Rにより生成された出力画像のデータと、左眼撮像部21Lで撮像された左眼用の画像に基づいて画像処理制御部32Lにより生成された出力画像のデータとを3Dモニタ40に出力する。3Dモニタ40は、ビデオプロセッサ30から出力された左眼用の出力画像と右眼用の出力画像とをそれぞれ入力して表示することで、内視鏡10により撮像された出力画像(合成画像)を3D表示する。なお、上述したように、3Dモニタ40は、例えば3D映像をサイマル方式によって表示する際、ビデオプロセッサ30から出力された視差の形成されていない左眼用の出力画像および右眼用の出力画像をそれぞれ入力し、所定の視差を形成した上で表示してよい。
右眼撮像部21Rでは、イメージセンサ22RのRGB画素は、白色光による鮮明なRGB画像を撮像することができる。IRカットフィルタ28によってIR光がカットされるので、イメージセンサ22Rは、IR蛍光画像を撮像しない。右眼撮像部21Rで撮像されたRGB画像は、IR励起光がカットされた鮮明なRGB画像である。フレームメモリ33Rのラインメモリには、鮮明なRGB画像の赤(R),緑(G),青(B)の各色味成分データが記憶される。
一方、左眼撮像部21Lでは、イメージセンサ22LのRGB画素は、白色光によるRGB画像を撮像する。このRGB画素は、IR領域においても感度を有するが、IRカットフィルタ28が左眼撮像部21Lに配置されていないので、IRの波長帯域を有した入射光に基づく画像を撮像する。従って、左眼撮像部21Lで撮像されたRGB画像は、赤(R),緑(G),青(B)のイメージセンサ22Lの感度の差(Rの感度とRの感度に比べて弱いG,Bのそれぞれの感度との差)に基づいて赤み(赤色の波長帯)を帯びた色調を有する画像(赤被りの画像)となる。また、IR画素は、蛍光(860nm〜900nmの光)の受光に基づいてIR蛍光画像を撮像する。フレームメモリ33Lのラインメモリには、赤みを帯びたRGB画像の赤(R),緑(G),青(B)の各色味成分データおよびIRの画素値のデータが記憶される。
画像処理制御部32Rでは、色別格納部323Rは、イメージセンサ22Rで撮像されたRGB画像の各色(つまり、赤(R),緑(G),青(B))の色味成分データをフレームメモリ33Rのラインメモリに記憶する。色情報比率取得部324Rは、フレームメモリ33Rに記憶されたRGB画像の各色の色味成分データを、メモリ制御部328Rを介して読み取り、RGBの色成分比率情報を取得する。色被り補正部325Rは、フレームメモリ33Rに記憶された鮮明なRGB画像の各色の色味成分データと、画像処理制御部32Lから送られたIR蛍光画像とを用いて、右眼から見た場合の出力画像(例えば、イメージセンサ22Rで撮像された鮮明なRGB画像に、イメージセンサ22Lにより撮像されたIR蛍光画像中の蛍光発光部分を重畳した合成画像)を生成する。配列変更部326Rは、RGBの色成分比率情報を基に、色被り補正部325Rにより生成された出力画像を構成する画素ごとの各色データの配列を出力画像のデータ出力用の配列に変更し、ビデオメモリ34Rに記憶する。映像データ出力部327Rは、ビデオメモリ34Rに記憶された映像データをビデオコントローラ35Rに出力する。ビデオコントローラ35Rは、映像データをモニタ40の映像出力形式に適したデータに変換して出力する。
また、画像処理制御部32Lにおける配列変更部326L以降の処理については、画像処理制御部32Rと同様である。配列変更部326Lは、補正後のRGB色成分比率の情報を基に、フレームメモリ33Lに格納された各色データおよびIR蛍光データの配列を映像データ出力用の配列に変更し、ビデオメモリ34Lに記憶する。映像データ出力部327Lは、ビデオメモリ34Lに記憶された映像データをビデオコントローラ35Lに出力する。ビデオコントローラ35Lは、映像データをモニタ40の映像出力形式に適したデータに変換して出力する。
このように、画像処理制御部32Lは、右眼撮像部21Rで撮像されたRGB画像の色調を、左眼撮像部21Lで撮像されるRGB画像の色調に用いることで、IR光がカットされた、マスタ側の鮮明なRGB画像の色味(色調)を、IR光を含むスレーブ側のRGB画像に合わせ込むことができる。スレーブ側の色成分比率をマスタ側の色成分比率に合わせ込むことで、赤被りの画像に対し、画像処理だけで色調を補正できる。また、赤被りの画像を無くすために必要とされる、フィルタ等の別デバイスを不要にできる。
ビデオプロセッサ30は、右眼撮像部21Rで撮像されるRGB画像の映像データと、左眼撮像部21Lで撮像されるRGB画像の映像データとを出力する。3Dモニタ40は、左右のRGB画像の映像データを重畳し、RGB画像を3D映像で表示する。なお、3Dモニタ40は、画像処理制御部32Rあるいは画像処理制御部32Lの一方だけから出力された出力画像のデータを2D映像で表示してもよい。
なお、上述した説明は、例えばフレームシーケンシャル方式に従って、ビデオプロセッサ30が予め右眼用の出力画像、左眼用の出力画像に対して視差を形成する例であった。例えば、サイマル方式を用いる場合には、ビデオプロセッサ30は、視差を形成していない右眼用の出力画像と左眼用の出力画像とを生成する。このとき、3Dモニタ40は、例えば3D映像をサイマル方式によって表示する際、ビデオプロセッサ30から出力された視差の形成されていない左眼用の出力画像および右眼用の出力画像をそれぞれ入力し、所定の視差を形成した上で表示してよい。
以上により、実施の形態1に係る内視鏡システム5は、観察対象(被検体の一例)に照射する励起光をカットするバンドカットフィルタ29L(励起光カットフィルタの一例)を有し、バンドカットフィルタ29Lを通過した光に基づく撮像を行う左眼撮像部21L(第1撮像部の一例)を有する。内視鏡システム5は、IR光(非可視光の一例)をカットするIRカットフィルタ28(非可視光カットフィルタの一例)を有し、IRカットフィルタ28を通過した光に基づく撮像を行う右眼撮像部21R(第2撮像部の一例)を有する。内視鏡システム5は、左眼撮像部21Lが撮像した撮像画像(第1撮像画像の一例)と右眼撮像部21Rが撮像した撮像画像(第2撮像画像の一例)とに基づいて、被検体の立体画像を生成するビデオプロセッサあるいは3Dモニタ40(画像処理部の一例)を有する。
これにより、内視鏡システム5は、励起光がカットされたIR帯の蛍光によって同じタイミングに撮像されたIR蛍光画像と、非可視光の一例としてのIR光がカットされたRGB帯の可視光によって同じタイミングに撮像された可視光とを用いて、観察対象における患部の詳細が判明可能な高画質の立体画像を出力できる。従って、内視鏡システム5によれば、患部の立体画像を撮像可能な内視鏡10を用いた検査あるいは手術等において、患部の位置ならびに術野の深さが判別し易くなるので医者等の患部の状態把握を支援できる。
また、内視鏡システム5は、可視光を照射する可視光源52と、励起光を観察対象(被検体の一例)に照射する励起光源53と、をさらに有する。可視光源52および励起光源53の一方は連続的に照射し、可視光源52および励起光源53の他方は間欠的に照射する。左眼撮像部21Lは、間欠的に照射される他方の光の非照射期間と同期して、バンドカットフィルタ29Lを通過した光に基づいて撮像された第1撮像画像を読み出して出力する。右眼撮像部21Rも、同様に間欠的に照射される他方の光の非照射期間と同期して、観察対象からの光に基づいて撮像された第2撮像画像を読み出して出力する。これにより、内視鏡システム5は、例えばベイヤ配列の色フィルタを有するイメージセンサを用いて、非照射期間に可視光画像とIR蛍光画像を同時に撮像できる。また、赤、青、緑色の画素は、可視光領域の他、IR光の領域においても感度を有するが、右眼撮像部21Rでは、IRカットフィルタ28によってIR光がカットされるので、赤被りの可視光画像を撮像することなく、単板式のイメージセンサで鮮明なRGB画像を取得できる。従って、内視鏡10は、可視光およびIR励起光のそれぞれの照射の制御を簡易化して汎用性を向上でき、可視光とIR励起光に基づく蛍光とを同時撮像して患部の詳細が判明可能な高画質撮像画像を出力して医者等の患部の状態把握を支援することができる。
また、実施の形態1に係る内視鏡10は、観察対象に対し、白色光(可視光の一例)を一定の間隔で間欠的に照射し、IR励起光を連続的に照射する。右眼撮像部21Rは、IR光をカットするIRカットフィルタ28(非可視光カットフィルタの一例)を有し、IRカットフィルタ28を通過した光に基づく撮像を行う。左眼撮像部21Lは、観察対象(被検体の一例)からの光に基づく撮像を行う。右眼撮像部21Rは、間欠的に照射される白色光の非照射期間と同期して、IRカットフィルタ28を通過した光に基づいて撮像したRGB画像を読み出して出力する。左眼撮像部21Lは、間欠的に照射される白色光の非照射期間と同期して、観察対象からの光に基づいて撮像した赤被りのRGB画像およびIR蛍光画像を読み出して出力する。
これにより、内視鏡10は、ベイヤ配列された色フィルタを有するイメージセンサを用いて、非照射期間に可視光画像とIR蛍光画像を同時に撮像できる。また、赤、青、緑色の画素は、可視光領域の他、IR光の領域においても感度を有するが、右眼撮像部21Rでは、IRカットフィルタ28によってIR光がカットされるので、赤被りの可視光画像を撮像することなく、単板式のイメージセンサで鮮明なRGB画像を取得できる。従って、内視鏡10は、可視光およびIR励起光のそれぞれの照射の制御を簡易化して汎用性を向上でき、可視光とIR励起光に基づく蛍光とを同時撮像して患部の詳細が判明可能な高画質撮像画像を出力して医者等の患部の状態把握を支援することができる。
また、IR励起光に基づいてIR励起光より長波長を有する蛍光を発生する蛍光薬剤が被検体に予め投与される。これにより、被検体の一部(例えば、人体の患部)による蛍光発光の光強度が増大し、蛍光観察の精度を向上できる。
また、蛍光薬剤は、ICG(インドシアニングリーン)である。これにより、インドシアニングリーンにIR励起光(例えば、690nm〜820nmの波長帯域)を照射すると、そのIR励起光によりICGが蛍光発光した蛍光が撮像された画像により、被検体の一部である患部(例えばリンパ節)付近の状況を詳細に判明できる。
また、IR励起光は、可視光の波長帯域より長波長を有するIR光である。これにより、IR光が可視光画像の撮像に影響を与えることなく、鮮明なRGB画像を撮像できる。
また、右眼撮像部21R(第2撮像部の一例)は、IR励起光をカットし、かつIR励起光に基づいて発生する蛍光を通過させるバンドカットフィルタ29R(励起光カットフィルタの一例)をさらに有する。これにより、内視鏡10は、IRカットフィルタ28ではカットするのが困難な波長帯域(例えば、可視光の長波長側の波長帯域とIR励起光の波長帯域とが重複する690nm〜700nm)のIR励起光を的確にカット(遮断)できるので、高精度なRGB画像の撮像を右眼撮像部21Rにおいて行える。
また、実施の形態1に係る内視鏡システム5では、画像処理制御部32R(第2画像処理部の一例)は、右眼撮像部21Rで撮像される、RGB画像に対して第2画像処理を施し、第2画像処理が施された第2出力画像を出力する。画像処理制御部32L(第1画像処理部の一例)は、左眼撮像部21Lで撮像される、赤被りのRGB画像およびIR蛍光画像に対して第1画像処理を施し、第1画像処理が施された第1出力画像を出力する。ビデオコントローラ35R(第2出力処理部の一例)は、第2出力画像をモニタ40に出力する。ビデオコントローラ35L(第1出力処理部の一例)は、第1出力画像をモニタ40に出力する。
これにより、内視鏡システム5は、可視光とIR励起光に基づく蛍光とを同時撮像して得られる高画質な撮像画像を3Dモニタ40に平面(2D)的あるいは立体(3D)的に表示できる。
また、画像処理制御部32Rは、第2画像処理のタイミングと第1画像処理のタイミングとの同期を制御するための同期制御信号に基づいて、画像処理制御部32Lとの間の同期を制御する。これにより、内視鏡システム5は、右眼撮像部21Rで撮像される画像と、左眼撮像部21Lで撮像される画像とを同じタイミングに揃えることができる。
また、画像処理制御部32Rは、RGB画像の画素ごとの色成分を示す色成分情報を取得して画像処理制御部32Lに送る。画像処理制御部32Lは、この色成分情報を用いて、第1撮像画像のうち可視光に基づく画像(例えば、赤被りのRGB画像)の色成分を補正する。このように、画像処理制御部32Lは、右眼撮像部21Rで撮像されるRGB画像の色調を、左眼撮像部21Lで撮像されるRGB画像の色調に用いることで、IR光がカットされた、マスタ側の鮮明なRGB画像の色味(色調)を、IR光を含むスレーブ側のRGB画像に合わせ込むことができる。従って、内視鏡システム5によれば、スレーブ側の色成分比率をマスタ側の色成分比率に合わせ込むことで、赤被りのRGB画像に対し、画像処理だけで色調を適正に補正できる。また、赤被りのRGB画像を無くすために必要とされる、フィルタ等の別デバイスの使用を不要にできる。
また、画像処理制御部32Lは、第1撮像画像のうち蛍光に基づく蛍光画像(例えば、IR蛍光画像)を画像処理制御部32Rに送る。画像処理制御部32Rは、RGB画像に、IR蛍光画像の蛍光発光部分を重畳した第2重畳画像を生成して第2出力画像としてビデオコントローラ35Rに送る。画像処理制御部32Lは、第1撮像画像のうち可視光に基づく画像(例えば、赤被りのRGB画像)のうち色成分が補正された後のRGB画像にIR蛍光画像の蛍光発光部分を重畳した第1重畳画像を生成して第1出力画像としてビデオコントローラ35Lに送る。これにより、内視鏡システム5によれば、IR蛍光画像を撮像できない右眼撮像部21Rにおいても、左眼撮像部21Lで撮像されたIR蛍光画像を基に、右眼方向から視たIR蛍光画像を擬似的に生成できる。
また、ビデオコントローラ35Rは、第2出力画像に対し、第1出力画像との間で所定の視差を形成してモニタ40に出力する。ビデオコントローラ35Lは、第1出力画像に対し、第2出力画像との間で所定の視差を形成してモニタ40に出力する。これにより、内視鏡システム5によれば、RGB画像およびIR蛍光画像に基づく3D映像を同時に表示できる。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
本開示は、可視光およびIR励起光のそれぞれの照射の制御を簡易化して汎用性を向上し、可視光とIR励起光に基づく蛍光とを同時撮像して患部の詳細が判明可能な高画質撮像画像を出力して医者等の患部の状態把握を支援できる内視鏡および内視鏡システムとして有用である。
5 内視鏡システム
10 内視鏡
11 軟性部
12 硬性部
13 スコープ
16 プラグ部
22,22R,22L イメージセンサ
28 IRカットフィルタ
29R バンドカットフィルタ
30 ビデオプロセッサ
32R,32L 画像処理制御部
40 モニタ
41L 左眼用撮像窓
41R 右眼用撮像窓
43L 左眼用白色光照射窓
43R 右眼用白色光照射窓
45L 左眼用励起光照射窓
45R 右眼用励起光照射窓
本開示は、被写体に照射する可視光の波長帯域より長波長を有するIR光である励起光をカットしかつ前記励起光に基づいて発生する前記励起光より長波長を有する蛍光を通過させる励起光カットフィルタを有し、前記励起光カットフィルタを通過した光に基づく撮像を行う第1撮像部と、前記励起光および前記蛍光をカットする非可視光カットフィルタを有し、前記非可視光フィルタを通過した光に基づく撮像を行う第2撮像部と、前記第1撮像部が撮像した第1撮像画像と前記第2撮像部が撮像した第2撮像画像とに基づいて、前記被写体の立体画像を生成する画像処理部と、前記第1撮像画像に対して第1画像処理を施し、前記第1画像処理が施された第1出力画像を出力する第1画像処理部と、前記第2撮像画像に対して第2画像処理を施し、前記第2画像処理が施された第2出力画像を出力する第2画像処理部と、前記第1出力画像をモニタに出力する第1出力処理部と、前記第2出力画像を前記モニタに出力する第2出力処理部と、を備え、前記第2画像処理部は、前記第2撮像画像の画素ごとの色成分を示す色成分情報を取得し、前記第1画像処理部は、前記第2画像処理部によって取得された前記色成分情報を用いて、前記第1撮像画像のうち可視光に基づく画像の色成分を補正する、内視鏡システムを提供する。

Claims (11)

  1. 被検体に照射する励起光をカットする励起光カットフィルタを有し、前記励起光カットフィルタを通過した光に基づく撮像を行う第1撮像部と、
    非可視光をカットする非可視光カットフィルタを有し、前記非可視光カットフィルタを通過した光に基づく撮像を行う第2撮像部と、
    前記第1撮像部が撮像した第1撮像画像と前記第2撮像部が撮像した第2撮像画像とに基づいて、前記被検体の立体画像を生成する画像処理部と、を備える、
    内視鏡システム。
  2. 可視光を照射する可視光源と、
    前記励起光を前記被検体に照射する励起光源と、をさらに備え、
    前記可視光源および前記励起光源の一方は連続的に照射し、前記可視光源および前記励起光源の他方は間欠的に照射し、
    前記第1撮像部は、間欠的に照射される前記他方の光の非照射期間と同期して、前記励起光カットフィルタを通過した光に基づいて撮像された前記第1撮像画像を読み出して出力し、
    前記第2撮像部は、間欠的に照射される前記他方の光の非照射期間と同期して、前記被検体からの光に基づいて撮像された前記第2撮像画像を読み出して出力する、
    請求項1に記載の内視鏡システム。
  3. 前記励起光に基づいて前記励起光より長波長を有する蛍光を発生する蛍光薬剤が前記被検体に予め投与される、
    請求項1に記載の内視鏡システム。
  4. 前記蛍光薬剤は、ICG(インドシアニングリーン)である、
    請求項3に記載の内視鏡システム。
  5. 前記励起光は、可視光の波長帯域より長波長を有するIR光である、
    請求項1〜4のうちいずれか一項に記載の内視鏡システム。
  6. 前記第2撮像部は、前記励起光をカットし、かつ前記励起光に基づいて発生する蛍光を通過させる励起光カットフィルタをさらに有する、
    請求項1〜5のうちいずれか一項に記載の内視鏡システム。
  7. 前記第1撮像画像に対して第1画像処理を施し、前記第1画像処理が施された第1出力画像を出力する第1画像処理部と、
    前記第2撮像画像に対して第2画像処理を施し、前記第2画像処理が施された第2出力画像を出力する第2画像処理部と、
    前記第1出力画像をモニタに出力する第1出力処理部と、
    前記第2出力画像を前記モニタに出力する第2出力処理部と、をさらに備える、
    請求項1〜6のうちいずれか一項に記載の内視鏡システム。
  8. 前記第2画像処理部は、前記第2画像処理のタイミングと前記第1画像処理のタイミングとの同期を制御するための同期制御信号に基づいて、前記第1画像処理部との間の同期を制御する、
    請求項7に記載の内視鏡システム。
  9. 前記第2画像処理部は、前記第2撮像画像の画素ごとの色成分を示す色成分情報を取得して前記第1画像処理部に送り、
    前記第1画像処理部は、前記色成分情報を用いて、前記第1撮像画像のうち可視光に基づく画像の色成分を補正する、
    請求項7に記載の内視鏡システム。
  10. 前記第1画像処理部は、前記第1撮像画像のうち蛍光に基づく蛍光画像を前記第2画像処理部に送り、
    前記第2画像処理部は、前記第2撮像画像に、前記蛍光画像の蛍光発光部分を重畳した第2重畳画像を生成して前記第2出力画像として前記第2出力処理部に送り、
    前記第1画像処理部は、前記第1撮像画像のうち前記色成分が補正された後の可視光画像に前記蛍光発光部分を重畳した第1重畳画像を生成して前記第1出力画像として前記第1出力処理部に送る、
    請求項9に記載の内視鏡システム。
  11. 前記第1出力処理部は、前記第1出力画像に対し、前記第2出力画像との間で所定の視差を形成して前記モニタに出力し、
    前記第2出力処理部は、前記第2出力画像に対し、前記第1出力画像との間で前記所定の視差を形成して前記モニタに出力する、
    請求項7〜10のうちいずれか一項に記載の内視鏡システム。
JP2018133458A 2018-07-13 2018-07-13 内視鏡システム Active JP6461411B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018133458A JP6461411B1 (ja) 2018-07-13 2018-07-13 内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018133458A JP6461411B1 (ja) 2018-07-13 2018-07-13 内視鏡システム

Publications (2)

Publication Number Publication Date
JP6461411B1 JP6461411B1 (ja) 2019-01-30
JP2020010763A true JP2020010763A (ja) 2020-01-23

Family

ID=65228880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018133458A Active JP6461411B1 (ja) 2018-07-13 2018-07-13 内視鏡システム

Country Status (1)

Country Link
JP (1) JP6461411B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021000258A (ja) * 2019-06-21 2021-01-07 ソニー株式会社 医療用観察システム、医療用観察方法、および情報処理装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7211835B2 (ja) * 2019-02-04 2023-01-24 i-PRO株式会社 撮像システムおよび同期制御方法
JP7361345B2 (ja) * 2019-04-24 2023-10-16 パナソニックIpマネジメント株式会社 発光装置並びにそれを用いた医療システム、電子機器及び検査方法
EP3961826B1 (en) * 2019-04-24 2023-10-11 Panasonic Intellectual Property Management Co., Ltd. Light emitting device; and medical system, electronic apparatus, and inspection method using same
EP3961827B1 (en) * 2019-04-24 2023-10-11 Panasonic Intellectual Property Management Co., Ltd. Wavelength converter; and light emitting device, medical system, electronic apparatus, and inspection method using same
CN117281451A (zh) * 2023-11-14 2023-12-26 杭州显微智能科技有限公司 一种3d内窥镜荧光摄像系统及其成像方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005027738A1 (ja) * 2003-09-19 2005-03-31 Olympus Corporation 内視鏡
US20090268010A1 (en) * 2008-04-26 2009-10-29 Intuitive Surgical, Inc. Augmented stereoscopic visualization for a surgical robot using a captured fluorescence image and captured stereoscopic visible images
JP2016209143A (ja) * 2015-04-30 2016-12-15 パナソニック株式会社 内視鏡システム及び光源制御方法
CN106236006A (zh) * 2016-08-31 2016-12-21 杨晓峰 3d光学分子影像腹腔镜成像系统
US20170318207A1 (en) * 2016-05-02 2017-11-02 Visionsense Ltd. Dual path endoscope
WO2018008062A1 (ja) * 2016-07-04 2018-01-11 オリンパス株式会社 蛍光観察装置および蛍光観察内視鏡装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005027738A1 (ja) * 2003-09-19 2005-03-31 Olympus Corporation 内視鏡
US20090268010A1 (en) * 2008-04-26 2009-10-29 Intuitive Surgical, Inc. Augmented stereoscopic visualization for a surgical robot using a captured fluorescence image and captured stereoscopic visible images
JP2016209143A (ja) * 2015-04-30 2016-12-15 パナソニック株式会社 内視鏡システム及び光源制御方法
US20170318207A1 (en) * 2016-05-02 2017-11-02 Visionsense Ltd. Dual path endoscope
WO2018008062A1 (ja) * 2016-07-04 2018-01-11 オリンパス株式会社 蛍光観察装置および蛍光観察内視鏡装置
CN106236006A (zh) * 2016-08-31 2016-12-21 杨晓峰 3d光学分子影像腹腔镜成像系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021000258A (ja) * 2019-06-21 2021-01-07 ソニー株式会社 医療用観察システム、医療用観察方法、および情報処理装置
JP7354608B2 (ja) 2019-06-21 2023-10-03 ソニーグループ株式会社 医療用観察システム、医療用観察方法、および情報処理装置

Also Published As

Publication number Publication date
JP6461411B1 (ja) 2019-01-30

Similar Documents

Publication Publication Date Title
JP6461411B1 (ja) 内視鏡システム
US10609351B2 (en) Endoscope and endoscopic system
US11805977B2 (en) Endoscope system and control method for endoscope system
US8500632B2 (en) Endoscope and endoscope apparatus
JP6334755B2 (ja) 組み合わされたフルカラー反射および近赤外線画像化のための画像化システム
JP7227011B2 (ja) 内視鏡
TWI480017B (zh) 立體影像內視鏡、包含其之系統、及醫學立體影像之顯示方法
US10716463B2 (en) Endoscope and endoscope system
WO2018079329A1 (ja) 内視鏡システムおよび内視鏡
CN108778088B (zh) 活体观察系统
JP2006346196A (ja) 内視鏡撮像システム
JP6368886B1 (ja) 内視鏡システム
JP2019041946A (ja) プロセッサ装置とその作動方法、および内視鏡システム
US11388387B2 (en) Imaging system and synchronization control method
US20210244261A1 (en) Medical image processing apparatus and medical observation system
JP6865718B2 (ja) 内視鏡
JP2702123B2 (ja) 内視鏡装置
WO2016111043A1 (ja) 内視鏡装置
JPS63275316A (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180723

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180723

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181225

R151 Written notification of patent or utility model registration

Ref document number: 6461411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250